JP2021062074A - プロセッサ、時間範囲決定方法及びコンピュータプログラム - Google Patents

Abstract

【課題】プロセッサ、時間範囲決定方法及びコンピュータプログラム【解決手段】内視鏡から指示信号を受信した場合、該指示信号を受信する前の所定の時間範囲内で前記内視鏡が撮像した動画像の画像フレームから一つの画像フレームを選択して出力するプロセッサにおいて、前記内視鏡のユーザＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶するデータベースと、前記データベースに基づいて、使用者毎に前記時間範囲を決定する決定部とを備える。【選択図】図９

Description

本発明は、プロセッサ、時間範囲決定方法及びコンピュータプログラムに関する。

近年、体腔内の診察に内視鏡装置が広く用いられている。内視鏡装置は、撮像した動画像をリアルタイムで表示すると共に、ユーザの指示に応じて動画像を構成する連続画像フレームの何れかに係る画像を静止画像として表示する。

例えば、特許文献１〜３には、互いに異なるタイミングで撮像された画像フレームを比較し合って差分を求めることによって動き量を検出し、動きが閾値より小さい画像フレームのみをキャプチャして表示することについて開示されている。

特開２０１１−１７６６７１号公報 特開２０１２−９０７０１号公報 特開２０１２−１６５８０４号公報

一方、ユーザから静止画像を表示する旨の指示を受け付けた場合に、斯かる指示の受け付け時よりも過去の所定の時間範囲内における全画像フレームをスキャンして最適な画像フレームを選択して表示するフリーズ機能を搭載した内視鏡装置も提案されている。

しかし、前記時間範囲の長短によって選択される画像フレームの良さが変わるものの、前記時間範囲をどの位にすべきかの判断が難しい。前記時間範囲が長い場合、装置側の負担が大きいうえに、処理時間が長くなる恐れもある。更に、最適な画像フレームが得られるタイミングは、ユーザの熟練度、ユーザの使用方法等にもよる。

そこで、前記フリーズ機能における時間範囲の設定をユーザ側が行うようにした構成も提案されているが、この場合、操作が煩わしく、熟練度の低いユーザには判断基準がなく設定が困難である。

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、ユーザの設定操作を省くことができ、また、効率的に短時間で適切な静止画像を選択でき、かつ、装置の処理負担を減らすことができるプロセッサ、時間範囲決定方法及びコンピュータプログラムを提供することにある。

本発明に係るプロセッサは、内視鏡から指示信号を受信した場合、該指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の画像フレームから一つを選択して出力するプロセッサにおいて、前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶するデータベースと、前記データベースに基づいて、使用者毎に前記時間範囲を決定する決定部とを備えることを特徴とする。

本発明に係る時間範囲決定方法は、内視鏡から指示信号を受信し、前記指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の全画像フレームから一つを選択して出力し、前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶し、記憶内容に基づいて、使用者毎に前記時間範囲を決定する処理を実行することを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、内視鏡から指示信号を受信し、前記指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の全画像フレームから一つを選択して出力し、前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶し、記憶内容に基づいて、使用者毎に前記時間範囲を決定する処理を実行させることを特徴とする。

本発明によれば、ユーザの設定操作を省くことができ、また、効率的に短時間で適切な静止画像を選択でき、かつ、装置の処理負担を減らすことができる。

実施の形態１に係る内視鏡用プロセッサを含む内視鏡システムの外観を示す説明図である。 実施の形態１に係る内視鏡用プロセッサの外観を示す説明図である。 実施の形態１に係る内視鏡システムの要部構成を示すブロック図である。 実施の形態１に係る内視鏡用プロセッサの信号処理部の要部構成を示すブロック図である。 実施の形態１に係る内視鏡用プロセッサのブレ検出部の要部構成を示すブロック図である。 実施の形態１に係る内視鏡用プロセッサの制御部の要部構成を示す機能ブロック図である。 実施の形態１に係る内視鏡用プロセッサの補助記憶装置に保存されている選択履歴ＤＢのレコードレイアウトを説明する説明図である。 実施の形態１に係る内視鏡用プロセッサにおいて、静止画像を表示する処理の一例を説明するフローチャートである。 実施の形態１に係る内視鏡用プロセッサにおいて、静止画像を表示する処理の他例を説明するフローチャートである。 実施の形態２に係る内視鏡用プロセッサの補助記憶装置に保存されている選択履歴ＤＢのレコードレイアウトを説明する説明図である。 実施の形態２に係る内視鏡用プロセッサにおいて、静止画像を表示する処理の一例を説明するフローチャートである。

以下に、内視鏡用プロセッサを含む内視鏡システムを例に、本発明の実施の形態に係るプロセッサ、時間範囲決定方法、及びコンピュータプログラムについて、図面に基づいて詳述する。

（実施の形態１）
図１は、実施の形態１に係る内視鏡用プロセッサ２０を含む内視鏡システム１０の外観を示す説明図である。内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０とを含み、必要に応じて表示装置５０を内視鏡用プロセッサ２０に接続させても良い。表示装置５０は、たとえば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、内視鏡検査用ベッド（図示せず）の近傍に配置される。内視鏡用プロセッサ２０にはキーボード１５が接続されている。

内視鏡検査の概略を説明する。収容棚１６が、内視鏡用ベッドの近くに配置される。検査技師、看護師または医師等により、当日内視鏡検査を予定している患者の名前及び生年月日等を記録した患者リストが、内視鏡用プロセッサ２０に入力される。入力は、たとえばキーボード１５を用いて行なわれる。また、診療予約システム等から出力された患者リストが、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体または図示を省略する病院内ネットワークシステムを介して内視鏡用プロセッサ２０に読み込まれるようにしても良い。

内視鏡４０が、内視鏡用プロセッサ２０に接続されて、所定の動作確認が行なわれる。患者リストから、次に内視鏡検査を受ける患者の名前等が読み込まれる。内視鏡検査用ベッドに横たわった患者の名前等を確認した後に、内視鏡検査が行なわれる。内視鏡検査中は、内視鏡４０により撮影された撮像画像、即ち動画像が、表示装置５０にリアルタイムで表示され、斯かる動画像から所定の静止画像も表示される。

ユーザによる操作に基づいて、内視鏡の撮像画像の動画像及び静止画像が、患者の名前等と関連づけて内視鏡用プロセッサ２０に保存される。内視鏡検査の終了後、内視鏡４０が内視鏡用プロセッサ２０から取り外される。

図２は、実施の形態１に係る内視鏡用プロセッサ２０の外観を示す説明図である。内視鏡用プロセッサ２０は、略直方体形状であり、一面に内視鏡用コネクタ３１及びタッチパネル２５を備える。内視鏡用コネクタ３１は、電気コネクタ３１Ａと光コネクタ３１Ｂとを含む。タッチパネル２５の下部に、媒体読書部２８が配置されている。媒体読書部２８は、たとえばＵＳＢコネクタ、または、ＳＤ（Secure Digital）カードスロット等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。

図１及び図２に示すように、内視鏡用プロセッサ２０は、内視鏡用コネクタ３１及びタッチパネル２５を表示装置５０の表示画面と同じ向きにして、収容棚１６に収容されている。なお、収容棚１６には、送水タンク３５（図３参照）、及び吸引装置（図示せず）等も収容される。収容棚１６に、ビデオプリンタ及び電気メス等の周辺機器が収容されても良い。

内視鏡４０は、挿入部４４、操作部４３、ユニバーサルコード４９及びスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１Ａ−４３１Ｃ、送気送水ボタン４３２、湾曲ノブ４３３及びチャンネル入口４３４が設けられている。チャンネル入口４３４には、処置具等を挿入する挿入口を有する鉗子栓４２が固定されている。

挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２及び先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。

ユニバーサルコード４９は長尺であり、一端が操作部４３に接続され、他端がスコープコネクタ４８に接続されている。ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状であり、電気コネクタ３１Ａと光コネクタ３１Ｂとの双方に同時に接続される。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図３参照）が設けられている。

図３は、実施の形態１に係る内視鏡システム１０の要部構成を示すブロック図である。上述したように、内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。

内視鏡用プロセッサ２０は、制御部２１、タイミング発生器２２、補助記憶装置２３、通信部２４、タッチパネル２５、信号処理部２６、入力装置Ｉ／Ｆ２７、媒体読書部２８、内視鏡用コネクタ３１、光源３３、ポンプ３４及びバスを備える。内視鏡用コネクタ３１は、上述の電気コネクタ３１Ａ及び光コネクタ３１Ｂを含む。

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、選択履歴ＤＢ６１が保存されている。その他、補助記憶装置２３には、後述するＣＰＵ２１１によって実行させるプログラム、及びプログラムの実行に必要な各種データが保存される。例えば、ＣＤ―ＲＯＭ発明に係るコンピュータプログラムＰを媒体読書部２８が読み取り、読み取ったコンピュータプログラムＰを補助記憶装置２３に記憶し、ＣＰＵ２１１はコンピュータプログラムＰを用いて内視鏡システム１０に必要な処理を実行する。

通信部２４は、内視鏡用プロセッサ２０とネットワーク（図示せず）との間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１上に積層された入力部２５２とを備える。

表示部２５１は、例えば、ＬＣＤ又は有機ＥＬパネル等からなり、内視鏡４０によって撮像された動画像または静止画像が表示される。入力部２５２はユーザのタッチ操作に係る、表示部２５１の表示画面上における所定位置を検出することができる。入力部２５２はユーザの指先のタッチ操作による圧力の変化を検知し、又は静電気による電気信号を検知して、ユーザの指先の接触位置に対応する表示部２５１の表示画面上の座標を検出し、該座標を特定する信号を発生する。また、これに限るものでなく、ポインティングデバイス（例えば、スタイラスペン）等を用いる構成であっても良い。

光源３３は、例えばＬＥＤ（Light Emitting Diode）またはキセノンランプ等の高輝度の白色光源である。光源３３は、ドライバ（図示せず）を介してバスに接続されている。光源３３の点灯、消灯及び明るさの変更は、ＣＰＵ２１１により制御される。光源３３から照射した照明光は、光コネクタ３１Ｂに入射する。光コネクタ３１Ｂは、スコープコネクタ４８と係合しており、内視鏡４０に照明光を供給する。

ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、ドライバ（図示せず）を介してバスに接続されている。ポンプ３４のオン、オフ及び圧力の変更は、ＣＰＵ２１１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

スコープコネクタ４８、ユニバーサルコード４９、操作部４３及び挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブ及び送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１Ｂ及び前記ファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。

照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束及び電気コネクタ３１Ａを介して内視鏡用プロセッサ２０に映像画像のデータが伝送される。信号処理部２６により画像処理を施された撮像画像が、表示装置５０又は表示部２５１に表示される。

ユーザが制御ボタン４３１Ａ−Ｃを操作することにより、静止画の記録、動画像の記録の開始及び終了、表示装置５０又は表示部２５１に表示される画像の画質変更等が行なわれる。例えば、制御ボタン４３１Ｃは、内視鏡検査の際、動画像がリアルタイムで表示装置５０又は表示部２５１に表示されているとき、フリーズ指示を受け付ける。即ち、動画像がリアルタイムで表示されている場合に、ユーザによる制御ボタン４３１Ｃの押圧操作が行われて制御ボタン４３１Ｃから電気信号（指示信号）が受信された場合、ＣＰＵ２１１はフリーズ指示を受け付けたと認識する。制御ボタン４３１Ａ−Ｃの夫々の機能は、ユーザが任意に割り当てることができる。

ここで、フリーズ機能とは、ユーザから静止画像を表示する旨の指示を受け付けた場合に、斯かる指示を受け付けた時より過去の所定の時間範囲内における全画像フレームをスキャンして最適な画像フレームを選択して表示する機能である。

リアルタイムで表示される動画像は、時系列に応じて連続する複数の画像フレームからなる。実施の形態１に係る内視鏡用プロセッサ２０においては、所定時間分の画像フレームを常に記憶しておき、フリーズ指示を受け付けた場合、所定範囲の画像フレームに対してスキャンを行い、最適な画像フレームを選択する。詳しくは、フリーズ指示から所定の時間範囲（以下、スキャン時間範囲）内における全画像フレームのブレ量（動き量）を比較して最もブレ量が小さい画像フレームを選択して静止画像として表示する。

なお、ユーザが送気送水ボタン４３２を操作することにより、先端部４４３に設けられたノズルから、空気及び水の出射が行なわれる。送気及び送水のオン及びオフは、送気送水ボタン４３２の押し込み量に基づいて機械的に制御される。送気送水ボタン４３２の押し込み量が電気信号に変換されて内視鏡用プロセッサ２０に送信されることによって、ＣＰＵ２１１により送気及び送水のオン及びオフ制御が行なわれても良い。

タイミング発生器２２は、信号処理部２６にクロックパルスを提供する。タイミング発生器２２は、後述する信号処理部２６のフレームメモリ２６３における画像データの出力のタイミングを制御する。

信号処理部２６は、内視鏡４０からの画像信号に所定処理を施して表示装置５０（又は表示部２５１）に出力する。図４は、実施の形態１に係る内視鏡用プロセッサ２０の信号処理部２６の要部構成を示すブロック図である。
信号処理部２６は、プロセス部２６１と、Ａ／Ｄ変換部２６２と、フレームメモリ２６３と、ビデオプロセス部２６４と、ブレ検出部２６５とを含む。

プロセス部２６１は、内視鏡４０から入力される画像信号に対しノイズ除去処理、増幅処理等を行ってＡ／Ｄ変換部２６２に送る。Ａ／Ｄ変換部２６２は、プロセス部２６１から受信したアナログの画像信号をデジタルの画像データに変換し、フレームメモリ２６３及びブレ検出部２６５に出力する。

フレームメモリ２６３は、内視鏡４０からの画像データ（複数フレーム）とブレ検出部２６５から出力される各画像フレームのブレ量とを保存すると共に、保存されている画像フレームをビデオプロセス部２６４に出力する。また、フレームメモリ２６３に保存されている画像フレームのブレ量は、タイミング発生器２２の制御に従って対応する画像フレームと同期して制御部２１に出力される。

フレームメモリ２６３は、２つのメモリ部を有しており、タイミング発生器２２又は制御部２１からの指示に応じて所定の画像フレームを選択的にビデオプロセス部２６４へ出力する。２つのメモリ部は、例えば、ＤＲＡＭによって構成されるいわゆるリング型メモリである。Ａ／Ｄ変換部２６２から出力されるデジタルの画像データは、２つのメモリ部に逐次入力され、フレーム１、フレーム２・・・のように時系列順に記憶される。２つのメモリ部は、例えば、常に２４０フレーム分の画像データが記憶できる。即ち、２４１フレーム目の画像データが入力された場合は、再びフレーム１から時系列順に記憶されていく。

また、２つのメモリ部には、ブレ検出部２６５から出力される画像フレームのブレ量が対応する画像フレーム（以下、対応画像フレームと称する。）と同期して入力され、ブレ量と対応画像フレームとが関連付けて保存される。

更に、フレームメモリ２６３は、画像フレーム又はブレ量を選択的に出力することができる。フレームメモリ２６３は、画像フレームをビデオプロセス部２６４に出力し、ブレ量（後述のヒストグラム値）を制御部２１に出力する。

ビデオプロセス部２６４は、フレームメモリ２６３から出力される画像フレームを所定の形式のビデオ信号に変換し、内視鏡用プロセッサ２０に接続される表示装置５０に出力する。

一方、ブレ検出部２６５は、Ａ／Ｄ変換部２６２から出力される各画像フレームと、直前の画像フレームとを比較することにより、各画像フレームのブレ量を検出してフレームメモリ２６３に出力する。

図５は、実施の形態１に係る内視鏡用プロセッサ２０のブレ検出部２６５の要部構成を示すブロック図である。

ブレ検出部２６５は、１つ分の画像フレームを記憶するバッファーメモリ２６５５と、ブレ検出部２６５に入力される画像フレームと１つフレーム前に入力されてバッファーメモリ２６５５に記憶されている画像フレームとの差分を求める差分計算部２６５２と、差分計算部２６５２で求めた差分を所定の閾値と比較して２値化する２値化部２６５３と、２値化部２６５３で２値化した結果についてヒストグラムを求めるヒストグラム部２６５４とを有する。

ノイズ除去部２６５１は、Ａ／Ｄ変換部２６２から入力される画像フレームに対してランダムノイズ等の高周波成分を除去した後、バッファーメモリ２６５５及び差分計算部２６５２に出力する。

ノイズ除去部２６５１から出力される画像フレームは、バッファーメモリ２６５５と差分計算部２６５２に送られる。バッファーメモリ２６５５は、ノイズ除去部２６５１から入力される画像フレームを１つの画像フレーム分だけ遅延させて、差分計算部２６５２に出力する。

差分計算部２６５２は、Ａ／Ｄ変換部２６２からノイズ除去部２６５１を介して新たに入力される画像フレーム（以下、現画像フレームと称する。）と、バッファーメモリ２６５５から出力される１つフレーム前の画像フレーム（以下、前画像フレームと称する。）とを比較し差分を求める。

具体的には、現画像フレームを構成する各画素の輝度データと前画像フレームを構成する各画素の輝度データについて、対応する画素毎に引算を行い、その結果を絶対値に変換して差分画像として記録する。このようにして、差分計算部２６５２は、Ａ／Ｄ変換部２６２からブレ検出部２６５に入力される各画像フレーム（現画像フレーム）の変化量を求める。従って、前画像フレームに対して変化量が大きい、即ち、ブレが大きい現画像フレームほど、差分画像において大きな絶対値を有する画素が多くなる。

２値化部２６５３は、差分計算部２６５２で求めた画素毎の差分値について、所定の閾値と比較する。そして、差分値が所定の閾値以上の場合には、その画素は「１」とされ、差分値が所定の閾値よりも小さい場合には、その画素は「０」として、変化量が大きい、即ち、ブレが大きい画素と、変化量が小さい、即ち、ブレが小さい画素とに２値化する。２値化部２６５３は、現画像フレームを構成する全ての画素について２値化処理を行い、その結果を２値化画像として記録する。

ヒストグラム部２６５４は、２値化部２６５３で求めた２値化画像に基づいて、ヒストグラムを求める。具体的には、２値化画像を構成する全ての画素のデータをスキャン（走査）し、データが「１」である画素をカウントする。上述のように、２値化画像において「１」のデータを有する画素は、変化量が大きい画素を示すため、「１」の画素のカウント値は、現画像フレームの変化量を表すこととなる。そして、ヒストグラム部２６５４で求められた「１」の画素のカウント値は、現画像フレームのブレ量として、フレームメモリ２６３に出力される。フレームメモリ２６３はブレ検出部２６５（ヒストグラム部２６５４）から入力されるブレ量を対応画像フレームに関連付けて前記２つのメモリ部に記憶する。

図６は、実施の形態１に係る内視鏡用プロセッサ２０の制御部２１の要部構成を示す機能ブロック図である。
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。制御部２１は一或いは複数のＣＰＵ２１１と、記憶部２１２と、選択部２１３と、決定部２１４と、出力部２１５とを含む。

記憶部２１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。記憶部２１２には、制御部２１のＣＰＵ２１１が行なう処理の途中で必要な情報及びＣＰＵ２１１で実行中のプログラムが一時的に保存される。また、記憶部２１２には、ＣＰＵ２１１が行う処理に係る閾値、前記スキャン時間範囲等が記憶されている。

決定部２１４は、補助記憶装置２３に保存されている選択履歴ＤＢ６１に基づいて、前記スキャン時間範囲を決定する。また、選択部２１３は、決定部２１４によって決定されたスキャン時間範囲内でブレの少ない画像フレームを一つ選択する。以下、詳しく説明する。

上述したように、画像フレームがＡ／Ｄ変換部２６２を経て、フレームメモリ２６３及びブレ検出部２６５に入力されると、フレームメモリ２６３の２つのメモリ部に、画像フレーム及びそのブレ量が関連付けて記憶される。前記２つのメモリ部は、それぞれ２４０フレーム分の画像フレームを記憶することが可能なリング型メモリであり、２４０フレーム分の画像フレーム及びそのブレ量が逐次更新されながら記憶される。

この際、タイミング発生器２２の制御によって各画像フレームにはフレーム番号が付され、斯かるフレーム番号は時系列（入力順）に応じてインクリメントされる。従って、フレームメモリ２６３及びブレ検出部２６５に連続して入力される画像フレームとそのブレ量とが２つのメモリ部に時系列順に記憶されていく。また、この間、表示装置５０又は表示部２５１には動画像が表示される。

ＣＰＵ２１１によって内視鏡４０の制御ボタン４３１Ｃが押されたことを検出すると、決定部２１４が選択履歴ＤＢ６１に基づいて前記スキャン時間範囲を決定する。次いでタイミング発生器２２は、決定部２１４によって決定されたスキャン時間範囲に基づいて、決定されたスキャン時間範囲内の画像フレームに対応するブレ量の出力するようフレームメモリ２６３に指示する。

図７は、実施の形態１に係る内視鏡用プロセッサ２０の補助記憶装置２３に保存されている選択履歴ＤＢ６１のレコードレイアウトを説明する説明図である。

選択履歴ＤＢ６１は、例えば、内視鏡４０を使用する医師等のユーザに付与されたユーザＩＤと、斯かるユーザによって取られた静止画像と、斯かる静止画像を特定する時系列情報とを関連づけて記録するＤＢである。即ち、選択履歴ＤＢ６１はフリーズ機能によって選択された静止画像（画像フレーム）と、スキャン時間範囲内の時系列上にて斯かる画像フレームを特定する時系列情報とを、ユーザＩＤ毎に記憶している。

ここで、時系列情報とは、上述したように、時系列に連続する各画像フレームの時系列上の順序を示す。換言すれば、時系列情報は、フリーズ指示受け付け時と各画像フレームとの時間間隔を示す情報であり、例えば前記フレーム番号である。

これに限定されるものではなく、時系列情報は、フレーム番号に対応する時間情報であっても良い。即ち、時系列上において、制御ボタン４３１Ｃの操作時（フリーズ指示受け付け時）から各画像フレームまでの時間間隔（時間差）であっても良い。

選択履歴ＤＢ６１は、検査日時フィールド、患者ＩＤフィールド、ユーザＩＤフィールド、画像フィールド及び時系列情報フィールドを有する。
検査日時フィールドには、内視鏡検査が行なわれた日時が記録されている。患者ＩＤフィールドには、内視鏡検査を受けた患者の患者ＩＤが記録されている。ユーザＩＤフィールドには、内視鏡検査を実施したユーザのユーザＩＤが記録されている。また、画像フィールドには、内視鏡検査中に取られた静止画像（画像フレーム）が記録されている。時系列情報フィールドには、画像フィールドに記録された静止画像を特定する時系列情報（フレーム番号）が記録されている。

例えば、図７の例では、「ＰＥ０００１」の患者に対して「Ｕ００１」のユーザが内視鏡検査を行った場合に、ファイル名「Ａ０１．ｂｍｐ」、「Ａ０２．ｂｍｐ」、「Ａ０３．ｂｍｐ」及び「Ａ０４．ｂｍｐ」の静止画像が取られている。これらの静止画像の時系列情報はそれぞれ「Ｎｏ．１８２」、「Ｎｏ．１８２」、「Ｎｏ．１８１」及び「Ｎｏ．１８４」である。

そして、「ＰＥ５５５５」の患者に対して「Ｕ００２」のユーザが内視鏡検査を行った場合には、ファイル名「Ｂ０１．ｂｍｐ」、「Ｂ０２．ｂｍｐ」、「Ｂ０３．ｂｍｐ」及び「Ｂ０４．ｂｍｐ」の静止画像が取られている。これらの静止画像の時系列情報はそれぞれ「Ｎｏ．２２６」、「Ｎｏ．２２５」、「Ｎｏ．２２８」及び「Ｎｏ．２２８」である。

選択履歴ＤＢ６１から内視鏡４０のユーザ毎に固有の特徴があることが解かる。ユーザ「Ｕ００１」の場合、ユーザ「Ｕ００２」よりも小さいフレーム番号の画像フレームが選択される傾向がある。即ち、ユーザ「Ｕ００１」の場合、ユーザ「Ｕ００２」よりも、制御ボタン４３１Ｃの操作時、即ち、フレーズ指示の受付時から遠いタイミングの画像フレームが選択されている。

実施の形態１に係る内視鏡用プロセッサ２０においては、このようなユーザ別特徴に基づいて決定部２１４がスキャン時間範囲を決定する。例えば、決定部２１４は、時系列情報の頻度に基づいてスキャン時間範囲を決定する。

詳しくは、ユーザ「Ｕ００１」においては、時系列情報のうち「Ｎｏ．１８２」の頻度が最も高い。決定部２１４は、フレーム番号１８２を制御ボタン４３１Ｃの操作時からの時間間隔に換算して、これに所定のマージンを加えることによってスキャン時間範囲を決定する。また、ユーザ「Ｕ００２」においては、時系列情報のうち「Ｎｏ．２２８」の頻度が最も高い。決定部２１４は、フレーム番号２２８を制御ボタン４３１Ｃの操作時からの時間間隔に換算して、これに所定のマージンを加えることによってスキャン時間範囲を決定する。

例えば、一秒間６０フレームが取られるとすると、時系列情報から上述の時間間隔への換算が可能であり、前記マージンは例えば０．１秒である。また、斯かるマージンは、ユーザの内視鏡検査の実施回数に応じて、即ち、熟練度に応じて調整できるようにしても良い。例えば、熟練度が高い程マージンが短くなるようにしても良い。

具体的には、例えば、内視鏡用プロセッサ２０が自装置の使用回数の増加に応じて徐々に減少する所定時間（マージン）を関連付けて記憶したテーブルを備えており、ユーザ毎に内視鏡用プロセッサ２０の使用回数をカウントし、前記テーブルに基づいて、カウント結果に対応する時間をマージンとして適用することによって、熟練度が高い程マージンを短くすることができる。

前記マージンは、上述したように、一定時間であっても良く、最も頻度の高い時系列情報の定数倍であっても良く、斯かるユーザの時系列情報の標準偏差の定数倍であっても良い。

また、これに限定されるものではない。決定部２１４が時系列情報の頻度に基づいてスキャン時間範囲を決定する際、最も頻度が高い時系列情報ではなく、平均頻度の時系列情報に基づいてスキャン時間範囲を決定するように構成しても良い。

なお、選択履歴ＤＢ６１が存在しない場合、即ち、内視鏡用プロセッサ２０の使用初期に使用履歴が無い場合、又は、初めてのユーザの場合は、決定部２１４はデフォルト値（例えば、１秒）をスキャン時間範囲として決定する。

フレームメモリ２６３は、タイミング発生器２２の指示に応じて、決定部２１４によって決定されたスキャン時間範囲内の全画像フレームに係るブレ量を制御部２１に出力する。この際、フレームメモリ２６３は、２つのメモリ部のうち一方のメモリ部を用いてブレ量の出力を行い、その間、他のメモリ部は、Ａ／Ｄ変換部２６２を経て連続的に入力される画像フレーム及びそのブレ量を関連付けて記憶し続ける。次回のフレーズ指示に対しては、他のメモリ部からブレ量が出力される。

選択部２１３は、フレームメモリ２６３から出力されたブレ量を比較し、最もブレ量が少ない１つの画像フレームを選択する。出力部２１５は、選択部２１３によって選択された画像フレームをビデオプロセス部２６４に出力するよう、フレームメモリ２６３に指示する。以降、選択部２１３によって選択された画像フレームに係る画像が静止画像として表示装置５０又は表示部２５１に表示される。

以上の記載に限定されるものでなく、選択部２１３が所定の閾値以下のブレ量を有する画像フレームを複数選択し、選択された複数の画像フレームに基づく複数の静止画像が表示装置５０又は表示部２５１に表示されるようにしても良い。ユーザは表示された複数の静止画像から１つの静止画像を選択できる。
また、フリーズ指示受け付け時に時系列上最も近い、即ち、タイミングが最も近い画像フレームが選択されるように構成しても良い。

このように、ユーザ別の特徴に基づいて決定部２１４がスキャン時間範囲を決定するので、制御ボタン４３１Ｃの操作時から近い画像フレームが選択される傾向のユーザの場合、スキャン時間範囲を短くすることができ、静止画像表示までの時間を短縮させることができ、かつ内視鏡用プロセッサ２０の処理負担を減らすことができる。

図８は、実施の形態１に係る内視鏡用プロセッサ２０において、静止画像を表示する処理の一例を説明するフローチャートである。図８においては、内視鏡用プロセッサ２０の使用初期に使用履歴が無い場合であって、決定部２１４がデフォルト値をスキャン時間範囲として決定する場合を表す。

内視鏡検査が開始され、動画像がリアルタイムで表示されている際に、ユーザが制御ボタン４３１Ｃを押圧操作した場合、制御ボタン４３１Ｃから電気信号（指示信号）が内視鏡用プロセッサ２０に送られ、ＣＰＵ２１１はフリーズ指示を受け付ける（ステップＳ１０１）。

内視鏡用プロセッサ２０の使用履歴が無いので、決定部２１４はデフォルト値をスキャン時間範囲として決定する（ステップＳ１０２）。決定されたスキャン時間範囲（以下、決定スキャン時間範囲と称する。）はタイミング発生器２２に送られ、タイミング発生器２２は決定スキャン時間範囲に基づいて、フレームメモリ２６３に画像フレームのブレ量（以下、フレームブレ量と称する。）の出力を指示する。

即ち、タイミング発生器２２は、決定スキャン時間範囲に対応する画像フレームの数分だけフレームメモリ２６３がフレームブレ量を出力するように制御する。フレームメモリ２６３は、制御ボタン４３１Ｃ操作時に近いフレームブレ量から順次的に制御部２１へ出力する。

この際、ＣＰＵ２１１は、フレームメモリ２６３からフレームブレ量を取得する度にカウントを行う。まず、ＣＰＵ２１１は、Ｎに「１」を代入しておき（ステップＳ１０３）、その以降Ｎ番目のフレームブレ量を取得した場合（ステップＳ１０４）、「Ｎ」がデフォルト数であるか否かを判定する（ステップＳ１０５）。斯かるデフォルト数は、ステップＳ１０２で決定されたスキャン時間範囲（デフォルト値）に対応する画像フレームの数である。

取得したＮ番目のフレームブレ量の「Ｎ」がデフォルト数ではないと判定した場合（ステップＳ１０５：ＮＯ）、ＣＰＵ２１１は「Ｎ」に「Ｎ＋１」を代入し（ステップＳ１１０）、処理をステップＳ１０４に戻す。以降、このような処理は、繰り返される。

一方、取得したＮ番目のフレームブレ量の「Ｎ」がデフォルト数であるとＣＰＵ２１１によって判定された場合（ステップＳ１０５：ＹＥＳ）、選択部２１３はブレがない１つの画像フレームを選択する（ステップＳ１０６）。
上述したように、選択部２１３は、フレームメモリ２６３から取得した、決定スキャン時間範囲内の全フレームブレ量を比較して、斯かる比較の結果から最もブレ量が少ない１つの画像フレームを特定（選択）する。

次いで、出力部２１５は、選択部２１３によって選択された画像フレーム（以下、選択画像フレームと称する。）を出力するよう、タイミング発生器２２を介してフレームメモリ２６３に指示する（ステップＳ１０７）。出力部２１５の指示に応じて、フレームメモリ２６３は選択画像フレームをビデオプロセス部２６４に出力する。

ビデオプロセス部２６４は、フレームメモリ２６３から出力された選択画像フレームを静止画像として表示装置５０又は表示部２５１に出力する（ステップＳ１０８）。
ＣＰＵ２１１は、斯かる選択画像フレームの画像データファイルと、斯かる選択画像フレームのフレーム番号（時系列情報）を、ユーザに対応付けて選択履歴ＤＢ６１に記憶させる（ステップＳ１０９）。

図８に係る処理を繰り返すことによって、選択履歴ＤＢ６１にはユーザ毎に使用履歴が蓄積される。

なお、以上においては、内視鏡検査の都度、即ち、静止画像を出力する度に、選択履歴ＤＢ６１への記憶が行われることについて記載されているが、これに限定されるものではない。例えば、週又は月単位、又は記憶すべきデータが所定量に達した場合のみ、選択履歴ＤＢ６１への記憶が行われるように構成しても良い。この際、ステップＳ１０２にて決定されたスキャン時間範囲もユーザＩＤに対応付けて記憶されても良い。

図９は、実施の形態１に係る内視鏡用プロセッサ２０において、静止画像を表示する処理の他例を説明するフローチャートである。図９においては、内視鏡用プロセッサ２０の使用履歴が存在する場合、即ち、選択履歴ＤＢ６１が存在する場合を表す。

内視鏡検査が開始され、動画像がリアルタイムで表示されている際に、ユーザが制御ボタン４３１Ｃを押圧操作することによって、ＣＰＵ２１１はフリーズ指示を受け付ける（ステップＳ２０１）。

ついで、決定部２１４は選択履歴ＤＢ６１の使用履歴に基づいてスキャン時間範囲を決定する（ステップＳ２０２）。決定部２１４が、選択履歴ＤＢ６１に基づくスキャン時間範囲を決定する処理については、既に説明しており、詳しい説明は省略する。

決定された決定スキャン時間範囲はタイミング発生器２２に送られ、タイミング発生器２２は決定スキャン時間範囲に対応する画像フレームの数分だけフレームメモリ２６３がフレームブレ量を出力するように制御する。フレームメモリ２６３は、制御ボタン４３１Ｃ操作時に近いフレームブレ量から順次的に制御部２１へ出力する。

この際、ＣＰＵ２１１は、フレームメモリ２６３からフレームブレ量を取得する度にカウントを行う。ＣＰＵ２１１は、Ｎに「１」を代入しておき（ステップＳ２０３）、それ以降Ｎ番目のフレームブレ量を取得した場合（ステップＳ２０４）、「Ｎ」が決定数であるか否かを判定する（ステップＳ２０５）。斯かる決定数は、ステップＳ２０２で決定されたスキャン時間範囲に対応する画像フレームの数である。

取得したＮ番目のフレームブレ量の「Ｎ」が決定数ではないと判定した場合（ステップＳ２０５：ＮＯ）、ＣＰＵ２１１は「Ｎ」に「Ｎ＋１」を代入し（ステップＳ２１０）、処理をステップＳ２０４に戻す。以降、このような処理は、繰り返される。

一方、取得したＮ番目のフレームブレ量の「Ｎ」が決定数であるとＣＰＵ２１１によって判定された場合（ステップＳ２０５：ＹＥＳ）、選択部２１３はブレがない１つの画像フレームを選択する（ステップＳ２０６）。選択部２１３が画像フレームを選択する処理については、既に説明しており、詳しい説明は省略する。

以降における、ステップＳ２０７〜ステップＳ２０９までの処理は、図８のステップＳ１０７〜ステップＳ１０９の処理と同じであり、説明を省略する。

実施の形態１に係る内視鏡用プロセッサ２０においては、このように、選択履歴ＤＢ６１に基づき、ユーザに応じてスキャン時間範囲が決定されるので、効率的にスキャン時間範囲を定めることができ、制御ボタン４３１Ｃの操作時から静止画像表示までの時間を効率的に短縮させることができる。更に、ユーザがスキャン時間範囲を設定する操作は不要でユーザの負担を減らすことができ、かつ内視鏡用プロセッサ２０の処理負担を減らすことも可能である。

実施の形態１に係る内視鏡用プロセッサ２０においては、スキャン時間範囲が短い場合、ユーザが希望するタイミングの静止画像を記録でき、また、ブレ―量の少ない良好な静止画像を記録できる。

なお、以上においては、ブレ検出部２６５によって各画像フレームのブレ量を検出することを例に説明したが、これに限定されるものではない。例えば、学習済みのモデルを用いて各画像フレームのブレ量を検出するようにしても良い。

（実施の形態２）
図１０は、実施の形態２に係る内視鏡用プロセッサ２０の補助記憶装置２３に保存されている選択履歴ＤＢ６１のレコードレイアウトを説明する説明図である。

実施の形態２に係る内視鏡用プロセッサ２０の選択履歴ＤＢ６１は、実施の形態１と同様、検査日時フィールド、患者ＩＤフィールド、ユーザＩＤフィールド、画像フィールド及び時系列情報フィールドを有する。

更に、実施の形態２に係る内視鏡用プロセッサ２０の選択履歴ＤＢ６１は、有無フィールドを有する。有無フィールドには、画像フィールドに記録の画像データファイルを取得する際に受け付けたフリーズ指示よりも所定時間前までの間に、既に別のフリーズ指示を受け付けていたか否かが記録されている。

換言すれば、画像フィールドに記録の画像データファイルの取得までフリーズ指示を繰り返してトライしたか否かが記録されている。フリーズ指示を繰り返してトライしていた場合には有無フィールドに「有」と記録され、フリーズ指示のトライがなかった場合には有無フィールドに「無」と記録される。

例えば、一回目の制御ボタン４３１Ｃの操作（フリーズ指示）で得られた静止画像が良好でないと判断した場合、ユーザは再び制御ボタン４３１Ｃを操作する。即ち、内視鏡４０の操作に慣れていないユーザの場合、繰り返しトライするので、フリーズ指示を受け付ける頻度が高くなる。

実施の形態２に係る内視鏡用プロセッサ２０においては、このような事実に鑑み、スキャン時間範囲を決定するように構成されている。

図１１は、実施の形態２に係る内視鏡用プロセッサ２０において、静止画像を表示する処理の一例を説明するフローチャートである。図１１においては、選択履歴ＤＢ６１に使用履歴が蓄積されている場合を表す。以下、図１０を用いて説明する。

内視鏡検査開始後、動画像がリアルタイムで表示されている際に、ユーザが制御ボタン４３１Ｃを押圧操作することによって、ＣＰＵ２１１はフリーズ指示を受け付ける（ステップＳ３０１）。

ついで、決定部２１４は選択履歴ＤＢ６１の使用履歴に基づいてスキャン時間範囲を決定する（ステップＳ３０２）。決定部２１４が、選択履歴ＤＢ６１に基づくスキャン時間範囲を決定する処理については、既に説明しており、詳しい説明は省略する。

また、決定部２１４は、選択履歴ＤＢ６１において、斯かるユーザの有無フィールドにおける「有」の頻度が閾値（例えば、３回）以上であるか否かを判定する（ステップＳ３０３）。
例えば、図１０の例においては、ユーザＩＤが「Ｕ０００１」であるユーザの場合は「有」が１回のみであり、ユーザＩＤが「Ｕ０００２」であるユーザの場合は「有」が３回である。

従って、現在のユーザのユーザＩＤが「Ｕ０００１」である場合、決定部２１４は斯かるユーザの有無フィールドにおける「有」の頻度が閾値以上でないと判定し（ステップＳ３０３：ＮＯ）、これによって、スキャン時間範囲はステップＳ３０２で決定されたものに確定される。以降、処理はステップＳ３０４に進む。

一方、現在のユーザのユーザＩＤが「Ｕ０００２」である場合、決定部２１４は斯かるユーザの有無フィールドにおける「有」の頻度が閾値以上であると判定し（ステップＳ３０３：ＹＥＳ）、ステップＳ３０２で決定されたスキャン時間範囲を２倍に拡張する（ステップＳ３１１）。これによって、スキャン時間範囲は最終的に決定され、以降、処理はステップＳ３０４に進む。

以後、以上のように決定されたスキャン時間範囲を用いてステップＳ３０４以降の処理が行われる。ステップＳ３０４以降の処理は、図９のステップＳ２０３以降の処理と同じであり、説明を省略する。

実施の形態２に係る内視鏡用プロセッサ２０においては、このように、１つの静止画像を取得するためにフリーズ指示のトライを繰り返した頻度が所定の閾値以上である場合はスキャン時間範囲を拡張させることによって、スキャン対象の画像フレームを増やし、より多い候補からブレ量の少ない画像フレームを選択する。従って、ユーザの熟練度の低い場合においても、ブレ量の少ない良好な静止画像を表示できる。

なお、上述した選択部２１３、決定部２１４及び出力部２１５は、ハードウェアロジックによって構成してもよいし、ＣＰＵ２１１が所定のプログラムを実行することにより、ソフトウェア的に構築されてもよい。

１０ 内視鏡システム
２０ 内視鏡用プロセッサ
２１ 制御部
２３ 補助記憶装置
２６ 信号処理部
４０ 内視鏡
５０ 表示装置
６１ 選択履歴ＤＢ
２１１ ＣＰＵ
２１２ 記憶部
２１３ 選択部
２１４ 決定部
２１５ 出力部
２５１ 表示部
Ｃ 記録媒体
Ｐ コンピュータプログラム

Claims (8)

1. 内視鏡から指示信号を受信した場合、該指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の画像フレームから一つを選択して出力するプロセッサにおいて、
   前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶するデータベースと、
   前記データベースに基づいて、使用者毎に前記時間範囲を決定する決定部と
   を備えることを特徴とするプロセッサ。
2. 前記決定部によって決定された時間範囲内でブレの少ない画像フレームを選択する選択部を備えることを特徴とする請求項１に記載のプロセッサ。
3. 前記データベースは、
   選択された画像フレームに係る指示信号の受信前の所定時間内で既に前記指示信号を受信していたか否かを表す有無情報を関連付けて記憶することを特徴とする請求項１又は２に記載のプロセッサ。
4. 前記決定部は、前記時系列情報の頻度に基づいて、前記時間範囲を決定することを特徴とする請求項１から３の何れか一項に記載のプロセッサ。
5. 前記決定部は、前記有無情報の頻度に基づいて、前記時間範囲を決定することを特徴とする請求項３に記載のプロセッサ。
6. 前記時系列情報は、前記指示信号の受信時と、前記選択された画像フレームとの時間間隔を表す情報であることを特徴とする請求項１から５の何れか一項に記載のプロセッサ。
7. 内視鏡から指示信号を受信し、
   前記指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の全画像フレームから一つを選択して出力し、
   前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶し、
   記憶内容に基づいて、使用者毎に前記時間範囲を決定する処理を実行すること
   を特徴とする時間範囲決定方法。
8. コンピュータに、
   内視鏡から指示信号を受信し、
   前記指示信号の受信前の所定の時間範囲内で前記内視鏡が撮像した動画像の全画像フレームから一つを選択して出力し、
   前記内視鏡の使用者のＩＤ、及び、選択された画像フレームを時系列上で特定する時系列情報を関連付けて記憶し、
   記憶内容に基づいて、使用者毎に前記時間範囲を決定する処理を実行させること
   を特徴とするコンピュータプログラム。

Images