JP2004205981A - 自動焦点調節装置 - Google Patents
自動焦点調節装置 Download PDFInfo
- Publication number
- JP2004205981A JP2004205981A JP2002377547A JP2002377547A JP2004205981A JP 2004205981 A JP2004205981 A JP 2004205981A JP 2002377547 A JP2002377547 A JP 2002377547A JP 2002377547 A JP2002377547 A JP 2002377547A JP 2004205981 A JP2004205981 A JP 2004205981A
- Authority
- JP
- Japan
- Prior art keywords
- optical
- focus adjustment
- optical flow
- focus
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Automatic Focus Adjustment (AREA)
- Endoscopes (AREA)
Abstract
【構成】焦点調節用の可動レンズ系3bを含む撮像光学系3と、該撮像光学系3によって形成される光学像を電気的な映像信号に変換する撮像素子3cとを備え、撮像素子3cから出力される映像信号から輝度信号を分離し、前後の画面における前記輝度信号に基づいてオプティカルフローを算出し、各オプティカルフローの大きさを集計し、前記集計したオプティカルフローの大きさに基づいて、可動レンズ系3bを駆動するかどうかを判定するシステムコントローラ11を備えた。
【選択図】 図5
Description
【発明の技術分野】
本発明は、特に電子内視鏡に適した自動焦点調節装置に関する。
【0002】
【従来技術およびその問題点】
近年、自動焦点調節装置を備えた電子内視鏡が開発されている。このような従来の自動焦点調節装置の焦点検出は、CCDまたはCMOS型撮像素子により撮像した映像信号中、高周波成分に関する評価値が最大、例えば被写体像の輪郭部の高周波成分が最多になるときをピント位置(合焦位置)として焦点調節をしていた。電子内視鏡による診断中は内視鏡操作により焦点検出対象が頻繁に変わるので、自動焦点調節装置を常時起動していると、焦点調節光学系がハンチング状態になる、などの問題を生じていた。一方、焦点調節が必要なときにだけ自動焦点調節装置を起動する構成にするためには、別個自動焦点調節装置を起動するスイッチが必要であり、さらに起動、停止するためにはこのスイッチを操作しなければならなかった。
【0003】
自動焦点調節装置を備えた電子内視鏡として、特許文献1、特許文献2、特許文献3および特許文献4等が知られている。
【0004】
【特許文献1】
特開2001-154085号公報
【特許文献2】
特開2000-5127号公報
【特許文献3】
特開2000-197604号公報
【特許文献4】
特開2000-342533号公報
【0005】
【発明の目的】
本発明は、上記従来の電子内視鏡における自動焦点調節装置の問題に鑑みてなされたもので、電子内視鏡使用中に自動焦点調節装置をオン/オフ操作するスイッチが不要であり、しかも不必要な自動焦点調節動作をしない自動焦点調節装置を提供することを目的とする。
【0006】
【発明の概要】
この目的を達成する本発明は、撮像光学系と、該撮像光学系によって形成される光学像を電気的な映像信号に変換する撮像手段と、焦点調節手段とを備え、前記撮像手段から出力される映像信号から輝度信号を分離し、前後の画面における前記輝度信号に基づいてオプティカルフローを算出し、各オプティカルフローの大きさまたは各オプティカルフローの方向性を集計するオプティカルフロー算出手段と、前記集計したオプティカルフローの大きさまたは方向性に基づいて、前記焦点調節手段を駆動するか否かを判定する判定手段を備えたことに特徴を有する。
このように撮像した映像信号に基づいて求めたオプティカルフローを利用して被写体が接近したか離反したかを判定できるので、必要な場合だけ焦点調節手段を駆動し、ピントのあった滑らかな動画映像を得ることができる。
前記判定手段は、前記オプティカルフロー算出手段が各オプティカルフローの大きさまたは方向性を算出できなかった場合は、前記焦点調節手段を起動しないと判定する。被写体のコントラストが低い場合等、被写体と撮像光学系の相対移動が激しい場合には、オプティカルフローを算出できないので、このような場合に焦点調節手段を起動しても焦点調節ができないばかりか、いわゆるハンチング状態になってしまうからである。
【0007】
【発明の実施の形態】
以下図面に基づいて本発明を説明する。図1は、本発明の自動焦点調節装置を搭載した電子内視鏡装置の実施形態をブロックで示す図である。
【0008】
電子内視鏡装置は、撮像光学系3で被写体の像を撮像素子3cの撮像面に形成して被写体の像を電気的な映像信号に変換する内視鏡1と、撮像素子3cによって変換された映像信号を処理するとともに装置全体を制御するためのプロセッサ2とを組合せて構成されている。
【0009】
前記内視鏡1は、体腔内に挿入可能な可撓性の細長の挿入管1aと、挿入管1aの体外端部に設けられた操作部1bと、プロセッサ2に接続するためのケーブルコネクタ1cを備えていて、その挿入管1aの体内挿入部先端部に撮像光学系3および撮像素子3cが組込まれている。
【0010】
図2および図3に示すように、撮像光学系3は、先端側から順に、固定位置に設けた固定レンズ系3aと、この固定レンズ系3aに対して接離移動可能な可動レンズ系3bと、固定レンズ系3a及び前記可動レンズ系3bに対して相対移動可能であって、固定レンズ系3a及び可動レンズ系3bにより形成された光学像を電気信号に変換する撮像素子3cとを含んでいる。
この実施形態は、可動レンズ系3bの光軸に沿った移動および撮像素子3cの光軸に沿った移動により、焦点距離可変および焦点調節する構成である。この実施形態は、可動レンズ系3bおよび撮像素子3cの相対移動領域を二つの領域に分け、この二つの領域を、焦点距離を短焦点距離側領域と長焦点距離側領域の二つに分ける領域とし、さらに各領域内における相対接離移動により焦点調節する構成としてある。
【0011】
ズーム機能を備えた撮像光学系3の一例を図2及び図3に基いて説明する。図2及び図3に示すように、内視鏡1の挿入管1a先端部内には筒状をなす固定レンズ枠3dが設置され、固定レンズ枠3dに撮像光学系3の固定レンズ系3aを固定してある。また固定レンズ枠3dの内側に筒状をなすガイド枠3eを設け、ガイド枠3eには光軸(図2の左右方向)と平行に直線案内溝3f、3gを設けている。
【0012】
ガイド枠3eの内側には可動レンズ枠3hが光軸方向に移動可動に嵌め込まれており、可動レンズ枠3hのキー3iとガイド枠3eの直線案内溝3f(図2において上部に位置)との嵌め合せにより可動レンズ枠3hを光軸の周りに回転させることなく光軸に沿って直線移動させる。またガイド枠3eの外側にはリング3jが嵌め込まれており、リング3jと可動レンズ枠3hとはガイド枠3eの直線案内溝3g(図2において下部に位置)を貫通したネジ3kで締結されている。なお、後端部にバネ座3nを有し、撮像素子枠3pとガイド枠3eとの間に嵌合された筒状部材3lには、ネジ3kの光軸方向の移動きを許容する図示しないスリットが設けられている。
【0013】
またリング3jの鍔部3mには連結部材4aを介して図1のステッピングモータ4が連動されており、ステッピングモータ4により可動レンズ枠3hを光軸方向に直線移動させる。可動レンズ枠3hには可動レンズ系3bが固定レンズ系3aに対峙して搭載され、可動レンズ枠3hが直線移動することにより固定レンズ系3aと可動レンズ系3bとの相対距離が可変する。この実施例は、固定レンズ系3aと可動レンズ系3bとの相対距離の変更により、焦点調節する構成である。
またリング3jとバネ座3nとの間には可動レンズ枠3hを可動レンズ系3bが固定レンズ系3aに接近する方向に押すスプリング3oが設けられ、スプリング3oは、可動レンズ枠3hを常時固定レンズ系3a側に常時付勢していて、ステッピングモータ4による可動レンズ枠3hへの力が解除された際に可動レンズ枠3hを固定レンズ系3a側に押し戻して可動レンズ系3bを所定の初期位置に復帰させるように作用する(図3(a))。この初期位置が最遠合焦位置であり、パンフォーカス位置でもある。
【0014】
またガイド枠3eの内側には撮像素子枠3pが嵌め込まれている。撮像素子枠3pには撮像素子3cが、可動レンズ系3bに対峙させて搭載されている。また撮像素子枠3pと可動レンズ枠3hとの間にはスプリング3rが設けられ、スプリング3rは、可動レンズ系3bを撮像素子3cから離反する方向に付勢して、可動レンズ系3bが撮像素子3cの受光面が接触するのを防止する。19はOリング形状のシール材である。
【0015】
また撮像素子枠3pには、撮像素子3cを駆動制御して撮像光学系3により形成された光学像を電気的な電気信号に変換して出力させる撮像素子駆動回路3s等の回路と、撮像素子3cからの電気信号を伝送する信号ケーブル3t等が搭載される。信号ケーブル3tは、撮像素子3cからの電気的な映像信号を後述の初段映像信号処理回路6に伝送し、かつ初段映像信号処理回路6で信号処理された信号を撮像素子駆動回路3s等に伝送する双方向性のものである。後述するタイミングコントローラ10による時間制御の下に双方向性の信号伝送が制御される。
【0016】
また挿入管1aには送光光路5が撮像光学系3に隣接して設置されている。この送光光路5は光源部9から射出された照明光を挿入管1aに導く導光路として作用し、挿入管1aの先端端面に位置する送光レンズ5aを通して被写体を照明する。なお、挿入管1aは体腔内に挿入するものであるから細径である必要があり、送光光路5は光ファイバーを束ねた光ファイバー束として構成することが望ましい。
【0017】
一方、図1に示すようにプロセッサ2には、初段映像信号処理回路6と、画像メモリ7と、後段映像信号処理回路8と、光源部9と、タイミングコントローラ10と、システムコントローラ11と、フロントパネルスイッチ12と、電源部13とが搭載されている。
【0018】
初段映像信号処理回路6は、信号ケーブル3tを通して伝送される撮像素子3cからの電気信号を信号処理し、その映像信号を画像メモリ7に逐次記憶させる。また後段映像信号処理回路8は、画像メモリ7に蓄積された映像信号を逐次読み出して信号処理を行い、その映像信号をモニタ14に出力する。モニタ14は後段映像信号処理回路8から出力される映像信号を表示面に可視画像として表示する。
【0019】
またシステムコントローラ11はキーボード11aから入力される指令データ及び図示しないメモリに記憶されたプログラムに基いてプロセッサ2の全体的な動作を制御し、タイミングコントローラ10はシステムコントローラ11からの指令に基いてプロセッサ2の各ブロックの動作タイミングを制御する。またプロセッサ2は電源部13から電力供給を受ける。
【0020】
また光源部9は、信号ケーブル3tを通して伝送される撮像素子3cからの電気信号に基いて撮像画像の明るさを検出して調光制御信号を得て、その調光制御信号に基いて絞りの開閉度合を制御し、その開閉度が制御された絞りに光源からの光を通過させ、光量が調節された光を送光光路5に出力する。
【0021】
自動焦点調節部15は、合焦検知回路部を含み、合焦検知回路部が検知した合焦状態に基づいてステッピングモータ駆動回路21を介してステッピングモータ4を駆動制御する。ステッピングモータ駆動回路21は、ステッピングモータ4を駆動して可動レンズ系3bを撮像光学系3の可変焦点調節範囲内で移動させる。
【0022】
自動焦点調節部15の合焦検知回路部は、撮像素子3cが出力する映像信号に基いて評価値を検出する。図3(a)及び(c)に示すように撮像光学系3による被写体撮像画像の焦点(ピント)がぼけていた場合には、自動焦点調節部15は、ステッピングモータ駆動回路21を介してステッピングモータ4を右回転或いは左回転させ、可動レンズ系3bを前後動させる。この可動レンズ系3bと固定レンズ系3aおよび撮像素子3cの間の相対的な位置調節により、焦点調節が行われる(図3(b))。
【0023】
自動焦点調節部15は、撮像光学系3の焦点合せを、撮像素子3cが出力する信号の所定周波数成分を評価値として行うものであり、具体的には自動焦点調節部15は、撮像光学系3の合焦度合に応じて撮像素子3cが出力する信号の高周波成分が増減することを利用し、図3に示すように前記高周波成分を評価値Sとして焦点位置の調節を行う。
【0024】
図3(a)に示す状態から、自動焦点調節部15により可動レンズ系3bが移動されて撮像光学系3の焦点が撮像素子3cの受光面と一致すると、図3(b)に示すように撮像素子3cから出力される信号の高周波成分は増加する。光学レンズ系3の焦点が撮像素子3cの前方に位置すると、図3(c)に示すように撮像素子3cから出力される信号の高周波成分は減少する。
【0025】
自動焦点調節部15は、撮像光学系3の合焦度合に応じて撮像素子3cが出力する信号の高周波成分が増減することを利用して合焦位置を検知する。高周波成分が最大の位置が評価値最大で、合焦位置である。
図3(b)に示す合焦状態から被写体までの距離が変わると、図3(a)または図3(c)と同様の状態になる。この場合、撮像素子3cが出力する信号の高周波成分の増減を検知しているだけでは、被写体が接近したのか離反したのか特定できない。
【0026】
そこで本発明の実施形態では、撮像素子3cが出力する映像信号から複数の特徴点を抽出してその特徴点についてオプティカルフローを算出し、オプティカルフローを集計し、方向を集計する。ここで、特徴点が抽出できない場合、例えばコントラストがほとんど無い場合、または動きが激しくて特徴点の対応が求められなかった場合は、オプティカルフローの算出ができない。このような場合に評価値を求めても、正確な評価値を求めることができない。このような場合に焦点調節手段を起動しても焦点調節ができないばかりか、いわゆるハンチング状態になってしまうおそれがある。そこで本実施形態では、このようにオプティカルフロー算出ができなかった場合は、自動焦点調節処理を行わないことに特徴を有する。
【0027】
次に、本発明の特徴である自動焦点調節装置の焦点検出に係る構成について説明する。本実施形態は、撮像光学系3を通常はパンフォーカス状態に維持しておいて撮像処理を継続しながら、撮影した画像に基づいて特徴点のオプティカルフローを測定し、特徴点のオプティカルフローが放射または集束する場合は、その量および方向に応じて自動焦点調節装置を作動させることに特徴を有する。この実施例のパンフォーカス状態は、最遠合焦状態であって、可動レンズ系3bが最も前進している。
【0028】
図4(A)、(B)、(C)、(D)には、3個の特徴点a、b、cについて(A)、オプティカルフローが放射する場合(B)、集束する場合(C)、放射でも集束でも無い場合(移動する場合)(D)を示している。オプティカルフローが放射する場合は被写体に接近している場合であり、オプティカルフローが集束する場合は被写体から遠ざかっている場合である。本明細書において、オプティカルフローはベクトルとして扱う。
ここで、フロー大きさはベクトルの大きさの総和であって、フロー大きさが小さいときは、ファイバー先端部の動きが小さいので、じっくり観察したいときと判断する。本実施の形態ではこのような場合のみ、ゆっくり近付いているのか、遠ざかっているのか、どちらでもないのか判断し、どちらでもない場合は何もしない。
【0029】
本発明におけるオプティカルフローの算出方法(推定方法)として、例えば勾配法、ブロックマッチング法が知られている。本実施形態では、勾配法を適用したものとする。
【0030】
この実施例における撮像光学系3および撮像素子3cのパンフォーカス状態は最遠合焦状態であって、撮像素子3cが最も前進している。また、オプティカルフローが放射する場合は、撮像光学系3と被写体との間隔が狭まった場合であり、オプティカルフローが集束する場合は撮像光学系3と被写体との間隔が拡がった場合である。
【0031】
図5乃至図7は、この実施形態において、システムコントローラ11によって制御される処理である。システムコントローラ11は、画像メモリ7に書き込まれた画像データを読み出して、特徴点の抽出、そのオプティカルフローの算出、大きさの集計、方向性の集計等の処理を実行する。
【0032】
図5は、オプティカルフロー算出処理に関するメインフローチャートである。この処理は、所定時間間隔で間欠的に繰り返される。なお、本明細書および図面において、ステップは「S」と省略する。
【0033】
この自動焦点調節装置が起動して最初に入ったときは、撮像光学系3を最遠状態に設定する(S101)。この電子内視鏡の場合は撮像素子3cを初期位置に移動させる。この初期位置は、ステッピングモータ4による牽引力を解除した状態である。また、2回目以降の処理では、このS101をスキップしてS103に入る。
【0034】
次に、取得した1画面分(1フレームまたは1フィールド)の映像信号から、特徴点を抽出する(S103)。特徴点は、例えば、その画素の左右、上下あるいは斜め方向においてコントラストが急激に変化する点、輪郭などから抽出する。特徴点を抽出できなかった場合は、一旦このフローチャートを抜ける(S105;N、END)。つまり、特徴点が得られなかった場合は、可動レンズ系3bは移動せず、現状の焦点状態を維持する。
なお、特徴点を抽出できるまで特徴点を求める処理を、映像信号が1画面分出力される毎に繰り返してもよい。
【0035】
特徴点が得られたら(S105;Y)、その特徴点についてオプティカルフローを算出する(S107)。このオプティカルフローは、通常2画面またはそれ以上の画面の映像信号から算出する。
【0036】
オプティカルフローを算出できなかった場合は、一旦このフローチャートを抜ける(S109;N、END)。オプティカルフローを算出できたときは、以下の処理を実行する(S109;Y)。
【0037】
まず、オプティカルフローの大きさLを集計する(S111)。そして、そのオプティカルフローの大きさLが所定の閾値未満のときは、撮像光学系3が最遠状態であるかどうかを判断し、最遠状態である場合(S115;Y、S120;Y)、評価値が最大となる位置にフォーカスレンズ群(可動レンズ系3b)を移動させて処理を抜け(S121)、最遠状態でない場合は(S115;Y、S120;N)可動レンズ系3bは移動しない。最遠状態の場合でフローが小さくなるときは、ファイバー先端の動きが小さくなっている場合であってAFを起動したいときであり、最遠状態でない場合でフローが小さくなる場合は、AFが起動している状態であるからである。
なお、オプティカルフローの大きさLの集計は、その絶対値の和を求める処理である。オプティカルフローの大きさが閾値未満のときは、、被写体がほとんど移動していない状態と推測されるからである。
【0038】
オプティカルフローの大きさが閾値以上のときは、オプティカルフローの方向を集計する(S117)。
オプティカルフローの方向の集計は、各オプティカルフローをベクトルとして中心に向かうベクトルと中心から出て行くベクトルの個数を数える処理である。そして、オプティカルフローに方向性が無かった場合(被写体が放射または集束していない場合)は(S119;Y)、そのまま処理を抜ける。オプティカルフローに方向性があった場合、つまり放射または集束している場合は(S119;N)、可動レンズ系3bを最遠状態に設定してリターンする(S123)。
オプティカルフローに方向性が無かった場合とは、例えば被写体が光軸と直交するいずれかの方向に移動していた場合等である。
【0039】
以上の処理によって、被写体が接近または離反したときは、評価値が最大となる合焦位置に可動レンズ系3bが移動する。しかし、特徴点が抽出できない場合、例えばコントラストがほとんど無い場合、または動きが激しくて特徴点の対応が求められなかった場合は、可動レンズ系3bは移動しない。さらに、オプティカルフローが放射または集束していて、かつその合計が閾値よりも小さい場合、つまり、被写体との間隔がほぼ光軸に沿って接離した場合は評価値最大位置、つまり合焦位置へ可動レンズ系3bが移動する。
オプティカルフローの合計が閾値以上で、かつ放射も集束もしていなかった場合は、被写体が相対的に激しく移動していて合焦不能状態と推定される状態では、可動レンズ系3bはそのまま固定される。
【0040】
次に、S111におけるオプティカルフロー大きさL集計処理の詳細について、図6に示したフローチャートを参照して説明する。
この処理に入ると、先ず、変数SUMに0をセット、つまり変数SUMをクリアし(S201)、変数Iに0をセット、つまり変数Iをクリアする。ここで、変数SUMは、オプティカルフローの大きさLの和を表す変数であり、変数Iは繰り返し数を表す変数である。これらの変数SUMおよび変数Iをクリアすると、S205〜S209の処理を、変数Iがオプティカルフロー数Fcntになるまで繰り返す。S205では、変数Iがオプティカルフロー数Fcnt未満かどうかをチェックし、未満であれば、変数SUMにI番目のオプティカルフローFlow[I]の大きさを加算した和で、変数SUMを書き換える(S205;Y、S207)。さらに、変数Iに1加算した合計で変数Iを書き換える(S209)。なお、Flow[I]の[]は配列の添え字であって、ベクトルの和ではなく、ベクトルの大きさの和を意味する。
【0041】
変数Iがオプティカルフロー数Fcnt未満でなくなったら、つまり、1画面分の全てのオプティカルフローを加算したらこのループを抜ける(S205;N、S211)。S211では、オプティカルフローの合計Lに、変数SUMをオプティカルフロー数Fcntで割った値を代入する。そうして、さらに合計Lに、式
L×(Scnt − Snum)/Scnt
により算出される値を代入してリターンする(S213、RETURN)。ここで、Scntは最遠状態から最至近状態まで可動レンズ系3bを動かすために必要な全ステップ数、Snumは最遠状態からの可動レンズ系3bの移動ステップ数である。上記式は、被写体までの距離が近いほど、被写体および内視鏡先端部の相対的な微小な動きでもオプティカルフローが大きくなるので、距離に関わりなくオプティカルフローの合計Lを同一の基準で評価可能にするための重みづけである。
【0042】
S117のオプティカルフロー方向集計処理の詳細について、図7に示したフローチャートを参照して説明する。本実施形態のオプティカルフロー方向集計処理は、オプティカルフローをベクトルとし、ベクトルの方向を、各特徴点について、画像中心を原点とした座標系に変換して、中心に向かうベクトルと中心から出て行くベクトルの個数を数える処理である。
【0043】
このフローチャートに入ると、まず、放射変数Crおよび集束変数Ccをクリアし(S301)、変数Iをクリアする(S303)。ここで、放射変数Crは、放射しているオプティカルフローの総数、集束変数Ccは集束しているオプティカルフローの総数である。そうして、変数Iがオプティカルフロー数Fcnt以上になるまで、つまりオプティカルフロー数FcntだけS305〜S315の処理を繰り返す。
【0044】
S305では、変数Iがオプティカルフロー数Fcnt未満かどうかチェックし、未満であればS307に進み(S305;Y、S307)、未満でなければS317に飛ぶ(S305;N、S317)。変数Iがオプティカルフロー数Fcnt未満のとき(S305;Y)、つまり各オプティカルフローについて、ベクトルVpにオプティカルフロー始点の位置ベクトルを代入する(S307)。次に、オプティカルフローとベクトルVpの関係をチェックする(S309)。同一方向のときは、放射変数Crに1加算してS315に進み(S309;同一方向、S311、S315)、反対方向のときは集束変数Ccに1加算してS315に進み(S309;反対方向、S313、S315)、いずれでもない場合はそのままS315に進む(S309;ELSE、S315)。そして、S315において変数Iに1加算し、S305に戻る。
【0045】
以上のS305〜S315の処理をオプティカルフロー数Fcnt繰り返すことにより、オプティカルフローが放射しているか、集束しているか、そのいずれでもないかが求まる。オプティカルフローが放射している場合は被写体に近づいている状態、集束している場合は被写体から遠ざかっている状態、そのいずれでも無い状態は、被写体が動いていない状態または光軸に対して略直交する方向に移動している場合である。
【0046】
S305〜S315の処理をオプティカルフロー数Fcnt回だけ繰り返すと、S317に進む(S305;N、S317)。S317では、式
m=max(Cr/Fcnt, Cc/Fcnt)
を演算する。つまり、放射変数Crの平均値または集束変数Ccの平均値のいずれか大なる値を変数mに入れる。そして、変数mが所定の閾値よりも大きいかどうかをチェックする(S319)。変数mが閾値よりも大きくないとき、つまり被写体間の距離の変動が小さいときは、方向は無しに設定してリターンする(S319;N、S321、RETURN)。
【0047】
変数mが閾値よりも大きければ、放射変数Crと集束変数Ccの大小関係を判定する(S319;Y、S323)。放射変数Crの方が大きければ、方向は放射と設定してリターンする(S323;Y、S325、RETURN)。集束変数Ccの方が大きくなければ、方向は集束と設定してリターンする(S323;N、S327、RETURN)。
【0048】
以上のオプティカルフロー方向集計処理により、オプティカルフローの方向性が求まる。そして、S121において、このオプティカルフローの方向性に対応した方向に可動レンズ系3bを移動すべく、自動焦点調節部15によりステッピングモータ駆動回路21を介してステッピングモータ4を駆動させるとともに、評価値を求め、評価値が最大になる合焦位置でステッピングモータ4を停止させる。
【0049】
このように本発明の実施形態は、電子内視鏡装置において、撮像した映像信号からオプティカルフローを求め、被写体に接近または離反したことを検知したときに、その方向に焦点調節するので、無為な焦点調節処理をすることがなく、しかも焦点調節すべき方向に焦点調節ができるので短時間で合焦させることが可能になり、滑らかな映像を得ることができる。
【0050】
以上の実施の形態では撮像光学系を短焦点距離としたが、ズームレンズにも適用できる。この場合、ズームインするとオプティカルフローが放射状態となり、ズームアウトするとオプティカルフローが集束状態となるので、ズーミングした場合は、この状態を加味して判定するか、ズーミング中、その前後のオプティカルフローは考慮しない構成とする。また、以上の実施形態は医療現場で用いる内視鏡装置を例にしたが、本発明の電子内視鏡装置は工業用の分野に用いられる同様の機能を有する装置にも同様に適用することができるものであり、医療用分野のものに限定されるものではない。
【0051】
【発明の効果】
以上の説明から明らかな通り本発明は、電子内視鏡装置において、撮像した映像信号に基づいて複数の特徴点について集計したオプティカルフローの大きさに基づいて焦点調節手段を駆動するかどうかを判定するので、被写体までの距離が変化したこと、合焦可能であるかどうかの判定ができ、焦点調節可能な場合、必要な場合のみ焦点調節手段が起動されることとなる。したがって、本発明を適用した電子内視鏡装置によれば、使用中に焦点調節手段をオン/オフ操作しなくても、適切なときに自動的に焦点調節手段が起動して滑らかな焦点調節により自然で見やすい映像を得ることができる。
【図面の簡単な説明】
【図1】本発明の自動焦点調節装置を搭載した電子内視鏡装置の実施形態をブロックで示す図である。
【図2】同電子内視鏡装置の挿入管の先端部における撮像素子と撮像光学系との関係を示す、挿入管の縦断面図である。
【図3】同撮像素子と撮像光学系との関係を示す図である。
【図4】オプティカルフローの様子を示す図である。
【図5】同自動焦点調節装置の焦点調節処理に関するメインフローチャートを示す図である。
【図6】同自動焦点調節装置の焦点調節処理におけるオプティカルフローの大きさ集計処理に関するフローチャートを示す図である。
【図7】同自動焦点調節装置の焦点調節処理におけるオプティカルフローの方向集計処理に関するフローチャートを示す図である。
【符号の説明】
1 内視鏡
2 プロセッサ
3 撮像光学系
3a 固定レンズ系
3b 可動レンズ系(フォーカシングレンズ)
4 ステッピングモータ
7 画像メモリ
11 システムコントローラ(オプティカルフロー算出手段、判定手段)
15 自動焦点調節部
21 ステッピングモータ駆動回路
Claims (5)
- 撮像光学系と、該撮像光学系によって形成される光学像を電気的な映像信号に変換する撮像手段と、焦点調節手段とを備え、
前記撮像手段から出力される映像信号から輝度信号を分離し、
前後の画面における前記輝度信号に基づいてオプティカルフローを算出し、各オプティカルフローの大きさまたは各オプティカルフローの方向性を集計するオプティカルフロー算出手段と、
前記集計したオプティカルフローの大きさまたは方向性に基づいて、前記焦点調節手段を駆動するか否かを判定する判定手段を備えたこと、を特徴とする自動焦点調節装置。 - 前記判定手段は、前記オプティカルフロー算出手段が各オプティカルフローの大きさまたは方向性を算出できなかった場合は、前記焦点調節手段を起動しないと判定する請求項1記載の自動焦点調節装置。
- 前記撮像光学系は、光軸に沿って移動して焦点調節する焦点調節光学系を備え、前記焦点調節手段は、該焦点調節光学系を移動させる駆動手段、および前記撮像手段から出力された映像信号に基づいて焦点状態を判定する焦点検出手段を備えている請求項1または2記載の自動焦点調節装置。
- 前記焦点調節光学系は、常時はパンフォーカス位置に位置し、前記判定手段は、前記オプティカルフローの大きさの合計が所定値よりも小さいときに前記焦点調節手段を起動する請求項3記載の自動焦点調節装置。
- 前記オプティカルフロー算出手段は、前記焦点調節光学系の光軸方向の位置に基づいて前記オプティカルフローの大きさに重みづけする請求項3または4記載の自動焦点調節装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002377547A JP2004205981A (ja) | 2002-12-26 | 2002-12-26 | 自動焦点調節装置 |
US10/740,758 US7522209B2 (en) | 2002-12-26 | 2003-12-22 | Automatic focusing apparatus including optical flow device calculation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002377547A JP2004205981A (ja) | 2002-12-26 | 2002-12-26 | 自動焦点調節装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004205981A true JP2004205981A (ja) | 2004-07-22 |
JP2004205981A5 JP2004205981A5 (ja) | 2005-11-04 |
Family
ID=32814693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002377547A Pending JP2004205981A (ja) | 2002-12-26 | 2002-12-26 | 自動焦点調節装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004205981A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527587A (ja) * | 2008-07-10 | 2011-11-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 光学画像プローブ |
JP2013509208A (ja) * | 2009-10-30 | 2013-03-14 | ケアストリーム ヘルス インク | 液体レンズを備えた口腔内カメラ |
WO2016185952A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 制御装置及び医療用撮像システム |
WO2016199264A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及びフォーカス制御方法 |
US10617282B2 (en) | 2016-01-13 | 2020-04-14 | Olympus Corporation | Endoscope apparatus and method for focusing based on motion information |
-
2002
- 2002-12-26 JP JP2002377547A patent/JP2004205981A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527587A (ja) * | 2008-07-10 | 2011-11-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 光学画像プローブ |
JP2013509208A (ja) * | 2009-10-30 | 2013-03-14 | ケアストリーム ヘルス インク | 液体レンズを備えた口腔内カメラ |
WO2016185952A1 (ja) * | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 制御装置及び医療用撮像システム |
JPWO2016185952A1 (ja) * | 2015-05-18 | 2018-04-19 | ソニー株式会社 | 制御装置及び医療用撮像システム |
US10278566B2 (en) | 2015-05-18 | 2019-05-07 | Sony Corporation | Control device and medical imaging system |
US10912450B2 (en) | 2015-05-18 | 2021-02-09 | Sony Corporation | Control device and medical imaging system |
WO2016199264A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及びフォーカス制御方法 |
JPWO2016199264A1 (ja) * | 2015-06-11 | 2018-05-24 | オリンパス株式会社 | 内視鏡装置及びフォーカス制御方法 |
US10799085B2 (en) | 2015-06-11 | 2020-10-13 | Olympus Corporation | Endoscope apparatus and focus control method |
US10617282B2 (en) | 2016-01-13 | 2020-04-14 | Olympus Corporation | Endoscope apparatus and method for focusing based on motion information |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11835702B2 (en) | Medical image processing apparatus, medical image processing method, and medical observation system | |
US10129454B2 (en) | Imaging device, endoscope apparatus, and method for controlling imaging device | |
US9485405B2 (en) | Focus control device, endoscope device, and focus control method | |
JP5085662B2 (ja) | 内視鏡システム | |
US8786690B2 (en) | Imaging apparatus, endoscope system, and method of controlling imaging apparatus | |
US7522209B2 (en) | Automatic focusing apparatus including optical flow device calculation | |
US10912450B2 (en) | Control device and medical imaging system | |
JP5022580B2 (ja) | 内視鏡装置 | |
US20200121163A1 (en) | Flexible tube insertion apparatus, insertion control apparatus, and flexible tube insertion support method | |
JP7441897B2 (ja) | 制御装置、内視鏡システムおよび制御装置の作動方法 | |
JP2022066266A (ja) | 被写体認識装置 | |
WO2007101187A2 (en) | Methods and apparatuses for selecting and displaying an image with the best focus | |
US11509816B2 (en) | Image processing apparatus, image pickup apparatus, and control method of image processing apparatus | |
CN113573624A (zh) | 内窥镜系统、非暂时性计算机可读介质及方法 | |
JP2017034569A (ja) | 撮像装置及びその制御方法 | |
JP2004205981A (ja) | 自動焦点調節装置 | |
JP2004205982A (ja) | 自動焦点調節装置 | |
JP2004219546A (ja) | 自動焦点調節装置および自動焦点調節方法 | |
WO2013061939A1 (ja) | 内視鏡装置及びフォーカス制御方法 | |
EP4027198A1 (en) | Electronic apparatus, electronic apparatus control method, program, and storage medium | |
JP2021180446A (ja) | 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム | |
JP2021125867A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム | |
JPH09253041A (ja) | 内視鏡装置 | |
WO2022091664A1 (ja) | 電子機器およびその制御方法 | |
JP2022165239A (ja) | 撮像装置及びその制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080425 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |