JP2013088766A - 撮像装置及び内視鏡装置 - Google Patents

撮像装置及び内視鏡装置 Download PDF

Info

Publication number
JP2013088766A
JP2013088766A JP2011231947A JP2011231947A JP2013088766A JP 2013088766 A JP2013088766 A JP 2013088766A JP 2011231947 A JP2011231947 A JP 2011231947A JP 2011231947 A JP2011231947 A JP 2011231947A JP 2013088766 A JP2013088766 A JP 2013088766A
Authority
JP
Japan
Prior art keywords
lens
movable lens
phase
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011231947A
Other languages
English (en)
Other versions
JP5973708B2 (ja
JP2013088766A5 (ja
Inventor
Koichiro Yoshino
浩一郎 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011231947A priority Critical patent/JP5973708B2/ja
Priority to PCT/JP2012/076172 priority patent/WO2013058145A1/ja
Priority to CN201280051353.3A priority patent/CN103907042A/zh
Priority to EP12842285.4A priority patent/EP2770359A4/en
Publication of JP2013088766A publication Critical patent/JP2013088766A/ja
Priority to US14/229,168 priority patent/US10129454B2/en
Publication of JP2013088766A5 publication Critical patent/JP2013088766A5/ja
Application granted granted Critical
Publication of JP5973708B2 publication Critical patent/JP5973708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • G02B23/2438Zoom objectives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Lens Barrels (AREA)

Abstract

【課題】 画角の変更に伴い合焦被写体距離が変更される撮像光学系において、位相センサからの位相情報に基づいて合焦制御を行うことで、合焦動作時に取得される画像のちらつき等を抑止する撮像装置及び内視鏡装置等を提供すること
【解決手段】 撮像装置は、画角と合焦被写体距離を同時に調整する可動レンズ240を含む撮像光学系と、撮像素子260と、複数の位相センサと、複数の位相センサからの位相情報を取得する取得部(A/D変換部320)と、可動レンズ240の位置を制御するレンズ制御部360と、位相情報に基づく位相差に基づいて、撮像光学系を通った光線による撮像素子上の像の合焦状態を実現するために必要な可動レンズ240の移動量を算出する移動量算出部350を含み、レンズ制御部360は移動量算出部350で算出された移動量に基づいて、可動レンズ240の位置を制御する。
【選択図】 図1

Description

本発明は、撮像装置及び内視鏡装置等に関する。
従来、可動レンズの移動により対物レンズの画角を調整し、広角(以下、WIDE)側では被写体となる消化管全体の観察(通常観察)を行い、望遠(以下、TELE)側では消化管の一部を拡大して観察(拡大観察)を行うズーム機能を備えた内視鏡システムが実用化されている。
一般的にこのようなズーム機能を備えた内視鏡システムでは、可動レンズの移動によりTELE側での画角を小さく(光学倍率を大きく)するだけでなく、焦点位置の調整も同時に行うことでベスト被写体距離を短くし、拡大観察に必要な倍率を実現している場合が多い。ここでベスト被写体距離とは、被写体の像位置が撮像素子の撮像面に一致する場合の、対物レンズ先端から被写体までの距離である。TELE側でベスト被写体距離を短くすることで、被写体により近接して観察を行うことが可能になるため、拡大観察時の倍率をより大きくすることが可能になる。
一方、ベスト被写体距離が短くなると、被写体位置の移動による像位置の移動量が大きくなるため、一般的に光学系の被写界深度が狭くなる。このため、近年のズーム機能を備えた内視鏡システムでは、TELE側の被写界深度の幅が1mm以下となる場合もあり、ユーザーが被写体にピントを合わせることが難しくなってきている。
このような問題を解決するには、例えば特許文献1に示すような、画像の高周波成分からコントラスト値(画像の合焦度合いを示す評価値)を算出して合焦状態を評価するオートフォーカス機能(コントラストAF)を備えた内視鏡システムが提案されている。また、例えば特許文献2では、フォーカスレンズを微小に振動(ウォブリング)させてコントラスト値を算出することで合焦方向を検出し、焦点位置が合焦方向に移動するようにフォーカスレンズを制御するという動作を周期的に行うことで、動画において被写体に追従しながらピントを合わせ続ける機能(コンティニュアスAF)を備えたビデオカメラが提案されている。
特開2004−294788号公報 特開平10−239579号公報
内視鏡の拡大観察においては、被写体の拍動等により対物レンズ先端から被写体までの距離(被写体距離)を一定に保つことが難しい。このため、ユーザーがシングルAFにより一時的に被写体にピントを合わせても、被写体距離の変動により被写体がボケることでユーザーの観察に支障をきたす。このような不具合を解決するには、前述の特許文献2のようなコンティニュアスAFを行うことが望ましいが、特許文献2のようにコントラスト値から合焦方向を検出する場合は、ウォブリング時に画像のちらつきといった違和感のない画像を取得するため、フォーカスレンズの移動による画角の変動をできるだけ抑える必要がある。このため、前述のズーム機能を備えた内視鏡システムのように、可動レンズの移動により画角とベスト被写体距離を同時に調整するような光学系では、可動レンズをフォーカスレンズとみなしてウォブリングさせることは困難である。
ズーム機能とコンティニュアスAFを同時に実現するには、例えば主に光学倍率を調整するズームレンズと、主に光学系の焦点位置を調整するフォーカスレンズをそれぞれ備えた光学系を採用し、これらを独立に制御するといった構成が考えられる。しかしこのような構成においては、レンズやレンズを移動させるためのアクチュエータといった撮像部の構成要素が増加するため、撮像部が大型化すると共にコストも増加するという課題があった。
本発明の幾つかの態様によれば、画角の変更に伴い合焦被写体距離が変更される撮像光学系において、位相センサからの位相情報に基づいて合焦制御を行うことで、合焦動作時に取得される画像のちらつき等を抑止する撮像装置及び内視鏡装置等を提供することができる。
本発明の一態様は、画角と合焦被写体距離を同時に調整する可動レンズを含む撮像光学系と、撮像素子と、複数の位相センサと、前記複数の位相センサからの位相情報を取得する取得部と、前記可動レンズの位置を制御するレンズ制御部と、前記取得部で取得された前記位相情報に基づく位相差に基づいて、前記撮像光学系を通った光線による前記撮像素子上の像の合焦状態を実現するために必要な前記可動レンズの移動量を算出する移動量算出部と、を含み、前記レンズ制御部は、前記移動量算出部で算出された前記移動量に基づいて、前記可動レンズの位置を制御する撮像装置に関係する。
本発明の一態様では、可動レンズを移動させることで画角とともに合焦被写体距離も変更される撮像光学系において、位相センサからの位相情報に基づいて、可動レンズの移動量を算出し、算出した移動量に基づいて可動レンズの位置を制御する。よって、簡易な構成の撮像光学系を用いるため装置を小型化でき、且つ当該撮像光学系で位相情報以外の情報を用いた合焦動作時に発生しうる画像のちらつきを抑止すること等が可能になる。
本発明の他の態様は、画角と合焦被写体距離を同時に調整する可動レンズを含む撮像光学系と、撮像素子と、複数の位相センサと、前記複数の位相センサからの位相情報を取得する取得部と、前記可動レンズの位置を制御するレンズ制御部と、前記取得部で取得された前記位相情報に基づく位相差に基づいて、前記撮像光学系を通った光線による前記撮像素子上の像の合焦状態を実現するために必要な前記可動レンズの移動量を算出する移動量算出部と、を含み、前記レンズ制御部は、前記移動量算出部で算出された前記移動量に基づいて、前記可動レンズの位置を制御する内視鏡装置に関係する。
第1の実施形態の撮像装置及びそれを含む内視鏡装置の構成例。 第2の実施形態の撮像装置及びそれを含む内視鏡装置の構成例。 第3の実施形態の撮像装置及びそれを含む内視鏡装置の構成例。 第1の実施形態のレンズ制御部の構成例。 第2の実施形態のレンズ制御部の構成例。 第3の実施形態のレンズ制御部の構成例。 固定焦点モード時の、可動レンズ位置、ベスト被写体距離及び被写界深度範囲の関係図。 操作部の構成例。 撮像光学系の構成例。 撮像素子上に位相センサが設けられる場合の撮像素子の構成例。 分割された瞳を通る光線と、各パラメータを説明する図。 可動レンズ位置とパラメータを対応付けるデータ構造の例。 可動レンズ位置とパラメータを対応付けるデータ構造の他の例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。拡大観察を行う内視鏡システムにおいては、撮像倍率が大きいことに加え、被写体距離が短くなるため被写界深度が非常に狭くなる。被写界深度が非常に狭い状態では、ユーザー(ドクター等)が手動でピント合わせを行うことは困難となることから、1つの解決手法としてオートフォーカス(AF)を実行することが考えられる。
撮像光学系の構成としては、1群駆動レンズと2群駆動レンズが考えられる。1群駆動レンズとは、1つのレンズ群を駆動することで倍率(画角)とフォーカス(ベスト被写体距離)を同時に調整するレンズ構成のことである。それに対して、2群駆動レンズとは、倍率を調整するレンズ群(ズームレンズ群)と、フォーカスを調整するレンズ群(フォーカスレンズ群)を備え、倍率とフォーカスを独立に調整するレンズ構成となる。制御の自由度は2群駆動レンズの方が高いが、1群駆動レンズは構成がシンプルなため、小型化が可能でありコストを抑えることもできるという利点がある。そのため、内視鏡システムにおいては1群駆動レンズを用いることが想定され、本実施形態においても1群駆動レンズを前提とする。
しかし、1群駆動レンズでAF(シングルAFでもよいが、基本的にコンティニュアスAFを考える)を行うと問題が生じる場合がある。AFの手法としてコントラストAFを用いた場合、ウォブリング等によりベスト被写体距離を小刻みに動かす必要がある。1群駆動レンズでは上述したように、ベスト被写体距離を動かすと倍率も変わってしまうため、AF動作中は撮像画像がちらつくことになり、ユーザーの観察に支障をきたす。
そこで本出願人は、内視鏡システムを想定した1群駆動レンズを含む撮像装置において、位相センサからの位相情報を用いてAFを行う手法を提案する。位相情報を用いたAF(位相差AF)であれば、コントラストAFのウォブリングのような動作は必要ないため、撮像画像にちらつきが生じることもない。
以下、第1の実施形態では基本的なシステム構成例を示すとともに、本手法において行われるパラメータ取得処理(後述するF,G,R等)や、AFの動作レート設定処理等について述べる。また、本手法は位相差AFを基本とするものの、位相差AFが効果的でない状況においてはコントラストAFを併用してもよい。その際、位相差AFが効果的であるか否かの判定はボケ指標を用いて行う。第2の実施形態では位相情報からボケ指標を求める手法を説明し、第3の実施形態ではコントラスト値をボケ指標として用いる手法を説明する。
2.第1の実施形態
本実施形態に係る撮像装置及びそれを含む内視鏡システムについて、図1を用いて説明する。本実施形態に係る内視鏡システムは、光源部100と、撮像部200と、処理部300と、表示部400と、外部I/F部500と、操作部600を備えている。
光源部100は、白色光を発生する白色光源110と白色光をライトガイドファイバ210に集光するための集光レンズ120を備えている。
撮像部200は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200には、光源部で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を結像する対物レンズ230と、対物レンズ230に含まれ画角とベスト被写体距離を同時に調整する可動レンズ240と、可動レンズ240を駆動するレンズ駆動部250と、結像された反射光を光電変換して画像を生成する撮像素子260を備えている。
図9に本実施形態における対物レンズ230の一例を示す。この対物レンズは、従来のズーム機能を備えた内視鏡システムと同様に、可動レンズ240の位置をWIDE端からTELE端に移動させた場合に、画角が狭くなる(光学倍率が大きくなる)と共にベスト被写体距離(広義には合焦被写体距離)が短くなるような設計がなされている。
本実施形態におけるレンズ駆動部250は、例えばボイスコイルモーター(以下、VCM)である。また、撮像素子260は例えば図10に示すようにベイヤ配列の撮像部を持つ撮像素子であり、撮像部の一部に位相センサS1群およびS2群を含むように構成されている。位相センサS1群およびS2群の詳細については後述する。
処理部300はA/D変換部310及び320と、画像処理部330と、制御部340と、移動量算出部350と、レンズ制御部360を備えている。A/D変換部310は、撮像素子260から出力されるアナログの画像信号をデジタルの画像信号に変換して画像処理部330に出力する。画像処理部330は、A/D変換部310から出力された画像信号に対してホワイトバランス、補間処理(デモザイキング処理)、色変換、階調変換、ノイズリダクション等の画像処理を施し、表示部400に画像信号を出力する。表示部400は例えば液晶モニタであり、画像処理部330から出力される画像信号を表示する。
A/D変換部320は、撮像素子260の一部に設置された位相センサ領域S1およびS2から出力されるアナログの位相信号をデジタルの位相信号に変換して移動量算出部350に出力する。移動量算出部350はA/D変換部320から出力された位相信号から可動レンズ240の移動量を算出し、レンズ制御部360に出力する。移動量算出部350の詳細については後述する。
レンズ制御部360は、操作部600およびレンズ駆動部250と相互に接続されており、操作部600から出力される制御情報に従い、移動量算出部350から出力された移動量に基づいて可動レンズ240の位置を制御する。ここで可動レンズ240の位置xは例えば図9に示したように、対物レンズ230を構成する各レンズのうち、可動レンズに対して被写体側に隣接するレンズの後端を基準とした場合の、可動レンズの先端の位置として定義すればよい。操作部600およびレンズ制御部360の詳細については後述する。
制御部340は、白色光源110、画像処理部330、外部I/F部500と双方向に接続されており、外部I/F部500からの入力情報に従ってこれらを制御する。外部I/F部500は、内視鏡システムに対するユーザーからの入力等を行うためのインターフェースであり、撮影の開始/終了を行うためのスタートボタンや画像の明るさを調整するための露光量調整ボタン、その他の各種撮影条件や画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
ここで図10に示した撮像素子260の一部に設置された位相センサS1群およびS2群と、出力される位相信号の詳細について説明する。本実施形態における位相センサS1群およびS2群を構成する各画素S1およびS2は、例えば特開2000-156823号公報の[0074]から[0083]にS1およびS2として記載された機能画素であり、それぞれが画素中心から左右に偏った開口部を持っている。これにより対物レンズ230の瞳を左右に分割した場合と同様の効果が得られるため、図10で水平方向に複数配置されたS1群からの像信号とS2群からの像信号をそれぞれの瞳を通った光線の位相信号とみなすことができる。例えば対物レンズ230で結像された被写体の像位置が撮像素子の撮像面に一致する(ピントが合っている)場合は、S1群からの位相信号とS2群からの位相信号は一致し、像位置が撮像面の前方または後方にある(ピントが合っていない)場合は、S1群からの位相信号とS2群からの位相信号に位相差が生じることになる。本実施形態において、位相センサS1群およびS2群はたとえば撮像部の中央に一組だけ設置してもよいし、必要に応じて撮像部の任意の場所に複数組設置してもよい
次に、移動量算出部350における可動レンズ240の移動量の算出方法について、図11を用いて説明する。図11は像位置が撮像面の後方に位置する場合の、分割された瞳を通る光線を示した図である。光線1はS1群に対応する瞳を通った光線であり、光線2はS2群に対応する瞳を通った光線である。ここでは像位置が撮像面とは異なる位置(後方)にあるため、S1群から出力される位相信号とS2群から出力される位相信号にはSの位相差が存在する。ここでSは正負の値を持つベクトルであり、図11に矢印で示した方向が正である。なお、位相差Sの算出には公知の位相差AFの技術を用いればよい。さらに撮像面から射出瞳位置までの距離をF、分割された瞳の重心間の距離をG、デフォーカス量をdとする。ここでdは正負の値を持つベクトルであり、図11に矢印で示した方向が正である。この時、下式(1)が成立するため、これを変形した下式(2)を用いてデフォーカス量dを算出することができる。なお、像位置が撮像面の前方にある場合も同様である。さらにここでは、例えば、前出の特開2000-156823号公報の[0108]か[0110]に記載された手法でデフォーカス量dを算出してもよい。
G / ( F + d ) = S / d ・・・・・(1)
d = F・S / ( G - S ) ・・・・・(2)
本実施形態における移動量算出部350は、例えば画像信号と同じ周期で位相差センサS1群およびS2群から順次出力される位相信号に対して、上式(2)で算出したデフォーカス量dから合焦状態を実現するために必要な可動レンズ240の移動量を算出し、算出した移動量をレンズ制御部360に順次出力する。移動量の算出は、例えば予め対物レンズ230の設計データから、可動レンズ240の移動量と像位置の移動量の比Rを下式(3)で算出しておき、下式の(4)で移動量Dを算出すればよい。
R = 可動レンズの移動量 / 像位置の移動量 ・・・・・(3)
D = -R・d ・・・・・(4)
また、例えば可動レンズ240の位置xにより、可動レンズ240の移動量と像位置の移動量の比Rの値が変化する場合は、可動レンズの位置xnとこれに対応するRnの値を図12に示すようなLUT(ルックアップテーブル)として予め作成しておき、位相センサS1群およびS2群から位相信号が出力されたタイミングにおける可動レンズ240の位置xnに対応するRnを上式(4)のRとして使用することで移動量Dを算出することができる。
さらに、例えば可動レンズ240の位置xにより図11に示した撮像面と射出瞳の距離Fや瞳の重心間の距離Gも変化する場合は、図13に示すように、可動レンズ240の位置xnに対応するFnおよびGnの値を加えたLUTを予め作成しておく。そして、まず位相センサS1群およびS2群から位相信号が出力されたタイミングにおける可動レンズ240の位置xnに対応するFnおよびGnの値を、上式(2)のFおよびGとして使用することでデフォーカス量dnを算出する。その後、算出したdnと可動レンズ240の位置xnに対応するRnを上式(4)のdとRとして使用することで移動量Dを算出することができる。なお、図13にテーブルで示したパラメータのうち、可動レンズ240の位置による変化が無視できるほど小さいものについては、考慮する必要がないことは言うまでもない。また、ここでは述べていない移動量を算出するためのパラメータについても、可動レンズ240の位置による変化が大きい場合は、前述の各パラメータ同様にLUTに追加して使用してもよい。
ここで移動量算出部350は、例えば位相センサS1群およびS2群から順次出力される位相信号のすべてに対して移動量の算出及び出力を行ってもよいし、例えば任意の周期で位相信号をサンプリングしたうえで移動量の算出及び出力を行ってもよい。後者の場合、画像信号が出力されるよりも長い周期で、移動量算出部350から移動量が出力されることになる。
次に操作部600、移動量算出部350、レンズ制御部360の詳細について説明する。図8に本実施形態における操作部600の一例を示す。本実施形態において、操作部600は例えば撮像部200と一体化して構成されており、ズームレバー610とAFボタン620を備えている。ズームレバー610は、例えば一定の範囲を連続的に動作させることが可能であり、ユーザーはズームレバー610を動かすことで、可動レンズ240の位置をWIDE端からTELE端まで連続的に調整することができる。具体的には、例えば操作部600は、ズームレバー610の位置情報をレンズ制御部360に出力する。レンズ制御部360は予め設定されたルックアップテーブル等を用いてズームレバー610の位置情報を可動レンズ240の位置情報に対応付け、可動レンズ240の位置情報をレンズ駆動部250に出力する。レンズ駆動部250は、レンズ制御部360から出力された位置情報に基づいて、可動レンズ240を駆動する。また、操作部600は例えばAFボタン620が押されるたびに、AFの開始/終了信号を交互にレンズ制御部360に出力する。
図4に本実施形態におけるレンズ制御部360の一例を示す。レンズ制御部360は、観察モード判定部361と、レンズ位置決定部362を備えている。観察モード判定部361は、操作部600から出力されたAFの開始/終了情報に基づいて観察モードを決定し、レンズ位置決定部362に観察モード情報を出力する。具体的には、観察モード判定部361は操作部600からAFの開始信号が出力されていない場合には固定焦点モードを選択し、操作部600からAFの開始信号が出力された場合は、AFモードを選択する。レンズ位置決定部362は、観察モード判定部361で固定焦点モードが選択された場合は、前述のズームレバー610の位置情報に対応づけられた可動レンズ240の位置情報をレンズ駆動部250に出力する。レンズ駆動部250は、出力された位置情報に基づいて可動レンズ240の位置を調整する。
図7は本実施形態において固定焦点モードが選択された場合の、可動レンズ240の位置とそれに対応するベスト被写体距離、および被写界深度範囲を示している。なお本実施形態では、ズームレバー610を操作することで可動レンズ240の位置を連続的に移動させることが可能であるが、ここでは説明を分かりやすくするため段階的に移動させた場合を示している。本実施形態では固定焦点モードが選択された場合、ズームレバーの操作により従来のズーム機能を備えた内視鏡システムと同様のベスト被写体距離、および被写界深度を実現するように可動レンズ240の位置を制御している。
また、レンズ位置決定部362は、観察モード判定部361でAFモードが選択された場合、移動量算出部350から出力された移動量に基づいて可動レンズ240の移動後の位置情報を算出し、レンズ駆動部250に出力する。レンズ駆動部250は、出力された位置情報に基づいて可動レンズ240の位置を調整する。このような動作により、本実施形態ではAFモードが選択された場合、可動レンズの位置を調整することで被写体にピントを合わせることが可能になる。
レンズ位置決定部362は、例えば一度だけ合焦動作を行った時点でAF動作を終了してもよいし、観察モード判定部361からAFの終了信号が出力されるまではAF動作を継続してもよい。AF動作を継続したい場合、レンズ位置決定部362は移動量算出部350から周期的に出力される移動量に対応する可動レンズ240の位置情報を、レンズ駆動部250に順次出力すればよい。レンズ駆動部250は、レンズ位置決定部362から順次出力された位置情報に基づいて可動レンズ240の位置を調整する。このような動作を行うことで、本実施形態における内視鏡システムは、被写体距離が変動した場合も被写体に追従しながらピントを合わせ続けることが可能になる。これまでに述べたように、本実施形態における内視鏡システムは、1つの可動レンズでズーム機能とコンティニュアスAFを実現できるため、撮像部の小型化と低コスト化を実現することが可能になる。
また、本実施形態では可動レンズ240の位置により画角も変化するため、画像信号と同じ周期で合焦動作を行った場合は画像がちらつき観察に支障をきたすことも予想される。この場合、前述のように移動量算出部350は任意の周期で位相信号をサンプリングし、サンプリング後の周期で移動量をレンズ位置決定部362に出力すればよい。これにより本実施形態における内視鏡システムは、任意の周期で合焦動作をおこなうことできるため、画像のちらつきを抑えながら被写体に追従してピントを合わせ続けることが可能になる。
以上の本実施形態では、撮像装置は図1に示したように、画角と合焦被写体距離を同時に調整する可動レンズ240を含む撮像光学系と、撮像素子260と、複数の位相センサ(図10のS1、S2)と、当該複数の位相センサからの位相情報を取得する取得部(A/D変換部320に相当)と、可動レンズ240の位置を制御するレンズ制御部360と、取得部で取得された位相情報から求められる位相差に基づいて、合焦状態の実現に必要な可動レンズ240の移動量を算出する移動量算出部350とを含む。そして、レンズ制御部360は、移動量算出部350で算出された移動量に基づいて、可動レンズ240の位置を制御する。なお合焦状態とは、撮像光学系を通った光線による撮像素子260上の像についての合焦状態を指すものとする。
ここで、本実施形態における撮像光学系は例えば図9に示すような構成であり、可動レンズ240を駆動することで、画角と合焦被写体距離を同時に調整する。ここで、可動レンズ240は1枚のレンズ、又は複数枚のレンズからなるレンズ群であることを想定しており、「画角と合焦被写体距離を同時に調整する」とは、当該可動レンズを動かすことで、画角と合焦被写体距離の両方が変動することを表す。なお、合焦被写体距離とは、撮像素子260において、撮像光学系を介した光が結像することによる被写体像が合焦状態にある場合の、撮像光学系からの被写体までの距離のことである。ただし、光が撮像素子260上において一点に収束しなかったとしても、その大きさが許容錯乱円よりも小さければ合焦状態にあると見なせることから、合焦被写体距離はある程度の幅を持つことになる。本実施形態における合焦被写体距離は、このような幅を持つ値であってもよいが、狭義にはベスト被写体距離であるものとし、ベスト被写体距離とは、撮像光学系を介した光が、撮像素子260上において収束する領域が最も小さい場合における、撮像光学系からの被写体までの距離を表すものとする。
これにより、図9に示したようなレンズ構成(1群駆動レンズ)を用いた場合にも、合焦制御(AF、オートフォーカス)を適切に行うことが可能になる。AFにおいて広く用いられている手法であるコントラストAFでは、フォーカスを小刻みに変化させることで複数のコントラスト値を取得し、取得したコントラスト値の極大値を求める。しかし、1群駆動レンズを用いた場合、フォーカスの変化に伴い画角が変化してしまうため、取得画像にちらつきが生じてしまう。特に、継続的にAFを実行するコンティニュアスAFの場合にはちらつきによる影響が顕著である。そこで本実施形態では、位相センサからの位相情報を用いた合焦制御(位相差AF)を行うことで、取得画像でのちらつきを抑止する。
また、移動量算出部350は、位相センサからの位相情報と、位相情報が取得されたタイミングにおける可動レンズ240の位置に基づいて、可動レンズ240の移動量を算出してもよい。
これにより、位相情報だけでなく、当該位相情報が取得されたタイミングでの可動レンズ240の位置も考慮した移動量の算出処理が可能になる。位相情報に基づいた合焦制御とは、狭義には位相差AFのことであり、位相差AFでは瞳を分割して、分割したそれぞれの瞳からの像のずれを位相差として求める。ここで、瞳とは光学系の外から見た絞りの像のことであり、本実施形態では、このうち像側から見た瞳である射出瞳を主に考える。像側から見た場合、図11に示すように被写体からの光線は射出瞳の位置から照射されているように見えることになる。このように、瞳は光学的な条件に基づいて仮想的に設定されるものであるから、可動レンズ240の位置が変われば瞳の位置等も変わる可能性がある。よって、本実施形態での合焦制御を適切に行うためには、位相情報だけでなく、合焦動作時の光学的な状況、特に可動レンズ240の位置を用いるとよい。
また、移動量算出部350は、位相情報が取得されたタイミングにおける可動レンズ240の位置に基づいて、1つ以上のパラメータを変更してもよい。そして、変更されたパラメータと位相情報に基づいて、可動レンズ240の移動量を算出する。具体的には、パラメータとして、撮像素子260から瞳位置までの距離情報、分割された瞳の重心間距離情報、及び撮像素子260から像位置までの距離に対する移動量の比率情報の少なくとも1つを用いることが考えられる。
これにより、可動レンズ240の位置に基づいてパラメータを変更し、当該パラメータを用いた移動量の算出が可能になる。ここで、パラメータとは位相情報から可動レンズ240の移動量Dを求める際に必要となるデータのことであり、特に可動レンズ240の位置に応じて数値が変化しうるものを指す。例えば本実施形態では、図11に示したように、位相センサ群S1で取得した像と位相センサ群S2で取得した像のずれを、位相差Sとして取得し、取得した位相差Sから可動レンズ240の移動量Dを求めることになる。その際、図11の例では、撮像面から射出瞳位置までの距離Fや、瞳の重心間距離Gを用いて撮像面から像位置までの距離dを求め、さらにdからDへ変換するために比率を表す値Rを取得しなくてはならない。ここで、F,G,Rは可動レンズ240の位置に応じて値が変化しうるものであるから、これらが本実施形態におけるパラメータとして用いることが考えられる。ここで、F,G,R等は可動レンズ240の位置xの関数として表されてもよいし、図13のようにルックアップテーブル等の形で保持されてもよい。また、ここで挙げたパラメータは一例であり、他のパラメータを用いて移動量を算出してもよい。
また、撮像光学系は、可動レンズ240が広角端から望遠端に移動するに従って、画角及び合焦被写体距離が単調減少する光学系であってもよい。
これにより、図7に示したような撮像光学系を実現することが可能になる。つまり、可動レンズ240の位置を広角側から望遠側に移動させるほど、合焦被写体距離(ベスト被写体距離)は小さくなる。つまり、被写界深度範囲はより撮像光学系に近い位置に設定される(撮像光学系に近い位置に焦点が合う)ことになる。特に内視鏡装置等では、可動レンズ240を望遠側に移動させる(ズーム倍率を上げる)場合には、拡大観察を行うことが想定され、その場合には、挿入部(撮像部200)の先端も観察対象となる被写体に近づけることでさらに被写体を拡大することが一般的である。つまり、可動レンズ240を望遠側に移動させるほど、撮像光学系と被写体との距離が小さくなることが想定されるため、図7に示したような光学系を用いることで、ピントが合いやすくなるという利点がある。
また、取得部は、撮像素子の画素配列の一部に設置された位相センサから位相情報を取得してもよい。
これにより、図10に示したような構成の撮像素子を用いることが可能になる。撮像素子とは別に位相センサを設けた場合、当該位相センサに対して被写体からの反射光を入射させるためのレンズが必要となる。そのため、撮像光学系の構成が複雑になり、小型化が難しくなる上、コストも高くなる。特に内視鏡装置では、撮像光学系が小型化できないと、生体に挿入する部分が大きくなってしまい好ましくない。よって、図10のような構成を用いることで、撮像光学系の小型化、低コスト化を図るとよい。
また、レンズ制御部360は、取得部において撮像素子から画像情報が取得される周期と同じ周期で、可動レンズ240の位置を制御してもよい。或いは、取得部において撮像素子から画像情報が取得される周期よりも長い周期で、可動レンズ240の位置を制御してもよい。
これにより、可動レンズ240の位置の制御レートを、画像情報の取得レートと同等にすることも可能になるし、画像情報の取得レートよりも低くすることも可能になる。画像情報の取得タイミングと同じタイミングで位相情報を取得しているため、画像上の取得周期と同じ周期での可動レンズ240の位置制御は可能である。このようにした場合、高レートで合焦制御が行われることになるため、被写体に対してピントが合っている可能性を高くすることができる。一方、画像情報の取得レートが高い場合等では、同じレートで可動レンズ240の位置を制御しようとしても、レンズ駆動部250における機械的な制御が困難であることも考えられる。また、高レートの可動レンズ位置制御を行うと、可動レンズ240の位置が頻繁に変化する可能性があり、1群駆動レンズではちらつきの発生要因となる。その場合には、画像情報の取得周期よりも長い周期で可動レンズ240の位置を制御すればよい。こうすることで、画像情報によっては合焦制御が不十分な画像が生じる可能性はあるが、レンズ駆動部250での制御も容易になり、また取得した位相情報全てに対して処理を行う必要がないため、処理負荷を軽減することもできる。さらに、頻繁な可動レンズ240の移動を抑止できるため、画像のちらつきも低減できる。
また、レンズ制御部360は、可動レンズ240の位置の制御としてコンティニュアスAFを実行する制御を行ってもよい。
これにより、AFとしてコンティニュアスAFを実行することが可能になる。動画像を取得するような場合(特に内視鏡装置であれば、効率的な生体内観察を行うために取得画像が動画像である可能性が高い)には、コンティニュアスAFによる継続的な合焦制御が効果的である。通常、1群駆動レンズが前提とした場合、コンティニュアスAFはちらつきによる影響が顕著となるため、実現が困難であるが、本実施形態の手法であれば、ちらつきの影響を抑止できるため、コンティニュアスAFを効果的に実現することができる。
また、可動レンズの移動範囲における広角端と望遠端の間の位置に基準点を設定した場合を考える。その際、レンズ制御部360は、可動レンズが当該基準点に対して望遠側に位置する場合に、移動量算出部350で算出された移動量に基づいて、可動レンズの位置を制御してもよい。
ここで、可動レンズ240が基準点に対して望遠側にある場合に、可動レンズ240の位置制御(つまり合焦制御・AF動作)を行うものとしたが、可動レンズ240が基準点に対して広角側にある場合には、AF動作は行ってもよいし、行わなくてもよい。ただし、可動レンズ240が広角側にある場合には、望遠側にある場合に比べて被写界深度が広く、ユーザーが手動でピント調整を行うことが可能であることが考えられるため、広角側ではAF動作は行わないものとして実装されてもよい。この場合、例えば観察モード判定部361が可動レンズ240の位置を取得するような構成とし、可動レンズ240が基準点よりも広角側にある場合にレンズ制御部360は固定焦点モードを選択し、可動レンズ240が基準点よりも望遠側にある場合にレンズ制御部360はAFモードを選択するといった制御を行えばよい。
これにより、可動レンズ240の位置に基づいて、合焦動作(AF動作)を行うか否かを決定することが可能になる。上述の例では、図8に示したAFボタン620を操作することでAF動作が開始されることになる。つまり、AF動作を行うか否かはユーザーが判断する必要があった。可動レンズ240の位置に基づいてAF動作を行うか否かを決定することができれば、ユーザーが自ら判断する必要がなく、またAF動作を実行する際にAFボタン620等を操作する必要もないため、ユーザーにとって使いやすいシステムを実現することができる。望遠側でAF動作を実行する理由としては、可動レンズ240が望遠側に行くほど(ズーム倍率が上がるほど)被写界深度が狭くなるため、手動でのピント合わせが困難になることが挙げられる。また、図7のようなレンズでは可動レンズ240が望遠側に行くほどベスト被写体距離が短くなる。ベスト被写体距離が短くなることでも被写界深度は狭くなるため、図7のようなレンズではさらに手動でのピント合わせが困難になり、AF動作を実行する利点が大きくなる。
また、以上の本実施形態は、画角と合焦被写体距離を同時に調整する可動レンズ240を含む撮像光学系と、撮像素子260からの画像情報及び位相センサからの位相情報を取得する取得部(A/D変換部310及びA/D変換部320に相当)と、可動レンズ240の位置を制御するレンズ制御部360と、取得部で取得された位相情報に基づいて、可動レンズ240の移動量を算出する移動量算出部350とを含む内視鏡装置にも適用できる。そして、レンズ制御部360は、移動量算出部350で算出された移動量に基づいて、可動レンズ240の位置を制御する。
これにより、撮像装置だけではなく、内視鏡装置においても本実施形態の処理を実行することが可能になる。内視鏡装置では、撮像部200を生体内に挿入するため、撮像部200を小型化することが好ましく、簡素な構成である1群駆動レンズ(図9)を用いる利点が大きい。その際、用途として病変部の発見・観察や、器具を用いた生体への処置が想定されることから、ユーザー(ドクター)に提示する画像にちらつき等が生じることは極力抑えなくてはならない。よって、本実施形態の手法を用いることで、撮像部200の小型化と、画像のちらつき等の抑止の両方が可能になり、ドクター及び被験者にとって好ましい内視鏡装置を実現することができる。
3.第2の実施形態
本実施形態に係る撮像装置及びそれを含む内視鏡システムについて、図2を用いて説明する。
本実施形態における処理部300はA/D変換部310及び320と、画像処理部330と、制御部340と、移動量算出部350と、レンズ制御部360と、コントラスト値算出部370と、ボケ指標算出部380を備えている。A/D変換部310は、撮像素子260から出力されるアナログの画像信号をデジタルの画像信号に変換して画像処理部330とコントラスト値算出部370に出力する。コントラスト値算出部370は、例えばA/D変換部310から出力された画像信号の高周波成分を検出してコントラスト値を算出し、コントラスト値をレンズ制御部360に出力する。
A/D変換部320は、撮像素子260の一部に設置された位相センサS1およびS2から出力されるアナログの位相信号をデジタルの位相信号に変換してボケ指標算出部380に出力する。ボケ指標算出部380は、例えばA/D変換部320から出力された位相信号の高周波成分を検出してボケ指標を算出し、ボケ指標をレンズ制御部360に出力する。ここでボケ指標とは、位相信号のボケ具合を表す指標であり、位相信号がボケて高周波成分が少なくなるほど小さな値となる。さらにボケ指標算出部380は、A/D変換部320から出力された位相信号をそのまま移動量算出部350に出力する。その他の部分については、第1の実施形態と同様である。
次に本実施形態におけるレンズ制御部360の詳細について、図5を用いて説明する。本実施形態におけるレンズ制御部360は、観察モード判定部361と、レンズ位置決定部362と、AFモード判定部363を備えている。観察モード判定部361は、操作部600から出力されたAFの開始/終了情報に基づいて観察モードを決定し、AFモード判定部363に観察モード情報を出力する。具体的には、観察モード判定部361は第1の実施形態と同様に、操作部600からAFの開始信号が出力されていない場合には固定焦点モードを選択し、操作部600からAFの開始信号が出力された場合は、AFモードを選択する。AFモード判定部363は、観察モード判定部361で固定焦点モードが選択された場合は固定焦点モードを選択し、そのままレンズ位置決定部362に出力する。またAFモード判定部363は、観察モード判定部361でAFモードが選択された場合は、ボケ指標算出部380から出力されるボケ指標を用いてAFモードを決定し、AFモード情報をレンズ位置決定部362に出力する。具体的には、AFモード判定部363は例えばボケ指標算出部380から出力されるボケ指標が閾値以下の場合はコントラストAFモードを選択し、閾値以上の場合は位相差AFモードを選択する。
レンズ位置決定部362は、AFモード判定部363で固定焦点モードおよび位相差AFモードが選択された場合は、第1の実施形態の固定焦点モードおよびAFモードが選択された場合と同様の動作を行う。またレンズ位置決定部362は、AFモード判定部363でコントラストAFモードが選択された場合、まずコントラスト値算出部370から出力されるコントラスト値に基づいて、公知のコントラストAF技術と同様に可動レンズ240を制御することで合焦動作を行う。これは位相信号のボケ具合が大きい(ボケ指標が小さい)場合は位相差の算出が困難になるためであり、このような制御を行うことで、確実に被写体にピントを合わせることが可能になる。一度コントラストAFで被写体にピントを合わせた後は、ボケ指標算出部380で算出されるボケ指標が十分大きくなることでAFモード判定部363では位相差AFモードが選択されるため、レンズ位置決定部362は第1の実施形態のAFモードと同様の動作を行い、被写体に追従しながらピントを合わせ続けることが可能になる。これにより、本実施形態ではAF動作開始時もしくはAF動作中に画像が大きくボケた場合も、合焦動作を継続することが可能になる。
以上の本実施形態では、撮像装置は図2に示したように、画像情報におけるコントラスト値を算出するコントラスト値算出部370を含む。そして、レンズ制御部360は、位相情報に基づいて可動レンズ240の位置を制御する位相モードと、コントラスト値に基づいて可動レンズ240の位置を制御するコントラストモードを切り替え可能に制御する。
これにより、位相情報を用いた可動レンズ240の位置の制御(位相モードであり、狭義には位相差AF)と、コントラスト値を用いた可動レンズ240の位置の制御(コントラストモードであり、狭義にはコントラストAF)を切り替え可能に制御することが可能になる。つまり、状況に応じて位相モードを用いることもできるし、コントラストモードを用いることもできる。ただし、第1の実施形態で説明したとおり、1群駆動レンズを前提とした場合、コントラストモードは画像のちらつき等が生じるため好ましくない。よって、位相モードが効果的でない状況でコントラストモードを用い、そうでない場合は位相モードを用いることが考えられる。
また、撮像装置は図2に示したように、画像情報により表される画像のボケの程度を表すボケ指標を算出するボケ指標算出部380を含んでもよい。そして、レンズ制御部360は、ボケ指標に基づいて、位相モードとコントラストモードを切り替える制御を行う。
これにより、位相モードとコントラストモードをボケ指標に基づいて切り替えることが可能になる。位相モード(狭義には位相差AF)では、異なる射出瞳から射出された複数の像のずれ(狭義には位相差)を用いることが考えられる。つまり、位相モードが効果的でない状況として、具体的には前記複数の像が、ずれの判定が行えないほどにぼけてしまっているという状況が考えられる。位相センサでの位相信号の信号値が、ある位置では大きく、異なる位置では小さくなるといったように、信号の分布(信号波形)に特徴があれば、第1の射出瞳から射出された光による第1の像と、第2の射出瞳から射出された光による第2の像の空間的な位置ずれは容易に判別できる。しかし、ボケの程度が大きいと、信号値の上ピークと下ピークの差が小さくなり、平坦な信号波形になってしまう。平坦なもの同士を比較しても、どの程度の位置ずれが生じているかの判定は難しく、そのような状況では位相情報による合焦制御を行うことは困難である。よって、ボケ指標を用いることで、位相モードとコントラストモードを効果的に切り替えることが可能になる。狭義にはボケ指標によりボケの程度が大きいと判定されたときにはコントラストモードを用い、ボケの程度が小さいと判定されたときには位相モードを用いることが考えられる。
また、ボケ指標算出部380は、位相センサから出力される位相情報に基づいてボケ指標を算出してもよい。
これにより、位相情報からボケ指標を算出することが可能になる。位相情報も被写体の像を表す信号を取得するものであるから、当該信号値に基づいてボケの程度を判定することは可能である。具体的には、上述したように信号波形が平坦であるか否かの判定を行えばよく、例えば位相情報の高周波成分を抽出し、当該高周波成分をボケ指標としてもよい。
4.第3の実施形態
本実施形態に係る撮像装置及びそれを含む内視鏡システムについて、図3を用いて説明する。
本実施形態における処理部300はA/D変換部310及び320と、画像処理部330と、制御部340と、移動量算出部350と、レンズ制御部360と、コントラスト値算出部370を備えている。本実施形態においては、図3に示したように、コントラスト値算出部370がボケ指標算出部(図2におけるボケ指標算出部380に対応)を兼ねることになる。つまり、後述するようにボケ指標として位相情報ではなくコントラスト値を用いる点が第2の実施形態とは異なる。
A/D変換部310は、撮像素子260から出力されるアナログの画像信号をデジタルの画像信号に変換して画像処理部330とコントラスト値算出部370に出力する。コントラスト値算出部370は、例えばA/D変換部310から出力された画像信号の高周波成分を検出してコントラスト値を算出し、コントラスト値をレンズ制御部360に出力する。コントラスト値は、画像信号のボケ具合を表す指標であり、画像信号がボケて高周波成分が少なくなるほど小さな値となる。その他の部分については、第1の実施形態と同様である。
次に本実施形態におけるレンズ制御部360の詳細について、図6を用いて説明する。本実施形態におけるレンズ制御部360は、観察モード判定部361と、レンズ位置決定部362と、AFモード判定部363を備えている。観察モード判定部361は、操作部600から出力されたAFの開始/終了情報に基づいて観察モードを決定し、AFモード判定部363に観察モード情報を出力する。具体的には、観察モード判定部361は第1の実施形態と同様に、操作部600からAFの開始信号が出力されていない場合には固定焦点モードを選択し、操作部600からAFの開始信号が出力された場合は、AFモードを選択する。AFモード判定部363は、観察モード判定部361で固定焦点モードが選択された場合は固定焦点モードを選択し、そのままレンズ位置決定部362に出力する。またAFモード判定部363は、観察モード判定部361でAFモードが選択された場合は、コントラスト値算出部370から出力されるコントラスト値を用いてAFモードの内容(コントラストAFモードか、位相差AFモードか)を決定し、AFモード情報をレンズ位置決定部362に出力する。具体的には、AFモード判定部363は例えばコントラスト値算出部370から出力されるコントラスト値が閾値以下の場合はコントラストAFモードを選択し、閾値以上の場合は位相差AFモードを選択する。
レンズ位置決定部362は、AFモード判定部363で固定焦点モードおよび位相差AFモードが選択された場合は、第1の実施形態の固定焦点モードおよびAFモードが選択された場合と同様の動作を行う。またレンズ位置決定部362は、AFモード判定部363でコントラストAFモードが選択された場合、まずコントラスト値算出部370から出力されるコントラスト値に基づいて、公知のコントラストAF技術と同様に可動レンズ240を制御することで合焦動作を行う。これは、位相信号のボケ具合が大きい場合は位相差の算出が困難になるためであり、このような制御を行うことで、確実に被写体にピントを合わせることが可能になる。なお、コントラスト値は位相信号のボケ具合と相関を持つため、本実施形態ではコントラスト値により位相信号のボケ具合を判断している。一度コントラストAFで被写体にピントを合わせた後は、コントラスト値が十分大きくなることでAFモード判定部363では位相差AFモードが選択されるため、レンズ位置決定部362は第1の実施形態のAFモードと同様の動作を行い、被写体に追従しながらピントを合わせ続けることが可能になる。これにより、本実施形態ではAF動作開始時もしくはAF動作中に画像が大きくボケた場合も、合焦動作を継続することが可能になる。
以上の本実施形態では、ボケ指標算出部(本実施形態においては図3に示すようにコントラスト値算出部370がボケ指標算出部の処理を行うことになる)は、コントラスト値算出部370で算出されるコントラスト値に基づいてボケ指標を算出する。
これにより、コントラスト値からボケ指標を算出することが可能になる。コントラスト値は例えば画像の高周波成分等から求められるものであり、合焦の度合いの判定にも用いることができるのであるから、コントラスト値からボケの程度を求めることが可能である。具体的には、コントラスト値をそのままボケ指標として用いてもよい。
以上、本発明を適用した3つの実施の形態1〜3およびその変形例について説明したが、本発明は、各実施の形態1〜3やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜3や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜3や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
100 光源部、110 白色光源、120 集光レンズ、200 撮像部、
210 ライトガイドファイバ、220 照明レンズ、230 対物レンズ、
240 可動レンズ、250 レンズ駆動部、260 撮像素子、300 処理部、
310,320 A/D変換部、330 画像処理部、340 制御部、
350 移動量算出部、360 レンズ制御部、361 観察モード判定部、
362 レンズ位置決定部、363 モード判定部、370 コントラスト値算出部、
380 ボケ指標算出部、400 表示部、500 外部I/F部、600 操作部、
610 ズームレバー、620 AFボタン

Claims (15)

  1. 画角と合焦被写体距離を同時に調整する可動レンズを含む撮像光学系と、
    撮像素子と、
    複数の位相センサと、
    前記複数の位相センサからの位相情報を取得する取得部と、
    前記可動レンズの位置を制御するレンズ制御部と、
    前記取得部で取得された前記位相情報に基づく位相差に基づいて、前記撮像光学系を通った光線による前記撮像素子上の像の合焦状態を実現するために必要な前記可動レンズの移動量を算出する移動量算出部と、
    を含み、
    前記レンズ制御部は、
    前記移動量算出部で算出された前記移動量に基づいて、前記可動レンズの位置を制御することを特徴とする撮像装置。
  2. 請求項1において、
    前記移動量算出部は、
    前記位相センサからの前記位相情報と、前記位相情報が取得されたタイミングにおける前記可動レンズの位置に基づいて、前記可動レンズの前記移動量を算出することを特徴とする撮像装置。
  3. 請求項2において、
    前記移動量算出部は、
    前記位相情報が取得されたタイミングにおける前記可動レンズの位置に基づいて、1つ以上のパラメータを変更し、変更された前記パラメータと前記位相情報に基づいて、前記可動レンズの前記移動量を算出することを特徴とする撮像装置。
  4. 請求項3において、
    前記移動量算出部は、
    前記パラメータとして、前記撮像素子から瞳位置までの距離情報、分割された瞳の重心間距離情報、及び前記撮像素子から像位置までの距離に対する前記移動量の比率情報の少なくとも1つを変更し、変更された前記パラメータと前記位相情報に基づいて、前記可動レンズの前記移動量を算出することを特徴とする撮像装置。
  5. 請求項1において、
    前記画像情報におけるコントラスト値を算出するコントラスト値算出部を含み、
    前記レンズ制御部は、
    前記位相情報に基づいて前記可動レンズの位置を制御する位相モードと、前記コントラスト値に基づいて前記可動レンズの位置を制御するコントラストモードを切り替える制御を行うことを特徴とする撮像装置。
  6. 請求項5において、
    前記画像情報により表される画像のボケの程度を表すボケ指標を算出するボケ指標算出部を含み、
    前記レンズ制御部は、
    前記ボケ指標に基づいて、前記位相モードと前記コントラストモードを切り替える制御を行うことを特徴とする撮像装置。
  7. 請求項6において、
    前記ボケ指標算出部は、
    前記位相センサから出力される前記位相情報に基づいて前記ボケ指標を算出することを特徴とする撮像装置。
  8. 請求項6において、
    前記ボケ指標算出部は、
    前記コントラスト値算出部で算出される前記コントラスト値に基づいて前記ボケ指標を算出することを特徴とする撮像装置。
  9. 請求項1において、
    前記撮像光学系は、前記可動レンズが広角端から望遠端に移動するに従って、前記画角及び前記合焦被写体距離が単調減少する光学系であることを特徴とする撮像装置。
  10. 請求項1において、
    前記取得部は、
    前記撮像素子の画素配列の一部に設置された前記位相センサから前記位相情報を取得することを特徴とする撮像装置。
  11. 請求項1において、
    前記レンズ制御部は、
    前記取得部において前記撮像素子から前記画像情報が取得される周期と同じ周期で、前記可動レンズの位置を制御することを特徴とする撮像装置
  12. 請求項1において、
    前記レンズ制御部は、
    前記取得部において前記撮像素子から前記画像情報が取得される周期よりも長い周期で、前記可動レンズの位置を制御することを特徴とする撮像装置
  13. 請求項1において、
    前記レンズ制御部は、
    前記可動レンズの位置の制御としてコンティニュアスAF(AutoFocus)を実行する制御を行うことを特徴とする撮像装置。
  14. 請求項1において、
    前記レンズ制御部は、
    広角端と望遠端の間に位置する基準点に対して、前記可動レンズが望遠側に位置する場合に、前記移動量算出部で算出された前記移動量に基づいて、前記可動レンズの位置を制御することを特徴とする撮像装置。
  15. 画角と合焦被写体距離を同時に調整する可動レンズを含む撮像光学系と、
    撮像素子と、
    複数の位相センサと、
    前記複数の位相センサからの位相情報を取得する取得部と、
    前記可動レンズの位置を制御するレンズ制御部と、
    前記取得部で取得された前記位相情報に基づく位相差に基づいて、前記撮像光学系を通った光線による前記撮像素子上の像の合焦状態を実現するために必要な前記可動レンズの移動量を算出する移動量算出部と、
    を含み、
    前記レンズ制御部は、
    前記移動量算出部で算出された前記移動量に基づいて、前記可動レンズの位置を制御することを特徴とする内視鏡装置。
JP2011231947A 2011-10-21 2011-10-21 撮像装置及び内視鏡装置 Active JP5973708B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011231947A JP5973708B2 (ja) 2011-10-21 2011-10-21 撮像装置及び内視鏡装置
PCT/JP2012/076172 WO2013058145A1 (ja) 2011-10-21 2012-10-10 撮像装置、内視鏡装置及び撮像装置の制御方法
CN201280051353.3A CN103907042A (zh) 2011-10-21 2012-10-10 拍摄装置、内窥镜装置以及拍摄装置的控制方法
EP12842285.4A EP2770359A4 (en) 2011-10-21 2012-10-10 IMAGING DEVICE, ENDOSCOPE AND METHOD FOR CONTROLLING AN IMAGE IMAGING APPARATUS
US14/229,168 US10129454B2 (en) 2011-10-21 2014-03-28 Imaging device, endoscope apparatus, and method for controlling imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011231947A JP5973708B2 (ja) 2011-10-21 2011-10-21 撮像装置及び内視鏡装置

Publications (3)

Publication Number Publication Date
JP2013088766A true JP2013088766A (ja) 2013-05-13
JP2013088766A5 JP2013088766A5 (ja) 2014-11-20
JP5973708B2 JP5973708B2 (ja) 2016-08-23

Family

ID=48140793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011231947A Active JP5973708B2 (ja) 2011-10-21 2011-10-21 撮像装置及び内視鏡装置

Country Status (5)

Country Link
US (1) US10129454B2 (ja)
EP (1) EP2770359A4 (ja)
JP (1) JP5973708B2 (ja)
CN (1) CN103907042A (ja)
WO (1) WO2013058145A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015146341A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 内視鏡装置
JP2016054794A (ja) * 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10666852B2 (en) 2016-01-15 2020-05-26 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
JPWO2019093256A1 (ja) * 2017-11-10 2020-11-19 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022176469A1 (ja) * 2021-02-19 2022-08-25 富士フイルム株式会社 フォーカス制御装置、レンズ装置、及び撮像装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2014208224A1 (ja) * 2013-06-24 2014-12-31 オリンパスメディカルシステムズ株式会社 オートフォーカス装置
EP3067727A4 (en) * 2013-10-31 2017-11-22 Olympus Corporation Imaging system and imaging system operation method
WO2016088186A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2016208664A1 (ja) * 2015-06-25 2016-12-29 オリンパス株式会社 内視鏡装置
CN108289592A (zh) * 2015-12-01 2018-07-17 奥林巴斯株式会社 摄像装置、内窥镜装置以及摄像方法
EP3498148B1 (en) 2016-08-08 2020-12-23 Sony Corporation Endoscope device and method for controlling endoscope device
CN106371374A (zh) * 2016-11-07 2017-02-01 福州幻科机电科技有限公司 一种微创内窥镜四自由度定位机的智能控制电路系统
CN108540711A (zh) * 2017-03-03 2018-09-14 上海传英信息技术有限公司 移动终端及其拍摄方法
US11070745B2 (en) * 2019-10-28 2021-07-20 Karl Storz Imaging, Inc. Automatic image orientation based on use
CN112263388A (zh) * 2020-10-14 2021-01-26 深圳市乐升科技有限公司 一种采耳设备控制方法及系统
CN115024679A (zh) * 2022-04-14 2022-09-09 中山大学孙逸仙纪念医院 可视化气管插管内镜导丝结构及其智能化模块的管理方法
CN114827462B (zh) * 2022-04-15 2024-04-16 深圳市道通智能航空技术股份有限公司 对焦方法、对焦装置、电子设备及无人机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743603A (ja) * 1993-07-30 1995-02-14 Canon Inc 自動焦点調節カメラ
JP2001324662A (ja) * 2000-05-16 2001-11-22 Ricoh Co Ltd レンズ連動機構
JP2006091252A (ja) * 2004-09-22 2006-04-06 Canon Software Inc 撮像装置及び撮像方法およびプログラム
JP2009037262A (ja) * 2008-11-04 2009-02-19 Sony Corp 撮像装置
JP2010176092A (ja) * 2009-02-02 2010-08-12 Canon Inc 撮像装置及びその制御方法
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5590928A (en) * 1978-12-29 1980-07-10 Olympus Optical Co Ltd Endoscope objective lens which performs changing of magnification and focusing simultaneously
JP3726399B2 (ja) 1997-02-28 2005-12-14 ソニー株式会社 ビデオカメラのオートフォーカス装置
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP3980284B2 (ja) 2001-03-02 2007-09-26 ペンタックス株式会社 内視鏡装置
JP4338331B2 (ja) 2001-03-02 2009-10-07 Hoya株式会社 内視鏡装置
JP2002369795A (ja) * 2001-06-15 2002-12-24 Pentax Corp 電子内視鏡装置
JP3797543B2 (ja) * 2001-10-26 2006-07-19 富士写真フイルム株式会社 自動焦点調節装置
JP2004294788A (ja) 2003-03-27 2004-10-21 Fuji Photo Optical Co Ltd オートフォーカス機能を備えた電子内視鏡装置
JP2005221731A (ja) * 2004-02-05 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP4349407B2 (ja) * 2006-11-17 2009-10-21 ソニー株式会社 撮像装置
WO2008099605A1 (ja) * 2007-02-15 2008-08-21 Panasonic Corporation 撮像装置およびカメラ本体
JP5098405B2 (ja) * 2007-04-11 2012-12-12 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
WO2009020031A1 (en) * 2007-08-06 2009-02-12 Canon Kabushiki Kaisha Image sensing apparatus
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
US8488046B2 (en) * 2007-12-27 2013-07-16 Digitaloptics Corporation Configurable tele wide module
JP5241355B2 (ja) * 2008-07-10 2013-07-17 キヤノン株式会社 撮像装置とその制御方法
JP5543098B2 (ja) * 2008-11-14 2014-07-09 キヤノン株式会社 撮像装置
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
JP2011133815A (ja) * 2009-12-25 2011-07-07 Sony Corp レンズ鏡筒及び撮像装置
WO2014038258A1 (ja) * 2012-09-06 2014-03-13 富士フイルム株式会社 撮像装置及び合焦制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743603A (ja) * 1993-07-30 1995-02-14 Canon Inc 自動焦点調節カメラ
JP2001324662A (ja) * 2000-05-16 2001-11-22 Ricoh Co Ltd レンズ連動機構
JP2006091252A (ja) * 2004-09-22 2006-04-06 Canon Software Inc 撮像装置及び撮像方法およびプログラム
JP2009037262A (ja) * 2008-11-04 2009-02-19 Sony Corp 撮像装置
JP2010176092A (ja) * 2009-02-02 2010-08-12 Canon Inc 撮像装置及びその制御方法
JP2011075841A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015146341A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 内視鏡装置
CN106132274A (zh) * 2014-03-28 2016-11-16 富士胶片株式会社 内窥镜装置
JPWO2015146341A1 (ja) * 2014-03-28 2017-04-13 富士フイルム株式会社 内視鏡装置
JP2016054794A (ja) * 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JPWO2017122349A1 (ja) * 2016-01-15 2018-11-22 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10666852B2 (en) 2016-01-15 2020-05-26 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
US10771676B2 (en) 2016-01-15 2020-09-08 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
JPWO2019093256A1 (ja) * 2017-11-10 2020-11-19 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022176469A1 (ja) * 2021-02-19 2022-08-25 富士フイルム株式会社 フォーカス制御装置、レンズ装置、及び撮像装置

Also Published As

Publication number Publication date
US10129454B2 (en) 2018-11-13
JP5973708B2 (ja) 2016-08-23
US20140210974A1 (en) 2014-07-31
WO2013058145A1 (ja) 2013-04-25
CN103907042A (zh) 2014-07-02
EP2770359A4 (en) 2015-07-22
EP2770359A1 (en) 2014-08-27

Similar Documents

Publication Publication Date Title
JP5973708B2 (ja) 撮像装置及び内視鏡装置
JP5948076B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP6103849B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP6013020B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5988590B2 (ja) 内視鏡装置
JP5951211B2 (ja) 合焦制御装置及び内視鏡装置
WO2015044996A1 (ja) 内視鏡装置及び内視鏡装置の制御方法
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP5857160B2 (ja) 内視鏡用の撮像システム、内視鏡用の撮像システムの作動方法
JP2012125293A (ja) 制御装置、内視鏡装置及びフォーカス制御方法
JP6124655B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2012095828A (ja) 撮像装置、内視鏡装置及び画像生成方法
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2013230289A (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP6177387B2 (ja) 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP2004138884A (ja) 内視鏡のオートフォーカス方法
WO2022014366A1 (ja) 内視鏡システム、内視鏡制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160715

R151 Written notification of patent or utility model registration

Ref document number: 5973708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250