JP2013220254A - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
JP2013220254A
JP2013220254A JP2012094660A JP2012094660A JP2013220254A JP 2013220254 A JP2013220254 A JP 2013220254A JP 2012094660 A JP2012094660 A JP 2012094660A JP 2012094660 A JP2012094660 A JP 2012094660A JP 2013220254 A JP2013220254 A JP 2013220254A
Authority
JP
Japan
Prior art keywords
illumination
image
unit
light
light mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012094660A
Other languages
English (en)
Other versions
JP6089436B2 (ja
Inventor
Tsuneo Hayashi
恒生 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012094660A priority Critical patent/JP6089436B2/ja
Priority to CN201310125535.7A priority patent/CN103371795B/zh
Priority to US13/860,585 priority patent/US20130278738A1/en
Publication of JP2013220254A publication Critical patent/JP2013220254A/ja
Application granted granted Critical
Publication of JP6089436B2 publication Critical patent/JP6089436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像時における照明光について、被写体に応じた空間分解能の高い配光制御を行えるようにする。
【解決手段】画像分割部３１は、撮像部２２で生成された撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する。補正照明算出部３８は、画像分割部３１で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する。出力制御部３９は、補正光モードにおいて、補正照明算出部３８で算出された照明強度分布に基づいて照明光の出力制御を行う。測定光モードの撮像画像から被写体の反射率等を判別して、判別結果に基づき補正光モードにおける照明強度分布を制御できることから、補正光モードで照明が行われている被写体の撮像画像を、白飛びや黒つぶれ等が生じていない良好な撮像画像とすることができる。
【選択図】 図２

Description

この技術は、画像処理装置と画像処理方法に関し、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行う。
従来、配管内や体腔内を観察するために撮像装置例えば内視鏡装置が広く用いられている。内視鏡装置としては、挿入部が軟性で屈曲した配管内や体腔内等に挿入することで内部を観察できる軟性内視鏡装置、挿入部が硬性で目的部位に向けて直線的に挿入することで内部を観察できる硬性内視鏡装置がある。
軟性内視鏡装置は、例えば先端のレンズ系でとらえた光学像を光ファイバで接眼部に伝達する光学式内視鏡装置や、先端にレンズ系と撮像素子を設けてレンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。硬性内視鏡装置は、先端からレンズ系を繋いで構成されているリレー光学系によって光学像が接眼部に伝達される。また、硬性内視鏡装置においても軟性内視鏡装置と同様に、レンズ系でとらえた画像を撮像素子で電気信号に変換して外部モニタに伝達する電子内視鏡装置がある。
このような内視鏡装置において、周辺部や中心部が共に見やすい画像を得ることができるように、例えば特許文献１では、キセノンランプからの照明光が集光レンズによってライトガイドの入射端に集光されている。また、ライトガイドの入射端と集光レンズとの間に絞りを設けて照明光の入射光量が制御されている。さらに、集光レンズを光軸にそって移動させることで、体腔内等に供給される照明光の配光を制御して、同時に光量が一定となるように絞りを制御することが行われている。
特開平０５−１３０９７３号公報
ところで、集光レンズを光軸にそって移動させることにより照明光の配光を制御する場合、空間分解能の高い配光制御を行うことができない。例えば、特許文献１では、ライトガイドの入射端に焦点を結ぶように照明光を入射すればライトガイドの中心部に照明光が多く入射するので、配光の特性は中心部が強くなる。また、ライトガイドの入射端より奥に焦点を結ぶように照明光を入射すれば均一に照明光が入射するので、配光の特性は周辺および中心部にわたって均一になる。しかし、中心部の一部分や周辺部の一部分についてのみ照明強度を調整することができない。
そこで、この技術では、撮像時における照明光について、被写体に応じて空間分解能の高い配光制御を行える画像処理装置と画像処理方法を提供することを目的とする。
この技術の第１の側面は、撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する画像分割部と、前記画像分割部で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する補正照明算出部と、前記補正照明算出部で算出された照明強度分布に基づいて照明光の出力制御を行う出力制御部とを備える画像処理装置にある。
この技術においては、撮像部で生成された撮像画像から、照明強度分布が所定の空間分布、例えば照明強度が一定である空間分布とされた測定光モードの照明状態で撮像された画像を画像分割部によって分割する。この画像の分割は、画面単位例えば撮像画像がフレーム単位で生成されている場合、フレーム単位の撮像画像から測定光モードの照明状態で撮像されたフレーム画像を分割する。この分割された画像は、照明光の空間解像度に応じて解像度変換処理が行われて、解像度変換後の画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が補正照明算出部で算出される。照明強度分布の算出では、分割された画像の色分離処理を行い、色成分毎の画像に基づいて補正光モードでの照明強度分布を算出してもよい。出力制御部は、算出された照明強度分布に基づいて照明光の出力制御を行う。
また、画像分割部は、補正光モードの照明状態で撮像された画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態で撮像された画像を、補間処理によって生成する。例えば、画像分割部は、補正光モードの照明状態で撮像されたフレーム画像から、測定光モードの照明状態で撮像された画像期間に対応した補正光モードの照明状態のフレーム画像を補間処理によって生成する。撮像部、画像分割部、補正照明算出部および出力制御部の動作は、動作制御部によって同期して行われる。また、被写体からの光を撮像部に導く光路を、光路制御部によって照明光の光路としても用いることができるようにする。
照明光を出力する照明部は、出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布とする。また、出力制御部からの制御信号に基づき自発光素子を駆動して、補正光モードで出力する照明光の照明強度分布を、補正照明算出部で算出された分布としてもよい。
照明強度分布の算出は、距離測定部で測定された被写体までの距離、多視点の撮像画像を用いて推定された被写体までの距離、被写体の３次元構造解析結果を用いて行うようにしてもよい。また、撮像画像の生成に用いる撮像光学系と、照明光の出射に用いる照明光学系のズーム動作を同期して行う。
この技術の第２の側面は、撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する工程と、前記画像分割部で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する工程と、前記算出された照明強度分布に基づいて照明光の出力制御を行う工程と含む画像処理方法にある。
この技術によれば、撮像画像から照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードでは、被写体に応じて空間分解能の高い配光制御が行われて、補正光モードの照明状態で撮像動作を行うことで、例えば白飛びや黒つぶれ等を生じていない撮像画像を得ることができる。
撮像装置の外観を例示した図である。 撮像装置の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 照明強度算出／出力制御を示すフローチャートである。 撮像装置の動作を示すタイミングチャートである。 従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示した図である。 変形例１の構成を示した図である。 変形例２の構成を示した図である。 変形例３の構成を示した図である。 変形例３における撮像装置の動作を示すフローチャートである。 変形例４の構成を示した図である。 変形例５の構成を示した図である。 変形例５における撮像装置の動作を示すフローチャートである。 変形例５における撮像装置の動作を示すタイミングチャートである。 変形例６の構成を示した図である。 照明光の光路の変形例を示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の外観
２．撮像装置の構成
３．撮像装置の動作
４．変形例１
５．変形例２
６．変形例３
７．変形例４
８．変形例５
９．変形例６
１０．変形例７
＜１．撮像装置の外観＞
図１は、本技術の画像処理装置を設けた撮像装置例えば内視鏡装置の外観を例示している。図１の（Ａ）は硬性内視鏡装置の外観、図１の（Ｂ）は軟性内視鏡装置の外観、図１の（Ｃ）はカプセル内視鏡装置の内部構成を示している。
硬性内視鏡装置は、観察対象内に挿入される挿入部１１ａとユーザが把持する操作部１２および撮像部２２を備えている。挿入部１１ａはイメージガイドシャフトと照明導光用ファイバを備えている。後述する光源部から出射された光は照明導光用ファイバおよび挿入部１１ａの先端に設けられた撮像レンズを介して観察対象に照射される。また、観察対象からの光は、撮像レンズおよびイメージガイドシャフト内のリレーレンズを介して撮像部２２に入射される。
軟性内視鏡装置も硬性内視鏡装置と同様に、観察対象内に挿入される挿入部１１ｂとユーザが把持する操作部１２および撮像部２２を備えている。軟性内視鏡装置の挿入部１１ｂは、可撓性を有しており先端に撮像光学系２１や撮像部２２が設けられている。
カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。
＜２．撮像装置の構成＞
図２は、撮像装置例えば内視鏡装置の構成を例示している。撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０等を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明制御部３０や照明部４０と同期して撮像動作を行う。また、撮像部２２では、撮像画像を良好な画質等で表示または記録できるように、撮像部２２で生成された画像信号に対して種々の処理を行うようにしてもよい。この場合、撮像部２２は、例えばホワイトバランス調整処理や色補正処理、輪郭強調処理等を行う。撮像部２２は、撮像画像の画像信号を照明制御部３０の画像分割部３１へ出力する。
画像分割部３１は、後述する出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、後述するように照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分が高輝度となり、反射率の低い被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（１／被写体の輝度） ・・・（１）
ところで、撮像画像に比べて後述する照明部４０の空間解像度が低い場合、例えば撮像画像の画素位置毎に照明強度を算出しても、算出した照明強度分布に応じて照明光を出力することができない。そこで、画像分割部３１は、測定光モードの照明状態で撮像された撮像画像に対して解像度変換処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布を算出することにより演算量を削減する。例えば、画像分割部３１は、画像分割部３１からの撮像画像の画像信号に対して解像度変換処理として低域フィルタ処理を行い、解像度が低下された画像に基づき照明強度分布を算出する。
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。
光源４１は、キセノンランプ、白色ＬＥＤ（Light Emitting Diode）、ＧａＮ系半導体レーザを用いた高輝度白色光源等の発光素子を用いて構成されている。光源４１は、発光素子から出力された照明光を空間光変調部４２に出力する。
空間光変調部４２は、透過型液晶パネル、反射型液晶パネル（ＬＣＯＳ：Liquid crystal on silicon）、またはＤＭＤ（Digital Micromirror Device）等の光変調素子を用いて構成されている。空間光変調部４２は、出力制御部３９からの照明制御信号に基づき、光変調素子における照明光の透過または反射を制御して照明強度を調整する。例えば、空間光変調部４２は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、空間光変調部４２は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。
空間光変調部４２で照明強度が調整された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。また、システム制御部５０（後述する変形例を含む）は、請求項の動作制御部に相当する。
＜３．撮像装置の動作＞
図３は、撮像装置の動作を示すフローチャートである。ステップＳＴ１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２に進む。
ステップＳＴ２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ３に進む。
ステップＳＴ３で撮像装置１０は、照明強度算出／出力制御を行う。図４は、照明強度算出／出力制御を示すフローチャートである。ステップＳＴ５１で撮像装置１０は低域フィルタ処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に対して低域フィルタ処理を行い、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行えるようにしてステップＳＴ５２に進む。
ステップＳＴ５２で撮像装置１０は、補正照明計算を行う。撮像装置１０は、低域フィルタ処理後の画像信号に基づき、補正光モードにおける照明光の照明強度分布を算出する。撮像装置は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように照明強度分布を算出してステップＳＴ５３に進む。
ステップＳＴ５３で撮像装置１０は、光源輝度制御を行う。撮像装置１０は、光源４１から出射される照明光が所定の光強度となるように光源４１の発光動作を制御してステップＳＴ５４に進む。
ステップＳＴ５４で撮像装置１０は、照明光出力制御を行う。撮像装置１０は、照明モードを測定光モードとする場合、照明強度分布が一定となるように照明光出力制御を行う。また、撮像装置１０は、照明モードを補正光モードとする場合、照明光がステップＳＴ５２で算出された照明強度分布となるように照明光出力制御を行い、図３のステップＳＴ３に戻る。
ステップＳＴ３で、照明強度算出／出力制御が行われてステップＳＴ４に進むと、撮像装置１０は、補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号から、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を補間処理等によって生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。
図５は、撮像装置の動作を示すタイミングチャートを示している。図５の（Ａ）は照明モード、図５の（Ｂ）は撮像動作のフレームを示している。図５の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図５の（Ｄ）は画像分割部３１から出力される画像信号のフレーム、図５の（Ｅ）は補正照明算出部３８に供給される画像信号のフレームを示している。図５の（Ｆ）は照明強度分布の算出結果を示している。また、図５の（Ｇ）は照明制御信号を示している。
照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。
撮像装置１０は、例えば最初のフレームＦＲ１において、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。
２番目のフレームＦＲ２において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、図５の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。
３番目のフレームＦＲ３において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。
その後、５番目のフレームＦＲ５において、撮像装置１０は、図５の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ-LM」を出力する。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。
６番目のフレームＦＲ６において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-LM」を画像分割部３１に出力する。ここで、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、画像分割部３１は、画像信号「Ｄ５-LM」を補正照明算出部３８に供給して、図５の（Ｅ）に示すように、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行う。また、画像分割部３１に供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理等を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。
補間処理としては、種々の方法を用いることができる。例えば第１の補間処理方法では直前のフレームの画像信号を繰り返し用いる。例えば画像信号「Ｄ４-LC」をフレームＦＲ６の期間でも出力する。第２の補間処理方法では、過去の複数フレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ３-LC」と画像信号「Ｄ４-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」の動き補償を行い、フレームＦＲ６に相当する動き補償画像の画像信号を生成する。生成した画像信号はフレームＦＲ６の期間に出力する。第３の補間処理方法としては、過去と未来のフレームから、各ブロックの動きベクトルを算出して、算出した動きベクトルを利用して動き補償画像を生成する。例えば画像信号「Ｄ４-LC」と画像信号「Ｄ６-LC」を用いて動きベクトルを算出して、算出した動きベクトルを利用して画像信号「Ｄ４-LC」または画像信号「Ｄ６-LC」の動き補償を行い、動き補償画像の画像信号をフレームＦＲ６の期間に出力する。なお、第３の補間処理方法としては、過去と未来のフレームから動き補償画像を生成することから、精度のよい補間処理を行うことができる。しかし、未来のフレームの画像信号を用いることから、表示装置９１や画像記録装置９２に出力される画像信号は遅延が大きくなる。なお、補間処理方法は上述の方法に限らず他の方法を用いるようにしてもよい。
７番目のフレームＦＲ７において、撮像装置１０は、図５の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図５の（Ｇ）に示すように信号「ＣＴ５」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ５-LM」に基づいて照明強度分布の算出を行い、図５の（Ｆ）に示すように、算出結果「ＶＭ５」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５」に基づき信号「ＣＴ５」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図５の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。
撮像装置１０は、以上のような処理を行い、白飛びや黒つぶれ等の生じていない良好な撮像画像を表示装置９１や画像記録装置９２へ出力する。
図６は、従来の照明で生成された撮像画像と本技術の補正光モードの照明で生成された撮像画像を例示している。従来の照明で生成された撮像画像では、図６の（Ａ）に示すように、例えば反射率の高い被写体部分が白飛び、反射率の低い被写体部分が黒つぶれを生じてしまう場合がある。また、反射率の高い被写体部分では照明光によって加熱されてしまう場合がある。しかし、上述の処理を行うと補正光モードの照明では、反射率の高い被写体部分では照明強度が低くされて、反射率の低い被写体部分では照明強度が高くされる。したがって、図６の（Ｂ）に示すように、反射率の高い被写体部分でも白飛びを生じることがなく、反射率の低い被写体部分でも黒つぶれを生じることがなく、良好な画像を得ることができる。
以上のように、撮像装置１０は、測定光モードの照明状態で撮像された撮像画像に基づき、反射率の高い被写体部分や反射率の低い被写体部分を判別する。また、撮像装置１０は、補正光モードでは、反射率の高い被写体部分に対する照明強度は低く、反射率の低い被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、撮像範囲に反射率の高い被写体部分や反射率の低い被写体部分等が混在しても、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。
また、撮像装置１０は、測定光モードにおける撮像動作を周期的に行い、測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の移動や状態変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない、良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。さらに、撮像装置１０は、撮像画像に比べて照明部４０の空間解像度が低い場合、照明部４０の空間解像度に応じた解像度で照明強度分布の算出を行う。したがって、照明強度分布の算出における演算量を削減できるので、消費電力の削減や照明制御部３０での演算処理による発熱を低減させることが可能となる。
＜４．変形例１＞
ところで、上述の実施の形態における照明部は、光源から出射された照明光を空間光変調部で変調して、被写体の反射率に応じて照明強度を調整する構成を例示した。しかし、自発光デバイスを用いて照明部を構成すれば、光源と空間光変調部を個々に設けることなく、照明部の構成を簡略化できる。
変形例１では、自発光素子を用いて照明部を構成する場合について説明する。図７は変形例１の構成を示している。変形例１の照明部４０は、自発光素子部４３とライトガイド４５および照明光学系４６を備えている。
自発光素子部４３は、有機発光ダイオード（ＯＬＥＤ：Organic Light-Emitting Diode）等の自発発光素子を用いて構成されている。自発光素子部４３は、出力制御部３９からの照明制御信号に基づき、出射する照明光の照明強度を調整する。例えば、自発光素子部４３は、照明モードが測定光モードの場合、照明光の照明強度分布を一定とする。また、自発光素子部４３は、照明モードが補正光モードの場合、照明光の照明強度分布を補正照明算出部３８で算出された分布とする。
自発光素子部４３から出射された照明光は、ライトガイド４５を介して照明光学系４６に供給される。照明光学系４６は、ライトガイド４５を介して供給された照明光を被写体に照射する。
このように、自発光素子を用いて照明を行うようにすれば、光源と空間光変調部を用いる照明部に比べて構成を簡単にできる。また、空間光変調部として透過率を調整して照明強度を調整する場合、非透過光の吸収により空間光変調部の発熱が生じることから、例えば体外の位置に空間光変調部を設けなければならない。しかし、光変換効率に優れた自発光素子を用いることで照明部の発熱量を少なくできるので、照明部を体内に設けることが可能となり、撮像装置１０における構成の自由度を高めることができる。
＜５．変形例２＞
変形例２は、補正照明算出部の他の構成を例示している。図８は変形例２の構成を示している。変形例２における補正照明算出部３８は、色分離部３８１と赤光補正照明算出部３８２Ｒ、緑光補正照明算出部３８２Ｇ、青光補正照明算出部３８２Ｂ、計算結果統合部３８３を備えている。
色分離部３８１は、画像分割部３１から供給された画像信号に対して色分離処理を行い、例えば赤色と緑色と青色の色成分信号を生成する。色分離部３８１は、生成した赤色成分信号を赤光補正照明算出部３８２Ｒに出力する。また、色分離部３８１は、生成した緑色成分信号を緑光補正照明算出部３８２Ｇ、青色成分信号を青光補正照明算出部３８２Ｂに出力する。
赤光補正照明算出部３８２Ｒは、赤色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。緑光補正照明算出部３８２Ｇは、緑色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。青光補正照明算出部３８２Ｂは、青色成分信号に基づき補正照明計算を行い、計算結果を計算結果統合部３８３に出力する。
計算結果統合部３８３は、赤光補正照明算出部３８２Ｒと緑光補正照明算出部３８２Ｇと青光補正照明算出部３８２Ｂにおける計算結果から、各色成分について飽和やつぶれを生じることのない照明強度分布を算出して、算出結果を出力制御部３９に出力する。
このように、補正照明算出部３８は、色成分毎に照明強度分布の計算を行う。したがって、変形例２の撮像装置では、例えば観察する被写体の所望の色に対して、色飽和または色つぶれを生じないように、照明光を最適な照明強度に調整できる。
＜６．変形例３＞
変形例３は、補正照明算出部３８において、撮像範囲内に位置する各被写体までの距離を示す距離情報を用いて照明強度分布の算出を行う場合を示している。
図９は、変形例３の構成を示している。変形例３の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離測定部３２、補正照明算出部３８、出力制御部３９を備えている。
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
距離測定部３２は、撮像範囲内の被写体部分までの距離を算出する。距離測定部３２は、撮像範囲内における複数位置で被写体までの距離を算出する。例えば、距離測定部３２は、ＴＯＦ（Time of Flight）カメラのように赤外線を被写体に照射して、反射した赤外線がカメラに入射されるまでに要した時間から距離を算出する。また、測距用画素が設けられている撮像素子を撮像部２２で用いるようにして、測距用画素の信号を用いて距離を算出してもよい。距離測定部３２は、距離測定結果を補正照明算出部３８に出力する。
補正照明算出部３８は、距離測定部３２からの距離測定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、例えば式（１）に示す計算を行い、照明強度分布を算出する。
補正照明算出部３８は、被写体の明るさは距離の２乗に反比例することが知られていることから、距離測定結果に基づき照明強度を調整する。例えば、補正照明算出部３８は、測定光モードの場合に式（２）に示す計算を行い、被写体までの距離に応じて算出した照明強度で照明強度分布を一定として照明を行う。また、補正照明算出部３８は、補正光モードの場合に式（３）に示す計算を行うことで、距離を考慮した照明強度を算出する。なお、「ｋ」は定数である。
照明強度＝ｋ（距離の２乗） ・・・（２）
照明強度＝ｋ（１／被写体の輝度）（距離の２乗） ・・・（３）
また、補正照明算出部３８は、測定光モードを用いることなく測定された距離のみに基づいて照明強度を算出するようにしてもよい。この場合には式（４）の計算を行う。なお「ｋｃ」は補正光モードにおける定数である。
照明強度＝ｋｃ（距離の２乗） ・・・（４）
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
図１０は、変形例３における撮像装置の動作を示すフローチャートである。ステップＳＴ１１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ１２に進む。
ステップＳＴ１２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ１３に進む
ステップＳＴ１３で撮像装置１０は、距離測定を行う。撮像装置１０は、被写体までの距離を測定してステップＳＴ１４に進む。
ステップＳＴ１４で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ１５に進む。
ステップＳＴ１５で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行い、測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号と、測定光モードに設定されている期間は補間処理等によって生成した撮像画像の画像信号を、表示装置９１や画像記録装置９２等に出力する。
このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。
＜７．変形例４＞
変形例４は、撮像部２２として多視点カメラを用いていわゆるパッシブ計測を行い、距離測定部３２を用いることなく被写体までの距離を推定する場合を示している。なお、以下の説明では、多視点カメラとしてステレオカメラを用いた場合について説明する。
図１１は、変形例４の構成を示している。変形例４の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、距離推定部３３、補正照明算出部３８、出力制御部３９を備えている。
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。なお、レンズユニットは、右眼用のユニットと左眼用のユニットを備えている。
撮像部２２は、右眼画像の画像信号を生成する撮像素子と左眼画像の画像信号を生成する撮像素子を用いて構成されている。撮像素子は例えはＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。出力する画像信号としては、右眼画像または左眼画像の何れか一方のみの画像信号としてもよく、右眼画像と左眼画像の画像信号の両方を出力してもよい。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を距離推定部３３へ出力する。画像分割部３１は、測定光モードの照明状態で撮像された撮像画像の画像信号として、右眼画像と左眼画像の画像信号を距離推定部３３へ出力する。また、画像分割部３１は、右眼画像と左眼画像の画像信号または何れか一方の信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
距離推定部３３は、例えばパッシブステレオ計測によって被写体までの距離を推定する。距離推定部３３は、右眼画像の画像信号と左眼画像の画像信号を用いて視差量を算出する。また、距離推定部３３は、右眼画像の撮像部と左眼画像の撮像部との間隔である基線長と視差量に基づき三角測量によって被写体までの距離を推定する。
補正照明算出部３８は、距離推定部３３からの距離推定結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３と同様に、被写体までの距離を考慮して照明強度を調整する。
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
このように、補正照明算出部３８は、被写体までの距離を考慮して照明強度分布を算出することで、近接した位置の被写体および離れた位置の被写体に対しても、照明光を最適な照明強度に調整できる。また、撮像部２２としてステレオカメラを用いることで、表示装置９１では被写体の立体表示が可能となる。また、ステレオカメラを用いることで距離測定部３２を設けることなく、被写体までの距離を考慮して白飛びや黒つぶれ等を生じないように照明強度を調整することができる。
＜８．変形例５＞
変形例５は、いわゆる光切断法を用いて被写体の３次元構造解析を行い、解析結果に基づき照明強度の調整を行う場合を示している。なお、光切断法では、スリット光を被写体に照射して３次元構造解析が行われる。
図１２は、変形例５の構成を示している。変形例５の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、３次元構造解析部３４、パターン生成部３５、補正照明算出部３８、出力制御部３９を備えている。
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分離する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。また、画像分割部３１は、照明モード信号によって照明が３次元測定光モードに設定されていることが示された場合、３次元測定光モードの照明状態で撮像された撮像画像の画像信号を、３次元構造解析部３４に出力する。３次元測定光モードでは、スリット光の照射とスリット光の走査（例えば平行移動）を照明部４０で行う。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
３次元構造解析部３４は、画像分割部３１から供給された画像信号に基づき、スリット光が当たっている部分の形状を判別する。さらに、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析する。３次元構造解析部３４は、解析結果を補正照明算出部３８に出力する。
パターン生成部３５は、３次元測定用パターンとして、照明部４０からスリット光の照射およびスリット光の走査（例えば平行移動）を行うパターン信号を生成して出力制御部３９に出力する。
補正照明算出部３８は、３次元構造解析部３４からの解析結果と測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近接した被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率の異なる被写体部分や距離が異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。補正照明算出部３８は、変形例３，４と同様に、被写体までの距離を考慮して照明強度を調整する。
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モード、補正光モード、または３次元測定光モードに切り替える。また、出力制御部３９は、照明モードが測定光モード、補正光モード、３次元測定光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。また、出力制御部３９は、３次元測定光モードの場合に、パターン生成部３５からのパターン信号に基づき照明制御信号を生成して照明部４０に出力する。
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像、および３次元測定光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。
図１３は、変形例５における撮像装置の動作を示すフローチャートである。ステップＳＴ２１で撮像装置１０は、撮像動作を行う。撮像装置１０は、被写体の撮像を行い、動画像を生成してステップＳＴ２２に進む。
ステップＳＴ２２で撮像装置１０は、画像分割処理を行う。撮像装置１０は、測定光モードの照明状態で撮像された撮像画像のフレームと、補正光モードの照明状態で撮像された撮像された撮像画像のフレームを分割する。さらに、撮像装置１０は、３次元補正光モードの照明状態で撮像された撮像画像のフレームを分割してステップＳＴ２３に進む。
ステップＳＴ２３で撮像装置１０は、３次元測定用照明パターン生成を行う。撮像装置１０は、スリット光の出射および走査を行うためのパターン信号を生成してステップＳＴ２４に進む。
ステップＳＴ２４で撮像装置１０は、３次元構造解析を行う。撮像装置１０は、スリット光が当たっている部分の形状を判別する。また、撮像装置１０は、スリット光の走査位置毎にスリット光が当たっている部分の形状を判別することで、被写体の３次元構造を解析してステップＳＴ２５に進む。
ステップＳＴ２５で撮像装置１０は、照明強度算出／出力制御を行う。撮像装置１０は、図４に示すフローチャートの処理を行い、照明強度分布を算出して、算出した照明強度分布となるように照明光出力制御を行い、ステップＳＴ２６に進む。
ステップＳＴ２６で撮像装置１０は補間処理を行う。撮像装置１０は、補正光モードの照明状態で撮像された撮像画像の画像信号を用いて補間処理を行う。撮像装置は、補間処理によって、測定光モードおよび３次元測定光モードで照明が行われている期間に対して、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成する。また、撮像装置１０は、補正光モードで照明が行われている状態で撮像された撮像画像の画像信号と、測定光モードおよび３次元測定光モードに設定されている期間は補間処理によって生成した画像信号を表示装置９１や画像記録装置９２等に出力する。
図１４は、変形例５における撮像装置の動作を示すタイミングチャートである。図１４の（Ａ）は照明モード、図１４の（Ｂ）は撮像動作のフレームを示している。図１４の（Ｃ）は画像分割部３１に供給される画像信号のフレームを示している。図１４の（Ｄ）は、画像分割部３１から出力される画像信号のフレーム、図１４の（Ｅ）は、補正照明算出部３８に供給される画像信号のフレーム、図１４の（Ｆ）は、３次元構造解析部３４に供給される画像信号のフレームを示している。図１４の（Ｇ）は３次元構造の解析結果、図１４の（Ｈ）は照明強度分布の算出結果を示している。図１４の（Ｉ）は照明制御信号を示している。
照明部４０は、出力制御部３９からの照明制御信号に基づき、例えば１フレーム期間だけ測定光モードで照明を行ったのち次の３フレーム期間は補正光モードで照明を行う。また、補正光モードの照明が終了すると、１フレーム期間だけ３次元測定光モードで照明を行う。３次元補正光モードの照明が終了すると、再度１フレーム期間だけ測定光モードで照明を行う。以下同様にして照明モードの切り替えを行う。
撮像装置１０は、例えば最初のフレームＦＲ１において、図１４の（Ａ）に示すように照明モードを測定光モード（ＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-LM」を出力する。なお、信号「ＣＴ-LM」は、照明部４０から測定光モードで照明光を出力させる信号である。また、撮像部２２は、測定光モードで照明が行われている被写体の撮像動作Ｐ１を行う。
２番目のフレームＦＲ２において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-L0」を出力する。この場合、補正光モードにおける照明光の照明強度分布の算出が完了してないことから、出力制御部３９は照明強度を初期値とする信号「ＣＴ-L0」を出力する。撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ２を行う。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ１で生成した画像信号「Ｄ１-LM」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が測定光モードで照明が行われている被写体を撮像した画像信号である。したがって、図１４の（Ｅ）に示すように、画像信号「Ｄ１-LM」を補正照明算出部３８に供給して、画像信号「Ｄ１-LM」に基づき照明強度分布の算出を行う。
３番目のフレームＦＲ３において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。ここで、補正照明算出部３８は、画像信号「Ｄ１-LM」に基づいて補正光モードにおける照明強度分布の算出を行い、図１４の（Ｈ）に示すように、算出結果「ＶＭ１」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ１」に基づき信号「ＣＴ１」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ３を行ったとき、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ２で生成した画像信号「Ｄ２-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ２-LC」を表示装置９１や画像記録装置９２へ出力する。
その後、５番目のフレームＦＲ５において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを３次元測定光モード（３ＤＬＭ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ-3d」を出力する。また、撮像部２２は、３次元測定光モードで照明が行われている被写体の撮像動作Ｐ５を行う。なお、信号「ＣＴ-3d」は、照明部４０から３次元測定光モードで照明光を出力させる信号である。
６番目のフレームＦＲ６において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ１」を出力する。また、フレームＦＲ６において、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ５で生成した画像信号「Ｄ５-3d」を画像分割部３１に供給する。画像分割部３１は、撮像部２２から供給された画像信号が３次元測定光モードで照明が行われている被写体を撮像した画像信号であるから、図１４の（Ｆ）に示すように画像信号「Ｄ５-3d」を３次元構造解析部３４に供給して３次元構造の解析を行う。また、画像分割部３１に供給された画像信号が測定光モードまたは３次元測定光モードで照明が行われている被写体を撮像した画像信号である場合、表示装置９１や画像記録装置９２に出力する画像信号が欠落する。したがって、画像分割部３１は、測定光モードで照明が行われている被写体を撮像した画像信号を用いて補間処理を行い、生成した画像信号をフレームＦＲ６の期間に表示装置９１や画像記録装置９２へ出力する。補間処理では、上述の第１〜第３の補間処理方法または他の補間処理方法を用いる。
７番目のフレームＦＲ７において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。ここで、３次元構造解析部３４は、図１４の（Ｇ）に示すように、解析結果「ＭＥ-3d」が得られたとする。また、補正照明算出部３８は、解析結果「ＭＥ-3d」に基づいて照明強度分布の算出を行い、図１４の（Ｆ）に示すように、算出結果「ＶＭ５-3d」が得られたとする。この場合、出力制御部３９は、算出結果「ＶＭ５-3d」に基づき信号「ＣＴ５-3d」を生成して照明部４０に出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ７を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ６で生成した画像信号「Ｄ６-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ６-LC」を表示装置９１や画像記録装置９２へ出力する。
８番目のフレームＦＲ８において、撮像装置１０は、図１４の（Ａ）に示すように照明モードを補正光モード（ＬＣ）とする場合、出力制御部３９から照明部４０に照明制御信号として、図１４の（Ｉ）に示すように信号「ＣＴ５-3d」を出力する。したがって、撮像部２２は、補正光モードで照明が行われている被写体の撮像動作Ｐ８を行ったとき、３次元構造を考慮した照明強度分布で照明が行われることから、白飛びや黒つぶれ等の生じていない良好な撮像画像を得ることができる。また、撮像部２２は、図１４の（Ｃ）に示すように、撮像動作Ｐ７で生成した画像信号「Ｄ７-LC」を画像分割部３１に出力する。画像分割部３１は、撮像部２２から供給された画像信号が補正光モードで照明が行われている被写体を撮像した画像信号であるから、画像信号「Ｄ７-LC」を表示装置９１や画像記録装置９２へ出力する。
以上のように、撮像装置１０は、３次元測定光モードの照明状態で撮像された撮像画像に基づき、被写体の３次元構造を解析する。また、撮像装置１０は、補正光モードでは、近接した被写体部分に対する照明強度は低く、離れた被写体部分に対する照明強度は高くなるように照明強度を調整する。したがって、撮像装置１０は、被写体の３次元構造に対応させて測定光モードにおける照明強度分布を設定できるので、測定光モードの照明状態で撮像された撮像画像を、白飛びや黒つぶれ等の生じていない良好な撮像画像とすることができる。また、撮像装置１０は、３次元測定光モードにおける撮像動作を周期的に行い、３次元測定光モードにおける撮像動作で生成された画像信号に基づき補正光モードにおける照明強度分布を算出する。したがって、撮像中に被写体が移動したり被写体の状態が変化するような場合でも、補正光モードにおける照明強度分布は、被写体の３次元構造の変化に追従させて自動的に調整される。このため、撮像装置１０は、被写体の変化にかかわらず白飛びや黒つぶれ等の生じていない良好な撮像画像を容易に得ることができる。また、撮像装置１０は、照明光による被写体の発熱等も防止できる。
＜９．変形例６＞
変形例６は、撮像光学系２１と照明光学系４６にズーム機能を設けた場合を示している。図１５は、変形例６の構成を示している。変形例６の撮像装置１０は、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０、システム制御部５０を備えている。また、照明制御部３０は、画像分割部３１、補正照明算出部３８、出力制御部３９を備えている。
撮像光学系２１は、被写体に焦点を合わせるためのレンズユニットを用いて構成されている。変形例６における撮像光学系２１では、ズームレンズが用いられており、後述するシステム制御部５０からのズーム制御信号に基づきズームレンズを駆動して、ズーム動作を行う。
撮像部２２は、ＣＣＤ(Charge Coupled Device）イメージセンサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成されており、被写体光学像に応じた画像信号を生成する。また、撮像部２２は、システム制御部５０からの同期信号に基づき照明部４０と同期して撮像動作を行う。また、撮像部２２は、生成した画像信号に対して種々の処理を行う。
画像分割部３１は、出力制御部３９からの照明モード信号に基づき、撮像画像の画像信号を画面単位例えばフレームの切り替わり位置で分割する。画像分割部３１は、照明モード信号によって照明が補正光モードに設定されていることが示された場合、補正光モードの照明状態で撮像された撮像画像の画像信号を、例えば表示装置９１や画像記録装置９２へ出力する。また、画像分割部３１は、照明モード信号によって照明が測定光モードに設定されていることが示された場合、測定光モードの照明状態で撮像された撮像画像の画像信号を補正照明算出部３８へ出力する。さらに、画像分割部３１は、照明が測定光モードに設定されている期間において、補正光モードの照明状態で撮像された撮像画像の画像信号を用いた補間処理を行う。画像分割部３１は、補間処理によって、補正光モードの照明状態で撮像された撮像画像に相当する画像の画像信号を生成して、例えば表示装置９１や画像記録装置９２へ出力する。
補正照明算出部３８は、測定光モードの照明状態で撮像された撮像画像の画像信号に基づいて、補正光モードにおける照明光の照明強度分布を算出する。測定光照明モードでは、照明部４０から照明強度分布が一定である照明光が出力される。このような測定光モードの照明状態で撮像された撮像画像は、反射率の高い被写体部分や近距離の被写体部分が高輝度となり、反射率の低い被写体部分や離れた被写体部分は低輝度となる。したがって、補正照明算出部３８は、撮像範囲に反射率や距離の異なる被写体部分が混在しても、白飛びや黒つぶれ等を生じていない撮像画像を得ることができるように、補正光モードにおける照明光の照明強度分布を算出する。
出力制御部３９は、システム制御部５０からの制御信号に基づき、照明モードを測定光モードまたは補正光モードに切り替える。また、出力制御部３９は、照明モードが測定光モードまたは補正光モードの何れとされているかを示す照明モード信号を生成して画像分割部３１へ出力する。さらに、出力制御部３９は、補正照明算出部３８における照明強度分布の算出結果に基づき照明制御信号を生成して照明部４０に出力することで、補正光モードの場合における照明光の照明強度を制御する。また、出力制御部３９は、測定光モードの場合に、照明強度分布が一定である照明光を出力するための照明制御信号を生成して照明部４０に出力する。
照明部４０は、光源４１、空間光変調部４２、ライトガイド４５、照明光学系４６を備えている。照明部４０は、光源４１から出射された照明光を、出力制御部３９からの照明制御信号に基づき空間光変調部４２で変調して、照明強度が調整された照明光をライトガイド４５と照明光学系４６を介して被写体に照射する。また、照明光学系４６はズーム機能が設けられており、システム制御部５０からのズーム制御信号に基づき照明光のズーム動作を行う。
システム制御部５０は、撮像部２２と照明制御部３０および照明部４０を同期して動作させる。具体的には、システム制御部５０は、測定光モードの照明状態で撮像された画像と補正光モードの照明状態で撮像された画像が１フレーム内で混在しないように、照明モードの切り替えをフレームの切り替わりタイミングに同期させて行う。なお、各フレームの照明モードを測定光モードと補正光モードの何れとするかは、出力制御部３９に代えてシステム制御部５０で行うようにしてもよい。さらに、システム制御部５０は、ユーザ等の操作に応じてズーム制御信号を生成して撮像光学系２１と照明光学系４６へ出力することで、撮像光学系２１と照明光学系４６の動作を連動させる。
このように、撮像光学系２１と照明光学系４６のズーム動作を連動させることで、撮像光学系でズーム動作が行われた場合でも、白飛びが黒つぶれを生じないように照明部４０の動作を連動させることができる。
＜１０．変形例７＞
変形例７は、図１６に示すように、照明光の光路についての変形例である。図１６の（Ａ）は硬性内視鏡装置、図１６の（Ｂ）は軟性内視鏡装置、図１６の（Ｃ）はカプセル内視鏡装置の場合を図示している。
硬性内視鏡装置の場合、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射させる。ビームスプリッタ７２は、照明部４０から出射された照明を挿入部１１ａのイメージガイドシャフト内のリレーレンズや撮像光学系を介して被写体に出射させる。また、ビームスプリッタ７２は、撮像光学系および挿入部１１ａのイメージガイドシャフト内のリレーレンズを介して供給された観察対象からの光を撮像部２２に出射する。
軟性内視鏡装置も硬性内視鏡装置と同様に、照明部４０から出射された照明光をミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、可撓性を有している挿入部１１ｂのライトガイドに入射する。また、ビームスプリッタ７２は、撮像光学系やライトガイドを介して供給された観察対象からの光を、撮像部２２に出射する。
カプセル内視鏡装置は、例えば筐体１３の内部に、撮像光学系２１、撮像部２２、照明制御部３０、照明部４０が設けられている。また、カプセル内視鏡装置では、処理後の画像信号の送信等を行うための無線通信部８１、電源部８２等も設けられている。照明部４０から出射された照明光はミラー７１でビームスプリッタ７２に入射する。ビームスプリッタ７２は、照明部４０から出射された照明を、撮像光学系２１を介して被写体に出射する。また、ビームスプリッタ７２は、撮像光学系２１を介して供給された観察対象からの光を、撮像部２２に出射する。
このように、ミラー７１とビームスプリッタ７２を光路制御部として用いて、被写体からの光を撮像部２２に導く光路を照明光の光路としても用いることで、照明光の光路を別個に設けた場合に比べて挿入部やカプセル内視鏡装置の構成を簡単とすることができる。
以上、実施の形態およびいくつかの変形例を用いて本技術について説明したが、本技術は、実施の形態およびいくつかの変形例に限られず、上述の実施の形態および変形例を組み合わせてもよい。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する画像分割部と、
前記画像分割部で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する補正照明算出部と、
前記補正照明算出部で算出された照明強度分布に基づいて照明光の出力制御を行う出力制御部と
を備える画像処理装置。
（２） 前記測定光モードにおける所定の空間分布は、照明強度が一定である空間分布である（１）に記載の画像処理装置。
（３） 前記補正照明算出部は、前記照明光の空間解像度に応じて前記画像の解像度変換処理を行い、解像度変換後の画像に基づき照明強度分布を算出する（１）または（２）に記載の画像処理装置。
（４） 前記補正照明算出部は、前記画像分割部で分割された画像の色分離処理を行い、色成分毎の画像に基づいて前記補正光モードでの照明強度分布を算出する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記画像分割部は、補正光モードの照明状態で撮像された画像を用いて補間を行い、測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する（１）乃至（４）の何れかに記載の画像処理装置。
（６） 前記撮像画像の生成を行う撮像部、および前記画像分割部と前記補正照明算出部と前記出力制御部を同期して動作させる動作制御部をさらに備える（１）乃至（５）の何れかに記載の画像処理装置。
（７） 被写体からの光を前記撮像部に導く光路を、前記照明光の光路として用いる光路制御部をさらに備える（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記照明光を出力する照明部は、前記出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする（１）乃至（７）の何れかに記載の画像処理装置。
（９） 前記照明光を出力する照明部は、前記出力制御部からの制御信号に基づき自発光素子を駆動して、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする（１）乃至（７）の何れかに記載の画像処理装置。
（１０） 前記撮像画像上の各位置における被写体までの距離を測定する距離測定部をさらに備え、
前記補正照明算出部は、前記距離測定部で測定された距離、または測定された距離と前記画像分割部で分割された画像に基づいて、前記補正光モードでの照明強度分布を算出する（１）乃至（９）の何れかに記載の画像処理装置。
（１１） 前記撮像画像として多視点の撮像画像を生成する撮像部と、
前記多視点の撮像画像を用いて、前記撮像画像上の各位置における被写体までの距離を推定する距離推定部をさらに備え、
前記補正照明算出部は、前記距離推定部で推定された距離、または推定された距離と前記画像分割部で分割された画像に基づいて、前記補正光モードでの照明強度分布を算出する（１）乃至（９）の何れかに記載の画像処理装置。
（１２） 被写体の３次元構造解析を行うための３次元測定光モードにおいて、照明光パターンを生成するパターン生成部と、
３次元測定光モードの照明状態で撮像された画像から、被写体の３次元構造解析を行う３次元構造解析部を備え、
前記画像分割部は、前記３次元測定光モードの照明状態で撮像された画像を分割して３次元構造解析部に出力し、
前記補正照明算出部は、前記３次元構造解析部の解析結果に基づいて、前記補正光モードでの照明強度分布を算出する（１）乃至（９）の何れかに記載の画像処理装置。
（１３） 前記撮像画像の生成に用いる撮像光学系と、前記照明光の出射に用いる照明光学系のズーム動作を同期して行う（１）乃至（１２）の何れかに記載の画像処理装置。
本技術の画像処理装置と画像処理方法では、撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像が分割される。この分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布が算出されて、算出された照明強度分布に基づいて、補正光モードにおける照明光の出力制御が行われる。このため、補正光モードの照明状態で撮像された画像は、被写体に応じた空間分解能の高い配光制御が行われている照明状態で撮像された画像となり、例えば白飛びや黒つぶれ等を生じていない撮像画像を生成できるようになる。したがって、内視鏡装置やファイバースコープカメラ等に適している。
１０・・・撮像装置、１１ａ・・・挿入部、１１ｂ・・・挿入部、１２・・・操作部、１３・・・筐体、２１・・・撮像光学系、２２・・・撮像部、３０・・・照明制御部、３１・・・画像分割部、３２・・・距離測定部、３３・・・距離推定部、３４・・・３次元構造推定部、３５・・・パターン生成部、３８・・・補正照明算出部、３９・・・出力制御部、４０・・・照明部、４１・・・光源、４２・・・空間光変調部、４３・・・自発光素子部、４５・・・ライトガイド、４６・・・照明光学系、５０・・・システム制御部、７１・・・ミラー、７２・・・ビームスプリッタ、８１・・・無線通信部、８２・・・電源部、９１・・・表示装置、９２・・・画像記録装置、３８１・・・色分離部、３８２Ｂ・・・青光補正照明算出部、３８２Ｇ・・・緑光補正照明算出部、３８２Ｒ・・・赤光補正照明算出部、３８３・・・計算結果統合部

Claims (14)

  1. 撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する画像分割部と、
    前記画像分割部で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する補正照明算出部と、
    前記補正照明算出部で算出された照明強度分布に基づいて照明光の出力制御を行う出力制御部と
    を備える画像処理装置。
  2. 前記測定光モードにおける所定の空間分布は、照明強度が一定である空間分布である請求項１記載の画像処理装置。
  3. 前記補正照明算出部は、前記照明光の空間解像度に応じて前記画像の解像度変換処理を行い、解像度変換後の画像に基づき照明強度分布を算出する請求項１記載の画像処理装置。
  4. 前記補正照明算出部は、前記画像分割部で分割された画像の色分離処理を行い、色成分毎の画像に基づいて前記補正光モードでの照明強度分布を算出する請求項１記載の画像処理装置。
  5. 前記画像分割部は、補正光モードの照明状態で撮像された画像を用いて補間を行い、測定光モードの照明状態で撮像された画像期間に対応した前記補正光モードの照明状態で撮像された画像を生成する請求項１記載の画像処理装置。
  6. 前記撮像画像の生成を行う撮像部、および前記画像分割部と前記補正照明算出部と前記出力制御部を同期して動作させる動作制御部をさらに備える請求項１記載の画像処理装置。
  7. 被写体からの光を前記撮像部に導く光路を、前記照明光の光路として用いる光路制御部をさらに備える請求項６記載の画像処理装置。
  8. 前記照明光を出力する照明部は、前記出力制御部からの制御信号に基づき光源から出力された照明光の空間光変調を行い、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする請求項１記載の画像処理装置。
  9. 前記照明光を出力する照明部は、前記出力制御部からの制御信号に基づき自発光素子を駆動して、前記補正光モードで出力する照明光の照明強度分布を、前記補正照明算出部で算出された分布とする請求項１記載の画像処理装置。
  10. 前記撮像画像上の各位置における被写体までの距離を測定する距離測定部をさらに備え、
    前記補正照明算出部は、前記距離測定部で測定された距離、または測定された距離と前記画像分割部で分割された画像に基づいて、前記補正光モードでの照明強度分布を算出する請求項１記載の画像処理装置。
  11. 前記撮像画像として多視点の撮像画像を生成する撮像部と、
    前記多視点の撮像画像を用いて、前記撮像画像上の各位置における被写体までの距離を推定する距離推定部をさらに備え、
    前記補正照明算出部は、前記距離推定部で推定された距離、または推定された距離と前記画像分割部で分割された画像に基づいて、前記補正光モードでの照明強度分布を算出する請求項１記載の画像処理装置。
  12. 被写体の３次元構造解析を行うための３次元測定光モードにおいて、照明光パターンを生成するパターン生成部と、
    ３次元測定光モードの照明状態で撮像された画像から、被写体の３次元構造解析を行う３次元構造解析部を備え、
    前記画像分割部は、前記３次元測定光モードの照明状態で撮像された画像を分割して３次元構造解析部に出力し、
    前記補正照明算出部は、前記３次元構造解析部の解析結果に基づいて、前記補正光モードでの照明強度分布を算出する請求項１記載の画像処理装置。
  13. 前記撮像画像の生成に用いる撮像光学系と、前記照明光の出射に用いる照明光学系のズーム動作を同期して行う請求項１記載の画像処理装置。
  14. 撮像画像から、照明強度分布が所定の空間分布とされた測定光モードの照明状態で撮像された画像を分割する工程と、
    前記画像分割部で分割された画像に基づき、被写体に応じた照明を行う補正光モードでの照明強度分布を算出する工程と、
    前記算出された照明強度分布に基づいて照明光の出力制御を行う工程と
    含む画像処理方法。
JP2012094660A 2012-04-18 2012-04-18 画像処理装置と画像処理装置の作動方法および撮像装置 Expired - Fee Related JP6089436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012094660A JP6089436B2 (ja) 2012-04-18 2012-04-18 画像処理装置と画像処理装置の作動方法および撮像装置
CN201310125535.7A CN103371795B (zh) 2012-04-18 2013-04-11 图像处理装置和图像处理方法
US13/860,585 US20130278738A1 (en) 2012-04-18 2013-04-11 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012094660A JP6089436B2 (ja) 2012-04-18 2012-04-18 画像処理装置と画像処理装置の作動方法および撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017020203A Division JP6460133B2 (ja) 2017-02-07 2017-02-07 画像処理装置と画像処理装置の作動方法および撮像装置

Publications (2)

Publication Number Publication Date
JP2013220254A true JP2013220254A (ja) 2013-10-28
JP6089436B2 JP6089436B2 (ja) 2017-03-08

Family

ID=49379754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012094660A Expired - Fee Related JP6089436B2 (ja) 2012-04-18 2012-04-18 画像処理装置と画像処理装置の作動方法および撮像装置

Country Status (3)

Country Link
US (1) US20130278738A1 (ja)
JP (1) JP6089436B2 (ja)
CN (1) CN103371795B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015119836A (ja) * 2013-12-24 2015-07-02 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2016181602A1 (en) 2015-05-12 2016-11-17 Sony Corporation Medical imaging apparatus, imaging method, and imaging apparatus
JP2017501625A (ja) * 2013-12-06 2017-01-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラを用いた窓ガラス上にある雨滴を検出するための照明
WO2017033498A1 (ja) * 2015-08-24 2017-03-02 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
CN112203572A (zh) * 2018-06-05 2021-01-08 奥林巴斯株式会社 内窥镜系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266302B2 (ja) * 2013-10-25 2018-01-24 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
US10126541B2 (en) * 2015-03-26 2018-11-13 Steris Instrument Management Services, Inc. Endoscopic illuminating and imaging systems and methods
CN106572786B (zh) * 2015-03-30 2018-12-18 奥林巴斯株式会社 胶囊型内窥镜系统以及磁场产生装置
CN106333637B (zh) * 2015-07-07 2019-02-22 宏达国际电子股份有限公司 医疗检测装置及其控制方法
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2018033783A (ja) * 2016-09-01 2018-03-08 オリンパス株式会社 内視鏡プロセッサ
GB201702162D0 (en) * 2017-02-09 2017-03-29 Nordson Corp Bond test apparatus and bond test cartridge with integrated illumination system
JP2018143400A (ja) * 2017-03-03 2018-09-20 ソニー株式会社 画像処理装置および方法、並びに内視鏡システム
US20190239729A1 (en) * 2018-02-05 2019-08-08 Nucleus Dynamics Pte Ltd Remote monitoring of a region of interest
JP7441822B2 (ja) * 2019-03-19 2024-03-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
JP7426248B2 (ja) * 2020-01-29 2024-02-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053921A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 液晶フイルタを用いた内視鏡用自動調光装置
US4622584A (en) * 1983-09-05 1986-11-11 Olympus Optical Co., Ltd. Automatic dimmer for endoscope
JPH0572487A (ja) * 1991-09-12 1993-03-26 Olympus Optical Co Ltd 内視鏡装置
JPH07275192A (ja) * 1994-04-14 1995-10-24 Toshiba Corp 内視鏡装置
JPH11137517A (ja) * 1997-11-14 1999-05-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2001235686A (ja) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd 内視鏡装置
JP2001281559A (ja) * 2000-03-31 2001-10-10 Olympus Optical Co Ltd 内視鏡装置
JP2004254786A (ja) * 2003-02-24 2004-09-16 Pentax Corp 走査型共焦点プローブ
JP2005160815A (ja) * 2003-12-03 2005-06-23 Olympus Corp 光イメージング装置
JP2011156339A (ja) * 2010-01-08 2011-08-18 Fujifilm Corp 医療機器及び内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646977B2 (ja) * 1984-06-09 1994-06-22 オリンパス光学工業株式会社 計測用内視鏡
JP2000193896A (ja) * 1998-12-28 2000-07-14 Asahi Optical Co Ltd 内視鏡の光量制御装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US6864473B2 (en) * 2000-12-07 2005-03-08 The United States Of America As Represented By The United States National Aeronautics And Space Administration Dynamic optical filtration
US20030117491A1 (en) * 2001-07-26 2003-06-26 Dov Avni Apparatus and method for controlling illumination in an in-vivo imaging device
JP2004274637A (ja) * 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
WO2005031436A1 (en) * 2003-09-26 2005-04-07 Tidal Photonics, Inc. Apparatus and methods relating to expanded dynamic range imaging endoscope systems
JP5214853B2 (ja) * 2006-03-03 2013-06-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2007264196A (ja) * 2006-03-28 2007-10-11 Fujifilm Corp ストロボ制御装置及び方法
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
JP4868976B2 (ja) * 2006-08-18 2012-02-01 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2008048905A (ja) * 2006-08-24 2008-03-06 Olympus Medical Systems Corp 内視鏡装置
WO2008115547A1 (en) * 2007-03-19 2008-09-25 Sti Medical Systems, Llc A method of automated image color calibration
JP5096090B2 (ja) * 2007-09-19 2012-12-12 オリンパスメディカルシステムズ株式会社 生体内画像受信装置および生体内画像取得システム
JP5534288B2 (ja) * 2008-04-02 2014-06-25 富士フイルム株式会社 信号処理装置、信号処理装置の作動方法、およびプログラム
JP2010045615A (ja) * 2008-08-13 2010-02-25 Olympus Corp 撮像装置および内視鏡システム
CN102215737B (zh) * 2008-11-17 2014-05-28 奥林巴斯株式会社 图像处理系统、该图像处理系统的摄像装置、接收装置以及图像显示装置
CN101771800A (zh) * 2008-12-31 2010-07-07 中芯国际集成电路制造(上海)有限公司 Cmos图像传感器及其成像方法
CN102333473A (zh) * 2009-03-24 2012-01-25 奥林巴斯医疗株式会社 荧光观察装置
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
JP5325725B2 (ja) * 2009-09-24 2013-10-23 富士フイルム株式会社 内視鏡装置
EP2520211B1 (en) * 2010-02-10 2014-04-23 Olympus Corporation Fluorescence endoscope device
JP4977923B2 (ja) * 2010-03-03 2012-07-18 日本電気株式会社 アクティブ型車両視界補助装置及び車両視界補助方法
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
US8570406B2 (en) * 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP5663331B2 (ja) * 2011-01-31 2015-02-04 オリンパス株式会社 制御装置、内視鏡装置、絞り制御方法及びプログラム
CN103313643B (zh) * 2011-03-31 2015-06-10 奥林巴斯医疗株式会社 内窥镜装置、内窥镜帽和分析方法
JP5485215B2 (ja) * 2011-04-01 2014-05-07 富士フイルム株式会社 内視鏡装置
JP5811491B2 (ja) * 2011-04-12 2015-11-11 株式会社ニコン 顕微鏡及びそのプログラム
US9041825B2 (en) * 2011-10-12 2015-05-26 Olympus Corporation Image processing apparatus
CN102370452B (zh) * 2011-10-13 2014-04-30 深圳市理邦精密仪器股份有限公司 一种电子阴道镜光源亮度自动调节的方法及装置
JP2013252185A (ja) * 2012-06-05 2013-12-19 Canon Inc 内視鏡及び内視鏡装置
JP6025470B2 (ja) * 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053921A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 液晶フイルタを用いた内視鏡用自動調光装置
US4622584A (en) * 1983-09-05 1986-11-11 Olympus Optical Co., Ltd. Automatic dimmer for endoscope
JPH0572487A (ja) * 1991-09-12 1993-03-26 Olympus Optical Co Ltd 内視鏡装置
JPH07275192A (ja) * 1994-04-14 1995-10-24 Toshiba Corp 内視鏡装置
JPH11137517A (ja) * 1997-11-14 1999-05-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2001235686A (ja) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd 内視鏡装置
JP2001281559A (ja) * 2000-03-31 2001-10-10 Olympus Optical Co Ltd 内視鏡装置
JP2004254786A (ja) * 2003-02-24 2004-09-16 Pentax Corp 走査型共焦点プローブ
JP2005160815A (ja) * 2003-12-03 2005-06-23 Olympus Corp 光イメージング装置
JP2011156339A (ja) * 2010-01-08 2011-08-18 Fujifilm Corp 医療機器及び内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501625A (ja) * 2013-12-06 2017-01-12 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ カメラを用いた窓ガラス上にある雨滴を検出するための照明
JP2015119836A (ja) * 2013-12-24 2015-07-02 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2016181602A1 (en) 2015-05-12 2016-11-17 Sony Corporation Medical imaging apparatus, imaging method, and imaging apparatus
WO2017033498A1 (ja) * 2015-08-24 2017-03-02 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
JP2017046021A (ja) * 2015-08-24 2017-03-02 株式会社Ｊｖｃケンウッド 水中撮影装置、水中撮影装置の制御方法、水中撮影装置の制御プログラム
US10594947B2 (en) 2015-08-24 2020-03-17 JVC Kenwood Corporation Underwater imaging apparatus, method for controlling an underwater imaging apparatus, and program for controlling an underwater imaging apparatus
CN112203572A (zh) * 2018-06-05 2021-01-08 奥林巴斯株式会社 内窥镜系统
CN112203572B (zh) * 2018-06-05 2024-04-05 奥林巴斯株式会社 内窥镜系统

Also Published As

Publication number Publication date
JP6089436B2 (ja) 2017-03-08
US20130278738A1 (en) 2013-10-24
CN103371795B (zh) 2016-09-21
CN103371795A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
JP6089436B2 (ja) 画像処理装置と画像処理装置の作動方法および撮像装置
US20240000295A1 (en) Light field capture and rendering for head-mounted displays
US20210157118A1 (en) Medical image processing apparatus, medical image processing method, and medical observation system
JP5108093B2 (ja) 撮像装置及び撮像方法
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP2015008785A (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP5860663B2 (ja) ステレオ撮像装置
JP6017735B2 (ja) 撮像システム
TW201350954A (zh) 主動式距離對焦系統及方法
WO2018211588A1 (ja) 撮像装置、撮像方法及びプログラム
WO2016147315A1 (ja) 蛍光画像生成装置及び蛍光画像生成方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US20190125174A1 (en) Electronic endoscope system
JP6460133B2 (ja) 画像処理装置と画像処理装置の作動方法および撮像装置
JP2013073076A (ja) 投写型映像表示装置
JP2010085472A (ja) 画像投影・撮像装置
US10921577B2 (en) Endoscope device
JP2016193144A (ja) 内視鏡システムおよび計測方法
US9232196B2 (en) Image capturing apparatus and endoscope system
JP6257475B2 (ja) 走査型内視鏡装置
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
JP6574101B2 (ja) 内視鏡システム
JP6983531B2 (ja) 測距装置、測距システム、および測距方法
JP6655433B2 (ja) 電子内視鏡システム
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R151 Written notification of patent or utility model registration

Ref document number: 6089436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees