JP2013150658A - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP2013150658A
JP2013150658A JP2012011975A JP2012011975A JP2013150658A JP 2013150658 A JP2013150658 A JP 2013150658A JP 2012011975 A JP2012011975 A JP 2012011975A JP 2012011975 A JP2012011975 A JP 2012011975A JP 2013150658 A JP2013150658 A JP 2013150658A
Authority
JP
Japan
Prior art keywords
unit
focus control
control unit
focus
operation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012011975A
Other languages
English (en)
Other versions
JP5953049B2 (ja
JP2013150658A5 (ja
Inventor
Junpei Takahashi
順平 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012011975A priority Critical patent/JP5953049B2/ja
Priority to US13/735,408 priority patent/US20130188029A1/en
Publication of JP2013150658A publication Critical patent/JP2013150658A/ja
Publication of JP2013150658A5 publication Critical patent/JP2013150658A5/ja
Application granted granted Critical
Publication of JP5953049B2 publication Critical patent/JP5953049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】 放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作が行われている場合にも、ユーザーによる診断等を円滑にする内視鏡システム等を提供すること。
【解決手段】 内視鏡システムは、内視鏡スコープの光学系のフォーカス制御を行うフォーカス制御部340と、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作についての操作情報を、操作検出センサからのセンサ情報に基づいて取得する操作情報取得部350と、操作情報に基づいて、フォーカス制御部340によるフォーカス制御を行うか否かを切り替える切り替え制御部360とを含む。
【選択図】 図1

Description

本発明は、内視鏡システム等に関する。
内視鏡においては、近点から遠点までピントが合うパンフォーカスな画像を取得できる光学系が必要とされる。しかし近年、撮像素子の高画素化に伴い被写界深度が狭くなることにより、上記光学系の実現が困難となっている。
これに対し特許文献1では、光学系の合焦位置を駆動する合焦位置駆動部を設け、被写体に対してオートフォーカス(以下、AF)を行う内視鏡装置を提案している。AFを導入することにより、常に合焦状態の画像を取得することが可能となる。
特許文献1では、AFの具体的な方法としてコントラストAFを用いている。コントラストAFは、取得される画像より検出したコントラスト値(高周波成分やエッジ量など)を基に、光学系の合焦位置を検出する。合焦位置とは、例えばピントが合う場合(合焦状態にある場合)における系の位置(物体の位置であってもよいしレンズの位置であってもよい)のことである。ここで、レンズを駆動することで物体の合焦位置(合焦物体位置)を変化させ、それぞれの位置でコントラスト値を算出した場合、ピントを合わせたい物体の位置と合焦物体位置とが一致する時に前記コントラスト値が最大となる特徴がある。そのためコントラストAFでは、光学系の合焦位置を変化させて取得した複数の画像よりコントラスト値を検出し、前記コントラスト値が最大となる位置において、目標の物体に対して合焦状態にあるとする。
特開平8−106060号公報
一方、内視鏡診断においては、送水(広義には放出であり、対象物は水以外であってもよい)や吸引が行われる。送水時には、内視鏡スコープ先端から水が噴出される。この場合、画像内に水が映りこむため、取得される画像は輝点を多く含む特徴がある。輝点は、生体に比べてコントラスト値が高く、さらに時間と共にその形状が大きく変化する。そのため、送水・吸引時に取得される内視鏡画像のコントラスト値は輝点の形状変化に依存して大きく変動する特徴がある。従って、送水・吸引時にコントラストAFを機能させると、輝点の形状変化に依存して光学系の合焦位置が変動し検出が困難となる。
また吸引時には、胃液などの消化液を吸引するため、スコープ先端が液中に埋没する。そのため、この場合に取得される画像は、コントラストが低くなる特徴がある(消化液が全面に写った画像となる)。コントラストAFは上述のようにコントラスト値に基づいて合焦位置を制御するため、画像のコントラストが低い場合には、合焦位置の検出が困難である。従って吸引時には、コントラストAFが有効に機能しない。
また、AF手法として位相差AFを用いた場合であっても、位相差を求めるために被写体の構造に関する情報を取得する必要があるため、水や消化液が存在する送水・吸引時にはAFが有効に機能しない点は同様である。
さらに、内視鏡診断においては病変に処置をするために処置具を挿入するが、処置具は生体と比較してコントラスト値が高い特徴がある。そのため、処置具挿入時にコントラストAFを機能させると、処置具にピントが合ってしまい、診断の対象となる生体にピントを合わせることができない。
以上に示したように、送水・吸引時にはAFが有効に機能しないため、取得される画像が非常に見づらい画像となってしまい、医師の診断の妨げになるとともに、医師の疲労を増加させる課題を有する。また、処置具挿入時にAFを機能させると、診断の対象となる生体にピントを合わせることができず、医師の診断の妨げになる。
これに対しては、AFを停止させるAF停止ボタンを設ける手法が考えられる。しかしこの手法では、医師がAF停止ボタンをマニュアルで操作する必要があるため、操作が煩雑になり医師の負担増加を招く問題がある。
本発明の幾つかの態様によれば、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作が行われている場合にも、ユーザーによる診断等を円滑にする内視鏡システム等を提供することができる。
本発明の一態様は、内視鏡スコープの光学系のフォーカス制御を行うフォーカス制御部と、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作についての操作情報を、操作検出センサからのセンサ情報に基づいて取得する操作情報取得部と、前記操作情報に基づいて、前記フォーカス制御部による前記フォーカス制御を行うか否かを切り替える切り替え制御部と、を含む内視鏡システムに関係する。
本発明の一態様では、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作についての操作部の操作情報を取得し、取得した操作情報に基づいてフォーカス制御を行うか否かを切り替える。よって、上記の操作の状況によってはフォーカス制御が有効に機能する場合としない場合とが考えられるが、それにあわせてフォーカス制御の動作を切り替えることが可能になる。
第1の実施形態にかかる内視鏡システムの構成例。 撮像素子の構成例。 撮像素子の分光特性。 合焦物体位置とコントラスト値との関係を説明する図。 フォーカス制御部の構成例。 第2の実施形態にかかる内視鏡システムの構成例。 第3の実施形態にかかる内視鏡システムの構成例。 操作情報取得部の構成例。 注目画素の判定に用いる基準値の算出手法を説明する図。 図10(A)〜図10(D)は撮像画像から処置具を検出する手法を説明する図。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
ここで問題とするのは、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作が行われている場合のフォーカス制御手法である。以下、第1〜第3の実施形態について説明するが、第1の実施形態では、このうち放出操作または吸引操作が行われている場合のフォーカス制御について説明する。第2の実施形態及び第3の実施形態では、生体に対する処置操作として処置具(例えば鉗子)が挿入されている場合のフォーカス制御について説明する。なお、第2の実施形態は処置具の挿入という物理的動作をセンサや制御信号等を用いて直接検出する手法であり、第3の実施形態は撮像画像に対する画像処理に基づいて処置具の挿入を検出する手法となる。
1.第1の実施形態
第1の実施形態に係る内視鏡システムについて、図1を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、撮像部200と、画像処理部300と、表示部400と、外部I/F部500を備えている。
光源部100は、白色光を発生する白色光源110と、該白色光をライトガイドファイバ210に集光するためのレンズ120を備えている。
撮像部200は、体腔への挿入を可能にするため細長く且つ湾曲可能に形成されている。撮像部200は、光源部100で集光された光を導くためのライトガイドファイバ210と、該ライトガイドファイバ210により導かれた光を拡散させて被写体に照射する照明レンズ220と、被写体からの反射光を集光する集光レンズ230と、集光レンズ230により集光された反射光を検出するための撮像素子240と、レンズ駆動部250と、送水管261と、吸引管262と、送水タンク271と、貯水タンク272を備えている。レンズ駆動部250は集光レンズ230に接続されている。さらにレンズ駆動部250は後述するフォーカス制御部340と接続されている。なお、以降の説明では、撮像部200を内視鏡スコープとも表記する。
内視鏡診断においては、残渣など診断の妨げになる被写体が存在した場合、水を送水することで、残渣の洗浄を行う。前記送水タンク271及び送水管261は、水を送水するためのものである。具体的には、送水タンク271から送水管261を通して水が送水されるようになっている。送水タンク271には送水用の水が蓄えられている。また、胃を診断する際には、胃液が診断の妨げになる場合があり、このような場合には胃液の吸引が行われる。前記貯水タンク272及び吸引管262は、胃液などを吸引するためのものである。具体的には、吸引管262を通して胃液が吸引され、該胃液が貯水タンク272に蓄えられるようになっている。
送水タンク271、及び貯水タンク272はそれぞれ後述する制御部390と接続されている。送水、及び吸引の指示は、後述するように外部I/F部500よりユーザーが送水ボタンまたは吸引ボタン(不図示)を押下することにより行う。
撮像素子240は、図2に示されるようなベイヤ配列を有する撮像素子である。また図2に示した3種類の色フィルタr,g,bは、図3に示されるようにrフィルタが580〜700nm、gフィルタが480〜600nm、bフィルタが400〜500nmの光を透過させる特徴を有するものとする。
また集光レンズ230は、合焦物体位置を制御できるものとする。具体的には、合焦物体位置をdmin〜dmax[mm](dmax>dmin)の範囲で調整できるものとする。なお、本実施例において合焦物体位置とは、ピントが合う場合(合焦状態にある場合)における集光レンズ230と被写体間の距離を表す。言い換えれば、本実施形態の内視鏡システムは集光レンズ230を調整することで、当該集光レンズ230からdmin〜dmax[mm]の範囲にある物体(被写体)に対してピントをあわせることが可能である。
外部I/F部500は、この画像処理装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部I/F部500には、送水を行うための送水ボタン、吸引を行うための吸引ボタンが設けられている。
外部I/F部500は、後述する操作情報取得部350、及び制御部390に接続されている。外部I/F部500は、入力された情報を制御部390へ出力するようになっている。さらに外部I/F部500は、送水、及び吸引の操作に関する情報(送水ボタン・吸引ボタンが押下されているか否か)を操作情報取得部350に出力する。
画像処理部300は、補間処理部310と、表示画像生成部320と、輝度画像生成部
330と、フォーカス制御部340と、操作情報取得部350と、切り替え制御部360と、制御再開指示部370と、記憶部380と、制御部390を備えている。なお、画像処理部300は図1の構成に限定されず、これらの一部の構成要素(例えば制御再開指示部370等)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
補間処理部310は、表示画像生成部320と、輝度画像生成部330に接続されている。表示画像生成部320は、表示部400に接続されている。輝度画像生成部330は、フォーカス制御部340に接続されている。フォーカス制御部340は、レンズ駆動部250と記憶部380に接続されている。操作情報取得部350は、切り替え制御部360に接続されている。切り替え制御部360は、フォーカス制御部340に接続されている。制御再開指示部370は、操作情報取得部350に接続されている。制御部390は、補間処理部310と、表示画像生成部320と、輝度画像生成部330と、送水タンク271と、貯水タンク272に接続されており、これらを制御するようになっている。
制御部390は、外部I/F部500より送水・吸引の指示があった場合(送水・吸引ボタンが押下された場合)、その情報をトリガ信号として送水タンク271、若しくは貯水タンク272に出力する。具体的には、送水の指示があった場合、制御部390は送水タンク271対してトリガ信号を出力する。トリガ信号は、送水ボタンが押下されている期間中、常に出力するものとする。送水タンク271は、前記トリガ信号が出力されている期間中、送水を行う。一方、吸引の指示があった場合、制御部390は貯水タンク272に対してトリガ信号を出力する。貯水タンク272は、前記トリガ信号が出力されている期間中、吸引を行う。
補間処理部310は、撮像素子240で取得される画像に対し、補間処理を施す。前述したように、撮像素子240は図2に示すベイヤ配列を有するため、撮像素子240で取得される画像の各画素は、R,G,B信号のうち、何れか1つの信号値を有するのみで、他の2種類の信号が欠落した状態である。
そのため、補間処理部310では、前記画像の各画素に対し補間処理を施すことで、欠落している信号値を補間し、各画素でR,G,B信号の全ての信号値を有する画像(以下、RGB画像)を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いればよい。補間処理部310は、生成したRGB画像を、表示画像生成部320、及び輝度画像生成部330に出力する。
表示画像生成部320は、補間処理部310より出力されるRGB画像に対し、既存のホワイトバランス、色変換、階調変換処理を施し、表示画像を生成する。さらに表示画像生成部320は、生成した表示画像を表示部400に出力する。
輝度画像生成部330は、補間処理部310より出力されるRGB画像より、輝度画像を生成する。具体的には、RGB画像の全ての画素について、下式(1)を用いて輝度信号Yを算出することで、輝度画像を生成する。さらに輝度画像生成部330は、生成した輝度画像をフォーカス制御部340に出力する。
Y=0.213R+0.715G+0.072B ・・・・・(1)
フォーカス制御部340は、光学系のフォーカス制御を行う。具体的には、輝度画像生成部330より出力される輝度画像よりコントラスト値を算出し、該コントラスト値に基づいて、後述する方法でピント合わせの対象となる物体の位置を検出し(以下、検出した位置を検出合焦位置とも表記する)、当該位置が合焦物体位置となるような制御を行う。ここで、前記コントラスト値としては、輝度画像の高周波成分を用いればよい。具体的には例えば、任意のハイパスフィルタ(HPF)の出力を用いればよい。
ここで、検出合焦位置の検出方法について説明する。一般に撮像画像に撮像された被写体をピント合わせの対象物体とした場合、当該撮像画像(輝度画像)から求められるコントラスト値は合焦状態において最大となることが知られている。例えば、ピント合わせの対象となる物体(撮像画像に撮像された被写体の一部又は全部)の、集光レンズ230からの距離がdm(dmin<dm<dmax)である場合を考える(ただしdmは所与のセンサや画像処理を用いなければ求めることは出来ず、本実施形態の手法においてはユーザーがdmを意識する必要はない)。この場合に、集光レンズ230を調整することで合焦物体位置を変化させると、当該合焦物体位置とコントラスト値は、図4に示す特性を有する。具体的には、合焦物体位置がdmとなる集光レンズ230の状態において、撮像画像から求められるコントラスト値が最大となる。
そのため、フォーカス制御部340は、輝度画像生成部330から出力される輝度画像のコントラスト値が最大となる状態を合焦状態として検出し、当該合焦状態となるようにレンズ駆動部250を制御することになる。
ここで、フォーカス制御部340の詳細について図5を用いて説明する。フォーカス制御部340は、図5に示すように、コントラスト値算出部341と、合焦位置検出部342を備えている。
輝度画像生成部330は、コントラスト値算出部341に接続されている。コントラスト値算出部341は、合焦位置検出部342に接続されている。合焦位置検出部342は、レンズ駆動部250に接続されている。制御部390は、コントラスト値算出部341と、合焦位置検出部342に接続されている。
以下に、合焦状態(検出合焦位置)を検出する際の流れを記載する。以降の説明では、以下の処理(合焦処理)を単にAFと記載する。
合焦処理(AF)においては、ウォブリングの往復幅±dwと、山登りAF時の移動幅(合焦物体位置の更新値)dnが設定されているものとする。そしてAFが開始されると、まず合焦位置検出部342が、レンズ駆動部250を介して、集光レンズ230の合焦物体位置をds−dwに変更する(dsは合焦物体位置の初期位置)。そして、コントラスト値算出部341が、輝度画像生成部330から出力される輝度画像より、コントラスト値C−dwを算出し、算出したコントラスト値C−dwを、合焦位置検出部342に出力する。
次に、合焦位置検出部342は、レンズ駆動部250を介して、集光レンズ230の合焦物体位置をds+dwに変更する。そして上述の場合と同様に、コントラスト値算出部341が、輝度画像生成部330から出力される輝度画像より、コントラスト値C+dwを算出し、算出したコントラスト値C+dwを、合焦位置検出部342に出力する。
そして、合焦位置検出部342は、C−dwとC+dwとの比較処理を行なって、合焦物体位置の初期値dsを更新する。具体的には、C−dw>C+dwの場合にはdsの値をdnだけ小さくし、C+dw>C−dwの場合にはdsの値をdnだけ大きくする。
dsの更新後は処理の最初に戻り、更新後のdsを基準にして±dwだけ合焦物体位置を変動させてコントラスト値の算出等を行う。
本実施形態における内視鏡システムでは、以上に示した方法により合焦状態(或いは検出合焦位置)が検出される。なお、上述のdw及びdnの値は、予め一定の値を設定しておいてもよいし、外部I/F部500よりユーザーが任意の値を設定する構成としてもよい。
操作情報取得部350は、外部I/F部500より送水もしくは吸引の何れかの指示があった場合(送水ボタンもしくは吸引ボタンが押下された場合)、切り替え制御部360にトリガ信号を出力する。切り替え制御部360は、操作情報取得部350より前記トリガ信号が出力された場合、AF停止を指示する停止信号をフォーカス制御部340に出力する。なお、前記トリガ信号、及び前記停止信号は、送水もしくは吸引ボタンが押下されている期間中、常に出力するものとする。
フォーカス制御部340は、切り替え制御部360より前記停止信号が出力されている期間中は、AFを停止する。そして、前記停止信号が出力されなくなった場合(送水、吸引が終了した場合)にAFを再開する。
制御再開指示部370は、外部I/F部500よりフォーカス制御の強制再開の指示があった場合に、操作情報取得部350に対して信号を送信する。操作情報取得部350は、送水又は吸引指示を表すトリガ信号が入力された場合であっても、強制再開指示を表す信号が入力された場合には、切り替え制御部に対してトリガ信号を出力しない。つまり、送水操作又は吸引操作が行われている場合であっても、フォーカス制御を行うことになる。詳細については本実施形態の変形例において後述する。
送水時に取得される画像は、輝点を多く生じる特徴があり、輝点は生体と比較してコントラスト値が大きく、その形状が時間とともに大きく変動する。そのため、送水時にはコントラスト値算出部341で算出されるコントラスト値が前記輝点の形状変化によって、大きく変動してしまう(図4に示した関係が成立しない)。また吸引時には、内視鏡スコープ先端が胃液中に埋没するため、取得される画像はコントラストが低くなる特徴がある(胃液が全面に写った画像)。コントラストAFでは、上述したようにコントラスト値に基づいて集光レンズ230の合焦物体位置を制御するため、吸引時にはコントラストAFが有効に機能しない。
以上に示したように、送水時、及び吸引時には合焦物体位置の検出が困難である(合焦物体位置が頻繁に変動する)。従って送水時、及び吸引時に取得される画像は診断に適さない画像となり、医師の診断を妨げになるとともに、医師の疲労を増加させる課題がある。
一方、送水時、及び吸引時には、内視鏡スコープを大きく動かすことは少ないため、合焦物体位置の変動は小さい特徴がある。
そこで、本実施形態では上述した方法により、送水時、及び吸引時においてはAFを停止させる。これにより、送水時、及び吸引時には合焦物体位置が固定されるため、上述したように合焦物体位置が頻繁に変動する課題を解決することができる。
なお、本実施形態では、コントラスト値としてHPFの出力を用いる方法を示したが、本発明はこれに限定されない。例えば、コントラスト値として、輝度画像の勾配情報やエッジ量などを用いることも可能である。勾配情報とは具体的には、輝度画像中の任意の方向における輝度信号の傾きを意味する。例えば水平方向における輝度信号の傾きとしては、勾配情報の算出対象となる注目画素と、その注目画素より水平方向に1画素以上はなれた1つ以上の周辺画素との差分値を算出し、その差分値を輝度信号の傾き(勾配情報)として用いればよい。また、エッジ量としては例えば、複数の方向について算出した上記勾配情報の加重平均値を用いればよい。
また本実施形態では、送水時、及び吸引時にはAFを常に停止する例を示したが、本発明はこれに限定されるものではない。例えば、外部I/F部500にAFを強制的に再開するAF再開ボタンを設けてもよい。この場合、AF再開ボタンの情報(ボタンが押下されているか否か)を、制御再開指示部370に出力する。制御再開指示部370はAF再開ボタンが押下されている期間では、操作情報取得部350に対して信号を出力する。そして、操作情報取得部350は、外部I/F部500から送水ボタン又は吸引ボタンが押下されていることを表す信号が出力されている場合であっても、制御再開指示部370から制御再開信号が出力されている場合には、切り替え制御部360に対してトリガ信号を出力しない。
なお、画像処理部300の構成はこれに限定されず、制御再開指示部370の信号が切り替え制御部360に対して出力される構成であってもよい。この場合、切り替え制御部360は、操作情報取得部350からの信号と、制御再開指示部370からの信号のオンオフの組み合わせによりフォーカス制御の動作を切り替える。具体的には、操作情報取得部350からの信号が入力されている場合は、AFを停止することを基本とするが、制御再開指示部370からの信号が入力された場合には、操作情報取得部350からの信号の有無にかかわらずAFを動作させればよい。以上の構成により、送水時、及び吸引時においても、強制的にAFを再開させることが可能である。
例えば吸引は、胃液等を除去する目的以外にも、病変部を持ち上げる目的で用いられることがある。具体的には、内視鏡スコープ先端にフードを取り付け、該フード先端を病変部に密着させた状態で吸引を行うことで、該病変部を該内視鏡スコープ先端側に吸い寄せる(病変部を持ち上げる)。病変部を持ち上げることにより、該病変部の切除が容易になる。この場合には、上述したような低コントラストの画像にならないため、AFを機能させることが望ましい。そのため、このような場合には、AF再開ボタンによりAFを再開させることで、合焦状態の画像を取得することができる。
また、本実施形態では、送水ボタン、吸引ボタン及びAF再開ボタンを、外部I/F部500に設ける例を示したが、本発明はこれに限定されるものではない。具体的には例えば、前記ボタンを撮像部200または光源部100に設けるものとしてもよい。
以上に示した方法により送水時、及び吸引時において、合焦物体位置が頻繁に変動する課題を改善することができる。これにより送水時、及び吸引時においても診断に適した画像を表示することが可能となる。
さらにこの方法によれば、AFを停止するための停止ボタンを必要としないため、操作を煩雑にすることなく(医師の負担を増加させることなく)、上記課題を改善できる。
以上の本実施形態では、内視鏡システムは図1に示したように、内視鏡スコープの光学系のフォーカス制御を行うフォーカス制御部340と、操作検出センサからのセンサ情報に基づいて操作情報を取得する操作情報取得部350と、操作情報に基づいて、フォーカス制御部340によるフォーカス制御を行うか否かを切り替える切り替え制御部360とを含む。本実施形態の操作情報とは、操作部において、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作が行われているか否かについての情報を表す。なお、放出操作は液体及び個体の少なくとも一方を放出する操作であってもよい。具体的には液体として水を放出する送水操作が考えられる。
ここで、操作検出センサとは操作を検出するためのセンサである。例えば、操作部(外部I/F部500等)に設けられ、当該操作部に対する物理的な操作等を検出する、操作検出専用センサ等であってもよい。具体的には、操作部の物理ボタン部分に設けられ、当該物理ボタンの押下を検出して、内視鏡システムの各部に対してボタン押下に対応する制御信号を、センサ情報として出力するセンサ等が考えられる。操作部にダイヤルが設けられるのであれば、操作検出センサとしては当該ダイヤルの回転を検出するセンサが考えられるし、操作部にタッチパネルが設けられるのであれば、操作検出センサとしては感圧式或いは静電式等の方式によりタッチを検出するセンサが考えられる。
また、操作検出センサは操作部に設けられるものに限定されず、内視鏡システム内の所与の箇所に設けられるものであってもよい。例えば、送水タンク271や、貯水タンク272に設けられる水位センサであってもよい。送水タンク271の水位が下降すれば、送水操作が行われていることが検出でき、貯水タンク272の水位が上昇すれば、吸引操作が行われていることが検出できる。また、後述するように、鉗子等がチャネルを移動することを検出する検出センサ291等を用いてもよい。ただし、操作検出センサは操作検出用(狭義には操作検出専用)のセンサであり、撮像素子240等は操作検出センサには含まれない。撮像素子240を撮像センサととらえることも可能ではあるが、撮像素子240は操作検出用に設けられたものではないし、なにより画像処理部300において適切な画像処理が行われなければ、操作(例えば撮像対象となる生体への送水や、鉗子の接近等)を検出することができない以上、本実施形態の操作検出センサとは異なるものである。
また、フォーカス制御とは光学系の状態を調整する制御であり、例えば撮像画像に撮像された所与の物体(被写体)に対して合焦するようにレンズ駆動部250の駆動制御を行うAF制御であってもよい。なお、本実施形態ではAFの具体的な手法としてコントラストAFを挙げているが、位相差AF等のその他の手法を用いても良い。例えば位相差AFであれば、位相情報として被写体の像に関する情報を取得するため、送水・吸引時には明瞭な被写体像を取得できずAFが有効ではない点においてコントラストAFと同様となるためである。
これにより、フォーカス制御(狭義にはAF)を行うフォーカス制御部340を含む内視鏡システムにおいて、放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作が行われているか否かに基づいてフォーカス制御を行うか否かを切り替えることが可能になる。放出操作では放出する物体(例えば液体や固体であり狭義には水)が、吸引操作では吸引する物体(例えば胃液等)が要因となりAFが有効に機能しない可能性がある。また、処置操作では当該処置操作で用いられる処置具等が要因となりAFが有効に機能しない可能性がある。つまり本実施形態の手法を用いることで、AFが有効の場合にはAFを行い、有効でない場合にはAFを停止する制御が可能となる。特に、有効でないのにAFを実行した場合には、想定外の被写体にピントがあってしまったり、合焦物体位置が頻繁に変化することで画像が見づらくなったりするため、ユーザーによる診断等を妨げる要因となり、これを回避することは重要となる。
また、切り替え制御部360は、操作情報に基づいて、上述した少なくとも1つの操作(放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作)が行われていると判定された場合に、フォーカス制御部340によるフォーカス制御を停止してもよい。また、切り替え制御部360は、操作情報に基づいて、前記少なくとも1つの操作が終了したと判定された場合に、フォーカス制御部340によるフォーカス制御を再開してもよい。
ここで、フォーカス制御の再開において終了したか否かを判定する対象となる「少なくとも1つの操作」とは、フォーカス制御の停止の要因となった操作を指すものとする。例えば、放出操作が行われていると判定された結果としてフォーカス制御が停止されたのであれば、当該放出操作が終了したと判定された場合にフォーカス制御を再開することになる。吸引操作、生体に対する処置操作についても同様である。また、2以上の操作が同時に行われた場合には(同時に開始される必要はなく、例えばまず放出操作が行われ、当該放出操作の終了前に吸引操作を開始した場合等も含む)、終了したか否かを判定する対象となる「少なくとも1つの操作」とは、当該2以上の操作(上述の例では放出操作及び吸引操作)を指すことになる。
これにより、AFの動作を妨げる操作が行われている場合にはAFを停止させることになるため、望ましくない挙動を抑止することが可能になる。それとともに、AFの動作を妨げる操作が終了したのであればAFを再開するため、ユーザーに操作を強いることなくピント合わせを行うことが可能になる。
また、内視鏡システムは図1に示したように、光学系の状態を表す制御パラメータを記憶する記憶部380を含んでもよい。そして記憶部380は、切り替え制御部360において、フォーカス制御部340によるフォーカス制御が停止された際の制御パラメータを記憶する。
ここで、制御パラメータとは光学系の状態を表すパラメータであり、例えば集光レンズ230を含むレンズ系の位置を表すパラメータであってもよい。また、レンズ位置と合焦物体位置とが関連付けられているのであれば、合焦物体位置を表すパラメータであってもよい。
これにより、フォーカス制御を停止した時点での光学系の状態を記憶することが可能になる。フォーカス制御が停止される直前までは、フォーカス制御が有効に機能しているはずであるから、所望の物体にピントがあっていることが想定される。さらに、放出操作(特に送水操作)や吸引操作は、被写体の観察の妨げとなる残渣や胃液等を除去するために行われることから、当該除去作業がうまく行ったか否かについて確認を行うはずである。つまり、放出操作又は吸引操作が行われている期間において、被写体と撮像部200の相対的な位置は大きく変化することはないと想定される。よって、フォーカス制御停止時の光学系の状態は、フォーカス制御停止中においても合焦状態を維持すること等に有用であると考えられるため、パラメータとして記憶しておくとよい。なお、生体に対する処置操作の場合にも、処置操作が行われる(例えば処置具が挿入される)直前に観察していた被写体に対して当該処置操作が行われることが想定されるため、被写体と撮像部200の相対的な位置の変動は小さいはずであり、放出操作や吸引操作の場合と同様に考えることができる。
また、内視鏡システムが上述した制御パラメータを記憶する記憶部380を含むとすると、フォーカス制御部340は、切り替え制御部360においてフォーカス制御を再開する切り替え制御が行われた場合に、記憶部380からフォーカス制御が停止された際の制御パラメータを取得してもよい。そして、取得した制御パラメータに基づいて、再開後のフォーカス制御における初期値を設定する。
これにより、フォーカス制御停止時の状態を基準として、フォーカス制御を再開することが可能になる。上述したように、本実施形態で問題としている放出操作、吸引操作、生体に対する処置操作のいずれの操作も、操作中に被写体と撮像部200の相対的な位置が大きく変化することは考えにくい。よって、操作が終了しフォーカス制御が再開された際にも、フォーカス制御停止時の状態は所望の被写体に対してピントがあっている、或いはそれに近い状態を実現する可能性が高く、その状態を基準とすることで合焦状態に至るまでの制御が容易になることが期待される。具体的には、制御パラメータそのものとして、或いは制御パラメータに基づいてフォーカス制御停止時の合焦物体位置を取得し、取得した値をコントラストAFの説明において用いた合焦物体位置の初期値dsとすることが考えられる。
また、フォーカス制御部340は、切り替え制御部360によりフォーカス制御を停止する切り替え制御が行われた場合には、切り替え制御部360によりフォーカス制御を再開する切り替え制御が行われるまでの期間において、フォーカスを固定する制御を行ってもよい。
ここでフォーカスの固定とは、レンズ位置の固定であってもよいし、合焦物体位置の固定であってもよい。
これにより、フォーカス制御の停止から再開までの間は、停止時の光学系の状態を維持することが可能になる。これは上述したように、放出操作、吸引操作、生体に対する処置操作のいずれの操作も、操作中に被写体と撮像部200の相対的な位置が大きく変化することは考えにくいことによる。フォーカス制御の停止から再開までの間について、フォーカスを固定するものとしてしまえば、必ずしも記憶部380を設けて制御パラメータ等を記憶しなくともよく、制御が容易になる。
また、内視鏡システムは図1に示したように、フォーカス制御の再開を指示する制御再開指示部370を含んでもよい。そして、切り替え制御部360は、操作情報に基づいてフォーカス制御部340によるフォーカス制御を停止する切り替え制御を行った場合であっても、制御再開指示部370によりフォーカス制御の再開が指示された場合には、フォーカス制御部340によるフォーカス制御を再開する。
これにより、操作情報に基づいてフォーカス制御が停止された場合であっても、強制的にフォーカス制御を再開することが可能になる。ここで、制御再開指示部370は、ユーザーにより操作部(外部I/F部500)に対して行われた操作に基づいて、フォーカス制御の再開を指示することが考えられる。具体的には、上述したように胃液等の吸引ではなく、生体を持ち上げる等の目的で吸引操作が行われた場合等に再開の指示が行われる。生体の持ち上げであれば、撮像部200の先端が液体に浸されることはなく、フォーカス制御(AF)が有効に機能するためである。
また、切り替え制御部360は、操作情報に基づいて、放出操作又は吸引操作が行われていると判定された場合に、フォーカス制御部340によるフォーカス制御を停止してもよい。
これにより、放出操作又は吸引操作が行われた場合にはフォーカス制御を停止することが可能となる。放出操作又は吸引操作が行われるとAFが有効に機能しないことが想定されるためである。なお、AFが有効に機能しない理由については上述したとおりである。
また、切り替え制御部360は、操作情報に基づいて、放出操作又は吸引操作が終了したと判定された場合に、フォーカス制御部340によるフォーカス制御を再開してもよい。
これにより、放出操作又は吸引操作が終了した場合にはフォーカス制御を再開することが可能になる。よって、AFが有効に機能しない状況を除いては、AFを積極的に動作させることになるため、ユーザーによるピント合わせの負担を軽減することができる。
2.第2の実施形態
第2の実施形態に係る内視鏡システムについて、図6を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、撮像部200と、画像処理部300と、表示部400と、外部I/F部500を備えている。
光源部100と、表示部400の構成は第1の実施形態と同一である。外部I/F部500については、第1の実施形態から送水ボタン、及び吸引ボタンが除かれた構成となっている。また画像処理部300については、制御再開指示部370と記憶部380が除かれていること、及び操作情報取得部350以外の構成については第1の実施形態と同一である。なお、本実施形態の画像処理部300が、制御再開指示部370及び記憶部380の少なくとも一方を有することを妨げるものではない。
以降の説明では、第1の実施形態と同一の構成を有する部分については説明を省略し、異なる構成を有する部分について説明する。
撮像部200は、第1の実施形態で示した撮像部200から、送水管261、送水タンク271、吸引管262、貯水タンク272を除いて、挿入口280と、鉗子チャンネル290と、検出センサ291が追加された構成となっている。検出センサ291は操作情報取得部350に接続されている。
挿入口280には、例えば鉗子のような処置具が挿入される。挿入口280は、処置具を挿通する鉗子チャンネル290と連通している。検出センサ291は、鉗子チャンネル290の先端(集光レンズ230側)に設置されており、処置具が挿入されているか否かを検出する(例えば、センサはボタンであり、処置具が鉗子チャンネル先端まで挿入されると、挿入された処置具によりボタンが押下される)。
検出センサ291は、処置具が挿入されているか否かの検出結果を操作情報取得部350に出力する。操作情報取得部350は、検出センサ291において処置具が検出された場合に、処置具が検出されたことを示すトリガ信号を、切り替え制御部360に出力する。切り替え制御部360は前記トリガ信号が出力された場合に、AFの停止を指示する停止信号をフォーカス制御部340に出力する。ここで、前記トリガ信号、及び前記停止信号は、処置具が検出されている期間中、常に出力し続けるものとする。
処置具が挿入されている場合には、撮像素子240で取得される画像内に、該処置具が映ることになるが、該処置具は生体と比較してコントラスト値が高い特徴がある。そのため、処置具が挿入されている場合には、処置具にピントが合ってしまい、診断対象である生体にピントが合わなくなる課題がある。
一方、処置具挿入時には、病変に対して処置を行うため、内視鏡スコープを大きく動かすことは少ない。従って、合焦物体位置の変動は小さい特徴がある。
そこで、本実施形態では上述したように、検出センサ291において処置具が検出された場合(処置具が挿入されている場合)に、AFを停止する。また、検出センサ291において処置具が検出されなくなった場合(処置具が引き抜かれた場合)には、AFを再開する。これにより、処置具挿入時には合焦物体位置が固定されるため、上述した課題を解決することができる。
なお、本実施形態では、検出センサ291を鉗子チャンネル290の先端(集光レンズ230側)に設ける例を示したが、該検出センサ291は、鉗子チャンネルの挿入口280側に設けてもよいし、挿入口280に設ける構成としてもよい。
以上に示した方法により、処置具挿入時に、生体にピントが合わなくなる課題を改善することができる。これにより、操作を煩雑にすることなく、処置具挿入時においても診断に適した画像を表示することが可能となる。
以上の本実施形態では、操作情報取得部350は、操作情報として、生体に対して処置を行う処置具が挿入されているか否かに関する情報を取得する。そして、切り替え制御部360は、操作情報に基づいて、処置具が挿入されていると判定された場合に、フォーカス制御部340によるフォーカス制御を停止する。
これにより、生体に対する処置操作として、具体的に処置具の挿入操作を考慮した上で、処置操作が行われた場合にはフォーカス制御を停止することが可能となる。生体に対する処置操作が行われるとAFが有効に機能しないことが想定されるためである。なお、AFが有効に機能しない理由については上述したとおりである。
また、切り替え制御部360は、操作情報に基づいて、処置具の挿入が終了したと判定された場合に、フォーカス制御部340によるフォーカス制御を再開してもよい。
これにより、生体に対する処置操作が終了した場合にはフォーカス制御を再開することが可能になる。よって、AFが有効に機能しない状況を除いては、AFを積極的に動作させることになるため、ユーザーによるピント合わせの負担を軽減することができる。
また、内視鏡システムは図6に示したように、生体に対して処置を行う処置具が挿入される鉗子チャンネル290と、処置具が挿入されているか否かを検出する検出センサ291を含んでもよい。そして、操作情報取得部350は、生体に対する処置操作に関する操作情報として、検出センサからのセンサ情報を取得し、切り替え制御部360は、センサ情報に基づいて、フォーカス制御部340によるフォーカス制御を行うか否かを切り替える。
これにより、操作情報として処置具の挿入を検出する際に、検出センサ291のセンサ情報を用いることが可能になる。検出センサ291は、機械式のスイッチであってもよく、その場合は鉗子チャンネルに挿入された処置具により押下されたか否かに基づいて、操作情報取得部350に対して信号を出力する。また、検出センサ291は、射出した赤外光等の反射光を検出する等の手法を用いる非接触式のセンサであってもよい。
3.第3の実施形態
第3の実施形態に係る内視鏡システムについて、図7を参照して説明する。本実施形態に係る内視鏡システムは、光源部100と、撮像部200と、画像処理部300と、表示部400と、外部I/F部500を備えている。撮像部200と、画像処理部300以外の構成は、第2の実施形態と同一であるため、説明を省略する。なお、本実施形態では、操作情報のうち操作検出センサに基づくものに処理対象を限定していた第1,第2の実施形態とは異なり、撮像画像に対する画像処理に基づく操作情報も処理対象に含むものとする。
撮像部200は、第2の実施形態で示した撮像部200から、検出センサ291を除いた構成となっている。
輝度画像生成部330は、操作情報取得部350に接続されており、生成した輝度画像を出力するようになっている。また制御部390は、操作情報取得部350に接続されている。
操作情報取得部350は、輝度画像より処置具を検出する。処置具の検出方法については後述する。そして、処置具が検出された場合には、トリガ信号を切り替え制御部360に出力する。前記トリガ信号は、処置具が検出されている期間中、常に出力するものとする。
ここで、処置具の検出方法について説明する。操作情報取得部350は、図8に示すように処置具候補画素検出部351と、処置具検出部352を備えている。輝度画像生成部330は処置具候補画素検出部351に接続されている。処置具候補画素検出部351は、処置具検出部352に接続されている。制御部390は、処置具候補画素検出部351と、処置具検出部352に接続されている。
処置具候補画素検出部351は、輝度画像より処置具領域に相当すると考えられる画素(処置具候補画素)を検出する。さらに処置具候補画素検出部351は、前記輝度画像、及び検出された全ての処置具候補画素の座標を、処置具検出部352に出力する。
処置具は撮像部200先端に極めて接近した位置に置かれるため、輝度画像内において処置具に対応する領域の輝度信号値は、生体に対応する領域に比べて十分に大きくなる特徴がある。そのため、ここでは輝度画像中において高輝度の画素を、処置具候補画素として検出する。
ここで、処置具候補画素の検出方法について説明する。ここでは、図9に示す輝度画像中の注目画素(x,y)に対する検出処理を例に挙げて説明する。また注目画素(x,y)の輝度信号値をY(x,y)と表記する。初めに、輝度信号値の平均値Yave(x,y)を算出する。具体的には図9において、注目画素(x,y)より左側の座標(x−a,y)から座標(x−1,y)までの輝度信号値の平均値をYave(x,y)として算出する。Yave(x,y)の算出式は下式(2)に示す通りである。
Figure 2013150658
上式(2)中のaは定数であり、輝度画像の横幅Nに応じて設定される。ここでは、例えば前記横幅Nの3%に設定する。次に、下式(3)を用いて、注目画素(x,y)の輝度信号値が、上式(2)で算出した平均値Yave(x,y)よりも十分に大きいか否かを判定する。下式(3)の関係が成立する注目画素(x,y)を処置具候補画素として検出する。
Y(x,y)>Yave(x,y)+Yp ・・・・・(3)
ただし、上式(3)においてYpはパラメータとして予め設定される値である。前記Ypは、外部I/F部500よりユーザーが任意の値を設定する構成としてもよい。例えば、図10(A)に示す処置具と輝点の像が含まれる輝度画像に対して検出される処置具候補画素は、図10(B)に示す通りとなる。
処置具検出部352は、処置具候補画素として検出された画素が複数隣接している領域を処置具候補領域として抽出する。図10(B)の例では、図10(C)に示すように、領域1及び領域2の2つの領域が抽出される。
次に、処置具候補領域として抽出された各領域に含まれる画素数(領域サイズ)をそれぞれカウントし、画素数が最も多い領域を抽出する。この場合、各領域における領域サイズは、図10(D)に示すように領域1の領域サイズは2、領域2の領域サイズは15であるため、領域2が抽出される。
そして、抽出された領域(領域2)の領域サイズが、予め設定された閾値Sthよりも大きい場合は、該領域を処置具として検出し、処置具が挿入されているものと判定する。一方、領域サイズが閾値Sth以下の場合は、処置具が挿入されていないものと判定する。この場合、前記閾値Sthを例えば“Sth=10”としておけば、領域2が処置具として検出される。
なお、本実施形態では、輝度画像から処置具を検出する方法を示したが、本発明はこれに限定されない。他の方法としては例えば、補間処理部310から出力されるRGB画像より処置具を検出してもよい。この場合には、RGB画像のうちG信号を用いて上述の方法と同様の方法で処置具を検出すればよい。また、本実施例においては、輝度情報に基づいて処置具を検出する例を示したが、本発明はこれに限定されない。他の方法としては、色相や彩度情報を用いて処置具を検出してもよい。
以上に示した方法により、処置具挿入時に、生体にピントが合わなくなる課題を改善することができる。これにより、操作を煩雑にすることなく、処置具挿入時においても診断に適した画像を表示することが可能となる。さらにこの方法によれば、処置具を検出するセンサを設置する必要がないため、構成を簡便にできる利点がある。
以上の本実施形態では、内視鏡システムは図7に示したように、内視鏡スコープの光学系のフォーカス制御を行うフォーカス制御部340と、生体に対する処置操作が行われているか否かについての情報を表す操作情報を取得する操作情報取得部350と、操作情報に基づいて、フォーカス制御部340によるフォーカス制御を行うか否かを切り替える切り替え制御部360とを含んでもよい。そして、操作情報取得部350は、画像生成部で生成された撮像画像(例えば輝度画像生成部330で生成された輝度画像や、表示画像生成部320で生成された表示画像)に基づいて操作情報を取得する。ここで、生体に対する処置操作に関する操作情報とは、当該処置操作に用いられる処置具が挿入されているか否かに関する情報であってもよい。
これにより、撮像画像に基づいて生体に対する処置操作が行われているか否か(処置具が挿入されているか否か)を検出し、検出結果に基づいてフォーカス制御(AF)の動作を切り替えることが可能になる。具体的には、生体に対する処置操作が行われている場合にAFを停止し、処置操作が終了した場合にAFを再開する。このような制御を行う理由については第2の実施形態で上述したため詳細な説明は省略する。
また、操作情報取得部350は、撮像画像の画素の画素値に基づいて操作情報を取得してもよい。具体的には、操作情報取得部350は、撮像画像として輝度画像を取得し、輝度画像の輝度値に基づいて操作情報を取得してもよい。更に具体的には、操作情報取得部350は、輝度画像において輝度値が所与の基準値よりも大きい画素を処置具候補画素とした場合に、隣接する処置具候補画素を処置具候補領域として検出した上で、処置具候補領域の面積の最大値が所与の閾値よりも大きい場合に、生体に対する処置操作が行われていることを表す操作情報を取得してもよい。
これにより、撮像画像(輝度画像が想定されるがカラー画像である表示画像であってもよい)の画素値に基づいて操作情報を取得する(具体的には処置具の挿入を検出する)ことが可能になる。画像処理により操作情報を取得できるため、図6における検出センサ291等を設ける必要がなく、撮像部200の構成を簡略化できる。また、画素値に基づく容易な処理であるため、処理負荷が問題となることも考えにくい。
以上、本発明を適用した3つの実施の形態1〜3およびその変形例について説明したが、本発明は、各実施の形態1〜3やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜3や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜3や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
100 光源部、110 白色光源、120 レンズ、200 撮像部、
210 ライトガイドファイバ、220 照明レンズ、230 集光レンズ、
240 撮像素子、250 レンズ駆動部、261 送水管、262 吸引管、
271 送水タンク、272 貯水タンク、280 挿入口、
290 鉗子チャンネル、291 検出センサ、300 画像処理部、
310 補間処理部、320 表示画像生成部、330 輝度画像生成部、
340 フォーカス制御部、341 コントラスト値算出部、
342 合焦位置検出部、350 操作情報取得部、351 処置具候補画素検出部、
352 処置具検出部、360 切り替え制御部、370 制御再開指示部、
380 記憶部、390 制御部、400 表示部、500 外部I/F部

Claims (13)

  1. 内視鏡スコープの光学系のフォーカス制御を行うフォーカス制御部と、
    放出操作、吸引操作、及び生体に対する処置操作の少なくとも1つの操作についての操作情報を、操作検出センサからのセンサ情報に基づいて取得する操作情報取得部と、
    前記操作情報に基づいて、前記フォーカス制御部による前記フォーカス制御を行うか否かを切り替える切り替え制御部と、
    を含むことを特徴とする内視鏡システム。
  2. 請求項1において、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記少なくとも1つの操作が行われていると判定された場合に、前記フォーカス制御部による前記フォーカス制御を停止することを特徴とする内視鏡システム。
  3. 請求項2において、
    前記光学系の状態を表す制御パラメータを記憶する記憶部を含み、
    前記記憶部は、
    前記切り替え制御部において、前記フォーカス制御部による前記フォーカス制御が停止された際の前記制御パラメータを記憶することを特徴とする内視鏡システム。
  4. 請求項1において、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記少なくとも1つの操作が行われていると判定された場合に、前記フォーカス制御部による前記フォーカス制御を停止し、
    前記操作情報に基づいて、前記少なくとも1つの操作が終了したと判定された場合に、前記フォーカス制御部による前記フォーカス制御を再開することを特徴とする内視鏡システム。
  5. 請求項4において、
    前記光学系の状態を表す制御パラメータを記憶する記憶部を含み、
    前記記憶部は、
    前記切り替え制御部において、前記フォーカス制御部による前記フォーカス制御が停止された際の前記制御パラメータを記憶し、
    前記フォーカス制御部は、
    前記切り替え制御部において前記フォーカス制御を再開する切り替え制御が行われた場合に、前記記憶部から前記フォーカス制御が停止された際の前記制御パラメータを取得し、取得した前記制御パラメータに基づいて、再開後の前記フォーカス制御における初期値を設定することを特徴とする内視鏡システム。
  6. 請求項4において、
    前記フォーカス制御部は、
    前記切り替え制御部により前記フォーカス制御を停止する切り替え制御が行われた場合には、前記切り替え制御部により前記フォーカス制御を再開する切り替え制御が行われるまでの期間において、フォーカスを固定する制御を行うことを特徴とする内視鏡システム。
  7. 請求項1において、
    前記フォーカス制御の再開を指示する制御再開指示部を含み、
    前記切り替え制御部は、
    前記操作情報に基づいて前記フォーカス制御部による前記フォーカス制御を停止する切り替え制御を行った場合であっても、前記制御再開指示部により前記フォーカス制御の再開が指示された場合には、前記フォーカス制御部による前記フォーカス制御を再開することを特徴とする内視鏡システム。
  8. 請求項1において、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記放出操作及び前記吸引操作の少なくとも一方が行われていると判定された場合に、前記フォーカス制御部による前記フォーカス制御を停止することを特徴とする内視鏡システム。
  9. 請求項8において、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記放出操作及び前記吸引操作が終了したと判定された場合に、前記フォーカス制御部による前記フォーカス制御を再開することを特徴とする内視鏡システム。
  10. 請求項1において、
    前記操作情報取得部は、
    前記操作情報として、前記生体に対して処置を行う処置具が挿入されているか否かに関する情報を取得し、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記処置具が挿入されていると判定された場合に、前記フォーカス制御部による前記フォーカス制御を停止することを特徴とする内視鏡システム。
  11. 請求項10において、
    前記切り替え制御部は、
    前記操作情報に基づいて、前記処置具の挿入が終了したと判定された場合に、前記フォーカス制御部による前記フォーカス制御を再開することを特徴とする内視鏡システム。
  12. 請求項1において、
    前記放出操作は、液体及び個体の少なくとも一方を放出する操作であることを特徴とする内視鏡システム。
  13. 請求項1において、
    前記生体に対して前記処置操作を行う処置具が挿入される鉗子チャンネルと、
    前記操作検出センサであり、前記処置具が挿入されているか否かを検出する検出センサと、
    を含み、
    前記操作情報取得部は、
    前記生体に対する前記処置操作に関する前記操作情報として、前記検出センサからの前記センサ情報を取得し、
    前記切り替え制御部は、
    前記センサ情報に基づいて、前記フォーカス制御部による前記フォーカス制御を行うか否かを切り替えることを特徴とする内視鏡システム。
JP2012011975A 2012-01-24 2012-01-24 内視鏡システム Active JP5953049B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012011975A JP5953049B2 (ja) 2012-01-24 2012-01-24 内視鏡システム
US13/735,408 US20130188029A1 (en) 2012-01-24 2013-01-07 Endoscope system and method for controlling endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012011975A JP5953049B2 (ja) 2012-01-24 2012-01-24 内視鏡システム

Publications (3)

Publication Number Publication Date
JP2013150658A true JP2013150658A (ja) 2013-08-08
JP2013150658A5 JP2013150658A5 (ja) 2015-03-05
JP5953049B2 JP5953049B2 (ja) 2016-07-13

Family

ID=48796904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012011975A Active JP5953049B2 (ja) 2012-01-24 2012-01-24 内視鏡システム

Country Status (2)

Country Link
US (1) US20130188029A1 (ja)
JP (1) JP5953049B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
US10666852B2 (en) 2016-01-15 2020-05-26 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249769B2 (ja) * 2013-12-27 2017-12-20 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6453543B2 (ja) 2014-01-22 2019-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
DE112014007145T5 (de) * 2014-12-02 2017-08-03 Olympus Corporation Scharfstellsteuerungsvorrichtung, Endoskopvorrichtung und Verfahren zum Steuern der Scharfstellsteuerungsvorrichtung

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02239833A (ja) * 1989-03-13 1990-09-21 Olympus Optical Co Ltd 電子内視鏡
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JPH10118008A (ja) * 1996-10-21 1998-05-12 Olympus Optical Co Ltd 内視鏡装置
JP2002258164A (ja) * 2001-03-02 2002-09-11 Asahi Optical Co Ltd 内視鏡装置
JP2004054109A (ja) * 2002-07-23 2004-02-19 Pentax Corp オートフォーカス電子内視鏡
JP2010282073A (ja) * 2009-06-05 2010-12-16 Hoya Corp 電子内視鏡のレンズ位置制御装置
JP2011110072A (ja) * 2009-11-24 2011-06-09 Panasonic Corp 口腔内カメラ
JP2011139760A (ja) * 2010-01-06 2011-07-21 Olympus Medical Systems Corp 内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3383312B2 (ja) * 1994-05-03 2003-03-04 エレクトロ ワイアー プロダクツ インコーポレイテッド 配電モジュール
AU2003218190A1 (en) * 2002-03-18 2003-10-08 Optim, Inc. Charing a client for the use of a reusable instrument
US20070213590A1 (en) * 2003-10-09 2007-09-13 Gyntec Medical, Inc. Apparatus and methods for examining, visualizing, diagnosing, manipulating, treating and recording of abnormalities within interior regions of body cavities
RU2006144442A (ru) * 2004-05-14 2008-06-20 Олимпус Медикал Системз Корп. (Jp) Электронный эндоскоп
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
JP2007286613A (ja) * 2006-03-22 2007-11-01 Fujinon Corp 内視鏡装置
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
JP6137847B2 (ja) * 2013-01-28 2017-05-31 オリンパス株式会社 撮像装置及び撮像装置の制御方法
US9451876B2 (en) * 2013-10-21 2016-09-27 Olympus Corporation Endoscope system and focus control method for endoscope system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02239833A (ja) * 1989-03-13 1990-09-21 Olympus Optical Co Ltd 電子内視鏡
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JPH10118008A (ja) * 1996-10-21 1998-05-12 Olympus Optical Co Ltd 内視鏡装置
JP2002258164A (ja) * 2001-03-02 2002-09-11 Asahi Optical Co Ltd 内視鏡装置
JP2004054109A (ja) * 2002-07-23 2004-02-19 Pentax Corp オートフォーカス電子内視鏡
JP2010282073A (ja) * 2009-06-05 2010-12-16 Hoya Corp 電子内視鏡のレンズ位置制御装置
JP2011110072A (ja) * 2009-11-24 2011-06-09 Panasonic Corp 口腔内カメラ
JP2011139760A (ja) * 2010-01-06 2011-07-21 Olympus Medical Systems Corp 内視鏡システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JPWO2017122349A1 (ja) * 2016-01-15 2018-11-22 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
US10666852B2 (en) 2016-01-15 2020-05-26 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
US10771676B2 (en) 2016-01-15 2020-09-08 Olympus Corporation Focus control device, endoscope apparatus, and method for operating focus control device
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
CN112566538A (zh) * 2018-08-17 2021-03-26 富士胶片株式会社 内窥镜系统
JPWO2020036224A1 (ja) * 2018-08-17 2021-08-26 富士フイルム株式会社 内視鏡システム
JP7009636B2 (ja) 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム
JP2022044652A (ja) * 2018-08-17 2022-03-17 富士フイルム株式会社 内視鏡システム
JP7190597B2 (ja) 2018-08-17 2022-12-15 富士フイルム株式会社 内視鏡システム
JP7411772B2 (ja) 2018-08-17 2024-01-11 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP5953049B2 (ja) 2016-07-13
US20130188029A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
JP5953049B2 (ja) 内視鏡システム
US9088707B2 (en) Focus control device, endoscope apparatus, and focus control method
US10574874B2 (en) Endoscope apparatus, method for controlling endoscope apparatus, and information storage device
JP6453543B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US9498153B2 (en) Endoscope apparatus and shake correction processing method
US20140210974A1 (en) Imaging device, endoscope apparatus, and method for controlling imaging device
JP5385163B2 (ja) 内視鏡システム
JP5715372B2 (ja) 画像処理装置、画像処理装置の作動方法及び内視鏡装置
US10517467B2 (en) Focus control device, endoscope apparatus, and method for controlling focus control device
JPWO2011055613A1 (ja) 内視鏡システム
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US9219854B2 (en) Imaging device, method for controlling imaging device, and information storage device
JP6533284B2 (ja) フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
JP6904727B2 (ja) 内視鏡装置
CN113573624A (zh) 内窥镜系统、非暂时性计算机可读介质及方法
JP2015096237A (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2013043007A (ja) 焦点位置制御装置、内視鏡装置及び焦点位置制御方法
JP6860378B2 (ja) 内視鏡装置
JP2010142546A (ja) 内視鏡装置およびその制御方法
JP6177387B2 (ja) 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
JP5945614B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2004258360A (ja) 自動焦点調節装置
JP2017209236A (ja) 内視鏡装置
JP2011167448A (ja) 共焦点内視鏡装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R151 Written notification of patent or utility model registration

Ref document number: 5953049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250