JP2013230289A - 内視鏡装置及び内視鏡装置のフォーカス制御方法 - Google Patents

内視鏡装置及び内視鏡装置のフォーカス制御方法 Download PDF

Info

Publication number
JP2013230289A
JP2013230289A JP2012104472A JP2012104472A JP2013230289A JP 2013230289 A JP2013230289 A JP 2013230289A JP 2012104472 A JP2012104472 A JP 2012104472A JP 2012104472 A JP2012104472 A JP 2012104472A JP 2013230289 A JP2013230289 A JP 2013230289A
Authority
JP
Japan
Prior art keywords
focus
evaluation value
unit
scene change
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012104472A
Other languages
English (en)
Other versions
JP2013230289A5 (ja
JP6120491B2 (ja
Inventor
Koichiro Yoshino
浩一郎 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012104472A priority Critical patent/JP6120491B2/ja
Publication of JP2013230289A publication Critical patent/JP2013230289A/ja
Publication of JP2013230289A5 publication Critical patent/JP2013230289A5/ja
Application granted granted Critical
Publication of JP6120491B2 publication Critical patent/JP6120491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Automatic Focus Adjustment (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】合焦物体位置の切換え頻度を低減可能な内視鏡装置及び内視鏡装置のフォーカス制御方法等を提供すること。
【解決手段】内視鏡装置は、第1、第2合焦物体位置のうちいずれかを選択することで、撮像部200の合焦物体位置を切り替える制御を行う合焦物体位置切替部350と、合焦評価値を算出し、合焦物体位置切替部350が切り替える先の合焦物体位置である目標合焦位置を、合焦評価値に基づいて決定する目標合焦位置決定部340と、撮像画像に基づいてシーン変化を検出するシーン変化検出部360と、を含む。目標合焦位置決定部340は、シーン変化検出部360によりシーン変化が検出されるまでの間は、合焦評価値が判定基準を満たすか否かの判定を行い、合焦評価値が判定基準を満たさないと判定した場合には、第1、第2合焦物体位置のうち選択されている一方とは異なる他方を選択する。
【選択図】図1

Description

本発明は、内視鏡装置及び内視鏡装置のフォーカス制御方法等に関する。
内視鏡装置を用いたスクリーニング検査において、ユーザーは奥行きのある消化管を観察するため、内視鏡装置にはできるだけ広い被写界深度が求められる。一方、近年では内視鏡装置に使われる撮像素子の微細化が進行し、回折限界に起因する絞りの制約からパンフォーカス(pan-focus)撮影が困難になっている。パンフォーカス撮影が困難な場合、手動によるフォーカス調整等の操作が必要となり、操作が煩雑となってしまう。
例えば特許文献1には、領域分割とコントラスト方式を用いたオートフォーカス(AF:Auto-Focus)制御を行うことにより、手動でフォーカス制御を行う煩雑さを低減し、操作性を向上させた内視鏡装置が開示されている。
特開2011−139760号公報
さて、スクリーニング検査を行う場合に、AF制御により内視鏡装置の合焦物体位置が頻繁に細かく変動すると、ユーザーが観察したい領域に対してピントが合っている状態とボケている状態が繰り返されてしまう。そうすると、同じ領域を長時間観察し続けることを強いられる等、ユーザーの負荷が増大する可能性がある。このため、内視鏡装置においては、合焦物体位置の変動をできるだけ少なくするようなAF制御が求められるという課題がある。
本発明の幾つかの態様によれば、合焦物体位置の切換え頻度を低減可能な内視鏡装置及び内視鏡装置のフォーカス制御方法等を提供できる。
本発明の一態様は、切り替え可能な第1合焦物体位置及び第2合焦物体位置のうちいずれかを選択することで、撮像部の合焦物体位置を切り替える制御を行う合焦物体位置切替部と、前記撮像部により取得された撮像画像に基づいて合焦評価値を算出し、前記合焦物体位置切替部が切り替える先の前記合焦物体位置である目標合焦位置を、前記合焦評価値に基づいて決定する目標合焦位置決定部と、前記撮像画像に基づいてシーン変化を検出するシーン変化検出部と、を含み、前記目標合焦位置決定部は、前記シーン変化検出部により前記シーン変化が検出されるまでの間は、前記合焦評価値が判定基準を満たすか否かの判定を行い、前記合焦評価値が前記判定基準を満たさないと判定した場合には、前記第1合焦物体位置及び前記第2合焦物体位置のうち選択されている一方とは異なる他方を、前記目標合焦位置として決定する内視鏡装置に関係する。
本発明の一態様によれば、合焦評価値に基づいて、撮像部の合焦物体位置を第1合焦物体位置又は第2合焦物体位置に切り替える制御が行われる。この場合に、合焦評価値が判定基準を満たさないと判定された場合には、第1合焦物体位置及び第2合焦物体位置のうち選択されている一方とは異なる他方に、撮像部の合焦物体位置を切り替える制御が行われる。これにより、合焦物体位置の切換え頻度を低減することが可能になる。
本発明の他の態様は、撮像部により取得された撮像画像に基づいて合焦評価値を算出し、前記撮像画像に基づいてシーン変化を検出し、前記シーン変化が検出されるまでの間は、前記合焦評価値が判定基準を満たすか否かの判定を行い、前記合焦評価値が前記判定基準を満たさないと判定した場合には、前記撮像部の切り替え可能な合焦物体位置である第1合焦物体位置及び第2合焦物体位置のうち選択されている一方とは異なる他方を、目標合焦位置に決定し、前記撮像部の前記合焦物体位置を前記目標合焦位置に切り替える制御を行う内視鏡装置のフォーカス制御方法に関係する。
第1の実施形態における内視鏡装置の構成例。 合焦物体位置と被写界深度についての説明図。 第1の実施形態における目標合焦位置決定部の詳細な構成例。 図4(A)、図4(B)は、目標合焦位置決定部の動作についての説明図。 合焦閾値の第2の算出手法についての説明図。 第2の実施形態における内視鏡装置の構成例。 第2の実施形態における目標合焦位置決定部の詳細な構成例。 特殊光観察を行う場合の内視鏡装置の構成例。 回転フィルターの詳細な構成例。 回転フィルターを構成するフィルターF1の透過率特性例。 回転フィルターを構成するフィルターF2の透過率特性例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
まず本実施形態の概要について説明する。なお以下では、フォーカスが合っている被写体の位置を「合焦物体位置」と呼ぶ。即ち、合焦物体位置とは、フォーカスレンズによる像面が撮像素子の撮像面にある場合に、その像面に対応する物体面の位置のことである。
内視鏡装置を用いたスクリーニング検査では、奥行きのある消化管を観察するためにパンフォーカスが求められるが、近年では撮像素子の微細化によりパンフォーカスの実現が困難になっている。このような被写界深度の減少を補うために、内視鏡装置においてもAF制御を行うことが考えられる。
しかしながら、AF制御を行う内視鏡装置においても、ユーザーが広い範囲を同時に観察するためには、内視鏡装置は広い被写界深度を持つことが望ましい。また、スクリーニング検査を行う場合に、AF制御により内視鏡装置の合焦物体位置が頻繁に細かく変動すると、ユーザーが観察したい領域に対してピントが合っている状態とボケている状態が繰り返されるため、同じ領域を長時間観察し続けることを強いられる等、ユーザーの負荷が増大する可能性がある。このため、内視鏡装置においては、合焦物体位置の変動をできるだけ少なくするようなAF制御が求められる。
そこで本実施形態では、図2等で後述するように、予め設定されたNEARとFARのいずれか一方を内視鏡装置の合焦物体位置として選択可能とする。そして、合焦物体位置NEARが選択された場合の被写界深度DNEAR(例えば約5mm〜10mm)、及び合焦物体位置FARが選択された場合の被写界深度DFAR(例えば約10mm〜70mm)で、スクリーニング検査に必要な被写界深度(例えば約5〜70mm)の範囲をすべてカバーできるようにする。
このようにすれば、合焦物体位置NEAR及びFARのうち一方を選択するAF制御を行うだけで、ユーザーが観察したい領域にピントを合わせることが可能になる。このような内視鏡装置を実現することで、合焦物体位置NEAR及びFARのそれぞれにおいて広い範囲にピントが合った画像を取得できる。また、AF制御においても2つの合焦物体位置のいずれかを選択するだけでよいため、非常に多くの合焦物体位置を選択可能な従来のコントラストAF等と比較して合焦物体位置の切換えの頻度を少なくすることが可能になり、スクリーニング検査時のユーザーの負荷を軽減できる。
しかしながら、このような内視鏡装置を実現した場合であっても、合焦物体位置を決定するためのAF制御に課題が残る。例えば、従来のコントラストAFと同様の考え方を用いた場合、合焦物体位置としてNEARとFARを順次選択し、それぞれの合焦物体位置に対応して取得された画像からコントラスト値を算出する。そして、NEAR及びFARのうち、コントラスト値が大きい方に、内視鏡装置の合焦物体位置を変更する。この手法では、NEARとFARを順次切換えるAF制御を、任意のタイミングで継続的に行う必要がある。そのため、AF制御を行っている間は、ピントが合っている状態とボケている状態が繰り返されることになるため、同じ領域を長時間観察し続けることを強いられる等、ユーザーの負荷が増大する可能性がある。
そこで本実施形態では、観察時に選択されている1つの合焦物体位置での撮像画像(画像信号)を用いて、ピントが合っているか否かを判定する。撮像画像のピントが合っていると判定された場合には、現在選択されている合焦物体位置をそのまま維持し、ボケていると判定された場合には、現在選択されている合焦物体位置とは異なるもう一方の合焦物体位置に切り替える。
このようにすれば、合焦物体位置をNEARとFARに順次切り替えることなくAF制御を行うことができるため、ピントが合っている状態とボケている状態が繰り返されず、ユーザーは常にピントが合った画像を観察することが可能になる。
さて、内視鏡装置で取得される画像のコントラストは、被写体によって大きく変化する。例えば、内視鏡装置で観察される被写体には、表面に血管等のコントラストが高い構造がほとんどない場合もあれば、血管や隆起した粘膜等のコントラストが高い構造が多数存在する場合もある。このため、内視鏡装置で取得される画像のコントラストは被写体によって大きく変化する。
また、内視鏡装置で取得される画像のコントラストは、被写体に対する操作(例えば放出操作、吸引操作、処置操作)によって大きく変化する。例えば、内視鏡装置においては、被写体である消化管にユーザーが色素を散布することで、消化管の構造の視認性を向上させる場合がある。この場合、被写体の構造のコントラストが大きく変化するため、内視鏡装置で取得される画像のコントラストも大きく変化する。
また、内視鏡装置で取得される画像のコントラストは、撮影条件(例えば観察モードや画像処理等)によっても大きく変化する。例えば、通常光観察と特殊光観察(例えばNBI:Narrow Band Imaging)では同じ被写体を観察する場合も取得される画像のコントラストは大きく異なる。或は、画像のコントラストを強調する強調処理の違いやノイズ低減処理の違いによっても、取得される画像のコントラストは変化する。
以上のように画像のコントラストが変化すると、合焦状態にない場合であってもコントラストがある程度高い画像が取得される場合や、逆に合焦状態の場合であってもあまりコントラストが高くない画像が取得される場合が、想定される。これらの理由から、内視鏡装置においては1つの合焦物体位置での撮像画像を用いて、常にピントが合っているか否かを精度よく判定することは非常に困難である。
そこで本実施形態では、コントラスト値が閾値よりも大きい場合にはピントが合っていると判定し、コントラスト値が閾値よりも小さい場合にはボケていると判定する。そして、被写体の変更や、被写体に対する操作、撮影条件の変更をシーン変化として検出し、シーン変化が検出された場合には、新たなシーンのコントラスト値に応じて判定の閾値を更新する。
このようにシーンに応じて閾値を更新することで、選択されている合焦物体位置での撮像画像に基づいて、ピントが合っているか否かを精度よく判定することができる。これにより、ユーザーが観察したい領域がボケている状態となることを極力減らすと共に、被写体のコントラストの変化や内視鏡装置の撮影条件の変化によらず安定したAF制御が可能となり、スクリーニング検査時のユーザーの負荷を軽減することができる。
2.第1の実施形態
2.1.内視鏡装置
次に本実施形態の詳細について説明する。図1に、第1の実施形態における内視鏡装置の構成例を示す。図1の内視鏡装置は、光源部100と、撮像部200と、制御装置300(処理部)と、表示部400と、外部I/F部500を含む。
光源部100は、白色光を発生する白色光源110と、その白色光をライトガイドファイバー210に集光するための集光レンズ120と、を含む。
撮像部200は、例えば、体腔への挿入を可能にするために細長くかつ湾曲可能に形成されている。撮像部200は、光源部100で集光された光を導くためのライトガイドファイバー210と、そのライトガイドファイバー210により撮像部200の先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ220と、観察対象から戻る反射光を結像する対物レンズ系230と、を含む。対物レンズ系230は、合焦物体位置を調整するフォーカスレンズ240を含む。また、撮像部200は、フォーカスレンズ240を駆動するフォーカスレンズ駆動部250と、結像された反射光を光電変換して画像信号を取得する撮像素子260と、を含む。
フォーカスレンズ駆動部250は、例えばボイスコイルモーター(VCM)により構成される。撮像素子260は、例えばベイヤ配列の色フィルターを持つ撮像素子により構成される。撮像素子260は、取得した画像信号を所定の時間間隔で、制御装置300のA/D変換部320に順次出力する。
制御装置300は、制御部310と、A/D変換部320と、画像処理部330と、目標合焦位置決定部340(目標合焦位置制御部)と、合焦物体位置切替部350(切替制御部)と、シーン変化検出部360と、を含む。
A/D変換部320は、撮像素子260から連続的に出力されたアナログの画像信号をデジタルの画像信号に変換し、そのデジタルの画像信号を画像処理部330及び目標合焦位置決定部340に順次出力する。
画像処理部330は、A/D変換部320から出力された画像信号に対して、ホワイトバランス処理や、補間処理(デモザイキング処理)、色変換処理、階調変換処理、コントラスト強調処理、ノイズ低減処理等の画像処理を施し、その画像処理後の画像信号をシーン変化検出部360及び表示部400に順次出力する。表示部400は、例えば液晶モニタで構成され、画像処理部330から出力された画像信号を順次表示する。
制御部310は、外部I/F部500、白色光源110、画像処理部330、目標合焦位置決定部340、シーン変化検出部360に接続されており、外部I/F部500からの入力情報に基づいてこれらを制御する。
外部I/F部500は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部I/F部500は、撮影の開始/終了を行うためのスタートボタンや、AFの開始終了ボタン、その他の各種撮影条件や画像処理のパラメータを調整するための調整ボタン等を含んで構成されている。
シーン変化検出部360は、画像処理部330から出力された画像信号に基づいてシーンの変化を検出し、シーン変化情報(シーン変化の有無を表す情報)を目標合焦位置決定部340に出力する。なお、シーン変化検出部360の詳細については後述する。
目標合焦位置決定部340は、A/D変換部320から出力された画像信号と、シーン変化検出部360から出力されたシーン変化情報とに基づいて目標合焦位置を決定し、目標合焦位置情報を合焦物体位置切替部350に出力する。ここで、目標合焦位置とは、合焦物体位置NEAR及びFARのうち、目標となる合焦物体位置のことである。即ち、目標合焦位置とは、合焦物体位置切替部350が行う目標合焦位置の切り替え制御において、切り替え先となる合焦物体位置のことである。なお、目標合焦位置決定部340の詳細については後述する。
合焦物体位置切替部350は、フォーカスレンズ駆動部250と、目標合焦位置決定部340とに接続されている。合焦物体位置切替部350は、目標合焦位置決定部340から出力される目標合焦位置の情報に基づいて、フォーカスレンズ240の位置を調整することで、内視鏡装置の合焦物体位置を切り替え制御する。
2.2.合焦物体位置切替部
次に、合焦物体位置切替部350の動作と被写界深度の関係について、詳細に説明する。図2に示すように、合焦物体位置切替部350は、目標合焦位置決定部340から出力される目標合焦位置の情報に基づいて、内視鏡装置の被写界深度範囲がDNEAR及びDFARのいずれか一方となるように、2つの選択可能な合焦物体位置NEAR及びFARのうち1つを選択し、内視鏡装置の合焦物体位置を切換える。
目標合焦位置決定部340から出力される目標合焦位置の情報は、NEARとFARのいずれを選択すればよいかを表す情報である。図2の被写界深度DNEAR、DFARを実現するための合焦物体位置NEAR、FAR、及びその時のフォーカスレンズ位置LNEAR、LFARは、対物レンズ系230の設計データから算出できる。このため、合焦物体位置切替部350は、フォーカスレンズ駆動部250を制御してフォーカスレンズ位置をLNEAR、LFARに調整することで、内視鏡装置の合焦物体位置をNEAR、FARに切り替え、被写界深度をDNEAR、DFARに切り替えることができる。
ここで、合焦物体位置とは、上述したように、フォーカスが合っている被写体の位置であり、例えば撮像部先端から被写体までの距離により表される。合焦物体位置は、例えば、被写界深度内においてコントラスト値が最も大きくなる位置である。あるいは、被写界深度内であれば被写体にフォーカスが合っていると考えられることから、合焦物体位置は被写界深度内の任意の位置であってもよい。合焦物体位置が被写界深度内の任意の位置である場合でも、フォーカスレンズの位置が切り替えられることにより、合焦物体位置及び被写界深度が切り替えられることは変わらない。
2.3.シーン変化検出部
次に、シーン変化検出部360が行う動作の一例について説明する。ここで、本実施形態におけるシーン変化とは、内視鏡装置で取得される画像の色やコントラストの大きな変化を指している。例えば、内視鏡装置で観察している消化管内での観察位置の変動による被写体の構造の変化や、ユーザーが色素を散布したことによる被写体のコントラストの変化等による、画像の色やコントラストの変化である。本実施形態では、ピントの変動によるコントラストの変化はシーン変化に含まず、ピントの変動が無かったとしても画像の色やコントラストが大きく変化する場合をシーン変化と呼ぶ。
シーン変化検出部360は、画像処理部330から所定の時間間隔で順次出力される撮像画像を受けて、例えば任意の時間間隔の撮像画像間における画像信号の変化量を算出する。例えば、任意の時間間隔で2つの撮像画像が取得されたとして、一方の撮像画像の輝度信号と他方の撮像画像の輝度信号との差の絶対値を求め、その絶対値を画像内で総和し、その総和を画像信号の変化量として用いればよい。あるいは、一方の撮像画像の色差信号と他方の撮像画像の色差信号との差の絶対値を求め、その絶対値を画像内で総和し、その総和を画像信号の変化量として用いればよい。次に、シーン変化検出部360は、求めた変化量を所定の閾値と比較し、変化量が閾値よりも小さい場合にはシーン変化無しと判断し、変化量が閾値よりも大きい場合にはシーン変化有りと判断する。シーン変化検出部360は、シーン変化情報を、任意の時間間隔で目標合焦位置決定部340に順次出力する。
なお、シーン変化検出部360は、例えば任意の時間間隔の撮像画像に対して公知の動き検出処理を行い、その動き検出の結果に基づいてシーン変化を検出してもよい。この場合、シーン変化検出部360は、例えば検出された動き量が閾値以上となった場合や、動き量が検出できなかった場合等に、シーン変化有りと判断すればよい。動き量が検出できなかった場合には、内視鏡装置の視野が大きく移動して観察対象が変わったために動き量が検出されなかったと考えられることから、シーン変化が生じたと判断する。
2.4.目標合焦位置決定部
次に、目標合焦位置決定部340について詳細に説明する。図3に、第1の実施形態における目標合焦位置決定部340の詳細な構成例を示す。目標合焦位置決定部340は、合焦評価値算出部341と、合焦判定部342と、決定部343と、閾値算出部344と、を含む。
まず始めに、図4(A)を用いて、シーン変化検出部360からシーン変化無しを表すシーン変化情報が入力された場合の、目標合焦位置決定部340の動作について説明する。
この場合、合焦評価値算出部341は、A/D変換部320から出力される撮像画像から、合焦の度合いを表す合焦評価値Val_Near、Val_Farを算出する。Val_Nearは、NEARが選択されている場合の合焦評価値であり、Val_Farは、FARが選択されている場合の合焦評価値である。例えば、合焦評価値算出部341は、撮像画像に対して任意の評価領域を設定し、評価領域に含まれる各画素に対して任意の同時化処理及びHPF処理を行い、各画素のHPF出力値の総和を合焦評価値とする。合焦評価値算出部341は、求めた合焦評価値を合焦判定部342に出力する。
合焦判定部342は、合焦評価値算出部341から出力された合焦評価値Val_Near、Val_Farを、事前に設定された合焦閾値であるTh_Focusと比較することで、撮像画像が合焦状態であるか非合焦状態であるかを判定する。例えば、合焦評価値Val_Near、Val_Farが合焦閾値Th_Focusよりも大きい場合には合焦状態であると判定し、合焦評価値Val_Near、Val_Farが合焦閾値Th_Focusよりも小さい場合には非合焦状態であると判定する。合焦判定部342は、撮像画像が合焦状態か非合焦状態かを表す合焦判定情報を、決定部343に出力する。
決定部343は、合焦判定部342から出力された合焦判定情報に基づいて、目標合焦位置を決定する。具体的には、決定部343は、合焦判定部342から出力された合焦判定情報が合焦状態を表す場合は、合焦物体位置切替部350で選択されている合焦物体位置をそのまま新たな目標合焦位置として決定する。一方、合焦判定情報が非合焦状態を表す場合は、合焦物体位置切替部350で選択されていないもう一方の合焦物体位置を新たな目標合焦位置として決定する。決定部343は、新たに決定された目標合焦位置を目標合焦位置情報として合焦物体位置切替部350に出力する。
次に、図4(B)を用いて、シーン変化検出部360からシーン変化有りを表すシーン変化情報が入力された場合の、目標合焦位置決定部340の動作について説明する。
この場合、決定部343は、合焦物体位置切替部350で選択されている合焦物体位置を取得する。合焦評価値算出部341は、A/D変換部320から出力される撮像画像から、前述と同様の手法で合焦評価値を算出する。そして、決定部343は、合焦評価値算出部341から合焦評価値を取得し、合焦物体位置と合焦評価値とを対応づけて、図示しないメモリーに格納する。
次に、決定部343は、合焦物体位置切替部350で選択されていない合焦物体位置を新たな目標合焦位置として決定し、その目標合焦位置情報を合焦物体位置切替部350に出力する。決定部343は、合焦物体位置切替部350で選択されている合焦物体位置を取得し、合焦物体位置が新たな目標合焦位置に合わせて切り替えられたことを確認する。合焦評価値算出部341は、A/D変換部320から出力される撮像画像から、前述と同様の手法で合焦評価値を算出する。そして、決定部343は、合焦評価値算出部341から合焦評価値を取得し、合焦物体位置と合焦評価値を対応づけて、図示しないメモリーに格納する。
このような一連の動作を行うことで、合焦物体位置切替部350により合焦物体位置NEARが選択された場合の合焦評価値Val_Nearと、合焦物体位置切替部350により合焦物体位置FARが選択された場合の合焦評価値Val_Farと、が取得される。
次に、決定部343は、NEARに対応する合焦評価値Val_NearとFARに対応する合焦評価値Val_Farとを比較し、大きいほうの合焦評価値に対応する合焦物体位置を新たな目標合焦位置として決定して合焦物体位置切替部350に出力する。このような動作により、シーン変化検出部360でシーン変化有りと判定された場合(内視鏡装置で取得される画像の色やコントラストに大きな変化が発生した場合)も、合焦物体位置切替部350はNEARとFARのうち合焦状態にある方の合焦物体位置を選択することが可能になる。
閾値算出部344は、NEARとFARのそれぞれに対応する合焦評価値Val_Near、Val_Farのうち、少なくともいずれか一方をメモリーから取得して、現在のシーンに適応した新たな合焦閾値Th_Focus_Newを算出する。閾値算出部344は、算出した合焦閾値Th_Focus_Newを合焦判定部342に出力し、合焦判定部342はこれを新たな合焦閾値Th_Focusとして設定する。以下では、合焦閾値の算出手法の例として、第1〜第3の算出手法について説明する。
2.5.合焦閾値の算出手法
まず、合焦閾値の第1の算出手法について説明する。新たな合焦閾値Th_Focus_Newは、合焦物体位置切替部350で合焦状態にあるとして選択された合焦物体位置に対応する合焦評価値に比較して、当然小さな値になる。このため、閾値算出部344は、新たに選択された合焦物体位置に対応する合焦評価値Val_Focusをメモリーから取得し、下式(1)によりTh_Focus_Newを算出する。図4(B)において、目標合焦位置がNEARの場合Val_Focus=Val_Nearであり、目標合焦位置がFARの場合Val_Focus=Val_Farである。Lは、0<L<1の範囲の任意の係数である。
Th_Focus_New=Val_Focus*L (1)
次に、図5を用いて、合焦閾値の第2の算出手法について説明する。図5は、対物レンズ系230から被写体までの距離と、合焦物体位置としてNEARが選択された場合の合焦評価値Val_Near_Refとの関係、及び、対物レンズ系230から被写体までの距離と、合焦物体位置としてFARが選択された場合の合焦評価値Val_Far_Refとの関係を表した図である。
ここで、Val_Near_Ref、Val_Far_Refは、相対的な合焦評価値であり、距離が変化した場合の合焦評価値の特性を表している。即ち、Val_Near_RefとVal_Far_Refの比は被写体に依らないが、絶対値については被写体に応じて変化する。Val_Near_Ref、Val_Far_Refは、例えば光学系の設計データや、実測によって取得される。
図5に示すように、合焦物体位置としてNEARが選択された場合は、その位置に被写体がある場合に最もVal_Near_Refが大きくなり、合焦物体位置NEARから被写体が離れるに従って、Val_Near_Refは小さくなる。合焦物体位置としてFARが選択された場合も同様である。本実施形態では、対物レンズ系230から被写体までの距離が10mm程度の位置が、NEARの被写界深度とFARの被写界深度の境界BDであり、この境界BDに被写体がある場合は、Val_Near_RefとVal_Far_Refは同程度の値になる。
対物レンズ系230から被写体までの距離が被写界深度の境界BDを超えた場合には、非合焦状態であると考えられることから、被写界深度の境界BDにおける合焦評価値Val_Bに基づいて新たな閾値を求める。即ち、実際に算出された合焦評価値Val_Near(又はVal_Far)が合焦評価値Val_Bよりも小さくなれば、撮像画像を非合焦状態と判定する。
合焦評価値の絶対値自体は被写体のコントラストによって変動するが、図5に示した距離とVal_Near_Ref、Val_Far_Refとの関係は、対物レンズ系230の結像性能で決まるため、被写体のコントラストによらずほぼ変化しない。このため、事前に対物レンズ系230の設計データや、実際の内視鏡装置を使用した実験等からこの関係を算出し、距離とVal_Near_Ref、Val_Far_Refとを対応付けて、図示しないメモリー等に合焦評価値テーブルとして格納しておく。そして、現在のシーンに対して取得された合焦評価値Val_Near、Val_Farに基づいて、現在のシーンに適応した合焦閾値Th_Focus_Newを精度よく算出することができる。
具体的には、現在のシーンに対して取得された合焦評価値Val_Nearと合焦評価値Val_Farの比Val_Ratioを、下式(2)により算出する。
Val_Near>Val_Farの場合:
Val_Ratio=Val_Near/Val_Far,
Val_Near<Val_Farの場合:
Val_Ratio=Val_Far/Val_Near (2)
合焦評価値テーブルに格納されているすべての距離に対してVal_Near_RefとVal_Far_Refを用いて、上式(2)と同様の計算を行い、すべての距離におけるVal_Ratio_Refを算出する。そして、Val_RatioとVal_Ratio_Refを比較し、Val_Ratioに最も近いVal_Ratio_Refが得られる距離を探索する。
例えば、探索結果として図5に示す距離Xが得られたと仮定する。この場合、現在のシーンに対して取得された合焦評価値Val_Farと、距離Xに対応して合焦評価値テーブルに格納されているVal_Far_Refの値であるVal_Xと、既知であるVal_Bの値とを用いて、下式(3)により、現在のシーンに適応した合焦閾値Th_Focus_Newを算出する。ここで、Kは、算出される合焦閾値を調整するための任意の係数である。
Th_Focus_New=(Val_Far*Val_B*K)/Val_X
(3)
また、Val_Near>Val_Farの場合も考え方は同様である。即ち、距離Xに対応して合焦評価値テーブルに格納されているVal_Near_Refの値をVal_Xとして使用し、下式(4)により合焦閾値Th_Focus_Newを算出する。
Th_Focus_New=(Val_Near*Val_B*K)/Val_X
(4)
次に、合焦閾値の第3の算出手法について説明する。第3の算出手法では、閾値算出部344は下式(5)により合焦閾値Th_Focus_Newを算出する。ここで、Mは、算出される合焦閾値を調整するための任意の係数である。なお、下式(5)に限らず、任意の重み付けをしたVal_Near、Val_Farの平均値を用いてもよい。
Th_Focus_New={(Val_Near+Val_Far)/2}*M
(5)
以上のようなAF制御を行うことで、本実施形態における内視鏡装置は、スクリーニング検査中にシーン変化が発生した場合であっても、シーン変化の直後のみ合焦物体位置をNEARとFARに順次切換え、その後シーン変化が発生しない間は合焦物体位置をNEARとFARに順次切換えることなく高精度のAF動作を実現できる。この結果、ユーザーが観察したい領域がボケている状態となる期間を極力減らすと共に、被写体のコントラストの変化によらず安定したAF制御が可能になる。
また、本実施形態における内視鏡装置は、シーン変化が検出された場合に合焦閾値Th_Focus_Newを算出することで、シーン変化により撮像画像の色やコントラストに大きな変化が発生した場合であっても、現在のシーンに適応した合焦閾値を用いて合焦判定を行うことが可能になる。
以上の実施形態によれば、図1に示すように、内視鏡装置は合焦物体位置切替部350と目標合焦位置決定部340とシーン変化検出部360とを含む。
図2等で説明したように、合焦物体位置切替部350は、切り替え可能な第1合焦物体位置NEAR及び第2合焦物体位置FARのうちいずれかを選択することで、撮像部200の合焦物体位置を切り替える制御を行う。目標合焦位置決定部340は、撮像部200により取得された撮像画像に基づいて合焦評価値Val_Near(又はVal_Far)を算出し、合焦物体位置切替部350が切り替える先の合焦物体位置である目標合焦位置を、合焦評価値Val_Near(又はVal_Far)に基づいて決定する。シーン変化検出部360は、撮像画像に基づいてシーン変化を検出する。
この場合に、図4(A)等で説明したように、目標合焦位置決定部340は、シーン変化検出部360によりシーン変化が検出されるまでの間は、合焦評価値Val_Near(又はVal_Far)が判定基準を満たすか否かの判定を行い、合焦評価値Val_Near(又はVal_Far)が判定基準を満たさない(非合焦状態)と判定した場合には、第1合焦物体位置NEAR及び第2合焦物体位置FARのうち、切り替え制御により選択されている一方とは異なる他方を選択する。
このようにすれば、シーン変化が検出された後、次のシーン変化が検出されるまでの期間では、2つの合焦物体位置のうち選択している一方の合焦評価値のみから合焦判定を行うことができる。これにより、非合焦状態と判定したときだけ合焦物体位置を切り替えればよくなるため、切り替え頻度を減らすことができる。また、AF動作の度に2つの合焦物体位置を切り替えて2つの合焦評価値を取得すると、AF動作の度にピンボケの画像が表示される可能性があるが、本実施形態では、非合焦状態と判定するまで合焦物体位置を切り替えないので、ピンボケの画像が表示される可能性を減らすことができる。
ここで、合焦評価値とは、撮像された画像に映る被写体が合焦状態であるか否かを判定するために用いる値または情報のことをいう。例えばコントラストAFを行う場合には、コントラスト値を合焦評価値として用いる。コントラスト値は、例えば画像の高周波成分を抽出することにより求められる。なお、合焦評価値はコントラスト値に限定されない。即ち、合焦評価値は、像面が撮像素子の撮像面にある場合の物体面の位置において値が最大となり、その物体面の位置からずれるに従って値が小さくなるような評価値でさえあればよい。
また、シーン変化とは、上述したように、被写体の変化による画像の色やコントラストの変化や、被写体に対する処置操作による画像の色やコントラストの変化のことであり、フォーカス変動によるコントラスト低下は本実施形態におけるシーン変化に含まれない。また、第2の実施形態で後述するように、シーン変化は、例えば撮影モードの変更や画像処理の変更等による撮影条件の変更であってもよい。被写体の変化には、例えば、撮像部の移動や被写体の動きによって撮影範囲(撮影対象)が変わることや、同一の撮影範囲であっても、患部への処置等によって被写体が変化(例えば出血)すること等が含まれる。被写体に対するユーザー操作には、内視鏡による診断・処置において行う種々の操作が含まれ、例えば、水や薬剤等の放出操作、水や体液等の吸引操作、切除等の処置操作、が含まれる。
また本実施形態では、図4(B)等で説明したように、目標合焦位置決定部340は、シーン変化検出部360によりシーン変化が検出された場合、判定基準(例えば閾値Th_Focus)を更新する。
シーンが変化したときには画像の色やコントラストが変化し、合焦評価値も変化すると考えられるため、シーンに依らず同一の判定基準を用いると合焦判定の精度が得られないと想定される。この点、本実施形態では、シーンが変化したときに、その新しいシーンに応じた判定基準を設定することができるため、シーン変化に応じた高精度な合焦判定を行うことができる。
また本実施形態では、図4(B)等で説明したように、目標合焦位置決定部340は、シーン変化検出部360によりシーン変化が検出された場合、第1合焦物体位置NEAR及び第2合焦物体位置FARを順次選択し、第1合焦物体位置NEARでの合焦評価値である第1合焦評価値Val_Nearと、第2合焦物体位置FARでの合焦評価値である第2合焦評価値Val_Farとを算出する。合焦評価値は、合焦度合いが高いほど値が大きくなる評価値である。そして、目標合焦位置決定部340は、第2合焦評価値Val_Farよりも第1合焦評価値Val_Nearが大きい場合には、目標合焦位置を第1合焦物体位置NEARに決定し、第1合焦評価値Val_Nearよりも第2合焦評価値Val_Farが大きい場合には、目標合焦位置を第2合焦物体位置FARに決定する。
上述のようにシーン変化により合焦評価値が変化すると考えられるため、シーンが変化した直後には、NEARとFARいずれか一方の合焦評価値だけでは、ピントの合った合焦物体位置を決定できないと想定される。この点、本実施形態では、シーン変化が検出された場合に、NEARとFAR両方の合焦評価値Val_Near、Val_Farを取得し、それらを比較して目標合焦位置を決定する。これにより、シーンが変化した直後において、ピントの合った合焦物体位置を決定できる。
また本実施形態では、図4(A)等で説明したように、判定基準は、合焦評価値Val_Near(又はVal_Far)が閾値Th_Focusよりも大きいという条件である。図4(B)等で説明したように、目標合焦位置決定部340は、第1合焦評価値Val_Near及び第2合焦評価値Val_Farのうち少なくとも一方に基づいて閾値Th_Focusを更新する(Th_Focus_Newを求める)。
このようにすれば、シーンが変化した場合に、シーン変化後に取得される画像の合焦評価値に応じて閾値を更新することができる。また、更新した閾値により合焦判定を行うことにより、シーン変化に応じた判定基準による合焦判定が可能になる。
また本実施形態では、上式(1)で説明したように、目標合焦位置決定部340は、第2合焦評価値Val_Farよりも第1合焦評価値Val_Nearが大きい場合には、1よりも小さい所定係数Lを第1合焦評価値Val_Nearに乗じて閾値Th_Focus_Newを求め、第1合焦評価値Val_Nearよりも第2合焦評価値Val_Farが大きい場合には、所定係数Lを第2合焦評価値Val_Farに乗じて閾値Th_Focus_Newを求める。
このようにすれば、撮像部200の合焦物体位置として、NEARとFARのうち合焦評価値が大きい方を選択し、その選択した方の合焦評価値から閾値Th_Focus(Th_Focus_New)を決定できる。これにより、シーン変化後に取得される画像の合焦判定に適した閾値を決定できる。
また本実施形態では、図5等で説明したように、内視鏡装置は、被写体までの距離を変化させた場合の、第1合焦評価値及び第2合焦評価値の特性情報Val_Near_Ref、Val_Far_Refをテーブルとして記憶する記憶部(図示しないメモリー)を含んでもよい。上式(2)で説明したように、目標合焦位置決定部340は、算出した第1合焦評価値Val_Near及び第2合焦評価値Val_Farの比Val_Ratioを求めてもよい。上式(3)、(4)で説明したように、目標合焦位置決定部340は、比Val_Ratioに基づいてテーブルを探索して、第1合焦評価値Val_Near及び第2合焦評価値Val_Farが等しくなるときの合焦評価値(Val_Far*Val_B)/Val_X(又は(Val_Near*Val_B)/Val_X)を推定し、推定した合焦評価値に所定係数Kを乗じて閾値Th_Focus_Newを求めてもよい。
このようにすれば、第1合焦評価値Val_Near及び第2合焦評価値Val_Farが等しくなるときの合焦評価値から閾値Th_Focus(Th_Focus_New)を決定できる。この閾値を用いて合焦判定を行うことにより、NEARが選択されている場合には、被写界深度の境界BDよりもFAR側に移動したときに非合焦状態と判定し、FARが選択されている場合には、被写界深度の境界BDよりもNEAR側に移動したときに非合焦状態と判定できる。これにより、2つの合焦物体位置の被写界深度境界を考慮した高精度な合焦判定が可能になる。
また本実施形態では、シーン変化検出部360は、撮像部200により順次取得された複数の撮像画像のうち、第1撮像画像の画像信号(例えば輝度信号や色差信号等)と、第1撮像画像よりも前に取得された第2撮像画像の画像信号とを比較することにより、シーン変化を検出する。具体的には、シーン変化検出部360は、第1撮像画像の画像信号と第2撮像画像の画像信号との間の変化量(例えば輝度信号の差の絶対値や、色差信号の差の絶対値)を求め、その変化量が閾値よりも大きい場合に、シーン変化が生じたと判定する。
このようにすれば、シーン変化により画像の色やコントラストが変化した場合に、その色やコントラストの変化を撮像画像から検出し、シーン変化が生じたことを検出することができる。
また本実施形態では、シーン変化検出部360は、第1撮像画像と第2撮像画像との間の動き検出の結果に基づいて、シーン変化を検出してもよい。
このようにすれば、撮像部の移動や被写体の動きにより撮影範囲が変わった場合に、その撮影範囲の変動を動き検出により検出することで、シーン変化を検出できる。例えば本実施形態では、動き量を検出できない場合に、撮影範囲が移動したと判断できることから、シーン変化が生じたと判断する。
3.第2の実施形態
3.1.内視鏡装置
図6に、第2の実施形態における内視鏡装置の構成例を示す。図6の内視鏡装置は、光源部100と、撮像部200と、制御装置300(処理部)と、表示部400と、外部I/F部500と、を含む。なお、第1の実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
A/D変換部320は、撮像素子260から連続的に出力されたアナログの画像信号をデジタルの画像信号に変換して画像処理部330に順次出力する。画像処理部330は、A/D変換部320から出力された画像信号に対して、ホワイトバランス処理や、補間処理(デモザイキング処理)、色変換処理、階調変換処理、コントラスト強調処理、ノイズ低減処理等の画像処理を施し、画像処理後の画像信号を目標合焦位置決定部340、シーン変化検出部360、表示部400に順次出力する。
外部I/F部500は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、撮影の開始/終了を行うためのスタートボタンや、AFの開始終了ボタン、観察モード(通常光観察または特殊光観察)の変更ボタン、コントラスト強調処理に対する強調度合いの変更ボタン、ノイズ低減処理に対する低減度合いの変更ボタン、その他の各種撮影条件や画像処理のパラメータを調整するための調整ボタン等を含んで構成される。
本実施形態の内視鏡装置は、白色光における通常光観察と、特定の波長域を強調して被写体のコントラストを強調する特殊光観察と、を切り替えて消化管の観察を行う。通常光観察と特殊光観察の切り替えは、例えば光源部100が照明光を白色光と特殊光に切り替えることにより行う(後述するNBI)。或は、光源部100は白色光を発生し、画像処理部330が画像処理により通常光画像と特殊光画像を取得してもよい(後述するFICE)。通常光観察と特殊光観察の詳細については後述する。
3.2.シーン変化検出部
シーン変化検出部360が行う動作の一例について説明する。ここで、本実施形態におけるシーン変化とは、撮影条件の変更を指している。例えば、観察モード(通常光観察と特殊光観察)の変更や、画像のコントラストの強調処理における強調度合いの変更、ノイズ低減処理における低減度合いの変更等である。被写体のコントラストが変化しない場合であっても、これらの撮影条件の変更により、内視鏡装置で取得される画像の色やコントラストが大きく変化する。そのため、本実施形態では、撮影条件の変更をシーン変化として検出する。
制御部310は、外部I/F部500を介してユーザーにより撮影条件が変更された場合に、その撮影条件の変更内容を、撮影条件の変更情報としてシーン変化検出部360に出力する。
シーン変化検出部360は、制御部310から撮影条件の変更情報が出力されない場合にはシーン変化無しと判断し、撮影条件の変更情報が出力された場合にはシーン変化有りと判断する。シーン変化検出部360は、シーン変化の有無を表す情報をシーン変化情報として任意の時間間隔で目標合焦位置決定部340に出力する。また、シーン変化検出部360は、シーン変化情報がシーン変化有りを表す場合には、撮影条件の変更内容をシーン変化情報と同時に目標合焦位置決定部340に出力する。
3.3.目標合焦位置決定部
次に、目標合焦位置決定部340の詳細について説明する。図7に、第2の実施形態における目標合焦位置決定部340の詳細な構成例を示す。目標合焦位置決定部340は、合焦評価値算出部341と、合焦判定部342と、決定部343と、閾値算出部344と、を含む。なお、第1の実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
合焦評価値算出部341は、画像処理部330から出力される撮像画像に基づいて、合焦の度合いを表す合焦評価値を算出する。例えば、合焦評価値算出部341は、撮像画像に対して任意の評価領域を設定し、その評価領域に含まれる各画素に対して任意のHPF処理を行い、各画素のHPF出力値の総和を合焦評価値とする。
次に、シーン変化検出部360からシーン変化有りを表すシーン変化情報が入力された場合の、目標合焦位置決定部340の動作について説明する。なお、シーン変化無しの場合の動作については第1の実施形態と同様である。
目標合焦位置決定部340は、第1の実施形態と同様の手法により合焦閾値Th_Focusを算出する。即ち、シーン変化検出部360が、被写体のコントラスト変化によるシーン変化を検出した場合に、目標合焦位置決定部340は、例えば上述の第1〜第3の算出手法によって合焦閾値Th_Focus_Newを算出し、合焦判定部342は、新たな合焦閾値Th_Focus_Newを合焦閾値Th_Focusとして用いる。
このように合焦閾値Th_Focusが設定されているときに、シーン変化検出部360が、撮影条件の変更によるシーン変化を検出した場合、閾値算出部344は、合焦判定部342から、現在設定されている合焦閾値Th_Focusを取得し、その合焦閾値Th_Focusに基づいて合焦閾値Th_Focus_Newを算出する。そして、目標合焦位置決定部340は、目標合焦位置をNEARとFARに切り替えずに現在の目標合焦位置を維持し、更新された合焦閾値Th_Focusによる合焦判定に基づいて目標合焦位置の切り替えを行う。なお、シーン変化検出部360が、撮影条件の変更以外によりシーン変化を検出した場合(撮像画像からシーン変化を検出した場合)には、第1の実施形態で説明したように、目標合焦位置決定部340は、目標合焦位置をNEARとFARに切り替えて、目標合焦位置を決定する。
次に、合焦閾値の算出手法の例として、合焦閾値の第4の算出手法について説明する。閾値算出部344は、下式(6)により新たな合焦閾値Th_Focus_Newを算出する。ここで、所定係数Mは、シーン変化検出部360から出力される撮影条件の変更内容に応じて、閾値算出部344で算出される任意の値である。
Th_Focus_New=Th_Focus*M (6)
閾値算出部344において上記のMを算出するには、例えば、それぞれの撮影条件の変更に対して、合焦評価値がどの程度変化するかを実際の内視鏡装置を使用した実験等から事前に見積もる。そして、それぞれの撮影条件の変更に対する合焦評価値の変化の比率をMとして、撮影条件の変更内容に対応付けて図示しないメモリーに格納しておけばよい。これにより、スクリーニング検査中にユーザーから各種の撮影条件が変更された場合も、合焦閾値を撮影条件の変更内容に応じた値に変更することが可能になり、合焦判定部342において精度良く合焦判定を行うことができる。
以上のようなAF制御を行うことで、本実施形態における内視鏡装置は、スクリーニング検査中にシーン変化が発生した場合であっても、それが撮影条件の変更によるシーン変化である場合は光学的な合焦状態の変動は発生しないため、合焦物体位置をNEARとFARに順次切換えることなく新たな合焦閾値Th_Focus_Newを合焦閾値Th_Focusとして用いることで高精度のAF動作を実現できる。また、本実施形態における内視鏡装置は、撮影条件の変更以外に起因するシーン変化の直後のみ合焦物体位置をNEARとFARに順次切換え、その後、撮影条件の変更以外に起因するシーン変化が発生しない間は、合焦物体位置をNEARとFARに順次切換えることなく高精度のAF動作を実現できる。この結果、ユーザーが観察したい領域がボケている状態となる期間を極力減らすと共に、撮影条件の変更による画像のコントラストの変化によらず安定したAF制御が可能になる。
また、本実施形態における内視鏡装置は、上述の手法を用いて合焦閾値Th_Focus_Newを算出することで、シーン変化により撮像画像の色やコントラストに大きな変化が発生した場合であっても、現在のシーンに適応した合焦閾値を用いて合焦判定を行うことが可能になる。
3.4.特殊光観察
図8に、特殊光観察を行う場合の内視鏡装置の構成例を示す。図8の内視鏡装置は、光源部100と、撮像部200と、制御装置300(処理部)と、表示部400と、外部I/F部500を含む。画像処理部330は、通常光画像取得部331と、特殊光画像取得部332と、を含む。なお、図1や図6で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
光源部100は、白色光を発生する白色光源110と、白色光源110からの出射光をライトガイドファイバー210に集光するための集光レンズ120と、白色光から所定の波長帯域の光を抽出する回転フィルター130と、を含む。
図9に示すように、回転フィルター130は、透過率特性の異なる2種類のフィルターF1、F2から構成されている。図10に示すように、フィルターF1は白色光の帯域を透過するフィルターである。例えば、フィルターF1は、400nm〜700nmの帯域を白色光の帯域として透過する。フィルターF1の透過帯域は、図10のように青色光Bの帯域b、緑色光Gの帯域g、赤色光Rの帯域rの各帯域に分割されていてもよいし、あるいは、400nm〜700nmの連続した帯域であってもよい。図11に示すように、フィルターF2は、特殊光の帯域、即ち白色光の帯域よりも狭い特定の帯域を透過する。例えば、フィルターF2は、第1狭帯域光G2の帯域g2、第2狭帯域光B2の帯域b2を、特殊光の帯域として透過する。帯域g2は530〜550nmであり、帯域b2は390〜445nmである。
制御部310は、回転フィルター130の回転を制御し、F1を通過した白色光とF2を通過した狭帯域光とを順次、被写体に照射させる。白色光が照射された被写体と、狭帯域光が照射された被写体が、撮像素子260により撮像される。A/D変換部320は、撮像で得られた画像信号をA/D変換し、A/D変換後の画像信号を通常光画像取得部331と特殊光画像取得部332に出力する。
通常光画像取得部331は、白色光照射時に撮像された画像信号から通常光画像を生成する。具体的には、通常光画像取得部331は、画像信号に対して、既存の補間処理やホワイトバランス処理、色変換処理、階調変換処理等の画像処理を行い、通常光画像を生成する。
特殊光画像取得部332は、特殊光照射時に撮像された画像信号から特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像である。図11で説明したように、特殊光は第1狭帯域光G2、第2狭帯域光B2である。例えば撮像素子260がRGBベイヤ配列の撮像素子である場合、第1狭帯域光G2は緑色Gの画素により撮像され、第2狭帯域光B2は青色Bの画素により撮像される。特殊光画像取得部332は、これらのG2画素値及びB2画素値を補間処理し、G2画像及びB2画像を生成する。そして、特殊光画像取得部332は、カラー画像のRチャンネルにG2画像を入力し、GチャンネルとBチャンネルにB2画像を入力することで、RGBのカラー画像を生成する。このカラー画像が特殊光画像となる。
外部I/F部500を介してユーザーにより通常光観察が選択された場合、制御部310からの制御に基づいて、目標合焦位置決定部340は通常光画像を用いてフォーカス制御を行い、表示部400は通常光画像を表示する。一方、外部I/F部500を介してユーザーにより特殊光観察が選択された場合、制御部310からの制御に基づいて、目標合焦位置決定部340は特殊光画像を用いてフォーカス制御を行い、表示部400は特殊光画像を表示する。
シーン変化検出部360は、通常光観察と特殊光観察が切り替えられたことを表す撮影条件変更情報が制御部310から入力された場合、シーン変化が生じたと判断し、そのシーン変化情報を目標合焦位置決定部340に出力する。目標合焦位置決定部340は、そのシーン変化情報を受けて、上述したように合焦閾値Th_Focusの更新を行う。
なお、上記では回転フィルター130を回転させて通常光画像と特殊光画像を順次撮影しておき、ユーザーの選択に応じて通常光画像又は特殊光画像を表示部400に表示させる場合を例に説明したが、本実施形態はこれに限定されない。例えば、ユーザーが通常光観察を選択した場合にはフィルターF1を挿入して通常光画像を撮像し、ユーザーが特殊光観察を選択した場合にはフィルターF2を挿入して特殊光画像を撮像するように構成してもよい。
また、上記では回転フィルター130が白色光を透過するフィルターF1と特殊光を透過するフィルターF2で構成される場合を例に説明したが、本実施形態はこれに限定されない。例えば、回転フィルター130は、R、G、B、G2、B2をそれぞれ透過する5つのフィルターで構成されてもよい。この場合、回転フィルター130を回転させ、モノクロの撮像素子により、R画像、G画像、B画像、G2画像、B2画像を順次撮像し、R画像、G画像、B画像から通常光画像を生成し、G2画像、B2画像から特殊光画像を生成してもよい。
以上の実施形態によれば、内視鏡装置は、撮像画像の撮影条件を変更する制御を行う制御部310を含む。シーン変化検出部360は、制御部310により撮影条件が変更されたことを検出した場合に、シーン変化が生じたと判定する。
このようにすれば、撮影条件が変わったことにより画像の色やコントラストが変化する場合であっても、制御部310により撮影条件が変更されたことをシーン変化として検出することで、シーン変化に応じた高精度の合焦判定を行うことが可能となる。即ち、画像からシーン変化を検出することなく、制御信号からシーン変化を検出することができる。
ここで、撮影条件の変更とは、フォーカス制御に用いられる撮像画像の合焦評価値に影響を与えるような(例えば画像の色やコントラストが変動するような)撮影条件の変更のことであり、例えば観察モードの変更や画像処理の変更等を含む。フォーカス変動によるコントラスト低下はシーン変化に含まれないことから、フォーカス変動は撮影条件の変更には含まない。撮影条件は、例えば、外部I/F部500を介したユーザー操作によって変更される。あるいは、ユーザー操作に依らず、制御部310の制御処理によって変更されてもよい。観察モードの変更には、例えば照明光や、露出条件、ズーム倍率等を設定するモードの変更が含まれる。画像処理の変更には、例えば階調変換処理における階調特性の変更、色変換処理における色変換特性の変更、ノイズ低減処理におけるノイズ低減度合いの変更、コントラスト強調処理におけるコントラスト強調度合いの変更等が含まれる。
また本実施形態では、図8〜図11で説明したように、観察モードは、白色の波長帯域における情報を有した画像である通常光画像を撮像する通常光観察モードと、特定の波長帯域における情報を有した画像である特殊光画像を撮像する特殊光観察モードである。
通常光画像と特殊光画像では、波長帯域が異なることから画像の色やコントラストが異なると考えられる。この点、本実施形態では、通常光観察モードと特殊光観察モードを切り替えた場合に、シーン変化として検出するので、通常光画像と特殊光画像に応じた判定条件を設定して合焦判定を行うことができる。
また、本実施形態では、特定の波長帯域は、白色の波長帯域(例えば380nm〜650nm)よりも狭い帯域である。例えば、通常光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、390nm〜445nm(第1の狭帯域光、狭帯域光のB2成分)、または530nm〜550nm(第2の狭帯域光、狭帯域光のG2成分)である。
これにより、いわゆるNBI(Narrow Band Imaging)を行うことが可能となり、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変等を褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
なお、本実施形態では、取得された通常光画像に基づいて、特殊光画像を生成する特殊光画像取得部を含んでもよい。例えば、図8の内視鏡装置において、回転フィルター130を省略して光源部100が白色照明光を発生し、特殊光画像取得部332が、通常光画像取得部331から通常光画像を取得し、取得した通常光画像から特殊光画像を生成してもよい。
具体的には、特殊光画像取得部332は、取得された通常光画像から、白色の波長帯域における信号を抽出する信号抽出部を含む。そして、特殊光画像取得部332は、抽出された白色光の波長帯域における信号に基づいて、特定の波長帯域における信号を含む特殊光画像を生成してもよい。例えば、信号抽出部は、通常光画像のRGB信号から10nm刻みに被写体の分光反射率特性を推定し、特殊光画像取得部332は、その推定された信号成分を上記特定の帯域で積算して特殊光画像を生成する。
より具体的には、特殊光画像取得部332は、白色光の波長帯域における信号から、特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含んでもよい。そして、特殊光画像取得部332は、設定されたマトリクスデータを用いて、白色の波長帯域における信号から特定の波長帯域における信号を算出して、特殊光画像を生成してもよい。例えば、マトリクスデータ設定部は、特定の波長帯域の照射光の分光特性が10nm刻みに記述されたテーブルデータをマトリクスデータとして設定する。そして、このテーブルデータに記述された分光特性(係数)を、10nm刻みに推定された被写体の分光反射率特性に乗算して積算し、特殊光画像を生成する。
これにより、通常光画像に基づいて特殊光画像を生成することができるため、通常光を照射する1つの光源と、通常光を撮像する1つの撮像素子のみでもシステムを実現することが可能になる。そのため、カプセル型内視鏡や、スコープ型内視鏡の挿入部を小さくすることができ、また部品が少なくてすむためコストを下げる効果も期待できる。
以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 光源部、110 白色光源、120 集光レンズ、
130 回転フィルター、200 撮像部、210 ライトガイドファイバー、
220 照明レンズ、230 対物レンズ系、240 フォーカスレンズ、
250 フォーカスレンズ駆動部、260 撮像素子、300 制御装置、
310 制御部、320 A/D変換部、330 画像処理部、
331 通常光画像取得部、332 特殊光画像取得部、
340 目標合焦位置決定部、341 合焦評価値算出部、342 合焦判定部、
343 決定部、344 閾値算出部、350 合焦物体位置切替部、
360 シーン変化検出部、400 表示部、500 外部I/F部、
BD 被写界深度の境界、DNEAR,DFAR 被写界深度、
F1,F2 フィルター、LNEAR,LFAR フォーカスレンズ位置、
NEAR,FAR 合焦物体位置、
Th_Focus,Th_Focus_New 合焦閾値、
Val_Near,Val_Far 合焦評価値、X 距離

Claims (21)

  1. 切り替え可能な第1合焦物体位置及び第2合焦物体位置のうちいずれかを選択することで、撮像部の合焦物体位置を切り替える制御を行う合焦物体位置切替部と、
    前記撮像部により取得された撮像画像に基づいて合焦評価値を算出し、前記合焦物体位置切替部が切り替える先の前記合焦物体位置である目標合焦位置を、前記合焦評価値に基づいて決定する目標合焦位置決定部と、
    前記撮像画像に基づいてシーン変化を検出するシーン変化検出部と、
    を含み、
    前記目標合焦位置決定部は、
    前記シーン変化検出部により前記シーン変化が検出されるまでの間は、前記合焦評価値が判定基準を満たすか否かの判定を行い、前記合焦評価値が前記判定基準を満たさないと判定した場合には、前記第1合焦物体位置及び前記第2合焦物体位置のうち選択されている一方とは異なる他方を、前記目標合焦位置として決定することを特徴とする内視鏡装置。
  2. 請求項1において、
    前記目標合焦位置決定部は、
    前記シーン変化検出部により前記シーン変化が検出された場合、前記判定基準を更新することを特徴とする内視鏡装置。
  3. 請求項2において、
    前記目標合焦位置決定部は、
    前記シーン変化検出部により前記シーン変化が検出された場合、前記第1合焦物体位置及び前記第2合焦物体位置を順次選択し、合焦度合いが高いほど値が大きくなる前記合焦評価値として、前記第1合焦物体位置での第1合焦評価値と、前記第2合焦物体位置での第2合焦評価値とを算出し、
    前記目標合焦位置決定部は、
    前記第2合焦評価値よりも前記第1合焦評価値が大きい場合には、前記目標合焦位置を前記第1合焦物体位置に決定し、前記第1合焦評価値よりも前記第2合焦評価値が大きい場合には、前記目標合焦位置を前記第2合焦物体位置に決定することを特徴とする内視鏡装置。
  4. 請求項3において、
    前記判定基準は、前記合焦評価値が閾値よりも大きいという条件であり、
    前記目標合焦位置決定部は、
    前記第1合焦評価値及び前記第2合焦評価値のうち少なくとも一方に基づいて前記閾値を更新することを特徴とする内視鏡装置。
  5. 請求項4において、
    前記目標合焦位置決定部は、
    前記第2合焦評価値よりも前記第1合焦評価値が大きい場合には、1よりも小さい所定係数を前記第1合焦評価値に乗じて前記閾値を求め、前記第1合焦評価値よりも前記第2合焦評価値が大きい場合には、前記所定係数を前記第2合焦評価値に乗じて前記閾値を求めることを特徴とする内視鏡装置。
  6. 請求項4において、
    被写体までの距離を変化させた場合の、前記第1合焦評価値及び前記第2合焦評価値の特性情報をテーブルとして記憶する記憶部を含み、
    前記目標合焦位置決定部は、
    前記算出した前記第1合焦評価値及び前記第2合焦評価値の比を求め、前記比に基づいて前記テーブルを探索して、前記第1合焦評価値及び前記第2合焦評価値が等しくなるときの合焦評価値を推定し、前記推定した合焦評価値に所定係数を乗じて前記閾値を求めることを特徴とする内視鏡装置。
  7. 請求項1において、
    前記シーン変化検出部は、
    前記撮像部により順次取得された複数の撮像画像のうち、第1撮像画像の画像信号と、前記第1撮像画像よりも前に取得された第2撮像画像の画像信号とを比較することにより、前記シーン変化を検出することを特徴とする内視鏡装置。
  8. 請求項7において、
    前記シーン変化検出部は、
    前記第1撮像画像の画像信号と前記第2撮像画像の画像信号との間の変化量を求め、前記変化量が閾値よりも大きい場合に、前記シーン変化が生じたと判定することを特徴とする内視鏡装置。
  9. 請求項7において、
    前記シーン変化検出部は、
    前記第1撮像画像と前記第2撮像画像との間の動き検出の結果に基づいて、前記シーン変化を検出することを特徴とする内視鏡装置。
  10. 請求項1において、
    前記撮像画像の撮影条件を変更する制御を行う制御部を含み、
    前記シーン変化検出部は、
    前記制御部により前記撮影条件が変更されたことを検出した場合に、前記シーン変化が生じたと判定することを特徴とする内視鏡装置。
  11. 請求項10において、
    前記制御部は、
    操作部により受け付けられたユーザーからの操作情報に基づいて、前記撮像画像の撮影条件を変更する制御を行うことを特徴とする内視鏡装置。
  12. 請求項10において、
    前記制御部は、
    前記撮影条件として観察モードを設定し、
    前記シーン変化検出部は、
    前記制御部により前記観察モードが変更されたことを検出した場合に、前記シーン変化が生じたと判定することを特徴とする内視鏡装置。
  13. 請求項12において、
    前記観察モードは、
    白色の波長帯域における情報を有した画像である通常光画像を撮像する通常光観察モードと、特定の波長帯域における情報を有した画像である特殊光画像を撮像する特殊光観察モードであることを特徴とする内視鏡装置。
  14. 請求項13において、
    前記特定の波長帯域は、
    前記白色の波長帯域よりも狭い帯域であることを特徴とする内視鏡装置。
  15. 請求項14において、
    前記通常光画像及び前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする内視鏡装置。
  16. 請求項15において、
    前記特定の波長帯域は、390nm〜445nm、または530nm〜550nmであることを特徴とする内視鏡装置。
  17. 請求項10において、
    前記撮像画像に対してコントラスト強調処理を行う画像処理部を含み、
    前記制御部は、
    前記観察条件として、前記コントラスト強調処理における強調度合いを設定し、
    前記シーン変化検出部は、
    前記制御部により前記コントラスト強調処理における前記強調度合いが変更された場合に、前記シーン変化が生じたと判定することを特徴とする内視鏡装置。
  18. 請求項10において、
    前記撮像画像に対してノイズ低減処理を行う画像処理部を含み、
    前記制御部は、
    前記観察条件として、前記ノイズ低減処理における低減度合いを設定し、
    前記シーン変化検出部は、
    前記制御部により、前記ノイズ低減処理における前記低減度合いが変更された場合に、前記シーン変化が生じたと判定することを特徴とする内視鏡装置。
  19. 請求項10において、
    前記判定基準は、前記合焦評価値が閾値よりも大きいという条件であり、
    前記目標合焦位置決定部は、
    前記シーン変化検出部により前記撮影条件の変更が前記シーン変化として検出された場合、前記撮影条件の変更内容に応じた所定係数を現在の前記閾値に乗じて新たな閾値を求め、前記新たな閾値を前記閾値として用いることを特徴とする内視鏡装置。
  20. 請求項19において、
    前記目標合焦位置決定部は、
    前記シーン変化検出部により前記撮影条件の変更が前記シーン変化として検出された場合には、前記第1合焦物体位置及び前記第2合焦物体位置のうち前記撮像部の前記合焦物体位置として選択されている一方を前記目標合焦位置として維持し、前記新たな閾値に更新された前記閾値よりも前記合焦評価値が大きいと判定したときに、前記第1合焦物体位置及び前記第2合焦物体位置のうち前記一方とは異なる他方を前記目標合焦位置に設定することを特徴とする内視鏡装置。
  21. 撮像部により取得された撮像画像に基づいて合焦評価値を算出し、
    前記撮像画像に基づいてシーン変化を検出し、
    前記シーン変化が検出されるまでの間は、前記合焦評価値が判定基準を満たすか否かの判定を行い、
    前記合焦評価値が前記判定基準を満たさないと判定した場合には、前記撮像部の切り替え可能な合焦物体位置である第1合焦物体位置及び第2合焦物体位置のうち選択されている一方とは異なる他方を、目標合焦位置に決定し、
    前記撮像部の前記合焦物体位置を前記目標合焦位置に切り替える制御を行うことを特徴とする内視鏡装置のフォーカス制御方法。
JP2012104472A 2012-05-01 2012-05-01 内視鏡装置及び内視鏡装置のフォーカス制御方法 Active JP6120491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012104472A JP6120491B2 (ja) 2012-05-01 2012-05-01 内視鏡装置及び内視鏡装置のフォーカス制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012104472A JP6120491B2 (ja) 2012-05-01 2012-05-01 内視鏡装置及び内視鏡装置のフォーカス制御方法

Publications (3)

Publication Number Publication Date
JP2013230289A true JP2013230289A (ja) 2013-11-14
JP2013230289A5 JP2013230289A5 (ja) 2015-07-02
JP6120491B2 JP6120491B2 (ja) 2017-04-26

Family

ID=49677318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012104472A Active JP6120491B2 (ja) 2012-05-01 2012-05-01 内視鏡装置及び内視鏡装置のフォーカス制御方法

Country Status (1)

Country Link
JP (1) JP6120491B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015093412A1 (ja) * 2013-12-16 2015-06-25 オリンパス株式会社 内視鏡装置
CN105848558A (zh) * 2013-12-27 2016-08-10 奥林巴斯株式会社 内窥镜装置、内窥镜装置的控制方法以及程序
US9451876B2 (en) 2013-10-21 2016-09-27 Olympus Corporation Endoscope system and focus control method for endoscope system
CN107847107A (zh) * 2015-07-15 2018-03-27 索尼公司 医疗用观察装置与医疗用观察方法
CN115251808A (zh) * 2022-09-22 2022-11-01 深圳市资福医疗技术有限公司 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288432A (ja) * 2005-04-05 2006-10-26 Olympus Medical Systems Corp 電子内視鏡
WO2012029357A1 (ja) * 2010-08-30 2012-03-08 オリンパスメディカルシステムズ株式会社 内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006288432A (ja) * 2005-04-05 2006-10-26 Olympus Medical Systems Corp 電子内視鏡
WO2012029357A1 (ja) * 2010-08-30 2012-03-08 オリンパスメディカルシステムズ株式会社 内視鏡装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451876B2 (en) 2013-10-21 2016-09-27 Olympus Corporation Endoscope system and focus control method for endoscope system
WO2015093412A1 (ja) * 2013-12-16 2015-06-25 オリンパス株式会社 内視鏡装置
JP5881910B2 (ja) * 2013-12-16 2016-03-09 オリンパス株式会社 内視鏡装置
CN105682531A (zh) * 2013-12-16 2016-06-15 奥林巴斯株式会社 内窥镜装置
JPWO2015093412A1 (ja) * 2013-12-16 2017-03-16 オリンパス株式会社 内視鏡装置
US10070776B2 (en) 2013-12-16 2018-09-11 Olympus Corporation Endoscope device with lens moving unit for changing observation depth based on captured images
CN105848558A (zh) * 2013-12-27 2016-08-10 奥林巴斯株式会社 内窥镜装置、内窥镜装置的控制方法以及程序
EP3087904A4 (en) * 2013-12-27 2017-11-01 Olympus Corporation Endoscopic device, method for controlling endoscopic device, and program
US10574874B2 (en) 2013-12-27 2020-02-25 Olympus Corporation Endoscope apparatus, method for controlling endoscope apparatus, and information storage device
CN107847107A (zh) * 2015-07-15 2018-03-27 索尼公司 医疗用观察装置与医疗用观察方法
JPWO2017010157A1 (ja) * 2015-07-15 2018-05-24 ソニー株式会社 医療用観察装置及び医療用観察方法
CN115251808A (zh) * 2022-09-22 2022-11-01 深圳市资福医疗技术有限公司 基于场景指导的胶囊内窥镜控制方法、装置及存储介质

Also Published As

Publication number Publication date
JP6120491B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
US9498153B2 (en) Endoscope apparatus and shake correction processing method
US9492059B2 (en) Endoscope apparatus, information storage device, and image processing method
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6013020B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5948076B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5346856B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP5973708B2 (ja) 撮像装置及び内視鏡装置
JP5951211B2 (ja) 合焦制御装置及び内視鏡装置
JP5562808B2 (ja) 内視鏡装置及びプログラム
US20160128545A1 (en) Endoscope apparatus and method for controlling endoscope apparatus
US9451876B2 (en) Endoscope system and focus control method for endoscope system
JP5663331B2 (ja) 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP6120491B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2014050594A (ja) 内視鏡システム及び内視鏡画像の取得方法
JP2013043007A (ja) 焦点位置制御装置、内視鏡装置及び焦点位置制御方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
JP6177387B2 (ja) 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法
JP5990141B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP7209557B2 (ja) 画像取得装置及び画像取得方法
JP2012120618A (ja) 制御装置、内視鏡装置及び絞り制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R151 Written notification of patent or utility model registration

Ref document number: 6120491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250