JP2018138141A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2018138141A
JP2018138141A JP2017033935A JP2017033935A JP2018138141A JP 2018138141 A JP2018138141 A JP 2018138141A JP 2017033935 A JP2017033935 A JP 2017033935A JP 2017033935 A JP2017033935 A JP 2017033935A JP 2018138141 A JP2018138141 A JP 2018138141A
Authority
JP
Japan
Prior art keywords
unit
subject
distance
brightness
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017033935A
Other languages
English (en)
Other versions
JP6904727B2 (ja
Inventor
泰平 道畑
Taihei Michihata
泰平 道畑
山田 雄一
Yuichi Yamada
雄一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2017033935A priority Critical patent/JP6904727B2/ja
Priority to US15/893,796 priority patent/US10485629B2/en
Publication of JP2018138141A publication Critical patent/JP2018138141A/ja
Application granted granted Critical
Publication of JP6904727B2 publication Critical patent/JP6904727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】利便性の向上を図ること。【解決手段】内視鏡装置1は、被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、被写体像を撮像する撮像部54と、撮像部54による撮像で得られる撮像画像の明るさを変更するための明るさパラメータに応じて、当該撮像画像の明るさを変更する明るさ変更部100と、明るさパラメータに基づいて、挿入部の先端と被写体との被写体距離を算出する被写体距離算出部954と、被写体距離に関する距離情報を報知する距離情報報知部200とを備える。【選択図】図2

Description

本発明は、人や機械構造物等の被検体内を観察する内視鏡装置に関する。
従来、医療分野や工業分野において、人や機械構造物等の被検体内を観察する内視鏡装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の内視鏡装置は、被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、当該被写体像を撮像して画像信号を出力する撮像部(撮像素子)と、当該画像信号を処理して表示用の映像信号を生成する制御装置と、当該映像信号に基づく画像を表示する表示装置とを備える。
特開2015−134039号公報
ところで、手術等で内視鏡装置を使用する場合には、被検体内(生体内)に挿入部と電気メス等の処置具とをそれぞれ挿入し、表示装置に表示された画像を確認しながら、処置対象とする生体組織を当該処置具にて処置(接合(若しくは吻合)及び切離等))する場合がある。
このような場合において、挿入部の先端と被写体(処置対象とする生体組織)との被写体距離が短いと、処置時に発生するミストにより挿入部の先端が汚れてしまう場合がある。特に、内視鏡装置では、挿入部を生体内に挿入しているため、医師等は、被写体距離が短いか否かを目視することができない。そして、挿入部の先端が汚れてしまった場合には、当該汚れが被写体像に含まれるため、表示装置に表示された画像から処置対象とする生体組織を認識することが難しくなり、処置を円滑に実行することができない。このため、医師等は、生体内から挿入部を引き抜き、当該挿入部の先端の汚れを除去した後、改めて当該挿入部を生体内に挿入し、処置を継続する必要がある。すなわち、医師等に煩雑な作業を強いることとなり、利便性の向上を図ることができない、という問題がある。
本発明は、上記に鑑みてなされたものであって、利便性の向上を図ることができる内視鏡装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡装置は、被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、前記被写体像を撮像する撮像部と、前記撮像部による撮像で得られる撮像画像の明るさを変更するための明るさパラメータに応じて、当該撮像画像の明るさを変更する明るさ変更部と、前記明るさパラメータに基づいて、前記挿入部の先端と被写体との被写体距離を算出する被写体距離算出部と、前記被写体距離に関する距離情報を報知する距離情報報知部とを備えることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像部は、複数の画素を有する撮像素子を備え、前記明るさ変更部は、前記撮像素子を含み、前記明るさパラメータである前記画素の露光時間を変更して前記撮像画像の明るさを変更することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像部は、複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、前記アナログ信号にアナログゲインを乗算する信号処理部とを備え、前記明るさ変更部は、前記信号処理部を含み、前記明るさパラメータである前記アナログゲインを変更して前記撮像画像の明るさを変更することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像部は、複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、前記アナログ信号をデジタル信号に変換する信号処理部とを備え、前記明るさ変更部は、前記デジタル信号に前記明るさパラメータであるデジタルゲインを乗算するデジタルゲイン乗算部を含み、当該デジタルゲインを変更して前記撮像画像の明るさを変更することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記挿入部の先端から被写体に照射する光を当該挿入部に供給する光源装置をさらに備え、前記明るさ変更部は、前記光源装置を含み、前記明るさパラメータである前記光量を変更して前記撮像画像の明るさを変更することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像画像における画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備え、前記被写体距離算出部は、前記明るさパラメータを前記被写体距離に換算することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記被写体距離算出部は、前記撮像画像における画素毎の輝度信号と前記明るさパラメータとに基づいて前記明るさ変更部にて明るさが変更される前の前記撮像画像における画素毎の輝度信号を算出し、当該明るさが変更される前の撮像画像における画素毎の輝度信号に基づいて前記被写体距離を算出することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像画像は、前記被写体像と、当該被写体像以外のマスク領域とを含み、当該内視鏡装置は、前記撮像画像における画素毎の輝度信号に基づいて、前記被写体像及び前記マスク領域の境界点を検出するエッジ検出部と、前記撮像画像における前記エッジ検出部にて検出された境界点で囲まれる領域内の画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備えることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記被写体距離が基準距離以内であるか否かを判定する距離判定部をさらに備え、前記距離情報報知部は、前記距離判定部にて前記被写体距離が前記基準距離を超えていると判定された場合と当該基準距離以内であると判定された場合とで、異なる報知状態で前記距離情報を報知することを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記被検体内に挿入される処置具の使用状態を検出する処置具検出部をさらに備え、前記基準距離は、第1基準距離と、当該第1基準距離よりも長い第2基準距離の2つ設けられ、前記距離判定部は、前記処置具検出部にて前記処置具の使用状態が検出されていない場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記処置具の使用状態が検出された場合には前記基準距離として前記第2基準距離を用いることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記処置具検出部は、前記撮像画像に基づいて、当該撮像画像内の前記被写体像に前記処置具が含まれているか否かを判定することにより前記使用状態を検出し、前記距離判定部は、前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていないと判定された場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていると判定された場合には前記基準距離として前記第2基準距離を用いることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、光軸に沿って移動することで焦点を調整するフォーカスレンズを有し、前記挿入部にて取り込まれた前記被写体像を前記撮像部に結像するレンズユニットと、前記フォーカスレンズを移動させるレンズ駆動部と、前記レンズ駆動部の動作を制御するレンズ制御部とをさらに備え、前記レンズ制御部は、前記距離判定部にて前記被写体距離が前記基準距離以内であると判定された場合に、前記レンズ駆動部を動作させ、当該被写体距離が当該基準距離の時に前記被写体像が合焦状態となるレンズ位置に前記フォーカスレンズを移動させることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記距離情報報知部は、前記距離情報を表示する表示部と、前記表示部の動作を制御する表示制御部とを備えることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記距離情報報知部は、前記距離情報を音声出力する音声出力部と、前記音声出力部の動作を制御する音声制御部とを備えることを特徴とする。
また、本発明に係る内視鏡装置では、上記発明において、前記撮像画像に含まれる前記被写体像を拡大する像拡大部をさらに備えることを特徴とする。
本発明に係る内視鏡装置は、撮像画像の明るさを変更するための明るさパラメータに基づいて、被写体距離を算出する。そして、当該内視鏡装置は、当該被写体距離に関する距離情報を報知する。
このため、内視鏡装置の利用者は、報知された距離情報に基づいて、挿入部の先端が被写体に対して不要に近付き過ぎているか否かを判断することができ、不要に近付き過ぎていると判断した場合には、被写体から挿入部の先端を遠ざけることができる。例えば、本発明に係る内視鏡装置を医療分野に用いた場合には、処置具の処置対象とする生体組織に挿入部の先端が近付き過ぎることを回避することができ、処置具による処置時に発生するミストにて当該挿入部の先端が汚れてしまうことを回避することができる。すなわち、挿入部を生体内から引き抜いて当該挿入部の先端の汚れを除去するという煩雑な作業を医師等に行わせることを回避することができる。
以上のことから、本発明に係る内視鏡装置によれば、利便性の向上を図ることができる、という効果を奏する。
図1は、本実施の形態1に係る内視鏡装置の概略構成を示す図である。 図2は、カメラヘッド及び制御装置の構成を示すブロック図である。 図3は、レンズ制御部によるAF処理を説明する図である。 図4は、レンズ制御部によるAF処理を説明する図である。 図5は、レンズ制御部によるAF処理を説明する図である。 図6は、明るさパラメータと輝度平均値との関係の一例を示す図である。 図7は、内視鏡装置の動作を示すフローチャートである。 図8は、第1報知状態の一例を示す図である。 図9は、第2報知状態の一例を示す図である。 図10は、本実施の形態2に係る内視鏡装置の概略構成を示す図である。 図11は、内視鏡装置の動作を示すフローチャートである。 図12は、本実施の形態3に係る内視鏡装置の概略構成を示す図である。 図13は、内視鏡装置の動作を示すフローチャートである。 図14は、マスクエッジ検出処理を説明する図である。 図15は、本実施の形態4に係る内視鏡装置の概略構成を示す図である。 図16は、内視鏡装置の動作を示すフローチャートである。 図17は、処置具検出処理を説明する図である。 図18は、処置具検出処理を説明する図である。 図19は、ステップS17での第1報知状態の一例を示す図である。 図20は、ステップS18での第2報知状態の一例を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔内視鏡装置の概略構成〕
図1は、本実施の形態1に係る内視鏡装置1の概略構成を示す図である。
内視鏡装置1は、医療分野において用いられ、生体内を観察する装置である。この内視鏡装置1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
挿入部2は、硬性鏡で構成されている。すなわち、挿入部2は、硬質または少なくとも一部が軟質で細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
カメラヘッド5は、挿入部2の基端(接眼部21(図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された被写体像を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
第1伝送ケーブル6は、一端がコネクタCN1(図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、制御装置9による制御の下、当該制御装置9からの映像信号に基づく表示画像を表示するとともに、当該制御装置9からの制御信号に応じて音声を出力する。この表示装置7は、表示部71と、音声出力部72とを備える(図2参照)。
表示部71は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイを用いて構成され、制御装置9からの映像信号に基づく表示画像を表示する。
音声出力部72は、スピーカ等を用いて構成され、制御装置9からの制御信号に応じて挿入部2の先端と被写体との被写体距離に関する距離情報を音声出力する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号、及び制御装置9から出力される制御信号を表示装置7に伝送する。
制御装置9は、CPU(Central Processing Unit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
レンズユニット51は、光軸に沿って移動可能な複数のレンズを用いて構成され、挿入部2にて集光された被写体像を撮像部54(撮像素子541(図2))の撮像面に結像する。このレンズユニット51は、図2に示すように、フォーカスレンズ511と、ズームレンズ512とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。そして、ズームレンズ512は、本発明に係る像拡大部としての機能を有する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部52は、図2に示すように、上述したフォーカス機構や光学ズーム機構を動作させるモータ521と、当該モータ521を駆動するドライバ522とを備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点や画角を調整する。
レンズ位置検出部53は、フォトインタラプタ等の位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)やズームレンズ512のレンズ位置(以下、ズーム位置と記載)を検出する。そして、レンズ位置検出部53は、第1伝送ケーブル6を介して、フォーカス位置及びズーム位置に応じた検出信号を制御装置9に出力する。
撮像部54は、制御装置9による制御の下、生体内を撮像する。この撮像部54は、図2に示すように、撮像素子541と、信号処理部542とを備える。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
通信部55は、第1伝送ケーブル6を介して、撮像部54から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部55は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、検波処理部93と、表示制御部94と、制御部95と、入力部96と、出力部97と、記憶部98とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
画像処理部92は、制御部95による制御の下、カメラヘッド5(通信部55)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。
例えば、画像処理部92は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。すなわち、画像処理部92は、本発明に係るデジタルゲイン乗算部としての機能を有する。また、画像処理部92は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、画像処理部92は、当該RGB信号(画像信号)に対して、ホワイトバランス、RGBガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,C/C信号)に変換)等のRGB処理を施す。また、画像処理部92は、当該Y,C/C信号(画像信号)に対して、色差補正及びノイズリダクション等のYC処理を実行する。
検波処理部93は、画像処理部92にて処理された画像信号(Y,C/C信号)を入力し、当該画像信号(Y,C/C信号)に基づいて、検波処理を実行する。
例えば、検波処理部93は、撮像素子541にて撮像された1フレームの撮像画像全体における所定の領域(以下、検波領域と記載)の画素毎の画素情報(輝度信号(Y信号))に基づいて、当該検波領域内の画像のコントラストや周波数成分を検出するとともに、当該検波領域内の画像の輝度平均値を検出する。そして、検波処理部93は、当該検出により得られた検波情報(コントラストや周波数成分、及び輝度平均値)を制御部95に出力する。
表示制御部94は、制御部95による制御の下、OSD(オンスクリーンディスプレイ)処理等により、画像処理部92にて処理された画像信号(Y,C/C信号)に基づく撮像画像上に挿入部2の先端と被写体との被写体距離に関する距離情報を重畳した表示用の映像信号を生成する。そして、表示制御部94は、第2伝送ケーブル8を介して、当該映像信号を表示装置7(表示部71)に出力する。
制御部95は、例えば、CPU等を用いて構成され、第1〜第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部95は、図2に示すように、レンズ制御部951と、パラメータ算出部952と、明るさ制御部953と、被写体距離算出部954と、距離判定部955と、音声制御部956とを備える。
レンズ制御部951は、レンズ駆動部52を動作させ、レンズユニット51の焦点や画角を調整(フォーカス位置やズーム位置を変更)する。例えば、レンズ制御部951は、以下に示すように、レンズ位置検出部53にて検出されたフォーカス位置、及び検波処理部93から出力された検波情報に基づいて、AF処理を実行する。
図3ないし図5は、レンズ制御部951によるAF処理を説明する図である。具体的に、図3は、挿入部2の先端と被写体Suとの被写体距離DSを示す図である。図4は、被写体距離DSが基準距離D1よりも長い場合でのレンズ制御部951によるAF処理を説明する図である。図5は、被写体距離DSが基準距離D1以内である場合でのレンズ制御部951によるAF処理を説明する図である。
具体的に、レンズ制御部951は、検波処理部93から出力された検波情報(コントラストや周波数成分)に基づいて、撮像画像に含まれる被写体像の合焦状態を評価するための合焦評価値を算出する。例えば、レンズ制御部951は、検波処理部93にて検出されたコントラストや、検波処理部93にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
そして、レンズ制御部951は、図4に示すように、レンズ駆動部52を動作させ、フォーカス位置を変更しながら、順次、合焦評価値を算出するとともに、レンズ位置検出部53にて検出されたフォーカス位置と当該フォーカス位置に対応した合焦評価値とを関連付けたフォーカス情報を記憶部98に順次、記憶させる。この後、レンズ制御部951は、記憶部98に記憶させた複数のフォーカス情報に基づいて、合焦評価値が最大値となるピーク位置(フォーカス位置P1)を算出する。また、レンズ制御部951は、当該フォーカス位置P1とレンズ位置検出部53にて検出された現時点のフォーカス位置とに基づいて、当該現時点のフォーカス位置から当該フォーカス位置P1にフォーカスレンズ511を移動させるための移動方向と移動量とを算出する。そして、レンズ制御部951は、当該移動方向及び当該移動量に応じた制御信号をレンズ駆動部52に出力し、当該フォーカス位置P1にフォーカスレンズ511を位置付ける。以上のように、本実施の形態1では、レンズ制御部951は、所謂、山登り法によりAF処理を実行する。
なお、上述したAF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
ここで、被写体距離DSが基準距離D1以内である場合には、検波処理が行われる検波領域は、被写体Suの極めて狭い領域となる。このため、検波処理の精度が悪くなり、図5に示すように、フォーカス位置を変更しても合焦評価値に目立ったピークが存在しない。すなわち、レンズ制御部951は、撮像装置に含まれる被写体像が合焦状態とならない誤ったピーク位置(フォーカス位置P2(図5))を算出し、当該フォーカス位置P2にフォーカスレンズ511を位置付けてしまう場合がある。そして、AF処理がワンタッチAFである場合には、医師等は、撮像装置に含まれる被写体像を合焦状態とするために、カメラヘッド5等に設けられた操作ボタン(図示略)を何度も操作することとなる。
パラメータ算出部952は、検波処理部93から出力された検波情報(輝度平均値)に基づいて、撮像部54による撮像で得られる撮像画像の明るさを基準となる明るさに変更する(検波処理により得られる輝度平均値を基準となる輝度平均値に変更する)ための明るさパラメータを算出する。
本実施の形態1では、パラメータ算出部952は、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、画像処理部92にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
図6は、明るさパラメータと輝度平均値との関係の一例を示す図である。具体的に、図6(a)は、露光時間と輝度平均値との関係を示している。図6(b)は、アナログゲインと輝度平均値との関係を示している。図6(c)は、デジタルゲインと輝度平均値との関係を示している。図6(d)は、光量と輝度平均値との関係を示している。なお、図6に示した横軸は、輝度平均値を示しており、右に向かうにしたがって輝度平均値が高い(左に向かうにしたがって輝度平均値が低い)ものである。
具体的に、パラメータ算出部952は、例えば、図6(a)に示した関係を用いて、検波処理部93から出力された検波情報(輝度平均値)に対応する露光時間(明るさパラメータ)を算出する。なお、図6(a)において、輝度平均値BV1は、輝度平均値BV2よりも高い値である。また、露光時間ET1は、露光時間ET2よりも短い時間である。そして、図6(a)の例では、露光時間と輝度平均値との関係として、輝度平均値BV1よりも高い輝度平均値である場合には露光時間ET1とし、輝度平均値BV2よりも低い輝度平均値である場合には露光時間ET2とし、輝度平均値BV1から輝度平均値BV2にかけて露光時間を露光時間ET1から露光時間ET2まで一定の割合で増加させた関係を示している。
また、パラメータ算出部952は、例えば、図6(b)に示した関係を用いて、検波処理部93から出力された検波情報(輝度平均値)に対応するアナログゲイン(明るさパラメータ)を算出する。なお、図6(b)において、輝度平均値BV3は、輝度平均値BV2よりも低い値である。また、アナログゲインAG1は、アナログゲインAG2よりも小さい値である。そして、図6(b)の例では、アナログゲインと輝度平均値との関係として、輝度平均値BV2よりも高い輝度平均値である場合にはアナログゲインAG1とし、輝度平均値BV3よりも低い輝度平均値である場合にはアナログゲインAG2とし、輝度平均値BV2から輝度平均値BV3にかけてアナログゲインをアナログゲインAG1からアナログゲインAG2まで一定の割合で増加させた関係を示している。
また、パラメータ算出部952は、例えば、図6(c)に示した関係を用いて、検波処理部93から出力された検波情報(輝度平均値)に対応するデジタルゲイン(明るさパラメータ)を算出する。なお、図6(c)において、輝度平均値BV4は、輝度平均値BV3よりも低い値である。また、デジタルゲインDG1は、デジタルゲインDG2よりも小さい値である。そして、図6(c)の例では、デジタルゲインと輝度平均値との関係として、輝度平均値BV3よりも高い輝度平均値である場合にはデジタルゲインDG1とし、輝度平均値BV4よりも低い輝度平均値である場合にはデジタルゲインDG2とし、輝度平均値BV3から輝度平均値BV4にかけてデジタルゲインをデジタルゲインDG1からデジタルゲインDG2まで一定の割合で増加させた関係を示している。
また、パラメータ算出部952は、例えば、図6(d)に示した関係を用いて、検波処理部93から出力された検波情報(輝度平均値)に対応する光量(明るさパラメータ)を算出する。そして、図6(d)の例では、光量と輝度平均値との関係として、輝度平均値BV1よりも低い輝度平均値である場合には光量AL1とし、輝度平均値が輝度平均値BV1よりも低くなるにしたがって光量を光量AL1から一定の割合で減少させた関係を示している。
以上説明した明るさパラメータと輝度平均値との関係(例えば、図6に示した関係)は、例えば、LUT(ルックアップテーブル)等で記憶部98に予め記憶されている。
明るさ制御部953は、パラメータ算出部952にて算出された明るさパラメータに基づいて、撮像素子541、信号処理部542、画像処理部92、及び光源装置3の動作を制御する。
具体的に、明るさ制御部953は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部952にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部953は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部952にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部953は、画像処理部92に制御信号を出力し、当該画像処理部92にて乗算されるデジタルゲインをパラメータ算出部952にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部953は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の光量をパラメータ算出部952にて算出された光量(明るさパラメータ)とする。
すなわち、撮像素子541、信号処理部542、画像処理部92、及び光源装置3は、撮像部54による撮像で得られる撮像画像の明るさを変更する本発明に係る明るさ変更部100(図2)に相当する。
被写体距離算出部954は、被写体距離DSを算出する。
ところで、明るさ変更部100にて撮像画像の明るさを基準となる明るさに変更せずに(明るさパラメータを基準となる明るさパラメータに維持した状態で)、被写体距離DSを変更した場合には、被写体距離DSが短いほど検波処理部93にて検出される輝度平均値は高くなる。すなわち、被写体距離DSと輝度平均値との間には相関関係がある。したがって、当該相関関係を利用すれば、輝度平均値から被写体距離DSを算出することが可能となる。しかしながら、上述したように、撮像画像の明るさは、明るさ変更部100により基準となる明るさに変更される。すなわち、被写体距離DSを変更しても、検波処理部93にて検出される輝度平均値は、基準となる輝度平均値で一定となる。このため、上述した相関関係を利用しても、当該輝度平均値から被写体距離DSを算出することはできない。
ここで、パラメータ算出部952にて算出される明るさパラメータは、明るさ変更部100にて撮像画像の明るさが基準となる明るさに変更される前に検波処理部93にて検出された輝度平均値に基づいて算出されたものである。このため、当該明るさパラメータから、撮像画像の明るさが基準となる明るさに変更される前の輝度平均値、ひいては、被写体距離DSを算出することができる。
そこで、被写体距離算出部954は、パラメータ算出部952にて算出された明るさパラメータを所定の関係式やLUTを利用して被写体距離DSに換算する。
なお、本実施の形態1では、被写体距離算出部954は、被写体Suに挿入部2の先端が接触している状態を「0」とし、被写体Suから挿入部2の先端が十分に離間している状態を「100」として、「0」〜「100」の範囲で被写体距離DSを算出する。
距離判定部955は、被写体距離算出部954にて算出された被写体距離DSと基準距離DS1とを比較し、被写体距離DSが基準距離DS1以内であるか否かを判定する。
なお、基準距離DS1は、上述したように当該基準距離DS1以内の被写体距離DSである場合に誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い被写体距離DSのうち、最も長い被写体距離DSに相当する。また、基準距離DS1は、図3に示すように、電気メス等の処置具Ttによる処置時に発生するミストMiにより挿入部2の先端が汚れない被写体距離DSのうち、最も短い被写体距離DSに相当する。
なお、本実施の形態1では、基準距離DS1を「20」とする(被写体距離DSの範囲:「0」〜「100」)。この基準距離DS1は、記憶部98に予め記憶されている。
音声制御部956は、距離判定部955にて被写体距離DSが基準距離DS1以内であると判定された場合に、第2伝送ケーブル8を介して、制御信号を表示装置7(音声出力部72)に出力し、音声出力部72から音声を出力させる。
以上説明した表示部71、表示制御部94、音声出力部72、及び音声制御部956は、本発明に係る距離情報報知部200(図2)に相当する。
入力部96は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、ユーザによる操作を受け付ける。
出力部97は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部98は、制御部95が実行するプログラムや、制御部95の処理に必要な情報等を記憶する。
〔内視鏡装置の動作〕
次に、上述した内視鏡装置1の動作について説明する。
図7は、内視鏡装置1の動作を示すフローチャートである。
なお、以下では、検波処理部93、パラメータ算出部952、被写体距離算出部954、距離判定部955、及び距離情報報知部200の動作を主に説明する。
先ず、検波処理部93は、制御部95による制御の下、検波処理を実行する(ステップS1)。そして、検波処理部93は、検波処理により得られた検波情報を制御部95に出力する。
ステップS1の後、パラメータ算出部952は、ステップS1の検波処理により得られた検波情報(輝度平均値)に基づいて、明るさパラメータ(露光時間、アナログゲイン、デジタルゲイン、及び光量)を算出する(ステップS2)。
ステップS2の後、被写体距離算出部954は、ステップS2で算出された明るさパラメータ(露光時間、アナログゲイン、デジタルゲイン、及び光量)に基づいて、被写体距離DS(「0」〜「100」の範囲)を算出する(ステップS3)。
ステップS3の後、距離判定部955は、ステップS3で算出された被写体距離DSと基準距離DS1とを比較し(ステップS4)、被写体距離DSが基準距離DS1以内であるか否かを判定する(ステップS5)。
被写体距離DSが基準距離DS1を超えていると判定された場合(ステップS5:No)には、距離情報報知部200は、当該被写体距離DSに関する距離情報を第1報知状態で報知する(ステップS6)。この後、内視鏡装置1は、ステップS1に戻る。
図8は、第1報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS6において、図8に示すように、被写体距離DSに関する距離情報を第1報知状態で報知する。
具体的に、表示制御部94は、図8に示すように、被写体像SIを含む撮像画像CI上に被写体距離レベルメータLMを重畳した表示画像DIを表示装置7(表示部71)に表示させる。
ここで、被写体距離レベルメータLMは、図8に示すように、レベルバーLBと、スライダSLと、閾値マークSMとが配置されたものである。
レベルバーLBは、被写体距離DSの範囲(「0」〜「100」)に対応するスケールである。
スライダSLは、ステップS3で算出された被写体距離DSに対応するレベルバーLB上の位置を指示する。なお、図8の例では、スライダSLは、ステップS3で算出された被写体距離DSが基準距離DS1(「20」)を超えている(ステップS5:No)ため、当該被写体距離DSに対応するレベルバーLB上の位置に位置付けられている。
閾値マークSMは、基準距離DS1(「20」)を指し示すマークである。
一方、ステップS5において、被写体距離DSが基準距離DS1以内であると判定された場合(ステップS5:Yes)には、距離情報報知部200は、当該被写体距離DSに関する情報をステップS6での第1報知状態とは異なる第2報知状態で報知する(ステップS7)。この後、内視鏡装置1は、ステップS1に戻る。
図9は、第2報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS7において、図9に示すように、被写体距離DSに関する距離情報を第2報知状態で報知する。
具体的に、表示制御部94は、図9に示すように、上述した第1報知状態(図8)と同様に、撮像画像CI上に被写体距離レベルメータLMを重畳した表示画像DIを表示装置7(表示部71)に表示させる。
第2報知状態での被写体距離レベルメータLMでは、スライダSLは、図9に示すように、ステップS3で算出された被写体距離DSに対応するレベルバーLB上の位置を指示するとともに、点滅表示されている。なお、図9の例では、スライダSLは、ステップS3で算出された被写体距離DSが基準距離DS1(「20」)以内である(ステップS5:Yes)ため、当該被写体距離DSに対応するレベルバーLB上の位置に位置付けられている。
さらに、音声制御部956は、図9に示すように、表示装置7(音声出力部72)から警告音(図9の例では「ピピピッ」という音)を発生させる。
図8に示した被写体距離レベルメータLMは、第1報知状態での本発明に係る距離情報に相当する。また、図9に示した被写体距離レベルメータLM及び警告音は、第2報知状態での本発明に係る距離情報に相当する。すなわち、距離情報報知部200は、距離判定部955にて被写体距離DSが基準距離DS1を超えていると判定された場合と基準距離DS1以内であると判定された場合とで、互いに異なる報知状態(第1,第2報知状態)で本発明に係る距離情報を報知する。
以上説明した本実施の形態1によれば、以下の効果を奏する。
本実施の形態1に係る内視鏡装置1は、明るさパラメータを所定の関係式やLUTを利用して被写体距離DSに換算する。また、内視鏡装置1は、被写体距離DSが基準距離DS1以内であるか否かを判定する。すなわち、内視鏡装置1は、挿入部2の先端が処置具Ttによる処置時に発生するミストMiにて汚れてしまう範囲内、あるいは、誤ったフォーカス位置P2(被写体像SIが合焦状態とならない位置)にフォーカスレンズ511を位置付けてしまう可能性の高い範囲内に位置しているか否かを判定する。そして、内視鏡装置1は、被写体距離DSが基準距離DS1を超えている場合と基準距離DS1以内である場合とで、異なる報知状態(第1報知状態(図8)及び第2報知状態(図9))により、被写体距離DSに関する距離情報を報知する。
このため、医師等は、距離情報の報知状態の変化を認識することで、挿入部2の先端が処置具Ttによる処置時に発生するミストMiにて汚れてしまう範囲内に位置しているか否かを判断することができる。そして、医師等は、挿入部2の先端が当該範囲内に位置していると判断し、かつ、処置具Ttにて処置を実行する場合には、被写体Suから挿入部2の先端を遠ざけることで、ミストMiにて挿入部2の先端が汚れてしまうことを回避することができる。したがって、生体内から挿入部2を引き抜いて挿入部2の先端の汚れを除去するという煩雑な作業を医師等に行わせることを回避することができる。
また、医師等は、距離情報の報知状態の変化を認識することで、挿入部2の先端が誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い範囲内に位置しているか否かを判断することができる。そして、医師等は、挿入部2の先端が当該範囲内に位置していると判断した場合には、被写体Suから挿入部2の先端を遠ざけることができる。したがって、AF処理がワンタッチAFである場合において、被写体像SIを合焦状態とするためにカメラヘッド5等に設けられた操作ボタン(図示略)を何度も操作するという煩雑な作業を医師等に行わせることを回避することができる。
以上のことから、本実施の形態1に係る内視鏡装置1によれば、利便性の向上を図ることができる、という効果を奏する。
また、本実施の形態1に係る内視鏡装置1は、画角を変化させるズームレンズ512を備える。すなわち、ズームレンズ512により被写体像SIが拡大されている場合には、医師等は、表示画像DIを確認しただけでは、挿入部2の先端が被写体Suに対して不要に近付き過ぎているか否かを判断することが難しい。このため、ズームレンズ512を備えた内視鏡装置1に本発明を適用すれば、上述した利便性の向上を図ることができる、という効果を好適に実現することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図10は、図2に対応した図であって、本実施の形態2に係る内視鏡装置1Aの概略構成を示す図である。図11は、内視鏡装置1Aの動作を示すフローチャートである。
本実施の形態2に係る内視鏡装置1A(制御装置9A(制御部95A)では、図10に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、被写体距離算出部954の代わりに、当該被写体距離算出部954とは異なる方法で被写体距離DSを算出する被写体距離算出部954Aを採用している点が異なる。
以下、被写体距離算出部954Aの機能について、図11を参照しながら説明する。
本実施の形態2に係る内視鏡装置1Aの動作は、図11に示すように、上述した実施の形態1で説明した内視鏡装置1の動作(図7)に対して、ステップS8が追加されているとともに、ステップS3の代わりにステップS3Aが採用されている点が異なる。このため、以下では、ステップS8,S3Aについて説明する。
ステップS8は、ステップS2の後に実行される。
具体的に、被写体距離算出部954Aは、ステップS8において、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。当該輝度信号(Y信号)は、ステップS2で算出された明るさパラメータに応じて明るさ変更部100にて基準となる明るさに変更された後の輝度信号(Y信号)である。そして、被写体距離算出部954Aは、ステップS2で算出された明るさパラメータと、画像処理部92から取得した上記輝度信号(Y信号)とに基づいて、明るさ変更部100にて基準となる明るさに変更される前の輝度信号(Y信号)を算出する。
ステップS3Aは、ステップS8の後に実行される。
具体的に、被写体距離算出部954Aは、ステップS3Aにおいて、ステップS8で算出した基準となる明るさに変更される前の輝度信号(Y信号)のうち、検波処理が行われる検波領域と同一の領域の画素毎の輝度信号(Y信号)に基づいて、当該領域内の画像の輝度平均値を算出する。そして、被写体距離算出部954Aは、当該算出した輝度平均値を所定の関係式やLUTを利用して被写体距離DSに換算する。
そして、ステップS3Aの後、内視鏡装置1Aは、ステップS4に移行する。
以上説明した本実施の形態2のように被写体距離DSを算出した場合であっても、上述した実施の形態1と同様の効果を奏する。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図12は、図2に対応した図であって、本実施の形態3に係る内視鏡装置1Bの概略構成を示す図である。図13は、内視鏡装置1Bの動作を示すフローチャートである。
本実施の形態3に係る内視鏡装置1B(制御装置9B)では、図12に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、マスクエッジ検出処理を実行するエッジ検出部99が追加されているとともに、検波処理部93の代わりに当該検波処理部93とは検波領域が異なる検波処理部93Bを採用している点が異なる。
以下、エッジ検出部99及び検波処理部93Bの機能について、図13を参照しながら説明する。
本実施の形態3に係る内視鏡装置1Bの動作は、図13に示すように、上述した実施の形態1で説明した内視鏡装置1の動作(図7)に対して、ステップS9が追加されているとともに、ステップS1の代わりにステップS1Bが採用されている点が異なる。このため、以下では、ステップS9,図1Bについて説明する。
ステップS9において、エッジ検出部99は、マスクエッジ検出処理を実行する。
図14は、マスクエッジ検出処理を説明する図である。具体的に、図14(a)は、撮像画像CIの一例を示す図である。図14(b)は、図14(a)に示した撮像画像CI中の水平ラインL5での輝度値の分布を示す図である。
ここで、生体内にて反射され、挿入部2内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI内の被写体像SIは、図14(a)に示すように、略円形となる。すなわち、撮像画像CIは、被写体像SIと、当該被写体像SI以外のマスク領域MA(図14(a)の黒塗りの部分)とを含む。
そして、エッジ検出部99は、ステップS9でマスクエッジ検出処理を実行することにより、被写体像SIとマスク領域MAとの境界点BP(図14(a))を検出する。
具体的に、エッジ検出部99は、図14(a)に示すように、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。そして、エッジ検出部99は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の複数本(本実施の形態3では14本)の水平ラインL1〜L14での輝度値の分布をそれぞれ検出する。ここで、撮像画像CIにおいて、被写体像SIの領域は、マスク領域MAよりも輝度値が高い。すなわち、例えば、水平ラインL5での輝度分布は、図14(b)に示すように、被写体像SIとマスク領域MAとの2つの境界点BP間で輝度値が高くなり、その他の部分で輝度値が低くなる。このため、エッジ検出部99は、複数本の水平ラインL1〜L14での輝度値の分布をそれぞれ検出することにより、被写体像SIとマスク領域MAとの複数の境界点BPを認識することができる。また、エッジ検出部99は、認識した複数の境界点BPに基づいて、当該複数の境界点BPで囲まれる被写体像SIの領域を認識する。
ステップS1Bは、ステップS9の後に実行される。
具体的に、検波処理部93Bは、ステップS1Bにおいて、画像処理部92にて処理された画像信号(Y,C/C信号)のうち輝度信号(Y信号)を取得する。また、検波処理部93Bは、ステップS9で検出された複数の境界点BPで囲まれる被写体像SIの領域を検波領域とする。そして、検波処理部93Bは、当該取得した輝度信号(Y信号)のうち、当該検波領域の画素毎の輝度信号(Y信号)に基づいて、当該検波領域内の画像のコントラストや周波数成分を検出するとともに、当該検波領域内の画像の輝度平均値を検出する。そして、検波処理部93Bは、当該検出により得られた検波情報(コントラストや周波数成分、及び輝度平均値)を制御部95に出力する。
ステップS1Bの後、内視鏡装置1Bは、ステップS2に移行する。
以上説明した本実施の形態3によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
本実施の形態3に係る内視鏡装置1Bでは、マスクエッジ検出処理により被写体像SIとマスク領域MAとの複数の境界点BPを検出し、当該複数の境界点BPで囲まれる被写体像SIの領域を検波領域として検波処理を行う。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を行うことができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図15は、図2に対応した図であって、本実施の形態4に係る内視鏡装置1Cの概略構成を示す図である。図16は、内視鏡装置1Cの動作を示すフローチャートである。
本実施の形態4に係る内視鏡装置1C(制御装置9C)では、図15に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、画像処理部92の代わりに当該画像処理部92に新たな機能を追加した画像処理部92Cを採用し、レンズ制御部951の代わりに当該レンズ制御部951に新たな機能を追加したレンズ制御部951Cを採用し、距離判定部955の代わりに当該距離判定部955に新たな機能を追加した距離判定部955Cを採用している点が異なる。
以下、画像処理部92C、レンズ制御部951C、及び距離判定部955Cの機能について、図16を参照しながら説明する。
本実施の形態4に係る内視鏡装置1Cの動作は、図16に示すように、上述した実施の形態1で説明した内視鏡装置1の動作(図7)に対して、ステップS4,S5が省略されているとともに、ステップS10〜S18が追加されている点が異なる。このため、以下では、ステップS10〜S18について説明する。
ステップS10は、ステップS3の後に実行される。
図17及び図18は、処置具検出処理を説明する図である。
具体的に、画像処理部92Cは、ステップS10において、例えば、パターンマッチング等の公知の手法を用いて、撮像画像CI内の被写体像SIに含まれる処置具Ttを検出する処置具検出処理を実行する。
ステップS10の後、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれているか否かを判定する(ステップS11)。そして、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれていないと判定した場合(図17)には、処置具Ttが非使用状態であることを示す検出信号を制御部95に出力する。一方、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれていると判定した場合(図18)には、処置具Ttが使用状態であることを示す検出信号を制御部95に出力する。
すなわち、画像処理部92Cは、本発明に係る処置具検出部としての機能を有する。
処置具Ttが含まれていると判定された場合(ステップS11:Yes)には、距離判定部955Cは、ステップS3で算出された被写体距離DSと第2基準距離とを比較し(ステップS12)、被写体距離DSが当該第2基準距離以内であるか否かを判定する(ステップS13)。
ここで、第2基準距離は、処置具Ttによる処置時に発生するミストMiにより挿入部2の先端が汚れない被写体距離DSのうち、最も短い被写体距離DSに相当する。また、以下で記載する第1基準距離は、当該第1基準距離以内の被写体距離DSである場合に誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い被写体距離DSのうち、最も長い被写体距離DSに相当する。
すなわち、本実施の形態4では、上述した実施の形態1で説明した基準距離DS1を第1,第2基準距離の2つに分けている。また、本実施の形態4では、第1基準距離を「10」とし、第2基準距離を第1基準距離よりも長い「20」とする(被写体距離DSの範囲:「0」〜「100」)。
被写体距離DSが第2基準距離を超えていると判定された場合(ステップS13:No)には、内視鏡装置1Cは、ステップS6に移行する。
一方、被写体距離DSが第2基準距離以内であると判定された場合(ステップS13:Yes)には、内視鏡装置1Cは、ステップS7に移行する。
ステップS7の後、レンズ制御部951Cは、被写体距離DSが第2基準距離の時に被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付ける(ステップS14)。この後、内視鏡装置1Cは、ステップS1に戻る。
ステップS11において、処置具Ttが含まれていないと判定された場合(ステップS11:No)には、距離判定部955Cは、ステップS3で算出された被写体距離DSと第1基準距離とを比較し(ステップS15)、被写体距離DSが当該第1基準距離以内であるか否かを判定する(ステップS16)。
被写体距離DSが第1基準距離を超えていると判定された場合(ステップS16:No)には、距離情報報知部200は、被写体距離DSに関する距離情報を第1報知状態で報知する(ステップS17)。この後、内視鏡装置1Cは、ステップS1に戻る。
図19は、ステップS17での第1報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS17において、図19に示すように、上述した実施の形態1で説明した図8と同様に、被写体距離DSに関する距離情報を第1報知状態で報知する。
なお、ステップS17での被写体距離レベルメータLMでは、閾値マークSMは、第1基準距離(「10」)を指し示している(図8では、閾値マークSMは、第2基準距離(「20」)を指し示している)。
一方、被写体距離DSが第1基準距離以内であると判定された場合(ステップS16:Yes)には、距離情報報知部200は、被写体距離DSに関する距離情報をステップS17での第1報知状態とは異なる第2報知状態で報知する(ステップS18)。この後、内視鏡装置1Cは、ステップS1に戻る。
図20は、ステップS18での第2報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS18において、図20に示すように、上述した実施の形態1で説明した図9と同様に、被写体距離DSに関する距離情報を第2報知状態で報知する。
なお、ステップS18での被写体距離レベルメータLMでは、図20に示すように、図19で示した被写体距離レベルメータLMと同様に、閾値マークSMは、第1基準距離(「10」)を指し示している。
図19に示した被写体距離レベルメータLMは、第1報知状態での本発明に係る距離情報に相当する。また、図20に示した被写体距離レベルメータLM及び警告音は、第2報知状態での本発明に係る距離情報に相当する。すなわち、距離情報報知部200は、距離判定部955Cにて被写体距離DSが第1基準距離を超えていると判定された場合と第1基準距離以内であると判定された場合とで、互いに異なる報知状態(第1,第2報知状態)で本発明に係る距離情報を報知する。
以上説明した本実施の形態4によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
本実施の形態4に係る内視鏡装置1Cは、処置具Ttが非使用状態である場合に被写体距離DSが第1基準距離以内であるか否かを判定し、処置具Ttが使用状態である場合に被写体距離DSが第2基準距離以内であるか否かを判定する。
このため、処置具Ttが使用状態であり、ミストMiにて挿入部2の先端が汚れる虞がある場合に限り、被写体距離DSを第2基準距離よりも長くなるように被写体Suから挿入部2の先端を遠ざけることを医師等に促すことができる。すなわち、医師等は、処置具Ttが非使用状態であり、ミストMiにて挿入部2の先端が汚れる虞がない場合には、上述したように促されることがないため、被写体距離DSを第2基準距離よりも短い好みの被写体距離DSに設定することができる。
特に、処置具検出処理では、画像処理(パターンマッチング)により処置具Ttの非使用状態及び使用状態を検出している。すなわち、処置具Ttの非使用状態及び使用状態は、内視鏡装置1Cにて自動的に検出される。このため、例えば、内視鏡装置1Cに操作ボタンを設け、医師等による当該操作ボタンの操作に応じて処置具Ttの使用状態を当該内視鏡装置1Cが検出する構成と比較して、当該操作を医師等に行わせる必要がなく、利便性の向上を図ることができる。
また、本実施の形態4に係る内視鏡装置1Cは、被写体距離DSが第2基準距離以内である場合には、被写体像SIが当該第2基準距離の時に合焦状態となるフォーカス位置にフォーカスレンズ511を位置付ける。
このため、医師等は、表示装置7(表示部71)に表示された表示画像DIを確認しながら、被写体像SIが合焦状態となるまで被写体Suから挿入部2の先端を遠ざければ、ミストMiにて挿入部2の先端が汚れる虞がない位置に容易に位置付けることができる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜4によってのみ限定されるべきものではない。
上述した実施の形態1〜4では、本発明に係る明るさ変更部100は、撮像素子541、信号処理部542、画像処理部92、及び光源装置3の4つで構成していたが、これに限らず、当該4つの少なくともいずれかで構成してもよく、あるいは、その他の構成を追加しても構わない。なお、明るさパラメータも同様である。
上述した実施の形態1〜4において、カメラヘッド5に設けられていた構成(レンズユニット51、レンズ駆動部52、レンズ位置検出部53、及び撮像部54)の少なくとも一部を挿入部2内の先端に設けても構わない。また、挿入部2としては、硬性鏡に限らず、軟性鏡としても構わない。
また、上述した実施の形態1〜4において、制御部95,95Aの機能の少なくとも一部を制御装置9,9A〜9Cの外部(カメラヘッド5、コネクタCN1,CN2等)に設けても構わない。
さらに、上述した実施の形態1〜4において、本発明に係る音声出力部の配設位置は、表示装置7に限らず、制御装置9,9A〜9Cやカメラヘッド5としても構わない。
上述した実施の形態1〜4において、第1,第2報知状態(図8,図9,図19,図20)は、あくまでも一例であり、被写体距離レベルメータLMとは異なる表示状態で本発明に係る距離情報を表示してもよく、警告音とは異なる音声出力状態で本発明に係る距離情報を報知してもよい。
上述した実施の形態1〜4において、内視鏡装置1,1A〜1Cは、工業分野で用いられ、機械構造物等の被検体内部を観察する内視鏡装置としても構わない。
上述した実施の形態1〜4において、本発明に係る像拡大部として、ズームレンズ512を採用していたが、これに限らず、画像処理部92,92Cに被写体像SIの一部を拡大する電子ズーム機能を持たせ、当該画像処理部92,92Cを本発明に係る像拡大部としてもよい。
上述した実施の形態2では、パラメータ算出部952が検波情報(輝度平均値)に基づいて自動的に明るさパラメータを算出する構成としていたが、これに限らない。例えば、明るさパラメータが複数段階で予め設けられており、医師等が入力部96等を操作することで当該複数段階の明るさパラメータのいずれかを選択する構成としても構わない。そして、明るさ制御部953は、医師等にて選択された明るさパラメータに基づいて、明るさ変更部100の動作を制御する。
上述した実施の形態4において、処置具検出処理は、上述した実施の形態4で説明した画像処理(パターンマッチング)に限らず、処置具Ttを用いることを示す操作信号を出力する操作ボタンの操作に応じて、処置具Ttの使用状態や非使用状態を検出する構成を採用しても構わない。
1,1A〜1C 内視鏡装置
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9,9A〜9C 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
71 表示部
72 音声出力部
91 通信部
92,92C 画像処理部
93,93B 検波処理部
94 表示制御部
95,95A 制御部
96 入力部
97 出力部
98 記憶部
99 エッジ検出部
100 明るさ変更部
200 距離情報報知部
511 フォーカスレンズ
512 ズームレンズ
521 モータ
522 ドライバ
541 撮像素子
542 信号処理部
951,951C レンズ制御部
952 パラメータ算出部
953 明るさ制御部
954,954A 被写体距離算出部
955,955C 距離判定部
956 音声制御部
AG1,AG2 アナログゲイン
AL1 光量
BP 境界点
BV1〜BV4 輝度平均値
CI 撮像画像
CN1,CN2 コネクタ
D1 基準距離
DG1,DG2 デジタルゲイン
DI 表示画像
DS 被写体距離
ET1,ET2 露光時間
L1〜L14 水平ライン
LB レベルバー
LM 被写体距離レベルメータ
MA マスク領域
Mi ミスト
P1,P2 フォーカス位置
SI 被写体像
SL スライダ
SM 閾値マーク
Su 被写体
Tt 処置具

Claims (15)

  1. 被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、
    前記被写体像を撮像する撮像部と、
    前記撮像部による撮像で得られる撮像画像の明るさを変更するための明るさパラメータに応じて、当該撮像画像の明るさを変更する明るさ変更部と、
    前記明るさパラメータに基づいて、前記挿入部の先端と被写体との被写体距離を算出する被写体距離算出部と、
    前記被写体距離に関する距離情報を報知する距離情報報知部とを備える
    ことを特徴とする内視鏡装置。
  2. 前記撮像部は、
    複数の画素を有する撮像素子を備え、
    前記明るさ変更部は、
    前記撮像素子を含み、前記明るさパラメータである前記画素の露光時間を変更して前記撮像画像の明るさを変更する
    ことを特徴とする請求項1に記載の内視鏡装置。
  3. 前記撮像部は、
    複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、
    前記アナログ信号にアナログゲインを乗算する信号処理部とを備え、
    前記明るさ変更部は、
    前記信号処理部を含み、前記明るさパラメータである前記アナログゲインを変更して前記撮像画像の明るさを変更する
    ことを特徴とする請求項1または2に記載の内視鏡装置。
  4. 前記撮像部は、
    複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、
    前記アナログ信号をデジタル信号に変換する信号処理部とを備え、
    前記明るさ変更部は、
    前記デジタル信号に前記明るさパラメータであるデジタルゲインを乗算するデジタルゲイン乗算部を含み、当該デジタルゲインを変更して前記撮像画像の明るさを変更する
    ことを特徴とする請求項1〜3のいずれか一つに記載の内視鏡装置。
  5. 前記挿入部の先端から被写体に照射する光を当該挿入部に供給する光源装置をさらに備え、
    前記明るさ変更部は、
    前記光源装置を含み、前記明るさパラメータである前記光量を変更して前記撮像画像の明るさを変更する
    ことを特徴とする請求項1〜4のいずれか一つに記載の内視鏡装置。
  6. 前記撮像画像における画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、
    前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備え、
    前記被写体距離算出部は、
    前記明るさパラメータを前記被写体距離に換算する
    ことを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。
  7. 前記被写体距離算出部は、
    前記撮像画像における画素毎の輝度信号と前記明るさパラメータとに基づいて前記明るさ変更部にて明るさが変更される前の前記撮像画像における画素毎の輝度信号を算出し、当該明るさが変更される前の撮像画像おける画素毎の輝度信号に基づいて前記被写体距離を算出する
    ことを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。
  8. 前記撮像画像は、
    前記被写体像と、当該被写体像以外のマスク領域とを含み、
    当該内視鏡装置は、
    前記撮像画像における画素毎の輝度信号に基づいて、前記被写体像及び前記マスク領域の境界点を検出するエッジ検出部と、
    前記撮像画像における前記エッジ検出部にて検出された境界点で囲まれる領域内の画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、
    前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備える
    ことを特徴とする請求項1〜7のいずれか一つに記載の内視鏡装置。
  9. 前記被写体距離が基準距離以内であるか否かを判定する距離判定部をさらに備え、
    前記距離情報報知部は、
    前記距離判定部にて前記被写体距離が前記基準距離を超えていると判定された場合と当該基準距離以内であると判定された場合とで、異なる報知状態で前記距離情報を報知する
    ことを特徴とする請求項1〜8のいずれか一つに記載の内視鏡装置。
  10. 前記被検体内に挿入される処置具の使用状態を検出する処置具検出部をさらに備え、
    前記基準距離は、
    第1基準距離と、当該第1基準距離よりも長い第2基準距離の2つ設けられ、
    前記距離判定部は、
    前記処置具検出部にて前記処置具の使用状態が検出されていない場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記処置具の使用状態が検出された場合には前記基準距離として前記第2基準距離を用いる
    ことを特徴とする請求項9に記載の内視鏡装置。
  11. 前記処置具検出部は、
    前記撮像画像に基づいて、当該撮像画像内の前記被写体像に前記処置具が含まれているか否かを判定することにより前記使用状態を検出し、
    前記距離判定部は、
    前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていないと判定された場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていると判定された場合には前記基準距離として前記第2基準距離を用いる
    ことを特徴とする請求項10に記載の内視鏡装置。
  12. 光軸に沿って移動することで焦点を調整するフォーカスレンズを有し、前記挿入部にて取り込まれた前記被写体像を前記撮像部に結像するレンズユニットと、
    前記フォーカスレンズを移動させるレンズ駆動部と、
    前記レンズ駆動部の動作を制御するレンズ制御部とをさらに備え、
    前記レンズ制御部は、
    前記距離判定部にて前記被写体距離が前記基準距離以内であると判定された場合に、前記レンズ駆動部を動作させ、当該被写体距離が当該基準距離の時に前記被写体像が合焦状態となるレンズ位置に前記フォーカスレンズを移動させる
    ことを特徴とする請求項9〜11のいずれか一つに記載の内視鏡装置。
  13. 前記距離情報報知部は、
    前記距離情報を表示する表示部と、
    前記表示部の動作を制御する表示制御部とを備える
    ことを特徴とする請求項1〜12のいずれか一つに記載の内視鏡装置。
  14. 前記距離情報報知部は、
    前記距離情報を音声出力する音声出力部と、
    前記音声出力部の動作を制御する音声制御部とを備える
    ことを特徴とする請求項1〜13のいずれか一つに記載の内視鏡装置。
  15. 前記撮像画像に含まれる前記被写体像を拡大する像拡大部をさらに備える
    ことを特徴とする請求項1〜14のいずれか一つに記載の内視鏡装置。
JP2017033935A 2017-02-24 2017-02-24 内視鏡装置 Active JP6904727B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017033935A JP6904727B2 (ja) 2017-02-24 2017-02-24 内視鏡装置
US15/893,796 US10485629B2 (en) 2017-02-24 2018-02-12 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017033935A JP6904727B2 (ja) 2017-02-24 2017-02-24 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2018138141A true JP2018138141A (ja) 2018-09-06
JP6904727B2 JP6904727B2 (ja) 2021-07-21

Family

ID=63450805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033935A Active JP6904727B2 (ja) 2017-02-24 2017-02-24 内視鏡装置

Country Status (1)

Country Link
JP (1) JP6904727B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111818712A (zh) * 2020-07-06 2020-10-23 浙江华诺康科技有限公司 亮度调节方法、装置、计算机设备和存储介质
CN111956168A (zh) * 2020-07-22 2020-11-20 上海安翰医疗技术有限公司 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法
JP2022512333A (ja) * 2018-12-05 2022-02-03 ストライカー コーポレイション 医療用撮像データを表示するためのシステム及び方法
JP7454409B2 (ja) 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JP2006136706A (ja) * 2004-10-12 2006-06-01 Olympus Corp 計測用内視鏡装置及び内視鏡用プログラム
JP2007037565A (ja) * 2005-07-29 2007-02-15 Olympus Corp 内視鏡システム
JP2010136748A (ja) * 2008-12-09 2010-06-24 Fujifilm Corp 内視鏡装置およびその制御方法
US20110034770A1 (en) * 2009-08-10 2011-02-10 Fujifilm Corporation Endoscopic device
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
JP2012245161A (ja) * 2011-05-27 2012-12-13 Olympus Corp 内視鏡装置
JP2014113416A (ja) * 2012-12-12 2014-06-26 Olympus Medical Systems Corp 内視鏡装置
US20140243596A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Endoscope system and control method thereof
JP2014158577A (ja) * 2013-02-20 2014-09-04 Canon Inc 内視鏡システム
JP2015156938A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106060A (ja) * 1994-10-06 1996-04-23 Olympus Optical Co Ltd 内視鏡装置
JP2006136706A (ja) * 2004-10-12 2006-06-01 Olympus Corp 計測用内視鏡装置及び内視鏡用プログラム
JP2007037565A (ja) * 2005-07-29 2007-02-15 Olympus Corp 内視鏡システム
JP2010136748A (ja) * 2008-12-09 2010-06-24 Fujifilm Corp 内視鏡装置およびその制御方法
US20110034770A1 (en) * 2009-08-10 2011-02-10 Fujifilm Corporation Endoscopic device
JP2011036361A (ja) * 2009-08-10 2011-02-24 Fujifilm Corp 内視鏡装置
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
JP2012245161A (ja) * 2011-05-27 2012-12-13 Olympus Corp 内視鏡装置
CN103561632A (zh) * 2011-05-27 2014-02-05 奥林巴斯株式会社 内窥镜装置
JP2014113416A (ja) * 2012-12-12 2014-06-26 Olympus Medical Systems Corp 内視鏡装置
JP2014158577A (ja) * 2013-02-20 2014-09-04 Canon Inc 内視鏡システム
US20140243596A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Endoscope system and control method thereof
JP2015156938A (ja) * 2014-02-24 2015-09-03 ソニー株式会社 画像処理装置、画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512333A (ja) * 2018-12-05 2022-02-03 ストライカー コーポレイション 医療用撮像データを表示するためのシステム及び方法
JP7454409B2 (ja) 2020-03-03 2024-03-22 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用制御装置の制御方法
CN111818712A (zh) * 2020-07-06 2020-10-23 浙江华诺康科技有限公司 亮度调节方法、装置、计算机设备和存储介质
CN111956168A (zh) * 2020-07-22 2020-11-20 上海安翰医疗技术有限公司 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法

Also Published As

Publication number Publication date
JP6904727B2 (ja) 2021-07-21

Similar Documents

Publication Publication Date Title
US10485629B2 (en) Endoscope device
US10694933B2 (en) Image processing apparatus and image processing method for image display including determining position of superimposed zoomed image
JP6904727B2 (ja) 内視鏡装置
JP6996901B2 (ja) 内視鏡システム
US10827906B2 (en) Endoscopic surgery image processing apparatus, image processing method, and program
JP6453905B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
JP6873740B2 (ja) 内視鏡装置及びエッジ検出方法
JP6860378B2 (ja) 内視鏡装置
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP7016681B2 (ja) 内視鏡システム
US20130188029A1 (en) Endoscope system and method for controlling endoscope system
JP7171274B2 (ja) 医療用画像処理装置及び医療用観察装置
CN113573624A (zh) 内窥镜系统、非暂时性计算机可读介质及方法
US20210281731A1 (en) Medical control apparatus and method of controlling medical control apparatus
CN110536629B (zh) 手术图像处理设备、图像处理方法和手术系统
US20210290035A1 (en) Medical control device and medical observation system
JP7454417B2 (ja) 医療用制御装置及び医療用観察システム
US11298000B2 (en) Endoscopic device
JPWO2020084999A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2014004251A (ja) 電子内視鏡用色調調整システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210624

R150 Certificate of patent or registration of utility model

Ref document number: 6904727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150