JP2018138141A - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP2018138141A JP2018138141A JP2017033935A JP2017033935A JP2018138141A JP 2018138141 A JP2018138141 A JP 2018138141A JP 2017033935 A JP2017033935 A JP 2017033935A JP 2017033935 A JP2017033935 A JP 2017033935A JP 2018138141 A JP2018138141 A JP 2018138141A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- subject
- distance
- brightness
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
特許文献1に記載の内視鏡装置は、被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、当該被写体像を撮像して画像信号を出力する撮像部(撮像素子)と、当該画像信号を処理して表示用の映像信号を生成する制御装置と、当該映像信号に基づく画像を表示する表示装置とを備える。
このような場合において、挿入部の先端と被写体(処置対象とする生体組織)との被写体距離が短いと、処置時に発生するミストにより挿入部の先端が汚れてしまう場合がある。特に、内視鏡装置では、挿入部を生体内に挿入しているため、医師等は、被写体距離が短いか否かを目視することができない。そして、挿入部の先端が汚れてしまった場合には、当該汚れが被写体像に含まれるため、表示装置に表示された画像から処置対象とする生体組織を認識することが難しくなり、処置を円滑に実行することができない。このため、医師等は、生体内から挿入部を引き抜き、当該挿入部の先端の汚れを除去した後、改めて当該挿入部を生体内に挿入し、処置を継続する必要がある。すなわち、医師等に煩雑な作業を強いることとなり、利便性の向上を図ることができない、という問題がある。
このため、内視鏡装置の利用者は、報知された距離情報に基づいて、挿入部の先端が被写体に対して不要に近付き過ぎているか否かを判断することができ、不要に近付き過ぎていると判断した場合には、被写体から挿入部の先端を遠ざけることができる。例えば、本発明に係る内視鏡装置を医療分野に用いた場合には、処置具の処置対象とする生体組織に挿入部の先端が近付き過ぎることを回避することができ、処置具による処置時に発生するミストにて当該挿入部の先端が汚れてしまうことを回避することができる。すなわち、挿入部を生体内から引き抜いて当該挿入部の先端の汚れを除去するという煩雑な作業を医師等に行わせることを回避することができる。
以上のことから、本発明に係る内視鏡装置によれば、利便性の向上を図ることができる、という効果を奏する。
〔内視鏡装置の概略構成〕
図1は、本実施の形態1に係る内視鏡装置1の概略構成を示す図である。
内視鏡装置1は、医療分野において用いられ、生体内を観察する装置である。この内視鏡装置1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
なお、カメラヘッド5の詳細な構成については、後述する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示部71は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイを用いて構成され、制御装置9からの映像信号に基づく表示画像を表示する。
音声出力部72は、スピーカ等を用いて構成され、制御装置9からの制御信号に応じて挿入部2の先端と被写体との被写体距離に関する距離情報を音声出力する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号、及び制御装置9から出力される制御信号を表示装置7に伝送する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。そして、ズームレンズ512は、本発明に係る像拡大部としての機能を有する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部52は、図2に示すように、上述したフォーカス機構や光学ズーム機構を動作させるモータ521と、当該モータ521を駆動するドライバ522とを備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点や画角を調整する。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、検波処理部93と、表示制御部94と、制御部95と、入力部96と、出力部97と、記憶部98とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
例えば、画像処理部92は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。すなわち、画像処理部92は、本発明に係るデジタルゲイン乗算部としての機能を有する。また、画像処理部92は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、画像処理部92は、当該RGB信号(画像信号)に対して、ホワイトバランス、RGBガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,CB/CR信号)に変換)等のRGB処理を施す。また、画像処理部92は、当該Y,CB/CR信号(画像信号)に対して、色差補正及びノイズリダクション等のYC処理を実行する。
例えば、検波処理部93は、撮像素子541にて撮像された1フレームの撮像画像全体における所定の領域(以下、検波領域と記載)の画素毎の画素情報(輝度信号(Y信号))に基づいて、当該検波領域内の画像のコントラストや周波数成分を検出するとともに、当該検波領域内の画像の輝度平均値を検出する。そして、検波処理部93は、当該検出により得られた検波情報(コントラストや周波数成分、及び輝度平均値)を制御部95に出力する。
図3ないし図5は、レンズ制御部951によるAF処理を説明する図である。具体的に、図3は、挿入部2の先端と被写体Suとの被写体距離DSを示す図である。図4は、被写体距離DSが基準距離D1よりも長い場合でのレンズ制御部951によるAF処理を説明する図である。図5は、被写体距離DSが基準距離D1以内である場合でのレンズ制御部951によるAF処理を説明する図である。
具体的に、レンズ制御部951は、検波処理部93から出力された検波情報(コントラストや周波数成分)に基づいて、撮像画像に含まれる被写体像の合焦状態を評価するための合焦評価値を算出する。例えば、レンズ制御部951は、検波処理部93にて検出されたコントラストや、検波処理部93にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。
なお、上述したAF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
本実施の形態1では、パラメータ算出部952は、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、画像処理部92にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
具体的に、パラメータ算出部952は、例えば、図6(a)に示した関係を用いて、検波処理部93から出力された検波情報(輝度平均値)に対応する露光時間(明るさパラメータ)を算出する。なお、図6(a)において、輝度平均値BV1は、輝度平均値BV2よりも高い値である。また、露光時間ET1は、露光時間ET2よりも短い時間である。そして、図6(a)の例では、露光時間と輝度平均値との関係として、輝度平均値BV1よりも高い輝度平均値である場合には露光時間ET1とし、輝度平均値BV2よりも低い輝度平均値である場合には露光時間ET2とし、輝度平均値BV1から輝度平均値BV2にかけて露光時間を露光時間ET1から露光時間ET2まで一定の割合で増加させた関係を示している。
以上説明した明るさパラメータと輝度平均値との関係(例えば、図6に示した関係)は、例えば、LUT(ルックアップテーブル)等で記憶部98に予め記憶されている。
具体的に、明るさ制御部953は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部952にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部953は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部952にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部953は、画像処理部92に制御信号を出力し、当該画像処理部92にて乗算されるデジタルゲインをパラメータ算出部952にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部953は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の光量をパラメータ算出部952にて算出された光量(明るさパラメータ)とする。
すなわち、撮像素子541、信号処理部542、画像処理部92、及び光源装置3は、撮像部54による撮像で得られる撮像画像の明るさを変更する本発明に係る明るさ変更部100(図2)に相当する。
ところで、明るさ変更部100にて撮像画像の明るさを基準となる明るさに変更せずに(明るさパラメータを基準となる明るさパラメータに維持した状態で)、被写体距離DSを変更した場合には、被写体距離DSが短いほど検波処理部93にて検出される輝度平均値は高くなる。すなわち、被写体距離DSと輝度平均値との間には相関関係がある。したがって、当該相関関係を利用すれば、輝度平均値から被写体距離DSを算出することが可能となる。しかしながら、上述したように、撮像画像の明るさは、明るさ変更部100により基準となる明るさに変更される。すなわち、被写体距離DSを変更しても、検波処理部93にて検出される輝度平均値は、基準となる輝度平均値で一定となる。このため、上述した相関関係を利用しても、当該輝度平均値から被写体距離DSを算出することはできない。
ここで、パラメータ算出部952にて算出される明るさパラメータは、明るさ変更部100にて撮像画像の明るさが基準となる明るさに変更される前に検波処理部93にて検出された輝度平均値に基づいて算出されたものである。このため、当該明るさパラメータから、撮像画像の明るさが基準となる明るさに変更される前の輝度平均値、ひいては、被写体距離DSを算出することができる。
そこで、被写体距離算出部954は、パラメータ算出部952にて算出された明るさパラメータを所定の関係式やLUTを利用して被写体距離DSに換算する。
なお、本実施の形態1では、被写体距離算出部954は、被写体Suに挿入部2の先端が接触している状態を「0」とし、被写体Suから挿入部2の先端が十分に離間している状態を「100」として、「0」〜「100」の範囲で被写体距離DSを算出する。
なお、基準距離DS1は、上述したように当該基準距離DS1以内の被写体距離DSである場合に誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い被写体距離DSのうち、最も長い被写体距離DSに相当する。また、基準距離DS1は、図3に示すように、電気メス等の処置具Ttによる処置時に発生するミストMiにより挿入部2の先端が汚れない被写体距離DSのうち、最も短い被写体距離DSに相当する。
なお、本実施の形態1では、基準距離DS1を「20」とする(被写体距離DSの範囲:「0」〜「100」)。この基準距離DS1は、記憶部98に予め記憶されている。
以上説明した表示部71、表示制御部94、音声出力部72、及び音声制御部956は、本発明に係る距離情報報知部200(図2)に相当する。
出力部97は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部98は、制御部95が実行するプログラムや、制御部95の処理に必要な情報等を記憶する。
次に、上述した内視鏡装置1の動作について説明する。
図7は、内視鏡装置1の動作を示すフローチャートである。
なお、以下では、検波処理部93、パラメータ算出部952、被写体距離算出部954、距離判定部955、及び距離情報報知部200の動作を主に説明する。
先ず、検波処理部93は、制御部95による制御の下、検波処理を実行する(ステップS1)。そして、検波処理部93は、検波処理により得られた検波情報を制御部95に出力する。
ステップS2の後、被写体距離算出部954は、ステップS2で算出された明るさパラメータ(露光時間、アナログゲイン、デジタルゲイン、及び光量)に基づいて、被写体距離DS(「0」〜「100」の範囲)を算出する(ステップS3)。
ステップS3の後、距離判定部955は、ステップS3で算出された被写体距離DSと基準距離DS1とを比較し(ステップS4)、被写体距離DSが基準距離DS1以内であるか否かを判定する(ステップS5)。
図8は、第1報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS6において、図8に示すように、被写体距離DSに関する距離情報を第1報知状態で報知する。
具体的に、表示制御部94は、図8に示すように、被写体像SIを含む撮像画像CI上に被写体距離レベルメータLMを重畳した表示画像DIを表示装置7(表示部71)に表示させる。
ここで、被写体距離レベルメータLMは、図8に示すように、レベルバーLBと、スライダSLと、閾値マークSMとが配置されたものである。
レベルバーLBは、被写体距離DSの範囲(「0」〜「100」)に対応するスケールである。
スライダSLは、ステップS3で算出された被写体距離DSに対応するレベルバーLB上の位置を指示する。なお、図8の例では、スライダSLは、ステップS3で算出された被写体距離DSが基準距離DS1(「20」)を超えている(ステップS5:No)ため、当該被写体距離DSに対応するレベルバーLB上の位置に位置付けられている。
閾値マークSMは、基準距離DS1(「20」)を指し示すマークである。
図9は、第2報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS7において、図9に示すように、被写体距離DSに関する距離情報を第2報知状態で報知する。
具体的に、表示制御部94は、図9に示すように、上述した第1報知状態(図8)と同様に、撮像画像CI上に被写体距離レベルメータLMを重畳した表示画像DIを表示装置7(表示部71)に表示させる。
第2報知状態での被写体距離レベルメータLMでは、スライダSLは、図9に示すように、ステップS3で算出された被写体距離DSに対応するレベルバーLB上の位置を指示するとともに、点滅表示されている。なお、図9の例では、スライダSLは、ステップS3で算出された被写体距離DSが基準距離DS1(「20」)以内である(ステップS5:Yes)ため、当該被写体距離DSに対応するレベルバーLB上の位置に位置付けられている。
さらに、音声制御部956は、図9に示すように、表示装置7(音声出力部72)から警告音(図9の例では「ピピピッ」という音)を発生させる。
本実施の形態1に係る内視鏡装置1は、明るさパラメータを所定の関係式やLUTを利用して被写体距離DSに換算する。また、内視鏡装置1は、被写体距離DSが基準距離DS1以内であるか否かを判定する。すなわち、内視鏡装置1は、挿入部2の先端が処置具Ttによる処置時に発生するミストMiにて汚れてしまう範囲内、あるいは、誤ったフォーカス位置P2(被写体像SIが合焦状態とならない位置)にフォーカスレンズ511を位置付けてしまう可能性の高い範囲内に位置しているか否かを判定する。そして、内視鏡装置1は、被写体距離DSが基準距離DS1を超えている場合と基準距離DS1以内である場合とで、異なる報知状態(第1報知状態(図8)及び第2報知状態(図9))により、被写体距離DSに関する距離情報を報知する。
このため、医師等は、距離情報の報知状態の変化を認識することで、挿入部2の先端が処置具Ttによる処置時に発生するミストMiにて汚れてしまう範囲内に位置しているか否かを判断することができる。そして、医師等は、挿入部2の先端が当該範囲内に位置していると判断し、かつ、処置具Ttにて処置を実行する場合には、被写体Suから挿入部2の先端を遠ざけることで、ミストMiにて挿入部2の先端が汚れてしまうことを回避することができる。したがって、生体内から挿入部2を引き抜いて挿入部2の先端の汚れを除去するという煩雑な作業を医師等に行わせることを回避することができる。
また、医師等は、距離情報の報知状態の変化を認識することで、挿入部2の先端が誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い範囲内に位置しているか否かを判断することができる。そして、医師等は、挿入部2の先端が当該範囲内に位置していると判断した場合には、被写体Suから挿入部2の先端を遠ざけることができる。したがって、AF処理がワンタッチAFである場合において、被写体像SIを合焦状態とするためにカメラヘッド5等に設けられた操作ボタン(図示略)を何度も操作するという煩雑な作業を医師等に行わせることを回避することができる。
以上のことから、本実施の形態1に係る内視鏡装置1によれば、利便性の向上を図ることができる、という効果を奏する。
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図10は、図2に対応した図であって、本実施の形態2に係る内視鏡装置1Aの概略構成を示す図である。図11は、内視鏡装置1Aの動作を示すフローチャートである。
本実施の形態2に係る内視鏡装置1A(制御装置9A(制御部95A)では、図10に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、被写体距離算出部954の代わりに、当該被写体距離算出部954とは異なる方法で被写体距離DSを算出する被写体距離算出部954Aを採用している点が異なる。
以下、被写体距離算出部954Aの機能について、図11を参照しながら説明する。
ステップS8は、ステップS2の後に実行される。
具体的に、被写体距離算出部954Aは、ステップS8において、画像処理部92にて処理された画像信号(Y,CB/CR信号)のうち輝度信号(Y信号)を取得する。当該輝度信号(Y信号)は、ステップS2で算出された明るさパラメータに応じて明るさ変更部100にて基準となる明るさに変更された後の輝度信号(Y信号)である。そして、被写体距離算出部954Aは、ステップS2で算出された明るさパラメータと、画像処理部92から取得した上記輝度信号(Y信号)とに基づいて、明るさ変更部100にて基準となる明るさに変更される前の輝度信号(Y信号)を算出する。
具体的に、被写体距離算出部954Aは、ステップS3Aにおいて、ステップS8で算出した基準となる明るさに変更される前の輝度信号(Y信号)のうち、検波処理が行われる検波領域と同一の領域の画素毎の輝度信号(Y信号)に基づいて、当該領域内の画像の輝度平均値を算出する。そして、被写体距離算出部954Aは、当該算出した輝度平均値を所定の関係式やLUTを利用して被写体距離DSに換算する。
そして、ステップS3Aの後、内視鏡装置1Aは、ステップS4に移行する。
次に、本発明の実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図12は、図2に対応した図であって、本実施の形態3に係る内視鏡装置1Bの概略構成を示す図である。図13は、内視鏡装置1Bの動作を示すフローチャートである。
本実施の形態3に係る内視鏡装置1B(制御装置9B)では、図12に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、マスクエッジ検出処理を実行するエッジ検出部99が追加されているとともに、検波処理部93の代わりに当該検波処理部93とは検波領域が異なる検波処理部93Bを採用している点が異なる。
以下、エッジ検出部99及び検波処理部93Bの機能について、図13を参照しながら説明する。
ステップS9において、エッジ検出部99は、マスクエッジ検出処理を実行する。
図14は、マスクエッジ検出処理を説明する図である。具体的に、図14(a)は、撮像画像CIの一例を示す図である。図14(b)は、図14(a)に示した撮像画像CI中の水平ラインL5での輝度値の分布を示す図である。
ここで、生体内にて反射され、挿入部2内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI内の被写体像SIは、図14(a)に示すように、略円形となる。すなわち、撮像画像CIは、被写体像SIと、当該被写体像SI以外のマスク領域MA(図14(a)の黒塗りの部分)とを含む。
具体的に、エッジ検出部99は、図14(a)に示すように、画像処理部92にて処理された画像信号(Y,CB/CR信号)のうち輝度信号(Y信号)を取得する。そして、エッジ検出部99は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の複数本(本実施の形態3では14本)の水平ラインL1〜L14での輝度値の分布をそれぞれ検出する。ここで、撮像画像CIにおいて、被写体像SIの領域は、マスク領域MAよりも輝度値が高い。すなわち、例えば、水平ラインL5での輝度分布は、図14(b)に示すように、被写体像SIとマスク領域MAとの2つの境界点BP間で輝度値が高くなり、その他の部分で輝度値が低くなる。このため、エッジ検出部99は、複数本の水平ラインL1〜L14での輝度値の分布をそれぞれ検出することにより、被写体像SIとマスク領域MAとの複数の境界点BPを認識することができる。また、エッジ検出部99は、認識した複数の境界点BPに基づいて、当該複数の境界点BPで囲まれる被写体像SIの領域を認識する。
具体的に、検波処理部93Bは、ステップS1Bにおいて、画像処理部92にて処理された画像信号(Y,CB/CR信号)のうち輝度信号(Y信号)を取得する。また、検波処理部93Bは、ステップS9で検出された複数の境界点BPで囲まれる被写体像SIの領域を検波領域とする。そして、検波処理部93Bは、当該取得した輝度信号(Y信号)のうち、当該検波領域の画素毎の輝度信号(Y信号)に基づいて、当該検波領域内の画像のコントラストや周波数成分を検出するとともに、当該検波領域内の画像の輝度平均値を検出する。そして、検波処理部93Bは、当該検出により得られた検波情報(コントラストや周波数成分、及び輝度平均値)を制御部95に出力する。
ステップS1Bの後、内視鏡装置1Bは、ステップS2に移行する。
本実施の形態3に係る内視鏡装置1Bでは、マスクエッジ検出処理により被写体像SIとマスク領域MAとの複数の境界点BPを検出し、当該複数の境界点BPで囲まれる被写体像SIの領域を検波領域として検波処理を行う。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を行うことができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
次に、本発明の実施の形態4について説明する。
以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
図15は、図2に対応した図であって、本実施の形態4に係る内視鏡装置1Cの概略構成を示す図である。図16は、内視鏡装置1Cの動作を示すフローチャートである。
本実施の形態4に係る内視鏡装置1C(制御装置9C)では、図15に示すように、上述した実施の形態1で説明した内視鏡装置1に対して、画像処理部92の代わりに当該画像処理部92に新たな機能を追加した画像処理部92Cを採用し、レンズ制御部951の代わりに当該レンズ制御部951に新たな機能を追加したレンズ制御部951Cを採用し、距離判定部955の代わりに当該距離判定部955に新たな機能を追加した距離判定部955Cを採用している点が異なる。
以下、画像処理部92C、レンズ制御部951C、及び距離判定部955Cの機能について、図16を参照しながら説明する。
ステップS10は、ステップS3の後に実行される。
図17及び図18は、処置具検出処理を説明する図である。
具体的に、画像処理部92Cは、ステップS10において、例えば、パターンマッチング等の公知の手法を用いて、撮像画像CI内の被写体像SIに含まれる処置具Ttを検出する処置具検出処理を実行する。
ステップS10の後、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれているか否かを判定する(ステップS11)。そして、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれていないと判定した場合(図17)には、処置具Ttが非使用状態であることを示す検出信号を制御部95に出力する。一方、画像処理部92Cは、撮像画像CI内の被写体像SIに処置具Ttが含まれていると判定した場合(図18)には、処置具Ttが使用状態であることを示す検出信号を制御部95に出力する。
すなわち、画像処理部92Cは、本発明に係る処置具検出部としての機能を有する。
ここで、第2基準距離は、処置具Ttによる処置時に発生するミストMiにより挿入部2の先端が汚れない被写体距離DSのうち、最も短い被写体距離DSに相当する。また、以下で記載する第1基準距離は、当該第1基準距離以内の被写体距離DSである場合に誤ったフォーカス位置P2にフォーカスレンズ511を位置付けてしまう可能性の高い被写体距離DSのうち、最も長い被写体距離DSに相当する。
すなわち、本実施の形態4では、上述した実施の形態1で説明した基準距離DS1を第1,第2基準距離の2つに分けている。また、本実施の形態4では、第1基準距離を「10」とし、第2基準距離を第1基準距離よりも長い「20」とする(被写体距離DSの範囲:「0」〜「100」)。
一方、被写体距離DSが第2基準距離以内であると判定された場合(ステップS13:Yes)には、内視鏡装置1Cは、ステップS7に移行する。
ステップS7の後、レンズ制御部951Cは、被写体距離DSが第2基準距離の時に被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付ける(ステップS14)。この後、内視鏡装置1Cは、ステップS1に戻る。
被写体距離DSが第1基準距離を超えていると判定された場合(ステップS16:No)には、距離情報報知部200は、被写体距離DSに関する距離情報を第1報知状態で報知する(ステップS17)。この後、内視鏡装置1Cは、ステップS1に戻る。
図19は、ステップS17での第1報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS17において、図19に示すように、上述した実施の形態1で説明した図8と同様に、被写体距離DSに関する距離情報を第1報知状態で報知する。
なお、ステップS17での被写体距離レベルメータLMでは、閾値マークSMは、第1基準距離(「10」)を指し示している(図8では、閾値マークSMは、第2基準距離(「20」)を指し示している)。
図20は、ステップS18での第2報知状態の一例を示す図である。
例えば、距離情報報知部200は、ステップS18において、図20に示すように、上述した実施の形態1で説明した図9と同様に、被写体距離DSに関する距離情報を第2報知状態で報知する。
なお、ステップS18での被写体距離レベルメータLMでは、図20に示すように、図19で示した被写体距離レベルメータLMと同様に、閾値マークSMは、第1基準距離(「10」)を指し示している。
本実施の形態4に係る内視鏡装置1Cは、処置具Ttが非使用状態である場合に被写体距離DSが第1基準距離以内であるか否かを判定し、処置具Ttが使用状態である場合に被写体距離DSが第2基準距離以内であるか否かを判定する。
このため、処置具Ttが使用状態であり、ミストMiにて挿入部2の先端が汚れる虞がある場合に限り、被写体距離DSを第2基準距離よりも長くなるように被写体Suから挿入部2の先端を遠ざけることを医師等に促すことができる。すなわち、医師等は、処置具Ttが非使用状態であり、ミストMiにて挿入部2の先端が汚れる虞がない場合には、上述したように促されることがないため、被写体距離DSを第2基準距離よりも短い好みの被写体距離DSに設定することができる。
特に、処置具検出処理では、画像処理(パターンマッチング)により処置具Ttの非使用状態及び使用状態を検出している。すなわち、処置具Ttの非使用状態及び使用状態は、内視鏡装置1Cにて自動的に検出される。このため、例えば、内視鏡装置1Cに操作ボタンを設け、医師等による当該操作ボタンの操作に応じて処置具Ttの使用状態を当該内視鏡装置1Cが検出する構成と比較して、当該操作を医師等に行わせる必要がなく、利便性の向上を図ることができる。
このため、医師等は、表示装置7(表示部71)に表示された表示画像DIを確認しながら、被写体像SIが合焦状態となるまで被写体Suから挿入部2の先端を遠ざければ、ミストMiにて挿入部2の先端が汚れる虞がない位置に容易に位置付けることができる。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜4によってのみ限定されるべきものではない。
上述した実施の形態1〜4では、本発明に係る明るさ変更部100は、撮像素子541、信号処理部542、画像処理部92、及び光源装置3の4つで構成していたが、これに限らず、当該4つの少なくともいずれかで構成してもよく、あるいは、その他の構成を追加しても構わない。なお、明るさパラメータも同様である。
また、上述した実施の形態1〜4において、制御部95,95Aの機能の少なくとも一部を制御装置9,9A〜9Cの外部(カメラヘッド5、コネクタCN1,CN2等)に設けても構わない。
さらに、上述した実施の形態1〜4において、本発明に係る音声出力部の配設位置は、表示装置7に限らず、制御装置9,9A〜9Cやカメラヘッド5としても構わない。
上述した実施の形態1〜4において、内視鏡装置1,1A〜1Cは、工業分野で用いられ、機械構造物等の被検体内部を観察する内視鏡装置としても構わない。
上述した実施の形態1〜4において、本発明に係る像拡大部として、ズームレンズ512を採用していたが、これに限らず、画像処理部92,92Cに被写体像SIの一部を拡大する電子ズーム機能を持たせ、当該画像処理部92,92Cを本発明に係る像拡大部としてもよい。
上述した実施の形態4において、処置具検出処理は、上述した実施の形態4で説明した画像処理(パターンマッチング)に限らず、処置具Ttを用いることを示す操作信号を出力する操作ボタンの操作に応じて、処置具Ttの使用状態や非使用状態を検出する構成を採用しても構わない。
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9,9A〜9C 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 レンズ駆動部
53 レンズ位置検出部
54 撮像部
55 通信部
71 表示部
72 音声出力部
91 通信部
92,92C 画像処理部
93,93B 検波処理部
94 表示制御部
95,95A 制御部
96 入力部
97 出力部
98 記憶部
99 エッジ検出部
100 明るさ変更部
200 距離情報報知部
511 フォーカスレンズ
512 ズームレンズ
521 モータ
522 ドライバ
541 撮像素子
542 信号処理部
951,951C レンズ制御部
952 パラメータ算出部
953 明るさ制御部
954,954A 被写体距離算出部
955,955C 距離判定部
956 音声制御部
AG1,AG2 アナログゲイン
AL1 光量
BP 境界点
BV1〜BV4 輝度平均値
CI 撮像画像
CN1,CN2 コネクタ
D1 基準距離
DG1,DG2 デジタルゲイン
DI 表示画像
DS 被写体距離
ET1,ET2 露光時間
L1〜L14 水平ライン
LB レベルバー
LM 被写体距離レベルメータ
MA マスク領域
Mi ミスト
P1,P2 フォーカス位置
SI 被写体像
SL スライダ
SM 閾値マーク
Su 被写体
Tt 処置具
Claims (15)
- 被検体内に挿入され、先端から当該被検体内の被写体像を取り込む挿入部と、
前記被写体像を撮像する撮像部と、
前記撮像部による撮像で得られる撮像画像の明るさを変更するための明るさパラメータに応じて、当該撮像画像の明るさを変更する明るさ変更部と、
前記明るさパラメータに基づいて、前記挿入部の先端と被写体との被写体距離を算出する被写体距離算出部と、
前記被写体距離に関する距離情報を報知する距離情報報知部とを備える
ことを特徴とする内視鏡装置。 - 前記撮像部は、
複数の画素を有する撮像素子を備え、
前記明るさ変更部は、
前記撮像素子を含み、前記明るさパラメータである前記画素の露光時間を変更して前記撮像画像の明るさを変更する
ことを特徴とする請求項1に記載の内視鏡装置。 - 前記撮像部は、
複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、
前記アナログ信号にアナログゲインを乗算する信号処理部とを備え、
前記明るさ変更部は、
前記信号処理部を含み、前記明るさパラメータである前記アナログゲインを変更して前記撮像画像の明るさを変更する
ことを特徴とする請求項1または2に記載の内視鏡装置。 - 前記撮像部は、
複数の画素を有し、前記被写体像を撮像してアナログ信号を出力する撮像素子と、
前記アナログ信号をデジタル信号に変換する信号処理部とを備え、
前記明るさ変更部は、
前記デジタル信号に前記明るさパラメータであるデジタルゲインを乗算するデジタルゲイン乗算部を含み、当該デジタルゲインを変更して前記撮像画像の明るさを変更する
ことを特徴とする請求項1〜3のいずれか一つに記載の内視鏡装置。 - 前記挿入部の先端から被写体に照射する光を当該挿入部に供給する光源装置をさらに備え、
前記明るさ変更部は、
前記光源装置を含み、前記明るさパラメータである前記光量を変更して前記撮像画像の明るさを変更する
ことを特徴とする請求項1〜4のいずれか一つに記載の内視鏡装置。 - 前記撮像画像における画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、
前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備え、
前記被写体距離算出部は、
前記明るさパラメータを前記被写体距離に換算する
ことを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。 - 前記被写体距離算出部は、
前記撮像画像における画素毎の輝度信号と前記明るさパラメータとに基づいて前記明るさ変更部にて明るさが変更される前の前記撮像画像における画素毎の輝度信号を算出し、当該明るさが変更される前の撮像画像おける画素毎の輝度信号に基づいて前記被写体距離を算出する
ことを特徴とする請求項1〜5のいずれか一つに記載の内視鏡装置。 - 前記撮像画像は、
前記被写体像と、当該被写体像以外のマスク領域とを含み、
当該内視鏡装置は、
前記撮像画像における画素毎の輝度信号に基づいて、前記被写体像及び前記マスク領域の境界点を検出するエッジ検出部と、
前記撮像画像における前記エッジ検出部にて検出された境界点で囲まれる領域内の画素毎の輝度信号に基づいて、前記明るさパラメータを算出するパラメータ算出部と、
前記パラメータ算出部にて算出された前記明るさパラメータに基づいて、前記明るさ変更部の動作を制御する明るさ制御部とをさらに備える
ことを特徴とする請求項1〜7のいずれか一つに記載の内視鏡装置。 - 前記被写体距離が基準距離以内であるか否かを判定する距離判定部をさらに備え、
前記距離情報報知部は、
前記距離判定部にて前記被写体距離が前記基準距離を超えていると判定された場合と当該基準距離以内であると判定された場合とで、異なる報知状態で前記距離情報を報知する
ことを特徴とする請求項1〜8のいずれか一つに記載の内視鏡装置。 - 前記被検体内に挿入される処置具の使用状態を検出する処置具検出部をさらに備え、
前記基準距離は、
第1基準距離と、当該第1基準距離よりも長い第2基準距離の2つ設けられ、
前記距離判定部は、
前記処置具検出部にて前記処置具の使用状態が検出されていない場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記処置具の使用状態が検出された場合には前記基準距離として前記第2基準距離を用いる
ことを特徴とする請求項9に記載の内視鏡装置。 - 前記処置具検出部は、
前記撮像画像に基づいて、当該撮像画像内の前記被写体像に前記処置具が含まれているか否かを判定することにより前記使用状態を検出し、
前記距離判定部は、
前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていないと判定された場合には前記基準距離として前記第1基準距離を用い、前記処置具検出部にて前記撮像画像内の前記被写体像に前記処置具が含まれていると判定された場合には前記基準距離として前記第2基準距離を用いる
ことを特徴とする請求項10に記載の内視鏡装置。 - 光軸に沿って移動することで焦点を調整するフォーカスレンズを有し、前記挿入部にて取り込まれた前記被写体像を前記撮像部に結像するレンズユニットと、
前記フォーカスレンズを移動させるレンズ駆動部と、
前記レンズ駆動部の動作を制御するレンズ制御部とをさらに備え、
前記レンズ制御部は、
前記距離判定部にて前記被写体距離が前記基準距離以内であると判定された場合に、前記レンズ駆動部を動作させ、当該被写体距離が当該基準距離の時に前記被写体像が合焦状態となるレンズ位置に前記フォーカスレンズを移動させる
ことを特徴とする請求項9〜11のいずれか一つに記載の内視鏡装置。 - 前記距離情報報知部は、
前記距離情報を表示する表示部と、
前記表示部の動作を制御する表示制御部とを備える
ことを特徴とする請求項1〜12のいずれか一つに記載の内視鏡装置。 - 前記距離情報報知部は、
前記距離情報を音声出力する音声出力部と、
前記音声出力部の動作を制御する音声制御部とを備える
ことを特徴とする請求項1〜13のいずれか一つに記載の内視鏡装置。 - 前記撮像画像に含まれる前記被写体像を拡大する像拡大部をさらに備える
ことを特徴とする請求項1〜14のいずれか一つに記載の内視鏡装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017033935A JP6904727B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置 |
US15/893,796 US10485629B2 (en) | 2017-02-24 | 2018-02-12 | Endoscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017033935A JP6904727B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018138141A true JP2018138141A (ja) | 2018-09-06 |
JP6904727B2 JP6904727B2 (ja) | 2021-07-21 |
Family
ID=63450805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017033935A Active JP6904727B2 (ja) | 2017-02-24 | 2017-02-24 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6904727B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111818712A (zh) * | 2020-07-06 | 2020-10-23 | 浙江华诺康科技有限公司 | 亮度调节方法、装置、计算机设备和存储介质 |
CN111956168A (zh) * | 2020-07-22 | 2020-11-20 | 上海安翰医疗技术有限公司 | 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法 |
JP2022512333A (ja) * | 2018-12-05 | 2022-02-03 | ストライカー コーポレイション | 医療用撮像データを表示するためのシステム及び方法 |
JP7454409B2 (ja) | 2020-03-03 | 2024-03-22 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用制御装置の制御方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08106060A (ja) * | 1994-10-06 | 1996-04-23 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2006136706A (ja) * | 2004-10-12 | 2006-06-01 | Olympus Corp | 計測用内視鏡装置及び内視鏡用プログラム |
JP2007037565A (ja) * | 2005-07-29 | 2007-02-15 | Olympus Corp | 内視鏡システム |
JP2010136748A (ja) * | 2008-12-09 | 2010-06-24 | Fujifilm Corp | 内視鏡装置およびその制御方法 |
US20110034770A1 (en) * | 2009-08-10 | 2011-02-10 | Fujifilm Corporation | Endoscopic device |
JP2011200283A (ja) * | 2010-03-24 | 2011-10-13 | Olympus Corp | 制御装置、内視鏡システム、プログラム及び制御方法 |
JP2012245161A (ja) * | 2011-05-27 | 2012-12-13 | Olympus Corp | 内視鏡装置 |
JP2014113416A (ja) * | 2012-12-12 | 2014-06-26 | Olympus Medical Systems Corp | 内視鏡装置 |
US20140243596A1 (en) * | 2013-02-28 | 2014-08-28 | Samsung Electronics Co., Ltd. | Endoscope system and control method thereof |
JP2014158577A (ja) * | 2013-02-20 | 2014-09-04 | Canon Inc | 内視鏡システム |
JP2015156938A (ja) * | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
-
2017
- 2017-02-24 JP JP2017033935A patent/JP6904727B2/ja active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08106060A (ja) * | 1994-10-06 | 1996-04-23 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2006136706A (ja) * | 2004-10-12 | 2006-06-01 | Olympus Corp | 計測用内視鏡装置及び内視鏡用プログラム |
JP2007037565A (ja) * | 2005-07-29 | 2007-02-15 | Olympus Corp | 内視鏡システム |
JP2010136748A (ja) * | 2008-12-09 | 2010-06-24 | Fujifilm Corp | 内視鏡装置およびその制御方法 |
US20110034770A1 (en) * | 2009-08-10 | 2011-02-10 | Fujifilm Corporation | Endoscopic device |
JP2011036361A (ja) * | 2009-08-10 | 2011-02-24 | Fujifilm Corp | 内視鏡装置 |
JP2011200283A (ja) * | 2010-03-24 | 2011-10-13 | Olympus Corp | 制御装置、内視鏡システム、プログラム及び制御方法 |
JP2012245161A (ja) * | 2011-05-27 | 2012-12-13 | Olympus Corp | 内視鏡装置 |
CN103561632A (zh) * | 2011-05-27 | 2014-02-05 | 奥林巴斯株式会社 | 内窥镜装置 |
JP2014113416A (ja) * | 2012-12-12 | 2014-06-26 | Olympus Medical Systems Corp | 内視鏡装置 |
JP2014158577A (ja) * | 2013-02-20 | 2014-09-04 | Canon Inc | 内視鏡システム |
US20140243596A1 (en) * | 2013-02-28 | 2014-08-28 | Samsung Electronics Co., Ltd. | Endoscope system and control method thereof |
JP2015156938A (ja) * | 2014-02-24 | 2015-09-03 | ソニー株式会社 | 画像処理装置、画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022512333A (ja) * | 2018-12-05 | 2022-02-03 | ストライカー コーポレイション | 医療用撮像データを表示するためのシステム及び方法 |
JP7454409B2 (ja) | 2020-03-03 | 2024-03-22 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用制御装置の制御方法 |
CN111818712A (zh) * | 2020-07-06 | 2020-10-23 | 浙江华诺康科技有限公司 | 亮度调节方法、装置、计算机设备和存储介质 |
CN111956168A (zh) * | 2020-07-22 | 2020-11-20 | 上海安翰医疗技术有限公司 | 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6904727B2 (ja) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10485629B2 (en) | Endoscope device | |
US10694933B2 (en) | Image processing apparatus and image processing method for image display including determining position of superimposed zoomed image | |
JP6904727B2 (ja) | 内視鏡装置 | |
JP6996901B2 (ja) | 内視鏡システム | |
US10827906B2 (en) | Endoscopic surgery image processing apparatus, image processing method, and program | |
JP6453905B2 (ja) | フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法 | |
CN113164023B (zh) | 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质 | |
US11025835B2 (en) | Imaging device, endoscope apparatus, and method for operating imaging device | |
JP6873740B2 (ja) | 内視鏡装置及びエッジ検出方法 | |
JP6860378B2 (ja) | 内視鏡装置 | |
JP5996218B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP7016681B2 (ja) | 内視鏡システム | |
US20130188029A1 (en) | Endoscope system and method for controlling endoscope system | |
JP7171274B2 (ja) | 医療用画像処理装置及び医療用観察装置 | |
CN113573624A (zh) | 内窥镜系统、非暂时性计算机可读介质及方法 | |
US20210281731A1 (en) | Medical control apparatus and method of controlling medical control apparatus | |
CN110536629B (zh) | 手术图像处理设备、图像处理方法和手术系统 | |
US20210290035A1 (en) | Medical control device and medical observation system | |
JP7454417B2 (ja) | 医療用制御装置及び医療用観察システム | |
US11298000B2 (en) | Endoscopic device | |
JPWO2020084999A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2014004251A (ja) | 電子内視鏡用色調調整システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |