JP2021045339A - 内視鏡、内視鏡用プロセッサ及び内視鏡システム - Google Patents

内視鏡、内視鏡用プロセッサ及び内視鏡システム Download PDF

Info

Publication number
JP2021045339A
JP2021045339A JP2019169621A JP2019169621A JP2021045339A JP 2021045339 A JP2021045339 A JP 2021045339A JP 2019169621 A JP2019169621 A JP 2019169621A JP 2019169621 A JP2019169621 A JP 2019169621A JP 2021045339 A JP2021045339 A JP 2021045339A
Authority
JP
Japan
Prior art keywords
unit
endoscope
image
imaging
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019169621A
Other languages
English (en)
Other versions
JP7353886B2 (ja
Inventor
伶 佐藤
Rei Sato
伶 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2019169621A priority Critical patent/JP7353886B2/ja
Publication of JP2021045339A publication Critical patent/JP2021045339A/ja
Application granted granted Critical
Publication of JP7353886B2 publication Critical patent/JP7353886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】広視野の撮像画像を提示することが可能な内視鏡等を提供する。【解決手段】内視鏡は、回動可能な先端部111を有する挿入部11を備え、前記挿入部は、前記先端部に配された撮像部43と、前記撮像部に電力又は信号を伝達する伝達部47とを有する。前記撮像部は、前記先端部の回動軸Yに交差する視野方向を有する。さらに前記撮像部は、前記先端部の回動軸に平行な視野方向と、前記回動軸に垂直な視野方向とを有する。また、撮像部が出力した撮像データに基づく画像を表示する表示装置を有する。【選択図】図2

Description

本技術は、内視鏡、内視鏡用プロセッサ及び内視鏡システムに関する。
内視鏡は、消化管等の管腔臓器に挿入されることで所望の箇所の観察、処置を可能とする医療用機器であり、挿入される挿入管の先端部に組み込まれた撮像モジュールを備えている。特許文献1及び特許文献2では、内視鏡の視野を拡大させるため、撮像モジュールを、内視鏡の先端方向と側方とに複数配置し、これらの撮像モジュールから得られた画像を合成して表示する方法が開示されている。
特開2010−279539号公報 国際公開第2016−043063号
しかしながら、側面に設けた撮像素子の数が少ない場合には、死角が発生し十分な視野を得ることができない虞がある。また、側面に大量の撮像素子を設けることは生産コストが増大する。
本開示の目的は、広視野の撮像画像を提示することが可能な内視鏡等を提供することである。
本開示の一態様における内視鏡は、回動可能な先端部を有する挿入部を備え、前記挿入部は、前記先端部に配された撮像部と、前記撮像部に電力又は信号を伝達する伝達部とを有する。
本開示によれば、広視野の撮像画像を提示することが可能な内視鏡等を提供することができる。
実施形態1に係る内視鏡システムの外観を示す説明図である。 挿入部の先端の構成を説明する説明図である。 第1光素子及び第2光素子の構成の一例を説明する説明図である。 第1光素子及び第2光素子の構成の異なる例を説明する説明図である。 内視鏡システムの構成を説明するブロック図である。 内視鏡用プロセッサで実行される処理手順の一例を示すフローチャートである。 表示装置に表示される画面の一例を示す図である。 表示装置に表示される画面の一例を示す図である。 正面方向の画像データの回転補正を説明する説明図である。 実施形態2に係る内視鏡システムの外観を示す説明図である。 内視鏡システムの構成を説明するブロック図である。 実施形態3の挿入部の先端の構成を説明する説明図である。 実施形態4の挿入部の先端の構成を説明する説明図である。 実施形態5の挿入部の先端の構成を説明する説明図である。 実施形態6の回動部の構成を説明する説明図である。 実施形態7の回動部の構成を説明する説明図である。
本発明をその実施の形態を示す図面を参照して具体的に説明する。
(実施形態1)
図1は、実施形態1に係る内視鏡システム100の外観を示す説明図である。内視鏡システム100は、内視鏡1及び内視鏡用プロセッサ2を含む。内視鏡1は、例えば上部消化管用の内視鏡または大腸内視鏡である。内視鏡1により撮影された画像データは、内視鏡用プロセッサ2にて処理が行われ表示装置3に表示される。
内視鏡1は、消化管等の管腔臓器に挿入される管状の挿入部11、該挿入部11に操作部12及びユニバーサルコード13を介して連結されたコネクタ部14とを備え、コネクタ部14により内視鏡用プロセッサ2に接続して使用される。挿入部11は長尺であり、軸方向における操作部12側とは反対側である一方側から順に先端部111、湾曲部112及び可撓管部113を有する。先端部111は、湾曲部112に対して回動可能に結合している。可撓管部113の軸方向の他方側は操作部12に接続される。
操作部12には、表示装置3に表示される画像の視野領域の操作を受け付けるための視野操作部121と、湾曲部112の湾曲方向の操作を受け付けるための湾曲操作部122とが設けられる。視野操作部121及び湾曲操作部122は、例えばジョイスティックである。ユーザが湾曲操作部122を操作すると、湾曲部112が湾曲動作し、先端部111の向きが所望の方向に変更される。視野操作部121の動作については後述する。操作部12には、操作者の所定の操作指示を受け付けるためのその他の操作スイッチが設けられていてよい。
ユニバーサルコード13は長尺であり、第一端が操作部12に、第二端がコネクタ部14にそれぞれ接続されている。ユニバーサルコード13には、挿入部11及び操作部12から延設される通信ケーブル等が挿通されている。通信ケーブルの一端は、コネクタ部14の通信用コネクタ(図示せず)に配設され、内視鏡用プロセッサ2に接続される。
表示装置3は、例えば液晶表示装置、又は有機EL(Electro Luminescence)ディスプレイ等である。表示装置3は、内視鏡用プロセッサ2から出力された画像等を表示する。
図2は、挿入部11の先端の構成を説明する説明図である。先端部111は、湾曲部112に内設される回動部41に結合される。回動部41は、先端部111を支持して回動させる回動支持部411と、当該回動支持部411を回動駆動する回動駆動体412とを有する。先端部111は、結合面の中心部で回動支持部411と接続され、図2中に一点鎖線で示す回動軸Y周りに回動可能に支持される。先端部111を支持する回動支持部411を回動駆動体412が回動させることによって、先端部111が回動される。回動駆動体412は、例えば、ステッピングモータであり、その回動量を高精度にコントロールする。また、回動駆動体412は、正逆両方向に回動可能である。なお回動駆動体412は、正逆一方向のみに回転可能であってもよい。先端部111の周囲には、湾曲部112に結合され、回動部41の回動動作に影響されないカバー42が形成されていてもよい。カバー42で覆うことにより、回動する先端部111が被検者の消化管壁等に直接接触しない。カバー42は、例えば透明の樹脂等により形成される。湾曲部112の側面には、鉗子等の出口となる鉗子チャネル49が設けられている。
図2に例示されるように、先端部111には、複数の撮像部43として、例えば2つの撮像部43a,43bが設けられている。撮像部43は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子44を含むカメラであり、広角レンズ(図示せず)を有する。撮像素子44は、広角レンズを介して入射した入射光を光電変換し、画像信号として出力する。撮像部43aは、先端部111の正面方向に設けられ、回動軸に略平行な視野方向を有する撮影範囲の撮影を行う第1撮像素子44aを含む。撮像部43bは、先端部111の側面方向に設けられ、回動軸に略垂直な視野方向を有する撮影範囲の撮影を行う第2撮像素子44bを含む。第1撮像素子44a及び第2撮像素子44b夫々の周辺には、例えば白色LED等の撮影用光源45が複数設けられている。
撮像部43は、所定の撮影箇所において、先端部111と共に回動しながら全周方向の撮影動作を行う。第1撮像素子44aは、撮影箇所における正面方向を撮影する。第2撮像素子44bは、複数の回動角度における側方を撮影する。第1撮像素子44a及び第2撮像素子44bで撮影される画像は、例えば1フレームの静止画又は数フレームによる動画によるものであってよい。内視鏡用プロセッサ2は、1つの撮影箇所において、第1撮像素子44a及び第2撮像素子44bで得られた複数の撮像画像を基に合成した、全周方向を撮影範囲に含む画像を生成する。なお、全周方向を撮影範囲に含む画像を生成するためには、第1撮像素子44aの撮影範囲と第2撮像素子44bの撮影範囲は、一部において重なりがあることが好ましい。
挿入部11に対する先端部111の結合部分には、角度測定部46及び伝達部47が設けられる。角度測定部46は、先端部111の結合部分の外周側に設けられる。伝達部47は、角度測定部46の内周であり、回動支持部411の外周に設けられる。角度測定部46は、先端部111の外周の一部に設けられるRGBセンサ461と、該RGBセンサ461に対向して挿入部11に周設される環状のカラーパターン部462とを含む。伝達部47は、先端部111に周設される第1光素子471と、該第1光素子に対向するよう挿入部11に周設される第2光素子472とを含む。
角度測定部46は、挿入部11に固定されたカラーパターン部462と、該挿入部に対して回動する先端部111に固定されたRGBセンサ461とを用いて、先端部111の回動角度を測定する。環状のカラーパターン部462には、該カラーパターン部462の発生する位置信号を検出する位置信号発生のためのグラデーション状のパターンが形成されている。カラーパターン部462は、発光素子を含み、該発光素子からの光を受けて、カラーパターン部462の位置によって異なる波長の光を、RGBセンサ461の一部を成す受光素子に対して反射するように構成される。カラーパターン部462から発生される光は、例えば可視光領域波長の光である。RGBセンサ461は、光照射により該カラーパターン部462上で発生する光を受けることによって、該カラーパターン部462に基づく位置信号を検出する。なお、カラーパターン部462は、例えばフルカラーLEDを用いて、カラーパターン部462の位置によって異なる波長の光を発生させてもよい。
上記では、先端部111にRGBセンサ461を設け、挿入部11にカラーパターン部462を設ける例を説明したが、RGBセンサ461及びカラーパターン部462の構成は限定されるものではない。挿入部11にRGBセンサ461を設け、先端部111にカラーパターン部462が設けられていてもよい。また、角度測定部46は、例えばアブソリュート型エンコーダ等を用いて回動角度を検出してもよく、その他の公知技術を用いて先端部111の回動角度を検出してもよい。
伝達部47は、先端部111に固定された第1光素子471及び挿入部11に固定された第2光素子472を用いて、先端部111と挿入部11との間で電力又は信号の伝達を行う。第1光素子471及び第2光素子472は夫々、環状を成し、電気信号を光信号に変換し出射するVCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器型面発光レーザー)等の発光素子と、光信号を電気信号に変換するフォトダイオード等の受光素子とを有する。
図3は、第1光素子471及び第2光素子472の構成の一例を説明する説明図である。先端部111の第1光素子471は、発光素子である第1発光素子482と、受光素子である第2受光素子481及び第3受光素子483との3種類の光素子を、夫々複数個含む。第2受光素子481、第1発光素子482及び第3受光素子483は、第1光素子471上に同心円状に配される。第2受光素子481、第1発光素子482及び第3受光素子483は、例えば図3Aにハッチングで示す如く、外周から各第2受光素子481、各第1発光素子482、各第3受光素子483の順に配置されている。
第2光素子472は、第1光素子471に同軸上に対向するよう挿入部11に設けられ、通信ケーブルを介して内視鏡用プロセッサ2に接続される。第2光素子472は、発光素子である第2発光素子484及び第3発光素子486と、受光素子である第1受光素子485との3種類の光素子を、夫々複数個含む。第2発光素子484、第1受光素子485及び第3発光素子486は、第1光素子471と同様に同心円状に配される。第2発光素子484、第1受光素子485及び第3発光素子486は、例えば図3Bにハッチングで示す如く、外周から各第2発光素子484、各第1受光素子485、各第3発光素子486の順に配置されている。
第1発光素子482は、例えば撮像素子44から得られる撮像データ及びRGBセンサ461から得られる回動角データの電気信号を光信号に変換し、対向する第1受光素子485へ送信する。第2発光素子484は、内視鏡用プロセッサから取得した撮像用制御信号等の電気信号を光信号に変換し、対向する第2受光素子481へ送信する。第3発光素子486は、供給電力となる電気信号を光信号に変換し、対向する第3受光素子483へ送信する。伝達部47は、全二重方式の光無線通信を実現する。なお、第1発光素子482及び第1受光素子485は、それぞれ多重リングであり、撮像データ及び回動角データの光信号をパラレルに送受信してもよい。この場合には、リング毎に通信ケーブルが接続される。
図4は、第1光素子471及び第2光素子472の構成の異なる例を説明する説明図である。第1光素子471上には、図4Aにハッチングで示す如く、各第2受光素子481、各第1発光素子482及び各第3受光素子483が夫々格子状に配置される。第2光素子472上には、図4Bにハッチングで示す如く、各第2発光素子484、各第1受光素子485及び各第3発光素子486が夫々格子状に配置される。各格子に配される発光素子及び受光素子の配置位置は任意であるが、先端部111の回動により対向する複数の素子の中に、少なくとも1つの対応する素子が配置される。すなわち、第1光素子471上の第2受光素子481の回転により対向する第2光素子472の同心円上の光素子の中に、少なくとも1つの第2発光素子484が配置される。同様に、第1発光素子482の対向する同心円上に、少なくとも1つの第1受光素子485が配置される。第3受光素子483の対向する同心円上に、少なくとも1つの第3発光素子486が配置される。第1光素子471及び第2光素子472に含まれる3種類の光素子の数は同数であってもよく、通信効率を変化させる場合には所定種類の光素子の数を増加又は減少させてもよい。
第2受光素子481と第2発光素子484との間の通信は、第1の波長により行われる。第1発光素子482と第1受光素子485との間の通信は、第1の波長とは異なる第2の波長により行われる。第3受光素子483と第3発光素子486との間の通信は、第1及び第2の波長とは異なる第3の波長により行われる。伝達部47は、複波長による全二重方式の光無線通信を実現する。
図5は、内視鏡システム100の構成を説明するブロック図である。内視鏡1の先端部111は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等を有する撮像制御部101、回動角度検出部102、通信制御部103及び先端電源部104を含む。
撮像制御部101は、第1撮像素子44a、第2撮像素子44b、及び複数の撮影用光源45に接続される。撮像制御部101は、通信制御部103から入力された撮影用制御信号を、第1撮像素子44a及び第2撮像素子44bに出力する。第1撮像素子44a及び第2撮像素子44bは、撮影用制御信号に応じて撮影動作を行い、撮像データを撮像制御部101に出力する。撮像制御部101は、A/D変換、ノイズ除去などの画像処理が施されたデジタル形式の撮像データを、通信制御部103に出力する。撮像制御部101は、通信制御部103から入力された光源制御信号を撮影用光源45夫々に出力する。撮影用光源45夫々は、光源制御信号に応じて光源のON/OFF、光量等が制御される。
回動角度検出部102は、挿入部11に設けられたカラーパターン部462上で発生する光を取得したRGBセンサ461からの出力値に基づき、先端部111の回動角を検出する。RGBセンサ461は、先端部111の回動動作後の対向するカラーパターン部462の位置に応じた測定値を出力する。回動角度検出部102は、出力された測定値に基づき回動角データを検出する。回動角データは、例えば先端部111に配されたRGBセンサ461の位置の絶対角で示される。回動角度検出部102は、RGBセンサ461と第2撮像素子44b又は先端部111の任意箇所との角度に基づき回動角データに補正を行い、第2撮像素子44b又は先端部111の任意箇所の位置における絶対角を回動角データとして導出してもよい。回動角度検出部102は、検出した回動角データを通信制御部103に出力する。
通信制御部103は、撮像制御部101及び回動角度検出部102と、伝達部47との間の通信を制御する。通信制御部103は、シリアライザ及びデシリアライザ(いずれも図示せず)を含む。通信制御部103は、撮像データ及び回動角データであるパラレルデータをシリアライザによりシリアルデータに変換して、第1発光素子482へ出力する。その際に、第1撮像素子44aにより得られた1フレームに相当する画像データと、第1撮像素子44aに同期されて得られた第2撮像素子44bの画像データとをセットでシリアル伝送する。これにより、同期した第1撮像素子44aの撮影範囲及び第2撮像素子44bの撮影範囲の画像データを、同期を維持したまま外部に出力することができる。通信制御部103は、内視鏡出力部として機能する。通信制御部103は、第2受光素子481から入力されたシリアル化された撮影用制御信号及び光源制御信号等を、デシリアライザによりパラレル化して、撮像制御部101に出力する。
先端電源部104は、第3受光素子483から入力された電力を、第1撮像素子44a、第2撮像素子44b、撮影用光源45及び各信号処理回路等へ出力する。先端部111の各部へ供給される電力は、例えば内視鏡用プロセッサ2等の電源部から電力供給部(いずれも図示せず)により第3発光素子486へ送信される。第3発光素子486は、電気信号を光信号に変換して第3受光素子483へ出力する。第3受光素子483は、入力された光信号を電気信号に変換して先端電源部104へ出力する。伝達部47の第1光素子471及び第2光素子472は、夫々対向する発光素子及び受光素子の間で光無線通信による通信を行う。
挿入部11の回動駆動制御部105は、内視鏡用プロセッサ2から入力される駆動制御信号を回動駆動体412に出力する。回動駆動体412は、駆動制御信号に応じて回動動作を開始又は停止する。回動駆動制御部105の制御により回動駆動体412が回動すると、先端部111が回動を開始する。所定の撮像角まで回動し回動駆動制御部105の制御により回動駆動体412が回動動作を停止すると、先端部111が回動を停止する。撮像部43は、先端部111の回動の停止中に撮影を行う。撮像部43の撮影が終了すると、再び回動が開始される。
内視鏡用プロセッサ2は、CPU、ROM及びRAM等を有する出力部201、通信制御部202、操作指示取得部203を含む。
操作指示取得部203は、内視鏡1の操作部12から出力される操作信号を図示しない通信ケーブルを通して取得する。具体的には、操作部12の視野操作部121の傾斜方向、傾斜角度等に応じた操作信号を取得する。操作指示取得部203は、取得した操作信号を出力部201へ出力する。
通信制御部202は、出力部201と伝達部47との間の通信を制御する。通信制御部202は、シリアライザ及びデシリアライザ(いずれも図示せず)を含む。通信制御部202は、出力部201から入力された撮影用制御信号及び光源制御信号等のパラレルデータを、シリアライザによりシリアルデータに変換し、図示しない通信ケーブルを通して第2発光素子484へ出力する。通信制御部202は、図示しない通信ケーブルを通して第1受光素子485から入力されるシリアル化された撮像データ及び回動角データを取得する。通信制御部202は、デシリアライザにより取得した撮像データ及び回動角データをパラレル化し、所定の画像処理を行なって出力部201に出力する。通信制御部202は、取得部として機能する。
出力部201は、通信制御部202から出力される撮像データ及び回動角データを取得する。出力部201は、所定の撮影箇所において、第1撮像素子44aからの正面方向の画像データと、第2撮像素子44bからの複数の回動角度における側方の画像データとを取得する。第2撮像素子44bからの撮像データは回動角データと関連付けられている。出力部201は、複数の撮像データ及び回動角データに基づき、各撮像データを合成して、所定の撮影箇所における全周方向を示す画像を生成する。
出力部201は、操作指示取得部203から入力される操作指示を取得する。操作指示は、ユーザが表示装置3に表示される画像の視野領域を操作するための指示である。出力部201は、取得した操作指示の視野領域に応じた視野角度の画像を読み出し、読み出した画像を表示装置3を介して表示する。
出力部201は、取得した回動角データに基づき、撮像部43の撮影動作を制御する撮影用制御信号及び光源制御信号を通信制御部202に出力する。出力部201は、取得した回動角データに基づき、先端部111の回動動作を制御する駆動制御信号を回動駆動制御部105に出力する。
図6は、内視鏡用プロセッサ2で実行される処理手順の一例を示すフローチャートである。以下の処理は、内視鏡用プロセッサ2の出力部201において、例えば所定の撮影箇所において撮影を指示する操作スイッチが操作されたタイミングで実行される。
出力部201は、回動角データに基づき、撮像部43の撮影開始時の絶対角を取得する(ステップS11)。出力部201は、取得した絶対角を初期値としてメモリに記憶する。さらに出力部201は、絶対角の初期値との相対角として、撮影開始時の相対角を0度に初期化してメモリに記憶する。
出力部201は、第1撮像素子44aへ正面の撮像指示の撮影用制御信号を出力する(ステップS13)。第1撮像素子44aは、撮影用制御信号に応じて正面方向の撮影動作を行い、撮像データを出力する。
出力部201は、第2撮像素子44bへ側方の撮像指示の撮影用制御信号を出力する(ステップS15)。第2撮像素子44bは、撮影用制御信号に応じて相対角0度における側方の撮影動作を行い、撮像データを出力する。
出力部201は、撮像部43の撮影動作が終了すると、先端部111の回動を開始する指示を出力する(ステップS17)。具体的には、出力部201は、回動駆動制御部105を介して回動駆動体412へ駆動制御信号を出力し、先端部111の回動を開始させる。なお撮像素子44の露光期間中は、先端部111の回動動作が停止される必要があるため、出力部201は、前の露光終了から次の露光開始までの回動可能期間に回動動作を行わせる必要がある。この場合において、撮像素子44がローリングシャッタ方式であるときは、ライン毎に露光されラインの上下で露光期間が異なるため、前フィールドの最後の露光が終了してから、次フィールドの最初の露光が開始されるまでの回動可能期間に回動動作を行わせる必要がある。従って、例えば撮像素子44のシャッタ速度を上げる、フレームレートを下げる等により、所定の回動可能期間が確保されることが望ましい。
出力部201は、回動角データを取得する(ステップS19)。出力部201は、取得した回動角データの絶対角に基づき、回動時の撮像部43の相対角を導出する。出力部201は、導出した相対角に基づき、先端部111が指定の撮像角まで回動したか否かを判定する(ステップS21)。指定の撮像角は、例えば相対角0度から15度毎に1回転分が設定される。相対角が予め決定された指定の撮像角と一致しないことにより、先端部111が指定の撮像角まで回動したと判定されない場合(ステップS21:NO)、出力部201は、処理をステップS19に戻し回動角データの取得を継続する。
一方、相対角が予め決定された指定の撮像角と一致することにより、先端部111が指定の撮像角まで回動したと判定される場合(ステップS21:YES)、出力部201は、先端部111の回動を停止する指示を出力する(ステップS23)。具体的には、出力部201は、回動駆動制御部105を介して回動駆動体412へ駆動制御信号を出力し、先端部111の回動を停止させる。
出力部201は、先端部111の回動が1回転したか否かを判定する(ステップS25)。相対角が0度と一致しないことにより、先端部111が1回転したと判定されない場合(ステップS25:NO)、出力部201は、処理をステップS15に戻し、指定の撮像角における側方の撮影を指示する。
一方、相対角が0度と一致し、先端部111が1回転したと判定される場合(ステップS25:YES)、出力部201は、正面方向及び側方の各撮像角での撮像データに基づき、合成画像を生成する(ステップS27)。出力部201は、生成した画像を表示装置3に出力し(ステップS29)、一連の処理を終了する。なお出力部201はステップS29の処理の後にステップS11を行うループ処理を行ってもよい。
図7及び図8は、表示装置3に表示される画面の一例を示す図である。図7は、正面方向を視野領域54とする操作指示に応じて表示される画面の例である。図8は、左側方を視野領域54とする操作指示に応じて表示される画面の例である。表示装置3は、図7及び図8に示すように、メインモニタ51に加え、第1サブモニタ52及び第2サブモニタ53を有する。メインモニタ51には、ユーザの視野操作部121の操作に応じた視野領域54の合成画像が表示される。第1サブモニタ52及び第2サブモニタ53には、視野領域54を示す3Dマッピング画像が表示される。第1サブモニタ52には、鳥瞰図のように視野領域54の範囲を斜め上方から示す画像が表示される。第2サブモニタ53には、挿入部11の進行方向を正面とした場合の視野領域54の範囲を示す画像が表示される。
出力部201は、回動角データに基づき、各撮像データの撮影時における第2撮像素子44bの撮像角を導出する。出力部201は、所定の撮影箇所における1回転分の撮像データを取得した場合、第1撮像素子44aの正面方向の撮像データに、第2撮像素子44bの各撮像角における側方の各撮像データを、各撮像角に対応するよう合成した画像を生成する。合成した画像は、先端部111の1回転を1表示フレームとして生成される。1フレームは、正面方向の撮像データの所定撮像角に、側方の撮像データが合成された全周方向の円筒形画像で構成される。
さらに、第1サブモニタ52及び第2サブモニタ53には、ユーザの操作指示の視野領域54が円筒形画像上に3Dマッピングにて示される。第1サブモニタ52及び第2サブモニタ53には、円筒形画像に挿入される挿入部11の3DCGモデルが表示され、挿入部11に対する視野領域54の視野角が矢印等で示され、メインモニタ51に表示されている画像の視野領域54の範囲が、当該視野領域54の範囲を示す色付け等で示される。
出力部201は、視野操作部121からの操作指示を取得した場合、視野操作部121の傾斜方向及び傾斜角度に基づき、操作指示に応じた視野角を導出する。出力部201は、円筒形画像の基準位置から、視野角に応じた画像の方向位置を特定する。出力部201は、特定した方向位置を中心とする所定範囲の画像をメインモニタ51に表示させる。メインモニタ51には、ユーザに歪みを感じさせず視認性のよい視野領域54に限定された画像が表示される。さらに、出力部201は、円筒形画像と操作指示とに基づき、3Dマップデータを生成する。出力部201は、円筒形画像に、視野角度及び視野範囲を重畳した3Dマップデータを生成し、第1サブモニタ52及び第2サブモニタ53に表示する。第1サブモニタ52及び第2サブモニタ53を通して、ユーザは視野領域54を容易に認識することが可能となる。図7に示す如く、正面方向が表示され、視野操作部121の操作により左側方の視野領域54へと変化させる操作指示がなされた場合、出力部201は、新たな操作指示に基づき視野領域54を変化させた画像を図8に示す如く表示する。
上記では、メインモニタ51には、視認性のよい視野領域54に限定された画像が表示される例を説明したが、表示画像はより広角表示されてもよく、全周方向が表示されてもよい。またこれら複数からユーザの選択に応じて表示モードが選択される構成であってもよい。
ステップS25において先端部111が1回転したと判定されない場合に、出力部201は、処理をステップS13に戻してもよい。すなわち、先端部111は、先端部111が1回転したと判定されない場合、正面方向の撮影指示の処理を行ったのち、ステップS15の側方の撮影指示の処理を行う。この場合、全撮像角において、正面方向の画像データと側方の画像データとが取得される。正面方向の撮像データは、回動操作に伴い、回転した画像が得られるため、補正を施す必要がある。
図9は、正面方向の画像データの回転補正を説明する説明図である。時刻tに、所定の撮像角において第1撮像素子44aの正面方向の撮像データ54aが取得される。時刻tは1回転の開始時であり、すなわち相対角0度である。出力部201は、回転補正を行なわない画像を、時刻tの正面方向の撮像データ54bとして保存する。
先端部111が45度回動し、時刻t2における第1撮像素子44aの正面方向の撮像データ55aが取得される。撮像データ55aは、回動方向に45度回転したデータである。出力部201は、撮像データ55aに、回動方向と逆方向に45度回転させる補正を施し、時刻t2の正面方向の撮像データ55bとして保存する。先端部111がさらに45度回動し、時刻t3における第1撮像素子44aの正面方向の撮像データ56aが取得される。撮像データ56aは、回動方向に90度回転したデータである。出力部201は、撮像データ56aに、回動方向と逆方向に90度回転させる補正を施し、時刻t3の正面方向の撮像データ56bとして保存する。同様にして、各撮像角における正面方向の画像データに回転補正を施した画像を保存することで、相対角0度でのみ正面方向の画像データを取得する場合よりも、正面画像のフレームレートの向上を図ることが可能となる。
本実施形態では、先端部111に配された撮像素子44が、回動しながら全周方向の撮影を行う。先端部111を回動可能にすることで、少ない撮像素子であっても、広視野の撮像が可能となる。また、先端部111と挿入部11との間の通信は光無線通信により実現される。先端部111と挿入部11との間には、電気ケーブル等の物理的な接点を設ける必要がないため、先端部111が回動する構成であっても、スリップリング等のコネクタを用いることによる摩耗及び回動速度制限等の影響を受けることなく、挿入部11の高寿命、高耐久性を実現する。
さらに、撮像素子44で得られた画像データは合成されユーザに分かり易く表示装置3に表示される。ユーザの視野操作部121の操作に応じて視野方向が変化された画像が表示されるため、ユーザは、従来先端部111を湾曲操作させることで行っていた視野方向の移動を、視野操作部121の操作により行うことが可能となる。従って、例えば胆管や小腸等の湾曲操作が困難である部位に内視鏡1が使用される場合においても、先端部111を湾曲させることなく側方等を観察することが可能となる。
(実施形態2)
実施形態2では、内視鏡1に設けられる操作部12とは別に、独立した第2操作部が設けられる点で実施形態1と異なる。図10は、実施形態2に係る内視鏡システム200の外観を示す説明図である。内視鏡システム200は、操作部12を有する内視鏡1、内視鏡用プロセッサ2、表示装置3、第2操作部16及び第2表示装置17を備える。実施形態2に係る内視鏡システム200は、第2操作部16及び第2表示装置17を備える点以外は実施形態1における構成と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
第2操作部16は、例えばジョイスティック等の第2視野操作部161を備える筐体であり、内視鏡1とは独立して設けられる。第2操作部16は、例えば内視鏡1のユーザとは異なる第2ユーザにより操作される。第2表示装置17は、例えば液晶表示装置、又は有機ELディスプレイ等であり、第2操作部16の操作に応じて内視鏡用プロセッサ2から出力された画像等を表示する。第2操作部16及び第2表示装置17は、有線又は無線により内視鏡用プロセッサ2と通信接続される。第2操作部16は、ディスプレイ内蔵のタッチパネルデバイス等により、第2表示装置17と一体型に構成されてもよい。
図11は、内視鏡システム200の構成を説明するブロック図である。内視鏡システム200の内視鏡用プロセッサ2は、通信部204をさらに備える。通信部204は、通信に関する処理を行うための通信モジュールである。通信部204は、例えばwifi(登録商標)、Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。通信部204は、USB(Universal Serial Bus)等の有線の通信モジュールであってもよい。通信部204はHDMI(登録商標)等を介して通信を行ってもよい。
操作指示取得部203は、通信部204を介して第2視野操作部161から入力される第2操作指示を取得する。取得した第2操作指示は、出力部201へ入力される。出力部201は、第2操作指示を取得した場合に、実施形態1における視野操作部121からの操作指示に対する処理と同様の処理を行う。出力部201は、第2操作指示に応じた視野領域54の画像を生成して第2表示装置17に出力する。
本実施形態によれば、内視鏡1とは独立して設置される第2操作部16を用いて、内視鏡1のユーザとは異なる第2ユーザが第2操作指示を出力する。第2表示装置17には、第2操作指示に応じた視野領域54の画像が表示される。第2ユーザは、内視鏡1とは独立した場所で、あたかも内視鏡1の先端部111を湾曲操作しているかの如く操作性の下に、観察画像を得ることができる。例えば、内視鏡1の第1ユーザが医師である場合に、当該医師より熟練の補助者が第2ユーザとして第2操作部16により観察を行うことで、観察漏れを防止することが可能となる。
(実施形態3)
実施形態3では、先端部111に配される撮像部43の構成が実施形態1と異なる。図12は、実施形態3の挿入部11の先端の構成を説明する説明図である。実施形態3の先端部111には、複数の撮像部43として、例えば3つの撮像部43a,43b,43cが設けられている。
撮像部43aは、先端部111の正面方向に設けられ、回動軸に略平行な視野方向を有する第1撮像素子44aを含む。第1撮像素子44aの周辺には、撮影用光源45a,45bが設けられている。撮影用光源45aは例えば白色LEDを含む。撮影用光源45bは、例えば青色の波長帯域の光を発する青色LED及び緑色の波長帯域の光を発する緑色LED等の特殊光を発する光源を含む。撮像部43bは、先端部111の側面方向に設けられ、回動軸に略垂直な視野方向を有する第2撮像素子44bを含む。第2撮像素子44bの周辺には、白色LED等の撮影用光源45aが一又は複数設けられている。撮像部43cは、先端部111の側面方向に、例えば撮像部43bと対向する位置に設けられ、回動軸に略垂直な視野方向を有する第2撮像素子44cを含む。第2撮像素子44cの周辺には、青色LED及び緑色LED等の撮影用光源45bが一又は複数設けられている。撮影用光源45bは、青色LED又は緑色LEDのいずれか一方を備える構成であってもよい。特定の波長帯域に制限された特殊光を用いて撮影を行うことで、生体組織内への光の深達度は波長によって異なるという光学特性を利用して生体組織の粘膜に存在する血管を強調して表示する画像を得ることができる。
上記のように構成される撮像部43によれば、白色LEDを用いて、撮像された画像に基づき生体組織の表面の全体的な性状を観察するための画像を表示するとともに、特殊光を用いて、表層血管を強調した血管強調観察を行うための画像を表示することが可能となる。
(実施形態4)
実施形態4では、先端部111に配される撮像部43の構成が実施形態1と異なる。図13は、実施形態4の挿入部11の先端の構成を説明する説明図である。実施形態4では、先端が先細の砲丸形状である先端部111を備える。先端部111の傾斜した部分には、1つの撮像部43が設けられている。撮像部43は、撮像素子44及び撮影用光源45を含み、広角レンズ又は超広角レンズを用いて先端部111の正面方向及び側方を含む撮影範囲を撮影する。本実施形態によれば、1つの撮像部43であっても広視野の撮像が可能となる。
(実施形態5)
実施形態5では、先端部111を回動する回動部41の構成が実施形態1と異なる。図14は、実施形態5の挿入部11の先端の構成を説明する説明図である。先端部111と湾曲部112との結合面の外周には、噛み合い式のカップリング部材413が設けられる。カップリング部材413は、先端部111の周方向に間隔をあけて複数形成される凸部を有する先端側カップリング部材414と、湾曲部112の周方向に間隔をあけて複数形成される凸部を有する湾曲側カップリング部材415とで構成される。先端側カップリング部材414と湾曲側カップリング部材415との噛み合いにより、先端部111が挿入部11に結合される。湾曲部112の結合部分には、湾曲側カップリング部材415の設けられる面の反対側に、環状の第1ギヤ416が設けられる。湾曲部112の内部には、回動支持部411及び回動駆動体412、第2ギヤ417、及び第3ギヤ418が設けられる。第2ギヤ417は、回動支持部411に接続され、第3ギヤ418に噛合する。第3ギヤ418は、第1ギヤ416に噛合する位置に設けられる。回動支持部411を回動駆動体412が回動させることによって、第2ギヤ417、第3ギヤ418及び第1ギヤ416が回動され、カップリング部材413が回動する。カップリング部材413が回動することにより、先端部111が回動される。なお、カップリング部材413及び各ギヤ構成は図14の例に限定されるものではない。
カップリング部材413の内側には、角度測定部46及び伝達部47が設けられる。先端部111の結合面には、先端側カップリング部材414の内周の一部に、RGBセンサ461が設けられる。RGBセンサ461のさらに内周には、環状又は円形状の第1光素子471が設けられる。湾曲部112の結合面には、第1ギヤ416の内側に、環状のカラーパターン部462が設けられる。カラーパターン部462の内周には、環状又は円形状の第2光素子472が、第1光素子471に対向して設けられる。カラーパターン部462及び第2光素子472は、湾曲部112に設けられるため回動しない。
本実施形態によれば、カップリング部材413により先端部111が挿入部11に結合される。従って、単一の回動支持部411により結合される場合よりも、結合部分の強度が増すため、挿入部11の耐久性を向上させることができる。また、外周に設けられたカップリング部材413により先端部111が結合されるため、先端部111の結合面の中心に回動支持部411が設けられない。結合面の中心に第1光素子471及び第2光素子472を設けることができるため、第1光素子471及び第2光素子472の形状が簡素となり、生産コストを抑制できる。また、第2光素子472に接続する通信ケーブルを挿入部11の中心に設けることができ、配線構造が容易になる。
(実施形態6)
実施形態6では、先端部111を回動する回動部41の構成が実施形態1と異なる。図15は、実施形態6の回動部41の構成を説明する説明図である。実施形態6では、回動部41は、回動駆動体412、回動軸結合部421及びトルクワイヤ422を有する。回動駆動体412は、内視鏡用プロセッサ2内に設けられ、回動軸結合部421を介してトルクワイヤ422に接続される。トルクワイヤ422は、先端部111に接続される。回動軸結合部421を介してトルクワイヤ422を回動駆動体412が回動させることによって、先端部111が回動される。
本実施形態によれば、回動駆動体412を内視鏡用プロセッサ2に設けることにより、挿入部11を細径化することができる。また、湾曲部112の内部に湾曲動作の妨げとなる回動駆動体412が設けられないため、湾曲部112の湾曲が生じない部分を短くすることができる。なお、回動駆動体412が先端部111の遠方に設けられる場合において、回動の力学的伝達遅れが生じるときは、予め所定時間分の伝達遅れを加味した回動指示等の信号処理が行われることが望ましい。
(実施形態7)
実施形態7では、先端部111の回動操作を、回動操作部を用いて手動で行う。図16は、実施形態7の回動部41の構成を説明する説明図である。実施形態7の先端部111は、実施形態5と同様にカップリング部材413を用いて結合されている。挿入部11の内部には、複数のギヤが設けられ、回動支持部411の回動により各ギヤが回動することで、先端部111を回動させる。操作部12は、トルクワイヤ422を介して回動支持部411に接続される回動操作部123を備える。回動操作部123が操作されることにより、トルクワイヤ422を介して回動操作部123に接続された回動支持部411が回動し、先端部111が回動される。
なお、トルクワイヤ422に代替して、挿入部11に図示しないモータ等の回動駆動体412を備え、回動操作部123からの操作信号に基づき回動駆動体412を回動させる構成であってもよい。挿入部11は、回動操作部123の操作信号を取得し、取得した操作信号を回動駆動制御部105に出力することで、回動駆動体412の回動動作を制御する。
上記の実施形態では、内視鏡1は被検者の体内に挿入される医療用内視鏡の例を説明したが、内視鏡1は、例えば配管等の検査に使用される工業用内視鏡であってもよい。
なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。
100 内視鏡システム
1 内視鏡
2 内視鏡用プロセッサ
3 表示装置
11 挿入部
111 先端部
112 湾曲部
113 可撓管部
12 操作部
121 視野操作部
122 湾曲操作部
13 ユニバーサルコード
14 コネクタ部
41 回動部
411 回動支持部
412 回動駆動体
43 撮像部
44 撮像素子
44a 第1撮像素子
44b 第2撮像素子
45 撮影用光源
46 角度測定部
461 RGBセンサ
462 カラーパターン部
47 伝達部
471 第1光素子
472 第2光素子
481 第2受光素子
482 第1発光素子
483 第3受光素子
484 第2発光素子
485 第1受光素子
486 第3発光素子
54 視野領域
Y 回動軸

Claims (14)

  1. 回動可能な先端部を有する挿入部を備え、
    前記挿入部は、
    前記先端部に配された撮像部と、
    前記撮像部に電力又は信号を伝達する伝達部とを有する
    内視鏡。
  2. 前記撮像部は、前記先端部の回動軸に交差する視野方向を有する
    請求項1に記載の内視鏡。
  3. 前記撮像部は、前記先端部の回動軸に平行な視野方向と、前記回動軸に垂直な視野方向とを有する
    請求項1又は請求項2に記載の内視鏡。
  4. 前記伝達部は、前記先端部に固定された第1光素子と、前記第1光素子に対向して配置されており前記挿入部に固定された第2光素子とを備える
    請求項1から請求項3のいずれか1項に記載の内視鏡。
  5. 前記挿入部に接続された操作部を備え、
    前記操作部は、前記撮像部が撮影した撮像データに基づいて表示される画像の視野領域を操作する第1操作部を有する
    請求項1から請求項4のいずれか1項に記載の内視鏡。
  6. 前記撮像部の回動角度を検出する回動角度検出部
    を備える請求項1から請求項5のいずれか1項に記載の内視鏡。
  7. 内視鏡の先端に回動可能に配された撮像部により撮影された撮像データと、前記撮像部の回動角度とを関連付けて取得する取得部と、
    前記取得部が取得した前記回動角度に基づき、前記取得部が取得した前記撮像データを補正して出力する第1出力部と
    を備える内視鏡用プロセッサ。
  8. 前記第1出力部は、複数の撮像部から取得した複数の撮像データに基づいて合成した画像を出力する
    請求項7に記載の内視鏡用プロセッサ。
  9. 前記撮像データに基づいて表示される画像の視野領域に関する第1操作指示を取得する第1操作指示取得部を備え、
    前記第1出力部は、前記第1操作指示取得部が取得した前記第1操作指示に基づいて合成した画像を出力する
    請求項7又は請求項8に記載の内視鏡用プロセッサ。
  10. 前記撮像データに基づいて表示される画像の視野領域に関する第2操作指示を前記第1操作指示とは独立して取得する第2操作指示取得部を備え、
    前記第2操作指示取得部が取得した前記第2操作指示に基づいて合成した画像を出力する第2出力部を備える
    請求項9に記載の内視鏡用プロセッサ。
  11. 前記視野領域と、前記視野領域の画像とを対応付けて出力する
    請求項9又は請求項10に記載の内視鏡用プロセッサ。
  12. 回動可能な先端部を有する挿入部を備える内視鏡と、内視鏡用プロセッサとを備える内視鏡システムであって、
    前記内視鏡は、
    前記先端部に配された撮像部と、
    前記撮像部が撮影した撮像データと、前記撮像部の回動角度とを関連付けて出力する内視鏡出力部とを備え、
    前記内視鏡用プロセッサは、
    前記内視鏡出力部が出力した前記撮像データ及び前記回動角度を取得する取得部と、
    前記取得部が取得した前記回動角度に基づき、前記取得部が取得した前記撮像データを補正して出力する第1出力部とを備える
    内視鏡システム。
  13. 前記先端部は、前記内視鏡用プロセッサから出力される指示に基づいて回動が開始又は停止され、
    前記回動が停止した場合に、前記撮像部による撮影が行なわれる
    請求項12に記載の内視鏡システム。
  14. 前記撮像データに基づく画像を表示する第1表示装置及び第2表示装置をさらに備え、
    前記内視鏡は、
    前記撮像データに基づいて表示される画像の視野領域を操作する第1操作部と、
    前記撮像データに基づいて表示される画像の視野領域を前記第1操作部とは独立して操作する第2操作部とを備え、
    前記第1表示装置は、前記第1操作部の操作指示に基づいて合成された画像を表示し、
    前記第2表示装置は、前記第2操作部の操作指示に基づいて合成された画像を表示する
    請求項12又は請求項13に記載の内視鏡システム。
JP2019169621A 2019-09-18 2019-09-18 内視鏡及び内視鏡システム Active JP7353886B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019169621A JP7353886B2 (ja) 2019-09-18 2019-09-18 内視鏡及び内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019169621A JP7353886B2 (ja) 2019-09-18 2019-09-18 内視鏡及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2021045339A true JP2021045339A (ja) 2021-03-25
JP7353886B2 JP7353886B2 (ja) 2023-10-02

Family

ID=74876851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019169621A Active JP7353886B2 (ja) 2019-09-18 2019-09-18 内視鏡及び内視鏡システム

Country Status (1)

Country Link
JP (1) JP7353886B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251574A (ja) * 2008-04-11 2009-10-29 I Systems:Kk 広視野内視鏡
JP2010233887A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp カプセル内視鏡
US20130223798A1 (en) * 2011-08-31 2013-08-29 Robert K. Jenner Optical-electrical rotary joint and methods of use
JP2015156889A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 表示制御装置、表示装置および表示制御システム
WO2016043063A1 (ja) * 2014-09-18 2016-03-24 ソニー株式会社 画像処理装置および画像処理方法
WO2016203535A1 (ja) * 2015-06-16 2016-12-22 オリンパス株式会社 内視鏡

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131125A (ja) 2008-12-03 2010-06-17 Hoya Corp 医療用プローブ付き電子内視鏡

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251574A (ja) * 2008-04-11 2009-10-29 I Systems:Kk 広視野内視鏡
JP2010233887A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp カプセル内視鏡
US20130223798A1 (en) * 2011-08-31 2013-08-29 Robert K. Jenner Optical-electrical rotary joint and methods of use
JP2015156889A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 表示制御装置、表示装置および表示制御システム
WO2016043063A1 (ja) * 2014-09-18 2016-03-24 ソニー株式会社 画像処理装置および画像処理方法
WO2016203535A1 (ja) * 2015-06-16 2016-12-22 オリンパス株式会社 内視鏡

Also Published As

Publication number Publication date
JP7353886B2 (ja) 2023-10-02

Similar Documents

Publication Publication Date Title
JP4500096B2 (ja) 内視鏡及び内視鏡システム
JP4855771B2 (ja) 体内画像撮影装置および体内画像撮影システム
JP2018519860A (ja) 動的視野内視鏡
JPH09215660A (ja) 内視鏡の画像形成装置
JP2004344655A (ja) 内視鏡装置
JP5942047B2 (ja) 内視鏡システム
JP2018139848A (ja) 内視鏡システム及びその作動方法
JPWO2013015104A1 (ja) カプセル型内視鏡システム、画像表示装置の作動方法、及び画像表示プログラム
JP2018139846A (ja) 内視鏡システム及びその作動方法
JP2008073246A (ja) 内視鏡システム
JP4767618B2 (ja) 生体内情報取得装置
EP3376276B1 (en) Constant horizon 3d imaging system and related method
JP2018139847A (ja) 内視鏡システム及びその作動方法
WO2018159347A1 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP4554267B2 (ja) 内視鏡及び内視鏡システム
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP6132984B2 (ja) カプセル内視鏡システム及びその撮像方法
JP7353886B2 (ja) 内視鏡及び内視鏡システム
US10729309B2 (en) Endoscope system
CN110507276A (zh) 一种双镜头全景成像的胶囊内窥镜系统
JP2022136184A (ja) 制御装置、内視鏡システムおよび制御装置の作動方法
WO2019012824A1 (ja) 内視鏡
KR20070071791A (ko) 스테레오스코프를 이용한 내시경 및 이의 제어 방법
JP2006314808A (ja) カプセル型内視鏡システム及びカプセル型内視鏡
CN209252801U (zh) 一种组合式胶囊内窥镜系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230920

R150 Certificate of patent or registration of utility model

Ref document number: 7353886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150