JP2018000497A - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP2018000497A JP2018000497A JP2016130820A JP2016130820A JP2018000497A JP 2018000497 A JP2018000497 A JP 2018000497A JP 2016130820 A JP2016130820 A JP 2016130820A JP 2016130820 A JP2016130820 A JP 2016130820A JP 2018000497 A JP2018000497 A JP 2018000497A
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- exposure condition
- image
- endoscope
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000005096 rolling process Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000006866 deterioration Effects 0.000 abstract description 5
- 230000003595 spectral effect Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 14
- 238000005452 bending Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
このような撮像画像を動画として表示した場合、輝度が時間的に変動することで画面のちらつきが生じているように見えたり、撮像画像の暗領域が定常的に視認される等の不都合が生じる。内視鏡は、人体内部の部位(被写体)を撮像するため、外光は存在せず、照射光が照射されない限りは部位(被写体)の像は得られないので、暗領域は撮像画像に形成され易い。このため、観察者は、上記撮像画像を含んだ動画において画面のちらつきを感じ易く、また撮像画像の暗領域を定常的に視認するといった品質の劣化は顕著になる。特に、部位(被写体)によっては、波長スペクトルの異なる複数種類の照射光を当てながら同時に観察することが望まれるが、フィルターターレット(回転板)を用いて複数種類の照射光を短時間に切り替えながら照射された部位(被写体)の撮像画像を、照射光の種類毎に分けて、ディスプレイに同時に表示する場合、観察者は双方の画面にちらつきを感じるといった画面の品質劣化の不具合が生じる場合もある。1種類の照射光を用いる場合、フィルターターレット(回転板)を用いず、連続的に光を部位(被写体)に照射するので、動画の画面においてちらつきを感じるといった画面の品質劣化の不具合が生じることはない。
また、例えば、上記分光フィルタを用いた狭帯域の光を照射光として撮像された部位(被写体)の分光画像を重ねて1つの画像を動画として表示する場合にも、上記ちらつきによる画面の品質劣化の問題が生じる。
複数の光学フィルタを配した回転板を回転させて、光源からの出射光の光路上を通過する光学フィルタを切り替えることにより、前記光学フィルタのそれぞれでフィルタリングされた出射光を被写体の照射光として順次出力する光源装置と、
前記光学フィルタを切り替える度に、前記照射光で照射された前記被写体を、ローリングシャッターを用いて、基準露光時間及び基準露光タイミングを含む基準露光条件、及び前記基準露光条件から調整された、露光時間及び露光タイミングを含む調整露光条件のいずれか一方で撮像する撮像素子を備え、前記基準露光条件で撮像した計測用撮像画像及び前記調整露光条件で撮像した観察用撮像画像を出力する内視鏡と、
前記内視鏡から出力された前記計測用撮像画像の一部において、露光期間中前記撮像素子の受光面の一部が受光しないことにより形成される暗領域の情報に基づいて、前記調整露光条件による撮像のために、前記露光期間中前記撮像素子の受光面全てが受光する露光条件を前記調整露光条件として設定するタイミングコントローラを備えるプロセッサと、
を備えることを特徴とする内視鏡システムである。
前記映像信号処理部は、前記観察用撮像画像と前記計測用撮像画像とを識別可能にするためのインデックス情報を、前記観察用撮像画像及び前記計測用撮像画像の少なくともいずれか一方に付加する、ことが好ましい。
前記プロセッサは、前記インデックス情報に基づいて、前記観察用撮像画像の信号及び前記計測用撮像画像の信号のうち、前記観察用撮像画像の信号だけを前記ディスプレイに送信するディスプレイコントローラを備える、ことが好ましい。
前記ディスプレイコントローラは、前記光学フィルタの種類別に前記ディスプレイに前記観察用撮像画像を表示するよう、前記信号処理された前記観察用撮像画像を前記光学フィルタの種類別に前記ディスプレイに送信する、ことが好ましい。
以下、本実施形態の内視鏡システムについて詳細に説明する。図1は、本実施形態の内視鏡システム1の外観斜視図であり、図2は、内視鏡システム1の主な構成を示すブロック構成図である。内視鏡システム1は、プロセッサ2、光源装置3、内視鏡4、ディスプレイ5、を主に備える。光源装置3、内視鏡4、及びディスプレイ5は、それぞれプロセッサ2に接続される。なお、光源装置3とプロセッサ2とは別体で構成されているが、光源装置3がプロセッサ2に設けられて構成されてもよい。
内視鏡4の先端部402は、図2に示すように、配光レンズ406、対物レンズ408、撮像素子410及びアンプ412を備える。配光レンズ406は、ライトガイド404の先端面と対向して配置され、ライトガイド404の先端面から射出される照射光を発散させて、被写体を照明する。対物レンズ408は、被写体からの散乱光あるいは反射光を集光して、撮像素子410の受光面上で被写体の像を結像させる。
撮像素子410は、各受光位置から得られた撮像信号はアンプ412によって増幅された後、コネクタ部414へ順次伝送される。
プロセッサ2には、内視鏡4と接続するためのコネクタ部200(図1参照)が設けられている。また、内視鏡4の基端にはプロセッサ4のコネクタ部200と接続するためのコネクタ部414が設けられている。コネクタ部414とコネクタ部200が機械的に接続されることにより、内視鏡4とプロセッサ2とが電気的に接続され、光源装置3と内視鏡4が光学的に接続される。
を主に備える。システムコントローラ202は、メモリ201に記憶された各種プログラムを読み出して実行することにより、内視鏡システム1全体の動作を制御する。また、システムコントローラ202は、操作パネル218に入力され操作者(観察者)による指示に応じて電子内視鏡システム1の各種動作を定め、あるいは予め定めた各種動作のデフォルト設定を変更する。タイミングコントローラ204は、後述する露光条件の調整を行う他、システムコントローラ202による制御に従って、信号処理部416及び映像信号処理部220にクロック信号を供給する。映像信号処理部220は、内視鏡4から供給される撮像画像の映像信号を信号処理して、ディスプレイ5に供給されるビデオフォーマット信号を生成する。
プレ映像信号処理部222は、計測フレーム処理部221で計数の対象とされなかった観察用撮像画像の映像信号に対して色補正、マトリックス演算、Y/C分離等の所定の信号処理を施す部分である。信号処理された映像信号は、1画素毎に撮像画像としてフレームメモリ部228に送られ記憶される。プレ映像信号処理部222は、計測用撮像画像の映像信号については、タイミングコントローラ204からの計測用撮像画像であることの通知に応じて、信号処理を行わない。
上述したように、被写体を照明する照射光は、光学フィルタによって、異なる複数の狭帯域の波長成分の照射光が生成されるので、撮像画像としてフレームメモリ部228に記憶される各撮像画像は、狭帯域の波長成分の照射光で照射された被写体の像の分光画像である。したがって、フレームメモリ部228は、ターレット312に用いた光学フィルタの数に応じた数のフレームメモリを備える。
したがって、分光処理部224は、複数の分光画像を1つの画像に纏めるために、フレームメモリ部228から各分光画像が読み出され、複数の分光画像を1つの画像にまとめて、広帯域の波長成分を有する合成画像を生成する処理を行う。なお、分光処理部224は、観察用撮像画像に対してのみ合成画像の生成を行い、計測用撮像画像については、タイミングコントローラ204からの計測用撮像画像であることの通知に応じて、合成画像の生成を行わない。
ポスト映像信号処理部226は、分光処理部224で生成された合成画像の映像信号を信号処理(γ補正等)してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、ディスプレイ5に出力される。これにより、被写体の観察用撮像画像がディスプレイ5の表示画面に動画として表示される。
また、観察用撮像画像については、プレ映像信号処理部222において廃棄し、プレ映像信号処理部222以降の後段の処理部に送信しないように構成することもできる。
内視鏡システム1は以上のように構成される。
本実施形態では、光源装置3のターレット312の回転による照射光の生成(出力)のタイミングと撮像素子410の露光のタイミングは同期するように、システムコントローラ202及びタイミングコントローラ204で制御されているが、ターレット312は、モータ314によって回転するので、モータ314の回転の揺らぎや経年劣化に伴って、照射光の出力のタイミングと撮像素子410の露光(被写体の像の受光)のタイミングがずれる場合がある。
一方、図4(b)は、図4(a)に示す場合に対して、ターレット312の回転が揺らいで照射光の立ち上がり時間が長くなる(照射光強度の台形形状の分布のうち、台形形状の脚部の傾斜が緩くなる)場合、斜め線X1と斜め線Y1との間の斜線領域の露光期間中、照射光による被写体の像を少なくともある時間において受光していない部分Wが、図4(a)に示す場合に比べて大きくなる。このような撮像画像における暗領域に該当する部分Wの大きさが変動することにより、観察者は、画面のちらつきを感じ易い。
このとき、タイミングコントローラ204は、撮像素子410の受光位置のそれぞれが、受光位置のそれぞれの露光の全期間中、1つの照射光で、好ましくは一定の光強度の1つの照射光で、照射された被写体の像を連続して受光するように、基準露光時間及び基準露光タイミングの少なくとも一方を調整することにより調整露光条件を設定することが好ましい。
図6は、本実施形態の内視鏡システム1の撮像のフローの例を示すフローチャートである。
システムコントローラ202あるいはタイミングコントローラ204は、クロック信号を生成し、ターレット312の回転による照射光の生成のタイミングと撮像素子410による露光のタイミングが同期するように制御する。しかし、ターレット312の回転のゆらぎや使用に伴う経年劣化によって、回転速度がゆらぎあるいは変化して、撮像素子410の受光位置で受光しないことにより形成される暗領域が撮像画像に形成され易い。このため、以下のように、予め設定された基準露光条件で撮像し、この撮像結果に応じて露光条件を調整して観察用撮像画像を作成する。
すなわち、システムコントローラ202は、撮像素子410が基準露光条件で被写体を撮像するように制御する(ステップS13)。基準露光条件は、予め設定された基準露光タイミング及び基準露光時間を含む。この撮像により、内視鏡4は、計測用撮像画像の映像信号を作成する(ステップS14)。
タイミングコントローラ204は、計数結果に基づいて、図5(a),(b)に示すように、撮像素子410の受光位置のそれぞれ(受光面の全て)が、撮像素子410の露光期間中被写体の像を受光する(暗領域を撮像画像に形成しない)露光条件を調整露光条件として設定する(ステップS22)。特に、タイミングコントローラ204は、撮像素子410の受光位置のそれぞれが、受光位置のそれぞれの露光の全期間中、1つの照射光で照射された被写体の像を連続して受光するように、基準露光時間及び基準露光タイミングの少なくとも一方を調整することにより調整露光条件を設定することが好ましい。タイミングコントローラ204は、設定された調整露光条件を撮像素子410に送る。
ステップS12〜28のフローは、観察終了の指示が有るまで繰り返される(ステップS30)。
計測用撮像画像の一部形成される暗領域(非露光領域)の情報に基づいて、調整露光条件による撮像のために、暗領域(非露光領域)が形成されない露光条件、いいかえると撮像素子10の受光面の全てが受光する露光条件が調整露光条件として設定される。このため、内視鏡4の撮像画像を動画としてディスプレイ5に表示するとき、画面のちらつき等の品質劣化を抑制することができる。
さらに、プロセッサ2のポスト映像信号処理部226は、上記インデックス情報に基づいて、観察用撮像画像のビデオフィーマット信号と計測用撮像画像のビデオフィーマット信号のうち、観察用撮像画像のビデオフィーマット信号だけをディスプレイ5に送信するディスプレイコントローラとして機能させることが好ましい。すなわち、プロセッサ2のポスト映像信号処理部226は、計測用撮像画像のビデオフィーマット信号をディスプレイ5に送信しない。この場合、ポスト映像信号処理部226は、計測用撮像画像の映像信号のビデオフォーマット信号を廃棄する。計測用撮像画像は、暗領域が形成されているので、ディスプレイ5に表示させることは画面のちらつきを観察者に感じさせる点で好ましくない。
2 プロセッサ
3 光源装置
4 内視鏡
5 ディスプレイ
200,400 コネクタ部
201 メモリ
202 システムコントローラ
204 タイミングコントローラ
218操作パネル
220 映像信号処理部
221 計測フレーム処理部
222 プレ映像信号処理部
224 分光処理部
226 ポスト映像信号処理部
228 フレームメモリ部
306 ランプ電源ドライバ
308 ランプ
310 集光レンズ
312 フィルターターレット
314 モータ
316 モータドライバ
402 先端部
404 ライトガイド
406 配光レンズ
408 対物レンズ
410 撮像素子
412 アンプ
414 コネクタ部
416 信号処理部
418 メモリ
420 挿入部
422 手元操作部
424 屈曲部
Claims (10)
- 複数の光学フィルタを配した回転板を回転させて、光源からの出射光の光路上を通過する光学フィルタを切り替えることにより、前記光学フィルタのそれぞれでフィルタリングされた出射光を被写体の照射光として順次出力する光源装置と、
前記光学フィルタを切り替える度に、前記照射光で照射された前記被写体を、ローリングシャッターを用いて、基準露光時間及び基準露光タイミングを含む基準露光条件、及び前記基準露光条件から調整された、露光時間及び露光タイミングを含む調整露光条件のいずれか一方で撮像する撮像素子を備え、前記基準露光条件で撮像した計測用撮像画像及び前記調整露光条件で撮像した観察用撮像画像を出力する内視鏡と、
前記内視鏡から出力された前記計測用撮像画像の一部において、露光期間中前記撮像素子の受光面の一部が受光しないことにより形成される暗領域の情報に基づいて、前記調整露光条件による撮像のために、前記露光期間中前記撮像素子の受光面の全てが受光する露光条件を前記調整露光条件として設定するタイミングコントローラを備えるプロセッサと、
を備えることを特徴とする内視鏡システム。 - 前記タイミングコントローラは、前記撮像素子の受光位置のそれぞれが、受光位置のそれぞれの露光の全期間中、1つの照射光で照射された前記被写体の像を連続して受光するように、前記基準露光時間及び基準露光タイミングの少なくとも一方を調整することにより前記調整露光条件を設定する、請求項1に記載の内視鏡システム。
- 前記基準露光時間は、前記調整露光条件における露光時間に比べて短い、予め設定された時間である、請求項1または2に記載の内視鏡システム。
- 前記撮像素子は、前記基準露光条件による撮像を、前記調整露光条件による少なくとも1回以上の撮像の前に行うように制御される、請求項1〜3のいずれか1項に記載の内視鏡システム。
- 前記撮像素子は、前記基準露光条件による撮像と、前記調整露光条件による少なくとも1回以上の撮像を繰り返し行うことにより、前記内視鏡は、前記計測用撮像画像と前記観察用撮像画像を前記プロセッサに順次送信する、請求項1〜4のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記計測用撮像画像に形成される暗領域の画素数あるいは画素列の列幅数を、前記暗領域の情報として計数する計測フレーム処理部を備える、請求項1〜5のいずれか1項に記載の内視鏡システム。
- 前記画素数あるいは前記画素列の列幅数は、前記内視鏡から順次送られる複数の計測用撮像画像の前記暗領域の画素数あるいは画素列の列幅数のうち、最大の画素数あるいは列幅数である、請求項6に記載の内視鏡システム。
- 前記プロセッサは、前記観察用撮像画像を信号処理する映像信号処理部を備え、
前記映像信号処理部は、前記観察用撮像画像と前記計測用撮像画像とを識別可能にするためのインデックス情報を、前記観察用撮像画像及び前記計測用撮像画像の少なくともいずれか一方に付加する、請求項1〜7のいずれか1項に記載の内視鏡システム。 - さらに、前記観察用撮像画像を表示するディスプレイを備え、
前記プロセッサは、前記インデックス情報に基づいて、前記観察用撮像画像の信号及び前記計測用撮像画像の信号のうち、前記観察用撮像画像の信号だけを前記ディスプレイに送信するディスプレイコントローラを備える、請求項8に記載の内視鏡システム。 - 前記回転板は、フィルタ特性が異なる複数種類の光学フィルタを備え、
前記ディスプレイコントローラは、前記光学フィルタの種類別に前記ディスプレイに前記観察用撮像画像を表示するよう、前記信号処理された前記観察用撮像画像を前記光学フィルタの種類別に前記ディスプレイに送信する、請求項9に記載の内視鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130820A JP6726541B2 (ja) | 2016-06-30 | 2016-06-30 | 内視鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130820A JP6726541B2 (ja) | 2016-06-30 | 2016-06-30 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018000497A true JP2018000497A (ja) | 2018-01-11 |
JP6726541B2 JP6726541B2 (ja) | 2020-07-22 |
Family
ID=60945351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130820A Active JP6726541B2 (ja) | 2016-06-30 | 2016-06-30 | 内視鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6726541B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011250926A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
WO2013175908A1 (ja) * | 2012-05-25 | 2013-11-28 | オリンパスメディカルシステムズ株式会社 | 撮像システム |
JP2014117414A (ja) * | 2012-12-14 | 2014-06-30 | Fujifilm Corp | 内視鏡装置及びその撮像制御方法 |
JP2015033405A (ja) * | 2013-08-07 | 2015-02-19 | Hoya株式会社 | 撮像装置 |
JP2015070937A (ja) * | 2013-10-03 | 2015-04-16 | 富士フイルム株式会社 | 内視鏡装置 |
JP2015119762A (ja) * | 2013-12-20 | 2015-07-02 | 富士フイルム株式会社 | 撮像システム、及び内視鏡装置 |
-
2016
- 2016-06-30 JP JP2016130820A patent/JP6726541B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011250926A (ja) * | 2010-06-01 | 2011-12-15 | Fujifilm Corp | 電子内視鏡システム |
WO2013175908A1 (ja) * | 2012-05-25 | 2013-11-28 | オリンパスメディカルシステムズ株式会社 | 撮像システム |
JP2014117414A (ja) * | 2012-12-14 | 2014-06-30 | Fujifilm Corp | 内視鏡装置及びその撮像制御方法 |
JP2015033405A (ja) * | 2013-08-07 | 2015-02-19 | Hoya株式会社 | 撮像装置 |
JP2015070937A (ja) * | 2013-10-03 | 2015-04-16 | 富士フイルム株式会社 | 内視鏡装置 |
JP2015119762A (ja) * | 2013-12-20 | 2015-07-02 | 富士フイルム株式会社 | 撮像システム、及び内視鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6726541B2 (ja) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5435916B2 (ja) | 電子内視鏡システム | |
JP5452785B1 (ja) | 撮像システム | |
JP5296930B2 (ja) | 医療機器 | |
JP5259882B2 (ja) | 撮像装置 | |
US9844312B2 (en) | Endoscope system for suppressing decrease of frame rate without changing clock rate of reading | |
JP6143096B2 (ja) | 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置 | |
JP5245022B1 (ja) | 撮像装置 | |
WO2012033200A1 (ja) | 撮像装置 | |
WO2018211885A1 (ja) | 画像取得システム、制御装置及び画像取得方法 | |
CN113271838B (zh) | 内窥镜系统、图像处理装置、总处理时间检测方法及处理装置 | |
JP5467182B1 (ja) | 撮像システム | |
CN112584734B (zh) | 医疗成像系统 | |
WO2015114906A1 (ja) | 撮像システムおよび撮像装置 | |
JP6396577B2 (ja) | 内視鏡装置 | |
WO2016185734A1 (ja) | 内視鏡システム | |
JP6489644B2 (ja) | 撮像システム | |
WO2016088628A1 (ja) | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム | |
JP2006346196A (ja) | 内視鏡撮像システム | |
JP2005204741A (ja) | 電子内視鏡装置 | |
JP6726541B2 (ja) | 内視鏡システム | |
WO2019221306A1 (ja) | 内視鏡システム | |
JP5156560B2 (ja) | 電子内視鏡システム | |
WO2023090044A1 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP4439245B2 (ja) | 電子内視鏡装置 | |
CN116262029A (zh) | 用于用户界面呈现的成像镜数据的帧处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6726541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |