JP2016189812A - 内視鏡撮影部位特定装置、方法、プログラム - Google Patents

内視鏡撮影部位特定装置、方法、プログラム Download PDF

Info

Publication number
JP2016189812A
JP2016189812A JP2015070156A JP2015070156A JP2016189812A JP 2016189812 A JP2016189812 A JP 2016189812A JP 2015070156 A JP2015070156 A JP 2015070156A JP 2015070156 A JP2015070156 A JP 2015070156A JP 2016189812 A JP2016189812 A JP 2016189812A
Authority
JP
Japan
Prior art keywords
image
past
past image
current image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015070156A
Other languages
English (en)
Other versions
JP6389136B2 (ja
Inventor
伸之 三浦
Nobuyuki Miura
伸之 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015070156A priority Critical patent/JP6389136B2/ja
Priority to DE102016105165.9A priority patent/DE102016105165A1/de
Priority to US15/083,903 priority patent/US10092216B2/en
Publication of JP2016189812A publication Critical patent/JP2016189812A/ja
Application granted granted Critical
Publication of JP6389136B2 publication Critical patent/JP6389136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00154Holding or positioning arrangements using guiding arrangements for insertion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/009Flexible endoscopes with bending or curvature detection of the insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/01Guiding arrangements therefore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

【課題】簡単に、撮影部位の特定精度を向上する。【解決手段】内視鏡システムでは、マウスピース20に設けられたカメラ46、48のカメラ画像に基づいて挿入部24の挿入量が検出される。次に、検出された挿入量を含む所定範囲の過去画像50が過去画像格納部52から取得される。続いて、取得された過去画像50のそれぞれを、現在画像49に照合して、各過去画像50と現在画像49との類似度を算出する。そして、類似度が最も高い過去画像50の撮影部位が、現在画像49の撮影部位であると特定する。【選択図】図2

Description

本発明は、内視鏡の挿入部の先端に設けられた撮影部により撮影された撮影部位を特定する内視鏡撮影部位特定装置、方法、プログラムに関する。
先端に撮影部が内蔵された挿入部を患者の体内に挿入して、撮影部によって撮影された体内の画像を得る内視鏡が広く知られている。撮影部によって撮影された撮影画像は、リアルタイムでモニタに表示され、医師はモニタを通じて体内の撮影部位を観察できる。
周知のように、内視鏡の挿入部は、撮影部が内蔵された先端部、先端部の向きを変えるために湾曲する湾曲部、可撓性を有する可撓管部が、先端側から順に設けられている。また、挿入部の基端側には操作部が連接されており、操作部には、湾曲部を湾曲させる湾曲操作を行うための操作部材(アングルノブなど)や、撮影部によって静止画を記録するためのシャッタボタンなどが設けられている。
内視鏡検査において、医師は、現在撮影している撮影部位がどの撮影部位か(食道か胃か、あるいは胃の噴門か幽門か胃角かなど)を把握しながら、観察を行う必要がある。しかし、内視鏡の検査対象となる消化管などは、モニタに表示された画像を目視するだけでは違いが認識し難く、現在どの撮影部位を観察しているかを正確に把握できない場合がある。そこで、現在撮影中の撮影部位がどこかを特定するための装置が開発されている。
例えば、下記特許文献1、2には、挿入部の挿入量や、挿入部(湾曲部)の湾曲量、挿入部の軸周りの回転量などに基づいて、撮影部位を特定する装置が開示されている。挿入量及び回転量は、上部消化管の検査のように、患者の口から内視鏡を挿入する経口検査の場合には、例えば、患者の口に装着したマウスピースに対する挿入部の変位量に基づいて検出される。湾曲量は、例えば、湾曲部を湾曲させるための操作部材の操作量に基づいて検出される。
また、下記特許文献3には、挿入部の挿入量や、湾曲量、回転量だけでなく、CT(Computed Tomography)検査やMRI(Magnetic Resonance Imaging)検査により得られた画像から患者体内の3次元の画像データを生成し、生成した3次元の画像データと現在撮影中の画像(現在画像)との比較結果を用いて撮影部位を特定する技術が開示されている。
特許第4262741号公報 特開2014−076174号公報 特開2012−165838号公報
しかしながら、上記特許文献1、2のように、挿入量、湾曲量、回転量などによって撮影部位を特定する方法は、特定精度が低いという問題があった。すなわち、挿入量が同じであっても、患者の個体差(体型、年齢、性別など)により撮影部位は異なるので、挿入量に基づいて特定した撮影部位と実際の撮影部位との間にズレが生じてしまう場合がある。
また、回転量は、患者の口に装着したマウスピースに対する挿入部の変位量に基づいて検出、すなわち、患者の口の姿勢が回転量を検出するための基準となる。よって、患者が顔の向きを変えるなどして患者の口の姿勢が変化してしまうと、実際には回転していないにも関わらず挿入部が回転したと検出される恐れがある。さらに、湾曲量は、操作部材の操作量によって検出されるが、湾曲部の湾曲方向は、基準となる回転量の変化によって変化する。そのため、検出された湾曲量や回転量に基づいて特定した撮影方向と実際の撮影方向との間に、例えば、90度近いズレが生じる場合もある。
これに対し、上記特許文献3のように、患者体内の3次元の画像データを生成し、生成した3次元の画像データと現在画像との比較結果を用いて撮影部位を特定する方法によれば、上記特許文献1、2と比較して撮影部位の特定精度は向上する。しかし、上記特許文献3の方法では、内視鏡検査とは別にCT検査やMRI検査を実施し、得られた検査データに基づいて患者体内の3次元の画像データを生成する必要があり、手間がかかってしまうといった問題があった。
本発明は、上記課題を鑑みてなされたものであり、簡単に、撮影部位の特定精度を向上できる内視鏡撮影部位特定装置を提供することを目的としている。
上記目的を達成するために、本発明の内視鏡撮影部位特定装置は、先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、前記撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定装置において、挿入量検出部、現在画像取得部、過去画像取得部、撮影部位特定部を備える。挿入量検出部は、挿入部の体内への挿入量を検出する。現在画像取得部は、現在画像を取得する。過去画像取得部は、過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、挿入量検出部が検出した挿入量に基づいて過去画像を取得する。撮影部位特定部は、過去画像取得部が取得した過去画像と現在画像とを照合して、現在画像に類似する過去画像を判定することにより、現在画像の撮影部位を特定する。
撮影部位特定部は、照合を行った複数枚の過去画像の中から、現在画像と最も類似度が高い過去画像を判定し、判定した過去画像の撮影部位を現在画像の撮影部位と特定することが好ましい。
挿入量と、撮影部位の候補との対応関係を示す対応テーブルを有しており、過去画像取得部は、挿入量検出部が検出した挿入量に基づいて対応テーブルを参照して撮影部位の候補を決定し、決定した撮影部位の候補に該当する過去画像を過去画像格納部から取得してもよい。
挿入部の湾曲量を検出する湾曲量検出部と、挿入部の軸回りの回転量を検出する回転量検出部とを備え、過去画像取得部は、挿入量、湾曲量及び回転量に基づいて、過去画像を取得してもよい。
過去画像取得部は、過去画像格納部から現在画像の撮影対象である対象患者の過去画像を取得してもよい。
過去画像取得部は、過去画像格納部から現在画像の撮影対象である対象患者とは異なる別患者の過去画像を取得してもよい。
過去画像取得部は、過去画像格納部に、現在画像の撮影対象である対象患者の過去画像がある場合には、対象患者の過去画像を取得し、対象患者の過去画像が無い場合には、対象患者とは異なる別患者の過去画像を取得してもよい。
現在画像と、撮影部位特定部が特定した現在画像の撮影部位とを表示する内視鏡検査支援画面を生成する画面生成部と、内視鏡検査支援画面の表示制御を行う表示制御部と、を設けてもよい。
内視鏡検査支援画面には、撮影部位特定部が特定した現在画像の撮影部位を撮影した過去画像が、現在画像と比較可能に表示されてもよい。
また、上記目的を達成するために、本発明の内視鏡撮影部位特定方法は、先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定方法において、挿入量検出部ステップ、現在画像取得ステップ、過去画像取得ステップ、撮影部位特定ステップを内視鏡撮影部位特定装置が実行する。挿入量検出部ステップでは、挿入部の体内への挿入量を検出する。現在画像取得ステップでは、現在画像を取得する。過去画像取得ステップでは、過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、挿入量検出部が検出した挿入量に基づいて過去画像を取得する。撮影部位特定ステップでは、過去画像取得ステップで取得した過去画像と現在画像とを照合して、現在画像に類似する過去画像を判定することにより、現在画像の撮影部位を特定する。
また、上記目的を達成するために、本発明の内視鏡撮影部位特定プログラムは、先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定プログラムにおいて、挿入量検出部ステップ、現在画像取得ステップ、過去画像取得ステップ、撮影部位特定ステップを内視鏡撮影部位特定装置が実行する。挿入量検出部ステップでは、挿入部の体内への挿入量を検出する。現在画像取得ステップでは、現在画像を取得する。過去画像取得ステップでは、過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、挿入量検出部が検出した挿入量に基づいて過去画像を取得する。撮影部位特定ステップでは、過去画像取得ステップで取得した過去画像と現在画像とを照合して、現在画像に類似する過去画像を判定することにより、現在画像の撮影部位を特定する。
本発明によれば、簡単に、撮影部位の特定精度を向上できる。
内視鏡システムの構成を示す説明図である。 撮影部位が特定される流れを概略的に示す説明図である。 過去画像に付帯情報が付帯されて格納されている様子を示す説明図である。 過去画像が検査単位で分類されて格納されている様子を示す説明図である。 過去画像の検索例を示す説明図である。 プロセッサ装置の機能概略を示す説明図である。 内視鏡検査支援画面を示す説明図である。 撮影部位が特定される流れを示すフローチャートである。 対象患者の過去画像の有無により、現在画像と照合する過去画像を切り替える例を示す説明図である。 対応テーブルを用いて、現在画像と照合する過去画像の絞り込みを行う構成の例を示す説明図である。 挿入量、回転量、湾曲量を用いて現在画像と照合する過去画像の絞り込みを行う構成の例を示す説明図である。 挿入量、回転量、湾曲量を用いて現在画像と照合する過去画像の絞り込みを行う構成の例を示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡装置12と、過去画像サーバ14とを備え、これらがインターネットやLAN(Local Area Network)などの通信ネットワーク16を介して接続されている。内視鏡装置12は、内視鏡18と、マウスピース20と、プロセッサ装置(内視鏡撮影部位特定装置に相当する)22と、ディスプレイ72と、キーボード74とを備えている。
内視鏡18は、患者の体内に挿入される挿入部24と、挿入部24の基端部に連設された操作部26とを備えており、コード28によってプロセッサ装置22と接続されている。挿入部24は、撮影部30が内蔵された先端部32と、先端部32の向き、すなわち、撮影部30の撮影方向を変化させるために湾曲自在に設けられた湾曲部34と、可撓性を有する可撓管部36とからなる。撮影部30は、CCD(Charge Coupled Device)などの撮像素子、及び、撮像素子へ撮影光を集光する対物レンズ、撮影部位へ照明光を照射する照明窓からなり、挿入部24の軸方向前方を撮影し、撮影により得られた画像信号をプロセッサ装置22に出力する。
挿入部24の外周面には、測定用目盛40が設けられている。測定用目盛40は、挿入部24の長手方向に沿って所定ピッチ(例えば、1cm刻み)で並べられた複数の点状の指標からなる。後述するように、測定用目盛40は、患者の体内に挿入部24がどれだけ挿入されたかを表す挿入部24の挿入量(以下、単に「挿入量」と省略する場合がある)を検出するために用いられる。挿入量は、例えば、マウスピース20を基準として検出される量であり、マウスピース20を基準とした、挿入部24の先端部32が体内に挿入される深さを表す。挿入量の単位は、例えば、センチメートル(cm)である。
挿入部24の内部には、湾曲部34を湾曲させさせるためのアングルワイヤや、光源からの照明光を照明窓へ導く光ファイバーからなるライトガイドや、撮影部30から出力された画像信号をプロセッサ装置22に伝達したり、プロセッサ装置22から出力された撮影指示などの各種信号を撮影部30へ伝達するための信号ケーブルなどが挿通されている。
操作部26には、静止画撮影を指示するためのシャッタボタンの他、アングルワイヤの巻き取りや引き出しを行い、湾曲部34を湾曲させるためのアングルノブ42が設けられている。内視鏡18では、アングルノブ42を回転操作すると、この操作量(アングルノブ42の回転量)に応じた量だけアングルワイヤの巻き取りや引き出しが行われて湾曲部34が湾曲する。すなわち、内視鏡18では、アングルノブ42の操作量に応じて湾曲部34の湾曲量をコントロールできる。
マウスピース20は、筒状に形成されており、患者の口に装着される。マウスピース20は、患者の口を開いた状態に維持し、挿入部24をスムーズに挿入可能とする機能や、患者が口を閉じる(挿入部24を噛む)などして挿入部24が損傷することを防止する機能を有している。挿入部24は、マウスピース20の内周部分を貫通するように、マウスピース20から患者の体内に挿入される。
また、マウスピース20には、小型のカメラ46、48が設けられている。カメラ46、48は、挿入部24の挿入量を検出するために用いられる。カメラ46、48は、CCDなどの撮像素子を含んで構成され、挿入部24の外周を撮影する。これにより、測定用目盛40が撮影される。
カメラ46、48は、マウスピース20に挿入された挿入部24を、マウスピース20内で軸周りに回転させたときに、挿入部24の回転量によらず、カメラ46、48のいずれかの撮影範囲内に測定用目盛40が必ず収まるように、マウスピース20の開口において、対向する位置に配置される。本実施形態では、カメラ46を患者の顎側、カメラ48を患者の鼻側に配置して、各カメラ46、48を対向させている。
これらカメラ46、48は、プロセッサ装置22と通信可能に接続されており、プロセッサ装置22によって制御される。カメラ46、48は、プロセッサ装置22の起動に伴って撮影を開始する。そして、カメラ46、48は、プロセッサ装置22の起動中は、例えば、1秒間に30フレームのペースで動画撮影を行い、撮影した各フレームをカメラ画像としてプロセッサ装置22へ出力する。プロセッサ装置22は、カメラ画像に基づいて、マウスピース20を通過する測定用目盛40をカウントする。測定用目盛40は所定ピッチで配列されているため、マウスピース20を通過する測定用目盛40をカウントすることにより、挿入量を検出できる。
プロセッサ装置22は、内視鏡18の撮影部30に対して撮影指示を入力して撮影を実行させる撮影制御機能を有している。また、プロセッサ装置22は、撮影により撮影部30から出力された画像信号に基づいて表示用画像を生成してディスプレイ72に表示する表示制御機能を有している。撮影部30は、動画撮影と静止画撮影の両方を行う。動画撮影は、例えば、プロセッサ装置22が起動している間、継続して行われる。静止画撮影は、操作部26のシャッタボタンから撮影指示が入力されたタイミングで行われる。
さらに、プロセッサ装置22は、内視鏡18の撮影部30が現在撮影している現在画像49(図2参照)の撮影部位を特定する撮影部位特定機能を有しており、本発明の内視鏡撮影部位特定装置に相当する。
図2に概略的に示すように、撮影部位の特定は、現在画像49と過去画像サーバ14内の過去画像(過去の内視鏡検査で得られた画像)50とをパターンマッチングの手法で照合して、現在画像49に類似する過去画像50を判定することにより行う。過去画像50には付帯情報として撮影部位情報が記録されており、現在画像49と類似する過去画像から、撮影部位情報を読み出して、現在画像49の撮影部位を特定する。同じ撮影部位であれば、画像の類似度が高いと考えられるため、現在画像49との類似度が高い過去画像50の判定を通じて撮影部位を特定できる。
図2においては、挿入部24の先端部32が胃Sに到達している様子を示している。この場合、現在画像49の撮影部位は「胃」であり、現在画像49との類似度が高い過去画像50の撮影部位も「胃」となる。現在画像49と過去画像50の照合により、このような類似度が高い過去画像50が判定されて、現在画像49の撮影部位が「胃」と特定される。
また、挿入量の検出は、現在画像49と照合する過去画像50を絞り込むために行われる。過去画像サーバ14内には多数の過去画像50が格納されている。過去画像サーバ14内の過去画像50内の中から現在画像49に類似する過去画像50を検索する場合に、過去画像サーバ14内のすべての過去画像50と現在画像49を照合すると照合処理に時間が掛かる。この照合処理の時間を短縮するため、挿入量に基づいて過去画像50を抽出することにより、現在画像49との照合対象となる過去画像50の絞り込みが行われる。
現在画像49は、例えば、動画を構成するフレームと、静止画撮影で得た静止画の両方を含む。現在画像49の撮影部位の特定は、検査を実施している医師に対して、現在画像49の撮影部位を報せることを目的としているため、動画の場合には、すべてのフレームの撮影部位を特定する必要はない。そのため、動画の場合には、例えば、1秒に1回程度の間隔で取得されたフレームについて撮影部位を特定する処理が実行される。
過去画像サーバ14は、過去画像50が複数枚格納される過去画像格納部52を備えている。過去画像サーバ14は、プロセッサ装置22と通信ネットワーク16を介して接続されており、プロセッサ装置22から入力される過去画像50の検索要求に応答し、要求された過去画像50を過去画像格納部52から検索して、プロセッサ装置22に送信する。
図3に示すように、過去画像格納部52に格納された過去画像50には、それぞれ、撮影対象の患者を識別するための患者識別情報(患者名や患者IDなど)、撮影日時を示す撮影日時情報、挿入量を示す挿入量情報、及び撮影部位を示す撮影部位情報などの各種情報が、画像のデータに付帯する付帯情報として記録されている。
過去画像50は、本例の内視鏡装置12と同様の挿入量検出機能及び撮影部位特定機能を有する内視鏡装置を用いて、過去の検査で撮影された画像である。本例の内視鏡装置12は、撮影部位特定を行った場合に、撮影部位特定に使用した現在画像49に対して、検出した挿入量と撮影部位をそれぞれ付帯情報として記録する。すなわち、現在画像49の撮影時点における挿入部24の挿入量と、挿入量に基づいて特定された撮影部位が、現在画像49の付帯情報としてリアルタイムで記録される。また、現在画像49には、患者識別情報も合わせて付帯情報として記録される。
現在画像49は、上述のとおり、動画のフレームや静止画である。現在画像49の全部又は一部は過去画像50として過去画像格納部52に格納されて保存される。そのため、過去画像格納部52には、挿入量情報、撮影部位情報、及び患者識別情報が付帯情報として記録された過去画像50が保存される。
撮影部位情報は、検査対象が上部消化管の場合には、上部消化管のうちの撮影対象となる部位、すなわち、食道、胃、十二指腸などの臓器を示す情報である。また、撮影部位情報には、各臓器を大分類として、大分類の撮影部位を更に細かく分類した、小分類の撮影部位を示す情報が含まれていてもよい。小分類の撮影部位は、例えば、胃を大分類の撮影部位とした場合における、噴門、胃角、幽門などの胃の一部である。撮影部位情報を詳細にするほど、細かな撮影部位を特定することが可能である。
図4に示すように、過去画像格納部52には、撮影部位情報などの付帯情報が記録された複数の過去画像50が、検査E(検査E1、E2・・・)単位で格納されている。本例において、検査E1、E2は、それぞれ別の患者A、Bに対して行われたものであるが、検査Eは、同じ患者に対して複数回行われる場合もある。その場合には、同じ患者に対して実施された複数回の検査の過去画像50が保存される。本例の検査E1、E2は、いずれも上部消化管の検査であり、各検査E1、E2の過去画像50には、口内、食道、胃などの各撮影部位の過去画像が含まれている。こうした過去画像格納部52から、現在画像49との照合に使用される過去画像50が抽出される。
図5に示すように、過去画像格納部52は、上述した患者識別情報、挿入量情報、撮影部位情報などを検索条件として、格納された過去画像50を検索可能なデータベースである。例えば、検索条件として、患者識別情報と、挿入量情報を指定して、検索を指示すると、過去画像格納部52は、検索条件に合致する過去画像50を抽出する。
図5においては、患者識別情報として患者Aが、挿入量Lとして36〜46cmの範囲が指定されており、過去画像50a〜50cが検索により抽出された例を示している。過去画像50aは、挿入量Lが37cmの位置で撮影され、撮影部位が「噴門」の過去画像である。過去画像50bは、挿入量Lが42cmの位置で撮影され、撮影部位が「胃角」の過去画像であり、過去画像50cは、挿入量Lが43cmの位置で撮影され、撮影部位が「幽門」の過去画像である。
このように、過去画像サーバ14は、挿入量Lに応じてそれに対応する撮影部位の過去画像50を検索することが可能であるため、現在画像49の挿入量Lと同等の挿入量Lで撮影された過去画像50を抽出できる。
また、患者識別情報を検索条件とすることにより、現在画像49と同じ患者の過去画像50を抽出することができる。過去画像50は、現在画像49と照合することにより、現在画像49の撮影部位を特定するために使用される。そのため、現在の撮影対象の患者である対象患者の現在画像49と同一の対象患者の過去画像50を使用すれば、他の患者の過去画像50を使用する場合と比べて、類似度が高い過去画像50を抽出することが可能となる。これにより、撮影部位の特定精度を向上できる。
図6に示すように、プロセッサ装置22は、画像処理部88、制御部89、現在画像取得部90、挿入量検出部91、過去画像取得部92、撮影部位特定部98、画面制御部100、ストレージデバイス87を有している。
画像処理部88は、撮影部30が出力する画像信号に対して画像処理を施して、観察画像を生成し、これを現在画像49として出力する。現在画像49は、画面制御部100に入力されて、ディスプレイ72に表示される。画面制御部100は、表示画像を生成する表示画像生成処理及び表示画像を表示する表示制御処理などの処理を行って、ディスプレイ72に出力する。これにより、現在画像49がディスプレイ72にリアルタイムで表示されて、医師の観察に供される。
動画撮影中は、撮影部30から動画を構成するフレームの画像信号が、所定時間間隔で画像処理部88に入力される。画像処理部88は、各フレームの画像信号に基づいて、現在画像49を生成し、順次画面制御部100に出力する。シャッタボタンが操作された場合には、静止画の画像信号が入力されて、画像処理部88は、静止画の現在画像49を生成し、画面制御部100に出力する。動画や静止画の現在画像49は、メモリやハードディスクドライブなどのストレージデバイス87に保存される。
制御部89は、プロセッサ装置22の各部を統括的に制御する。また、制御部89は、撮影部位特定処理の実行開始指示を発行して、現在画像取得部90、過去画像取得部92、撮影部位特定部98の各部を制御する。実行開始指示は、動画撮影中であれば、上述したとおり、1秒に1回程度の間隔で発行される。静止画が撮影された場合にはそのタイミングで発行される。実行開始指示が各部に入力されると、撮影部位特定処理が開始される。また、制御部89は、過去画像の検索条件として用いる患者識別情報を過去画像取得部92に入力する。患者識別情報は、例えば、検査開始前にプロセッサ装置22に入力される検査オーダに含まれている。制御部89は、検査オーダから患者識別情報を読み出して、過去画像取得部92に入力する。
現在画像取得部90は、実行開始指示が入力されると、その時点で画像処理部88が出力する現在画像49を取得する。一方、現在画像取得部90は、制御部89から実行開始指示が入力されると、取得した現在画像49を、撮影部位特定部98にも出力する。
挿入量検出部91には、カメラ46、48によって撮影されたカメラ画像がリアルタイムに入力される。挿入量検出部91は、入力されたカメラ画像を順次解析し、解析結果に基づいて挿入部24の挿入量を検出する。具体的には、カメラ画像には、測定用目盛40が付された挿入部24の外周が写り込む。挿入部24を患者の体内に挿入すると、挿入部24がマウスピース20に対して相対的に移動する。この移動により、測定用目盛40を構成する指標も、カメラ46、48の位置を順次通過する。
挿入量検出部91は、順次入力されるカメラ画像に写された測定用目盛40の指標の個数をカウントすることにより、挿入量(挿入部24の先端が、マウスピース20から何センチメートル挿入されたか)を検出する。なお、測定用目盛40を、挿入量を表す数字で構成し、カメラ画像を通じて数字を読み取ることにより、挿入量を検出してもよい。
現在画像取得部90及び過去画像取得部92は、実行開始指示が入力されると、その時点で挿入量検出部91が出力する挿入量を取得する。過去画像取得部92は、実行開始指示が入力されると、撮影部位特定のための過去画像50を過去画像サーバ14から取得する。具体的には、その時点で挿入量検出部91から取得した挿入量と、制御部89から取得する患者識別情報とが検索条件として指定された検索要求を、過去画像サーバ14に送信する。
検索条件として指定される挿入量としては、例えば、挿入量検出部91から入力された挿入量を含む所定範囲(本実施形態では、入力された挿入量を中心とした10cmの範囲)が設定される。このように検索条件として指定する挿入量に幅を持たせる理由は、挿入量の検出誤差を考慮するためである。例えば、同じ患者に対して複数回検査を実施して、同一の撮影部位(例えば胃)を観察する場合でも、過去の検査と今回の検査で、胃を観察する際の挿入量は完全に同じにはならない。胃などの臓器は伸縮するためである。そのため、検出した挿入量を含む所定範囲が検索条件として指定される。
過去画像サーバ14は、この検索要求を受け付けると、検索要求で指定される検索条件に合致する過去画像を検索して、検索した過去画像を過去画像取得部92へ送信する。過去画像取得部92は、このようにして過去画像サーバ14から過去画像を取得する。これにより、指定した挿入量に応じた過去画像が抽出される。
検索条件として指定する挿入量は、挿入量検出部91が検出した挿入量Lそのものではなく、挿入量Lを中心として幅を持たせた範囲である。例えば、図5に示したとおり、挿入量検出部91が検出した現在の挿入量Lが41cmの場合には、挿入量L=41cmを中心とした10cmの範囲、すなわち、36〜46cmの挿入量の範囲が検索条件として指定される。そして、この挿入量の範囲の過去画像50a〜50cが取得される(図5参照)。そして、過去画像取得部92は、このようにして取得した過去画像50(本例の場合、過去画像50a〜50c)を撮影部位特定部98へと出力する。
撮影部位特定部98は、制御部89から実行開始指示が入力されると、過去画像取得部92から入力される複数枚の過去画像50のそれぞれと、現在画像取得部90から入力された現在画像49と照合し、例えば、輪郭や色合いなどを比較する周知のパターンマッチング判定を行って、両者の類似度を算出する。そして、撮影部位特定部98は、照合を行った複数枚の過去画像50の中から、現在画像49と最も類似度が高い過去画像50を判定する。そして、類似度が最も高い過去画像50から撮影部位情報を読み出して、その撮影部位を、現在画像49の撮影部位と特定する。
現在画像49と過去画像50との照合によって類似度を算出する方法は、より具体的には、次のように行われる。まず、現在画像49や過去画像50から、それぞれに描出されている粘膜内の血管構造や粘膜表面の腺管構造から、形状や色調といった特徴量を抽出する。次に、現在画像49の特徴量と過去画像50の特徴量を比較して、類似度を算出する。こうした処理を、複数枚の過去画像50のそれぞれに対して行って、各過去画像50について現在画像50との類似度を算出する。その中から最も類似度が高い過去画像50を判定する。
また、過去画像取得部92から入力された複数枚の過去画像50と現在画像49との類似度を算出する前に、過去画像50と現在画像49のそれぞれの特徴量を抽出した段階で、大まかなフィルタリングを行って、類似度を算出する過去画像50を絞り込んでもよい。というのも、色調やヒダの形状など、粘膜の見え方は、食道、胃などの臓器によって異なる。粘膜の見え方は、特徴量に反映されるため、特徴量が異なる画像同士は、臓器が異なっている可能性が高い。そのため、過去画像50と現在画像49のそれぞれの特徴量を抽出した段階で、現在画像49の特徴量と大きく乖離した特徴量を有する過去画像50については、現在画像49との類似度を算出する照合対象から除外してもよい。
撮影部位特定部98は、特定した撮影部位を画面制御部100へと出力する。また、撮影部位特定部98は、特定された撮影部位とともに、撮影部位の特定に用いた現在画像49、及びこの現在画像49と最も類似度が高いと判定された過去画像50を、画面制御部100へと出力する。
画面制御部100は、撮影部位特定部98から入力された撮影部位、及び、撮影部位の特定に用いられた現在画像49、並びに、この現在画像49と最も類似度が高いと判定された過去画像50に基づいて内視鏡検査支援画面102(図7参照)を生成し、ディスプレイ72に表示する表示制御を行う。このように、画面制御部100は、内視鏡検査支援画面102を生成する画面生成部として機能するだけでなく、内視鏡検査支援画面102の表示制御を行う表示制御部としても機能する。
図7に示すように、内視鏡検査支援画面102は、現在画像表示領域102a、撮影部位表示領域102b、過去画像表示領域102cが設けられている。現在画像表示領域102aには、現在画像49と、現在画像49を撮影中の患者の患者識別情報や、現在画像49の撮影日時情報が表示される。撮影部位表示領域102bには、撮影部位特定部98によって特定された現在画像49の撮影部位が表示される。さらに、現在画像49の取得時点における挿入量情報も表示される。
内視鏡検査支援画面102においては、動画の撮影中は、現在画像49が順次更新される。撮影部位情報及び撮影部位の特定に使用された過去画像50は、撮影部位特定処理の実行間隔で更新される。静止画が撮影されて、現在画像49が静止画になった場合には、動画の表示中に挿入表示される。
また、本実施形態では、特定された撮影部位を文字情報として表示することに加え、人体を模したシェーマ画像106に円形の指標108を付すことにより、特定された撮影部位を画像情報としても表示している。
過去画像表示領域102cには、現在画像49の撮影部位を特定する際に照合された過去画像50のうち、現在画像49と最も類似度の高い過去画像50が表示される。また、過去画像表示領域102cには、表示された過去画像50の患者識別情報や撮影日時情報が表示される。このように、撮影部位の特定に使用した過去画像50を表示することにより、現在画像49の撮影部位の特定を、どのような過去画像50に基づいて行ったのかを検証できる。
以下、上記構成の本発明の作用について図8のフローチャートを参照しながら説明を行う。内視鏡装置12では、検査を開始すると動画の撮影が開始される。プロセッサ装置22においては、撮影部30からの画像信号に基づいて画像処理部88が現在画像49を生成する。画面制御部100は、現在画像49をディスプレイ72に表示する。また、操作部26のシャッタボタンの操作によって、静止画の撮影が行われる。挿入部24の挿入量が変化すると、現在画像49の撮影対象が変わる。現在画像49に写し出される撮影部位が変化する。これにより、挿入部24の挿入量に応じた撮影部位の現在画像49が観察される。
また、挿入量検出部91は、カメラ46、48が撮影するカメラ画像に基づいて内視鏡18の挿入部24の挿入量を検出する。
制御部89は、動画の撮影中に所定時間間隔で、撮影部位特定処理の実行開始指示を発行する。また、静止画の撮影が行われた場合には、そのタイミングで実行開始指示を発行する。実行開始指示は、現在画像取得部90、過去画像取得部92、撮影部位特定部98のそれぞれに出力する。
現在画像取得部90は、実行開始指示の入力時点において画像処理部88が出力する現在画像49を取得する。過去画像取得部92は、実行開始指示の入力時点において挿入量検出部91が検出する挿入量を取得する。過去画像取得部92は、検出された挿入量を含む所定範囲と、患者識別情報とを検索条件として指定した検索要求を過去画像サーバ14に送信する。過去画像サーバ14は、検索条件に合致する過去画像50を検索して、過去画像取得部92に送信する。挿入量に基づいて過去画像50を取得するため、現在画像49の撮影部位の挿入量に近い範囲の撮影部位を撮影した過去画像50を抽出することができる。
抽出された複数の過去画像50と、現在画像49は、撮影部位特定部98へ入力される。撮影部位特定部98は、現在画像49と、抽出された複数の過去画像50のそれぞれとを照合し、各過去画像50と現在画像49との類似度を算出する。そして、類似度の最も高い過去画像50を判定し、判定した過去画像50の撮影部位情報を読み出して、その撮影部位を現在画像49の撮影部位であると特定する。
画面制御部100は、特定された撮影部位、撮影部位の特定に使用した過去画像50、現在画像49、及び現在画像49の挿入量に基づいて、図7に示す内視鏡検査支援画面102を生成する。内視鏡検査支援画面102は、ディスプレイ72に表示される。これにより、検査を行う医師に対して、現在画像49の撮影部位を報せることができる。
内視鏡検査支援画面102においては、動画の撮影中は、現在画像49が順次更新される。また、動画の撮影中は、実行開始指示が1秒間隔で発行されて、その間隔で撮影部位特定処理が実行される。撮影部位情報は、1秒程度の間隔で更新される。動画の場合、挿入部24の挿入量の変化によって現在画像49の撮影部位は逐次変化するが、1秒程度の間隔で撮影部位情報も更新されるので、表示中の現在画像49に対して、撮影部位情報の更新が著しく遅延するおそれもない。もちろん、撮影部位特定処理の実行間隔を1秒以下にしてもよいし、1秒以上の間隔にしてもよい。
撮影部位情報及び撮影部位の特定に使用された過去画像50は、撮影部位特定処理の実行間隔で更新される。静止画が撮影されると、撮影された静止画が現在画像49として動画の表示中に挿入表示される。静止画が表示されている間は、静止画に対応する撮影部位情報及び過去画像50が表示される。もちろん、動画と静止画を両方観察できるように内視鏡検査支援画面102において、並列的に表示してもよい。
撮影部位特定部98は、撮影部位特定処理が行われた現在画像49に対しては、撮影部位特定部98は、挿入量を示す挿入量情報と、特定した撮影部位を示す撮影部位情報を、それぞれ付帯情報として記録する。これにより、現在画像49が過去画像50として保存される場合には、過去画像50に挿入量情報や撮影部位情報が記録される。
本例において、動画撮影の場合には、撮影部位特定処理の実行タイミングは、数秒間隔であるため、その間隔で取得された動画の各フレームに挿入量情報及び撮影部位情報が記録される。また、現在画像49が静止画の場合には、各静止画に挿入量情報及び撮影部位情報が記録される。現在画像49として取得した動画及び静止画の全部又は一部は、保存されて、過去画像50として利用される。
以上のように、本発明では、挿入量に基づいて過去画像を取得して、現在画像と取得した過去画像とを照合して、現在画像に類似する過去画像を判定することにより、現在画像の撮影部位を特定する。このため、従来の特許文献1及び特許文献2に記載されているように、挿入部の挿入量や、挿入部(湾曲部)の湾曲量、挿入部の軸周りの回転量などに基づいて、撮影部位を特定する装置と比較して、撮影部位の特定精度が高い。挿入量、湾曲量、回転量は、検出誤差が大きいと考えられる。パターンマッチングなどの画像解析による照合を用いることにより、高い特定精度を確保できる。本発明においても挿入量を使用しているが、これは、現在画像と照合する過去画像の絞り込みに使用するので、挿入量に誤差があっても、特定精度に影響はない。また、挿入量で過去画像を絞り込むことで、処理時間も短縮することができる。
また、本発明では、撮影部位の特定精度を向上するために現在画像を過去画像と照合するので、例えば、特許文献3のように、CT検査やMRI検査により得られた3次元の画像データを用いて撮影部位の特定精度を向上する従来技術と比較して、大がかりな装置を用いることなく、簡単に、撮影部位の特定精度を向上できる。
また、本例では、現在画像と照合する過去画像として、現在画像の撮影対象である対象患者の過去画像を使用している。撮影部位が同じ場合でも、別の患者の画像同士を比較するよりも、同じ患者の画像同士を比較した方が類似度は高くなる。そのため、対象患者の過去画像を使用することにより、類似度が高い過去画像の抽出が可能となり、さらに特定精度を向上できる。
また、本例では、図7に示すように、特定した撮影部位を文字情報として表示するだけでなく、特定した撮影部位を示す指標をシェーマ画像に付すことによって、特定した撮影部位を画像情報としても表示する(図7参照)。これにより、ユーザーが撮影部位を把握し易い。
また、本例では、図7に示すように、現在画像と、この現在画像と同じ撮影部位を撮影したとみなすことができる過去画像とを比較可能に表示する。これにより、これら現在画像と過去画像とを目視にて比較することにより、特定された撮影部位が妥当であるかを検証することができる。
[第2実施形態]
上記実施形態では、現在画像と照合する過去画像として、現在画像の対象患者の過去画像を使用しているが、対象患者とは異なる別患者の過去画像を用いて、撮影部位を特定してもよい。
もちろん、別患者の過去画像を使用する場合には、同じ患者同士の画像を照合する場合と比べて、撮影部位が同じでも、現在画像との類似度は低くなる。しかし、過去画像サーバ14に同一患者の過去画像が存在しない場合もあり、その場合には、現在画像との照合を行うことができない。別患者の過去画像を用いる方法は、このような場合に有効である。
また、図9に示すように、過去画像取得部92は、過去画像格納部52に、対象患者の過去画像50が有る場合には、対象患者の過去画像50を取得し、対象患者の過去画像50が無い場合には、別患者の過去画像50を取得することが好ましい。
[第3実施形態]
図10に示す第3実施形態は、挿入量と撮影部位の候補との対応関係を記録した対応テーブル111を使用する例である。第1実施形態は、挿入量の値をそのまま検索条件として使用して過去画像50を抽出している。第3実施形態では、まず、過去画像取得部92が、検出した挿入量に基づいて対応テーブル111を参照して、撮影部位の候補を決定する。そして、決定した撮影部位の候補を検索条件として指定して、撮影部位の候補に該当する過去画像50を過去画像格納部52から取得する。
挿入量と撮影部位の間には、おおよその関係がある。対応テーブル111は、挿入量の範囲と、その挿入量に該当する撮影部位の候補との対応関係を記録したものである。図10の例では、挿入量をL(cm)としたときに、「0<L≦10」には撮影部位として「口内」と「食道」が、「10<L≦30」には撮影部位として「食道」と「噴門」が、「30<L≦40」には撮影部位として「食道」と「噴門」と「胃角」が対応付けされている。また、「40<L≦42」には撮影部位として「噴門」と「胃角」と「幽門」が、「42<L≦45」には撮影部位として「胃角」「幽門」、「十二指腸」が対応付けされている。
例えば、過去画像取得部92は、検出した挿入量Lが36cmの場合には、対応テーブル111を参照して、「食道」、「噴門」、「胃角」を撮影部位の候補として決定する。そして、これらに該当する撮影部位情報を付帯情報として有する過去画像50を取得する。本例によれば、検索条件としては撮影部位情報が使用されるため、過去画像50には、付帯情報として撮影部位情報のみあればよく、挿入量情報は不要である。
このように、対応テーブル111を使用すると、過去画像50の付帯情報としては撮影部位情報で済むというメリットがある。過去画像50の付帯情報は、第1実施形態で示したように内視鏡装置12による自動入力の他に、マニュアルで入力する場合も考えられる。その場合には、挿入量情報を記録するのは難しい。撮影部位情報については、例えば、過去画像50を観察しながら、医師が撮影部位を特定して、過去画像50の付帯情報として入力することも可能である。対応テーブル111を使用する方法は、過去画像50に挿入量情報を記録できない場合に有効である。
なお、対応テーブル111に記録される、挿入量と撮影部位の候補との対応関係は、例えば、成人の標準的な値を下に作成される。しかし、こうした対応関係は、成人であっても、性別、体格等によって異なる場合もある。このため、複数の対応テーブルを設け、患者の性別、体格などに応じて用いる対応テーブルを切替えて使用できるようにしてもよい。
[第4実施形態]
図11及び図12に示す第4実施形態は、過去画像取得部92が、検出した挿入量に加えて、湾曲部34の湾曲量及び挿入部24の軸周りの回転量に基づいて過去画像50を取得する例である。すなわち、第4実施形態では、現在画像49と照合する過去画像50を、挿入量だけでなく、湾曲量及び回転量に基づいて絞り込む。
内視鏡18の先端部32は、湾曲部34の湾曲により撮影方向を変化させることができる。湾曲部34は、アングルノブ42の操作により上下左右に湾曲する。さらに、挿入部24は軸周りにも回転する。
内視鏡検査を行う場合、検査を受ける患者の姿勢は、ベッド上で体を横向きにした仰臥姿勢を取るのが一般的である。また、内視鏡18の挿入部24の患者に対する相対的な挿入姿勢もほぼ決まっている場合が多い。例えば、患者が左手を下に、右手を上に仰臥姿勢を取っている場合に、撮影される画像の天が右手方向に、地が左手方向に向く姿勢で挿入される。そして、上部消化管は、患者の体軸に沿ってほぼ直線的に配置されていること、患者の姿勢と挿入部24の挿入姿勢の相対的な位置関係がほぼ一定であることを前提とすれば、湾曲量と回転量を検出することにより、患者の体内における先端部32の向きを検出することができる。先端部32の向きは、すなわち、撮影方向である。
本例のプロセッサ装置22内には、挿入量検出部91に加えて、湾曲量検出部112、回転量検出部113が設けられている。湾曲量検出部112は、例えば、アングルノブ42の操作量を内視鏡18から取得して、湾曲部34の湾曲量を検出する。アングルノブ42は、上下方向の操作用と左右方向の操作用が設けられている。アングルノブ42の操作量(回転量)を、例えば、ロータリーエンコーダなどで検出し、これを湾曲量検出部112に出力する。湾曲量検出部112は、アングルノブ42の操作量に基づいて、湾曲部34の上下左右の湾曲量を検出して、これを過去画像取得部92に出力する。回転量検出部113は、例えば、測定用目盛40の軸周りの移動を、カメラ46、48のカメラ画像を解析して回転量を検出する。
過去画像取得部92は、撮影部位特定処理の実行開始信号が入力されたタイミングで、挿入量に加えて、湾曲量と回転量を取得する。上下左右の湾曲量が検出できれば、基準位置に対する湾曲方向が分かる。基準位置とは、例えば、上下左右の湾曲量がゼロで、先端部32の軸が挿入部24の挿入軸と一致している姿勢である。上述のとおり、患者の体勢と挿入部24の挿入姿勢が一定であること、上部消化管は、ほほ体軸に沿っていることを前提とすれば、湾曲方向と回転量に基づいて、先端部32の向き(撮影方向)をおおよそ検出することができる。
図11及び図12に示すように、撮影方向については、例えば、消化管などの管軸と挿入部24の挿入軸が一致する管軸方向と、次に示す4方向の合計5方向に分割して規定する。4方向は、左手を下にして仰臥している患者の体の前面方向(腹側)か、背面方向(背中側)か、右手方向か、左手方向の4方向である。湾曲量と回転量に基づいて、現在画像49の撮影方向が、これら5方向のうちどの方向であるかを検出する。本例においては、各過去画像50にも、撮影部位情報として、上記5方向のいずれかの撮影方向が記録される。
図12に示すように、過去画像取得部92は、回転量及び湾曲量に基づいて、撮影方向判定処理を行う。そして、現在画像49の撮影方向が、例えば、前面方向(腹側)と判定された場合には、5方向のうち、前面方向(腹側)とは反対側のハッチングで示す背面方向(背中側)については除外して、残りの4方向(管軸方向、前面方向(腹側)、右手方向、左手方向)を検索条件として指定する撮影方向に決定する。
この場合、検索条件として、撮影方向判定処理で判定した前面方向だけを検索条件としてもよい。しかし、本例においては、撮影方向の判定は誤差が大きいと考えられるため、可能性が最も低い方向のみを除外するという方法を採用している。これにより、例えば、判定した撮影方向は前面方向であったが、実際には右手方向であったというように、判定した撮影方向と実際の撮影方向にズレが生じる場合でも、実際の撮影方向の過去画像を漏れなく抽出することができる。
そもそも、撮影方向の判定は、現在画像49と照合する過去画像50を絞り込むことにあるため、こうした方法で可能性の低い一部の撮影方向のみを除外する方法によっても、照合処理の時間を短縮することはできる。もちろん、撮影方向判定の精度が高い場合には、撮影方向判定処理で判定した正面方向のみを検索条件として指定してもよい。
過去画像取得部92は、決定した撮影方向と、挿入量を検索条件とする検索要求を過去画像サーバ14に送信して、条件に合致する過去画像50を取得する。
撮影部位特定部98は、上記実施形態と同様の要領で、取得した過去画像50と現在画像49とを照合して、類似度の高い過去画像50を判定する。そして、判定した過去画像50の付帯情報から撮影部位情報として、撮影部位と撮影方向を読み出して、現在画像49の撮影部位とその撮影部位における撮影方向を特定する。これらの情報は、上記実施形態と同様に、撮影部位情報として、内視鏡検査支援画面102に表示される。
また、本例によれば、撮影部位情報として、撮影方向を表示することにより、医師に現在画像49の撮影方向も報せることができる。
また、上記実施形態では、プロセッサ装置を、現在画像の撮影部位を特定する内視鏡撮影部位特定装置として機能させる例で説明をしたが、プロセッサ装置とは別に、例えば、サーバなどのコンピュータを設け、このサーバを内視鏡撮影部位特定装置として機能させてもよい。
この場合、撮影部位の特定に必要な情報(撮影部が撮影した現在画像や、マウスピースのカメラ画像や、アングルノブの操作量など)を、プロセッサ装置からサーバに対して送信する。サーバのCPUは、現在画像取得部、過去画像取得部、挿入量検出部、撮影部位特定部などとして機能する。そして、過去画像取得部が上述した実施形態と同様の手法で撮影部位を特定し、内視鏡検査支援画面を生成してプロセッサ装置に対して配信する。このような構成としても、上記実施形態と同様の効果を得ることができる。
また、挿入部の挿入量や回転量の検出にカメラを用いた例で説明したが、例えば、コンピュータの入力デバイスとして周知のマウスデバイスなどに利用されるトラックボールによる検出手段などにより、挿入部の挿入量や回転量を検出してもよい。
なお、本発明は、上記実施形態や上述した変形例に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得る。例えば、上記実施形態や上述した変形例を適宜組合せることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。
10 内視鏡システム
12 内視鏡装置
14 過去画像サーバ
18 内視鏡
20 マウスピース
22 プロセッサ装置(内視鏡撮影部位特定装置)
24 挿入部
26 操作部
30 撮影部
32 先端部
34 湾曲部
40 測定用目盛
42 アングルノブ
44 操作量検出器
46、48 カメラ
49 現在画像
50 過去画像
52 過去画像格納部
72 ディスプレイ(モニタ)
80 AP
90 現在画像取得部
91 挿入量検出部
92 過去画像取得部
98 撮影部位特定部
100 画面制御部(画面生成部、表示制御部)
102 内視鏡検査支援画面
102a 現在画像表示領域
102b 撮影部位表示領域
102c 過去画像表示領域
106 シェーマ画像
108 指標
111 対応テーブル
112 湾曲量検出部
113 回転量検出部

Claims (11)

  1. 先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、前記撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定装置において、
    前記挿入部の前記体内への挿入量を検出する挿入量検出部と、
    前記現在画像を取得する現在画像取得部と、
    過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、前記挿入量検出部が検出した挿入量に基づいて過去画像を取得する過去画像取得部と、
    前記過去画像取得部が取得した過去画像と前記現在画像とを照合して、前記現在画像に類似する前記過去画像を判定することにより、前記現在画像の撮影部位を特定する撮影部位特定部と、
    を備えた内視鏡撮影部位特定装置。
  2. 前記撮影部位特定部は、前記照合を行った複数枚の前記過去画像の中から、前記現在画像と最も類似度が高い過去画像を判定し、判定した過去画像の撮影部位を前記現在画像の撮影部位と特定する請求項1記載の内視鏡撮影部位特定装置。
  3. 前記挿入量と、前記撮影部位の候補との対応関係を示す対応テーブルを有しており、
    前記過去画像取得部は、前記挿入量検出部が検出した挿入量に基づいて前記対応テーブルを参照して前記撮影部位の候補を決定し、決定した撮影部位の候補に該当する過去画像を前記過去画像格納部から取得する請求項1又は2に記載の内視鏡撮影部位特定装置。
  4. 前記挿入部の湾曲量を検出する湾曲量検出部と、
    前記挿入部の軸回りの回転量を検出する回転量検出部とを備え、
    前記過去画像取得部は、前記挿入量、前記湾曲量及び前記回転量に基づいて、前記過去画像を取得する請求項1〜3のいずれか1項に記載の内視鏡撮影部位特定装置。
  5. 前記過去画像取得部は、前記過去画像格納部から前記現在画像の撮影対象である対象患者の過去画像を取得する請求項1〜4のいずれか1項に記載の内視鏡撮影部位特定装置。
  6. 前記過去画像取得部は、前記過去画像格納部から前記現在画像の撮影対象である対象患者とは異なる別患者の過去画像を取得する請求項1〜4のいずれか1項に記載の内視鏡撮影部位特定装置。
  7. 前記過去画像取得部は、前記過去画像格納部に、前記現在画像の撮影対象である対象患者の過去画像がある場合には、前記対象患者の過去画像を取得し、
    前記対象患者の過去画像が無い場合には、前記対象患者とは異なる別患者の過去画像を取得する請求項1〜4のいずれか1項に記載の内視鏡撮影部位特定装置。
  8. 前記現在画像と、前記撮影部位特定部が特定した前記現在画像の撮影部位とを表示する内視鏡検査支援画面を生成する画面生成部と、
    前記内視鏡検査支援画面の表示制御を行う表示制御部と、を備えたことを特徴とする請求項1〜7のいずれか1項に記載の内視鏡撮影部位特定装置。
  9. 前記内視鏡検査支援画面には、前記撮影部位特定部が特定した前記現在画像の撮影部位を撮影した過去画像が、前記現在画像と比較可能に表示されることを特徴とする請求項8記載の内視鏡撮影部位特定装置。
  10. 先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、前記撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定方法において、
    前記挿入部の前記体内への挿入量を検出する挿入量検出部ステップと、
    前記現在画像を取得する現在画像取得ステップと、
    過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、前記挿入量検出部が検出した挿入量に基づいて過去画像を取得する過去画像取得ステップと、
    前記過去画像取得ステップで取得した過去画像と前記現在画像とを照合して、前記現在画像に類似する前記過去画像を判定することにより、前記現在画像の撮影部位を特定する撮影部位特定ステップと、
    を内視鏡撮影部位特定装置が実行することを特徴とする内視鏡撮影部位特定方法。
  11. 先端に撮影部が内蔵された挿入部を患者の体内に挿入して体内の画像を得る内視鏡に用いられ、前記撮影部が現在撮影している現在画像の撮影部位を特定する内視鏡撮影部位特定プログラムにおいて、
    前記挿入部の前記体内への挿入量を検出する挿入量検出部ステップと、
    前記現在画像を取得する現在画像取得ステップと、
    過去に行われた内視鏡検査において撮影された複数の過去画像が格納された過去画像格納部から、前記挿入量検出部が検出した挿入量に基づいて過去画像を取得する過去画像取得ステップと、
    前記過去画像取得ステップで取得した過去画像と前記現在画像とを照合して、前記現在画像に類似する前記過去画像を判定することにより、前記現在画像の撮影部位を特定する撮影部位特定ステップと、
    をコンピュータに実行させることを特徴とする内視鏡撮影部位特定プログラム。
JP2015070156A 2015-03-30 2015-03-30 内視鏡撮影部位特定装置、プログラム Active JP6389136B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015070156A JP6389136B2 (ja) 2015-03-30 2015-03-30 内視鏡撮影部位特定装置、プログラム
DE102016105165.9A DE102016105165A1 (de) 2015-03-30 2016-03-21 Gerät, verfahren und nicht-flüchtiges, computerlesbares medium zum erkennen eines von einem endoskop abgebildeten körperteils
US15/083,903 US10092216B2 (en) 2015-03-30 2016-03-29 Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015070156A JP6389136B2 (ja) 2015-03-30 2015-03-30 内視鏡撮影部位特定装置、プログラム

Publications (2)

Publication Number Publication Date
JP2016189812A true JP2016189812A (ja) 2016-11-10
JP6389136B2 JP6389136B2 (ja) 2018-09-12

Family

ID=56937513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070156A Active JP6389136B2 (ja) 2015-03-30 2015-03-30 内視鏡撮影部位特定装置、プログラム

Country Status (3)

Country Link
US (1) US10092216B2 (ja)
JP (1) JP6389136B2 (ja)
DE (1) DE102016105165A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018180276A (ja) * 2017-04-13 2018-11-15 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の表示制御方法
WO2019198128A1 (ja) * 2018-04-09 2019-10-17 オリンパス株式会社 内視鏡業務支援システムおよび内視鏡業務支援方法
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体
JPWO2019138773A1 (ja) * 2018-01-10 2020-12-10 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
WO2021144951A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2023026480A (ja) * 2019-02-19 2023-02-24 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2023238609A1 (ja) * 2022-06-09 2023-12-14 富士フイルム株式会社 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
US11950759B2 (en) 2020-03-24 2024-04-09 Fujifilm Corporation Endoscope system, control method, and control program
JP7470776B2 (ja) 2020-03-11 2024-04-18 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2024095865A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080268B2 (ja) * 2014-09-29 2017-02-15 富士フイルム株式会社 医用画像保存処理装置および方法並びにプログラム
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
EP3381348A1 (de) * 2017-03-28 2018-10-03 Emmanouilidis, Nikos Medizinische vorrichtung
US20200118659A1 (en) * 2018-10-10 2020-04-16 Fujifilm Medical Systems U.S.A., Inc. Method and apparatus for displaying values of current and previous studies simultaneously
CN110897596A (zh) * 2019-12-05 2020-03-24 重庆金山医疗技术研究院有限公司 自动调节胶囊拍摄速率的方法、内窥镜、记录仪及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253493A (ja) * 2001-02-28 2002-09-10 Asahi Optical Co Ltd 電子内視鏡装置の観察部位表示システム
JP2010088573A (ja) * 2008-10-06 2010-04-22 Olympus Medical Systems Corp 医療装置
JP2011244937A (ja) * 2010-05-25 2011-12-08 Fujifilm Corp 内視鏡システム
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3080414B2 (ja) 1991-02-15 2000-08-28 株式会社寺田製作所 製茶精揉機のホッパーへの茶葉定量分配方法
JP4262741B2 (ja) 2006-12-25 2009-05-13 オリンパス株式会社 内視鏡形状検出装置
ATE546755T1 (de) * 2007-10-30 2012-03-15 Olympus Corp Endoskopvorrichtung
JP2012165838A (ja) 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
JP6061602B2 (ja) 2012-10-10 2017-01-18 オリンパス株式会社 挿入部及び挿入部材を有する挿入システム
JP2015070156A (ja) 2013-09-30 2015-04-13 サンケン電気株式会社 発光装置
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253493A (ja) * 2001-02-28 2002-09-10 Asahi Optical Co Ltd 電子内視鏡装置の観察部位表示システム
JP2010088573A (ja) * 2008-10-06 2010-04-22 Olympus Medical Systems Corp 医療装置
JP2011244937A (ja) * 2010-05-25 2011-12-08 Fujifilm Corp 内視鏡システム
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026447B2 (ja) 2017-04-13 2022-02-28 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の表示制御方法
JP2018180276A (ja) * 2017-04-13 2018-11-15 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の表示制御方法
US11526986B2 (en) 2018-01-10 2022-12-13 Fujifilm Corporation Medical image processing device, endoscope system, medical image processing method, and program
JPWO2019138773A1 (ja) * 2018-01-10 2020-12-10 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US11910993B2 (en) 2018-04-09 2024-02-27 Olympus Corporation Endoscopic task supporting system and endoscopic task supporting method for extracting endoscopic images from a plurality of endoscopic images based on an amount of manipulation of a tip of an endoscope
JPWO2019198128A1 (ja) * 2018-04-09 2021-05-20 オリンパス株式会社 内視鏡業務支援システムおよび内視鏡業務支援方法
WO2019198128A1 (ja) * 2018-04-09 2019-10-17 オリンパス株式会社 内視鏡業務支援システムおよび内視鏡業務支援方法
JP7183256B2 (ja) 2018-04-09 2022-12-05 オリンパス株式会社 内視鏡業務支援システムおよび内視鏡業務支援方法
WO2020059377A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 位置推定装置、位置推定方法、及びコンピュータ読み取り可能な記録媒体
JP7040630B2 (ja) 2018-09-20 2022-03-23 日本電気株式会社 位置推定装置、位置推定方法、及びプログラム
JPWO2020059377A1 (ja) * 2018-09-20 2021-08-30 日本電気株式会社 位置推定装置、位置推定方法、及びプログラム
JP2023026480A (ja) * 2019-02-19 2023-02-24 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2021144951A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JP7389823B2 (ja) 2020-01-17 2023-11-30 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JPWO2021144951A1 (ja) * 2020-01-17 2021-07-22
JP7470776B2 (ja) 2020-03-11 2024-04-18 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
US11950759B2 (en) 2020-03-24 2024-04-09 Fujifilm Corporation Endoscope system, control method, and control program
JP7470779B2 (ja) 2020-03-24 2024-04-18 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2023238609A1 (ja) * 2022-06-09 2023-12-14 富士フイルム株式会社 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
WO2024095865A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法

Also Published As

Publication number Publication date
US20160292498A1 (en) 2016-10-06
DE102016105165A1 (de) 2016-10-06
JP6389136B2 (ja) 2018-09-12
US10092216B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
JP6389136B2 (ja) 内視鏡撮影部位特定装置、プログラム
JP5148227B2 (ja) 内視鏡システム
JP5580637B2 (ja) 画像処理装置、内視鏡装置の作動方法及びプログラム
EP1691666B1 (en) Catheterscope 3d guidance and interface system
JP5492729B2 (ja) 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
EP3136943A1 (en) System and method of scanning a body cavity using a multiple viewing elements endoscope
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
JP2012509715A (ja) 大腸内視鏡検査追跡および評価システム
CN107249427B (zh) 医疗装置、医疗图像生成方法以及医疗图像生成程序
JPWO2014136579A1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2004321796A (ja) カプセル形内視鏡装置のためのコンピュータ支援3次元画像形成方法、無線内視鏡装置および医療技術装置
JP2009279250A (ja) 医療機器
KR20170055526A (ko) 방광의 진단 맵핑을 위한 방법 및 시스템
JP7377769B2 (ja) プログラム、情報処理方法及び情報処理装置
US20230301503A1 (en) Artificial intelligence-based gastroscopic image analysis method
JPWO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP4017877B2 (ja) 可撓性内視鏡のモニター装置
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
CN114451848B (zh) 内窥镜胶囊轨迹引导方法、装置及系统
JP2021101900A (ja) 学習データ作成装置、方法及びプログラム並びに医療画像認識装置
WO2023218523A1 (ja) 第2の内視鏡システム、第1の内視鏡システム、および内視鏡検査方法
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2023181175A1 (ja) 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
JPS62221332A (ja) 内視鏡画像診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180816

R150 Certificate of patent or registration of utility model

Ref document number: 6389136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250