JP2017018305A - 超音波診断装置及び医用画像処理装置 - Google Patents

超音波診断装置及び医用画像処理装置 Download PDF

Info

Publication number
JP2017018305A
JP2017018305A JP2015138292A JP2015138292A JP2017018305A JP 2017018305 A JP2017018305 A JP 2017018305A JP 2015138292 A JP2015138292 A JP 2015138292A JP 2015138292 A JP2015138292 A JP 2015138292A JP 2017018305 A JP2017018305 A JP 2017018305A
Authority
JP
Japan
Prior art keywords
gap
deviation
diagnostic apparatus
ultrasonic diagnostic
heart valve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015138292A
Other languages
English (en)
Other versions
JP6622018B2 (ja
JP2017018305A5 (ja
Inventor
小林 豊
Yutaka Kobayashi
豊 小林
和俊 貞光
Kazutoshi Sadamitsu
和俊 貞光
治郎 樋口
Jiro Higuchi
治郎 樋口
正敏 西野
Masatoshi Nishino
正敏 西野
紀久 菊地
Norihisa Kikuchi
紀久 菊地
篤司 鷲見
Tokuji Washimi
篤司 鷲見
尚之 中沢
Naoyuki Nakazawa
尚之 中沢
淳 中井
Atsushi Nakai
淳 中井
淙 姚
Cong Yao
淙 姚
米山 直樹
Naoki Yoneyama
直樹 米山
和男 手塚
Kazuo Tezuka
和男 手塚
嶺 喜隆
Yoshitaka Mine
喜隆 嶺
高橋 正美
Masami Takahashi
正美 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2015138292A priority Critical patent/JP6622018B2/ja
Priority to US15/133,957 priority patent/US20170007201A1/en
Publication of JP2017018305A publication Critical patent/JP2017018305A/ja
Publication of JP2017018305A5 publication Critical patent/JP2017018305A5/ja
Application granted granted Critical
Publication of JP6622018B2 publication Critical patent/JP6622018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/541Control of apparatus or devices for radiation diagnosis involving acquisition triggered by a physiological signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4494Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer characterised by the arrangement of the transducer elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • A61B8/543Control of the diagnostic device involving acquisition triggered by a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

【課題】超音波診断装置において、正確で精度のよい、収縮末期における僧帽弁の逸脱隙間を操作者に提供すること。【解決手段】超音波診断装置10は、超音波プローブ11を制御して超音波を送受信させて生成された複数フレームの3次元画像から、心臓弁を抽出する機能311,312と、複数フレームのうち特定のフレームの3次元画像における心臓弁の弁尖間の隙間を逸脱隙間として算出してディスプレイ34に表示させる機能314,315と、を備えた。【選択図】 図2

Description

本発明の一態様としての実施形態は、超音波診断装置及び医用画像処理装置に関する。
心臓弁が機能しなくなる疾患を、弁膜症という。心臓弁には、僧帽弁、大動脈弁、三尖弁、及び肺動脈弁があるが、特に、僧帽弁の疾患が多くなってきている。僧帽弁は、前尖と後尖と呼ばれる2個の弁尖から成る。
僧帽弁の弁膜の1個に影響を与える疾患の1つに、僧帽弁閉鎖不全症(MR)が挙げられる。僧帽弁閉鎖不全症は、僧帽弁が完全に閉鎖できず、血液が逆流する症状をいう。
僧帽弁閉鎖不全症の治療は、従来までは、心臓弁を修復する「弁形成術」や、心臓弁を完全に取り替える「弁置換術」といった外科手術によって行なわれていた。しかし、最近では、僧帽弁閉鎖不全症に対して、カテーテルからデバイスを送り、弁の治療を行なうMitral Clip(登録商標)という術式が適用される例が出ている。この術式では、患者を開胸せずに、患者の体力、年齢を考慮して行なうことができる。
Mitral Clipは、本来、閉鎖すべき収縮末期における僧帽弁の逸脱隙間(Prolapse Gap)が10[mm]以上だと、適用することが難しい。というのも、収縮末期における僧帽弁の逸脱隙間が大きすぎると、僧帽弁の前尖及び後尖を適切に挟みこむことができなくなってしまうからである。
というわけで、Mitral Clipを適用可能であるかどうかを判断する上で、術前において、収縮末期における僧帽弁の逸脱隙間を測定するのが必須となる。なお、3D画像に基づく収縮末期における僧帽弁の逸脱隙間の測定結果は、2D画像に基づくそれより、実際の逸脱隙間に近いという報告がなされている。
国際公開第2006/068271号
しかしながら、収縮末期における僧帽弁の逸脱隙間の測定は、操作者の指定操作を伴うものなので、操作者に負担がかかり、また、操作者の技量によりばらつきがあった。
本実施形態に係る超音波診断装置は、上述した課題を解決するために、超音波プローブを制御して超音波を送受信させて生成された複数フレームの3次元画像から、心臓弁を抽出する抽出手段と、前記複数フレームのうち特定のフレームの3次元画像における前記心臓弁の弁尖間の隙間を逸脱隙間(Prolapse Gap)として算出して表示部に表示させる算出手段と、を有する。
本実施形態に係る医用画像処理装置は、上述した課題を解決するために、記憶部から複数フレームの3次元画像を取得し、前期複数フレームの3次元画像から、心臓弁を抽出する抽出手段と、前記複数フレームのうち特定のフレームの3次元画像における前記心臓弁の弁尖間の隙間を逸脱隙間として算出して表示部に表示させる算出手段と、を有する。
第1実施形態に係る超音波診断装置の構成を示す概略図。 第1実施形態に係る超音波診断装置の機能を示すブロック図。 僧帽弁のエッジのトラッキングの概念を示す図。 (A)〜(D)は、収縮末期における僧帽弁の弁尖間の逸脱隙間を示す図。 (A)〜(C)は、収縮末期における僧帽弁の弁尖間の複数の逸脱隙間の算出方法を説明するための図。 複数の逸脱隙間の位置と、位置ごとの逸脱隙間との関係をグラフとして示す図。 逸脱隙間要素の集計方法を説明するための図。 逸脱隙間要素の集計結果をグラフとして示す図。 第1実施形態に係る超音波診断装置の動作を示すフローチャート。 第2実施形態に係る医用画像処理装置の構成を示す概略図。 第2実施形態に係る医用画像処理装置の機能を示すブロック図。
本実施形態に係る超音波診断装置及び医用画像処理装置について、添付図面を参照して説明する。
(第1実施形態)
図1は、第1実施形態に係る超音波診断装置の構成を示す概略図である。
図1は、第1実施形態に係る超音波診断装置10を示す。超音波診断装置10は、超音波プローブ11及び装置本体12を備える。
超音波プローブ11は、被検体に対して超音波の送受波を行なう。超音波プローブ11は、被検体の表面に対してその前面を接触させ超音波の送受波を行なうものであり、1次元又は2次元に配列された複数個(M個)の微小な超音波振動子をその先端部に有している。この超音波振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルス(送信超音波)に変換し、又、受信時には超音波反射波(受信超音波)を電気信号(受信信号)に変換する機能を有している。
超音波プローブ11は小型、軽量に構成されており、ケーブルを介して装置本体12に接続される。超音波プローブ11にはセクタ走査対応、リニア走査対応、コンベックス走査対応などがあり、診断部位に応じて任意に選択される。
装置本体12は、処理回路(processing circuitry)31、記憶回路(記憶部)32、入力回路(入力部)33、ディスプレイ(表示部)34、基準信号発生回路35、送受信回路36、エコーデータ処理回路37、及び画像生成回路38を備える。
処理回路31は、専用又は汎用のCPU(central processing unit)又はMPU(micro processor unit)の他、特定用途向け集積回路(ASIC:application specific integrated circuit)、及び、プログラマブル論理デバイスなどを意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス(SPLD:simple programmable logic device)、複合プログラマブル論理デバイス(CPLD:complex programmable logic device)、及び、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)などが挙げられる。処理回路31は記憶回路32に記憶された、又は、処理回路31内に直接組み込まれたプログラムを読み出し実行することで図2に示す機能311〜315を実現する。
また、処理回路31は、単一の回路によって構成されてもよいし、複数の独立した回路を組み合わせによって構成されてもよい。後者の場合、プログラムを記憶する記憶回路32は処理回路31ごとに個別に設けられてもよいし、単一の記憶回路32が複数の回路(処理回路)の機能に対応するプログラムを記憶するものであってもよい。
記憶回路32は、RAM(random access memory)、フラッシュメモリ(flash memory)等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶回路32は、USB(universal serial bus)メモリ及びDVD(digital video disk))などの可搬型メディアによって構成されてもよい。記憶回路32は、処理回路31において用いられる各種処理プログラム(アプリケーションプログラムの他、OS(operating system)等も含まれる)や、プログラムの実行に必要なデータや、医用画像を記憶する。また、OSに、操作者に対するディスプレイ34への情報の表示にグラフィックを多用し、基礎的な操作を入力回路33によって行なうことができるGUI(graphical user interface)を含めることもできる。
入力回路33は、操作者によって操作が可能なポインティングデバイス(マウス等)やキーボード等の入力デバイスからの信号を入力する回路であり、ここでは、入力デバイス自体も入力回路33に含まれるものとする。操作者により入力デバイスが操作されると、入力回路33はその操作に応じた入力信号を生成して処理回路31に出力する。なお、装置本体12は、入力デバイスがディスプレイ34と一体に構成されたタッチパネルを備えてもよい。
ディスプレイ34は、液晶ディスプレイやOLED(organic light emitting diode)ディスプレイなどの一般的な表示出力装置により構成され、処理回路31の制御に従って画像生成回路38によって生成された画像データを表示する。
基準信号発生回路35は、処理回路31からの制御信号に従って、送受信回路36に対して、例えば、超音波パルスの中心周波数とほぼ等しい周波数の連続波又は矩形波を発生する。
送受信回路36は、処理回路31からの制御信号に従って、超音波プローブ11に対して送受信を行なわせる。送受信回路36は、超音波プローブ11から送信超音波を放射させるための駆動信号を生成する送信回路361と、超音波プローブ11からの受信信号に対して整相加算を行なう受信回路362を備える。
送信回路361は、図示しない、レートパルス発生器、送信遅延回路、及びパルサを備える。レートパルス発生器は、送信超音波の繰り返し周期を決定するレートパルスを、基準信号発生回路35から供給される連続波又は矩形波を分周することによって生成し、このレートパルスを送信遅延回路に供給する。送信遅延回路は、送信に使用される振動子と同数(Mチャンネル)の独立な遅延回路から構成されており、送信において細いビーム幅を得るために所定の深さに送信超音波を収束するための遅延時間と所定の方向に送信超音波を放射するための遅延時間をレートパルスに与え、このレートパルスをパルサに供給する。パルサは、Mチャンネルの独立な駆動回路を有し、超音波プローブ11に内蔵された振動子を駆動するための駆動パルスを前記レートパルスに基づいて生成する。
送受信回路36の受信回路362は、図示しないプリアンプ、A/D(analog to digital)変換回路、受信遅延回路、及び加算回路を備える。プリアンプは、Mチャンネルから構成され、振動子によって電気的な受信信号に変換された微小信号を増幅して十分なS/Nを確保する。プリアンプにおいて所定の大きさに増幅されたMチャンネルの受信信号は、A/D変換回路にてデジタル信号に変換され、受信遅延回路に送られる。受信遅延回路は、所定の深さからの超音波反射波を集束するための集束用遅延時間と、所定方向に対して受信指向性を設定するための偏向用遅延時間をA/D変換回路から出力されるMチャンネルの受信信号の各々に与える。加算回路は、受信遅延回路からの受信信号を整相加算(所定の方向から得られた受信信号の位相を合わせて加算)する。
エコーデータ処理回路37は、処理回路31からの制御信号に従って、受信回路362から入力されたエコーデータに対して、超音波画像を生成するための処理を行なう。例えば、エコーデータ処理回路37は、対数圧縮処理及び包絡線検波処理等のBモード処理や、直交検波処理及びフィルタ処理等のドプラ(doppler)処理などを行なう。
画像生成回路38は、処理回路31からの制御信号に従って、エコーデータ処理回路37から入力されたデータを、スキャンコンバータ(scan converter)によって走査変換して超音波画像データを生成する。そして、画像生成回路38は、超音波画像データに基づく超音波画像をディスプレイ34に表示させる。超音波画像は、例えばBモード画像やカラードプラ画像である。
続いて、第1実施形態に係る超音波診断装置10の機能について説明する。
図2は、第1実施形態に係る超音波診断装置10の機能を示すブロック図である。
処理回路31がプログラムを実行することによって、超音波診断装置10は、エッジ抽出機能311、エッジトラッキング機能312、タイミング決定機能313、逸脱隙間算出機能314、及び逸脱隙間集計機能315として機能する。なお、機能311〜315がソフトウェア的に機能する場合を例に挙げて説明するが、それら機能311〜315の一部又は全部は、超音波診断装置10にハードウェア的にそれぞれ設けられるものであってもよい。
エッジ抽出機能311は、基準信号発生回路35を介して超音波プローブ11の動作を制御してBモードの4Dスキャンを開始させ、画像生成回路38によって生成される3D画像に基づいて心臓弁(弁輪)のエッジを抽出する機能である。心臓弁としては、僧帽弁、大動脈弁、三尖弁、及び肺動脈弁が挙げられる。以下、僧帽弁が抽出される場合を例にとって説明するが、その場合に限定されるものではない。
エッジトラッキング(追跡)機能312は、画像生成回路38によって生成される複数フレームの3D画像に基づいて、エッジ抽出機能311によって抽出された僧帽弁のエッジをトラッキングする機能である。エッジトラッキング機能312は、僧帽弁のエッジのトラッキングにおいて、従来技術のWMT(wall motion tracking)を用いた心臓壁のトラッキングと同様に、パターンマッチング技術を僧帽弁のエッジに応用すればよい。
図3は、僧帽弁のエッジのトラッキングの概念を示す図である。
図3は、左心室LVを含む複数フレームの3D画像を示す。僧帽弁Mのエッジのトラッキング技術では、開始フレームの3D画像上に動きを解析する部分である僧帽弁Mのエッジにテンプレート画像が設定される。そして、僧帽弁Mのエッジが次のフレームの3D画像でどこに移動したかについて、テンプレート画像のスペックルパターンが最もマッチする領域が次のフレームの3D画像内で探索されることにより推定される。さらに、この推定処理が次々と連続する2のフレームの3D画像の間で繰り返されれば、時間に伴って変化する僧帽弁Mのエッジがトラッキングされる。
図2の説明に戻って、タイミング決定機能313は、僧帽弁が閉鎖すべきタイミング、例えば、収縮末期を決定する機能である。タイミング決定機能313は、収縮末期を、心電図(ECG:electrocardiogram)信号から決定する。なお、タイミング決定機能313は、複数フレームの3次元画像について、心臓弁の弁尖間の複数の逸脱隙間をそれぞれ算出し、複数フレームに係る複数の逸脱隙間のうち最大の逸脱隙間をもつフレームを収縮末期として決定してもよい。
収縮末期は、心電図信号に基づくS波時相とE波時相との間において設定される所定期間において、心筋速度の絶対値が最小となる時相とされることが好適である。収縮末期の決定方法については、例えば、特開2005−342006号公報などに挙げられる。
逸脱隙間算出機能314は、タイミング決定機能313によって決定された収縮末期に相当するフレームの3D画像に基づいて、収縮末期における僧帽弁の弁尖間の隙間を逸脱隙間(Prolapse Gap)として算出する機能である。逸脱隙間算出機能314は、収縮末期における僧帽弁の弁尖間の逸脱隙間をディスプレイ34に表示させる機能を備えてもよい。
第1例として、逸脱隙間算出機能314は、収縮末期における僧帽弁の前尖(anterior leaflet)上の1点と、後尖(posterior leaflet)上の1点との間の1個の逸脱隙間を算出する。
第2例として、逸脱隙間算出機能314は、収縮末期における僧帽弁の前尖上の複数点と、後尖上の複数点との間の複数の逸脱隙間を算出し、それらの代表値を弁尖間の逸脱隙間とする。代表値としては、複数の逸脱隙間における平均値や最大値などが挙げられる。
図4(A)〜(D)は、収縮末期における僧帽弁の弁尖間の逸脱隙間を示す図である。
図4(A)〜(D)の上段は、僧帽弁を上方(左心房)から見た図であり、図4(A)〜(D)の下段は、僧帽弁を側方から見た図である。
図4(A),(B)に示す収縮末期のタイミングでは、上段に示すように、僧帽弁を上方(左心房)から見ても弁尖間の逸脱隙間はないようにも見える。しかしながら、下段に示すように、側方から見ると、僧帽弁を上方から見ても弁尖間の逸脱隙間が存在する。よって、3次元画像に基づいて、収縮末期における弁尖間の逸脱隙間を算出することが好適である。
一方で、図4(C),(D)に示す収縮末期のタイミングでは、僧帽弁を上方から見ても、側方から見ても、弁尖間の逸脱隙間は存在する。
図5(A)〜(C)は、収縮末期における僧帽弁の弁尖間の複数の逸脱隙間の算出方法を説明するための図である。
図5(A)は、収縮末期における正常な僧帽弁の状態を示す。図5(B),(C)は、僧帽弁閉鎖不全症の状態を示す。
図5(B)に示すように、前交連AC及び後交連PCの間における前尖ALのエッジの中点と、前交連AC及び後交連PCの間における後尖PMのエッジ上の中点との間(線分L)が収縮末期における弁尖間の逸脱隙間として算出される。
又は、前交連AC及び後交連PCの間における前尖ALのエッジ上と、前交連AC及び後交連PCの間における後尖PMのエッジ上とに、線分Lとそれに平行な複数の線分が求められ、複数の線分の長さが複数の逸脱隙間として算出される。それらの代表値、例えば、最大の逸脱隙間が弁尖間の逸脱隙間とされる。
図5(C)に示すように、前交連AC(又は後交連PC)から同割合にある前尖AL及び後尖PMのエッジ上の点を結ぶ複数の線分が求められ、複数の線分の長さが複数の逸脱隙間として算出される。それらの代表値、例えば、最大の逸脱隙間が弁尖間の逸脱隙間とされる。
図2の説明に戻って、逸脱隙間算出機能314は、算出した収縮末期における僧帽弁の逸脱隙間の位置を算出することもできる。
図6は、複数の逸脱隙間の位置と、位置ごとの逸脱隙間との関係をグラフとして示す図である。
図6は、図5(A)又は図5(B)によって算出された複数の逸脱隙間の位置ごとに逸脱隙間をプロットしたグラフを示す。図6に示すように、前交連ACに近い側に、最大の逸脱隙間をもつ。
ここで、心臓弁としての大動脈弁、三尖弁、及び肺動脈弁については、僧帽弁とは異なり、3個の弁尖から成る。大動脈弁、三尖弁、及び肺動脈弁の弁尖間の逸脱隙間が算出される場合、第1及び第2の弁尖の間と、第2及び第3の弁尖の間と、第3及び第1の弁尖の間についてそれぞれ逸脱隙間や、最大の逸脱隙間の位置が算出される。
図2の説明に戻って、逸脱隙間集計機能315は、逸脱隙間算出機能314によって複数心拍に係る複数の逸脱隙間が算出された場合、それらを複数の逸脱隙間要素として集計して、複数心拍に係る1の逸脱隙間を算出する機能である。逸脱隙間集計機能315は、複数心拍に係る複数の逸脱隙間要素を平均し、平均化後の逸脱隙間要素の最大値を複数心拍に係る逸脱隙間とする。
図7は、逸脱隙間要素の集計方法を説明するための図である。図7の上段は、複数心拍(第1心拍〜第N心拍)における、逸脱隙間要素の位置と逸脱隙間要素との関係をグラフとして示す図である。図7の下段は、逸脱隙間要素の位置と、時間(心拍)と、最大の逸脱隙間要素との関係をグラフとして示す図である。
図7の下段によると、心拍の変化に従って、最大の逸脱隙間要素の位置が変化することがわかる。
図8は、逸脱隙間要素の集計結果をグラフとして示す図である。
図8は、複数心拍に係る複数の逸脱隙間要素が平均化された後の逸脱隙間要素の曲線を示す。その曲線の最大値が、複数心拍に係る1の逸脱隙間として算出される。また、図8に示すように、曲線の最大値の位置に、複数心拍に係る複数の逸脱隙間要素のばらつき(標準偏差又は分散)を示すライン(2点間の太線)が示される。
図8に示すグラフや、又は、複数心拍に係る1の逸脱隙間の位置と、複数心拍に係る1の逸脱隙間の値及びばらつきを示す値とを表す文字情報を表示することで、操作者は、複数心拍に係る1の逸脱隙間を視認することができる。
続いて、図1及び図9を用いて超音波診断装置1の動作について説明する。
図9は、第1実施形態に係る超音波診断装置1の動作を示すフローチャートである。
超音波診断装置1は、ある心拍において、基準信号発生回路35を介して超音波プローブ11の動作を制御してBモードの4Dスキャンを開始させ、画像生成回路38によって生成される3D画像に基づいて僧帽弁のエッジを抽出する(ステップST1)。超音波診断装置1は、画像生成回路38によって生成される複数フレームの3D画像に基づいて、ステップST1によって抽出された僧帽弁のエッジをトラッキングする(ステップST2)。
超音波診断装置1は、僧帽弁が閉鎖すべきタイミング、例えば、収縮末期を決定する(ステップST3)。超音波診断装置1は、ステップST3によって決定された収縮末期に相当するフレームの3D画像に基づいて、収縮末期における僧帽弁の前尖上の複数点と、後尖上の複数点との間の複数の逸脱隙間要素を算出する(ステップST4)。
超音波診断装置1は、ステップST4によって算出された複数の逸脱隙間要素における最大値を、収縮末期における僧帽弁の逸脱隙間要素として算出し、最大の逸脱隙間要素の位置を算出する(ステップST5)。
超音波診断装置1は、次の心拍において、収縮末期における最大の逸脱隙間要素の位置を算出するか否かを判断する(ステップST6)。ステップST6の判断にてYES、すなわち、次の心拍において、収縮末期における最大の逸脱隙間要素の位置を算出すると判断される場合、超音波診断装置1は、次の心拍において、基準信号発生回路35を介して超音波プローブ11の動作を制御してBモードの4Dスキャンを開始させ、画像生成回路38によって生成される3D画像に基づいて僧帽弁のエッジを抽出する(ステップST1)。
一方、ステップST6の判断にてNO、すなわち、次の心拍において、収縮末期における最大の逸脱隙間要素の位置を算出しないと判断される場合、超音波診断装置1は、ステップST4によって算出された複数心拍に係る複数の逸脱隙間要素を集計して、複数心拍に係る1の逸脱隙間を算出する(ステップST7)。超音波診断装置1は、ステップST5によって算出された各心拍に係る逸脱隙間要素や、ステップST7によって算出された複数心拍に係る1の逸脱隙間をディスプレイ34に表示させる(ステップST8)。
第1実施形態に係る超音波診断装置10によると、正確で精度のよい、収縮末期における僧帽弁の逸脱隙間を操作者に提供することができる。さらに、第1実施形態に係る超音波診断装置10によると、1心拍のみならず複数心拍に係る逸脱隙間要素から算出された1の逸脱隙間を操作者に提示できるので、さらに正確で精度のよい、収縮末期における僧帽弁の逸脱隙間を操作者に提供することができる。
このように、第1実施形態に係る超音波診断装置10によると、心臓弁の弁尖間をクリップで挟みこむMitral Clipの術式に先立って、Mitral Clipが適用可能であるかどうかや、適用可能である場合のクリップの数を判断する上で重要な僧帽弁の逸脱隙間の情報を提示できる。
(第2実施形態)
図10は、第2実施形態に係る医用画像処理装置の構成を示す概略図である。
図10は、第2実施形態に係る医用画像処理装置50を示す。
医用画像処理装置50は、例えば、専用又は汎用コンピュータである。例えば、医用画像処理装置50の機能は、医用画像に画像処理を施すPC(ワークステーション)や、医用画像を保存・管理する医用画像管理装置(サーバ)などに含むものであってもよい。
以下、医用画像処理装置50が専用又は汎用のコンピュータである場合を例にとって説明する。
医用画像処理装置50は、処理回路51、記憶回路(記憶部)52、入力回路(入力部)53、ディスプレイ(表示部)54、及びIF(通信部)55を備える。
処理回路51は、図1に示す処理回路31と同等の構成である。記憶回路52は、図1に示す記憶回路32と同等の構成である。入力回路53は、図1に示す入力回路33と同等の構成である。ディスプレイ54は、図1に示すディスプレイ34と同等の構成である。
IF(interface)54は、所定の通信規格にしたがって、外部装置との通信動作を行なう。医用画像処理装置50がネットワーク上に設けられる場合、IF54は、ネットワーク上の外部装置と情報の送受信を行なう。例えば、IF54は、MRI装置等の医用画像診断装置(図示しない)による撮像で得られたデータを医用画像診断装置や医用画像管理装置(図示しない)等から受信したり、医用画像処理装置50によって生成されたデータを医用画像管理装置や読影端末(図示しない)に送信したりして、外部装置と通信動作を行なう。
続いて、第2実施形態に係る医用画像処理装置50の機能について説明する。
図11は、第2実施形態に係る医用画像処理装置50の機能を示すブロック図である。
処理回路51がプログラムを実行することによって、医用画像処理装置50は、エッジ抽出機能311A、エッジトラッキング機能312、タイミング決定機能313、GAP位置算出機能314、及びGAP位置集計機能315として機能する。なお、機能311A〜315がソフトウェア的に機能する場合を例に挙げて説明するが、それら機能311A〜315の一部又は全部は、医用画像処理装置50にハードウェア的にそれぞれ設けられるものであってもよい。
なお、図11において、図2に示す機能と同一機能には同一符号を付して説明を省略する。
エッジ抽出機能311Aは、記憶回路52に記憶されたBモードの3D画像を取得し(読み出し)、Bモードの3D画像に基づいて僧帽弁(弁輪)のエッジを抽出する機能である。心臓弁としては、僧帽弁、大動脈弁、三尖弁、及び肺動脈弁が挙げられる。以下、僧帽弁が抽出される場合を例にとって説明するが、その場合に限定されるものではない。
第2実施形態に係る医用画像処理装置50によると、正確で精度のよい、収縮末期における僧帽弁の逸脱隙間を操作者に提供することができる。さらに、第2実施形態に係る医用画像処理装置50によると、1心拍のみならず複数心拍に係る逸脱隙間要素から算出された1の逸脱隙間を操作者に提示できるので、さらに正確で精度のよい、収縮末期における僧帽弁の逸脱隙間を操作者に提供することができる。
このように、第2実施形態に係る医用画像処理装置50によると、心臓弁の弁尖間をクリップで挟みこむMitral Clipの術式に先立って、Mitral Clipが適用可能であるかどうかや、適用可能である場合のクリップの数を判断する上で重要な僧帽弁の逸脱隙間の情報を提示できる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行なうことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 超音波診断装置
11 超音波プローブ
12 装置本体
31,51 処理回路
34,54 ディスプレイ
50 医用画像処理装置
311,311A エッジ抽出機能
312 エッジトラッキング機能
313 タイミング決定機能
314 逸脱隙間算出機能
315 逸脱隙間集計機能

Claims (11)

  1. 超音波プローブを制御して超音波を送受信させて生成された複数フレームの3次元画像から、心臓弁を抽出する抽出手段と、
    前記複数フレームのうち特定のフレームの3次元画像における前記心臓弁の弁尖間の隙間を逸脱隙間(Prolapse Gap)として算出して表示部に表示させる算出手段と、
    を有する超音波診断装置。
  2. 前記算出手段は、収縮末期に相当するフレームを前記特定のフレームとする請求項1に記載の超音波診断装置。
  3. 前記算出手段は、心電図信号から前記収縮末期を決定する請求項2に記載の超音波診断装置。
  4. 前記算出手段は、前記複数フレームの3次元画像について、前記心臓弁の弁尖間の複数の逸脱隙間をそれぞれ算出し、前記複数フレームに係る複数の逸脱隙間のうち最大の逸脱隙間をもつフレームを前記収縮末期として決定する請求項2に記載の超音波診断装置。
  5. 前記算出手段は、前記特定のフレームの3次元画像における前記心臓弁の弁尖間の1の逸脱隙間を前記逸脱隙間として算出する請求項1乃至4のうちいずれか一項に記載の超音波診断装置。
  6. 前記算出手段は、前記特定のフレームの3次元画像における前記心臓弁の弁尖間の複数の逸脱隙間を算出し、前記複数の逸脱隙間のうち最大値を前記逸脱隙間として算出する請求項1乃至4のうちいずれか一項に記載の超音波診断装置。
  7. 前記抽出手段は、前記心臓弁のエッジをトラッキングすることで、前記特定のフレームの3次元画像における前記心臓弁を抽出する請求項1乃至6のうちいずれか一項に記載の超音波診断装置。
  8. 前記算出手段は、複数心拍の心拍ごとに、前記特定のフレームの3次元画像における前記心臓弁の弁尖間の隙間を逸脱隙間要素として算出し、
    前記複数心拍に係る複数の逸脱隙間要素を集計することで、1の逸脱隙間を算出する集計手段をさらに有する請求項1乃至7のうちいずれか一項に記載の超音波診断装置。
  9. 前記集計手段は、前記複数心拍に係る複数の逸脱隙間要素を平均し、平均化後の逸脱隙間要素の最大値を前記1の逸脱隙間として算出する請求項8に記載の超音波診断装置。
  10. 前記心臓弁を僧帽弁とする請求項1乃至9のうちいずれか一項に記載の超音波診断装置。
  11. 記憶部から複数フレームの3次元画像を取得し、前期複数フレームの3次元画像から、心臓弁を抽出する抽出手段と、
    前記複数フレームのうち特定のフレームの3次元画像における前記心臓弁の弁尖間の隙間を逸脱隙間として算出して表示部に表示させる算出手段と、
    を有する医用画像処理装置。
JP2015138292A 2015-07-10 2015-07-10 超音波診断装置及び医用画像処理装置 Active JP6622018B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015138292A JP6622018B2 (ja) 2015-07-10 2015-07-10 超音波診断装置及び医用画像処理装置
US15/133,957 US20170007201A1 (en) 2015-07-10 2016-04-20 Ultrasonic diagnostic apparatus and medical image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015138292A JP6622018B2 (ja) 2015-07-10 2015-07-10 超音波診断装置及び医用画像処理装置

Publications (3)

Publication Number Publication Date
JP2017018305A true JP2017018305A (ja) 2017-01-26
JP2017018305A5 JP2017018305A5 (ja) 2018-06-28
JP6622018B2 JP6622018B2 (ja) 2019-12-18

Family

ID=57730254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015138292A Active JP6622018B2 (ja) 2015-07-10 2015-07-10 超音波診断装置及び医用画像処理装置

Country Status (2)

Country Link
US (1) US20170007201A1 (ja)
JP (1) JP6622018B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416992B2 (en) 2018-05-21 2022-08-16 Canon Medical Systems Corporation Medical image processing apparatus, medical image diagnostic apparatus, and non-transitory storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4091550A1 (en) * 2021-05-21 2022-11-23 Koninklijke Philips N.V. Cardiac image analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068086A (ja) * 2006-09-15 2008-03-27 General Electric Co <Ge> 3d心エコー図において心臓構造をリアルタイムでトラッキングするための方法
JP2011062524A (ja) * 2009-09-16 2011-03-31 Medison Co Ltd 3次元距離測定を行う超音波システムおよび方法
US20110103661A1 (en) * 2009-11-05 2011-05-05 Tomtec Imaging Systems Gmbh Method and device for segmenting medical image data

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129392B2 (en) * 2010-02-25 2015-09-08 The Trustees Of The University Of Pennsylvania Automatic quantification of mitral valve dynamics with real-time 3D ultrasound

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008068086A (ja) * 2006-09-15 2008-03-27 General Electric Co <Ge> 3d心エコー図において心臓構造をリアルタイムでトラッキングするための方法
JP2011062524A (ja) * 2009-09-16 2011-03-31 Medison Co Ltd 3次元距離測定を行う超音波システムおよび方法
US20110103661A1 (en) * 2009-11-05 2011-05-05 Tomtec Imaging Systems Gmbh Method and device for segmenting medical image data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALEX PUI-WAI LEE ET AL.: "Quantification of Mitral Valve Morphology With Tree-Dimensional Echocardiography", CIRCULATION JOURNAL, vol. 第78巻, JPN6019009111, 8 April 2014 (2014-04-08), JP, pages 第1029-1037頁 *
平山秀男: "弁膜症治療をサポートする3Dからの自動計測〜僧帽弁・大動脈弁解析ソフトウェア:eSie Valves", 超音波検査技術, vol. 第40巻、第2号, JPN6019009109, 1 April 2015 (2015-04-01), pages 第190-197頁 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416992B2 (en) 2018-05-21 2022-08-16 Canon Medical Systems Corporation Medical image processing apparatus, medical image diagnostic apparatus, and non-transitory storage medium

Also Published As

Publication number Publication date
JP6622018B2 (ja) 2019-12-18
US20170007201A1 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
US9855024B2 (en) Medical diagnostic imaging apparatus, medical image processing apparatus, and control method for processing motion information
JP5624258B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5597492B2 (ja) 超音波診断装置、画像処理装置およびプログラム
JP5586203B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5624314B2 (ja) 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
US9888905B2 (en) Medical diagnosis apparatus, image processing apparatus, and method for image processing
JP5897674B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP5771297B1 (ja) 超音波診断装置
JP2012005708A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP7334036B2 (ja) 医用画像処理装置
JP6622018B2 (ja) 超音波診断装置及び医用画像処理装置
JP2022149097A (ja) 超音波診断装置、医用画像解析装置および医用画像解析プログラム
US11712219B2 (en) Ultrasonic wave diagnostic apparatus, medical information processing apparatus, and computer program product
US11678858B2 (en) Ultrasonic diagnostic apparatus and method for controlling ultrasonic scan using ECG gating
JP2013236973A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2022158712A (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP7366829B2 (ja) 装置及びプログラム
JP7249855B2 (ja) 超音波診断装置、医用画像処理装置、及び超音波スキャン制御プログラム
JP5847237B2 (ja) 超音波診断装置及び超音波画像処理装置
JP7277345B2 (ja) 画像処理装置及び画像処理プログラム
JP7134660B2 (ja) 超音波診断装置、医用画像処理装置、及び超音波画像表示プログラム
JP2024017178A (ja) 超音波診断装置、医用画像処理装置及びプログラム
JP6502070B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
JP2021164533A (ja) 装置及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6622018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150