JP6987207B2 - ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断 - Google Patents

ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断 Download PDF

Info

Publication number
JP6987207B2
JP6987207B2 JP2020201477A JP2020201477A JP6987207B2 JP 6987207 B2 JP6987207 B2 JP 6987207B2 JP 2020201477 A JP2020201477 A JP 2020201477A JP 2020201477 A JP2020201477 A JP 2020201477A JP 6987207 B2 JP6987207 B2 JP 6987207B2
Authority
JP
Japan
Prior art keywords
boundary
user
diagnostic imaging
imaging system
ultrasonic diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020201477A
Other languages
English (en)
Other versions
JP2021053413A (ja
Inventor
イリーナ ワッチター‐ステール
フランク マイケル ウェーバー
クリスティアン バーガー
ロバート ジョセフ シュナイダー
デイヴィッド プラター
スコット ホランド セトルマイアー
マイケル ダニエル カーディナル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021053413A publication Critical patent/JP2021053413A/ja
Application granted granted Critical
Publication of JP6987207B2 publication Critical patent/JP6987207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • A61B8/543Control of the diagnostic device involving acquisition triggered by a physiological signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、医療診断超音波システムに関し、特に、心室の境界を識別するためのユーザ制御を用いて心筋境界をセグメント化するための心臓モデルの使用に関する。
超音波イメージングは、駆出率及び心拍出量などのパラメータの測定によって心臓の性能を診断するために日常的に使用されている。このような測定は、心臓サイクルの様々なフェーズでの心室内の血液量が、心室の2次元又は3次元画像に描写されることを必要とする。通常、左心室のような心室のボリュームの測定は、心室の心内膜境界をトレースするユーザハンドによって生成されている。このようなトレースは、トレースをどこに配置するかを決定する際に異なるユーザが利用する基準の違いにより、大きな変動の影響を受ける。米国特許第6,491,636号(Chenal他)に記載の自動化境界トレース技法のような自動化方法がこの境界トレースを自動化しようとするために開発されている。この技法では、僧帽弁平面角及び心室の頂点を含む、心室の解剖学的ランドマークが配置される。それから、複数の標準的な専門家により検証された心内膜形状がこれらのランドマークにフィッティングされる。自動的に描かれた境界はそれから、ゴムバンドで手動で調整されることができ、これにより、ユーザは境界上の制御ポイントを動かし、心内膜上の最終的な位置を調整する。この処理は、収縮末期及び拡張末期心臓フェーズで撮影された画像に対して行われる。 2つの境界は、駆出率又は心拍出量を推定するために比較又は減算されることができる。例えば、米国特許第2009/0136109号は、(心筋の内面を規定する)識別された心内膜境界と(心筋の外面を規定する)識別された心外膜境界とを比較することによって心筋厚さボリュームを生成することを開示する。米国特許第2009/0136109号の心筋厚さボリュームは中空であり、内部の空洞空間は心室のボリュームである。心臓の各収縮で排出される心室ボリュームの割合を測定するために、排出分率は、自動化シンプソンアルゴリズム(ディスクのルール)のような十分に確立された方法によって推定されることができる。
しかしながら、自動化された画像解析法は、すべてのユーザに許容される心室の描写を必ずしも生成しない。この成功の欠如は、何れのユーザも境界が位置されるべきと考える境界を一貫して位置させる、大部分自動化された方法の不能による。この不十分な性能の多くは、どこに真の境界があるかを特定する解剖学的ランドマークが何であるかについての、異なるユーザ間の変動に起因する。
本発明の目的は、許容可能な心室境界の位置を描写するための簡単な自動化ツールをユーザに提供することにある。更なる目的は、複数の心筋境界を位置決めすることができる自動化変形可能心臓モデルの使用によってこれを行うことにある。更なる目的は、そのような描写が標準化され、異なるユーザ間の繰り返し可能な結果の比較及び生成をすることができることにある。そのような結果は、臨床医のアプローチを、同一のツールを有する他の臨床医に理解され、伝えられ得る単一の価値に要約する。
本発明の原理によれば、心臓の性能を診断する診断用超音波システム及び方法が記載される。心室の画像が収集され、画像が、心筋の内境界及び外境界の両方、又は代わりに心筋のいくつかの(3+)境界を描写するように設計される変形可能な心臓モデルの使用によってセグメント化される。ユーザがセグメント化境界の一つ、両方、又はいくつかに関連してユーザ所望の心室境界位置を規定することを可能にするユーザ制御が提供される。ユーザ制御は、セグメント化された境界線に対する距離のパーセンテージのような境界を特定するためにユーザが変更する単一の値、単一の自由度を提供する。単一の値は、同じツールの他のユーザと共有されることができ、他のユーザが他の画像と同じ結果を得ることを可能にし、したがって心室境界識別の標準化を可能にする。
本発明の原理に従って構成される超音波診断イメージングシステムをブロック図の形態で示す。 本発明の原理による図1のQLQBプロセッサの境界検出の詳細を示すブロック図である。 境界検出に有用な左心室のランドマークを示す。 境界検出に有用な左心室の他のランドマークを示す。 自動境界検出に使用される専門家により検証された心内膜境界形状を示す。 自動境界検出に使用される専門家により検証された他の心内膜境界形状を示す。 自動境界検出に使用される専門家により検証された他の心内膜境界形状を示す。 左心室の画像における心外膜及び心内膜境界の描写を示す。 左心室の画像における心外膜及び心内膜境界の他の描写を示す。 本発明による心臓境界を見つけるための変形可能な心臓モデルの動作のフローチャートである。 心内膜境界及び小柱心筋と緻密心筋との間のインタフェースがトレースされる、拡張末期及び収縮末期における左心室の心臓画像である。 心内膜境界及び小柱心筋と緻密心筋との間のインタフェースがトレースされる、拡張末期及び収縮末期における左心室の他の心臓画像である。 図7bに描写される2つの心臓境界の間の距離の0%及び100%にユーザ規定の境界が位置される図7bの収縮期超音波画像を示す。 図7bに描写される2つの心臓境界の間の距離の0%及び100%にユーザ規定の境界が位置される図7bの他の収縮期超音波画像を示す。 心筋トレースから緻密心筋インタフェースに向かって40%の距離に配置されるユーザ規定境界を備える心臓内画像を示す。 ユーザ規定境界が、心筋のいくつかの境界に対して配置される、本発明の実施形態による単一自由度のユーザ制御を示す。 ディスクのルールを使用してボリューム測定されるバイプレーン画像からのユーザ規定心室を示す。 ボリューム測定に備える3次元超音波画像からのユーザ規定心室ワイヤフレームモデルを示す。
最初に図1を参照すると、本発明の原理に従って構成される超音波診断イメージングシステム10がブロック図形式で示される。超音波プローブ12は、超音波パルスを送信及び受信する超音波トランスデューサのアレイ14を含む。アレイは、2次元イメージングのための1次元の線形又はカーブドアレイであってもよく、又は3次元の電子ビームステアリングのためのトランスデューサ素子の2次元マトリックスであってもよい。アレイ14内の超音波トランスデューサは超音波エネルギーを送信し、この送信に応答して返されるエコーを受信する。送信周波数制御回路20は、アレイ14内の超音波トランスデューサに結合される送信/受信(「T / R」)スイッチ22を通じて、所望の周波数又は周波数帯域で超音波エネルギーの送信を制御する。トランスデューサアレイが信号を送信するために起動される時間は、内部システムクロック(図示せず)に同期されてもよく、又は心周期波形がECG装置26によって提供される、心周期のような身体機能に同期されてもよい。心拍がECG装置26によって提供される波形によって決定されるそのサイクルの所望の位相にあるとき、プローブは超音波画像を収集するように命令される。これは、例えば、拡張末期及び収縮末期の心臓フェーズにおける収集を可能にする。送信周波数制御回路20によって生成される超音波エネルギーの周波数及び帯域幅は、中央コントローラ28によって生成される制御信号ftrによって制御される。
送信超音波エネルギーからのエコーは、アレイ14におけるトランスデューサによって受信され、トランスデューサは、T / Rスイッチ22を通じて結合され、システムがデジタルビームフォーマを使用するとき、アナログ/デジタル(「A / D」)コンバータ30によってデジタル化されるエコー信号を生成する。アナログビームフォーマが使用されることもできる。 A / D変換器30は、中央コントローラ28によって生成される信号fsによって制御されるサンプリング周波数で受信エコー信号をサンプリングする。サンプリング理論によって要求される所望のサンプリングレートは、受信通過帯域の最高周波数の少なくとも2倍であり、 30乃至40MHzのオーダである。最小要件よりも高いサンプリングレートも望ましい。
アレイ14内の個々のトランスデューサからのエコー信号サンプルは、コヒーレントエコー信号を形成するためにビームフォーマ32によって遅延され、合計される。 2次元アレイによる3Dイメージングの場合、米国特許第6,013,032号(Savord)及び米国特許第6,375,617号(Fraser)に記載されるように、プローブに配置されるマイクロビームフォーマとシステムメインフレームのメインビームフォーマとの間にビームフォーマを区画することが好ましい。デジタルコヒーレントエコー信号はそれから、デジタルフィルタ34によってフィルタリングされる。図示される超音波システムでは、送信周波数及び受信周波数は、ビームフォーマ32が高調波周波数帯域のような送信帯域と異なる周波数の帯域を自由に受信するように個別に制御される。デジタルフィルタ34は、信号をバンドパスフィルタリングし、周波数帯域をより低い周波数帯域又はベースバンド周波数帯域にシフトすることもできる。デジタルフィルタは、例えば、米国特許第5,833,613号に開示されるタイプのフィルタとすることができる。組織からのフィルタリングされるエコー信号は、従来のBモード画像処理のために、デジタルフィルタ34からBモードプロセッサ36に結合される。
マイクロバブルのような造影剤のフィルタリングされるエコー信号は、コントラスト信号プロセッサ38に結合される。心室の血液プール内の造影剤に関連して心内膜壁をより明確に描写するために、又は例えば米国特許第6,692,438号に開示される心筋の微小血管系の灌流研究を行うために造影剤はしばしば使用される。コントラスト信号プロセッサ38は、好ましくは、パルス反転技術によって高調波造影剤から返されるエコーを分離し、複数の異なる変調パルスの送信を画像位置にもたらすエコーは、基本信号成分をキャンセルし、高調波信号成分を強調するように結合される。好ましいパルス反転技術は、例えば米国特許第6,186,950号に記載される。
デジタルフィルタ34からのフィルタリングされるエコー信号は、従来のドップラ処理のためのドップラプロセッサ40にも結合され、速度及び電力ドップラ信号を生成する。これらのプロセッサからの出力信号は、平面画像として表示されることができ、三次元画像メモリ44に記憶される三次元画像のレンダリングのために三次元画像プロセッサ42にも結合される。三次元レンダリングは、ここに参照によって包含される米国特許第5,720,291号並びに米国特許第5,474,073号及び第5,485,842号に記載されるように実行される。
コントラスト信号プロセッサ38、Bモードプロセッサ36、ドップラプロセッサ40からの信号と、3D画像メモリ44からの三次元画像信号とは、多数の超音波画像の各々のための画像データを記憶するシネループ(Cineloop)(登録商標)メモリ48に結合される。画像データは、好ましくは、シネループ(Cineloop)メモリ48にセットで記憶され、画像データの各セットは、それぞれの時間に得られる画像に対応する。グループ内の画像データは、心拍中のそれぞれの時間における組織灌流を示すパラメトリック画像を表示するために使用されることができる。 シネループ(Cineloop)メモリ48に記憶される画像データのグループは、後の解析のために、ディスクドライブ又はデジタルビデオレコーダなどの永久メモリデバイスに記憶することもできる。この実施形態では、画像は、QLABプロセッサ50にも結合され、画像は、心臓の境界を自動的に描写するように解析され、ユーザはそれから、心室の真の境界を最も正確に示すとユーザが考える境界を位置決めすることは可能になる。QLABプロセッサは、画像内の解剖学的構造の様々な態様の定量化測定も行い、米国特許公開第2005/0075567号及びPCT第2005/054898号公報に記載されるような、自動境界トレースによって組織の境界線及び境界を描写する。 QLABプロセッサによって生成されるデータ及び画像はディスプレイ52に表示される。
図2は、本発明の原理による、ユーザ規定される心室境界を描写するためのQLABプロセッサの動作の更なる詳細を示す。心臓超音波画像は、図1のシネループ(Cineloop)メモリ48、3D画像メモリ44、又は画像プロセッサ36,38、又は40のうちの一つであり得る心臓画像データ60のソースによって提供される。心臓画像は、自動境界検出(ABD)プロセッサ62に送られる。ABDプロセッサは、心臓画像内の心室の境界を描写する、全自動又は半自動(ユーザ支援型)画像プロセッサであり、そのいくつかは以下に記載される。典型的な半自動ABDシステムでは、ユーザは、通常、画像に渡ってカーソルを操作する、超音波システム制御パネル70上に配置されるマウス又はトラックボールのようなポインティングデバイス又はワークステーションキーボードを用いて心臓画像の第1のランドマークを示す。図3aの例では、例えば、示される第1のランドマークは、図示されるビューの左心室(LV)の底部における中間僧帽弁輪(MMA)である。ユーザが画像内のMMAをクリックすると、図中の数字「1」によって示される白色制御ポイントのようなグラフィックマーカが現れる。それから、ユーザは、第2のランドマーク、この例では、図3bの番号「2」によって示される第2の白色制御ポイントでマークされる側方僧帽弁輪(LMA)を示す。それから、ABDプロセッサによって生成される線は、左心室のこの縦方向のビューの場合、僧帽弁平面を示す2つの制御ポイントを自動的に接続する。それから、ユーザは、左心室腔内の最上点である心内膜頂点にポインタを移動させる。ユーザが画像内のこの第3のランドマークにポインタを動かすと、図5aに示されるように、左心室心内腔のテンプレート形状はカーソルに動的に追従し、ユーザ操作されるポインタがLV心室の頂点を探すとき歪められ、引き伸ばされる。図5aの白線で示されるように、このテンプレートは、第1及び第2の制御ポイント1及び2によって固定され、ユーザが頂点でポインタをクリックするときに頂点に位置される第3の制御ポイントを通過し、第3の制御ポイント3が位置決めされる。典型的なLV心室境界テンプレートは、図4a、図4b、及び図4cに示される。これらのテンプレートは、多くの患者のLV心内膜境界の多くの専門家のトレースから決定される。図4aのテンプレート80は、多くの通常の患者の典型的な細長いテンプレートである。図4bのテンプレート82は、より球根状であり、うっ血性心不全を有する多くの患者に特徴的である。テンプレート84は第3の可能性であり、より涙状の形をしている。ユーザによって識別される3つの解剖学的ランドマークに最も適合するテンプレートは、ABDプロセッサ62によって選択され、3つのユーザ規定ランドマークにフィッティングされるように歪められる。ランドマークに位置決めされ、フィッティングされると、心内膜テンプレート80,82又は84は、図5aに示されるように、LVの心内膜のおおよそのトレースを提供する。図5aの例では、左心室を二等分する黒線は、それが接近して頂点を示すようにポインタをたどる。この黒線は、僧帽弁平面を示す線の中心と左心室頂点との間に固定されており、基本的に、僧帽弁の中心と空洞の頂点との間の中心線を示している。
ABDプロセッサ62は、LVの心内膜を検出すると、心外膜境界を検出しようとする。これは、図5bに示されており、ユーザがカーソルを動かし、画像内の暗い心筋の外側の頂点4をクリックしている。図5の画像は、LV室が造影剤でいっぱいになるコントラスト強調高調波画像であるが、造影剤はまだ完全に灌流されていないため、この画像におけるより暗い周囲の心筋に対してLV室は非常に明るく見える。ユーザが心外膜頂点をクリックすると、前と同様に、ABDプロセッサは、図4のテンプレートに類似する外側又は心外膜テンプレートを選択し、図5bに示されるように心外膜にそれをフィッティングする。心臓画像は、この場合、グラフィックス生成器66によって生成されるトレースによって画像内に表示される、その心内膜境界(1,3及び2マーカーを結ぶ線)、及び血液プール・心筋インタフェース、その心外膜境界(1,4及び2マーカーを結ぶ線)、心臓の最も外側の表面の両方を有する。
ユーザインタラクションを必要とする半自動操作の代わりに、ABDプロセッサは、前述の米国特許第6,491,636号に記載されるように、全自動でLVの境界を描くことができる。そこで説明されるように、画像プロセッサは、僧帽弁の角及び頂点を自動的に見つけ出し、テンプレートを、自動的に配置されるランドマークに合わせるように構成することができる。しかしながら、心筋境界を自動的に描写するための好ましい技術は、図6に示されるような変形可能な心臓モデルによる。心臓モデルは、診断画像に現れるように心臓にフィッティングされ得る通常の心臓の組織構造の空間的に規定される数学的記述であり、それによってイメージングされる心臓の特定の解剖学的構造は規定される。弁及び心室などの心臓の内部構造を識別するように設計される標準的な心臓モデルとは異なり、本発明の心臓モデルは、内側の心内膜境界及び小柱心筋と緻密心筋との間の外部インタフェースの両方を含む複数の心筋境界を位置させるように設計される。図6のプロセスは90で心臓画像の収集を始める。心臓の位置はそれから、92で一般化されるハフ変換を用いて画像データを処理することにより心臓画像にローカライズされる。この点で心臓のポーズは規定されていないので、画像データ内の心臓の並進、回転及びスケーリングのミスアライメントは、94における心臓モデル全体に対する単一の類似変換の使用によって補正される。次に、96において、モデルは変形され、アフィン変換が心臓の特定の領域に割り当てられる。次に、心臓モデルが98において区分的アフィン変換に関して変形されることを可能にすることによって変形に関する制限が緩和され、形状制限される変形可能モデルは、内側及び外側の心筋境界の両方を含む、心周期の捕捉されるフェーズにおける画像に示されるように、モデルの各部分が実際の患者の解剖学的構造に合うようにサイズ変更され、変形される。従って、モデルは、心臓画像に示される器官境界に正確に適合され、それによって、心内膜の内側を含む境界、小柱心筋と緻密心筋との間のインタフェース、及び心外膜境界が規定される。このような心臓モデルの好ましい実施態様では、これは、通常、明るく照らされる領域と超音波画像における適度な照光領域との間の明確な勾配として現れるので、小柱心筋と緻密心筋との間のインタフェースが最初に見つけられる。心内膜境界は、超音波画像に現れるように、あまり明確に規定されていない内皮層の変数位置を見いだすことができるという要望のために、心臓モデルにおいて一般的にあまり規定されていない。図5a及び図5bのコントラスト強調される心臓画像とは異なり、強調されていない超音波画像は、一般に、心筋を囲む比較的高い強度のエコー組織と心筋の中程度の強度との間に比較的鋭い強度勾配を示し、心筋及び心室の血液プールの低い強度の強度との間に比較的少ない強度勾配を示す。これは、造影剤がない場合に得られた画像を診断する際には、最初に外側心筋境界を識別し、次に内側心内境界を識別することを要求する。境界の座標が見つかった場合、それらは、計算される位置の画像の上にあるトレースを生成するグラフィックス生成器66に伝えられる。
図7は、2つの超音波画像を示し、一つは、拡張末期に輪郭が描かれた心筋の両方の境界(図7a)を備え、他は収縮末期にトレースされる両方の心筋境界(図7b)を備える。緻密心筋境界は黒でトレースされ、心内膜境界はこれらの画像において白でトレースされる。心臓モデルの使用によってこのように識別される両方の境界の場合、ユーザは、真の心室境界が位置されると信じる2つの心筋トレースの間の位置を示すために、制御パネル70上のユーザ制御部を用いて心室境界デリネータ64を制御する。一実施形態では、ユーザは、前に描かれた心内膜境界と、小柱心筋と緻密心筋との間の、前に描かれたインタフェースとの間の距離の選択されるパーセンテージで移される位置に真の心内膜境界を位置決めすることができる単一の変数制御部を操作する。図8aは、単一の変数制御が0%に設定される場合の図7bの収縮末期画像を示し、図8bは、100%に設定されるユーザ制御を伴う同じ画像を示す。この場合、白線境界は、心筋の外側に位置される。ユーザ規定境界の視覚的トレースは、超音波画像の上にオーバーレイするために、図1のシステムのグラフィックス生成器66によっても生成される。ユーザ設定の境界線は、心内膜トレースと直交するように測定される要求位置に位置決めされ、2つの境界の間の距離の要求パーセンテージで位置決めされる。これらの例では、2つの心筋境界トレースは、説明を容易にするために示されていないが、これは一つの可能な実施形態であり、必要に応じて自動的に描かれたトレースが表示されることもできる。
図8cは、心内膜のトレースから心外膜又は緻密心筋のインタフェースに向かって距離の40%になるように、ユーザが(白線で示される)ユーザ位置決め境界を調整した状態を示す。これは、スライダ100をそのスロット102内で左又は右に動かすことによって行われる。スライダがユーザによって操作されると、ユーザ制御ボーダトレース110は、心筋の2つの境界間を前後に移動する。図8cの例では、スライダ100は、マウス又は他のユーザインタフェース制御部によって操作される表示スクリーン上のソフトキー制御として示されるが、スライドは代わりに、従来の超音波システム制御パネル上の物理スライダ、ノブ若しくはスイッチ、又はトラックボールになり得る。ユーザ制御は、ロッカー制御、トグルボタン、リストボックス、又は数値入力ボックスとして実現されることもできる。ユーザが、ほとんどの場合に対して、好ましいパーセンテージを持つ場合、これはデフォルト値として保存されることができる。図8cの例では、数値パーセンテージがスクリーン上に表示され、スライダ100が動かされるにつれて変化する。トレースされる境界の部分の拡大図104が図8dにも示される。ユーザは、左に画像の心筋の点をクリックし、心筋の境界106(外側境界)と108(内側境界)との間に示される、ユーザ操作される境界110とともに、心筋のその部分は拡大表示104に現れる。ユーザがスライダ100を操作すると、境界線110は2つのシステム描画境界106と108との間を移動する。ユーザ操作境界110は、拡大図104 'に示されるように100%を超える範囲を使用して位置決めされることもできる。ユーザ規定位置A(110'A)は、緻密心筋境界106 'を超えて位置決めされ、100%を超える範囲で表されるが、ユーザ規定位置C(110'C)は、心内膜トレース108'内に位置決めされ、負のパーセンテージの範囲で表される。心内膜と緻密心筋境界との間に位置されるユーザ規定位置B(110'B)は、0%と100%との間の範囲で表されることができる。
代わりに、ユーザの便宜のために、図8dに示されるように(右のビュー104 'の下側)、ユーザ操作される(規定される)境界線は、3つのアウトラインに関して移動されることができる。緻密心筋境界106'及び心内膜境界108 'は前の例の場合とそれぞれ同じ100%及び0%のパーセンテージに対応し、更なる境界109 'は200%のパーセンテージ値に対応し、更なる境界109'は心外膜境界に位置される。図示される例では、スライダ100は、緻密心筋境界106 'と心外膜境界109'との間のユーザ規定境界110 'の位置に対応する150%の値に調整される。第3の境界の代替は、(この例では更なる境界として示される)心外膜境界である緻密心筋境界(106 ')を超える他の境界が存在するという事実に対処しており、前記心外膜境界は、超音波画像における顕著で検出可能な勾配によっても特徴付けられ、単一の自由度のスライダを制限するために使用されることができる。この心外膜境界は、境界画像プロセッサによっても識別されることができる。
スライダは単一の自由度制御になる。ユーザは、スライダによって制御される単一の値を単に設定することによって、心室のすべての周りの境界110の位置を設定する。この値は、同じ単一の数値を使用することによって同じ結果を得ることができる他のユーザに伝えることができる。
図9及び図10は、本発明のユーザ規定の心室境界が、心拍出量及び駆出率などのパラメータを測定するためにどのように使用され得るかを示している。図9の斜視図では、同時に収集されるLVのバイプレーン画像の2つのユーザ規定境界210及び212が、僧帽弁平面を表すベース220上に示される。 2つの境界線の頂点マーカは230に示される。この例では、2つのバイプレーン画像境界の画像平面は互いに直交している。 2つの境界線210及び212内のボリュームは、ベース平面220に平行な間隔平面222に数学的に分割される。これらの平面は、a,aに示されるように境界210の左側と交差し、c,cで示されるように、境界210の右側と交差する。これらの平面は、b,bに示されるように、トレース212の近い側と交差する。
楕円は、図9に示されるように、各平面222の4つの交点a、b、c、dに数学的にフィッティングされる。弧及び不規則な形状を含む楕円以外の曲線又はスプラインを使用されることができるが、楕円は、シンプソンの式が楕円で実施されるときに臨床的に検証されるという利点を提供する。平面222及び楕円によって規定されるディスクのボリュームは、LVのボリュームを推定するためにディスクのルールによって計算されることができる。
図10は、3次元心室画像のユーザ規定境界から構成されるワイヤフレームモデルを示す。ワイヤフレームの水平セクション232,234,236は、交差点a、b、c、dにおける垂直境界セクション210,212と交差する境界線である。水平断面は、僧帽弁平面ベース220に平行である。ワイヤフレーム内のボリュームは、ディスク計算の修正ルール又は他のボリューム推定技術によって決定されることができる。収縮末期フェーズ画像のために図9又は図10に示されるように計算されるボリュームは、拡張末期画像のために計算されるボリュームから減算され、それによって除算され、結果は駆出率推定になる。
上記の他の変形は、当業者には容易に思い浮かぶであろう。パーセンテージの定量化の代わりに、ユーザ規定境界は、手動又は自動的にトレースされる境界からの増加された距離で位置決めされることができる。スライダは、ユーザ規定境界の位置が、例えば、基準境界からオフセットされるミリメートルのユーザ規定数になるように、距離で較正されることができる。 2つのトレース境界を使用するのではなく、ユーザ規定境界は、単一の境界トレースを基準に配置されるか、又は2つより多くの境界からの補間オフセットで配置されることができる。

Claims (15)

  1. 超音波画像における心臓の心室の境界を決定する超音波診断イメージングシステムであって、
    心臓画像データのソースと、
    前記心臓画像データに応答する境界検出プロセッサであって、前記画像データにおける心筋の少なくとも内側及び外側の境界を識別するように構成される変形可能な心臓モデルを有する、境界検出プロセッサと、
    ユーザが、前記識別される内側及び外側境界に関して、心室のユーザ規定境界を示すことを可能にするように構成されるユーザ制御部と、
    前記ユーザ制御部及び前記境界検出プロセッサに結合される心室境界デリネータであって、前記心室境界デリネータは、前記境界検出プロセッサによって識別される前記境界の少なくとも一つに関して前記画像データにおいて前記ユーザ規定心室境界を位置させるように構成される、心室境界デリネータと
    を有
    前記心臓モデルは、内側の心内膜境界及び小柱心筋と緻密心筋との間の外部インタフェースの両方を含む複数の心筋境界を位置させるように設計される、
    超音波診断イメージングシステム。
  2. 前記ユーザ制御部は、前記ユーザ規定心室境界の位置のための単一の自由度変数を調整するように更に構成される、請求項1に記載の超音波診断イメージングシステム。
  3. 前記内側境界は、心内膜又は心筋・血液プールインタフェースを更に有し、
    前記外側境界は、心外膜又は小柱心筋と緻密化心筋との間のインタフェースを更に有する、
    請求項2に記載の超音波診断イメージングシステム。
  4. 前記ユーザ制御部は、スライダ、ノブ、スイッチ、トラックボール、ロッカー制御部、トグルボタン、リストボックス、又は数値入力ボックスを更に有する、請求項2に記載の超音波診断イメージングシステム。
  5. 前記ユーザ制御部は、ソフトキー制御部又は物理的制御部を更に有する、請求項4に記載の超音波診断イメージングシステム。
  6. 前記単一の自由度変数は、パーセンテージ又はミリメートルの一つで較正され、
    前記パーセンテージは、前記内側及び外側境界に対する前記距離に関連する、
    請求項2に記載の超音波診断イメージングシステム。
  7. 前記心臓画像データのソースは、二次元心臓画像を含むメモリデバイスを更に有する、請求項1に記載の超音波診断イメージングシステム。
  8. 前記心臓画像は、前記左心室のビューを含む、請求項7に記載の超音波診断イメージングシステム。
  9. 前記変形可能な心臓モデルは、前記画像データにおける前記心筋の前記外側境界を識別する前に、前記心筋の前記内側境界を識別するように更に構成される、請求項1に記載の超音波診断イメージングシステム。
  10. 前記変形可能な心臓モデルは、前記画像データにおける前記心臓の前記位置を最初にローカライズするように更に構成される、請求項9に記載の超音波診断イメージングシステム。
  11. 前記変形可能な心臓モデルは、前記画像データにおける前記心臓の前記ポーズを決定するように更に構成される、請求項10に記載の超音波診断イメージングシステム。
  12. 前記変形可能な心臓モデルは、アフィン変換に関して変形するように更に構成される、請求項11に記載の超音波診断イメージングシステム。
  13. 前記心臓モデルによって識別される前記境界に結合され、前記内側及び外側心筋境界の表示トレースを生成するように構成されるグラフィックス生成器と、前記心臓画像データのソース及び前記グラフィックス生成器に結合され、トレースされる前記内側及び外側心筋境界とともに心臓画像を表示するディスプレイとを更に有する、請求項1に記載の超音波診断イメージングシステム。
  14. 前記心室境界デリネータに結合され、前記ユーザ規定心室境界の表示トレースを生成するように構成されるグラフィックス発生器と、前記心臓画像データのソース及び前記グラフィックス生成器に結合され、ユーザトレース心室境界とともに心臓画像を表示するディスプレイとを更に有する、請求項1に記載の超音波診断イメージングシステム。
  15. 前記単一の自由度パーセンテージのパーセンテージ範囲は、0%未満、100%超、例えば200%、又はその両方である、請求項6に記載の超音波診断イメージングシステム。
JP2020201477A 2015-03-10 2020-12-04 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断 Active JP6987207B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562130805P 2015-03-10 2015-03-10
US201562130787P 2015-03-10 2015-03-10
US62/130,787 2015-03-10
US62/130,805 2015-03-10
EP15161561 2015-03-30
EP15161561.4 2015-03-30
JP2017545714A JP7091069B2 (ja) 2015-03-10 2016-03-01 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017545714A Division JP7091069B2 (ja) 2015-03-10 2016-03-01 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断

Publications (2)

Publication Number Publication Date
JP2021053413A JP2021053413A (ja) 2021-04-08
JP6987207B2 true JP6987207B2 (ja) 2021-12-22

Family

ID=52875501

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017545714A Active JP7091069B2 (ja) 2015-03-10 2016-03-01 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断
JP2020201477A Active JP6987207B2 (ja) 2015-03-10 2020-12-04 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017545714A Active JP7091069B2 (ja) 2015-03-10 2016-03-01 ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断

Country Status (6)

Country Link
US (2) US10729406B2 (ja)
EP (2) EP4193928A1 (ja)
JP (2) JP7091069B2 (ja)
CN (1) CN107427279B (ja)
RU (1) RU2708792C2 (ja)
WO (1) WO2016142204A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3360486A1 (en) 2017-02-13 2018-08-15 Koninklijke Philips N.V. Ultrasound evaluation of anatomical features
EP3376472A1 (en) 2017-03-13 2018-09-19 Koninklijke Philips N.V. Anatomical measurements from ultrasound data
TW201923776A (zh) * 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
EP3549529A1 (en) 2018-04-05 2019-10-09 Koninklijke Philips N.V. Ultrasound imaging system and method
US11200738B2 (en) * 2020-02-07 2021-12-14 Purdue Research Foundation Four-dimensional imaging system for cardiovascular dynamics
JP7403884B2 (ja) * 2020-02-26 2023-12-25 ブライト クリニカル リサーチ リミテッド オン・ゴーイング・クリニカル・トライアルを動的にモニタリングおよびガイドするためのレーダーシステム
US20210369243A1 (en) * 2020-05-29 2021-12-02 Dyad Medical, Inc. Systems and methods for estimating cardiac function and providing cardiac diagnoses
WO2022182180A1 (ko) * 2021-02-26 2022-09-01 주식회사 온택트헬스 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치
TWI775351B (zh) * 2021-03-17 2022-08-21 宏碁股份有限公司 估計心室容積的方法
WO2022234742A1 (ja) * 2021-05-06 2022-11-10 富士フイルム株式会社 表示処理装置、方法及びプログラム
EP4137061A1 (en) 2021-08-17 2023-02-22 Koninklijke Philips N.V. Ultrasound imaging for visualization and quantification of mitral regurgitation

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5601084A (en) * 1993-06-23 1997-02-11 University Of Washington Determining cardiac wall thickness and motion by imaging and three-dimensional modeling
US5474073A (en) 1994-11-22 1995-12-12 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic scanning for three dimensional display
US5485842A (en) 1994-11-30 1996-01-23 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic scan conversion for three dimensional display processing
US5833613A (en) 1996-09-27 1998-11-10 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic imaging with contrast agents
US5720291A (en) 1996-03-22 1998-02-24 Advanced Technology Laboratories, Inc. Three dimensional medical ultrasonic diagnostic image of tissue texture and vasculature
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US6186950B1 (en) 1999-11-04 2001-02-13 Atl Ultrasound Ultrasonic pulse inversion harmonic separation with reduced motional effects
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
US6491636B2 (en) 2000-12-07 2002-12-10 Koninklijke Philips Electronics N.V. Automated border detection in ultrasonic diagnostic images
US7526112B2 (en) * 2001-04-30 2009-04-28 Chase Medical, L.P. System and method for facilitating cardiac intervention
US20050075567A1 (en) 2001-12-18 2005-04-07 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic imaging system with assisted border tracing
US6692438B2 (en) 2001-12-18 2004-02-17 Koninklijke Philips Electronics Nv Ultrasonic imaging system and method for displaying tissue perfusion and other parameters varying with time
US8636631B2 (en) * 2002-08-15 2014-01-28 Alan L Carlson Arrangements for exercising via semispherical motion
EP1593087A4 (en) * 2003-01-30 2006-10-04 Chase Medical Lp METHOD AND SYSTEM FOR IMAGE PROCESSING AND CONTOUR EVALUATION
US7347821B2 (en) * 2003-06-26 2008-03-25 Koninklijke Philips Electronics N.V. Adaptive processing of contrast enhanced ultrasonic diagnostic images
CN100507947C (zh) * 2003-11-19 2009-07-01 美国西门子医疗解决公司 利用外观和形状来检测和匹配解剖结构的系统和方法
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
JP4682149B2 (ja) 2003-12-03 2011-05-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血流及び潅流パラメータを同時に表示するための超音波イメージングシステムおよび方法
CN1302751C (zh) * 2004-07-09 2007-03-07 清华大学 一种基于追踪心肌边缘测定心肌供血状况的方法
CN100361626C (zh) * 2005-02-03 2008-01-16 四川大学 分布式心脏图像多维重建与交互可视化方法
WO2006114734A1 (en) * 2005-04-25 2006-11-02 Koninklijke Philips Electronics, N.V. Targeted additive gain tool for processing ultrasound images
CN101304692B (zh) * 2005-11-08 2012-11-07 皇家飞利浦电子股份有限公司 心肌同步的超声诊断
JP2009530008A (ja) * 2006-03-20 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 心筋の性能の定量化による超音波診断
JP2009538172A (ja) * 2006-05-25 2009-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 心室壁濃厚部の定量化及び表示
JP5100084B2 (ja) * 2006-10-26 2012-12-19 株式会社東芝 超音波診断装置、画像処理装置、及び画像処理プログラム
CN100448409C (zh) * 2007-02-01 2009-01-07 上海交通大学 三维超声心动图四腔切面图像自动检测的方法
CN101527047B (zh) * 2008-03-05 2013-02-13 深圳迈瑞生物医疗电子股份有限公司 使用超声图像检测组织边界的方法与装置
JP5764058B2 (ja) * 2008-07-10 2015-08-12 コーニンクレッカ フィリップス エヌ ヴェ 心臓の同時性及び生存能力の超音波評価
JP5454868B2 (ja) * 2009-05-08 2014-03-26 株式会社東芝 医用画像処理装置、超音波診断装置および医用画像診断装置
CN103068318B (zh) * 2010-08-26 2016-02-03 皇家飞利浦电子股份有限公司 自动的三维主动脉根测量和建模
US10321892B2 (en) * 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
RU2525510C1 (ru) * 2013-02-21 2014-08-20 Федеральное государственное бюджетное учреждение "Научно-исследовательский институт кардиологии" Сибирского отделения Российской академии медицинских наук Способ диагностики ишемической болезни сердца методом стресс-эхокардиографии с комбинированной изометрической и психоэмоциональной нагрузкой
EP3005310B1 (en) 2013-06-07 2021-01-13 Koninklijke Philips N.V. Planning an implantation of a cardiac implant
US10296707B2 (en) * 2014-04-10 2019-05-21 Siemens Healthcare Gmbh System and method for patient-specific image-based guidance of cardiac arrhythmia therapies
US9589379B2 (en) * 2014-06-24 2017-03-07 Siemens Healthcare Gmbh System and method for visualization of cardiac changes under various pacing conditions

Also Published As

Publication number Publication date
US20180161009A1 (en) 2018-06-14
WO2016142204A1 (en) 2016-09-15
US10729406B2 (en) 2020-08-04
JP2018507730A (ja) 2018-03-22
EP3267897B1 (en) 2023-08-16
CN107427279B (zh) 2022-07-29
RU2017135209A (ru) 2019-04-05
JP7091069B2 (ja) 2022-06-27
EP4193928A1 (en) 2023-06-14
US11510651B2 (en) 2022-11-29
US20200315582A1 (en) 2020-10-08
RU2017135209A3 (ja) 2019-07-17
EP3267897A1 (en) 2018-01-17
RU2708792C2 (ru) 2019-12-11
CN107427279A (zh) 2017-12-01
JP2021053413A (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6987207B2 (ja) ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断
JP4719680B2 (ja) 超音波による心臓ボリューム数量化方法
KR102269467B1 (ko) 의료 진단 이미징에서의 측정 포인트 결정
US8144956B2 (en) Ultrasonic diagnosis by quantification of myocardial performance
US20060058675A1 (en) Three dimensional atrium-ventricle plane detection
US20040249282A1 (en) System and method for extracting information based on ultrasound-located landmarks
EP2433567A1 (en) Medical image diagnosis device and region-of-interest setting method therefor
US20020072672A1 (en) Analysis of cardiac performance using ultrasonic diagnostic images
US20060004291A1 (en) Methods and apparatus for visualization of quantitative data on a model
JP7375140B2 (ja) 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
US20180192987A1 (en) Ultrasound systems and methods for automatic determination of heart chamber characteristics
EP3267896B1 (en) Ultrasonic diagnosis of cardiac performance by single degree of freedom chamber segmentation
JP7132996B2 (ja) 単一自由度の心腔セグメント化による心臓性能の超音波診断
JP6740051B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
CN112336378B (zh) 一种用于动物超声诊断的m型超声心动图处理方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211130

R150 Certificate of patent or registration of utility model

Ref document number: 6987207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150