JP2021504059A - 医療画像シーケンスに基づくプラーク安定性指標の高速計算方法及びシステム - Google Patents
医療画像シーケンスに基づくプラーク安定性指標の高速計算方法及びシステム Download PDFInfo
- Publication number
- JP2021504059A JP2021504059A JP2020529468A JP2020529468A JP2021504059A JP 2021504059 A JP2021504059 A JP 2021504059A JP 2020529468 A JP2020529468 A JP 2020529468A JP 2020529468 A JP2020529468 A JP 2020529468A JP 2021504059 A JP2021504059 A JP 2021504059A
- Authority
- JP
- Japan
- Prior art keywords
- lumen
- image
- module
- segment
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 46
- 230000002792 vascular Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000006073 displacement reaction Methods 0.000 claims abstract description 26
- 238000012800 visualization Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 77
- 210000004204 blood vessel Anatomy 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 35
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 20
- 230000036262 stenosis Effects 0.000 claims description 20
- 208000037804 stenosis Diseases 0.000 claims description 20
- 238000002059 diagnostic imaging Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002966 stenotic effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 206010057469 Vascular stenosis Diseases 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract 1
- 230000003902 lesion Effects 0.000 description 9
- 210000004351 coronary vessel Anatomy 0.000 description 7
- 230000000737 periodic effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002586 coronary angiography Methods 0.000 description 3
- 238000002608 intravascular ultrasound Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 125000003473 lipid group Chemical group 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010015866 Extravasation Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003017 ductus arteriosus Anatomy 0.000 description 1
- 230000036251 extravasation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 210000002254 renal artery Anatomy 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本発明は、医療画像シーケンスに基づくプラーク安定性指標の高速計算方法及びシステムを提供し、該システムは、画像収集モジュール及び画像受信モジュールと、画像処理モジュールと、有限要素計算モジュールと、結果可視化モジュールとを備える。画像収集モジュール及び画像受信モジュールは、動的な２次元血管画像シーケンスの収集、受信及び伝送に用いられ、画像処理モジュールは、２次元画像によるリアルタイムな動脈変形の動的情報に基づいて、ローカル特徴又はグローバル画像のレジストレーションを行って、空間的変換の変位場関数を取得することに用いられ、有限要素計算モジュールは、上記変位場関数を用いて、計算により経時的に変化する血管内腔径シーケンス、輪郭変形パラメータ及び力学的指標を取得する。本発明は、従来の医療画像の機能を基に、経時的に変化する内腔径シーケンスパラメータや実際の内腔輪郭線形ひずみなどの情報を２次元画像に直接追加して、プラーク安定性の評価に用いることによって、計算の複雑さを大幅に低減させ、パラメータの計算速度を顕著に向上させる。【選択図】図１
Description
本発明は、医療機器の分野に適用され、特に、医療画像シーケンスに基づいて、２次元血管内腔の変形挙動、即ち、経時的に変化する内腔幾何学的形態及び境界輪郭歪みのパラメータを正確、迅速且つ非侵襲的に計算する方法及びシステムに関する。
現在、臨床的によく使用されている血管プラーク評価には、主に血管内超音波、光干渉断層撮影、Ｘ線造影、ＣＴ造影などのイメージング方式を用いて２次元内腔の狭窄度、プラークのサイズや位置などの情報を決定する。ただし、多くの研究から明らかなように、プラークの形態学的指標は、その高破裂リスクと直接の関係がなく、たとえば、冠状動脈の径狭窄率が高いほど、プラーク破裂の発生率が高いわけではない。動脈管壁が、腔内の脈圧、周囲の軟部組織束縛及び（又は）心筋の周期的な収縮拡張などの要因の作用により周期的に変形する。その結果、ある時刻には、動脈の形態学的指標の結果に一定の変動性や周期性が生じる。
血管の管壁変形を有する医療画像シーケンスに基づく従来の技術方法及び発明特許は、さまざまな医療画像源、さまざまな空間次元やさまざまな計算方法などによって、血管の管壁の変形特性を評価しているが、多くの制限性や不足があり、さらに、悪い操作性によって臨床的に適用できない場合もある。
特許文献ＣＮ１０１４７４０８２Ｂには、有限要素変形理論に基づく血管壁弾性の分析方法が開示されており、血管内超音波（Ｉｎｔｒａｖａｓｃ ｕｌａｒｕｌｔｒａｓｏｕｎｄ,ＩＶＵＳ）画像中の血管壁の一定の圧力でのひずみ特徴値を計算することによってその弾性の特性を分析する。主に超音波プローブを血管腔内のある位置に滞在させることで、複数の心拍周期の画像を収集し、テンプレートマッチング法によって原画像中のマーク点にマッチングする対応点を検索して、有限要素法によって血管壁の弾性を分割して計算する。しかしながら、超音波に基づくドップラー原理と生体組織弾性イメージングを組み合わせた方法では、超音波そのものの収集には時間がかかるため、比較的短い心拍周期において比較的高い頻度で経時的に変化する血管について画像を収集することが困難であり、このため、冠状動脈範囲での適用に向いていない。
特許文献ＣＮ１０６９７４６２２Ａには、光干渉断層撮影（ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ,ＯＣＴ）に基づくプラーク安定性の測定方法及びシステムが開示されており、繊維状キャップ情報、マクロファージ情報や脂質コア情報などを含む冠状動脈画像に対して画像処理及び分析を行う。主にプローブを血管腔内のある位置に滞在させることで複数の心拍周期の画像結果を収集して、脂質コアのサイズ及びプラークのストレス情報を取得し、次に、プラークの病理学的指標と組み合わせてプラークの安定性を総合的に分析する。しかし、プローブが滞在する位置を制御しながら収集した複数のフレームの画像であっても、前後フレームの画像には、心拍周期内の血管の大きな縦方向伸縮による縦方向での変動が存在する恐れがある。加えて、血管腔内の画像に類似してある位置での血管の横断面画像を収集し、血管の縦方向における複数の狭窄病変（たとえば、びまん性病変、細長い病変など）の場合は、異なる位置で複数回収集して評価する必要があり、それによって、操作が複雑になる。
特許文献ＣＮ１０６５７０３１３Ａには、４次元血管変形挙動及び管壁の体内ストレスを取得する方法及びシステムが開示されており、該方法は、冠状動脈造影画像の３次元再構成技術と離散近似理論とを組み合わせて、心拍周期内の血管壁の大きな変形挙動をシミュレーションして計算し、管壁の体内ストレスを取得し、血管壁の運動学的特徴を定量的に説明し、３次元プラークの安定性評価に用いる可能になる。しかし、複数の時刻での３次元再構成による体内４次元血管変形挙動によれば、作業量が大きく、実現が複雑であり、そして、異なる時刻で行われる複数回の３次元再構成に起因して空間的な変換が生じるので、一定の誤差が発生したり、複数回の誤差が累積したりするなどの欠点がある。
さらに、今のところ、医療画像シーケンスに基づいて２次元内腔変形パラメータを取得し、プラーク安定性を評価するための高速計算方法及びシステムは、まだなかった。
以上に鑑み、本発明は、医療画像シーケンスに基づく動脈プラーク安定性指標の高速計算方法及びシステムを提供し、血管の周期的変形を持つ動的医療画像シーケンスに基づいて、２次元平面内での動脈内腔輪郭の時変情報を利用して、医療画像処理技術及び有限要素方法と組み合わせて、２次元病変内腔（又はプラークの浅い壁）のリアルタイムな動的変形特性のパラメータを取得し、さらにプラーク安定性を特徴付けるための指標を決定する。要するには、本発明は、上記情報に基づいて、高効率・高操作性のプラーク安定性評価のための高速計算方法及びシステムを実現することができる。
具体的には、本発明は、以下の技術案を提供する。
一態様によれば、本発明は、医療画像シーケンスに基づくプラーク安定性指標の高速計算システムであって、
主に画像を収集して、動的画像シーケンスを生成するための画像収集モジュールと、
画像収集モジュールにより生成された画像シーケンスを受信して、画像処理モジュールに伝送するための画像受信モジュールと、
受信した画像シーケンスを処理する画像処理モジュールであって、内腔輪郭の分割及びレジストレーションを含み、内腔輪郭の分割には、正常内腔及び狭窄内腔の高速分割を含み、内腔のレジストレーションとは、具体的には、異なる時刻で、同一血管セグメントの特徴空間のレジストレーションによって変位場関数を生成することである画像処理モジュールと、
２次元血管内腔に対して、上記変位場関数を用いて、有限要素計算を行う有限要素計算モジュールであって、ある時刻での血管内腔を初期状態として選定して、当該モジュールの計算によって、内腔径シーケンス又は面積が経時的に変化する関数、内腔輪郭線形ひずみを含む、経時的に変化するパラメータ、及びクラウドマップを取得する有限要素計算モジュールと、
を含む医療画像シーケンスに基づくプラーク安定性指標の高速計算システムを提供する。
一態様によれば、本発明は、医療画像シーケンスに基づくプラーク安定性指標の高速計算システムであって、
主に画像を収集して、動的画像シーケンスを生成するための画像収集モジュールと、
画像収集モジュールにより生成された画像シーケンスを受信して、画像処理モジュールに伝送するための画像受信モジュールと、
受信した画像シーケンスを処理する画像処理モジュールであって、内腔輪郭の分割及びレジストレーションを含み、内腔輪郭の分割には、正常内腔及び狭窄内腔の高速分割を含み、内腔のレジストレーションとは、具体的には、異なる時刻で、同一血管セグメントの特徴空間のレジストレーションによって変位場関数を生成することである画像処理モジュールと、
２次元血管内腔に対して、上記変位場関数を用いて、有限要素計算を行う有限要素計算モジュールであって、ある時刻での血管内腔を初期状態として選定して、当該モジュールの計算によって、内腔径シーケンス又は面積が経時的に変化する関数、内腔輪郭線形ひずみを含む、経時的に変化するパラメータ、及びクラウドマップを取得する有限要素計算モジュールと、
を含む医療画像シーケンスに基づくプラーク安定性指標の高速計算システムを提供する。
好ましくは、該システムは、画像処理モジュール及び有限要素計算モジュールによる分析結果及びプラーク安定性の評価指標を表示するための結果可視化モジュールを含む。
好ましくは、前記画像処理モジュールは、更に、
内腔輪郭を高速で分割し、正常内腔セグメント及び狭窄内腔セグメントの位置する領域の輪郭を格付けし、階層的モデリングを行い、格付け化した血管分割モデルを得る画像分割モジュールと、
複数の時刻での血管輪郭に対してレジストレーションを行い、複数の時刻で格付け化された血管分割モデルに対して輪郭特徴又は画像全体のレジストレーションを行い、レジストレーション中に生じた変位場関数を得る画像レジストレーションモジュールと、をサブモジュールとして含む。
内腔輪郭を高速で分割し、正常内腔セグメント及び狭窄内腔セグメントの位置する領域の輪郭を格付けし、階層的モデリングを行い、格付け化した血管分割モデルを得る画像分割モジュールと、
複数の時刻での血管輪郭に対してレジストレーションを行い、複数の時刻で格付け化された血管分割モデルに対して輪郭特徴又は画像全体のレジストレーションを行い、レジストレーション中に生じた変位場関数を得る画像レジストレーションモジュールと、をサブモジュールとして含む。
好ましくは、大量のサンプルデータの有限要素計算結果に基づいて、腔内画像と組み合わせて、プラークの形態学的指標によって、プラーク安定性の相関性を評価して、プラークの安定性程度を有限要素結果のパラメータの範囲に対応付け、最後に、結果可視化モジュールに血管狭窄セグメントの安定性情報を直接表示する。
好ましくは、前記システムにおける画像受信モジュール、画像処理モジュール、有限要素計算モジュール及び結果可視化モジュールが一体に集積されており、画像シーケンスの自動処理、関心領域の半自動分割や結果表示などの機能を実現する。
好ましくは、該システムでは、体内画像処理には、リアルタイムデータ伝送、高速画像処理技術及び簡素化された有限要素計算方法が利用され、それによって、高効率・高操作性のプラーク安定性評価が実現される。
さらに、別の態様によれば、本発明は、下記のステップ１〜ステップ７を含む、医療画像シーケンスに基づくプラーク安定性指標の高速計算方法をさらに提供し、
ステップ１では、関心血管の開始位置と終了位置を特定して、一級セグメントとして定義し、好ましくは、解剖マーク（分岐部位）を関心血管の開始位置と終了位置とし、ここで、冠状動脈を血管の例とするが、それに制限されず、動的周期的変形を持つ血管であれば、適用でき、
ステップ２では、医療画像シーケンスを取得し、変形周期内の前記関心血管のいくつかの特徴時刻を特定し、前記医療画像シーケンスには、複数の周期の血管の完全な画像が含まれ、好ましくは、上記特徴時刻については、血管の変形法則と組み合わせること、又は追加データ情報、たとえば心電図などを利用することで、変形周期内の複数の特徴時刻を特定でき、
ステップ３では、ステップ２における異なる特徴時刻に対応するフレーム画像における、異なる形態の同一血管に対して内腔輪郭分割を行って、狭窄セグメントの関心血管での開始・終了位置を特定して、二級セグメントと定義し、ここで、冠状動脈造影画像を医療画像シーケンスの例とするが、それに制限されず、血管の動的周期的変形を持つ医療画像シーケンスであれば、適用でき、
ステップ４では、前記一級セグメント、二級セグメントのそれぞれに対して、境界輪郭線と組み合わせて、密閉した２次元血管内腔幾何学的モデルを作成して、一級セグメント、二級セグメントの２つの関心領域として決定し、
ステップ５では、異なるフレームの画像中の異なる長さの血管に対して、中心線の長さを基準として正規化処理を行い、正規化した血管の長さに基づいてグリッド同型化離散を行って、２次元血管内腔の有限要素モデルを作成し、まず、一級セグメントに粗レジストレーションを行ってから、二級セグメントに更に精密レジストレーションを行って、次に、レジストレーション結果による変位場関数を取得し、
ステップ６では、ステップ５で取得した２次元血管内腔の有限要素モデルに前記変位場関数を追加して解を求め、周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータ及びクラウドマップを取得し、
ステップ７では、ステップ６における周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータに基づいて、プラーク安定性のサンプルデータと組み合わせて、相関分析を行って、プラーク安定性の結果を算出する。
ステップ１では、関心血管の開始位置と終了位置を特定して、一級セグメントとして定義し、好ましくは、解剖マーク（分岐部位）を関心血管の開始位置と終了位置とし、ここで、冠状動脈を血管の例とするが、それに制限されず、動的周期的変形を持つ血管であれば、適用でき、
ステップ２では、医療画像シーケンスを取得し、変形周期内の前記関心血管のいくつかの特徴時刻を特定し、前記医療画像シーケンスには、複数の周期の血管の完全な画像が含まれ、好ましくは、上記特徴時刻については、血管の変形法則と組み合わせること、又は追加データ情報、たとえば心電図などを利用することで、変形周期内の複数の特徴時刻を特定でき、
ステップ３では、ステップ２における異なる特徴時刻に対応するフレーム画像における、異なる形態の同一血管に対して内腔輪郭分割を行って、狭窄セグメントの関心血管での開始・終了位置を特定して、二級セグメントと定義し、ここで、冠状動脈造影画像を医療画像シーケンスの例とするが、それに制限されず、血管の動的周期的変形を持つ医療画像シーケンスであれば、適用でき、
ステップ４では、前記一級セグメント、二級セグメントのそれぞれに対して、境界輪郭線と組み合わせて、密閉した２次元血管内腔幾何学的モデルを作成して、一級セグメント、二級セグメントの２つの関心領域として決定し、
ステップ５では、異なるフレームの画像中の異なる長さの血管に対して、中心線の長さを基準として正規化処理を行い、正規化した血管の長さに基づいてグリッド同型化離散を行って、２次元血管内腔の有限要素モデルを作成し、まず、一級セグメントに粗レジストレーションを行ってから、二級セグメントに更に精密レジストレーションを行って、次に、レジストレーション結果による変位場関数を取得し、
ステップ６では、ステップ５で取得した２次元血管内腔の有限要素モデルに前記変位場関数を追加して解を求め、周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータ及びクラウドマップを取得し、
ステップ７では、ステップ６における周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータに基づいて、プラーク安定性のサンプルデータと組み合わせて、相関分析を行って、プラーク安定性の結果を算出する。
好ましくは、前記ステップ２では、前記特徴時刻の選び取りについて、、心電図の各ウェーブバンド間の境界点に基づいて特定する、又は
心電図などの補助作業を用いてキー時点を検出できない周期的に変形する動脈、たとえば、腎動脈の場合は、画像シーケンスにおける変形特徴に基づいて、いくつかのキー時点を選定し、周期の長さ及び各隣接する時点の時間間隔を取得し、それによって、特徴時刻を特定する。
心電図などの補助作業を用いてキー時点を検出できない周期的に変形する動脈、たとえば、腎動脈の場合は、画像シーケンスにおける変形特徴に基づいて、いくつかのキー時点を選定し、周期の長さ及び各隣接する時点の時間間隔を取得し、それによって、特徴時刻を特定する。
好ましくは、前記ステップ３は、さらに、
血管に内腔輪郭分割を行うと同時に、血管及び参照内腔の中心線、及び血管の縦方向に沿って且つ中心線に垂直な一連の直径シーケンスを生成するステップ３０１と、
径狭窄百分率のしきい値を設定し、関心血管の血管の中心線に沿う現在位置の径狭窄百分率ＤＳ％（ｘ）を算出し、径狭窄百分率のしきい値要求を満たす血管セグメントの開始・終了位置を二級セグメントの開始・終了位置とするステップ３０２を含み、
ここで、ＤＳ％（ｘ）の計算式は、以下のとおりであり、
式中、Ｄａｃｔは実際内腔径、Ｄｒｅｆは参照内腔径、Ｄｐｒｏ及びＤｄｉｓは、それぞれ近端と遠端の内腔の直径、Ｌｃｅｎは中心線の全長、ｘは現在の断面位置から近端断面までの中心線の長さである。
血管に内腔輪郭分割を行うと同時に、血管及び参照内腔の中心線、及び血管の縦方向に沿って且つ中心線に垂直な一連の直径シーケンスを生成するステップ３０１と、
径狭窄百分率のしきい値を設定し、関心血管の血管の中心線に沿う現在位置の径狭窄百分率ＤＳ％（ｘ）を算出し、径狭窄百分率のしきい値要求を満たす血管セグメントの開始・終了位置を二級セグメントの開始・終了位置とするステップ３０２を含み、
ここで、ＤＳ％（ｘ）の計算式は、以下のとおりであり、
式中、Ｄａｃｔは実際内腔径、Ｄｒｅｆは参照内腔径、Ｄｐｒｏ及びＤｄｉｓは、それぞれ近端と遠端の内腔の直径、Ｌｃｅｎは中心線の全長、ｘは現在の断面位置から近端断面までの中心線の長さである。
好ましくは、前記ステップ４は、
内腔輪郭、内腔中心線及び直径シーケンスを特徴として含む画像レジストレーションの特徴空間を作成することと、
前記正規化後、等量の直径シーケンスを生成することと、をさらに含む。
さらに好ましくは、該正規化には、バイリニア補間法、３次畳み込み補間法などの方法が使用され得る。
内腔輪郭、内腔中心線及び直径シーケンスを特徴として含む画像レジストレーションの特徴空間を作成することと、
前記正規化後、等量の直径シーケンスを生成することと、をさらに含む。
さらに好ましくは、該正規化には、バイリニア補間法、３次畳み込み補間法などの方法が使用され得る。
好ましくは、前記ステップ５は、
予め設定された検索戦略に従って、上記特徴空間に特徴検索を行うことと、
予め設定された類似性測定基準に従って、血管の一級セグメント、二級セグメントの類似性しきい値を設定して、レジストレーションにおける定量的基準とすることと、をさらに含む。
予め設定された検索戦略に従って、上記特徴空間に特徴検索を行うことと、
予め設定された類似性測定基準に従って、血管の一級セグメント、二級セグメントの類似性しきい値を設定して、レジストレーションにおける定量的基準とすることと、をさらに含む。
さらに好ましくは、前記検索戦略は、黄金分割法、勾配降下法などの検索アルゴリズムなどの方法であってもよい。
さらに好ましくは、該類似性測定基準としては、グレースケール差の二乗和、最大相互情報量測度、特徴点のユークリッド距離などの方法を用いて計算できる。
好ましくは、前記ステップ６は、さらに、ステップ６０１とステップ６０２を含み、
ステップ６０１では、ある時点の２次元内腔幾何学的モデルを初期構成として、構造化グリッド離散を行い、
さらに好ましくは、該初期構成は、血管の長さが最短である時刻を初期構成としても良い、グリッド離散後に、たとえばラプラスアルゴリズムを用いてグリッドに平滑化前処理を行っても良い、
ステップ６０２では、有限要素法を画像レジストレーション方法として、狭窄セグメント及び／又は正常セグメントの類似性しきい値を満たすと、完全な血管変形周期をトラバーサするまで、隣接する時刻の間の変位場関数を取得し、血管変形周期内のポイントクラウドの変位経路を形成する。
ステップ６０１では、ある時点の２次元内腔幾何学的モデルを初期構成として、構造化グリッド離散を行い、
さらに好ましくは、該初期構成は、血管の長さが最短である時刻を初期構成としても良い、グリッド離散後に、たとえばラプラスアルゴリズムを用いてグリッドに平滑化前処理を行っても良い、
ステップ６０２では、有限要素法を画像レジストレーション方法として、狭窄セグメント及び／又は正常セグメントの類似性しきい値を満たすと、完全な血管変形周期をトラバーサするまで、隣接する時刻の間の変位場関数を取得し、血管変形周期内のポイントクラウドの変位経路を形成する。
好ましくは、前記ステップ７では、内腔輪郭のひずみパラメータには、最大主ひずみ、最小主ひずみ、平面外ひずみなどが含まれる。さらに好ましくは、極値、平均値、振幅など、動的周期的特徴を反映するパラメータを、二次結果のパラメータとする。
好ましくは、前記ステップ７では、プラーク安定性は下記方式で計算される。
式中、Ａは最小狭窄面積、
は最小狭窄での直径ひずみ平均値、
、
は、それぞれ、内腔輪郭ひずみの最大値及び平均値、Ｃｉ，ｉ＝１，２，３は、フィッティングパラメータ、Ａ０は最小狭窄での参照内腔面積である。
式中、Ａは最小狭窄面積、
は最小狭窄での直径ひずみ平均値、
、
は、それぞれ、内腔輪郭ひずみの最大値及び平均値、Ｃｉ，ｉ＝１，２，３は、フィッティングパラメータ、Ａ０は最小狭窄での参照内腔面積である。
従来の２つの発明技術であるＣＮ１０１４７４０８２Ｂ及びＣＮ１０６９７４６２２Ａに比べて、本発明の技術案は、下記の有益な効果を有する。血管腔内のある位置の変形に基づくのではなく、血管外イメージングによって血管全体の変形をリアルタイムに観察することによって、血管変形をより包括的且つ完全に観察できる。ＣＮ１０６５７０３１３Ａ発明特許に比べて、本発明の技術案は、下記の有益な効果を有する。計算すべき血管の空間的次元を低下させ、２次元イメージング平面内の血管の変形だけを考慮するため、複数の時刻での血管に対する３次元再構成に起因して作業量が大きくなり、効率が低下し、空間的変換の誤差が累積し、適用性や操作性が悪いなどの欠点を回避し、該平面での２次元血管内腔変形だけを考慮するため、計算効率がより高まり、正確性が向上する。さらに、本発明では、従来の医療画像シーケンスにおける血管内腔の変形情報を利用して、２次元画像に高速画像分割、レジストレーション及び計算を直接行い、画像処理技術及び有限要素方法によって内腔径シーケンスの動的変化及び輪郭の変形特性の計算を実現し、それによって、２次元血管内腔の該平面内での変形挙動を迅速、正確かつ効率よく把握できる。一方、本発明では、プラーク安定性の画像特徴と組み合わせて、血管変形動的パラメータで血管全体のプラーク安定性評価を直接反映する新たな方法及びシステムを開発する。したがって、本発明は、従来の医療画像機能を保持するとともに、プラーク安定性をより直接且つ効率的に定量化して評価するという機能を追加し、また、コストを低下させ、時間を節約し、プラーク安定性の測定に対して、斬新な、高効率で実行可能な方法を提供する。
本発明の実施例又は従来技術の技術案をより明瞭に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に説明するが、勿論、以下の説明における図面は、本発明のいくつかの実施例に過ぎず、当業者であれば、創造的な努力を必要とせずに、これら図面に基づいてほかの図面を取得し得る。
以下、図面を参照しながら、本発明の実施例の技術案を詳細に説明する。当業者が理解できるように、下記具体的な実施例又は具体的な実施形態は、具体的な発明内容を解釈するために挙げられる一連の好適形態であり、本発明ではいくつかの又はある具体的な実施例又は実施形態がほかの実施例又は実施形態と関連して実施できない、又は同時に使用できないことが明確的に記載される場合を除き、これら形態は、互いに結合されたり、関連して使用したりすることができる。また、下記具体的な実施例又は実施形態は、最適な設置方式に過ぎず、本発明の特許範囲に対する限定として理解できない。
実施例１
本発明は、医療画像シーケンスに基づくプラーク安定性指標の高速計算方法を提供し、以下、具体例にて、本発明が冠状動脈造影画像シーケンスを医療画像源として用いる場合のプラーク安定性指標の高速計算方法を説明する。本実施例では、取得する前下行冠状動脈のシーケンス画像を例とするが、当業者が理解できるように、ここで一例として特定部位の血管の画像データを用い、この具体的な部位又は血管を本発明の特許範囲に対する限定として理解できない。
本発明は、医療画像シーケンスに基づくプラーク安定性指標の高速計算方法を提供し、以下、具体例にて、本発明が冠状動脈造影画像シーケンスを医療画像源として用いる場合のプラーク安定性指標の高速計算方法を説明する。本実施例では、取得する前下行冠状動脈のシーケンス画像を例とするが、当業者が理解できるように、ここで一例として特定部位の血管の画像データを用い、この具体的な部位又は血管を本発明の特許範囲に対する限定として理解できない。
具体的な一実施例では、該方法は、画像受信モジュールによって前下行冠状動脈の完全な心拍周期を含む２次元造影画像シーケンスを読み取ることと、血管の開始と終了の位置を特定し、一級セグメントとして定義し、好ましくは、上記開始位置と終了位置を前下行冠状動脈の近端、遠端の分岐部位の解剖マークとすることとを含み、
具体的な一実施例では、１つの完全な周期のうちの少なくとも１つの特徴時刻を選定し、たとえば、本実施例では、該方法は、血管の変形法則と組み合わせて、変形周期において、図１に示されるように、拡張末期、収縮末期及び静止末期という３つの特徴時刻を選定することと、上記複数の異なる特徴時刻に対応する画像のフレームにおける異なる形態の血管に対して高速内腔輪郭分割を行い、対応する複数組の輪郭、及び内腔中心線、血管の縦方向径シーケンスを抽出し、それによって、血管中の狭窄セグメントの関心血管における開始・終了位置を特定し、この開始・終了位置の間の血管を二級セグメントとして定義することと、をさらに含む。
具体的な一実施例では、該方法は、異なるフレームでの異なる長さの血管に対して、中心線の長さを基準として、中心線が最短である血管を参照として、異なるフレームでの血管輪郭上の点集合に対して、リサンプリングアルゴリズムにより各フレームでの固定キーポイントの総数を制御して、正規化処理を行うことをさらに含み、
具体的な一実施例では、該方法は、上記正規化された血管の長さに基づいてグリッド同型化離散を行い、２次元血管内腔の有限要素モデルを作成することと、有限要素方法により、狭窄セグメントの輪郭、直径シーケンスなどの重要な情報（ローカル詳細情報）及び２次元血管内腔輪郭（グローバル情報）を特徴空間とするレジストレーションを行い、上記レジストレーション計算にあたって、まず、一級セグメントに粗レジストレーションを行って、次に、二級セグメントに更に精密レジストレーションを行うことと、をさらに含み、ここで、一級セグメントの粗レジストレーションには、画像のグレースケール差の二乗和関数を類似性測度関数とし、
ここで、Ωは、血管の一級セグメントの関心領域、｜Ω｜は該領域内の総画素数、Ｔ（ｘ）は変位場関数（空間的変換関数）、Ｉｆは１つ前のフレームの参照画像、Ｉｍは次のフレームのフローティング画像であり、
二級セグメントの精密レジストレーションには、前述を基にして、特徴点及び直径シーケンスを制御することによって、レジストレーション変換関数を最適化させ、特徴点距離を類似性測度関数とし、
ここで、
及び
は、それぞれ参照画像とフローティング画像中のキーポイントセットであり、変位場関数Ｔは、
であり、
ここで、ａｊは、腔内直径シーケンスのベクトル、ｋは、径方向における総点数である。
ここで、Ωは、血管の一級セグメントの関心領域、｜Ω｜は該領域内の総画素数、Ｔ（ｘ）は変位場関数（空間的変換関数）、Ｉｆは１つ前のフレームの参照画像、Ｉｍは次のフレームのフローティング画像であり、
二級セグメントの精密レジストレーションには、前述を基にして、特徴点及び直径シーケンスを制御することによって、レジストレーション変換関数を最適化させ、特徴点距離を類似性測度関数とし、
ここで、
及び
は、それぞれ参照画像とフローティング画像中のキーポイントセットであり、変位場関数Ｔは、
であり、
ここで、ａｊは、腔内直径シーケンスのベクトル、ｋは、径方向における総点数である。
具体的な一実施例では、該方法は、上記取得した２次元血管内腔の有限要素モデルに前記変位場関数を追加して解を求め、時間に基づいて進む明示的な解法により、図２に示されるように、周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭（病変の浅い壁）のひずみパラメータ及びクラウドマップを取得すること、をさらに含む。
具体的な一実施例では、該方法は、血管に対して高速内腔輪郭分割を行うと同時に、病変血管、参照内腔の中心線及び血管の縦方向に沿って且つ中心線に垂直な一連の直径シーケンスを生成することをさらに含み、
具体的な一実施例では、該方法は、二級セグメント、及び狭窄セグメントの関心血管での開始・終了位置に、血管の中心線に沿う現在位置での径狭窄百分率ＤＳ％（ｘ）を導入することをさらに含み、その計算式は、以下のとおりである。
具体的な一実施例では、該方法は、二級セグメント、及び狭窄セグメントの関心血管での開始・終了位置に、血管の中心線に沿う現在位置での径狭窄百分率ＤＳ％（ｘ）を導入することをさらに含み、その計算式は、以下のとおりである。
式中、Ｄａｃｔは実際内腔径、Ｄｒｅｆは参照内腔径、Ｄｐｒｏ及びＤｄｉｓは、それぞれ近端と遠端の内腔の直径であり、Ｌｃｅｎは中心線の全長、ｘは現在の断面位置から近端の断面までの中心線の長さである。
ここで、しきい値として判断に使用されるＤＳ％（ｘ）は、５０％としてもよく、勿論、判断基準又は異なる領域の血管特性に従って、該判定しきい値をほかの値にしてもよい。
具体的な一実施例では、該方法は、２次元内腔輪郭を後続の画像レジストレーションの特徴空間として、最適化リサンプリングアルゴリズムによって異なる長さの血管を正規化することをさらに含み、
具体的な一実施例では、該方法は、黄金分割検索アルゴリズムを検索戦略として用い、上記特徴空間において特徴検索を迅速かつ効果的に行うことをさらに含み、グレースケール差の二乗和関数及びユークリッド距離などを類似性測定基準としてもよい、ユークリッド距離方式を用いる場合、狭窄セグメントの特徴点のユークリッド距離の和をレジストレーションの指標とし、たとえば、あるユークリッド距離を類似性測定しきい値として、判断基準として用いられてもよい。
具体的な一実施例では、該方法は、黄金分割検索アルゴリズムを検索戦略として用い、上記特徴空間において特徴検索を迅速かつ効果的に行うことをさらに含み、グレースケール差の二乗和関数及びユークリッド距離などを類似性測定基準としてもよい、ユークリッド距離方式を用いる場合、狭窄セグメントの特徴点のユークリッド距離の和をレジストレーションの指標とし、たとえば、あるユークリッド距離を類似性測定しきい値として、判断基準として用いられてもよい。
具体的な一実施例では、該方法は、収縮末期の２次元内腔幾何学的モデルを初期構成として、好ましくは、それについて構造化グリッド離散を行い、ラプラスアルゴリズムによってグリッドに平滑化前処理を行い、好ましくは、反復回数を３回とすることをさらに含み、
具体的な一実施例では、該方法は、２次元画像レジストレーション方法には有限要素法が使用されてもよい、狭窄セグメントのユークリッド距離の類似性測定しきい値を満たす場合、一周期をトラバーサするまで、隣接する時刻の間の変位場関数を取得し、血管変形周期における２次元モデル中のポイントクラウドの変位経路を形成することをさらに含み、
具体的な一実施例では、該方法は、図３に示すように、病変内腔輪郭（浅い壁）のひずみパラメータのうちの平面外ひずみなどの指標を結果示例とすることと、図４に示すように参照内腔の平面外ひずみ指標を別の結果示例とすることをさらに含む。
具体的な一実施例では、該方法は、２次元画像レジストレーション方法には有限要素法が使用されてもよい、狭窄セグメントのユークリッド距離の類似性測定しきい値を満たす場合、一周期をトラバーサするまで、隣接する時刻の間の変位場関数を取得し、血管変形周期における２次元モデル中のポイントクラウドの変位経路を形成することをさらに含み、
具体的な一実施例では、該方法は、図３に示すように、病変内腔輪郭（浅い壁）のひずみパラメータのうちの平面外ひずみなどの指標を結果示例とすることと、図４に示すように参照内腔の平面外ひずみ指標を別の結果示例とすることをさらに含む。
実施例２
別の具体的な実施例では、具体的な適用シナリオとして、本発明のプラーク安定性の判断・評価アルゴリズムを説明する。
別の具体的な実施例では、具体的な適用シナリオとして、本発明のプラーク安定性の判断・評価アルゴリズムを説明する。
本発明の前記方法を用いて、２次元血管の周期的変形を分析して、プラーク安定性指標を取得し、つまり、プラーク安定性を判断するためのデータを算出し、具体的には、該方法は、以下のステップによって実現できる。
一具体的な実施形態では、病変内腔の最小狭窄での直径のひずみパラメータのうちの最大主ひずみを具体的な指標とし、好ましくは、平均値で動的周期的特徴を反映して、二次結果のパラメータとする。勿論、ここでの具体的な指標及び二次結果のパラメータは調整してもよく、たとえば、該ひずみパラメータのうちの最大主ひずみを最小主ひずみ、平面外ひずみなどのパラメータに変更してもよい。
一具体的な実施形態では、病変内腔の輪郭の浅い壁のひずみパラメータのうちの最大主ひずみを具体的な指標とし、好ましくは、極大値、平均値、振幅などを二次結果のパラメータとし、二次結果のパラメータの選択する必要に応じて調整してもよい。
一具体的な実施形態では、大量のサンプル及び大規模なデータベースを利用して分析した後、フィッティングして作成したプラーク安定性Ｓは、関数値であって、
病変最小狭窄面積Ａ、
最小狭窄での直径ひずみの平均値
、
内腔輪郭ひずみの最大εｍａｘ
及び平均値
を変数とした多要素相関数式である。
ここで、ｃｉ，ｉ＝ｌ，２，３は、フィッティングパラメータ、Ａ０は最小狭窄での参照内腔面積である。
病変最小狭窄面積Ａ、
最小狭窄での直径ひずみの平均値
、
内腔輪郭ひずみの最大εｍａｘ
及び平均値
を変数とした多要素相関数式である。
ここで、ｃｉ，ｉ＝ｌ，２，３は、フィッティングパラメータ、Ａ０は最小狭窄での参照内腔面積である。
一具体的な実施形態では、上記多変数の新しい結果をプラーク安定性指標関数の数式に代入し、プラーク安定性指標を得て、Ｓの値の範囲は０−１であり、Ｓ値が小さいほど、プラークが不安定になる。
実施例３
別の具体的な実施例では、本発明は、本発明による医療画像シーケンスに基づくプラーク安定性指標の高速計算システムをさらに提供し、前記システムは、
主に画像を収集して、動的画像シーケンスを生成するための画像収集モジュールと、
画像収集モジュールにより生成された画像シーケンスを受信して、画像処理モジュールに伝送するための画像受信モジュールと、
受信した画像シーケンスを処理する画像処理モジュールであって、内腔輪郭の分割及びレジストレーションを含み、内腔輪郭の分割には、正常内腔及び狭窄内腔の高速分割を含み、内腔のレジストレーションとは、具体的には、異なる時刻で、同一血管セグメントの特徴空間のレジストレーションによって変位場関数を生成することである画像処理モジュールと、
２次元血管内腔に対して、上記変位場関数を用いて、有限要素計算を行って、ある時刻での血管内腔を初期状態として、計算することで、内腔径シーケンス又は面積が経時的に変化する関数、内腔輪郭線形ひずみを含む、経時的に変化するパラメータ、及びクラウドマップを取得するための有限要素計算モジュールと、
画像処理モジュール及び有限要素計算モジュールのそれぞれによる分析結果及びプラーク安定性の評価指標を表示するための結果可視化モジュールを備える。
別の具体的な実施例では、本発明は、本発明による医療画像シーケンスに基づくプラーク安定性指標の高速計算システムをさらに提供し、前記システムは、
主に画像を収集して、動的画像シーケンスを生成するための画像収集モジュールと、
画像収集モジュールにより生成された画像シーケンスを受信して、画像処理モジュールに伝送するための画像受信モジュールと、
受信した画像シーケンスを処理する画像処理モジュールであって、内腔輪郭の分割及びレジストレーションを含み、内腔輪郭の分割には、正常内腔及び狭窄内腔の高速分割を含み、内腔のレジストレーションとは、具体的には、異なる時刻で、同一血管セグメントの特徴空間のレジストレーションによって変位場関数を生成することである画像処理モジュールと、
２次元血管内腔に対して、上記変位場関数を用いて、有限要素計算を行って、ある時刻での血管内腔を初期状態として、計算することで、内腔径シーケンス又は面積が経時的に変化する関数、内腔輪郭線形ひずみを含む、経時的に変化するパラメータ、及びクラウドマップを取得するための有限要素計算モジュールと、
画像処理モジュール及び有限要素計算モジュールのそれぞれによる分析結果及びプラーク安定性の評価指標を表示するための結果可視化モジュールを備える。
好ましくは、前記画像処理モジュールは、更に、
内腔輪郭を高速で分割し、正常内腔セグメント及び狭窄内腔セグメントの位置する領域の輪郭を格付けし、階層的モデリングを行い、格付け化した血管分割モデルを得るための画像分割モジュールと、
複数の時刻での血管輪郭に対してレジストレーションを行い、複数の時刻で格付け化された血管分割モデルに対して輪郭特徴又は画像全体のレジストレーションを行って、レジストレーション中に生じた変位場関数を得るための画像レジストレーションモジュールと、をサブモジュールとして備える。
内腔輪郭を高速で分割し、正常内腔セグメント及び狭窄内腔セグメントの位置する領域の輪郭を格付けし、階層的モデリングを行い、格付け化した血管分割モデルを得るための画像分割モジュールと、
複数の時刻での血管輪郭に対してレジストレーションを行い、複数の時刻で格付け化された血管分割モデルに対して輪郭特徴又は画像全体のレジストレーションを行って、レジストレーション中に生じた変位場関数を得るための画像レジストレーションモジュールと、をサブモジュールとして備える。
好ましくは、大量のサンプルデータの有限要素計算結果に基づいて、腔内画像と組み合わせて、プラークの形態学的指標によって、プラーク安定性の相関性を評価し、プラークの安定性程度を有限要素結果のパラメータの範囲に対応付け、最後に、結果可視化モジュールに血管狭窄セグメントの安定性情報を直接表示する。
好ましくは、前記システムの画像受信モジュール、画像処理モジュール、有限要素計算モジュール及び結果可視化モジュールが一体に集積されており、画像シーケンスの自動処理、関心領域の半自動分割や結果表示などの機能を実現する。
好ましくは、該システムでは、体内画像処理には、リアルタイムデータ伝送、高速画像処理技術及び簡素化された有限要素計算方法が利用され、それによって、高効率・高操作性のプラーク安定性評価が実現される。
好ましくは、有限要素計算モジュールは、上記変位場関数を利用して、有限要素計算を行う。初期時刻の血管内腔を選定して、本モジュールにより、内腔径又は面積が経時的に変化する関数、浅い壁の線形ひずみ（各種の計算ひずみ指標、たとえば、最大主ひずみ、最小主ひずみ、平面外ひずみなどを含む）を含む、経時的に変化するパラメータ及び分布を取得する。
従来技術に比べて、本発明の技術案の有益な効果は、以下のとおりである。従来の医療画像シーケンスにおける血管内腔の変形情報を利用して、医療画像処理技術及び有限要素方法によって内腔形態の動的変化及び輪郭ひずみ特性の計算を実現することによって、プラーク安定性を測定する新たな方法及びシステムを開発する。本発明では、原２次元画像に画像分割及びレジストレーションを直接行うことによって、２次元血管内腔の該平面内での変形挙動を迅速、正確かつ効率的に取得できるだけでなく、血管に対する３次元再構成に起因して効率が低下し、空間的変換の誤差が累積し、適用性や操作性が悪いなどの欠点を回避する。本発明では、従来の医療画像機能を保持するとともに、プラーク安定性をより直接且つ効率的に定量化して評価するという機能を追加し、また、コストを低下させ、時間を節約し、プラーク安定性の評価対して、斬新な、高効率で実行可能な方法を提供する。
当業者が理解できるように、上記実施例の方法のすべて又は一部の工程は、コンピュータプログラムによって関連ハードウェアに実行させることができ、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶でき、該プログラムが実行されると、上記各方法の実施例の工程を含み得る。前記記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）などであってもよい。
以上は、本発明の具体的な実施形態に過ぎず、本発明の特許範囲はそれに制限されず、当業者であれば、本発明で開示された技術的範囲内で、容易に想到し得る変化又は置換は、すべて本発明の保護範囲に含まれる。したがって、本発明の保護範囲は、特許請求の範囲により定められる保護範囲に準じる。
Claims (12)
- 医療画像シーケンスに基づくプラーク安定性指標の高速計算システムであって、
主に画像を収集して、動的画像シーケンスを生成するための画像収集モジュールと、
画像収集モジュールにより生成された画像シーケンスを受信して、画像処理モジュールに伝送するための画像受信モジュールと、
受信した画像シーケンスを処理する画像処理モジュールであって、内腔輪郭の分割及びレジストレーションを含み、内腔輪郭の分割には、正常内腔及び狭窄内腔の高速分割を含み、内腔のレジストレーションとは、具体的には、異なる時刻で、同一血管セグメントの特徴空間のレジストレーションによって変位場関数を生成することである画像処理モジュールと、
２次元血管内腔に対して、前記変位場関数を用いて、有限要素計算を行う有限要素計算モジュールであって、ある時刻での血管内腔を初期状態として選定して、当該モジュールの計算により、内腔径シーケンス又は面積が経時的に変化する関数、内腔輪郭線形ひずみを含む、経時的に変化するパラメータ、及びクラウドマップを取得する有限要素計算モジュールと、
を含むことを特徴とする、医療画像シーケンスに基づくプラーク安定性指標の高速計算システム。 - 請求項１に記載のシステムにおいて、
前記画像処理モジュールは、更に、サブモジュールとして、
内腔輪郭を高速で分割し、正常内腔セグメント及び狭窄内腔セグメントの位置する領域の輪郭を格付けして、階層的モデリングを行って、格付け化した血管分割モデルを得る画像分割モジュールと、
複数の時刻での血管輪郭に対してレジストレーションを行って、複数の時刻で格付け化された血管分割モデルに対して輪郭特徴又は画像全体のレジストレーションを行って、レジストレーション中に生じた変位場関数を得る画像レジストレーションモジュールと、
を含むことを特徴とするシステム。 - 医療画像シーケンスに基づくプラーク安定性指標の高速計算方法であって、
関心血管の開始位置と終了位置を特定して、一級セグメントとして定義するステップ１と、
複数の周期の血管の完全な画像が含まれる医療画像シーケンスを取得し、変形周期内の前記関心血管のいくつかの特徴時刻を特定するステップ２と、
ステップ２における異なる特徴時刻に対応するフレーム画像における、異なる形態の同一血管に対して内腔輪郭分割を行って、狭窄セグメントの関心血管での開始・終了位置を特定して、二級セグメントと定義するステップ３と、
前記一級セグメント、二級セグメントに対して、それぞれ境界輪郭線と組み合わせて、密閉した２次元血管内腔幾何学的モデルを作成して、一級セグメント、二級セグメントの２箇所の関心領域として決定するステップ４と、
異なるフレームの画像中の異なる長さの一級セグメントの血管に対して、中心線の長さを基準として正規化処理を行って、正規化した血管の長さに基づいてグリッド同型化離散を行って、２次元血管内腔の有限要素モデルを作成し、まず、一級セグメントに粗レジストレーションを行ってから、二級セグメントに更に精密レジストレーションを行って、次に、レジストレーション結果による変位場関数を取得するステップ５と、
ステップ５で取得した２次元血管内腔の有限要素モデルに前記変位場関数を追加して解を求め、周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータ及びクラウドマップを取得するステップ６と、
ステップ６における周期的に経時的に変化する内腔幾何学的変形パラメータ、内腔輪郭のひずみパラメータに基づいて、プラーク安定性のサンプルデータと組み合わせて、相関分析を行って、プラーク安定性の結果を算出するステップ７とを
含むこと特徴とする、医療画像シーケンスに基づくプラーク安定性指標の高速計算方法。 - 請求項３に記載の方法において、
前記ステップ２では、前記特徴時刻の選び取りについて、心電図の各ウェーブバンド間の境界点に基づいて特定する、又は
画像シーケンスにおける変形特徴に基づいて、いくつかのキー時点を選定して、周期の長さ及び各隣接する時点の時間間隔を取得することによって、特徴時刻を特定することを特徴とする方法。 - 請求項３に記載の方法において、
前記ステップ３は、さらに、
血管に内腔輪郭分割を行うと同時に、血管及び参照内腔の中心線、及び血管の縦方向に沿って且つ中心線に垂直な一連の直径シーケンスを生成するステップ３０１と、
径狭窄百分率のしきい値を設定して、関心血管の血管の中心線に沿う現在位置の径狭窄百分率ＤＳ％（ｘ）を算出して、径狭窄百分率のしきい値要求を満たす血管セグメントの開始・終了位置を二級セグメントの開始・終了位置とするステップ３０２を含み、
ここで、ＤＳ％（ｘ）の計算式は、以下のとおりであり、
式中、Ｄａｃｔは実際内腔径、Ｄｒｅｆは参照内腔径、Ｄｐｒｏ及びＤｄｉｓは、それぞれ近端と遠端の内腔の直径、Ｌｃｅｎは中心線の全長、ｘは現在の断面位置から近端断面までの中心線の長さである
ことを特徴とする方法。 - 請求項３に記載の方法において、
前記ステップ４は、
内腔輪郭、内腔中心線及び直径シーケンスを特徴として含む画像レジストレーションの特徴空間を作成することと、
前記正規化後、等量の直径シーケンスを生成することと、
をさらに含むことを特徴とする方法。 - 請求項６に記載の方法において、
前記ステップ５は、
予め設定された検索戦略に従って、前記特徴空間に特徴検索を行うことと、
予め設定された類似性測定基準に従って、血管の一級セグメント、二級セグメントの類似性しきい値を設定して、レジストレーションにおける定量的基準とすることと、
をさらに含むことを特徴とする方法。 - 請求項３に記載の方法において、
前記ステップ６は、
ある時点の２次元内腔幾何学的モデルを初期構成として、構造化グリッド離散を行うステップ６０１と、
有限要素法を画像レジストレーション方法として、狭窄セグメント及び／又は正常セグメントの類似性しきい値を満たすと、完全な血管変形周期をトラバーサするまで、隣接する時刻の間の変位場関数を取得して、血管変形周期内のポイントクラウドの変位経路を形成するステップ６０２と、
をさらに含むことを特徴とする方法。 - 請求項３に記載の方法において、
前記ステップ７では、内腔輪郭のひずみパラメータには、最大主ひずみ、最小主ひずみ、平面外ひずみが含まれることを特徴とする方法。 - 請求項３に記載の方法において、
前記ステップ７では、プラーク安定性は下記方式で計算され、
式中、Ａは最小狭窄面積、
は最小狭窄での直径ひずみ平均値、
、
はそれぞれ内腔輪郭ひずみの最大値及び平均値、Ｃｉ，ｉ＝１，２，３はフィッティングパラメータ、Ａ０は最小狭窄での参照内腔面積
であることを特徴とする方法。 - 請求項１に記載のシステムにおいて、
画像処理モジュール及び有限要素計算モジュールによる分析結果及びプラーク安定性の評価指標を表示するための結果可視化モジュールをさらに含むことを特徴とするシステム。 - 請求項３又は６に記載の方法において、
前記システムに採用された正規化方法はバイリニア補間法又は３次畳み込み補間法であり、又は
前記システムに予め設定された検索戦略は黄金分割法又は勾配降下法である
ことを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711282886.3A CN108038848B (zh) | 2017-12-07 | 2017-12-07 | 基于医学影像序列斑块稳定性指标的快速计算方法及系统 |
| CN201711282886.3 | 2017-12-07 | ||
| PCT/CN2018/088861 WO2019109607A1 (zh) | 2017-12-07 | 2018-05-29 | 基于医学影像序列斑块稳定性指标的快速计算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021504059A true JP2021504059A (ja) | 2021-02-15 |
| JP6851672B2 JP6851672B2 (ja) | 2021-03-31 |
Family
ID=62096091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020529468A Active JP6851672B2 (ja) | 2017-12-07 | 2018-05-29 | 医療画像シーケンスに基づくプラーク安定性指標の高速計算方法及びシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11049246B2 (ja) |
| EP (1) | EP3723038B1 (ja) |
| JP (1) | JP6851672B2 (ja) |
| CN (1) | CN108038848B (ja) |
| WO (1) | WO2019109607A1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107949311B (zh) | 2015-04-16 | 2021-04-16 | Gentuity有限责任公司 | 用于神经病学的微光探针 |
| US10631718B2 (en) | 2015-08-31 | 2020-04-28 | Gentuity, Llc | Imaging system includes imaging probe and delivery devices |
| EP3700406A4 (en) | 2017-11-28 | 2021-12-29 | Gentuity LLC | Imaging system |
| CN108038848B (zh) * | 2017-12-07 | 2020-08-11 | 上海交通大学 | 基于医学影像序列斑块稳定性指标的快速计算方法及系统 |
| CN109064442B (zh) * | 2018-06-21 | 2022-07-05 | 上海遥思企业管理中心 | 血管压力差修正方法、装置及设备 |
| CN109872312B (zh) * | 2019-02-15 | 2022-12-20 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置、系统及图像分割方法 |
| CN111681224A (zh) * | 2020-06-09 | 2020-09-18 | 上海联影医疗科技有限公司 | 获取血管参数的方法和装置 |
| CN111920388A (zh) * | 2020-08-25 | 2020-11-13 | 南京沃福曼医疗科技有限公司 | 一种基于oct图像评估斑块负荷的方法 |
| CN112070899B (zh) * | 2020-09-10 | 2024-04-05 | 杭州晟视科技有限公司 | 基于医学图像还原血管零压模型的方法、装置及存储介质 |
| WO2022109907A1 (zh) * | 2020-11-25 | 2022-06-02 | 苏州润迈德医疗科技有限公司 | 精确获取狭窄病变区间的方法及存储介质 |
| CN112509020B (zh) * | 2020-12-07 | 2021-09-28 | 昆山戎影医疗科技有限公司 | 血管外部影像与腔内影像的配准方法、装置及计算设备 |
| CN112674736B (zh) * | 2021-01-08 | 2023-07-25 | 上海博动医疗科技股份有限公司 | 一种用于自动评价血管形变的监测显示方法及系统 |
| CN112686991B (zh) * | 2021-01-08 | 2022-04-05 | 上海博动医疗科技股份有限公司 | 一种采用混合方式重建血管正常管腔形态的方法及系统 |
| CN113066064B (zh) * | 2021-03-29 | 2023-06-06 | 郑州铁路职业技术学院 | 基于人工智能的锥束ct图像生物结构识别及三维重建系统 |
| CN113192004B (zh) * | 2021-04-01 | 2022-01-18 | 温州医科大学附属第二医院（温州医科大学附属育英儿童医院） | 一种基于冠脉多模影像裂纹形成和扩展的简化计算方法与斑块破裂风险量化的评估系统 |
| CN113160265B (zh) * | 2021-05-13 | 2022-07-19 | 四川大学华西医院 | 一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法 |
| CN113592925B (zh) * | 2021-07-16 | 2024-02-06 | 华中科技大学 | 一种术中超声图像及其轮廓实时配准方法及系统 |
| CN113538537B (zh) * | 2021-07-22 | 2023-12-12 | 北京世纪好未来教育科技有限公司 | 图像配准、模型训练方法、装置、设备、服务器及介质 |
| CN113744223A (zh) * | 2021-08-26 | 2021-12-03 | 联影智能医疗科技(北京)有限公司 | 血管的风险评估方法、计算机设备和存储介质 |
| CN113876304A (zh) * | 2021-09-08 | 2022-01-04 | 深圳市中科微光医疗器械技术有限公司 | 一种基于oct图像和造影图像确定ffr的方法及装置 |
| CN114403817B (zh) * | 2022-01-25 | 2023-03-10 | 首都医科大学附属北京安贞医院 | 一种冠脉径向变化测定方法和装置 |
| CN114155243B (zh) * | 2022-02-09 | 2022-07-05 | 天津恒宇医疗科技有限公司 | 基于特征信息的ivus和oct图像融合方法及系统 |
| CN115409880B (zh) * | 2022-08-31 | 2024-03-22 | 深圳前海瑞集科技有限公司 | 工件数据配准方法、装置、电子设备及存储介质 |
| CN116705330B (zh) * | 2023-07-31 | 2023-11-10 | 柏意慧心(杭州)网络科技有限公司 | 确定血管壁的弹性特征的方法、计算设备和介质 |
| CN116898472B (zh) * | 2023-09-14 | 2023-12-12 | 柏意慧心(杭州)网络科技有限公司 | 用于确定主动脉血管直径的方法、计算设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014113264A (ja) * | 2012-12-07 | 2014-06-26 | Toshiba Corp | 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム |
| CN106570313A (zh) * | 2016-10-18 | 2017-04-19 | 上海交通大学 | 获取四维血管变形行为与管壁在体应力的方法及系统 |
| JP2017119151A (ja) * | 2010-08-12 | 2017-07-06 | ハートフロー， インコーポレイテッド | 患者固有の血流のモデリングのための方法およびシステム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2449080A1 (en) * | 2003-11-13 | 2005-05-13 | Centre Hospitalier De L'universite De Montreal - Chum | Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method |
| US7805177B2 (en) * | 2004-06-23 | 2010-09-28 | M2S, Inc. | Method for determining the risk of rupture of a blood vessel |
| US11064964B2 (en) * | 2007-03-08 | 2021-07-20 | Sync-Rx, Ltd | Determining a characteristic of a lumen by measuring velocity of a contrast agent |
| CN101474082B (zh) * | 2009-01-16 | 2011-06-08 | 北京工业大学 | 基于有限元形变理论的血管壁弹性分析方法 |
| JP6134789B2 (ja) * | 2012-06-26 | 2017-05-24 | シンク−アールエックス，リミティド | 管腔器官における流れに関連する画像処理 |
| US10631718B2 (en) * | 2015-08-31 | 2020-04-28 | Gentuity, Llc | Imaging system includes imaging probe and delivery devices |
| CN106974622B (zh) | 2017-04-06 | 2021-08-24 | 上海交通大学 | 基于光学相干断层成像的斑块稳定性测量系统 |
| CN108038848B (zh) * | 2017-12-07 | 2020-08-11 | 上海交通大学 | 基于医学影像序列斑块稳定性指标的快速计算方法及系统 |
-
2017
- 2017-12-07 CN CN201711282886.3A patent/CN108038848B/zh active Active
-
2018
- 2018-05-29 EP EP18885666.0A patent/EP3723038B1/en active Active
- 2018-05-29 US US16/768,545 patent/US11049246B2/en active Active
- 2018-05-29 WO PCT/CN2018/088861 patent/WO2019109607A1/zh unknown
- 2018-05-29 JP JP2020529468A patent/JP6851672B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017119151A (ja) * | 2010-08-12 | 2017-07-06 | ハートフロー， インコーポレイテッド | 患者固有の血流のモデリングのための方法およびシステム |
| JP2014113264A (ja) * | 2012-12-07 | 2014-06-26 | Toshiba Corp | 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム |
| CN106570313A (zh) * | 2016-10-18 | 2017-04-19 | 上海交通大学 | 获取四维血管变形行为与管壁在体应力的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3723038B1 (en) | 2022-08-10 |
| EP3723038A4 (en) | 2021-09-15 |
| WO2019109607A1 (zh) | 2019-06-13 |
| CN108038848A (zh) | 2018-05-15 |
| US20200320688A1 (en) | 2020-10-08 |
| EP3723038A1 (en) | 2020-10-14 |
| CN108038848B (zh) | 2020-08-11 |
| JP6851672B2 (ja) | 2021-03-31 |
| US11049246B2 (en) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6851672B2 (ja) | 医療画像シーケンスに基づくプラーク安定性指標の高速計算方法及びシステム | |
| US10580526B2 (en) | System and method for calculating vessel flow parameters based on angiography | |
| JP7308238B2 (ja) | Ｘ線画像特徴検出および位置合わせのシステムおよび方法 | |
| US11482339B2 (en) | Systems and methods for estimating hemodynamic forces acting on plaque and monitoring risk | |
| US11896416B2 (en) | Method for calculating coronary artery fractional flow reserve on basis of myocardial blood flow and CT images | |
| WO2019210553A1 (zh) | 基于造影图像和流体力学模型的微循环阻力指数计算方法 | |
| US8977339B1 (en) | Method for assessing stenosis severity through stenosis mapping | |
| JP5976431B2 (ja) | 運動対象輪郭トラッキング装置及び運動対象輪郭トラッキング方法 | |
| CN102763135B (zh) | 用于自动分割和时间跟踪的方法 | |
| US8787641B2 (en) | Method and apparatus for quantitative analysis of a tree of recursively splitting tubular organs | |
| CN109074870B (zh) | 用于对未分辨血管进行识别和建模的系统和方法 | |
| EP3723041A1 (en) | Automated measurement system and method for coronary artery disease scoring | |
| CN105518684A (zh) | 用于预测冠状动脉病变的位置、开始、和/或变化的系统和方法 | |
| CN105188550A (zh) | 血管数据处理和图像配准系统、方法及装置 | |
| CN113040795B (zh) | 无导丝ffr、无导丝imr和无导丝cfr的检测方法 | |
| KR101334064B1 (ko) | 혈관영상에서의 움직임 추정 방법 및 그 장치 | |
| CN103020958B (zh) | 一种基于曲率尺度空间的血管自动匹配方法 | |
| CN110786842B (zh) | 测量舒张期血流速度的方法、装置、系统及存储介质 | |
| CN107392891B (zh) | 血管树提取方法、装置、设备及存储介质 | |
| CN113180614A (zh) | 无导丝ffr、无导丝imr和无导丝cfr的检测方法 | |
| CN112669449A (zh) | 基于3d重建技术的cag和ivus精准联动分析方法及系统 | |
| WO2020083390A1 (zh) | 获取心表大动脉的血流量的方法、装置、系统及存储介质 | |
| US10332255B2 (en) | Method for assessing stenosis severity in a lesion tree through stenosis mapping | |
| Zheng et al. | Reconstruction of coronary vessels from intravascular ultrasound image sequences based on compensation of the in-plane motion | |
| EP3995081A1 (en) | Diagnosis assisting program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200925 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6851672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |