JP2021516105A - 超音波画像の特徴を識別するシステム及び方法 - Google Patents
超音波画像の特徴を識別するシステム及び方法 Download PDFInfo
- Publication number
- JP2021516105A JP2021516105A JP2020546417A JP2020546417A JP2021516105A JP 2021516105 A JP2021516105 A JP 2021516105A JP 2020546417 A JP2020546417 A JP 2020546417A JP 2020546417 A JP2020546417 A JP 2020546417A JP 2021516105 A JP2021516105 A JP 2021516105A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- operation signal
- images
- ultrasound images
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000000523 sample Substances 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 38
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000006403 short-term memory Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000007774 longterm Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000012285 ultrasound imaging Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000002033 PVDF binder Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001605 fetal effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004578 fetal growth Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
Description
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得するステップと、
前記操作信号の一部分を取得するステップであって、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分が1以上の超音波画像に関連付けられるステップと、
ニューラルネットワークシステムを用いて、前記1以上の関連付けられた超音波画像の特徴を前記1以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類するステップと、
を有する。前記1以上の関連付けられた超音波画像の特徴を分類するステップは、1以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生するステップ、及び前記畳み込み出力を分類して前記取得された部分に関連付けられた前記1以上の超音波画像の特徴を示すステップを有する。
前記ニューラルネットワークシステムに含まれる第1ニューラルネットワークを用いて、前記操作信号の取得された部分を表す畳み込み出力を発生すると共に、該畳み込み出力を分類して前記超音波プローブの操作パターンを示すステップと、
前記ニューラルネットワークシステムに含まれる第2ニューラルネットワークを用いて、前記1以上の関連付けられた超音波画像の特徴を前記1以上の超音波画像及び前記操作パターンに基づいて分類するステップと、
を有する。
a)前記操作信号の前記取得された部分が、
高品質超音波画像;
前記被検体の予め定められたビューの超音波画像;及び
前記関連付けられた1以上の超音波画像における前記被検体の1以上の予め定められた関心領域の存在;
のうちの1つに関連付けられるかを分類するステップと、
b)前記1以上の関連付けられた超音波画像の特徴を、前記取得された部分の分類を前記1以上の関連付けられた超音波画像の特徴として割り当てることにより識別するステップと、
を有する。即ち、前記1以上の関連付けられた超音波画像の特徴の識別は、前記取得された部分の分類を該1以上の関連付けられた超音波画像の特徴として割り当てることを含む。
前記操作信号を、各部分が同一の1以上の超音波画像に関連付けられた複数の部分に分割するステップと、
前記操作信号の取得された各部分に1以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生するステップと、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類するステップと、
を有する。
前記操作信号を取得するステップは、各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得するステップを有し、
前記操作信号の一部分を取得するステップは、各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得するステップであって、該複数の時間的に関連する部分が同一の1以上の超音波画像に関連付けられるステップを有し、
前記1以上の関連付けられた超音波画像の特徴を分類するステップは、前記複数の時間的に関連する部分を分類して前記1以上の関連付けられた超音波画像の特徴を示すステップを有する。
前記複数の時間的に関連する部分を表す二次元データ構造を得るステップと、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生するステップと、
前記畳み込み出力を分類して、前記1以上の関連付けられた超音波画像の特徴を示すステップと、
を有する。
前記操作信号の一部分を取得するステップは、前記操作信号の2以上の複数の時間的に関連する部分を取得するステップであって、該複数の各々が同一の1以上の超音波画像に関連付けられるステップを有し、
前記1以上の関連付けられた超音波画像の特徴を分類するステップは、
a)各データ構造が異なる複数の時間的に関連する部分を表す複数の二次元データ構造を得るステップと、
b)各二次元データ構造に畳み込みカーネルを適用して、対応する複数の畳み込み出力を発生するステップと、
c)長短期記憶を用いることにより前記複数の畳み込み出力を処理して、前記2以上の複数の時間的に関連する部分を分類し、これにより前記1以上の関連付けられた超音波画像の特徴を示すステップと、
を有する。
前記被検体に対する前記超音波プローブの位置、
前記被検体に対する前記超音波プローブの角度、
前記被検体に対する前記超音波プローブの向き、
前記被検体に対し前記超音波プローブにより印加される圧力、
前記被検体に対する前記超音波プローブの加速度、
前記超音波プローブの運動の方向、及び
前記超音波プローブの運動のパターン、
のうちの1以上を示す。
前記超音波撮像処理の間における前記超音波プローブの操作(例えば、空間運動)を示す操作信号を取得し、
前記操作信号の一部分を取得し、ここで、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分は1以上の超音波画像に関連付けられ、且つ、
ニューラルネットワークシステムを用いて、前記1以上の関連付けられた超音波画像の特徴を前記1以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類する、
ように構成される。
1以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生し、及び
前記畳み込み出力を分類して前記取得された部分に関連付けられた前記1以上の超音波画像の特徴を示す、
ことにより前記1以上の関連付けられた超音波画像の特徴を分類するように構成される。
他の実施態様において、当該超音波画像処理システムは、
前記操作信号を、各部分が同一の1以上の超音波画像に関連付けられた複数の部分に分割し、
前記操作信号の取得された各部分に1以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生し、及び
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類する、
ことにより前記1以上の関連付けられた超音波画像の特徴を分類するように構成される。
他の実施態様において、当該超音波画像処理システムは、
各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得し、
各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得し、ここで、該複数の時間的に関連する部分は同一の1以上の超音波画像に関連付けられ、及び
前記複数の時間的に関連する部分を分類して前記1以上の関連付けられた超音波画像の特徴を示す、
ように構成される。
前記複数の時間的に関連する部分を表す二次元データ構造を取得し、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生し、及び
前記畳み込み出力を分類して、前記1以上の関連付けられた超音波画像の特徴を示す、
ことにより前記複数の時間的に関連する部分を分類するよう構成される。
超音波撮像処理を用いて被検体を撮像し、これにより該被検体の1以上の超音波画像を発生するように構成された超音波プローブと、
前記超音波撮像処理の間における前記超音波プローブの操作(例えば、空間的操作)を監視して、該操作(例えば、空間的運動)を示す操作信号を発生するように構成されたプローブ操作センサと、
上述した超音波画像処理システムと、
を有する超音波撮像システムが提供される。
Claims (15)
- 1以上の超音波画像の特徴を識別するコンピュータ実施方法であって、各超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該方法は、
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得するステップと、
前記操作信号の一部分を取得するステップであって、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分が1以上の超音波画像に関連付けられるステップと、
ニューラルネットワークシステムを用いて、前記1以上の関連付けられた超音波画像の特徴を前記1以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類するステップと、
を有し、
前記1以上の関連付けられた超音波画像の特徴を分類するステップが、1以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生するステップ、及び前記畳み込み出力を分類して前記取得された部分に関連付けられた前記1以上の超音波画像の特徴を示すステップを有する、
コンピュータ実施方法。 - 前記1以上の関連付けられた超音波画像の特徴を分類するステップは、
a)前記操作信号の前記取得された部分が、
高品質超音波画像;
前記被検体の予め定められたビューの超音波画像;及び
前記関連付けられた1以上の超音波画像における前記被検体の1以上の予め定められた関心領域の存在;
のうちの1つに関連付けられるかを分類するステップと、
b)前記1以上の関連付けられた超音波画像の特徴を、前記取得された部分の分類を前記1以上の関連付けられた超音波画像の特徴として割り当てることにより識別するステップと、
を有する、請求項1に記載のコンピュータ実施方法。 - 前記1以上の関連付けられた超音波画像の特徴を分類するステップが、
前記操作信号を、各部分が同一の1以上の超音波画像に関連付けられた複数の部分に分割するステップと、
前記操作信号の取得された各部分に1以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生するステップと、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類するステップと、
を有する、請求項1又は請求項2に記載のコンピュータ実施方法。 - 前記操作信号を取得するステップは、各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得するステップを有し、
前記操作信号の一部分を取得するステップは、各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得するステップであって、該複数の時間的に関連する部分が同一の1以上の超音波画像に関連付けられるステップを有し、
前記1以上の関連付けられた超音波画像の特徴を分類するステップが、前記複数の時間的に関連する部分を分類して前記1以上の関連付けられた超音波画像の特徴を示すステップを有する、
請求項1から3の何れか一項に記載のコンピュータ実施方法。 - 前記複数の時間的に関連する部分を分類するステップが、
前記複数の時間的に関連する部分を表す二次元データ構造を得るステップと、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生するステップと、
前記畳み込み出力を分類して、前記1以上の関連付けられた超音波画像の特徴を示すステップと、
を有する、請求項4に記載のコンピュータ実施方法。 - 前記操作信号の一部分を取得するステップは、前記操作信号の2以上の複数の時間的に関連する部分を取得するステップであって、該複数の各々が同一の1以上の超音波画像に関連付けられるステップを有し、
前記1以上の関連付けられた超音波画像の特徴を分類するステップが、
a)各データ構造が異なる複数の時間的に関連する部分を表す複数の二次元データ構造を得るステップと、
b)各二次元データ構造に畳み込みカーネルを適用して、対応する複数の畳み込み出力を発生するステップと、
c)長短期記憶を用いることにより前記複数の畳み込み出力を処理して、前記2以上の複数の時間的に関連する部分を分類し、これにより前記1以上の関連付けられた超音波画像の特徴を示すステップと、
を有する、請求項5に記載のコンピュータ実施方法。 - 前記操作信号が、
前記被検体に対する前記超音波プローブの位置、
前記被検体に対する前記超音波プローブの角度、
前記被検体に対する前記超音波プローブの向き、
前記被検体に対し前記超音波プローブにより印加される圧力、
前記被検体に対する前記超音波プローブの加速度、
前記超音波プローブの運動の方向、及び
前記超音波プローブの運動のパターン、
のうちの1以上を示す、請求項1から6の何れか一項に記載のコンピュータ実施方法。 - 前記超音波画像をセグメント化するステップを更に有する、請求項1から7の何れか一項に記載のコンピュータ実施方法。
- 選択された各超音波画像にセグメント化された各関心領域を重ねるステップを更に有する、請求項8に記載のコンピュータ実施方法。
- コンピュータ上で実行された場合に請求項1から9の何れか一項に記載のコンピュータ実施方法を実施するためのコード手段を有する、コンピュータプログラム。
- 1以上の超音波画像の特徴を識別する超音波画像処理システムであって、前記超音波画像は超音波撮像処理を用いて超音波プローブにより撮像された被検体のものであり、当該超音波画像処理システムは、
前記超音波撮像処理の間における前記超音波プローブの操作を示す操作信号を取得し、
前記操作信号の一部分を取得し、ここで、該取得された部分は或る期間における前記超音波プローブの操作を示し、該取得された部分は1以上の超音波画像に関連付けられ、且つ、
ニューラルネットワークシステムを用いて、前記1以上の関連付けられた超音波画像の特徴を前記1以上の超音波画像及び前記操作信号の前記取得された部分の両方に基づいて分類し、
当該超音波画像処理システムが、前記1以上の関連付けられた超音波画像の特徴を、1以上の畳み込みカーネルを前記操作信号の前記取得された部分に適用して前記操作信号の前記取得された部分を表す畳み込み出力を発生すると共に、前記畳み込み出力を分類して前記取得された部分に関連付けられた前記1以上の超音波画像の特徴を示すことにより分類する、
超音波画像処理システム。 - 当該超音波画像処理システムが、
前記操作信号を、各部分が同一の1以上の超音波画像に関連付けられた複数の部分に分割し、
前記操作信号の取得された各部分に1以上の畳み込みカーネルを適用して、各時間区間の畳み込み出力を発生し、
長短期記憶を用いて各時間区間の前記畳み込み出力を処理して、取得された各部分を分類する、
ことにより前記1以上の関連付けられた超音波画像の特徴を分類する、
請求項11に記載の超音波画像処理システム。 - 当該超音波画像処理システムが、更に、
各々が前記超音波撮像処理の間における前記超音波プローブの操作を示す複数の操作信号を取得し、
各操作信号から時間的に関連する部分を取得することにより複数の時間的に関連する部分を取得し、ここで、該複数の時間的に関連する部分は同一の1以上の超音波画像に関連付けられ、
前記複数の時間的に関連する部分を分類して前記1以上の関連付けられた超音波画像の特徴を示す、
請求項11又は請求項12に記載の超音波画像処理システム。 - 当該超音波画像処理システムが、
前記複数の時間的に関連する部分を表す二次元データ構造を取得し、
前記二次元データ構造に畳み込みカーネルを適用して、該二次元データ構造の畳み込み出力を発生し、
前記畳み込み出力を分類して、前記1以上の関連付けられた超音波画像の特徴を示す、
ことにより前記複数の時間的に関連する部分を分類する、
請求項13に記載の超音波画像処理システム。 - 超音波撮像処理を用いて被検体を撮像し、これにより該被検体の1以上の超音波画像を発生する超音波プローブと、
前記超音波撮像処理の間における前記超音波プローブの操作を監視して、該操作を示す操作信号を発生するプローブ操作センサと、
請求項11から14の何れか一項に記載の超音波画像処理システムと、
を有する、超音波撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18160635.1A EP3536245A1 (en) | 2018-03-08 | 2018-03-08 | A system and method of identifying characteristics of ultrasound images |
EP18160635.1 | 2018-03-08 | ||
PCT/EP2019/055256 WO2019170573A1 (en) | 2018-03-08 | 2019-03-04 | A system and method of identifying characteristics of ultrasound images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021516105A true JP2021516105A (ja) | 2021-07-01 |
JP6935020B2 JP6935020B2 (ja) | 2021-09-15 |
Family
ID=61599017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546417A Active JP6935020B2 (ja) | 2018-03-08 | 2019-03-04 | 超音波画像の特徴を識別するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11490877B2 (ja) |
EP (2) | EP3536245A1 (ja) |
JP (1) | JP6935020B2 (ja) |
CN (1) | CN111885964A (ja) |
WO (1) | WO2019170573A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11638569B2 (en) | 2018-06-08 | 2023-05-02 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound |
EP3836843A4 (en) * | 2018-08-13 | 2022-02-16 | Rutgers, the State University of New Jersey | ARTIFICIAL VISION SYSTEMS AND METHODS FOR REAL-TIME LOCATION OF NEEDLES IN ULTRASOUND IMAGES |
CN109920518B (zh) * | 2019-03-08 | 2021-11-16 | 腾讯科技(深圳)有限公司 | 医学影像分析方法、装置、计算机设备和存储介质 |
CN110459324B (zh) * | 2019-06-27 | 2023-05-23 | 平安科技(深圳)有限公司 | 基于长短期记忆模型的疾病预测方法、装置和计算机设备 |
US20210056357A1 (en) * | 2019-08-19 | 2021-02-25 | Board Of Trustees Of Michigan State University | Systems and methods for implementing flexible, input-adaptive deep learning neural networks |
CN111223092A (zh) * | 2020-02-28 | 2020-06-02 | 长沙大端信息科技有限公司 | 胎儿超声切面图像自动质控系统及检测方法 |
CN111326256B (zh) * | 2020-02-28 | 2023-12-29 | 李胜利 | 胎儿超声标准切面图像智能识别自我训练学习系统及考试方法 |
US11532084B2 (en) * | 2020-05-11 | 2022-12-20 | EchoNous, Inc. | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification |
US11523801B2 (en) * | 2020-05-11 | 2022-12-13 | EchoNous, Inc. | Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured |
US11819363B2 (en) * | 2020-09-01 | 2023-11-21 | GE Precision Healthcare LLC | Systems and methods to improve resolution of ultrasound images with a neural network |
US11636593B2 (en) | 2020-11-06 | 2023-04-25 | EchoNous, Inc. | Robust segmentation through high-level image understanding |
US20230125779A1 (en) * | 2021-10-25 | 2023-04-27 | EchoNous, Inc. | Automatic depth selection for ultrasound imaging |
CN117272118B (zh) * | 2023-11-17 | 2024-02-13 | 成都天奥集团有限公司 | 一种t/r组件健康状态预测方法、系统、设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015167789A (ja) * | 2014-03-10 | 2015-09-28 | キヤノン株式会社 | 被検体情報取得装置および信号処理方法 |
US20160048737A1 (en) * | 2014-08-14 | 2016-02-18 | Samsung Electronics Co., Ltd. | Apparatus and method for adaptive computer-aided diagnosis |
US20160155227A1 (en) * | 2014-11-28 | 2016-06-02 | Samsung Electronics Co., Ltd. | Computer-aided diagnostic apparatus and method based on diagnostic intention of user |
US20170262982A1 (en) * | 2016-03-09 | 2017-09-14 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6283919B1 (en) | 1996-11-26 | 2001-09-04 | Atl Ultrasound | Ultrasonic diagnostic imaging with blended tissue harmonic signals |
US6458083B1 (en) | 1996-11-26 | 2002-10-01 | Koninklijke Philips Electronics N.V. | Ultrasonic harmonic imaging with adaptive image formation |
US6013032A (en) | 1998-03-13 | 2000-01-11 | Hewlett-Packard Company | Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array |
US5997479A (en) | 1998-05-28 | 1999-12-07 | Hewlett-Packard Company | Phased array acoustic systems with intra-group processors |
US6530885B1 (en) | 2000-03-17 | 2003-03-11 | Atl Ultrasound, Inc. | Spatially compounded three dimensional ultrasonic images |
US6443896B1 (en) | 2000-08-17 | 2002-09-03 | Koninklijke Philips Electronics N.V. | Method for creating multiplanar ultrasonic images of a three dimensional object |
US6468216B1 (en) | 2000-08-24 | 2002-10-22 | Kininklijke Philips Electronics N.V. | Ultrasonic diagnostic imaging of the coronary arteries |
US6695778B2 (en) * | 2002-07-03 | 2004-02-24 | Aitech, Inc. | Methods and systems for construction of ultrasound images |
US8162837B2 (en) * | 2005-06-13 | 2012-04-24 | Spentech, Inc. | Medical doppler ultrasound system for locating and tracking blood flow |
CN103565473A (zh) * | 2012-07-27 | 2014-02-12 | 三星电子株式会社 | 图像处理模块和图像处理方法 |
KR20150010860A (ko) * | 2013-07-19 | 2015-01-29 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
US10561401B2 (en) * | 2013-09-11 | 2020-02-18 | Boston Scientific Scimed, Inc. | Systems and methods for selection and displaying of images using an intravascular ultrasound imaging system |
US9918701B2 (en) | 2014-09-03 | 2018-03-20 | Contextvision Ab | Methods and systems for automatic control of subjective image quality in imaging of objects |
WO2017151757A1 (en) | 2016-03-01 | 2017-09-08 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Recurrent neural feedback model for automated image annotation |
WO2017211774A1 (en) * | 2016-06-06 | 2017-12-14 | Koninklijke Philips N.V. | Medical ultrasound image processing device |
US20180055483A1 (en) * | 2016-08-26 | 2018-03-01 | yoR Labs, Inc. | Methods and Systems for Ultrasound Controls |
EP3424434A1 (en) * | 2017-07-07 | 2019-01-09 | Koninklijke Philips N.V. | Method and device for processing ultrasound signal data |
EP3590436A1 (en) * | 2018-07-06 | 2020-01-08 | Koninklijke Philips N.V. | Identifying an optimal image from a number of ultrasound images |
EP3826544A1 (en) * | 2018-07-26 | 2021-06-02 | Koninklijke Philips N.V. | Ultrasound system with an artificial neural network for guided liver imaging |
US11064977B2 (en) * | 2019-01-04 | 2021-07-20 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Preset free imaging for ultrasound device |
US11532084B2 (en) * | 2020-05-11 | 2022-12-20 | EchoNous, Inc. | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification |
-
2018
- 2018-03-08 EP EP18160635.1A patent/EP3536245A1/en not_active Withdrawn
-
2019
- 2019-03-04 EP EP19707032.9A patent/EP3761881B1/en active Active
- 2019-03-04 JP JP2020546417A patent/JP6935020B2/ja active Active
- 2019-03-04 CN CN201980017547.3A patent/CN111885964A/zh active Pending
- 2019-03-04 WO PCT/EP2019/055256 patent/WO2019170573A1/en active Application Filing
- 2019-03-04 US US16/977,889 patent/US11490877B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015167789A (ja) * | 2014-03-10 | 2015-09-28 | キヤノン株式会社 | 被検体情報取得装置および信号処理方法 |
US20160048737A1 (en) * | 2014-08-14 | 2016-02-18 | Samsung Electronics Co., Ltd. | Apparatus and method for adaptive computer-aided diagnosis |
US20160155227A1 (en) * | 2014-11-28 | 2016-06-02 | Samsung Electronics Co., Ltd. | Computer-aided diagnostic apparatus and method based on diagnostic intention of user |
US20170262982A1 (en) * | 2016-03-09 | 2017-09-14 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
Also Published As
Publication number | Publication date |
---|---|
WO2019170573A1 (en) | 2019-09-12 |
US11490877B2 (en) | 2022-11-08 |
US20210068791A1 (en) | 2021-03-11 |
CN111885964A (zh) | 2020-11-03 |
JP6935020B2 (ja) | 2021-09-15 |
EP3761881A1 (en) | 2021-01-13 |
EP3536245A1 (en) | 2019-09-11 |
EP3761881B1 (en) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6935020B2 (ja) | 超音波画像の特徴を識別するシステム及び方法 | |
CN110678933B (zh) | 超声临床特征检测与相关联的设备、系统和方法 | |
JP6839328B2 (ja) | 胎児超音波画像処理 | |
CN109310399B (zh) | 医学超声图像处理设备 | |
JP7240405B2 (ja) | 超音波画像から解剖学的測定値を取得するための装置及び方法 | |
JP2006507883A (ja) | 撮像システム内で流れ領域を識別するセグメンテーション・ツール | |
CN101896123A (zh) | 具有使用响应于所采集图像数据的反馈的微调及定位控制的机器人超声系统 | |
JP2010094181A (ja) | 超音波診断装置および超音波診断装置のデータ処理プログラム | |
CN112867444B (zh) | 用于引导对超声图像的采集的系统和方法 | |
EP3506832B1 (en) | Ultrasound diagnosis apparatus | |
EP3752984B1 (en) | An imaging system and method with stitching of multiple images | |
EP3685753A1 (en) | Ultrasound imaging apparatus and method of controlling the same | |
US20200397407A1 (en) | Providing a three dimensional ultrasound image | |
JP5921610B2 (ja) | 超音波診断装置 | |
CN114846510A (zh) | 根据多个不同地扰动的基于模型的解剖图像分割的节点变化来生成分割置信度图 | |
JP2004188213A (ja) | 超音波計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210611 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |