CN109949262B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN109949262B CN109949262B CN201711372102.6A CN201711372102A CN109949262B CN 109949262 B CN109949262 B CN 109949262B CN 201711372102 A CN201711372102 A CN 201711372102A CN 109949262 B CN109949262 B CN 109949262B
- Authority
- CN
- China
- Prior art keywords
- time information
- image
- image processing
- data set
- matching data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims description 25
- 238000002604 ultrasonography Methods 0.000 claims abstract description 98
- 230000001605 fetal effect Effects 0.000 claims abstract description 90
- 230000035935 pregnancy Effects 0.000 claims abstract description 87
- 230000002159 abnormal effect Effects 0.000 claims abstract description 57
- 210000003754 fetus Anatomy 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 11
- 230000007547 defect Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 206010009269 Cleft palate Diseases 0.000 claims description 4
- 206010009259 cleft lip Diseases 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 18
- 201000010099 disease Diseases 0.000 abstract description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 208000032170 Congenital Abnormalities Diseases 0.000 description 7
- 206010010356 Congenital anomaly Diseases 0.000 description 7
- 230000007698 birth defect Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 206010020524 Hydronephrosis Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 206010048962 Brain oedema Diseases 0.000 description 3
- 208000014489 Cleft lip and cleft palate disease Diseases 0.000 description 3
- 206010061159 Foot deformity Diseases 0.000 description 3
- 208000006752 brain edema Diseases 0.000 description 3
- 210000003169 central nervous system Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 208000021970 Abdominal wall defect Diseases 0.000 description 2
- 208000026372 Congenital cystic kidney disease Diseases 0.000 description 2
- 208000035942 bilateral renal hypoplasia Diseases 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000030761 polycystic kidney disease Diseases 0.000 description 2
- 238000009597 pregnancy test Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010009260 Cleft lip and palate Diseases 0.000 description 1
- 206010012713 Diaphragmatic hernia Diseases 0.000 description 1
- 206010019909 Hernia Diseases 0.000 description 1
- 206010072985 Spinal column fractures Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 208000016653 cleft lip/palate Diseases 0.000 description 1
- 201000005890 congenital diaphragmatic hernia Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 208000003906 hydrocephalus Diseases 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供的图像处理装置，其特征在于，具备：匹配数据集存储部，存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集；超声图像存储部，存储包含怀孕时间信息的目标胎儿的多幅超声图像；以及处理部，根据所述超声图像包含的怀孕时间信息，从所述匹配数据集存储部中选择一个包含与所述超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的所述匹配数据集，通过模式匹配从所述多幅超声图像中提取目标图像。根据本发明，超声检查过程中，能够即时获取充分体现与怀孕时间对应关联的疾病的临床信息的图像。
Description
技术领域
本发明的实施方式涉及图像处理装置及图像处理方法。
背景技术
近年，随着生育年龄高龄化、生活环境变差、生活压力增大等，我国已成为出生缺陷高发国家之一。据统计，在我国，每年有80万-120万名出生缺陷儿，平均每30秒就有一名缺陷儿出生。有缺陷儿出生的家庭将被卷入终生痛苦中。
孕期检查可以检测出大部分的胎儿缺陷，例如，在孕12-14周、孕20-22周及32周左右各进行一次超声检查，根据超声图像数据理论上可检测出70％-80％的胎儿缺陷。
但是，在实际的超声检查中，尤其是传统的2D超声检测中，医生难以从2D超声图像数据中充分有效地检测到胎儿缺陷。例如，表一示出了胎儿出生缺陷发病率的相关统计数据，表二示出了胎儿出生缺陷在孕检中的诊断率的相关统计数据。
表一：
| 畸形 | 发病率(‰) |
| 心脏(全部) | 5.6 |
| 中枢神经系统(全部) | 4.3 |
| 肾积水 | 3.2 |
| 唇裂及腭裂 | 1.9 |
| 足畸形 | 1.6 |
| 脑积水 | 1.2 |
| 脊柱裂 | 1.1 |
| 无脑儿 | 0.9 |
| 腹壁缺陷 | 0.9 |
| 单侧性肾囊性病变 | 0.6 |
| 隔疝 | 0.5 |
| 胎儿先天性多囊肾 | 0.4 |
| 双侧肾发育不全 | 0.3 |
表二：
| 畸形 | 诊断率(％) |
| 无脑儿 | 99.4 |
| 脊柱裂合并脑水肿 | 94.6 |
| 脑水肿 | 93.5 |
| 肾积水 | 93.4 |
| 单侧性肾囊性病变 | 91.7 |
| 胎儿先天性多囊肾 | 91.4 |
| 中枢神经系统(全部) | 88.3 |
| 双侧肾发育不全 | 83.7 |
| 腹壁缺陷 | 81.6 |
| 脊柱裂无合并脑水肿 | 66.3 |
| 膈疝 | 58 |
| 心脏(全部) | 27.7 |
| 唇裂及腭裂 | 18 |
| 足畸形 | 7.2 |
参照上述的表一和表二，“心脏(全部)”这一缺陷，发病率高达千分之5.6，但其诊断率仅为百分之27.7，“唇裂及腭裂”这一缺陷，发病率为千分之1.9，但其诊断率仅为百分之18。
另一方面，目前3D/4D超声技术正在普及，相对于2D超声而言，胎儿缺陷的检测率有所提高。但是由于胎儿的体位、活动等原因，胎儿缺陷的检测率会有所下降，孕期检查正常而出生为缺陷儿童的事情屡见不鲜。
因此，迫切需要能够准确、高效、即时地根据超声图像来检测胎儿缺陷的技术。
发明内容
本发明是为了解决上述的问题而创出的，其目的在于，提供一种图像处理装置及图像处理方法，能够从3D/4D的大量超声图像或视频中准确、高效、即时地提取充分体现胎儿缺陷的图像或视频，能够提高胎儿缺陷检测率，另外能够在超声检查过程中即时地跟踪检测到的缺陷部位，提高用户在超声检查中的操作性。
为了实现上述目的，本发明的一个实施方式提供一种图像处理装置，其特征在于，具备：匹配数据集存储部，存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集；超声图像存储部，存储包含怀孕时间信息的目标胎儿的多幅超声图像；以及处理部，根据所述超声图像包含的怀孕时间信息，从所述匹配数据集存储部中选择一个包含与所述超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的所述匹配数据集，通过模式匹配从所述多幅超声图像中提取目标图像。
另外，本发明提供的图像处理装置，其中，还具备特征提取部，该特征提取部针对所述超声图像存储部所存储的多幅超声图像的每幅超声图像，提取异常胎儿特征，所述处理部，针对每幅超声图像，对通过所述特征提取部提取到的异常胎儿特征和所选择的所述匹配数据集包含的异常胎儿特征进行模式匹配。
另外，本发明提供的图像处理装置，其中，所述匹配数据集包含的异常胎儿特征与怀孕时间信息具有对应关联关系。
另外，本发明提供的图像处理装置，其中，所述异常胎儿特征为唇裂缺陷、腭裂缺陷、手指缺陷、脚趾缺陷、脑部缺陷、神经缺陷、脏器缺陷、骨骼缺陷中的任一种。
另外，本发明提供的图像处理装置，其中，机器学习部，针对作为训练数据的多幅超声图像，基于参照所述对应关联关系并根据怀孕时间信息提取的对应的异常胎儿特征，进行机器学习，获得一个以上的数据集模型；匹配数据集获取部，针对多幅所述超声图像的每幅超声图像，基于参照所述对应关联关系并根据怀孕时间信息提取的对应的异常胎儿特征，与所述一个以上数据集模型进行模式匹配，获得一个以上的匹配数据集。
另外，本发明提供的图像处理装置，其中，还具备：跟踪部，针对所提取到的所述目标图像，标记并跟踪所述目标图像中的异常胎儿特征的部位；显示部，显示通过所述跟踪部标记并跟踪异常胎儿特征的部位的所述目标图像。
另外，本发明的另一个实施方式提供一种图像处理方法，其特征在于，具备如下步骤：存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集；存储包含怀孕时间信息的目标胎儿的多幅超声图像；以及根据所述超声图像包含的怀孕时间信息，选择一个包含与所述超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的所述匹配数据集，通过模式匹配从所述多幅超声图像中提取目标图像。
发明的效果
根据本发明，能够从3D/4D的大量超声图像或视频中准确、高效、即时地提取充分体现胎儿缺陷的图像或视频，能够提高胎儿缺陷检测率，另外能够在超声检查过程中即时地跟踪检测到的缺陷部位，提高用户在超声检查中的操作性。
附图说明
图1是第一实施方式所涉及的图像处理装置100的框图。
图2是第一实施方式所涉及的图像处理装置100执行的图像处理方法的流程图。
图3是示出了唇部的7种匹配数据集的示意图。
图4是第二实施方式所涉及的图像处理装置100A的框图。
图5是第二实施方式所涉及的图像处理装置100A执行的图像处理方法的流程图。
图6是第三实施方式所涉及的图像处理装置100B的框图。
图7是第三实施方式所涉及的图像处理装置100B执行的图像处理方法的流程图。
图8表示对于训练数据附以标签的示例。
图9A～图9E是第三实施方式所涉及的图像处理装置100B的一个显示例的示意图。
图10是第四实施方式所涉及的图像处理装置100C的框图。
图11是第四实施方式所涉及的图像处理装置100C执行的图像处理方法的流程图。
图12A及图12B是第四实施方式所涉及的图像处理装置100C的一个显示例的示意图。
附图标记说明：
100：图像处理装置，101：匹配数据集存储部，102：超声图像存储部，103：处理部，104：特征提取部，105：机器学习部，106：匹配数据集获取部，107：跟踪部，108：显示部。
具体实施方式
以下参照附图对实施方式进行说明。并且，以下将要说明的实施方式均为本发明的一个具体例子。因此，以下的实施方式所示的数值、形状、尺寸、构成要素、构成要素的配置位置以及连接方式等均为一个例子，主旨并非是对本发明进行限定。因此，对于以下的实施方式的构成要素之中，示出本发明的最上位概念的技术方案中所没有记载的构成要素，作为任意的构成要素来说明。
并且，在各个图中对于实质上相同的构成赋予相同的符号，并有省略或简化重复说明的情况。
(第一实施方式)
以下对第一实施方式所涉及的图像处理装置100进行说明。
[图像处理装置100的构成]
首先，参照图1至图3对第一实施方式所涉及的图像处理装置100进行说明。图1是第一实施方式所涉及的图像处理装置100的框图。图2是第一实施方式所涉及的图像处理装置100执行的图像处理方法的流程图。图3是示出了唇部的7种匹配数据集的示意图。
另外，图像处理装置100包括各种部件，图1中仅示出了与本发明的技术思想有关的部件，而省略了其他部件。
如图1所示，图像处理装置100，具备匹配数据集存储部101、超声图像存储部102及处理部103。
匹配数据集存储部101可以由ROM、RAM、半导体存储器或寄存器等具有存储功能的部件构成，存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集。
所谓匹配数据集，是由多幅超声图像构成的集合。这里，超声图像是在孕检中通过超声设备获得的反映胎儿特征的超声图像。另外，每个匹配数据集中的每幅超声图像包含怀孕时间信息和胎儿特征信息。该胎儿特征可以是正常胎儿特征，也可以是异常胎儿特征。另外，各匹配数据集间，胎儿特征不同。
下面以唇裂为例，具体说明匹配数据集。图3是示出了唇部的7种匹配数据集的示意图。
如图3所示，示出了正常唇匹配数据集、单侧唇裂匹配数据集、单侧不完全唇裂匹配数据集、单侧完全唇裂匹配数据集、双侧不完全唇裂匹配数据集、双侧混合型唇裂匹配数据集、双侧完全唇裂匹配数据集这7种匹配数据集。
例如，针对包含胎儿面部的3D/4D超声图像，提取面部轮廓特征、口部轮廓特征、唇部完整轮廓特征，按所提取到的特征对超声图像分类，使其分类到上述匹配数据集中的一种。
另外，这里仅示出了唇部的匹配数据集，匹配数据集存储部101存储一个以上的匹配数据集，例如也可以还存储心脏的匹配数据集、中枢神经系统的匹配数据集、足畸形的匹配数据集等各种缺陷特征的匹配数据集。
另外，匹配数据集包含的异常胎儿特征与怀孕时间信息具有对应关联关系。例如，对于唇裂和腭裂疾病，在怀孕期间的第22～26周是检查该疾病的最佳时间，因此唇裂和腭裂疾病这一异常胎儿特征与怀孕时间为第22～26周相对应关联。这样，在唇裂和腭裂疾病的检测中，根据怀孕时间为第22～26周的超声图像进行，能够提高检测准确率。
超声图像存储部102可以由ROM、RAM、半导体存储器或寄存器等具有存储功能的部件构成，存储包含怀孕时间信息的目标胎儿的多幅超声图像。该超声图像优选为3D/4D超声图像。并且，超声图像存储部102存储的多幅超声图像中，至少包括其包含的怀孕时间信息所对应关联的异常胎儿特征涉及的部位。例如，超声图像存储部102所存储的怀孕期间为第22～26周的超声图像，至少包括胎儿面部超声图像。
处理部103，由CPU或微处理器等数据处理部件构成，可看作图像处理装置100的主体部，与匹配数据集存储部101、超声图像存储部102连接，能够对图像处理装置100整体的动作进行控制，例如，根据超声图像包含的怀孕时间信息，从匹配数据集存储部中选择一个包含与超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的匹配数据集，通过模式匹配从多幅超声图像中提取目标图像。
所谓目标图像，是包含较多胎儿缺陷特征的图像，反映了较多的临床信息，为反映胎儿缺陷特征的较佳角度的图像。用户观察该目标图像，可以清楚、准确地观察到胎儿缺陷。
[图像处理装置100执行的图像处理方法]
以下，参照图2对图像处理装置100执行的图像处理方法进行说明。
如图2所示，当图像处理装置100开始工作后，首先在步骤S200中，通过超声图像存储部102存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集，之后进入到步骤S202。
接着，在步骤S202中，存储包含怀孕时间信息的目标胎儿的多幅超声图像。
接着，在步骤S204中，根据超声图像包含的怀孕时间信息，选择一个包含与超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的匹配数据集，通过模式匹配从多幅超声图像中提取目标图像，之后结束操作。
通过该第一实施方式的图像处理装置100，利用包含怀孕时间信息的超声图像，根据超声图像包含的怀孕时间信息，选择一个匹配数据集，并根据所选择的匹配数据集，通过模式匹配从多幅超声图像中提取目标图像。这样，根据怀孕时间信息从3D/4D的大量超声图像中选择恰当的超声图像，并根据怀孕时间信息选择恰当的匹配数据集，来进行图像处理，能够准确、高效、即时地提取充分体现胎儿缺陷的图像，能够提高胎儿缺陷检测率。
(第二实施方式)
以下，参照图4至图5对第二实施方式所涉及的图像处理装置100A进行说明。图4是第二实施方式所涉及的图像处理装置100A的框图。图5是第二实施方式所涉及的图像处理装置100A执行的图像处理方法的流程图。
[图像处理装置100A的构成]
与图1所示的第一实施方式所涉及的图像处理装置100相比，如图4所示的第二实施方式所涉及的图像处理装置100A还具备特征提取部104。另外，在本实施方式中，省略对与图像处理装置100相同的构成要素的描述。
特征提取部104可以由CPU或MCU等构成，该特征提取部104针对超声图像存储部102所存储的多幅超声图像的每幅超声图像，提取异常胎儿特征。另外，特征提取部104可以根据超声图像包含的怀孕时间信息，提取超声图像中的异常胎儿特征。
另外，在本实施方式中，处理部103针对超声图像存储部102所存储的多幅图像中的每幅超声图像，根据超声图像包含的怀孕时间信息，从匹配数据集存储部101中选择一个包含与超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，对通过特征提取部104提取到的异常胎儿特征和所选择的匹配数据集包含的异常胎儿特征进行模式匹配，从多幅超声图像中提取目标图像。
[图像处理装置100A执行的图像处理方法]
参照图5对图像处理装置100A执行的图像处理方法进行说明。这里，对于与图2所示的流程图中的步骤相同的步骤标注相同的标号并省略详细的说明。
如图5所示，本实施方式的图像处理装置100A开始工作后，与第一实施方式的图像处理装置100同样地、执行步骤S200～S202的动作，在结束步骤S202的动作后，进入到步骤S500。
接着，在步骤S500中，由特征提取部104针对超声图像存储部102所存储的多幅超声图像的每幅超声图像，提取异常胎儿特征。这里，特征提取部104可以根据超声图像包含的怀孕时间信息，提取超声图像中的异常胎儿特征，之后进入到步骤S504。
在步骤S504中，处理部103根据超声图像包含的怀孕时间信息，从匹配数据集存储器中选择一个包含与超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的匹配数据集，针对每幅超声图像，对所提取到的异常胎儿特征和所选择的匹配数据集包含的异常胎儿特征进行模式匹配，从多幅超声图像中提取目标图像。
通过该第二实施方式的图像处理装置100A，利用包含怀孕时间信息的超声图像，根据超声图像包含的怀孕时间信息，选择一个匹配数据集，根据超声图像包含的怀孕时间信息对超声图像进行特征提取，并根据所提取到的特征与所选择的匹配数据集进行模式匹配，从多幅超声图像中提取目标图像。这样，根据怀孕时间信息从3D/4D的大量超声图像中选择恰当的超声图像，并根据怀孕时间信息选择恰当的匹配数据集，提取恰当的胎儿特征，来模式匹配，从多幅超声图像中提取目标图像，能够准确、高效、即时地提取充分体现胎儿缺陷的图像，能够提高胎儿缺陷检测率。
(第三实施方式)
以下，参照图6～图9E对第三实施方式所涉及的图像处理装置100B进行说明。图6是第三实施方式所涉及的图像处理装置100B的框图。图7是第三实施方式所涉及的图像处理装置100B执行的图像处理方法的流程图。图8表示对于训练数据附以标签的示例。图9A～图9E是第三实施方式所涉及的图像处理装置100B的一个显示例的示意图。
[图像处理装置100B的构成]
与图1所示的第一实施方式所涉及的图像处理装置100相比，如图6所示的第三实施方式所涉及的图像处理装置100B还具备机器学习部105和匹配数据集获取部106。另外，在本实施方式中，省略对与图像处理装置100相同的构成要素的描述。
机器学习部105，针对作为训练数据的多幅超声图像，基于参照对应关联关系并根据怀孕时间信息提取的对应的异常胎儿特征，进行机器学习，获得一个以上的数据集模型。
训练数据是多幅超声图像，作为训练数据的超声图像，可以是孕期各个时间段的、胎儿各个部位或全身的超声图像。即，训练数据为含有怀孕时间信息的超声图像。
针对作为训练数据的多幅超声图像，根据怀孕时间信息，参照怀孕时间信息与异常胎儿特征的对应关联关系，可以提取到异常胎儿特征，基于此进行机器学习，可以获得一个以上的反映异常胎儿特征的数据集模型。这里，关于机器学习的方法，可以是随机森林法、SVM法、深度学习法等公知的方法，这里不再赘述。另外，作为训练数据的超声图像的数量，不特别限定，可以为上百组，当然训练数据的数量越多，获得的数据集模型越精准，有利于提高异常胎儿特征检测率。
匹配数据集获取部106，针对超声图像存储部102所存储的多幅超声图像的每幅超声图像，根据怀孕时间信息，参照怀孕时间信息与异常胎儿特征的对应关联关系，提取异常胎儿特征，将该异常胎儿特征与通过机器学习部105获得的一个以上数据集模型进行模式匹配，获得一个以上的匹配数据集。
即，针对一幅新的超声图像，提取异常胎儿特征，并将异常胎儿特征与应用数据集模型比对，可以将超声图像归类。通过反复多次该处理，可获得一个以上的匹配数据集。
另外，对于训练数据，用户可以拾取作为训练数据的超声图像的特征并分配针对该特征的标签，标签能够描述图像的关键信息。另外，对于该标签，可以同时附上置信度值以对其进行度量。图8示出了对于训练数据附以标签的示例。
当依据附有标签的训练数据进行机器学习的情况下，获得的一个以上的数据集模型中也同样学习了附带标签的功能，也就是说，此时依据数据集模型处理超声图像时，能够对相应的特征附以相应的标签。也就是说，这种情况下，获得的匹配数据集中的各幅超声图像为对特征附有标签的超声图像。
[图像处理装置100B执行的图像处理方法]
参照图7、图9A～图9E对图像处理装置100B执行的图像处理方法进行说明。这里，对于与图2和图5所示的流程图中的步骤相同的步骤标注相同的标号并省略详细的说明。
如图7所示，本实施方式的图像处理装置100B开始工作后，在步骤S700中，由机器学习部105针对作为训练数据的多幅超声图像(例如图9A示出了一部分)，根据怀孕时间信息，参照怀孕时间信息与异常胎儿特征的对应关联关系，提取异常胎儿特征，进行机器学习，获得一个以上的反映异常胎儿特征的数据集模型，之后进入到步骤S702。
在步骤S702中，针对由匹配数据集获取部106所存储的多幅超声图像的每幅超声图像，根据怀孕时间信息，参照怀孕时间信息与异常胎儿特征的对应关联关系，提取异常胎儿特征，将该异常胎儿特征与在步骤S700中获得的一个以上数据集模型进行模式匹配，获得一个以上的匹配数据集，例如示出了图9B、图9C所示的两个匹配数据集，之后进入到步骤S200。
接下来，在步骤S200中，通过超声图像存储部102存储包含异常胎儿特征和怀孕时间信息的一个以上的匹配数据集，即存储例如图9B、图9C所示的匹配数据集，之后进入到步骤S202。
接着，在步骤S202中，存储包含怀孕时间信息的目标胎儿的多幅超声图像，这里假定是图9A。
接着，在步骤S204中，根据超声图像包含的怀孕时间信息，选择一个包含与超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，例如选择图9D所示的匹配数据集，并根据所选择的匹配数据集，通过模式匹配从多幅超声图像中提取目标图像(参照图9E)，之后结束操作。
通过该第三实施方式的图像处理装置100B，利用包含怀孕时间信息的超声图像作为训练数据，通过机器学习，获得反映了怀孕时间信息的数据集模型，而且如果利用附有标签的训练数据，获得反映了怀孕时间信息和附有标签的数据集模型，进而可以获得反映了怀孕时间信息和附有标签的匹配数据集，通过应用这样的匹配数据集，根据怀孕时间信息从3D/4D的大量超声图像中选择恰当的超声图像，并根据怀孕时间信息选择恰当的匹配数据集，提取恰当的胎儿特征，来模式匹配，从多幅超声图像中提取目标图像，能够准确、高效、即时地提取充分体现胎儿缺陷的图像，能够提高胎儿缺陷检测率。
(第四实施方式)
以下，参照图10～图12B对第四实施方式所涉及的图像处理装置100C进行说明。图10是第四实施方式所涉及的图像处理装置100C的框图。图11是第四实施方式所涉及的图像处理装置100C执行的图像处理方法的流程图。图12A及图12B是第四实施方式所涉及的图像处理装置100C的一个显示例的示意图。
[图像处理装置100C的构成]
与图1所示的第一实施方式所涉及的图像处理装置100相比，如图10所示的第四实施方式所涉及的图像处理装置100C还具备跟踪部107和显示部108。另外，在本实施方式中，省略对与图像处理装置100相同的构成要素的描述。
跟踪部107，针对所提取到的目标图像，标记并跟踪目标图像中的异常胎儿特征的部位。
显示部108，由例如CRT(Cathode Ray Tube)显示器、液晶显示器等构成，具备显示功能。例如至少能够显示通过跟踪部107标记并跟踪异常胎儿特征的部位的目标图像。
[图像处理装置100C执行的图像处理方法]
参照图11对图像处理装置100C执行的图像处理方法进行说明。这里，对于与图2所示的流程图中的步骤相同的步骤标注相同的标号并省略详细的说明。
如图11所示，本实施方式的图像处理装置100C开始工作后，与第一实施方式的图像处理装置100同样地、执行步骤S200～S204的动作，获得图12A所示的目标图像，在结束步骤S204的动作后，进入到步骤S1100。
接着，在步骤S1100中，由跟踪部107针对所提取到的目标图像，标记并跟踪目标图像中的异常胎儿特征的部位，获得如图12B所示的图像，之后进入到步骤S1102。
接着，在步骤S1102中，由显示部108显示在步骤S1100中获得的如图12B所示的、通过跟踪部107标记并跟踪异常胎儿特征的部位的目标图像。
通过该第四实施方式的图像处理装置100C，除了上述第一实施方式的效果以外，由于还具备跟踪部107，对于目标图像的胎儿缺陷部位进行标记跟踪，由此在超声检查的过程中，能够清楚地提示用户胎儿缺陷部位，避免人为遗漏检测，而且能够始终跟踪该缺陷部位，便于用户调整观看的角度，以进行更准确的观看和检测，提高缺陷的检测率，有效避免误诊率。
(变形例)
在上述各实施方式中，以本发明的具体表现形态为图像处理装置及其执行的方法的情况为例进行了详细叙述，但本发明的具体表现形态不限于此，也可以以图像处理系统、方法、集成电路等各种形态表现出来。
另外，在上述实施方式的说明中，以唇裂和颚裂的缺陷为例进行了说明，但本发明的图像处理装置及图像处理方法，能够广泛应用于超声图像的处理中，例如还可以对手指缺陷、脚趾缺陷、脑部缺陷、神经缺陷、脏器缺陷、骨骼缺陷中的任一种或多种进行检测。另外，只要是超声图像含有时间信息，就可以应用本发明的图像处理装置及图像处理方法。
另外，在上述的实施方式的说明中，以图像为例进行了说明，本发明的图像处理装置和图像处理方法也能够对视频这一动态图像组进行处理。
如上所述，对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，没有限定发明的范围的意图。这些新的实施方式能够以除此之外的各种各样的方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。该实施方式及其变形，包含在发明的范围、主旨中，并且包含在权利要求所记载的发明及其等同的范围中。
Claims (6)
1.一种图像处理装置，其特征在于，具备：
匹配数据集存储部，存储包含异常胎儿特征和与所述异常胎儿特征具有对应关联关系的怀孕时间信息的一个以上的匹配数据集；
超声图像存储部，存储预先通过超声设备拍摄的、包含怀孕时间信息的目标胎儿的多幅超声图像；以及
处理部，根据所述超声图像包含的怀孕时间信息，从所述匹配数据集存储部中选择一个包含与所述超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的所述匹配数据集，通过模式匹配从所述多幅超声图像中提取目标图像。
2.根据权利要求1所述的图像处理装置，其中，
还具备特征提取部，该特征提取部针对所述超声图像存储部所存储的多幅超声图像的每幅超声图像，提取异常胎儿特征，
所述处理部，针对每幅超声图像，对通过所述特征提取部提取到的异常胎儿特征和所选择的所述匹配数据集包含的异常胎儿特征进行模式匹配。
3.根据权利要求1所述的图像处理装置，其中，
所述异常胎儿特征为唇裂缺陷、腭裂缺陷、手指缺陷、脚趾缺陷、脑部缺陷、神经缺陷、脏器缺陷、骨骼缺陷中的任一种。
4.根据权利要求1所述的图像处理装置，其中，还具备：
机器学习部，针对作为训练数据的多幅超声图像，基于参照所述对应关联关系并根据怀孕时间信息提取的对应的异常胎儿特征，进行机器学习，获得一个以上的数据集模型；以及
匹配数据集获取部，针对多幅所述超声图像的每幅超声图像，基于参照所述对应关联关系并根据怀孕时间信息提取的对应的异常胎儿特征，与所述一个以上数据集模型进行模式匹配，获得一个以上的匹配数据集。
5.根据权利要求1所述的图像处理装置，其中，还具备：
跟踪部，针对所提取到的所述目标图像，标记并跟踪所述目标图像中的异常胎儿特征的部位；以及
显示部，显示通过所述跟踪部标记并跟踪异常胎儿特征的部位的所述目标图像。
6.一种图像处理方法，其特征在于，具备如下步骤：
存储包含异常胎儿特征和与所述异常胎儿特征具有对应关联关系的怀孕时间信息的一个以上的匹配数据集；
存储预先通过超声设备拍摄的、包含怀孕时间信息的目标胎儿的多幅超声图像；以及
根据所述超声图像包含的怀孕时间信息，选择一个包含与所述超声图像包含的怀孕时间信息对应的怀孕时间信息的匹配数据集，并根据所选择的所述匹配数据集，通过模式匹配从所述多幅超声图像中提取目标图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711372102.6A CN109949262B (zh) | 2017-12-19 | 2017-12-19 | 图像处理装置及图像处理方法 |
| JP2018237247A JP2019107453A (ja) | 2017-12-19 | 2018-12-19 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711372102.6A CN109949262B (zh) | 2017-12-19 | 2017-12-19 | 图像处理装置及图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109949262A CN109949262A (zh) | 2019-06-28 |
| CN109949262B true CN109949262B (zh) | 2024-02-13 |
Family
ID=67005042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711372102.6A Active CN109949262B (zh) | 2017-12-19 | 2017-12-19 | 图像处理装置及图像处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2019107453A (zh) |
| CN (1) | CN109949262B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102224627B1 (ko) * | 2019-04-08 | 2021-03-09 | 울산대학교 산학협력단 | 임신 1분기 초음파 이미지 분석 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101919709A (zh) * | 2010-08-05 | 2010-12-22 | 珠海仁威医疗科技有限公司 | 孕情管理与生殖健康服务b超一体机 |
| RU2567789C1 (ru) * | 2014-08-22 | 2015-11-10 | Государственное Бюджетное Образовательное Учреждение Высшего Профессионального Образования "Кубанский государственный медицинский университет" Министерства здравоохранения России (ГБОУ ВПО КубГМУ, Минздрава России) | Способ прогнозирования врожденных пороков развития плода у женщин |
| CN107480419A (zh) * | 2017-06-21 | 2017-12-15 | 湖北省妇幼保健院 | 胎儿出生缺陷智能化诊断系统 |
-
2017
- 2017-12-19 CN CN201711372102.6A patent/CN109949262B/zh active Active
-
2018
- 2018-12-19 JP JP2018237247A patent/JP2019107453A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101919709A (zh) * | 2010-08-05 | 2010-12-22 | 珠海仁威医疗科技有限公司 | 孕情管理与生殖健康服务b超一体机 |
| RU2567789C1 (ru) * | 2014-08-22 | 2015-11-10 | Государственное Бюджетное Образовательное Учреждение Высшего Профессионального Образования "Кубанский государственный медицинский университет" Министерства здравоохранения России (ГБОУ ВПО КубГМУ, Минздрава России) | Способ прогнозирования врожденных пороков развития плода у женщин |
| CN107480419A (zh) * | 2017-06-21 | 2017-12-15 | 湖北省妇幼保健院 | 胎儿出生缺陷智能化诊断系统 |
Non-Patent Citations (2)
| Title |
|---|
| 姚维妙 ; 黄荷凤 ; .超声对胚胎及胎儿安全性研究新进展.国外医学(计划生育分册).2006,(03),全文. * |
| 超声产前筛查6304例胎儿对预防出生缺陷的临床分析;王黎;罗玲;邵志艳;何晓会;许振环;马旭红;尚颖;;内蒙古医学杂志(S8);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019107453A (ja) | 2019-07-04 |
| CN109949262A (zh) | 2019-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6859445B2 (ja) | 脳卒中の診断及び予後予測方法システム及びその作動方法 | |
| US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| CN111161290B (zh) | 一种图像分割模型的构建方法、图像分割方法及系统 | |
| CN111227864B (zh) | 使用超声图像利用计算机视觉进行病灶检测的装置 | |
| WO2020024127A1 (zh) | 骨龄评估与身高预测模型、其系统及其预测方法 | |
| US8343053B2 (en) | Detection of structure in ultrasound M-mode imaging | |
| US8199994B2 (en) | Automatic analysis of cardiac M-mode views | |
| TWI684997B (zh) | 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法 | |
| CN106408566B (zh) | 一种胎儿超声图像质量控制方法及系统 | |
| CN111462049B (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
| CN110974306B (zh) | 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统 | |
| CN105979847A (zh) | 内窥镜图像诊断辅助系统 | |
| CN108052909B (zh) | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 | |
| Yaqub et al. | Automatic detection of local fetal brain structures in ultrasound images | |
| CN111950388A (zh) | 一种易损性斑块跟踪识别系统及方法 | |
| KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
| CN114419181A (zh) | Cta图像的重建方法及重建装置、显示方法及显示装置 | |
| CN109949262B (zh) | 图像处理装置及图像处理方法 | |
| CN105342641B (zh) | 一种超声成像方法、装置及其超声设备 | |
| CN111820948A (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
| CN109636843B (zh) | 一种羊水指数的测量方法、超声成像设备及存储介质 | |
| KR101496198B1 (ko) | 3차원 초음파 촬영장치 및 그 운영방법 | |
| CN114092399A (zh) | 病灶标记方法、装置、电子设备及可读存储介质 | |
| CN112614103A (zh) | 基于深度学习的气管镜图像特征比对标记系统及方法 | |
| RU120799U1 (ru) | Система поиска областей интереса в трехмерных медицинских изображениях |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |