CN116157821A - 胎儿颜面部容积图像修复方法和超声成像系统 - Google Patents
胎儿颜面部容积图像修复方法和超声成像系统 Download PDFInfo
- Publication number
- CN116157821A CN116157821A CN202080103766.6A CN202080103766A CN116157821A CN 116157821 A CN116157821 A CN 116157821A CN 202080103766 A CN202080103766 A CN 202080103766A CN 116157821 A CN116157821 A CN 116157821A
- Authority
- CN
- China
- Prior art keywords
- image
- fetal
- face
- data
- fetal face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001605 fetal effect Effects 0.000 title claims abstract description 262
- 238000000034 method Methods 0.000 title claims abstract description 140
- 238000003384 imaging method Methods 0.000 title abstract description 28
- 238000009877 rendering Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000008439 repair process Effects 0.000 claims abstract description 55
- 210000003754 fetus Anatomy 0.000 claims abstract description 54
- 230000001815 facial effect Effects 0.000 claims abstract description 39
- 239000000523 sample Substances 0.000 claims abstract description 34
- 238000012285 ultrasound imaging Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 238000002592 echocardiography Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 description 46
- 230000005540 biological transmission Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010058314 Dysplasia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000002826 placenta Anatomy 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种胎儿颜面部容积图像修复方法和超声成像系统，该方法包括：通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；基于深度学习算法和/或图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理；对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；显示所述渲染图像。所述方法根据现有容积图像数据对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎儿颜面部渲染成像的质量，以降低医生采集胎儿颜面部超声三维渲染图时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
Description
说明书
本申请涉及超声成像技术领域，更具体地涉及胎儿颜面部容积图像修复方法和超声成像系统。
现代医学影像检查中，超声技术因其高可靠性、快速便捷、实时成像以及可重复检查等优点，已经成为应用最广、使用频率最高同时新技术普及应用最快的检查手段之一。尤其是在产科中，超声已经是产科中最主要的检查技术；超声检查可以避免X光，CT等技术的放射性危害；同时相较于MR技术具有可实时成像，价格低廉的优点。
产科的超声检查中可以对胎儿进行包括形态学、呼吸系统、神经系统等生理系统的全方位评估和筛查，提前发现各类新生儿病理问题。伴随着3D/4D等新的超声技术的出现，也逐渐增加了一些新的产科检查内容，例如胎儿的颜面部3D/4D成像。
在临床使用中，超声数据渲染的结果往往受超声数据限制，例如胎儿姿态、胎儿在母体内的相对位置以及胎盘遮挡等问题都会导致渲染结果成像质量变差，医生通常需要反复多次采集，有时还需要孕妇反复走动以改变胎儿姿态和位置，该过程费时费力，影响医生工作效率。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
本申请实施例第一方面提供一种胎儿颜面部容积图像修复方法，包括：
通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；
对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；
基于深度学习算法和/或图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理；
对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；
显示所述渲染图像。
本申请实施例第二方面提供一种胎儿颜面部容积图像修复方法，包括：
通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；
对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；
对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的初始渲染图像；
基于深度学习算法和/或图像修复算法对所述胎儿颜面部的初始渲染图像进行修复处理；
显示修复处理后的所述渲染图像。
本申请实施例第三方面提供一种胎儿颜面部容积图像修复方法，包括：
获取胎儿颜面部的容积图像数据；
对所述胎儿颜面部的容积图像数据进行修复处理；
对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；
显示所述渲染图像。
本申请实施例第四方面提供一种胎儿颜面部容积图像修复方法，包括：
获取胎儿颜面部的容积图像数据；
对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的初始渲染图像；
对所述胎儿颜面部的初始渲染图像进行修复处理；
显示修复处理后的所述渲染图像。
根据权利要求所述的胎儿颜面部容积图像修复方法，其特征在于，所述修复处理包括对所述胎儿颜面部缺失的部分数据进行填补，和/或对所述胎儿颜面部被遮挡的部分数据进行去除。
本申请实施例第五方面提供一种超声成像系统，包括：
超声探头；
发射电路，用于激励所述超声探头发射超声波；
接收电路，用于通过所述超声探头接收所述超声波的回波，以获得超声回波信号；
显示器，用于输出可视化信息；
处理器，用于执行如前文所述方法的步骤。
根据本申请实施例的胎儿颜面部容积图像修复方法和超声成像系统，在获取胎儿颜面部的容积图像数据之后，对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎儿颜面部渲染成像的质量，以降低医生采集胎儿颜面部的图像数据时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
在附图中：
图1示出根据本申请实施例的超声成像系统的示意性框图；
图2示出根据本发明一实施例的胎儿颜面部容积图像修复方法的示意性流程图；
图3示出根据本发明另一实施例的胎儿颜面部容积图像修复方法的示意性流程图；
图4示出根据本发明另一实施例的胎儿颜面部容积图像修复方法的示意性流程图；
图5示出根据本发明又一实施例的胎儿颜面部容积图像修复方法的示意性流程图。
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一 部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本申请更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本申请能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本申请的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本申请的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本申请，将在下列的描述中提出详细的结构，以便阐释本申请提出的技术方案。本申请的可选实施例详细描述如下，然而除了这些详细描述外，本申请还可以具有其他实施方式。
本申请提供的胎儿颜面部容积图像修复方法和超声成像系统可以应用于人体，也可以应用于各种动物。
下面，首先参考图1描述根据本申请一个实施例的超声成像系统，图1示出了根据本申请实施例的超声成像系统100的示意性结构框图。
如图1所示，超声成像系统100包括超声探头110、发射/接收电路112、处理器114、显示器116以及存储器118。进一步地，超声成像系统100还可以包括波束合成电路和发射/接收选择开关等。
具体地，超声探头110包括多个换能器阵元，多个换能器阵元可以排列成一排构成线阵，或排布成二维矩阵构成面阵，多个换能器阵元也可以构成凸阵列。换能器用于根据激励电信号发射超声波，或将接收的超声波转换为 电信号，因此每个阵元可用于实现电脉冲信号和超声波的相互转换，从而实现向被测对象的目标区域的组织发射超声波、也可用于接收经组织反射回的超声波回波。在进行超声成像时，可通过发射序列和接收序列控制哪些换能器用于发射超声波，哪些换能器用于接收超声波，或者控制换能器分时隙用于发射超声波或接收超声波的回波。参与超声波发射的换能器可以同时被电信号激励，从而同时发射超声波；或者，参与超声波束发射的换能器也可以被具有一定时间间隔的若干电信号激励，从而持续发射具有一定时间间隔的超声波。
发射/接收电路112可以通过发射/接收选择开关与超声探头110连接。发射/接收选择开关也可以被称为发送/接收控制器，其可以包括发送控制器和接收控制器，发送控制器用于激励超声探头110经由发射电路向胎儿颜面部所在区域发射超声波；接收控制器用于通过超声探头110经由接收电路接收从胎儿颜面部所在区域返回的超声回波，从而获得超声回波数据。之后，发射/接收电路112将超声回波的电信号送入波束合成电路，波束合成电路对该电信号进行聚焦延时、加权和通道求和等处理，然后将处理后的超声回波数据送入处理器114。
可选地，处理器114可以通过软件、硬件、固件或其任意组合来实现，可以使用电路、单个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路和/或器件的任意组合、或者其他适合的电路或器件，从而使得处理器114可以执行本说明书中的各个实施例中的方法的相应步骤。并且，处理器114可以控制所述超声成像系统100中的其它组件以执行期望的功能。
处理器114对其接收到的超声回波数据进行处理，得到胎儿颜面部的容积图像数据。作为示例，超声探头110在一系列扫描平面内发射/接收超声波，由处理器114根据其三维空间关系进行整合，实现胎儿颜面部在空间的扫描以及图像的重建。最后，由处理器114对其进行去噪、平滑、增强等部分或全部图像后处理步骤后，获取胎儿颜面部的容积图像数据。处理器114可以获取胎儿颜面部的容积图像数据。处理器114还用于对所述容积图像数据进行修复处理，然后对修复处理后的数据进行渲染，以得到渲染图像；处理器114还用于对所述容积图像数据进行渲染，得到所述胎儿颜面部的初始渲染 图像；对所述胎儿颜面部的初始渲染图像进行修复处理。处理器114得到的渲染图像可以存储于存储器中或在显示器116上显示。
显示器116与处理器114连接，显示器116可以为触摸显示屏、液晶显示屏等；或者显示器116可以为独立于超声成像系统100之外的液晶显示器、电视机等独立显示设备；或者显示器116可以是智能手机、平板电脑等电子设备的显示屏，等等。其中，显示器116的数量可以为一个或多个。例如，显示器116可以包括主屏和触摸屏，主屏主要用于显示超声图像，触摸屏主要用于人机交互。
显示器116可以显示处理器114得到的超声图像。此外，显示器116在显示超声图像的同时还可以提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互装置输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如，在图形界面上显示图标，利用人机交互装置可以对该图标进行操作，用来执行特定的功能。
可选地，超声成像系统100还可以包括显示器116之外的其他人机交互装置，其与处理器114连接，例如，处理器114可以通过外部输入/输出端口与人机交互装置连接，外部输入/输出端口可以是无线通信模块，也可以是有线通信模块，或者两者的组合。外部输入/输出端口也可基于USB、如CAN等总线协议、和/或有线网络协议等来实现。
其中，人机交互装置可以包括输入设备，用于检测用户的输入信息，该输入信息例如可以是对超声波发射/接收时序的控制指令，可以是在超声图像上绘制出点、线或框等的操作输入指令，或者还可以包括其他指令类型。输入设备可以包括键盘、鼠标、滚轮、轨迹球、移动式输入设备(比如带触摸显示屏的移动设备、手机等等)、多功能旋钮等等其中之一或者多个的结合。人机交互装置还可以包括诸如打印机之类的输出设备。
超声成像系统100还可以包括存储器，用于存储处理器执行的指令、存储接收到的超声回波、存储超声图像，等等。存储器可以为闪存卡、固态存储器、硬盘等。其可以为易失性存储器和/或非易失性存储器，为可移除存储器和/或不可移除存储器等。
应理解，图1所示的超声成像系统100所包括的部件只是示意性的，其可以包括更多或更少的部件。本申请对此不限定。
下面，将参考图2描述根据本申请实施例的胎儿颜面部容积图像修复方法。图2是本申请实施例的胎儿颜面部容积图像修复方法200的一个示意性流程图。
如图2所示，本申请一个实施例的胎儿颜面部容积图像修复方法200包括如下步骤：
首先，在步骤S210，通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号。
其中，胎儿的颜面部的渲染成像可以直观的发现胎儿的颜面部发育异常，例如兔唇等；另一方面，相比于抽象的B模图像，颜面部的渲染图能更生动的展示胎儿在宫腔内的实际状况，可以在早孕期实现胎儿的结构检查及畸形筛查，能够尽可能早地为孕妇提供相关的妊娠信息。
示例性地，可以基于图1所示的超声成像系统100进行超声图像采集。用户移动超声探头110选择合适的位置和角度，发射/接收电路120中的发射电路将一组经过延迟聚焦的脉冲发送到超声探头110，超声探头110沿2D扫描平面向胎儿颜面部发射超声波形。超声探头110接收到反射回的超声回波后，将其转化为电信号，由波束合成电路对多次发射/接收得到的信号进行聚焦延时、加权和通道求和的处理，实现波束合成，再送入处理器114进行后续的信号处理。
在步骤S220，对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据。
其中，该胎儿颜面部的容积图像数据可是三维体数据，还可以是四维体数据，在此不做限定。
在本申请的一实施例中，可以对超声探头110在一系列扫描平面内发射/接收获得的超声回波的三维空间关系进行整合，从而实现胎儿颜面部在三维空间的扫描以及3D图像的重建。最后，经过去噪、平滑、增强等部分或全部图像后处理步骤后，获得胎儿颜面部的容积图像数据。
在本申请的一实施例中，一个完整的探头扇扫周期都经过以上处理完成后即获得一卷重建前的(极坐标)体数据，然后将体数据送入3D重建模块，即可获得重建后的(直角坐标系)体数据。经过图像绘制，渲染等后处理，得到可视化信息，然后送到显示器进行显示。其中，4D超声则是在时间维度上重复以上过程，获得多卷体数据并逐个显示。
在下面的实施例中，在不进行特殊说明的情况下，均以三维体数据为例进行详细的说明。
其中，可以获取胎儿头部的三维超声数据，也可以仅获取胎儿颜面部区域的三维数据。
在本申请实施例中，在该三维体数据中还可以截取包含关键信息的二维切面，以在后续的步骤中逐帧的对多个二维切面分别进行修复。
在步骤S230，基于深度学习算法和/或图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理。
在本申请的一实施例中，先对该胎儿颜面部的容积图像数据进行修复处理，然后将修复后的该胎儿颜面部的容积图像数据进行渲染，进而得到该胎儿颜面部的渲染图像。
在该步骤中，对该胎儿颜面部的容积图像数据进行修复处理可以根据该容积图像数据的具体情况进行不同的修复处理，例如在一实施例中当该胎儿颜面部的部分数据缺失时，该修复处理可以为对缺失的部分数据进行填补；在另一实施例中，当该胎儿颜面部的部分被遮挡时，既可以对该遮挡部分进行填补，还可以去除对胎儿颜面部形成遮挡的数据，以露出胎儿颜面部被遮挡的区域，从而完整的显示胎儿颜面部。
该修复处理可以使用基于深度学习算法的增强方法，以达到更好的增强效果；也可以用基于传统的图像修复算法的增强方法达到一定增强效果。
在本申请该修复处理中，可以直接使用三维体数据作为输入进行该修复处理，也可以选取该三维体数据中的多个二维切面并逐帧的对多个二维切面分别做修复处理，达到数据修复的目的。在上述两种方法中，该修复处理方法在实现时只是具体使用的算法维度和特征维度等存在差异，其修复处理的具体步骤是类似的，都可以使用基于深度学习算法或传统图像修复方法实现。
在本申请的一实施例中通过深度学习算法对该胎儿颜面部的容积图像数据进行修复处理。具体地，基于深度学习算法生成式模型(后续简称生成模型)的修复方法是通过生成模型来学习大量胎儿颜面部的容积图像数据的特征空间分布，学习好的生成模型能够推理出输入的低质量的容积图像数据的缺失部分或者遮挡等影响因素，进而生成与输入的低质量的容积图像数据相对应的高质量的修复后的容积图像数据，从而实现胎儿颜面部的修复。
需要说明的是，该胎儿颜面部能完整显示的容积图像数据称为高质量数 据，该胎儿颜面部缺失的数据和/或胎儿颜面部被遮挡的容积图像数据称为低质量数据，即需要通过修复，以得到经修复处理的高质量数据，在不进行特殊说明的情况下，该高质量数据和该低质量数据均参照该解释。
深度学习算法对该胎儿颜面部的容积图像数据进行修复处理的具体步骤包括：
第一：建立数据库，该步骤为构建深度学习算法的生成模型训练所需的数据库，以用于生成模型学习大量胎儿颜面部的数据的特征空间分布。
其中，该数据库包括胎儿颜面部能完整显示的数据以及胎儿颜面部缺失的数据和/或胎儿颜面部被遮挡的数据。
在一实施例中，该数据库包括若干成对或不成对的胎儿颜面部的三维超声数据，其中成对的三维超声数据是指低质量数据和高质量数据来自同一个胎儿，且采集条件相近；其中不成对的数据是指数据库中一对低质量数据和高质量数据并非来自于同一个胎儿。需要说明的是，数据是否成对只影响最终使用何种生成模型实现增强，且两者也并不是互斥的方法，即可以单独存在，也可以同时存在，在此不做限定。
第二：基于该数据库中建立具有修复处理功能的生成模型。
其中，该生成模型具有该修复处理的功能，用于以容积图像数据或容积图像数据中取出的切面作为输入，输出修复处理后的容积图像数据或切面。
可选地，常见的深度学习算法的生成式模型包括生成对抗网络(Generative Adversarial Network，GAN)，除了该抗生成网络外，基于深度学习算法的生成模型还包括很多其他变种，例如条件生成对抗网络(C-GAN)、W-GAN、Cycle-GAN等，均可实现低质量数据的增强。
在本申请的一实施例中，以生成对抗网络(Generative Adversarial Network，GAN)为例对基于该数据库中建立具有修复处理功能的生成模型的方法进行详细的说明。该生成对抗网络(Generative Adversarial Network，GAN)的构成通常包括两部分：生成器(generator)和鉴别器(discriminator)。
其中，生成器由编码器(encoder)和解码器(decoder)两部分构成，其中编码器的作用是将输入的胎儿颜面部的容积图像数据映射到特征空间，解码器则会将编码器的结果变换到增强后的特征空间，并且输出增强的结果，即得到修复处理后的该胎儿颜面部的容积图像数据。
可选地，该生成器除了包括编码器和解码器之外还会包括一个用来训练 生成器的判别器，判别器以生成器的结果作为输入；通过数据训练，判别器能够区分输入的胎儿颜面部的容积图像数据属于低质量数据还是高质量数据，因此可以用以评估生成器的输出是否符合增强后的数据；当生成器的输出的结果更接近低质量数据时，判别器就会给一个很大的惩罚，训练生成器，使其输出结果接近高质量数据；反之判别器就会给一个很小的惩罚。使用成对或不成对胎儿颜面部的容积图像数据训练生成式模型，得到的生成模型可将输入的低质量数据增强为一个高质量数据。
第三：在该数据库中建立该生成模型之后，输入胎儿颜面部的容积图像数据，如上所述胎儿颜面部的容积图像数据可以为三维体数据或四维体数据，并不局限于某一种。
第四：根据该生成模型对输入胎儿颜面部的容积图像数据进行修复处理，以得到修复处理后的该胎儿颜面部的容积图像数据，并输出修复处理后的该胎儿颜面部的容积图像数据。
在本申请的另一实施例中，胎儿颜面部的容积图像数据使用传统的图像修复算法进行该修复处理。传统的图像修复算法通常使用图像块匹配(Patch Match)的方法实现，具体包括：
将胎儿颜面部的容积图像数据分为很小的图像块，然后通过计算胎儿颜面部的容积图像数据缺失区域或被遮挡区域的图像特征，该图像特征包括但不限于轮廓特征，纹理特征等，再在胎儿颜面部的容积图像数据中未缺失区域寻找一个与待修复的图像块的图像特征最匹配、相似度最高的图像块来填充当前缺失的图像块，实现图像修复。
在本申请的另一实施例中，可以建立数据库，通过大量样本的图像块构建一个图像块数据库，在使用图像修复算法进行修复时，首先选取当前输入的胎儿颜面部容积图像中的图像块，如果在当前输入的胎儿颜面部容积图像未缺失区域没有找到足够匹配的图像块，则在该图像块数据库中进行匹配，使用其他样本图像上的图像块来匹配当前待修复的胎儿颜面部容积图像。
在本申请的一实施例中，该深度学习算法和/或图像修复算法不需要用户指定该容积图像数据有问题的(缺失或遮挡)区域，由生成模型自动学习缺失或遮挡的位置。
此外，在上述两种修复处理的算法中，获取胎儿颜面部容积图像数据之后，可以先指定该胎儿颜面部容积图像数据中数据缺失或被遮挡的区域，然 后在指定的该区域中对数据缺失或被遮挡的区域进行该修复处理。
其中，指定该胎儿颜面部的容积图像数据中数据缺失或被遮挡的区域可以为自动方式或者手动方式，并不局限于某一种。
在本申请的另一实施例中，还可以通过用户通过手动方式在交互界面选用容积图像数据中数据缺失或被遮挡的区域，例如由用户通过交互界面使用点选、框定等方法指定缺失或遮挡的位置。又例如用户指定的区域以热点图(heat map)或掩模(mask)等形式进行标记。
在一示例中，在该深度学习算法中，用户指定的位置以热点图(heat map)或掩模(mask)等形式，与低质量数据一起作为生成模型的数据输入，然后通过前文所述的生成模型实现对低质量数据的修复处理。
在另一示例中，在该传统图像修复算法中，可以根据用户指定的位置，确定缺失或遮挡范围，再通过该传统的图像修复算法对具体位置进行修复。
需要说明的是上述手动方式中只是先通过手动的方式选定数据缺失或遮挡的位置或区域，然后再通过前文所述的深度学习算法或图像修复算法从大量样本中学习该容积图像数据的规律，进行该修复处理，从而实现对低质量数据的增强。
上述修复处理方法的数据并不局限于某一种，例如三维体数据或四维体数据。其中，该修复处理可以通过多个三维体数据修复处理，也可以通过单个三维体数据直接修复处理。
其中，使用单个三维体数据进行修复处理是直接根据三维体数据获得胎儿颜面部的结构特征，然后推测出缺失部分的具体结构，如前文所述的修复处理方法通过上述两种算法从大量样本中学习数据分布规律，当输入低质量数据时，生成模型可以根据输入的图像容积数据特征，推理出对应的高质量数据。
使用多卷三维体数据(即四维体数据)的修复处理是利用在不同时刻、不同角度下采集的多卷不同三维体数据进行合成，由于不同时刻、不同角度下采集的三维体数据状态都不一样，因此可以通过该方法将原本缺失或者遮挡的部分数据进行补全。例如在某个角度下该容积图像数据有缺失或者遮挡的部分，在其他角度可能是完整的，因此可以通过多个角度的数据相互融合得到一个更完整的数据。
在本申请的一实施例中，在多卷体数据中，在第一角度下胎儿颜面部容 积图像数据具有数据缺失或被遮挡的第一区域；在第二角度下胎儿颜面部容积图像数据中该第一区域能完整显示；将该第一角度和第二角度下的胎儿颜面部的容积图像数据相互融合，以将该第一角度下数据缺失或被遮挡的第一区域修复。
其中，上述将第一角度和第二角度下的胎儿颜面部的容积图像数据相互融合的方法为前文提及的深度学习算法和/或图像修复算法，不同之处在于使用不同时刻、不同角度的多卷体数据(四维体数据)作为输入，生成模型除了依靠从数据库中学习数据分布来推理出高质量数据以外，还可以从多卷体数据中获得更多额外的信息以实现数据的修复处理。
在该步骤S240中，对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；其中，该渲染方法可以为常规方法，在此不做限定。在该步骤S250中，显示所述渲染图像。
在步骤S240和步骤S250中根据修复处理后的该胎儿颜面部的容积图像数据，使用光线跟踪等三维渲染算法得到胎儿颜面部的VR渲染成像结果，将渲染图像在显示器中进行显示。
在一实施例中，获取修复后的三维体数据之后，可以对修复后的三维体数据使用可视化算法进行渲染，从而获得三维超声图像，并利用显示设备进行显示。该渲染例如包括表面绘制方法或体绘制方法等，本发明实施例对此不做限制。
在该修复方法中，在该步骤S220中，在得到该胎儿颜面部的容积图像数据之后，还可以包括对该胎儿颜面部的容积图像数据进行渲染，以得到胎儿颜面部的初始渲染图像。
在该超声成像系统中还可以设置切换装置，用于将修复处理后渲染得到的该渲染图像与该初始渲染图像之间的显示自由切换。其中，该切换装置可以为按钮，按键的方式，在此不做限定。
其中，该渲染图像为修复处理后得到的图像，部分的缺失数据或被遮挡的区域经修复得到，有些数据可能来源于其他胎儿，因此当显示图像切换至修复处理后得到的渲染图像时，输出并显示该渲染图像经修复得到的提示信息，以向医生给出提示：该渲染图像是经修复得出的，不能用于诊断。
综上所述，上述胎儿颜面部容积图像修复方法在获取胎儿颜面部的容积图像数据之后，对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎 儿颜面部的成像的质量，以降低医生采集胎儿颜面部超声三维渲染图时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
现在重新参照图1，本申请实施例所提供的超声成像系统100可以用于实现上述胎儿颜面部容积图像修复方法200。如上所述，超声成像系统100可以包括超声探头110、发射/接收电路112、处理器114以及显示器116，各个部件的相关描述可以参照上文。
当用于实现超声成像方法200时，发射/接收电路112用于激励该超声探头110向胎儿颜面部发射超声波，并接收该超声波的回波，以获得超声回波信号；处理器114，用于：对该超声回波信号进行处理，得到该胎儿颜面部的容积图像数据；基于深度学习算法和/或图像修复算法对该胎儿颜面部的容积图像数据进行修复处理；对修复处理后的该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的渲染图像；显示器116用于显示该渲染图像。
在一个实施例中，显示器116还用于显示该渲染图像。超声成像系统100中还可以设置切换装置，用于将修复处理后渲染得到的渲染图像与该初始渲染图像之间的显示自由切换。当显示图像切换至修复处理后渲染得到的渲染图像时，输出并显示该图像经修复得到的提示信息，以向医生给出提示：该图像是经修复得出的，不能用于诊断。
以上仅描述了超声成像系统100各部件的主要功能，更多细节参见对胎儿颜面部容积图像修复方法200进行的相关描述。本申请实施例的超声成像系统100能够对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎儿颜面部渲染成像的质量。
下面，将参考图3描述根据本申请另一实施例的胎儿颜面部容积图像修复方法。图3是本申请实施例的胎儿颜面部容积图像修复方法300的一个示意性流程图。
如图3所示，该胎儿颜面部容积图像修复方法300包括如下步骤：
在步骤S310，通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；
在步骤S320，对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；
在步骤S330，对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎 儿颜面部的初始渲染图像；
在步骤S340，基于深度学习算法和/或图像修复算法对所述胎儿颜面部的初始渲染图像进行修复处理；
在步骤S350，显示修复处理后的所述渲染图像。
根据本申请实施例的胎儿颜面部容积图像修复方法300中的步骤S310、步骤S320以及步骤S350与参考图2描述的胎儿颜面部容积图像修复方法200中的步骤S210、步骤S220以及步骤S250大体上类似，为了简洁，此处不再赘述相同的细节内容。
其中，步骤S330和步骤S340与步骤S230和步骤S240的区别在于步骤S230和步骤S240先对该胎儿颜面部的容积图像数据进行修复处理，然后将修复后的该胎儿颜面部的容积图像数据进行渲染，进而得到该胎儿颜面部的渲染图像，而在步骤S330和步骤S340中则是先对该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的初始渲染图像，然后再对初始渲染图像进行修复处理，因此区别在于渲染和修复处理的先后顺序不同。
其中，步骤S330中的渲染方法可以参照步骤S240，其中，步骤S340中的修复处理可以参照步骤S240中的修复方法，只是修复的数据类型不同，但方法类似，在此不再赘述。
现在重新参照图1，本申请实施例所提供的超声成像系统100可以用于实现上述胎儿颜面部容积图像修复方法300。如上所述，超声成像系统100可以包括超声探头110、发射/接收电路112、处理器114以及显示器116，各个部件的相关描述可以参照上文。
当用于实现超声成像方法300时，发射/接收电路112用于激励该超声探头110向胎儿颜面部发射超声波，并接收该超声波的回波，以获得超声回波信号；处理器114用于：对该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的初始渲染图像；基于深度学习算法和/或图像修复算法对该胎儿颜面部的初始渲染图像进行修复处理；显示器116用于显示修复处理后的渲染图像。
以上仅描述了超声成像系统100各部件的主要功能，更多细节参见对胎儿颜面部容积图像修复方法300进行的相关描述。
本申请实施例的胎儿颜面部容积图像修复方法300以及超声成像系统在获取胎儿颜面部的容积图像数据之后，对缺失、遮挡或质量较差的容积图像 数据进行修复，提高胎儿颜面部渲染成像的质量，以降低医生采集胎儿颜面部超声三维渲染图时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
下面，将参考图4描述根据本申请另一实施例的胎儿颜面部容积图像修复方法。图4是本申请实施例的胎儿颜面部容积图像修复方法400的一个示意性流程图。
如图4所示，本申请一个实施例的胎儿颜面部容积图像修复方法400包括如下步骤：
在步骤S410，获取胎儿颜面部的容积图像数据；
在步骤S420，对所述胎儿颜面部的容积图像数据进行修复处理；
在步骤S430，对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；
在步骤S440，显示所述渲染图像。
根据本申请实施例的胎儿颜面部容积图像修复方法400中的步骤S430以及步骤S440与参考图2描述的胎儿颜面部容积图像修复方法200中的步骤S240以及步骤S250大体上类似，为了简洁，此处不再赘述相同的细节内容，以下主要对步骤S410和步骤S420进行详细描述。
在胎儿颜面部容积图像修复方法400中，步骤S410获取胎儿颜面部的容积图像数据的方法并不局限于某一种，可以选用图2描述的胎儿颜面部容积图像修复方法200中的步骤S210、步骤S220，具体步骤可以参照前文相关内容，在此不再赘述，当然还可以选用步骤S210和步骤S220之外的方法，在此不做限定。
步骤S420中对该胎儿颜面部的容积图像数据进行修复处理，以得到完整的胎儿颜面部的容积图像数据，其中，修复方法可以基于深度学习算法和/或图像修复算法，如图2描述的胎儿颜面部容积图像修复方法200中的步骤S230，具体步骤可以参照前文相关内容，在此不再赘述，当然还可以选用步骤S230之外的方法，在此不做限定。
现在重新参照图1，本申请实施例所提供的超声成像系统100可以用于实现上述胎儿颜面部容积图像修复方法400。如上所述，超声成像系统100可以包括超声探头110、发射/接收电路112、处理器114以及显示器116，各 个部件的相关描述可以参照上文。
当用于实现超声成像方法400时，发射/接收电路112用于激励该超声探头110向胎儿颜面部发射超声波，并接收该超声波的回波，以获得超声回波信号；处理器114，用于：对该胎儿颜面部的容积图像数据进行修复处理；对修复处理后的该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的渲染图像；显示器116用于显示该渲染图像。
以上仅描述了超声成像系统100各部件的主要功能，更多细节参见对胎儿颜面部容积图像修复方法400进行的相关描述。
本申请实施例的胎儿颜面部容积图像修复方法400以及超声成像系统在获取胎儿颜面部的容积图像数据之后，对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎儿颜面部渲染成像的质量，以降低医生采集胎儿颜面部超声三维渲染图时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
下面，将参考图5描述根据本申请另一实施例的胎儿颜面部容积图像修复方法。图5是本申请实施例的胎儿颜面部容积图像修复方法500的一个示意性流程图。
如图5所示，本申请一个实施例的胎儿颜面部容积图像修复方法500包括如下步骤：
在步骤S510，获取胎儿颜面部的容积图像数据；
在步骤S520，对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；
在步骤S530，对所述胎儿颜面部的渲染图像进行修复处理；
在步骤S540，显示修复处理后的所述渲染图像。
根据本申请实施例的胎儿颜面部容积图像修复方法500中的步骤S540与参考图2描述的胎儿颜面部容积图像修复方法200中的步骤S250大体上类似，为了简洁，此处不再赘述相同的细节内容。
在胎儿颜面部容积图像修复方法500中，步骤S510获取胎儿颜面部的容积图像数据的方法并不局限于某一种，可以选用图2描述的胎儿颜面部容积图像修复方法200中的步骤S210、步骤S220，具体步骤可以参照前文相关内容，在此不再赘述，当然还可以选用步骤S210和步骤S220之外的方法，在 此不做限定。
其中，步骤S520和步骤S530与步骤S230和步骤S240的区别在于步骤S230和步骤S240先对该胎儿颜面部的容积图像数据进行修复处理，然后将修复后的该胎儿颜面部的容积图像数据进行渲染，进而得到该胎儿颜面部的渲染图像，而在步骤S520和步骤S530中则是先对该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的初始渲染图像，然后再对初始渲染图像进行修复处理，因此区别在于渲染和修复处理的先后顺序不同。
其中，步骤S520中的渲染方法可以参照步骤S240，其中，步骤S520中的修复处理可以参照步骤S240中的修复方法，只是修复的数据类型不同，但方法类似，在此不再赘述。
步骤S530中对该胎儿颜面部的容积图像数据进行修复处理，以得到完整的胎儿颜面部的容积图像数据，其中，修复方法可以基于深度学习算法和/或图像修复算法，如图2描述的胎儿颜面部容积图像修复方法200中的步骤S230，具体步骤可以参照前文相关内容，在此不再赘述，当然还可以选用步骤S230之外的方法，在此不做限定。
现在重新参照图1，本申请实施例所提供的超声成像系统100可以用于实现上述胎儿颜面部容积图像修复方法500。如上所述，超声成像系统100可以包括超声探头110、发射/接收电路112、处理器114以及显示器116，各个部件的相关描述可以参照上文。
当用于实现超声成像方法500时，发射/接收电路112用于激励该超声探头110向胎儿颜面部发射超声波，并接收该超声波的回波，以获得超声回波信号；处理器114用于：对该胎儿颜面部的容积图像数据进行渲染，得到该胎儿颜面部的初始渲染图像；对该胎儿颜面部的初始渲染图像进行修复处理；显示器116用于显示修复处理后的渲染图像。
以上仅描述了超声成像系统100各部件的主要功能，更多细节参见对胎儿颜面部容积图像修复方法500进行的相关描述。
本申请实施例的胎儿颜面部容积图像修复方法500以及超声成像系统在获取胎儿颜面部的容积图像数据之后，对缺失、遮挡或质量较差的容积图像数据进行修复，提高胎儿颜面部渲染成像的质量，以降低医生采集胎儿颜面部超声三维渲染图时对胎儿姿态等成像条件的依赖，提升医生的工作效率，实现更高效的临床工作流。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (21)
- 一种胎儿颜面部容积图像修复方法，其特征在于，包括：通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；基于深度学习算法和/或图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理；对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；显示所述渲染图像。
- 根据权利要求1所述的胎儿颜面部容积图像修复方法，其特征在于，所述修复处理包括对所述胎儿颜面部缺失的部分数据进行填补，和/或去除对胎儿颜面部形成遮挡的数据，以露出胎儿颜面部被遮挡的区域。
- 根据权利要求2所述的胎儿颜面部容积图像修复方法，其特征在于，基于深度学习算法对所述胎儿颜面部的容积图像数据进行修复处理包括：建立数据库，所述数据库包括胎儿颜面部能完整显示的数据以及胎儿颜面部缺失的数据和/或胎儿颜面部被遮挡的数据；基于所述数据库中建立具有修复处理功能的生成模型；输入胎儿颜面部的容积图像数据；根据所述生成模型对输入胎儿颜面部的容积图像数据进行修复处理并输出修复处理后的所述胎儿颜面部的容积图像数据。
- 根据权利要求3所述的胎儿颜面部容积图像修复方法，其特征在于，直接使用胎儿颜面部容积图像的三维体数据作为输入进行所述修复处理；或逐帧地对胎儿颜面部容积图像的三维体数据中的多个二维切面进行所述修复处理。
- 根据权利要求2所述的胎儿颜面部容积图像修复方法，其特征在于，基于图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理包括：将获取的胎儿颜面部容积图像分为多个图像块；计算胎儿颜面部容积图像中数据缺失区域的图像特征；选取与所述图像特征匹配的图像块；将选取的所述图像块填充于数据缺失区域，以实现胎儿颜面部容积图像 的修复。
- 根据权利要求1所述的胎儿颜面部容积图像修复方法，其特征在于，获取胎儿颜面部容积图像数据之后，指定所述胎儿颜面部容积图像数据中数据缺失或被遮挡的区域，对数据缺失或被遮挡的区域进行所述修复处理。
- 根据权利要求1所述的胎儿颜面部容积图像修复方法，其特征在于，获取的胎儿颜面部容积图像数据包括同一胎儿在不同角度的多卷体数据，所述多卷体数据中包括在第一角度下所述胎儿颜面部容积图像数据具有数据缺失或被遮挡的第一区域，以及在第二角度下所述胎儿颜面部容积图像数据中所述第一区域能完整显示；所述基于深度学习算法和/或图像修复算法对所述胎儿颜面部的容积图像数据进行修复处理包括：将所述第一角度和第二角度下的所述胎儿颜面部容积图像数据相互融合，以将所述第一角度下数据缺失或被遮挡的第一区域修复。
- 根据权利要求1所述胎儿颜面部容积图像修复方法，其特征在于，所述方法还包括：对所述胎儿颜面部的容积图像数据进行渲染，以得到胎儿颜面部的初始渲染图像；修复处理后渲染得到的所述渲染图像与所述初始渲染图像的显示能通过切换指令自由切换。
- 根据权利要求8所述胎儿颜面部容积图像修复方法，其特征在于，当显示图像切换至修复处理后渲染得到的所述渲染图像时，输出并显示该图像经修复得到的提示信息。
- 一种胎儿颜面部容积图像修复方法，其特征在于，包括：通过超声探头向胎儿颜面部发射超声波，并接收所述超声波的回波，以获得超声回波信号；对所述超声回波信号进行处理，得到所述胎儿颜面部的容积图像数据；对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的初始渲染图像；基于深度学习算法和/或图像修复算法对所述胎儿颜面部的初始渲染图像进行修复处理；显示修复处理后的所述渲染图像。
- 根据权利要求10所述的胎儿颜面部容积图像修复方法，其特征在于，所述修复处理包括对所述胎儿颜面部缺失的部分数据进行填补，和/或去除对胎儿颜面部形成遮挡的数据，以露出胎儿颜面部被遮挡的区域。
- 根据权利要求11所述的胎儿颜面部容积图像修复方法，其特征在于，基于深度学习算法对所述胎儿颜面部的渲染图像进行修复处理包括：建立数据库，所述数据库包括胎儿颜面部能完整显示的数据以及胎儿颜面部缺失的数据和/或胎儿颜面部被遮挡的数据；基于所述数据库中的数据建立具有修复处理功能的生成模型；输入胎儿颜面部的渲染图像；根据所述生成模型对输入的胎儿颜面部的渲染图像进行修复处理并输出修复处理后的所述胎儿颜面部的渲染图像。
- 根据权利要求12所述的胎儿颜面部容积图像修复方法，其特征在于，基于图像修复算法对所述胎儿颜面部的渲染图像进行修复处理包括：将胎儿颜面部的渲染图像分为多个图像块；计算胎儿颜面部的渲染图像中数据缺失区域的图像特征；选取与所述图像特征匹配的图像块；将选取的所述图像块填充于数据缺失区域，以实现胎儿颜面部的渲染图像的修复。
- 根据权利要求10所述的胎儿颜面部容积图像修复方法，其特征在于，获取的胎儿颜面部容积图像数据包括同一胎儿在不同角度的多卷体数据，所述多卷体数据中包括在第一角度下所述胎儿颜面部容积图像数据具有数据缺失或被遮挡的第一区域，以及在第二角度下所述胎儿颜面部容积图像数据中所述第一区域能完整显示；所述基于深度学习算法和/或图像修复算法对所述胎儿颜面部的初始渲染图像进行修复处理包括：将所述第一角度和第二角度下的所述胎儿颜面部的渲染图像相互融合，以将所述第一角度下数据缺失或被遮挡的第一区域修复。
- 根据权利要求10所述胎儿颜面部容积图像修复方法，其特征在于，所述方法还包括：修复处理后的所述渲染图像与所述初始渲染图像的显示能通过切换指令自由切换。
- 根据权利要求15所述胎儿颜面部容积图像修复方法，其特征在于，当显示图像切换至修复处理后的所述渲染图像时，输出并显示该图像经修复得到的提示信息。
- 一种胎儿颜面部容积图像修复方法，其特征在于，包括：获取胎儿颜面部的容积图像数据；对所述胎儿颜面部的容积图像数据进行修复处理；对修复处理后的所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的渲染图像；显示所述渲染图像。
- 根据权利要求17所述的胎儿颜面部容积图像修复方法，其特征在于，所述修复处理包括对所述胎儿颜面部缺失的部分数据进行填补，和/或去除对胎儿颜面部形成遮挡的数据，以露出胎儿颜面部被遮挡的区域。
- 一种胎儿颜面部容积图像修复方法，其特征在于，包括：获取胎儿颜面部的容积图像数据；对所述胎儿颜面部的容积图像数据进行渲染，得到所述胎儿颜面部的初始渲染图像；对所述胎儿颜面部的初始渲染图像进行修复处理；显示修复处理后的所述渲染图像。
- 根据权利要求19所述的胎儿颜面部容积图像修复方法，其特征在于，所述修复处理包括对所述胎儿颜面部缺失的部分数据进行填补，和/或去除对胎儿颜面部形成遮挡的数据，以露出胎儿颜面部被遮挡的区域。
- 一种超声成像系统，其特征在于，包括：超声探头；发射电路，用于激励所述超声探头发射超声波；接收电路，用于通过所述超声探头接收所述超声波的回波，以获得超声回波信号；显示器，用于输出可视化信息；处理器，用于执行如权利要求1至20任一项所述方法的步骤。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/138631 WO2022133806A1 (zh) | 2020-12-23 | 2020-12-23 | 胎儿颜面部容积图像修复方法和超声成像系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116157821A true CN116157821A (zh) | 2023-05-23 |
Family
ID=82157092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080103766.6A Pending CN116157821A (zh) | 2020-12-23 | 2020-12-23 | 胎儿颜面部容积图像修复方法和超声成像系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116157821A (zh) |
| WO (1) | WO2022133806A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721194B (zh) * | 2023-08-09 | 2023-10-24 | 瀚博半导体(上海)有限公司 | 基于生成模型的人脸渲染方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5422264B2 (ja) * | 2009-06-09 | 2014-02-19 | 株式会社東芝 | 超音波診断装置及び医用画像処理装置 |
| US11957515B2 (en) * | 2018-02-27 | 2024-04-16 | Koninklijke Philips N.V. | Ultrasound system with a neural network for producing images from undersampled ultrasound data |
| CN110211193B (zh) * | 2019-05-17 | 2020-08-04 | 山东财经大学 | 三维ct层间图像插值修复与超分辨处理方法及装置 |
| CN110584712B (zh) * | 2019-09-17 | 2022-03-18 | 青岛海信医疗设备股份有限公司 | 胎儿面部成像方法、装置及存储介质 |
| CN111612713B (zh) * | 2020-05-19 | 2023-11-03 | 深圳度影医疗科技有限公司 | 一种三维超声图像的去遮挡方法 |
-
2020
- 2020-12-23 CN CN202080103766.6A patent/CN116157821A/zh active Pending
- 2020-12-23 WO PCT/CN2020/138631 patent/WO2022133806A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022133806A1 (zh) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110325119B (zh) | 卵巢卵泡计数和大小确定 | |
| CN106659473B (zh) | 超声成像装置 | |
| WO2018089187A1 (en) | System and method for saving medical imaging data | |
| EP2302414A2 (en) | Ultrasound system and method of performing measurement on three-dimensional ultrasound image | |
| US9390546B2 (en) | Methods and systems for removing occlusions in 3D ultrasound images | |
| JP7010948B2 (ja) | 胎児超音波撮像 | |
| US20200170615A1 (en) | Ultrasound system with extraction of image planes from volume data using touch interaction with an image | |
| EP3621524B1 (en) | Fetal development monitoring | |
| US9366754B2 (en) | Ultrasound imaging system and method | |
| CN103442649A (zh) | 使用低成本换能器的自动多普勒速度测量法 | |
| US20120078101A1 (en) | Ultrasound system for displaying slice of object and method thereof | |
| CN116157821A (zh) | 胎儿颜面部容积图像修复方法和超声成像系统 | |
| CN117731327A (zh) | 三维剪切波弹性成像方法和超声成像系统 | |
| CN116171131A (zh) | 早孕期胎儿的超声成像方法和超声成像系统 | |
| CN109567861B (zh) | 超声成像方法及相关设备 | |
| CN115619941A (zh) | 一种超声成像方法及超声设备 | |
| CN105451662A (zh) | 用于医学成像与信息显示的方法和系统 | |
| CN115998334A (zh) | 消融效果的显示方法和超声成像系统 | |
| CN115813433A (zh) | 基于二维超声成像的卵泡测量方法和超声成像系统 | |
| JP5959880B2 (ja) | 超音波診断装置 | |
| US20230181165A1 (en) | System and methods for image fusion | |
| CN109276276B (zh) | 基于Labview平台的超声内窥成像系统及方法 | |
| CN115886878A (zh) | 弹性测量方法和超声成像设备 | |
| CN116269485A (zh) | 三维弹性成像方法和超声成像系统 | |
| CN117814840A (zh) | 早孕胎儿的超声成像方法和超声成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |