CN115619941A - 一种超声成像方法及超声设备 - Google Patents

一种超声成像方法及超声设备 Download PDF

Info

Publication number
CN115619941A
CN115619941A CN202211352167.5A CN202211352167A CN115619941A CN 115619941 A CN115619941 A CN 115619941A CN 202211352167 A CN202211352167 A CN 202211352167A CN 115619941 A CN115619941 A CN 115619941A
Authority
CN
China
Prior art keywords
organ
region
dimensional data
rendering
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211352167.5A
Other languages
English (en)
Inventor
陈文卉
刘超越
邹耀贤
林穆清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to CN202211352167.5A priority Critical patent/CN115619941A/zh
Publication of CN115619941A publication Critical patent/CN115619941A/zh
Priority to PCT/CN2023/127760 priority patent/WO2024093911A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Abstract

本发明提供了一种超声成像方法。该方法包括:获取被测对象的卵巢和卵巢包裹的多个卵泡的待渲染的三维数据;在三维数据中对卵巢对应的卵巢区域和多个卵泡对应的多个卵泡区域进行定位检测,以得到定位检测结果;基于定位检测结果,确定卵巢区域的不同部分对应的透明系数;以及根据所确定的透明系数对三维数据进行渲染,以得到卵巢区域和多个卵泡区域对应的渲染图像。在渲染图像中,卵巢区域的不同部分呈现不同的透明度。该方法使外侧的卵巢区域的不同部分呈现不同的透明度,增加了卵巢区域的立体感,呈现给用户位置关系清晰的渲染效果,使用户能够清楚地看到卵巢和卵泡之间的位置、大小和包含关系,提升了视觉体验感,有助于提高工作效率和准确性。

Description

一种超声成像方法及超声设备
技术领域
本发明涉及医疗器械的技术领域,更具体地,涉及一种超声成像方法及超声设备。
背景技术
人体中的很多器官或者组织结构存在包裹或者遮挡关系,如卵巢和卵泡、子宫和子宫内膜等等,此时,将不同的器官结构进行三维渲染显示时,就会看不到被遮挡的器官。因此,对外侧的器官进行透明渲染呈像可以更加清晰地表现出被遮挡器官的形状结构,以及两个器官的位置关系等,从而更好的协助医生进行临床诊断。例如,卵巢和卵泡三维混合渲染可以协助医生进行卵巢容受性分析,宫颈和宫体三维混合渲染可以使医生根据渲染出的宫颈和宫体的位置关系判断子宫的倾曲程度等。
在目前的混合渲染方式中,对需要透明显示的器官设置固定的透明系数,这使得器官渲染的立体感不够,无法体现器官在不同深度或角度的变换,视觉体验感较差,所呈现的器官之间的位置关系也不够清晰,可能会影响医生临床诊断的结果。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
鉴于上述技术问题,本发明的第一个方面提出了一种超声成像方法,包括:
获取被测对象的卵巢和所述卵巢包裹的多个卵泡的待渲染的三维数据;
在所述三维数据中对所述卵巢对应的卵巢区域和所述多个卵泡对应的多个卵泡区域进行定位检测,以得到定位检测结果;
基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数;以及
根据所确定的透明系数对所述三维数据进行渲染,以得到所述卵巢区域和所述多个卵泡区域对应的渲染图像,其中,在所述渲染图像中,所述卵巢区域的不同部分呈现不同的透明度。
本发明的第二个方面提出了一种超声成像方法,包括:
获取被测对象的第一器官和第二器官的待渲染的三维数据,其中所述第一器官至少部分地包裹所述第二器官;
在所述三维数据中对所述第一器官对应的第一器官区域和所述第二器官对应的第二器官区域进行定位检测,以得到定位检测结果;
基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数;以及
根据所确定的透明系数对所述三维数据进行渲染,以得到所述第一器官区域和所述第二器官区域的渲染图像,其中,在所述渲染图像中,所述第一器官区域的不同部分呈现不同的透明度。
本发明的第三个方面提出了一种超声设备,包括:
超声探头;
发射和接收电路,其被配置为控制所述超声探头向被测对象的目标组织发射超声波,并控制所述超声探头接收所述超声波的回波信号;
存储器,其用于存储计算机可执行指令;
处理器,其被配置为在执行所述计算机可执行指令时,根据所述回波信号获得三维数据,并执行上述实施例中任一项所述的超声成像方法以生成渲染图像;以及
显示器,其被配置为显示所述渲染图像。
根据本发明,当需要渲染存在包裹或遮挡关系的器官时,可以确定外侧器官不同部分对应的透明系数,从而使得外侧器官的不同部分呈现不同的透明度,增加了外侧器官的立体感,因此能够呈现给用户位置关系清晰的渲染效果,使得用户能够清楚地看到器官之间的位置、大小和包含关系等,提升了视觉体验感,并有助于提高工作效率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
在附图中:
图1示出了根据本发明实施例的超声设备的示意性框图;
图2示出了根据本发明实施例的超声成像方法的一个示意性流程图;
图3a-3c示出了根据本发明实施例的渲染图像的示意图;
图4示出了根据本发明实施例的超声成像方法的另一个示意性流程图;
图5示出了根据本发明实施例的计算设备的示意图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的结构,以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
本发明提供了一种超声成像方法和超声设备,当需要渲染存在包裹或遮挡关系的器官时,可以确定外侧器官不同部分对应的透明系数,从而使得外侧器官的不同部分呈现不同的透明度,增加了外侧器官的立体感,因此能够呈现给用户位置关系清晰的渲染效果,使得用户能够清楚地看到器官之间的位置、大小和包含关系等,提升了视觉体验感,并有助于增加诊断分析的准确性。
下面,首先参考图1描述根据本发明一个实施例的超声设备。图1示出了根据本发明实施例的超声设备的示意性框图。
如图1所示,超声设备100包括超声探头110、发射和接收电路111、处理器112、存储器113和显示器114。进一步地,超声设备100还可以包括波束合成电路和发射/接收选择开关等。
超声探头110通常包括多个阵元的阵列。在每次发射超声波时,超声探头110的所有阵元或者部分阵元参与超声波的发射。此时,这些参与超声波发射的阵元中的每个阵元或者每部分阵元分别受到发射脉冲的激励并分别发射超声波,这些阵元分别发射的超声波在传播过程中发生叠加,形成被发射到被测对象的感兴趣区域所在区域的合成超声波束。例如,感兴趣区域可以为卵巢区域、子宫区域等。
发射和接收电路111可以通过发射和接收选择开关与超声探头110耦合。发射和接收选择开关也可以被称为发送和接收控制器,其可以包括发送控制器和接收控制器。发送控制器用于激励超声探头110经由发射电路向被测对象的感兴趣区域发射超声波;接收控制器用于通过超声探头110经由接收电路接收从被测对象的感兴趣区域返回的超声回波,从而获得超声波的回波信号。之后,发射和接收电路111将回波信号送入波束合成电路,波束合成电路对该电信号进行聚焦延时、加权和通道求和等处理,然后将处理后的超声回波数据送入处理器112。
可选地,处理器112可以通过软件、硬件、固件或其任意组合来实现,可以使用电路、单个或多个专用集成电路(Application Specific IntegratedCircuit,ASIC)、单个或多个通用集成电路、单个或多个微处理器、单个或多个可编程逻辑器件、或者前述电路或器件的任意组合、或者其他适合的电路或器件,从而使得处理器112可以执行本说明书中的各个实施例中的方法的相应步骤。并且,处理器112可以控制超声设备100中的其它组件以执行期望的功能。
处理器112对其接收到的超声波的回波信号进行处理,得到被测对象的感兴趣区域的三维超声图像。在此过程中,超声探头110在一系列扫描平面内发射或接收超声波,由处理器112根据其三维空间关系进行整合,实现被测对象的感兴趣区域在三维空间的扫描以及三维图像的重建。最后,由处理器114对其进行去噪、平滑、增强等部分或全部图像后处理步骤后,获取被测对象的感兴趣区域的三维超声图像。得到的三维超声图像可以存储在存储器113中,也可以显示在显示器114上,还可以经由有线或无线通信线路传送到其它存储设备以进行存储。
存储器113用于存储处理器执行的指令、存储接收到的超声波的回波信号、存储超声图像,等等。存储器可以为闪存卡、固态存储器、硬盘等。其可以为易失性存储器和/或非易失性存储器,为可移除存储器和/或不可移除存储器等。
显示器114与处理器112通信耦合。显示器112可以是触摸显示屏、液晶显示屏等。尽管在本实施例中,显示器112被示出为是超声设备100的一部分,但是在其它实施例中,显示器112也可以是独立于超声设备100的液晶显示器、电视机等独立的显示设备;或者,显示器112还可以是智能手机、平板电脑等电子设备的显示屏,等等。显示器112的数量可以为一个或多个。例如,显示器112可以包括主屏和触摸屏,主屏主要用于显示超声图像,触摸屏主要用于人机交互。
显示器114可以显示处理器112得到的超声图像。此外,显示器114在显示超声图像的同时还可以向用户提供用于人机交互的图形界面。在图形界面上设置有一个或多个被控对象。用户利用人机交互装置输入操作指令来控制这些被控对象,从而执行相应的控制操作。例如,在图形界面上显示图标,利用人机交互装置可以对该图标进行操作,用来执行特定的功能。
可选地,超声设备100还可以包括显示器114之外的其他人机交互装置,其与处理器112通信耦合。例如,处理器112可以通过外部输入/输出端口与人机交互装置连接,外部输入/输出端口可以是无线通信模块,也可以是有线通信模块,或者两者的组合。外部输入/输出端口也可基于USB、如CAN等总线协议、和/或有线网络协议等来实现。
人机交互装置可以包括输入设备,用于检测用户的输入信息,该输入信息例如可以是对超声波发射/接收时序的控制指令,可以是在超声图像上绘制出点、线或框等的操作输入指令,或者还可以包括其他指令类型。输入设备可以包括键盘、鼠标、滚轮、轨迹球、移动式输入设备(比如带触摸显示屏的移动设备、手机等等)、多功能旋钮等等其中之一或者多个的结合。人机交互装置还可以包括诸如打印机之类的输出设备。
应理解,图1所示的超声设备100所包括的部件只是示意性的,其可以包括更多或更少的部件。本发明对此不限定。
下面将参考图2描述根据本发明实施例的一个超声成像方法。图2示出了根据本发明实施例的超声成像方法的一个示意性流程图。在一些实施例中,可以由图1中的超声设备100的处理器112执行图2中的超声成像方法200,得到渲染图像并经由显示器114进行显示。在另一些实施例中,可以由任何其它计算设备的处理器执行该超声成像方法100,得到渲染图像并经由与该处理器通信耦合的显示器进行显示。
在图2的方法中,确定外侧的卵巢区域的不同部分对应的透明系数,从而使外侧的卵巢区域的不同部分呈现不同的透明度,增加了卵巢区域的立体感,呈现给用户位置关系清晰的渲染效果,使用户能够清楚地看到卵巢和卵泡之间的位置、大小和包含关系等,提升了视觉体验感,并有助于提高工作效率和准确性。
参考图2,根据本发明实施例的超声成像方法200包括如下步骤:
在步骤201中,获取被测对象的卵巢和卵巢包裹的多个卵泡的待渲染的三维数据。所获取的三维数据应当包含被测对象完整的卵巢和卵泡结构。三维数据可以是三维原始数据或者三维图像数据。
在一些实施方式中,可以由用户通过超声设备的探头对被测对象的卵巢组织进行扫查,采集三维数据或四维数据。具体地,首先,由超声设备的超声探头发射超声波至被测对象的卵巢组织。卵巢组织可以是包括卵巢和卵巢包裹的多个卵泡。发射该超声波的时候需要将该超声波发射至被测对象的内部。在一种可行的实施方式中,可以是将超声探头放置在被测对象体表对应卵巢组织的位置。在另一种可行的实施方式中,也可以是通过腔内超声扫描的方式使超声探头的扫描区域覆盖卵巢组织,然后通过超声探头发射超声波,进而实现将超声波发射值被测对象的卵巢内部。被测对象可以是人体器官或人体组织结构等包括卵巢组织的对象。接着,超声探头接收从被测对象的卵巢组织返回的超声波的回波信号,并对回波信号进行波束合成、三维重建等处理得到三维超声图像或四维超声图像。
在一些实施方式中,可以从存储器中获取预先存储的三维数据或四维数据。可以由用户通过超声设备的探头对被测对象的卵巢组织进行扫查,获得三维数据或四维数据后存储在存储器中或发送给其它计算设备进行存储。在后续需要图像渲染时,由其它计算设备从存储器中获取三维数据或四维数据。
在一些实施方式中,如果获得四维数据,需要从四维数据中选取一个时刻的三维数据作为待渲染的三维数据。可以通过手动或自动的方式选择三维数据。用户可以通过移动鼠标、轨迹球之类的输入设备对四维数据进行查看,选择包含完整的卵巢和卵泡结构的三维数据作为待渲染的三维数据。自动的三维数据选择方式可以通过应用机器学习或深度学习算法对四维数据进行自动识别,选取待渲染的三维数据。
在一些实施方式中,可以根据目标识别算法从四维数据中选取待渲染的三维数据。目标识别算法通过直接对每一时刻的三维数据提取特征,然后对数据进行评分分类实现。该算法的主要步骤为:1)构建数据库:数据库包括大量的三维数据集合及其对应的标定结果。标定结果为是否是标准的待渲染的三维数据(如是否包含了完整的器官结构)。2)待渲染的三维数据的识别、定位步骤。目标识别算法可以包括基于传统机器学习的目标识别算法和基于深度学习的目标识别算法。
基于传统机器学习的目标识别算法通过对三维数据进行特征的提取,如局部的上下文信息、纹理信息、Harr特征等,再整合相关的特征输入与之级联的分类器,如支持向量机(SVM)、Adaboost、随机森林(Random Forest)等,通过对特征进行判别分类评分。在遍历四维数据中的所有时刻的三维数据之后,选取评分最高的三维数据作为待渲染的三维数据。
基于深度学习的目标识别算法通过神经网络架构实现,属于分类网络,其主要结构为卷积层、激活层、池化层和全连接层的堆叠,通过浅层的卷积层对三维数据进行相关特征的提取,再在全连接层对提取到的特征进行线性组合,最后输出当前图像的概率。在遍历四维数据中的所有时刻的三维数据之后,选取概率最大的三维数据作为待渲染的三维数据。常见的分类网络有3D FCN等。
在一些实施方式中,可以根据目标检测算法从四维数据中选取待渲染的三维数据。通过目标检测算法检测出每一时刻的三维数据所包含的卵巢区域和卵泡区域,根据检测到的卵巢区域和卵泡区域的数量、体积等选择待渲染的三维数据。该算法的主要步骤为:1)构建数据库:数据库包括大量的三维数据集合及其对应的标定结果。标定结果为三维数据的卵巢区域和卵泡区域的边界框(bounding box)。2)标准待渲染的三维数据的检测、定位步骤。目标检测算法可以包括基于传统机器学习的目标检测算法和基于深度学习的目标检测算法。
基于传统机器学习的目标检测算法主要分为以下步骤:1)首先通过移动不同的尺度和不同的长宽比滑动窗进行区域选择;2)基于区域内的图像块提取相关特征(如Harr特征,HOG特征等),3)将提取的特征送入分类器(如SVM,Adaboost等)中进行分类确定卵巢区域或卵泡区域。
基于深度学习的目标检测算法分为利用候选区域和深度学习分类的目标检测方法、基于深度学习的回归方法和基于点云的目标检测方法。
利用候选区域和深度学习分类的目标检测方法通过提取候选区域,对相应区域进行深度学习为主的分类方案,如将R-CNN(Selective Search+CNN+SVM),SPP-Net(ROIPooling),Fast R-CNN(Selective Search+CNN+ROI),Faster R-CNN(RPN+CNN+ROI),R-FCN等的卷积核改造成三维来进行分类。
基于深度学习的回归方法的主要步骤是首先将图像切分为S×S×S个网格,然后让每个网格负责检测物体中心落在这个网格上的物体(如卵巢区域和卵泡区域),最后网络输出这个物体的每个位置的坐标(如中心点坐标以及长宽等)和该物体所属类别的概率,如将YOLO系列(YOLO V1,YOLOV2,YOLO V3)的卷积核改造为三维、SSD、DenseBox等算法来实现。
基于点云的目标检测方法分为基于点和基于体素的两种类型的检测方式。基于点的检测方式是直接在点云数据上应用深度学习模型的方法,输入是n×3的点云张量,网络对点云数据进行特征提取后,在基于特征在规范坐标中修改获得最终得检测结果,网络例如为Point-RCNN。基于体素的方法则是将点云划分为3D体素,由三维的CNN处理,再使用多个检测头来探索位置以提升检测性能。另外,还可以将基于点和基于体素的检测方式结合起来,将三维体素卷积神经网络(CNN)和基于点网的集合抽象技术结合起来,以准确估算三维对象的位置(如PV-RCNN,point-voxel RCNN)。
通过上述目标检测算法,可以得到卵巢区域的位置、卵泡区域的位置和数量等信息,通过从四维数据中选取卵巢区域的体积(通过边界框的大小估算)最大的三维数据,也可以同时将卵泡区域的数量作为选择标准。所选取的三维数据即为待渲染的三维数据。
在一些实施方式中,可以根据目标分割算法从四维数据中选取待渲染的三维数据。通过目标分割算法分别将每一时刻的三维数据所包含的卵巢区域和卵泡区域进行分割,根据分割到的卵巢区域和卵泡区域的数量、体积等选择待渲染的三维数据。在分割时,可以直接采用目标分割算法对三维数据所包含的卵巢区域和卵泡区域进行分割,也可以将三维数据拆分成数个二维数据,例如以卵巢区域中心为轴进行放射性采用或平行采样,对二维数据分割后,再将数个分割结果融合得到最终的三维分割结果。
传统的分割算法有如基于水平集(Level Set)的分割算法,随机游走(RandomWalker),图割(Graph Cut),Snake等。目标分割算法还可以包括基于传统机器学习的目标分割算法和基于深度学习的目标分割算法。
基于传统机器学习的目标分割算法的主要步骤为:1)构建数据库:数据库包括大量的超声数据集合及其对应的标定结果(在对三维数据直接分割的情况下,为三维数据集合,在对三维数据包括的多个二维数据进行分割的情况下,为二维数据集合)。标定结果为超声数据的卵巢区域和卵泡区域的掩膜(mask),即分割结果。2)分割步骤:将超声数据分为切分为多个数据块(在对三维数据直接分割的情况下,为S×S×S大小的图像块,在对三维数据包括的二维数据进行分割的情况下,为S×S大小的图像块),然后对数据块进行特征提取,特征的提取方式包括传统的PCA、LDA、Harr特征、纹理特征等,也可以使用深度神经网络(如Overfeat网络)来进行特征的提取,然后对提取的特征使用级联的分类器,如KNN、SVM、随机森林等判别器进行分类,从而确定当前数据块是否为卵巢区域或卵泡区域,将该分类结果作为当前数据块的中心点标记结果,最后得到整个超声数据的分割结果。
基于深度学习的目标分割算法的主要步骤为:1)构建数据库:数据库包括大量的超声数据集合及其对应的标定结果(在对三维数据直接分割的情况下,为三维数据集合,在对三维数据包括的多个二维数据进行分割的情况下,为二维数据集合)。标定结果为超声数据的卵巢区域和卵泡区域的掩膜(mask),即分割结果。2)卵巢区域和卵泡区域的分割,即端到端的语义分割算法。输入可以是图像,也可以是三维点云(在对三维数据直接分割的情况下)。在图像作为输入的情况下,通过卷积层、池化层、上采样或者反卷积层等的堆叠,得到一个和输入图像尺寸一致的输出图像,该输出图像直接分割出需要的目标器官区域,该方法是一个监督学习,常见的二维网络有FCN、U-Net、Mask R-CNN等,三维分割网络有3D U-Net、3D FCN、Medical-Net等。在点云作为输入的情况下,a.首先将数据表现为一个点云的集合,表示为n×3的张量,其中n表示点云的数量,b.将输入数据通过一个学习到的转换矩阵对齐,保证模型对特征空间转换的不变性,c.对点云数据进行特征提取,d.对特征进行对齐,e.将全局特征和之前学习到的点云局部特征进行串联,在进行上采样等,得到每个数据点的分类结果作为分割结果,如PointNet或者pointNet++。
如果将三维数据拆分成数个二维数据,对二维数据进行分割,则需要对二维分割结果进行融合得到最终的三维分割结果。融合方式可以直接融合得到三维分割结果,例如直接加在一起,或者取像素点最大值、平均值等作为分割结果,也可以通过插值方式(适用于放射状采样方式)融合得到三维分割结果。
通过上述目标分割算法,可以得到三维数据中卵巢区域的位置、卵泡区域的位置和数量等信息,通过从四维数据中选取卵巢区域的体积(通过掩膜的区域估算)最大的三维数据,也可以同时将卵泡的数量作为选择标准。所选取的三维数据即为待渲染的三维数据。
继续参考图2,在步骤202中,在三维数据中对卵巢对应的卵巢区域和多个卵泡对应的多个卵泡区域进行定位检测,以得到定位检测结果。定位检测结果包括器官区域的类型(如卵巢和卵泡)和位置。
在一些实施例中,可以根据目标检测算法对卵巢区域和卵泡区域进行定位检测。目标检测算法通过检测出每一时刻的三维数据所包含的卵巢区域和卵泡区域,从而得到器官区域的类型和位置信息。该算法的主要步骤为:1)构建数据库:数据库包括大量的三维数据集合及其对应的标定结果。标定结果为卵巢区域和卵泡区域的边界框(bounding box)。2)卵巢区域和卵泡区域的检测、定位步骤。目标检测算法可以分为基于传统机器学习的目标检测算法、基于深度学习的目标检测算法和基于点云的目标检测算法。算法的具体步骤与步骤201中采用的目标检测算法类似,在上面进行了详细描述,在此不再赘述。
在一些实施方式中,可以根据目标分割算法对卵巢区域和卵泡区域进行定位检测。与步骤201中采用的目标分割算法类似,在分割时,可以直接采用目标分割算法对三维数据所包含的卵巢区域和卵泡区域进行分割,也可以将三维数据拆分成数个二维数据,例如以卵巢区域中心为轴进行放射性采用或平行采样,对二维切面分割后,再将数个分割结果融合得到最终的三维分割结果。传统的分割算法有如基于水平集(Level Set)的分割算法,随机游走(Random Walker),图割(Graph Cut),Snake等。目标分割算法还可以包括基于传统机器学习的目标分割算法和基于深度学习的目标分割算法。二维或三维目标分割算法的具体步骤与步骤201中采用的目标分割算法类似,在上面进行了详细描述,在此不再赘述。
在一些实施方式中,用户可以手动地对卵巢区域和卵泡区域进行描迹,例如,用户通过移动鼠标、轨迹球之类的输入设备在三维超声图像中描迹出卵巢区域和卵泡区域,处理器接收到用户的描迹操作,在三维超声图像中对卵巢区域和卵泡区域进行分割,得到分割结果。
在一些实施方式中,可以根据目标检测算法,在三维数据中对卵巢区域和多个卵泡区域中的一部分区域进行定位检测,并根据目标分割算法,在三维数据中对卵巢区域和多个卵泡区域中的另一部分区域进行定位检测。也就是说,可以根据不同的定位检测算法对卵巢区域和多个卵泡区域进行定位检测。例如,根据目标检测算法在三维数据中对卵巢区域进行定位检测,并根据目标分割算法在三维数据中对多个卵泡区域进行定位检测。又例如,根据目标检测算法在三维数据中对卵巢区域和一部分卵泡区域进行定位检测,并根据目标分割算法在三维数据中对其它卵泡区域进行定位检测。再例如,根据目标分割算法在三维数据中对卵巢区域进行定位检测,并根据目标检测算法在三维数据中对多个卵泡区域进行定位检测。
继续参考图2,在步骤203中,基于定位检测结果,确定卵巢区域的不同部分对应的透明系数。
在一些实施方式中,对整个卵巢区域都进行透明渲染,且各部分具有不同的透明系数。在这些实施方式中,可以自适应地为整个卵巢区域的每个三角面片(采用面绘制的渲染方式)或每个像素(采用体绘制的渲染方式)确定对应的透明系数,并预先设定透明系数的确定规则。例如,卵巢区域表面的法线和视线越垂直,透明系数越小,越不透明。又例如,卵巢区域表面的法线与某个固定方向夹角越垂直,透明系数越小,越不透明。再例如,将卵巢区域表面的法线与不同的方向计算角度,确定透明系数。
在一些实施方式中,卵巢区域在用户视角下的前侧部分呈现多种不同的透明度,而卵巢区域在用户视角下的其它部分呈现相同的透明度或不透明。可以自动检测卵巢区域在用户视角下的前侧部分,并为卵巢区域的前侧部分所对应的每个三角面片或每个像素确定对应的透明系数。在这些实施方式中,方法200还可以包括:基于定位检测结果,确定卵巢区域在用户视角下的前侧部分,并分别为前侧部分和其它部分确定对应的透明系数。具体的,可以基于定位检测结果,获取卵巢区域的空间深度信息或者卵巢轮廓的法线方向。卵巢区域的空间深度信息或者轮廓的法线方向,例如可以从用于构建卵巢区域的模型顶点坐标信息获得。之后,基于空间深度信息或者轮廓的法线方向,确定卵巢区域在用户视角下的前侧部分,并分别为前侧部分和其它部分确定对应的透明系数。固定的透明系数例如可以为0(即不透明),或者可以小于前侧部分的透明系数(即透明度小于前侧部分的透明度)。固定的透明系数可以是预先设定的,也可以由用户进行输入。
在一些实施方式中,卵巢区域在用户视角下的目标部分(如用户视角下左边或右边的一半,或者一个子区域)呈现多种不同的透明度,而卵巢区域在用户视角下的其它部分呈现相同的透明度或不透明。可以先确定该目标部分,再为该目标部分所对应的每个三角面片或每个像素确定对应的透明系数。目标部分可以是自动确定的(如根据用户视角),也可以由用户进行选择,处理器响应于用户的选择操作而进行确定。在这些实施方式中,方法200还可以包括:在卵巢区域中确定待透明渲染的目标部分,并分别为目标部分和其它部分确定对应的透明系数。固定的透明系数例如可以为0(即不透明),或者可以小于目标部分的透明系数(即透明度小于前侧部分的透明度)。固定的透明系数可以是预先设定的,也可以由用户进行输入。
接下来描述为整个卵巢区域或其一部分自适应地确定透明系数的过程。
在一些实施方式中,采用面绘制的方式渲染图像,可以基于定位检测结果,从三维数据中提取卵巢区域的模型顶点坐标信息。模型顶点坐标信息用于形成构建卵巢区域的网格模型的多个三角面片。在提取模型顶点坐标信息之后,确定多个三角面片中的至少部分三角面片对应的透明系数。具体地,如果对整个卵巢区域都自适应地确定透明系数,则对卵巢区域的网格模型的所有三角面片都确定对应的透明系数。如果仅对卵巢区域的前侧部分或目标部分自适应地确定透明系数,则对卵巢区域的网格模型中与前侧部分或目标部分对应的那些三角面片确定对应的透明系数。
在一种可能的实施方式中,可以先根据三角面片的三个顶点的坐标信息计算三角面片的法向量,再计算法向量与预设参考方向之间的夹角,最后根据夹角的大小确定该三角面片对应的透明系数。
在一种可能的实施方式中,可以先根据三角面片的三个顶点的坐标信息计算三角面片的三个顶点与模型重心之间的方向向量,再计算方向向量与预设参考方向之间的夹角,最后根据夹角的大小确定该三角面片对应的透明系数。
在一种可能的实施方式中,根据三角面片的三个顶点的坐标信息计算三个顶点与预设参考方向之间的夹角,再根据夹角的大小确定该三角面片对应的透明系数。
在上述实施方式中,可以使用相同的预设参考方向,例如视线方向或某个固定方向。或者,对于不同的三角面片,也可以使用不同的预设参考方向。或者,还可以将三角面片进行分组,对于每组三角面片使用一个预设参考方向。此外,可以根据预设参考方向设定透明系数的计算规则。例如,当预设参考方向为视线方向时,可以将透明系数的计算规则设定为夹角越大,透明系数越小。
在一些实施方式中,采用体绘制的方式渲染图像,可以确定用于绘制卵巢区域的多个像素中的至少部分像素对应的透明系数。具体地,如果对整个卵巢区域都自适应地确定透明系数,则对卵巢区域的所有像素都确定对应的透明系数。如果仅对卵巢区域的前侧部分或目标部分自适应地确定透明系数,则对与前侧部分或目标部分对应的那些像素确定对应的透明系数。
在一种可能的实施方式中,可以基于定位检测结果,分割出卵巢区域的边界轮廓,然后根据体绘制对应的算法确定卵巢区域的边界轮廓内多个像素中至少部分像素对应的透明系数。例如采用光线追踪算法,在体绘制的一个示例中,基于视线方向发射多根穿过三维数据的光线,每一根光线按固定步长进行递进,对光线路径上的三维数据进行采样,根据每个采样点的灰度值确定每个采样点的不透明度,再对每一根光线路径上各采样点的不透明度进行累积得到累积不透明度,最后将每一根光线路径上的累积不透明度映射为一个透明系数,再将该透明系数映射到二维图像的一个像素上,通过如此方式得到所有光线路径各自对应的像素的透明系数,即可得到不同透明度的渲染图像。
在一种可能的实施方式中,可以预先设定灰度值与透明系数之间的映射关系,从三维数据中提取卵巢区域的边界轮廓内多个像素对应的灰度值,再根据该映射关系确定各个像素对应的透明系数。
接下来,在步骤204中,根据所确定的透明系数对三维数据进行渲染,以得到卵巢区域和多个卵泡区域对应的渲染图像。在该渲染图像中,卵巢区域的不同部分呈现不同的透明度。
在一些实施方式中,对整个卵巢区域都进行透明渲染,且各部分呈现不同的透明度。图3a示出了一个示意图。从图3a中可以看到,整个卵巢区域与视线越垂直的部分(如边缘部分),透明度越低,即越不透明,而与用户视线夹角越小的部分(如靠近卵巢区域中间的部分),透明度越高,即越透明。
在一些实施方式中,卵巢区域在用户视角下的前侧部分呈现不同的透明度,而卵巢区域在用户视角下的其它部分呈现相同的透明度或不透明。以这种方式,能够在不影响用户观察的情况下减小透明系数的计算量,加快渲染处理的速度。
在一些实施方式中,卵巢区域在用户视角下的目标部分呈现不同的透明度,而卵巢区域在用户视角下的其它部分呈现相同的透明度或不透明。图3b示出了一个示意图。从图3b中可以看到,卵巢区域右上侧部分呈现多种不同的透明度,其中与用户视线越垂直的部分(如边缘部分)透明度越低,即越不透明,而与用户视线夹角越小的部分(如靠近卵巢区域中间的部分)透明度越高,即越透明。卵巢区域的其它部分呈现相同的透明度且小于右上侧部分的透明度,即不如右上侧部分透明。图3c示出了另一个示意图。在图3c中可以看到,相比于图3b,卵巢区域右侧透明呈现的部分比图3b中稍大。通过自适应地为卵巢区域的目标部分确定对应的透明系数,能够在不影响用户观察的情况下减小透明系数的计算量,加快渲染处理的速度。
在一些实施方式中,可以采用任意颜色渲染卵巢区域和多个卵泡区域。卵巢区域和多个卵泡区域的渲染颜色可以不同。另外,每个卵泡区域的渲染颜色也可以不同,以对不同大小和位置的卵泡区域进行区分。在一个可能的实施方式中,方法200还可以包括:确定卵巢区域和多个卵泡区域的渲染颜色。之后,根据所确定的渲染颜色对三维数据进行渲染。以这种方式,能够更清晰地向用户呈现卵巢区域和各卵泡区域的位置和大小关系,从而进一步提高用户的视觉体验。
在一些实施方式中,除了卵巢区域,还可以对目标卵泡区域进行透明渲染并确定对应的透明系数。目标卵泡区域可以是遮挡了其它卵泡区域的卵泡区域,也可以是根据需要选择的卵泡区域。目标卵泡区域可以是自动确定的,也可以由用户进行选择,处理器响应于用户的选择操作而进行确定。在渲染图像中,目标卵泡区域的不同部分呈现不同的透明度。在一个可能的实施方式中,方法200还可以包括:基于定位检测结果,在多个卵泡区域中确定在用户视角下遮挡了一个或多个其它卵泡区域的目标卵泡区域,再确定目标卵泡区域的不同部分对应的透明系数。具体的,可以基于定位检测结果,获取多个卵泡的空间深度信息或者轮廓的法线方向。卵泡区域的空间深度信息或者轮廓的法线方向例如可以从用于构建卵泡区域的模型顶点坐标信息获得。之后,基于空间深度信息或者轮廓的法线方向,在多个卵泡区域中确定在用户视角下遮挡了一个或多个其它卵泡区域的目标卵泡区域。在确定目标卵泡区域后,再确定目标卵泡区域的不同部分对应的透明系数。与卵巢区域类似,同样也可以对目标卵泡区域的整体或目标部分自适应地确定透明系数。例如,可以仅对目标卵泡区域与其它卵泡区域的重合部分(即遮挡部分)透明渲染,自适应地确定透明系数,而其它部分不进行透明渲染。具体地,可以为目标卵泡区域整体或目标部分所对应的每个三角面片或像素计算对应的透明系数。计算透明系数的过程与上面描述的相同,在此不再赘述。
下面将参考图4描述根据本发明实施例的另一个超声成像方法。图4示出了根据本发明实施例的超声成像方法的一个示意性流程图。在一些实施例中,可以由图1中的超声设备100的处理器112执行图4中的超声成像方法300,得到渲染图像并经由显示器114进行显示。在另一些实施例中,可以由任何其它计算设备的处理器执行该超声成像方法300,得到渲染图像并经由与该处理器通信耦合的显示器进行显示。
在图4的方法中,当需要渲染存在包裹或遮挡关系的器官时,可以确定外侧器官不同部分对应的透明系数,从而使得外侧器官的不同部分呈现不同的透明度,增加了外侧器官的立体感,因此能够呈现给用户位置关系清晰的渲染效果,使得用户能够清楚地看到器官之间的位置、大小和包含关系等,提升了视觉体验感,并有助于提高工作效率和准确性。
参考图4,根据本发明实施例的超声成像方法300包括如下步骤:
在步骤301中,获取被测对象的第一器官和第二器官的待渲染的三维数据,其中第一器官至少部分地包裹所述第二器官。第一器官和第二器官可以是具有包裹关系的任何器官或组织结构。例如,第一器官为卵巢,第二器官为卵泡;第一器官为宫体,第二器官为子宫内膜;第一器官为胎儿颅脑,第二器官为颅脑内部结构(例如小脑、透明隔腔、丘脑和/或侧脑室等);第一器官为胎儿腹部,第二器官为腹部内部结构(例如胃泡、胎心、脊柱、肾脏和/或血管等);第一器官为肝脏,第二器官为肝内血管;第一器官为心脏,第二器官为心脏内部结构(例如心脏内部腔室和/或血管等)。此处仅对第一器官和第二器官的各种组合做举例说明,对类似具有包裹关系的第一器官和第二器官的组合都应当属于本申请所保护的范围。所获取的三维数据应当包含被测对象的完整的第一器官和第二器官结构。三维数据可以是三维原始数据或者三维图像数据。
与上述关于图2描述的类似,可以由用户通过超声设备的探头直接采集三维数据或四维数据,也可以从存储器中获取预先存储的三维数据或四维数据。如果获得四维数据,可以通过手动或自动的方式从四维数据中选取一个时刻的三维数据。该三维数据可以是四维数据中质量最优的三维超声数据。
可以根据目标识别算法、目标检测算法或目标分割算法选取三维数据。在一些实施方式中,可以通过目标识别算法对每一时刻的三维数据提取特征,然后对数据进行评分分类,在遍历四维数据中的所有时刻的三维数据之后,选取评分最高的三维数据作为待渲染的三维数据。在一些实施方式中,可以通过目标检测算法检测出每一时刻的三维数据所包含的卵巢区域和卵泡区域,根据检测到的卵巢区域和卵泡区域的数量、体积等选择待渲染的三维数据。在一些实施方式中,通过目标分割算法分别将每一时刻的三维数据所包含的卵巢区域和卵泡区域进行分割,根据分割到的卵巢区域和卵泡区域的数量、体积等选择待渲染的三维数据。具体的选取过程和算法与关于图2描述的内容类似,在此不再赘述。
在步骤302中,在三维数据中对第一器官对应的第一器官区域和第二器官对应的第二器官区域进行定位检测,以得到定位检测结果。定位检测结果包括器官区域的类型(如第一器官和第二器官)和位置。
可以根据目标检测算法或目标分割算法对第一器官区域和第二器官区域进行定位检测。在一些实施方式中,可以通过目标检测算法检测出每一时刻的三维数据所包含的第一器官区域和第二器官区域,从而得到器官区域的类型和位置信息。在一些实施方式中,可以通过目标分割算法对三维数据所包含的第一器官区域和第二器官区域进行分割(直接分割或对二维切面进行分割后再进行融合),从而得到器官区域的类型和位置信息。在一些实施方式中,用户可以手动地对第一器官区域和第二器官区域进行描迹,处理器接收到用户的描迹操作,在三维数据中对第一器官区域和第二器官区域进行分割,得到分割结果。在一些实施方式中,可以根据目标检测算法,在三维数据中对第一器官区域和第二器官区域中的一个区域进行定位检测,并根据目标分割算法,在三维数据中对第一器官区域和第二器官区域中的另一个区域进行定位检测。例如,根据目标检测算法在三维数据中对外侧的第一器官区域进行定位检测,并根据目标分割算法在三维数据中对内侧的第二器官区域进行定位检测。具体的定位检测过程和算法与关于图2描述的内容类似,在此不再赘述。
在步骤303中,基于定位检测结果,确定第一器官区域的不同部分对应的透明系数。可以基于定位检测结果,自动确定第一器官区域为外侧包裹的器官,即需要透明渲染的器官,并确定其不同部分对应的透明系数。也可以由用户选择第一器官区域,处理器响应于用户的选择操作,将第一器官区域作为需要透明渲染的器官,再确定其不同部分对应的透明系数。
在一些实施方式中,对整个第一器官区域都进行透明渲染,且各部分具有不同的透明系数。在这些实施方式中,可以自适应地为整个第一器官区域的每个三角面片(采用面绘制的渲染方式)或每个像素(采用体绘制的渲染方式)确定对应的透明系数,并预先设定透明系数的确定规则。例如,第一器官区域表面的法线和视线越垂直,透明系数越小,越不透明。又例如,第一器官区域表面的法线与某个固定方向夹角越垂直,透明系数越小,越不透明。再例如,将第一器官区域表面的法线与不同的方向计算角度,确定透明系数。
在一些实施方式中,第一器官区域在用户视角下的前侧部分呈现多种不同的透明度,而第一器官区域在用户视角下的其它部分呈现相同的透明度。在这些实施方式中,可以自动检测第一器官区域在用户视角下的前侧部分,并为第一器官区域前侧部分的每个三角面片或每个像素确定对应的透明系数。在这些实施方式中,方法300还可以包括:基于定位检测结果,确定第一器官区域在用户视角下的前侧部分,并分别为前侧部分和其它部分确定对应的透明系数。具体的,可以基于定位检测结果,获取第一器官区域的空间深度信息或者轮廓的法线方向。第一器官区域的空间深度信息或者轮廓的法线方向,例如可以从用于构建第一器官区域的模型顶点坐标信息获得。之后,基于空间深度信息或者轮廓的法线方向,确定第一器官区域在用户视角下的前侧部分,并分别为前侧部分和其它部分确定对应的透明系数。固定的透明系数例如可以为0(即不透明),或者可以小于前侧部分的透明系数(即透明度小于前侧部分的透明度)。固定的透明系数可以是预先设定的,也可以由用户进行输入。
在一些实施方式中,第一器官区域在用户视角下的目标部分(如用户视角下左边或右边的一半,或者一个子区域)呈现多种不同的透明度,而第一器官区域在用户视角下的其它部分呈现相同的透明度或不透明。可以先确定第一器官区域的待透明渲染的目标部分,再为第一器官区域的目标部分所对应的每个三角面片或每个像素确定对应的透明系数。目标部分可以是自动确定的(如用户视角下包裹第二器官的部分),也可以由用户进行选择,处理器响应于用户的选择操作而进行确定。在这些实施方式中,方法200还可以包括:在第一器官区域中确定待透明渲染的目标部分,并分别为目标部分和其它部分确定对应的透明系数。固定的透明系数例如可以为0(即不透明),或者可以小于目标部分的透明系数(即透明度小于前侧部分的透明度)。固定的透明系数可以是预先设定的,也可以由用户进行输入。
接下来描述为整个第一器官区域或其一部分自适应地确定透明系数的过程。
在一些实施方式中,采用面绘制的方式渲染图像,可以基于定位检测结果,从三维数据中提取第一器官区域的模型顶点坐标信息。模型顶点坐标信息用于形成构建第一器官区域的网格模型的多个三角面片。在提取模型顶点坐标信息之后,确定多个三角面片中的至少部分三角面片对应的透明系数。具体地,如果对整个第一器官区域都自适应地确定透明系数,则对第一器官区域的网格模型的所有三角面片都确定对应的透明系数。如果仅对第一器官区域的前侧部分或目标部分自适应地确定透明系数,则对第一器官区域的网格模型中与前侧部分或目标部分对应的那些三角面片确定对应的透明系数。
在一种可能的实施方式中,可以先根据三角面片的三个顶点的坐标信息计算三角面片的法向量,再计算法向量与预设参考方向之间的夹角,最后根据夹角的大小确定该三角面片对应的透明系数。
在一种可能的实施方式中,可以先根据三角面片的三个顶点的坐标信息计算三角面片的三个顶点与模型重心之间的方向向量,再计算方向向量与预设参考方向之间的夹角,最后根据夹角的大小确定该三角面片对应的透明系数。
在一种可能的实施方式中,根据三角面片的三个顶点的坐标信息计算三个顶点与预设参考方向之间的夹角,再根据夹角的大小确定该三角面片对应的透明系数。
在上述实施方式中,可以使用相同的预设参考方向,例如视线方向或某个固定方向。或者,对于不同的三角面片,也可以使用不同的预设参考方向。或者,还可以将三角面片进行分组,对于每组三角面片使用一个预设参考方向。此外,可以根据预设参考方向设定透明系数的计算规则。例如,当预设参考方向为视线方向时,可以将透明系数的计算规则设定为夹角越大,透明系数越小。
在一些实施方式中,采用体绘制的方式渲染图像,可以确定用于绘制第一器官区域的多个像素中的至少部分像素对应的透明系数。具体地,如果对整个第一器官区域都自适应地确定透明系数,则对第一器官区域的所有像素都确定对应的透明系数。如果仅对第一器官区域的前侧部分或目标部分自适应地确定透明系数,则对与前侧部分或目标部分对应的那些像素确定对应的透明系数。
在一种可能的实施方式中,可以基于定位检测结果,分割出第一器官区域的边界轮廓,然后根据体绘制对应的算法确定第一器官区域的边界轮廓内多个像素中至少部分像素对应的透明系数。例如采用光线追踪算法,在体绘制的一个示例中,基于视线方向发射多根穿过三维数据的光线,每一根光线按固定步长进行递进,对光线路径上的三维数据进行采样,根据每个采样点的灰度值确定每个采样点的不透明度,再对每一根光线路径上各采样点的不透明度进行累积得到累积不透明度,最后将每一根光线路径上的累积不透明度映射为一个透明系数,再将该透明系数映射到二维图像的一个像素上,通过如此方式得到所有光线路径各自对应的像素的透明系数,即可得到不同透明度的渲染图像。
在一种可能的实施方式中,可以预设灰度值与透明系数之间的映射关系,从三维数据中提取第一器官区域的边界轮廓内多个像素对应的灰度值,再根据该映射关系确定各个像素对应的透明系数。
接下来,在步骤304中,根据所确定的透明系数对三维数据进行渲染,以得到第一器官区域和第二器官区域的渲染图像。在该渲染图像中,第一器官区域的不同部分呈现不同的透明度。
如上所述,可以对整个第一器官区域都进行透明渲染,且使得各部分呈现不同的透明度,也可以使第一器官区域在用户视角下的前侧部分呈现不同的透明度,而第一器官区域在用户视角下的其它部分呈现相同的透明度或不透明,还可以使第一器官区域在用户视角下的目标部分呈现不同的透明度,而卵巢区域在用户视角下的其它部分呈现相同的透明度或不透明。
本发明还提出了一种计算设备。图5示出了根据本发明一个实施例的计算设备的示意图。从图5中可以看出,计算设备500包括处理器(例如,中央处理单元(CPU))501以及与处理器501耦合的存储器502。存储器502用于存储计算机可执行指令,当计算机可执行指令被执行时使得处理器501执行以上实施例中的方法。处理器501和存储器502通过总线彼此相连,输入/输出(I/O)接口也连接至总线。计算设备500还可以包括连接至I/O接口的多个部件(图5中未示出),包括但不限于:输入单元,例如键盘、鼠标等;输出单元,例如各种类型的显示器、扬声器等;存储单元,例如磁盘、光盘等;以及通信单元,例如网卡、调制解调器、无线通信收发机等。通信单元允许该计算设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
此外,替代地,上述方法能够通过计算机可读存储介质来实现。计算机可读存储介质上载有用于执行本发明的各个实施例的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
因此,在另一个实施例中,本发明提出了一种计算机可读存储介质,该计算机可读存储介质具有存储在其上的计算机可执行指令,计算机可执行指令用于执行本发明的各个实施例中的方法。
一般而言,本发明的各个示例实施例可以在硬件或专用电路、软件、固件、逻辑,或其任何组合中实施。某些方面可以在硬件中实施,而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本发明的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时,将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备,或其某些组合中实施。
用于执行本发明的各个实施例的计算机可读程序指令或者计算机程序产品也能够存储在云端,在需要调用时,用户能够通过移动互联网、固网或者其他网络访问存储在云端上的用于执行本发明的一个实施例的计算机可读程序指令,从而实施依据本发明的各个实施例所公开内容的技术方案。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
还应该注意的是,上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (26)

1.一种超声成像方法,其特征在于,包括:
获取被测对象的卵巢和所述卵巢包裹的多个卵泡的待渲染的三维数据;
在所述三维数据中对所述卵巢对应的卵巢区域和所述多个卵泡对应的多个卵泡区域进行定位检测,以得到定位检测结果;
基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数;以及
根据所确定的透明系数对所述三维数据进行渲染,以得到所述卵巢区域和所述多个卵泡区域对应的渲染图像,其中,在所述渲染图像中,所述卵巢区域的不同部分呈现不同的透明度。
2.根据权利要求1所述的方法,其特征在于,还包括:
基于所述定位检测结果,确定所述卵巢区域在用户视角下的前侧部分,并且其中,
确定所述卵巢区域的不同部分对应的透明系数进一步包括:分别确定所述前侧部分和所述卵巢区域的其它部分对应的透明系数,并且,
在所述渲染图像中,所述卵巢区域的所述前侧部分呈现多种不同的透明度,所述其它部分呈现相同的透明度或不透明。
3.根据权利要求1所述的方法,其特征在于,还包括:
在所述卵巢区域中确定待透明渲染的目标部分,并且其中,
确定所述卵巢区域的不同部分对应的透明系数进一步包括:分别确定所述目标部分和所述卵巢区域的其它部分对应的透明系数,并且,
在所述渲染图像中,所述卵巢区域的所述目标部分呈现多种不同的透明度,所述其它部分呈现相同的透明度或不透明。
4.根据权利要求1所述的方法,其特征在于,还包括:
确定所述卵巢区域和所述多个卵泡区域的渲染颜色;以及
根据所确定的渲染颜色对所述三维数据进行渲染。
5.根据权利要求1所述的方法,其特征在于,还包括:
基于所述定位检测结果,在所述多个卵泡区域中确定在用户视角下遮挡了一个或多个其它卵泡区域的目标卵泡区域;
确定所述目标卵泡区域的不同部分对应的透明系数,并且其中,
在所述渲染图像中,所述目标卵泡区域的不同部分呈现不同的透明度。
6.根据权利要求1所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述卵巢区域的模型顶点坐标信息,所述模型顶点坐标信息用于形成构建所述卵巢区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的法向量;
计算所述三角面片的法向量与预设参考方向的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
7.根据权利要求1所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述卵巢区域的模型顶点坐标信息和模型重心坐标信息,所述模型顶点坐标信息用于形成构建所述卵巢区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的三个顶点与模型重心之间的方向向量;
计算所述方向向量与预设参考方向之间的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
8.根据权利要求1所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述卵巢区域的模型顶点坐标信息,所述模型顶点坐标信息用于形成构建所述卵巢区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的所述三个顶点与预设参考方向的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
9.根据权利要求1所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为体绘制,并且,基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,确定所述卵巢区域的边界轮廓;
根据体绘制对应的算法确定所述卵巢区域的边界轮廓内多个像素中至少部分像素对应的透明系数。
10.根据权利要求1所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为体绘制,并且,基于所述定位检测结果,确定所述卵巢区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,确定所述卵巢区域的边界轮廓;
从所述三维数据中提取所述卵巢区域的边界轮廓内多个像素中至少部分像素对应的灰度值;以及
根据灰度值与透明系数之间的预设映射关系,确定所述至少部分像素对应的透明系数。
11.根据权利要求1所述的方法,其特征在于,在所述三维数据中对所述卵巢对应的卵巢区域和所述多个卵泡对应的多个卵泡区域进行定位检测进一步包括:
根据目标检测算法,在所述三维数据中对所述卵巢区域和所述多个卵泡区域进行定位检测;或者
根据目标分割算法,在所述三维数据中对所述卵巢区域和所述多个卵泡区域进行定位检测;或者
根据所述目标检测算法,在所述三维数据中对所述卵巢区域和所述多个卵泡区域中的一部分区域进行定位检测,并根据所述目标分割算法,在所述三维数据中对所述卵巢区域和所述多个卵泡区域中的另一部分区域进行定位检测。
12.根据权利要求1所述的方法,其特征在于,获取被测对象的卵巢和所述卵巢包裹的多个卵泡的待渲染的三维数据进一步包括:
获取所述被测对象的所述卵巢和所述多个卵泡的四维超声图像;以及
根据目标识别算法、目标检测算法和目标分割算法中的一个,从所述四维超声图像中选取一个时刻的三维超声图像作为所述待渲染的三维数据。
13.一种超声成像方法,其特征在于,包括:
获取被测对象的第一器官和第二器官的待渲染的三维数据,其中所述第一器官至少部分地包裹所述第二器官;
在所述三维数据中对所述第一器官对应的第一器官区域和所述第二器官对应的第二器官区域进行定位检测,以得到定位检测结果;
基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数;以及
根据所确定的透明系数对所述三维数据进行渲染,以得到所述第一器官区域和所述第二器官区域的渲染图像,其中,在所述渲染图像中,所述第一器官区域的不同部分呈现不同的透明度。
14.根据权利要求13所述的超声成像方法,其特征在于,还包括:
基于所述定位检测结果,确定所述第一器官区域在用户视角下的前侧部分,并且其中,
确定所述第一器官区域的不同部分对应的透明系数进一步包括:分别确定所述前侧部分和所述第一器官区域的其它部分的透明系数,并且,
在所述渲染图像中,所述第一器官区域的所述前侧部分呈现多种不同的透明度,所述其它部分呈现相同的透明度或不透明。
15.根据权利要求13所述的方法,其特征在于,还包括:
在所述第一器官区域中确定待透明渲染的目标部分,并且其中,
确定所述第一器官区域的不同部分对应的透明系数进一步包括:分别确定所述目标部分和所述第一器官区域的其它部分的透明系数,并且,
在所述渲染图像中,所述第一器官区域的所述目标部分呈现多种不同的透明度,所述其它部分呈现相同的透明度或不透明。
16.根据权利要求13所述的方法,其特征在于,还包括:
确定所述第一器官区域和所述第二器官区域的渲染颜色;以及
根据所确定的渲染颜色对所述三维数据进行渲染。
17.根据权利要13所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述第一器官区域的模型顶点坐标信息,所述模型顶点坐标信息用于形成构建所述第一器官区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的法向量;
计算所述三角面片的法向量与预设参考方向的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
18.根据权利要求13所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述第一器官区域的模型顶点坐标信息和模型重心坐标信息,所模型顶点坐标信息用于形成构建所述第一器官区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的三个顶点与模型重心之间的方向向量;
计算所述方向向量与预设参考方向之间的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
19.根据权利要求13所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为面绘制,并且,基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,从所述三维数据中提取所述第一器官区域的模型顶点坐标信息,所述模型顶点坐标信息用于形成构建所述第一器官区域的网格模型的多个三角面片;以及
对于所述多个三角面片中的至少部分三角面片,执行以下步骤:
根据所述三角面片的三个顶点的坐标信息计算所述三角面片的所述三个顶点与预设参考方向的夹角;以及
根据所述夹角的大小确定所述三角面片对应的透明系数。
20.根据权利要求13所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为体绘制,并且,基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,确定所述第一器官区域的边界轮廓;
根据体绘制对应的算法确定所述第一器官区域的边界轮廓内多个像素中至少部分像素对应的透明系数。
21.根据权利要求13所述的方法,其特征在于,对所述三维数据进行渲染的渲染模式为体绘制,并且,基于所述定位检测结果,确定所述第一器官区域的不同部分对应的透明系数进一步包括:
基于所述定位检测结果,确定所述第一器官区域的边界轮廓;
从所述三维数据中提取所述第一器官区域的边界轮廓内多个像素中至少部分像素对应的灰度值;以及
根据灰度值与透明系数之间的预设映射关系,确定所述至少部分像素对应的透明系数。
22.根据权利要求13所述的方法,其特征在于,在所述三维数据中对所述第一器官和所述第二器官进行定位检测进一步包括:
根据目标检测算法,在所述三维数据中对所述第一器官区域和所述第二器官区域进行定位检测;或者
根据目标分割算法,在所述三维数据中对所述第一器官区域和所述第二器官区域进行定位检测;或者
根据所述目标检测算法,在所述三维数据中对所述第一器官区域和所述第二器官区域中的一个区域进行定位检测,并根据所述目标分割算法,在所述三维数据中对所述第一器官区域和所述第二器官区域中的另一个区域进行定位检测。
23.根据权利要求13所述的方法,其特征在于,获取被测对象的第一器官和第二器官的待渲染的三维数据进一步包括:
获取所述被测对象的所述第一器官和所述第二器官的四维超声图像;以及
根据目标识别算法、目标检测算法和目标分割算法中的一个,从所述四维超声图像中选取一个时刻的三维超声图像作为所述待渲染的三维数据。
24.根据权利要求13-23中任一项所述的超声成像方法,其特征在于,
所述第一器官为卵巢,所述第二器官为卵泡;或者
所述第一器官为宫体,所述第二器官为子宫内膜;或者
所述第一器官为胎儿颅脑,所述第二器官为颅脑内部结构;或者
所述第一器官为胎儿腹部,所述第二器官为腹部内部结构;或者
所述第一器官为肝脏,所述第二器官为肝内血管;或者
所述第一器官为心脏,所述第二器官为心脏内部结构。
25.一种超声设备,其特征在于,包括:
超声探头;
发射和接收电路,其被配置为控制所述超声探头向被测对象的卵巢组织发射超声波,并控制所述超声探头接收所述超声波的回波信号;
存储器,其用于存储计算机可执行指令;
处理器,其被配置为在执行所述计算机可执行指令时,根据所述回波信号获得三维数据,并执行根据权利要求1-12中任一项所述的超声成像方法以生成渲染图像;以及
显示器,其被配置为显示所述渲染图像。
26.一种超声设备,其特征在于,包括:
超声探头;
发射和接收电路,其被配置为控制所述超声探头向被测对象的目标组织发射超声波,并控制所述超声探头接收所述超声波的回波信号;
存储器,其用于存储计算机可执行指令;
处理器,其被配置为在执行所述计算机可执行指令时,根据所述回波信号获得三维数据,并执行根据权利要求13-24中任一项所述的超声成像方法以生成渲染图像;以及
显示器,其被配置为显示所述渲染图像。
CN202211352167.5A 2022-10-31 2022-10-31 一种超声成像方法及超声设备 Pending CN115619941A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211352167.5A CN115619941A (zh) 2022-10-31 2022-10-31 一种超声成像方法及超声设备
PCT/CN2023/127760 WO2024093911A1 (zh) 2022-10-31 2023-10-30 一种超声成像方法及超声设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352167.5A CN115619941A (zh) 2022-10-31 2022-10-31 一种超声成像方法及超声设备

Publications (1)

Publication Number Publication Date
CN115619941A true CN115619941A (zh) 2023-01-17

Family

ID=84876248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352167.5A Pending CN115619941A (zh) 2022-10-31 2022-10-31 一种超声成像方法及超声设备

Country Status (2)

Country Link
CN (1) CN115619941A (zh)
WO (1) WO2024093911A1 (zh)

Also Published As

Publication number Publication date
WO2024093911A1 (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
EP2016905B1 (en) Ultrasound diagnostic apparatus
US8600125B2 (en) System and method for computer aided polyp detection
US9277902B2 (en) Method and system for lesion detection in ultrasound images
CN110325119B (zh) 卵巢卵泡计数和大小确定
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
CN109949254B (zh) 穿刺针超声图像增强方法及装置
US20110125016A1 (en) Fetal rendering in medical diagnostic ultrasound
CN108805946B (zh) 用于为二维超声图像绘阴影的方法和系统
US9039620B2 (en) Ultrasound diagnostic apparatus
US10238368B2 (en) Method and system for lesion detection in ultrasound images
US20200170615A1 (en) Ultrasound system with extraction of image planes from volume data using touch interaction with an image
US20230210501A1 (en) Ultrasound contrast imaging method and device and storage medium
US20220343589A1 (en) System and method for image processing
CN111820948B (zh) 胎儿生长参数测量方法、系统及超声设备
CN115619941A (zh) 一种超声成像方法及超声设备
CN116157821A (zh) 胎儿颜面部容积图像修复方法和超声成像系统
JP2018149055A (ja) 超音波画像処理装置
WO2022134049A1 (zh) 胎儿颅骨的超声成像方法和超声成像系统
WO2020133236A1 (zh) 一种脊柱的成像方法以及超声成像系统
CN114503166A (zh) 三维体数据的测量方法、测量系统、医疗器械及存储介质
CN111403007A (zh) 一种超声成像的优化方法、超声成像系统和计算机可读存储介质
CN116327237A (zh) 超声成像系统及方法、超声图像处理系统及方法
CN116115267A (zh) 超声成像方法、超声成像系统和存储介质
CN117982169A (zh) 一种子宫内膜厚度的确定方法及超声设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination