CN111161386A - 超声图像的渲染方法、装置及超声设备 - Google Patents
超声图像的渲染方法、装置及超声设备 Download PDFInfo
- Publication number
- CN111161386A CN111161386A CN201911402770.8A CN201911402770A CN111161386A CN 111161386 A CN111161386 A CN 111161386A CN 201911402770 A CN201911402770 A CN 201911402770A CN 111161386 A CN111161386 A CN 111161386A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- ultrasonic image
- ultrasonic
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000005286 illumination Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000002604 ultrasonography Methods 0.000 claims description 114
- 238000000605 extraction Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000005070 sampling Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种超声图像的渲染方法、装置及超声设备。其中，渲染方法包括：获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。该方法将通过光照模型获得的所述第一分辨率的超声图像输入基于神经网络模型训练得到的超声图像渲染模型中，得到分辨率大于所述第一分辨率的超声图像，有效提升了超声图像渲染的质量。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种超声图像的渲染方法、装置及超声设备。
背景技术
目前，超声图像的渲染通常是基于光线透射算法，对超声图像进行处理，但是该算法通常受制于采样面以及输出图像的分辨率，通常来说，采样面越多，成像效果越好，但是计算量也越大，输出图像的分辨率越大，所需要的光线数量越多，也就越耗性能，当采用数量较少的采样面以及较高的输出图像分辨率时，最终的成像效果越差。
发明内容
有鉴于此，本发明实施例提供了一种超声图像的渲染方法及渲染模型的训练方法，以解决超声图像渲染质量差的问题。
根据第一方面，本发明实施例提供了一种超声图像的渲染方法，包括：
获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；
将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
本发明实施例提供的超声图像的渲染方法，将通过光照模型获得的所述第一分辨率的超声图像输入基于神经网络模型训练得到的超声图像渲染模型中，得到分辨率大于所述第一分辨率的超声图像，有效提升了超声图像渲染的质量。
结合第一方面，在第一方面第一实施方式中，所述将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像，包括：
利用第一特征提取模块提取所述第一分辨率的超声图像的全局特征；
利用第二特征提取模块提取所述第一分辨率的超声图像的局部细节特征；
将所述全局特征与所述局部细节特征的对应元素相加，得到所述第一分辨率的超声图像的特征；
利用第一超分辨率模块对所述第一分辨率的超声图像的特征进行处理，以得到所述第二分辨率的超声图像。
本发明实施例提供的超声图像的渲染方法，通过将第一特征提取模块提取到的全局特征与第二特征提取模块提取到的局部细节特征对应的元素相加后输入第一超分辨率模块进行处理，得到第二分辨率的超声图像，有效提升超声图像渲染的质量。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述利用第一特征提取模块提取所述第一分辨率的超声图像的全局特征，包括：
利用至少一层第一卷积层对所述第一分辨率的超声图像进行全局特征提取，以得到所述全局特征。
本发明实施例提供的超声图像的渲染方法，通过至少一层卷积层对所述第一分辨率的超声图像进行全局特征提取，以得到所述全局特征，不仅提高了全局特征提取的准确性，也节省了时间，方便使用。
结合第一方面第一实施方式或第一方面第二实施方式，在第一方面第三实施方式中，所述利用第二特征提取模块提取所述第一分辨率的超声图像的局部细节特征，包括：
利用下采样层对所述第一分辨率的超声图像进行下采样；
利用至少一层第二卷积层对下采样后的所述第一分辨率的超声图像进行局部特征的提取；
利用第二超分辨率模块对提取出的局部特征进行处理，以得到所述局部细节特征。
本发明实施例提供的超声图像的渲染方法，依次对所述第一分辨率的超声图像进行下采样、卷积处理得到所述局部特征，再利用第二超分辨率模块对所述局部特征进行处理，得到所述第一分辨率的超声图像的局部细节特征，可以提高局部细节特征提取的层次感以及准确度。
结合第一方面第一实施方式，在第一方面第四实施方式中，所述全局特征采用第一矩阵表示，所述局部细节特征采用第二矩阵表示；其中所述第一矩阵与所述第二矩阵的维数相等；其中，所述将所述全局特征与所述局部细节特征的对应元素相加，得到所述第一分辨率的超声图像的特征，包括：
将所述第一矩阵与所述第二矩阵的对应位置的元素相加，以得到所述第一分辨率的超声图像的特征。
本发明实施例提供的超声图像的渲染方法，通过将全局特征以及局部细节特征对应的元素相加，得到所述超声图像的特征，计算方法简单，有效缩短了超声图像渲染的时间。
结合第一方面，在第一方面第五实施方式中，所述获取第一分辨率的超声图像，包括：
获取所述原始超声图像；
将所述原始超声图像转化为三维纹理图像；其中，所述三维纹理图像与所述原始超声图像的像素点一一对应；
对所述三维纹理图像进行光线投射处理，得到所述第一分辨率的超声图像。
本发明实施例提供的超声图像的渲染方法，通过将原始超声图像转化为三维纹理图像，并将所述三维纹理图像进行光线投射处理，以得到所述第一分辨率的超声图像，为后续的渲染提供了基础，有效提升了渲染的质量。
结合第一方面，在第一方面第六实施方式中，所述超声图像渲染模型是采用如下方法训练得到的：
获取训练图像集以及目标图像集；其中，所述训练图像集中的第一图像与所述目标图像集中的第二图像一一对应，且所述第二图像的分辨率大于所述第一图像的分辨率；
将所述第一图像以及所述第二图像输入超声图像渲染模型中，以得到对应于所述第一图像的第三图像；
根据所述第三图像以及所述第二图像，对所述超声图像渲染模型中的参数进行更新。
本发明实施例提供的超声图像渲染模型的训练方法，通过将所述第一图像与第二图像共同输入超声图像渲染模型中，得到所述第三图像，并根据所述第三图像与第二图像对所述超声图像渲染模型进行参数更新，丰富了训练的层次，从而提高了渲染后图像的质量。
根据第二方面，本发明实施例提供了一种超声图像的渲染装置，包括：
获取模块，用于获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；
渲染模块，用于将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
本发明实施例提供的超声图像的渲染装置，将通过光照模型获得的所述第一分辨率的超声图像输入基于神经网络模型训练得到的超声图像渲染模型中，得到分辨率大于所述第一分辨率的超声图像，有效提升了超声图像渲染的质量。
根据第三方面，本发明实施例提供了一种超声设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式所述的超声图像的渲染方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面任一实施方式所述的超声图像的渲染方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的超声图像的渲染方法的流程图；
图2是根据本发明实施例的超声图像的渲染方法的完整流程图；
图3是根据本发明实施例的超声图像渲染模型的具体结构示意图；
图4是根据本发明实施例的超声图像渲染模型的训练方法流程图；
图5是根据本发明实施例的超声图像渲染方法的流程图；
图6是根据本发明实施例的超声图像的渲染装置的结构框图；
图7是本发明实施例提供的超声设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明实施例，提供了一种超声图像的渲染方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种超声图像的渲染方法，可用于上述的超声设备，图1是根据本发明实施例的超声图像的渲染方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取第一分辨率的超声图像。
其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的。
所述原始超声图像可以是物体或某个人体组织经过超声成像后的超声图像，在一个具体的实施例中，所述超声图像为三维超声图像，大小为128＊128＊128；将所述原始超声图像经过光照模型进行光线投射处理，得到所述第一分辨率的超声图像，其中，所述光照模型可以是局部光照模型，也可以是全局光照模型。
超声设备所获取到的第一分辨率的超声图像，可以是所述原始超声图像经过光照模型处理后的图像；也可以是将直接获取到的原始超声图像经过所述超声设备中的光照模型进行处理后的图像；亦或是超声设备从外界获取到的第一分辨率的超声图像等等。不论超声设备通过何种方式获取到第一分辨率的超声图像，只需保证超声设备能够获取到所述第一分辨率的超声图像即可。
S12，将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像。
其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
具体地，所述超声图像渲染模型可以是事先训练好，保存在超声设备中；也可以是超声设备从外界获取到的；亦或是，超声设备在需要对第一分辨率的超声图像进行渲染之前，训练得到的。其中，所述神经网络模型可以是卷积神经网络模型、残差神经网络模型，也可以是卷积神经网络模型、残差神经网络模型的组合或其他类型的神经网络模型。
本实施例提供的超声图像的渲染方法，将通过光照模型获得的所述第一分辨率的超声图像输入基于神经网络模型训练得到的超声图像渲染模型中，得到分辨率大于所述第一分辨率的超声图像，有效提升了超声图像渲染的质量。
在本实施例中提供了一种超声图像的渲染方法，可用于上述的超声设备，图2是根据本发明实施例的超声图像的渲染方法的完整流程图，如图2所示，该流程包括如下步骤：
S21，获取第一分辨率的超声图像。
其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的。
在一个具体实施例中，超声设备获取到的第一分辨率的超声图像是原始超声图像经过光照模型处理后的图像。其具体获取方法请参见图1所示的S11，在此不再赘述。
S22，将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像。
其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
详细请参见图1所示的S12，在此不再赘述。
具体地，上述S22可以包括如下步骤：
S221，利用至少一层第一卷积层对所述第一分辨率的超声图像进行全局特征提取，以得到所述全局特征。
在一个具体实施例中，所述第一卷积层的层数为1层。需要说明的是，所述第一卷积层的层数还可以是多层，只要能够对所述第一分辨率的超声图像进行全局特征提取，得到所述全局特征即可，在此不做限定。
作为本实施例的一种可选实施方式，上述S221包括如下步骤：
利用第一特征提取模块提取第一分辨率的超声图像的全局特征。
在一个具体实施例中，所述第一特征提取模块包括三层结构：第一层为输入层，第二层为卷积层和激活层，第三层为下采样层。其中，选择256＊256＊3的图像输入通道作为所述输入层。将所述第一分辨率的超声图像输入所述第一特征提取模块，依次进行卷积处理和下采样处理，得到所述超声图像的全局特征。需要说明的是，所述第一层输入层可按照第一分辨率的超声图像的尺寸进行选择，并不局限于256＊256＊3的图像输入通道。
在此对第一特征提取模块的结构细节并不做任何限定，只需保证其能够提取出第一分辨率的超声图像的全局特征即可。
请参见图3，图3示出了超声图像渲染模型的一个具体的结构示意图，如图3所示，所述超声图像渲染模型包括第一特征提取模块01、第二特征提取模块02以及第一超分辨率模块03。其中，所述第一特征提取模块01包括三层结构：第一层为输入层，第二层为第一卷积层和激活层，第三层为下采样层。
S222，利用第二特征提取模块提取第一分辨率的超声图像的局部细节特征。
在一个具体实施例中，所述第二特征提取模块02包括第二卷积层以及第二超分辨率模块。利用所述第二卷积层提取所述第一分辨率的超声图像的局部特征；利用所述第一超分辨率模块对所述局部特征进行高频细节恢复，获得所述局部细节特征。在此对第二特征提取模块的结构细节并不做任何限定，只需保证其能够提取出第一分辨率的超声图像的局部细节特征即可。
可选地，上述S222可以包含如下步骤：
(1)利用下采样层对所述第一分辨率的超声图像进行下采样。
具体地，利用所述第二特征提取模块02中的下采样层对所述第一分辨率的超声图像进行一次下采样。可选地，所述下采样的次数可根据具体的需求进行设置，在此不做限定。
(2)利用至少一层第二卷积层对下采样后的所述第一分辨率的超声图像进行局部特征的提取。
具体地，利用所述第二特征提取模块02中的第二卷积层对所述下采样后的所述第一分辨率的超声图像进行局部特征提取。可选地，所述第二卷积层的层数可根据具体需求进行设置，在此不做限定。
(3)利用第二超分辨率模块对提取出的局部特征进行处理，以得到所述局部细节特征。
具体地，所述第二超分辨率模块由三个残差块和一个上采样层组成，将所述局部特征进行残差学习，以获得所述局部特征的局部细节特征。
其中，超分辨率模块，是一种从低分辨率图像中重建出相应的高分辨率图像的模块，该模块通过对低分辨率图像进行残差学习，从而恢复所述低分辨率图像的高频细节特征。第二超分辨率模块通过对所述局部特征进行残差学习，将所述局部特征的高频细节特征进行恢复，得到所述局部细节特征。
请参见图3，所述的第二特征提取模块包括下采样层、第二卷积层以及第二超分辨率模块。其中，所述下采样层对所述第一分辨率的超声图像进行下采样处理，以将所述第一分辨率的超声图像的尺寸缩小，便于后续算法处理；所述第二卷积层将所述进行下采样后的第一超分辨率的超声图像的局部特征进行提取，以获得所述第一超分辨率的超声图像的局部特征；所述第二超分辨率模块包括三个残差块以及一个上采样层，所述三个残差块对所述局部特征进行残差学习，以获得所述局部特征的细节特征，所述上采样层对所述细节特征进行尺寸放大处理，以获得所述局部细节特征。
S223，将全局特征与局部细节特征的对应元素相加，得到第一分辨率的超声图像的特征。
具体地，可将所述全局特征与所述局部细节特征分别用矩阵的形式表示，通过对矩阵中对应元素求和，便可获得所述第一分辨率的超声图像的特征。
进一步地，所述步骤S223可通过如下步骤实现：
(1)所述全局特征采用第一矩阵表示，所述局部细节特征采用第二矩阵表示；其中所述第一矩阵与所述第二矩阵的维数相等。
(2)将所述第一矩阵与所述第二矩阵的对应位置的元素相加，以得到所述第一分辨率的超声图像的特征。
S224，利用第一超分辨率模块对第一分辨率的超声图像的特征进行处理，以得到第二分辨率的超声图像。
具体地，请参见图3，所述第一超分辨率模块包括十一层结构：第一层至第九层中分别为一个残差块，第十层为上采样层，第十一层为第三卷积层。其中，所述第一层至第九层的残差块对所述第一分辨率的超声图像的特征进行残差学习，以获得所述特征的高频细节特征；所述第十层的上采样层对所述高频细节特征进行尺寸放大处理；所述第十一层第三卷积层对所述尺寸放大处理后的高频细节特征进行反卷积处理，以获得所述第二分辨率的超声图像。
本实施例提供的超声图像的渲染方法，通过将原始超声图像经过光照模型处理后得到第一分辨率的超声图像；将所述第一分辨率的超声图像输入第一特征提取模块01，以获得所述第一分辨率的超声图像的全局特征；将所述第一分辨率的超声图像输入第二特征提取模块02，以获得所述第一分辨率的超声图像的局部细节特征；将所述全局特征和所述局部细节特征对应的元素相加，获得所述第一分辨率的超声图像的特征；将所述特征输入第一超分辨率模块，获得所述第二分辨率的超声图像。该方法通过将所述第一分辨率的超声图像的全局特征和局部细节特征求和后输入所述第一超分辨率模块，不仅提升了所述第一超分辨率模块对高频细节恢复的准确度，也丰富了整个图像渲染模型的层次感，从而获得高分辨率的超声图像。
作为本实施例的一种可选实施方式，如图4所示，超声图像渲染模型是采用如下方法训练得到的：
S31，获取训练图像集以及目标图像集。
其中，训练图像集中的第一图像与目标图像集中的第二图像一一对应，且第二图像的分辨率大于第一图像的分辨率。
具体地，将所述经过光照模型后的第一分辨率的超声图像作为所述第一图像；将所述第一分辨率的超声图像经过光照模型处理后的分辨率大于所述第一分辨率的图像作为所述第二图像。
S32，将第一图像以及所述第二图像输入超声图像渲染模型中，以得到对应于第一图像的第三图像。
具体地，所述超声图像渲染模型包括第一特征提取模块01、第二特征提取模块02以及第一超分辨率模块03。其中，将所述第一图像输入所述第一特征提取模块01，获得所述第一图像的全局特征；将所述第一图像输入所述第二特征提取模块02，获得所述第一图像的局部细节特征；将所述全局特征以及局部细节特征对应的元素求和后作为所述第一图像的特征；将所述特征输入所述第一超分辨率模块，获得所述第一图像对应的第三图像。其中，关于超声图像渲染模型的结构细节请参见图3。
S33，根据第三图像以及所述第二图像，对超声图像渲染模型中的参数进行更新。
具体地，基于所述第三图像以及所述第二图像，计算所述超声图像渲染模型的损失函数值；根据所述损失函数值，对所述超声图像渲染模型进行参数更新；当所述损失函数值达到某一预设范围或参数更新次数达到某一预设次数值时，更新结束，便可获得所述超声图像渲染模型。
在本实施例中提供了一种超声图像的渲染方法，可用于上述的超声设备，图5是根据本发明实施例的超声图像渲染方法的流程图，如图5所示，该流程包括如下步骤：
S41，获取第一分辨率的超声图像。
其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的。
详细请参见图1所示的步骤S11，在此不再赘述。
S411，获取原始超声图像。
在一个具体实施例中，所述原始超声图像可以是物体或某个人体组织经过超声成像仪成像后的三维超声图像。
S412，将原始超声图像转化为三维纹理图像。
其中，所述三维纹理图像与所述原始超声图像的像素点一一对应。
在一个具体实施例中，对所述原始超声图像进行去噪后，将所述原始超声图像对应的超声信号转化为数字信号，并对所述数字信号进行图像处理，绘制出所述三维纹理图像。
S413，对三维纹理图像进行光线投射处理，得到第一分辨率的超声图像。
具体地，所述光线投射处理包括环境光线投射处理、镜面反射光线投射处理以及漫反射光线投射处理。在一个具体的实施例中，对所述三维纹理图像应用局部光照模型，得到渲染后的低分辨率的所述超声图像，其中，所述局部光照模型包括所述环境光线投射处理、镜面反射光线投射处理以及漫反射光线投射处理中的至少一个。
S42，将第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像。
其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
详细请参见图2所示实施例的S22，在此不再赘述。
本实施例提供的超声图像的渲染方法，通过将原始超声图像转化为三维纹理图像，再将所述三维纹理图像通过光照模型进行光线投射处理，以得到第一分辨率的超声图像；最后将所述第一分辨率的超声图像输入超声图像渲染模型，得到第二分辨率的超声图像，且所述第二分辨率大于所述第一分辨率。
在本实施例中还提供了一种超声图像的渲染装置以及一种超声图像渲染模型的训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明实施例提供了一种超声图像的渲染装置，如图6所示，包括：
获取模块51，用于获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；
渲染模块52，用于将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
本实施例提供的超声图像的渲染装置，将通过光照模型获得的所述第一分辨率的超声图像输入基于神经网络模型训练得到的超声图像渲染模型中，得到分辨率大于所述第一分辨率的超声图像，有效提升了超声图像渲染的质量。
本发明实施例还提供了一种超声设备，具有图6所示的超声图像的渲染装置。
请参阅图7，图7是本发明可选实施例提供的一种超声设备的结构示意图，如图7所示，该超声设备可以包括：至少一个处理器61，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non－volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图6所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random－access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non－volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：harddisk drive，缩写：HDD)或固态硬盘(英文：solid－state drive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。
其中，处理器61可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application－specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field－programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic，缩写：GAL)或其任意组合。
可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请图1、图2、图5实施例中所示的超声图像的渲染方法以及图4实施例中所示的超声图像渲染模型的训练方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的超声图像的渲染方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种超声图像的渲染方法，其特征在于，包括：
获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；
将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像，包括：
利用第一特征提取模块提取所述第一分辨率的超声图像的全局特征；
利用第二特征提取模块提取所述第一分辨率的超声图像的局部细节特征；
将所述全局特征与所述局部细节特征的对应元素相加，得到所述第一分辨率的超声图像的特征；
利用第一超分辨率模块对所述第一分辨率的超声图像的特征进行处理，以得到所述第二分辨率的超声图像。
3.根据权利要求2所述的方法，其特征在于，所述利用第一特征提取模块提取所述第一分辨率的超声图像的全局特征，包括：
利用至少一层第一卷积层对所述第一分辨率的超声图像进行全局特征提取，以得到所述全局特征。
4.根据权利要求2或3所述的方法，其特征在于，所述利用第二特征提取模块提取所述第一分辨率的超声图像的局部细节特征，包括：
利用下采样层对所述第一分辨率的超声图像进行下采样；
利用至少一层第二卷积层对下采样后的所述第一分辨率的超声图像进行局部特征的提取；
利用第二超分辨率模块对提取出的局部特征进行处理，以得到所述局部细节特征。
5.根据权利要求2所述的方法，其特征在于，所述全局特征采用第一矩阵表示，所述局部细节特征采用第二矩阵表示；其中所述第一矩阵与所述第二矩阵的维数相等；其中，所述将所述全局特征与所述局部细节特征的对应元素相加，得到所述第一分辨率的超声图像的特征，包括：
将所述第一矩阵与所述第二矩阵的对应位置的元素相加，以得到所述第一分辨率的超声图像的特征。
6.根据权利要求1所述的方法，其特征在于，所述获取第一分辨率的超声图像，包括：
获取所述原始超声图像；
将所述原始超声图像转化为三维纹理图像；其中，所述三维纹理图像与所述原始超声图像的像素点一一对应；
对所述三维纹理图像进行光线投射处理，得到所述第一分辨率的超声图像。
7.根据权利要求1所述的方法，其特征在于，所述超声图像渲染模型是采用如下方法训练得到的：
获取训练图像集以及目标图像集；其中，所述训练图像集中的第一图像与所述目标图像集中的第二图像一一对应，且所述第二图像的分辨率大于所述第一图像的分辨率；
将所述第一图像以及所述第二图像输入超声图像渲染模型中，以得到对应于所述第一图像的第三图像；
根据所述第三图像以及所述第二图像，对所述超声图像渲染模型中的参数进行更新。
8.一种超声图像的渲染装置，其特征在于，包括：
获取模块，用于获取第一分辨率的超声图像；其中，所述第一分辨率的超声图像是原始超声图像经光照模型处理后得到的；
渲染模块，用于将所述第一分辨率的超声图像输入超声图像渲染模型中，以得到第二分辨率的超声图像；其中，所述第二分辨率大于所述第一分辨率，所述图像渲染模型是基于神经网络模型训练得到的。
9.一种超声设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－7中任一项所述的超声图像的渲染方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1－7中任一项所述的超声图像的渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402770.8A CN111161386A (zh) | 2019-12-30 | 2019-12-30 | 超声图像的渲染方法、装置及超声设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402770.8A CN111161386A (zh) | 2019-12-30 | 2019-12-30 | 超声图像的渲染方法、装置及超声设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161386A true CN111161386A (zh) | 2020-05-15 |
Family
ID=70559510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911402770.8A Pending CN111161386A (zh) | 2019-12-30 | 2019-12-30 | 超声图像的渲染方法、装置及超声设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161386A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419467A (zh) * | 2020-11-05 | 2021-02-26 | 杭州群核信息技术有限公司 | 基于深度学习的提升渲染效率方法、装置和系统 |
| CN114120062A (zh) * | 2021-11-26 | 2022-03-01 | 北京百度网讯科技有限公司 | 样本生成方法及装置 |
| CN115908667A (zh) * | 2021-09-30 | 2023-04-04 | 想象技术有限公司 | 渲染3d场景的图像 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492071A (zh) * | 2017-08-17 | 2017-12-19 | 京东方科技集团股份有限公司 | 医学图像处理方法及设备 |
| CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109214989A (zh) * | 2018-09-04 | 2019-01-15 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
-
2019
- 2019-12-30 CN CN201911402770.8A patent/CN111161386A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107492071A (zh) * | 2017-08-17 | 2017-12-19 | 京东方科技集团股份有限公司 | 医学图像处理方法及设备 |
| CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN109064405A (zh) * | 2018-08-23 | 2018-12-21 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于双路径网络的多尺度图像超分辨率方法 |
| CN109214989A (zh) * | 2018-09-04 | 2019-01-15 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419467A (zh) * | 2020-11-05 | 2021-02-26 | 杭州群核信息技术有限公司 | 基于深度学习的提升渲染效率方法、装置和系统 |
| CN112419467B (zh) * | 2020-11-05 | 2023-10-03 | 杭州群核信息技术有限公司 | 基于深度学习的提升渲染效率方法、装置和系统 |
| CN115908667A (zh) * | 2021-09-30 | 2023-04-04 | 想象技术有限公司 | 渲染3d场景的图像 |
| CN114120062A (zh) * | 2021-11-26 | 2022-03-01 | 北京百度网讯科技有限公司 | 样本生成方法及装置 |
| CN114120062B (zh) * | 2021-11-26 | 2023-07-28 | 北京百度网讯科技有限公司 | 样本生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111161386A (zh) | 超声图像的渲染方法、装置及超声设备 | |
| CN110533594B (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN111161269B (zh) | 图像分割方法、计算机设备和可读存储介质 | |
| US11244426B2 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| CN112561792B (zh) | 图像风格迁移方法、装置、电子设备及存储介质 | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| CN112308866A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| WO2021082819A1 (zh) | 一种图像生成方法、装置及电子设备 | |
| CN112991171A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108961161B (zh) | 一种图像数据处理方法、装置和计算机存储介质 | |
| CN115082371B (zh) | 图像融合方法、装置、移动终端设备及可读存储介质 | |
| WO2022127496A1 (zh) | 图像重建模型的生成方法、图像重建方法及相关设备 | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 | |
| CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN112419146B (zh) | 一种图像处理方法、装置及终端设备 | |
| CN113947521A (zh) | 基于深度神经网络的图像分辨率转换方法及装置、终端设备 | |
| CN112365473A (zh) | 一种ai医学影像处理系统、设备及存储介质 | |
| CN113505796A (zh) | 一种实时的高精度全景分割方法 | |
| CN111383171B (zh) | 一种图片处理方法、系统及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |