CN109472791B - 超声图像分割方法和计算机设备 - Google Patents
超声图像分割方法和计算机设备 Download PDFInfo
- Publication number
- CN109472791B CN109472791B CN201811287783.0A CN201811287783A CN109472791B CN 109472791 B CN109472791 B CN 109472791B CN 201811287783 A CN201811287783 A CN 201811287783A CN 109472791 B CN109472791 B CN 109472791B
- Authority
- CN
- China
- Prior art keywords
- eigenvector
- image
- convolution
- operations
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Abstract
本发明公开了一种超声图像分割方法和计算机设备,该方法包括:将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量;将第M个特征向量通过第二运算操作得到第M+1个特征向量;将所述第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量;依次将第M‑1个特征向量和所述第一输出向量进行第三运算操作得到第二输出向量、将第M‑2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M‑1输出向量进行第三运算操作得到第M输出向量,根据所述第M输出向量输出对应的已分割图像。本发明的超声图像分割方法可通过全局信息,利用信息量大的特征向量指导信息量小的特征向量,实现精确的超声图像分割任务。
Description
技术领域
本发明涉及医学图像分割技术领域,具体而言,涉及一种超声图像分割方法和计算机设备。
背景技术
超声图像是反映介质中声学参数的差异,可得到不同于光学、X射线、y射线等的信息。超声对人体软组织有良好的分辨能力,可得到高达120dB以上动态范围的有用信号,有利于识别生物组织的微小病变。随着现代医学领域中技术的飞速发展,根据超声图像检测病变成为常用的技术手段,在通过超声图像检测病变的过程中,对超声图像进行分割处理变得越重要。例如,根据癌症协会进行的癌症统计,乳腺癌是造成女性死亡的主要原因之一。然而,通过早期诊断的患者的五年生存率高达90%,因此早期诊断可以有效预防癌症的扩散,提高患者的生活质量。在AWBUS图像中乳房的解剖层分割可用于计算乳房密度。许多研究表明,乳房密度对预测女性患乳腺癌的概率具有重要意义,其中,乳腺密度高的女性患乳腺癌的风险高于乳腺密度低的女性。
目前,超声图像的分割面临的主要问题包括阴影效应、边界模糊及对比度低等,给超声图像的分割带来很大的挑战。
发明内容
鉴于上述问题,本发明实施例的目的在于提供一种超声图像分割方法和计算机设备,以解决现有技术的不足。
本发明的一个实施方案提供一种超声图像分割方法,包括:
将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量,其中,M为大于或等于1的整数,第M个特征向量的信息量大于第M-1个特征向量的信息量;
将第M个特征向量通过第二运算操作得到第M+1个特征向量,其中,第M+1个特征向量的信息量大于第M个特征向量的信息量;
将所述第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量;
依次将第M-1个特征向量和所述第一输出向量进行第三运算操作得到第二输出向量、将第M-2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M-1输出向量进行第三运算操作得到第M输出向量,根据所述第M输出向量输出对应的已分割图像。
在上述的超声图像分割方法中,所述第一运算操作包括:
对所述原始图像进行至少一次卷积操作得到卷积后图像;
对所述卷积后图像的每一通道特征进行池化和全连接操作,及将池化和全连接操作后的通道特征通过非线性激活函数得到所述卷积后图像的该通道特征的第一权值;
对所述卷积后图像每一像素点的特征进行卷积操作,及将卷积后的像素点的特征通过所述非线性激活函数得到所述卷积后图像的该像素点的第二权值;
根据所述卷积后图像的各通道特征的第一权值对所述卷积后图像所有通道特征进行加权,及根据所述卷积后图像的各像素点的第二权值对所述卷积后图像的所有像素点进行加权,得到加权后的图像的特征向量。
在上述的超声图像分割方法中,每组包括预定次数的第一运算操作,每组第一运算操作中,每一次的第一运算操作的输出均作为下一次第一运算操作的输入,直至该组中最后一次的第一运算操作执行完毕,得到该组对应的特征向量。
在上述的超声图像分割方法中,所述M等于四;
第一组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第二组包括四次第一运算操作,四次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第三组包括六次第一运算操作,六次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第四组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长。
在上述的超声图像分割方法中,所述卷积核尺寸为1×1、3×3或5×5,四组第一运算操作中对应卷积操作的滑动步长分别为2、2、2和1。
在上述的超声图像分割方法中,所述“对所述原始图像进行至少一次卷积操作”包括:
将所述原始图像进行通道拆分得到各通道特征;
将所有通道特征分成预订数量的分组,及对每一分组中的所有通道特征均进行至少一次卷积操作;
将所有分组的卷积后的通道特征进行组合得到卷积后图像。
在上述的超声图像分割方法中,所述第二运算操作包括:
将所述第M个特征向量进行池化及扩张卷积操作得到第M+1个特征向量。
在上述的超声图像分割方法中,所述扩张卷积操作的扩张率为7、5或3。
在上述的超声图像分割方法中,所述第三运算操作包括:
将两个特征向量进行连接操作;
将连接后的特征向量进行池化、卷积操作后通过非线性激活函数得到该连接后的特征向量对应图像的各像素点的第三权值;
根据各像素点的第三权值对信息量少的特征向量进行加权,及将加权后的特征向量与所述连接后的特征向量进行叠加得到一输出向量。
在上述的超声图像分割方法中,所述非线性映射函数为ReLU函数或Sihmoid函数。
本发明的另一个实施方案提供一种超声图像分割装置,包括:
第一运算模块,用于将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量,其中,M为大于或等于1的整数,第M个特征向量的信息量大于第M-1个特征向量的信息量;
第二运算模块,用于将第M个特征向量通过第二运算操作得到第M+1个特征向量,其中,第M+1个特征向量的信息量大于第M个特征向量的信息量;
第三运算模块,用于将所述第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量;
输出模块,用于依次将第M-1个特征向量和所述第一输出向量进行第三运算操作得到第二输出向量、将第M-2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M-1输出向量进行第三运算操作得到第M输出向量,根据所述第M输出向量输出对应的已分割图像。
本发明的又一个实施方案提供一种计算机设备,所述计算机设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机设备执行上述的超声图像分割方法。
本发明的再一个实施方案提供一种计算机可读存储介质,所述计算机可读存储介质储存有上述的计算机设备中所用的所述计算机程序。
本发明的一个实施方式的超声图像分割方法可通过全局特征信息,利用信息量大的特征向量指导信息量小的特征向量,将全局特征信息结合实现精确的超声图像分割任务,有助于计算乳腺密度,预测乳腺疾病。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。
图1示出了本发明实施例提供的一种超声图像分割方法的流程示意图。需修改
图2示出了本发明实施例提供的一种超声图像分割方法的网络框架示意图。
图3示出了本发明实施例提供的一种第一运算操作的网络结构示意图。
图4示出了本发明实施例提供的一种ResNet的网络结构示意图。
图5示出了本发明实施例提供的一种ResNext的网络结构示意图。
图6示出了本发明实施例提供的一种大卷积核的示意图。
图7示出了本发明实施例提供的一种第二运算操作的网络结构示意图。
图8a-8b示出了本发明实施例提供的一种不同扩张率的卷积核的结构示意图。
图9示出了本发明实施例提供的一种第三运算操作的网络结构示意图。
图10示出了本发明实施例提供的一种超声图像分割装置的结构示意图。需修改
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本文中所用的术语“包含”、“包括”、“具有”、“含有”或其任何其它变形,意在覆盖非排它性的包括。例如,包含所列要素的组合物、步骤、方法、制品或装置不必仅限于那些要素,而是可以包括未明确列出的其它要素或此种组合物、步骤、方法、制品或装置所固有的要素。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1中示出了本发明实施例提供的超声图像分割方法的流程示意图。
在步骤S110中,将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量。
其中,M为大于或等于1的整数,第M个特征向量的信息量大于第M-1个特征向量的信息量。
具体地,如图2所示,输入部分以一乳腺超声图像为例进行说明,当然,在一些其他的实施例中,输入部分还可以为其他类型超声图像。
具体地,如图2所示,M可为4,可执行4组第一运算操作。
进一步地,在每组的第一运算操作过程中,可包括预定次数的第一运算操作。每一次的第一运算操作的输出均作为下一次第一运算操作的输入,直至该组中最后一次的第一运算操作执行完毕,得到该组对应的特征向量。
进一步地,所述M等于四,第一组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长;第二组包括四次第一运算操作,四次第一运算操作均具有相同的卷积核尺寸和滑动步长;第三组包括六次第一运算操作,六次第一运算操作均具有相同的卷积核尺寸和滑动步长;第四组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长。
进一步地,所述卷积核尺寸为1×1、3×3或5×5,四组第一运算操作中对应卷积操作的滑动步长分别为2、2、2和1。
具体地,如图2所示,第一组A1包括三次第一运算操作A11、A12和A13,原始图像的特征向量经过A11后得到一输出向量,将经过A11后的输出向量作为A12的输入执行A12的第一运算操作,将经过A12后的输出向量作为A13的输入执行A13的第一运算操作,将经过A13后的输出向量作为第一组A1的第一个特征向量。例如,A11第一运算操作中所使用的卷积核尺寸可为1×1,所述滑动步长可为2,即第一运算操作的卷积操作中每隔两个步长滑动一次卷积窗口;A12第一运算操作中所使用的卷积核尺寸同样为1×1,所述滑动步长同样为2;A13第一运算操作中所使用的卷积核尺寸同样为1×1,所述滑动步长同样为2。
第二组A2的第一运算操作包括四次第一运算操作A21、A22、A23和A24,原始图像的特征向量经过A21后得到一输出向量,将经过A21后的输出向量作为A22的输入执行A22的第一运算操作,将经过A22后的输出向量作为A23的输入执行A23的第一运算操作,将经过A23后的输出向量作为A24的输入执行A24的第一运算操作,将经过A24后的输出向量作为第二组A2的第二个特征向量。例如,A21第一运算操作中所使用的卷积核尺寸可为3×3,所述滑动步长为2,即第一运算操作的卷积操作中每隔两个步长滑动一次卷积窗口;A22第一运算操作中所使用的卷积核尺寸同样为3×3,所述滑动步长同样为2;A23第一运算操作中所使用的卷积核尺寸同样为3×3,所述滑动步长同样为2;A24第一运算操作中所使用的卷积核尺寸同样为3×3,所述滑动步长同样为2。
第三组A3的第一运算操作包括六次第一运算操作A31、A32、A33、A34、A35和A36,原始图像的特征向量经过A31后得到一输出向量,将经过A31后的输出向量作为A32的输入执行A32的第一运算操作,将经过A32后的输出向量作为A33的输入执行A33的第一运算操作,将经过A33后的输出向量作为A34的输入执行A34的第一运算操作,将经过A34后的输出向量作为A35的输入执行A35的第一运算操作,将经过A35后的输出向量作为A36的输入执行A36的第一运算操作,将经过A36的第一运算操作的输出向量作为第三组A3的第三个特征向量。例如,A31第一运算操作中所使用的卷积核尺寸可为5×5,所述滑动步长为2,即第一运算操作的卷积操作中每隔两个步长滑动一次卷积窗口;A32第一运算操作中所使用的卷积核尺寸同样为5×5,所述滑动步长同样为2;A33第一运算操作中所使用的卷积核尺寸同样为5×5,所述滑动步长同样为2;A34第一运算操作中所使用的卷积核尺寸同样为5×5,所述滑动步长同样为2;A35第一运算操作中所使用的卷积核尺寸同样为5×5,所述滑动步长同样为2;A36第一运算操作中所使用的卷积核尺寸同样为5×5,所述滑动步长同样为2。
第四组A4的第一运算操作包括三次第一运算操作A41、A42和A43,原始图像的特征向量经过A41后得到一输出向量,将经过A41后的输出向量作为A42的输入执行A42的第一运算操作,将经过A42后的输出向量作为A43的输入执行A43的第一运算操作,将经过A43后的输出向量作为第四组A4的第四个特征向量。例如,A41第一运算操作中所使用的卷积核尺寸可为3×3,所述滑动步长为1,即第一运算操作的卷积操作中每隔一个步长滑动一次卷积窗口;A42第一运算操作中所使用的卷积核尺寸同样为3×3,所述滑动步长同样为1;A43第一运算操作中所使用的卷积核尺寸同样为3×3,所述滑动步长同样为1。
每组第一运算操作后可得到一特征向量,随着次数的增加,得到的特征向量的信息量也依次增加。例如,在第一组第一运算操作后可得到一特征向量,该特征向量可能包含有原始图像的边缘信息等;在第二组第一运算操作后得到一特征向量,该特征向量可能包含有比边缘特征更丰富的特征信息,如更丰富的边缘信息或位置信息等;在第三组第一运算操作后得到一特征向量,该特征向量可能包含有比第二组第一运算操作得到的特征向量更丰富的特征信息,比如像素点基本信息等;在第四组第一运算操作后得到一特征向量,该特征向量可能包含有比第三组第一运算操作得到的特征向量更丰富的特征信息,比如像素点归属信息或类别信息等。
进一步地,上述的第一运算操作可包括:
对所述原始图像进行至少一次卷积操作得到卷积后图像。
本实施例中,所述“对所述原始图像进行至少一次卷积操作得到卷积后图像”可包括:
将所述原始图像进行通道拆分得到各通道特征;将所有通道特征分成预订数量的分组,及对每一分组中的所有通道特征进行至少一次卷积操作;将所有分组的卷积后的通道特征进行组合得到卷积后图像。
例如,如图3所示,根据RGB色彩模式的颜色通道将输入的原始图像进行通道拆分得到X个通道,提取各通道对应的表征色彩的通道特征,将所有通道特征根据实际需求分为Y组,每一组包含Z个通道特征,其中,X=YZ,X,Y,Z均为大于或等于1的整数。
将每一组中所有通道特征进行至少一次卷积操作,如图3中a1部分所示,若将原始图像拆分为128个通道,每4个通道分为一组,共有32组,当然,每一组所包含的通道数目还可以不同。将每一组均进行卷积操作,通过多支路的卷积操作,提高特征向量提取精度。
具体地,如图6所示,所述卷积可通过大卷积核进行卷积操作,所述大卷积核对每一卷积操作的卷积核进行了拆分,例如可将图3中a1部分所示的每一支路的卷积操作再次分为两个子支路进行卷积操作,可将15×15的卷积核尺寸拆分为1×15及15×1,每一子支路均根据卷积核尺寸1×15进行一次卷积操作,将卷积结果再进行一次卷积核尺寸15×1进行一次卷积操作,其中,K为每一子支路所包含的通道数量,即该子支路中的每一通道对应的通道特征均通过上述的大卷积核进行卷积操作。将每一支路的所有子支路的执行过大卷积核操作的所有通道特征进行叠加求和,得到该支路的卷积后的通道特征向量,通过大卷积核操作很好的捕获上下文特征向量,并增加感受野的大小。
将所有支路的卷积后的通道特征向量进行连接或融合得到卷积后图像。还可将所有支路的卷积后的通道特征向量进行连接或融合后,再次进行卷积核尺寸1×1的卷积和归一化操作,保持所有图像的特征向量的分布一致,使得网络一直在拟合相同的特征向量,提高处理精度。
在一些其他的实施例中,所述“对所述原始图像进行至少一次卷积操作得到卷积后图像”还可为如图4所示的a1部分,采用普通的卷积堆叠,例如,可将原始图像拆分为预定数量的通道,并提取每一通道的通道特征,将每一通道的通道特征均依次执行卷积核尺寸1×1的卷积操作、卷积核尺寸3×3的卷积操作及卷积核尺寸1×1的卷积操作。
在另一些其他的实施例中,所述“对所述原始图像进行至少一次卷积操作得到卷积后图像”还可为如图5所示的a1部分,将原始图像拆分为预定数量的通道,将预定数量的通道分为多个组,每一组表示一个支路,每一支路中可包括至少一个通道,并提取所有通道的通道特征,将每一组中的所有通道的通道特征均依次进行卷积核尺寸为1×1的卷积操作和卷积核尺寸3×3的卷积操作。
将所有组的卷积后的通道特征向量进行连接或融合得到卷积后图像。还可将所有支路的卷积后的通道特征向量进行连接或融合后,再次进行卷积核尺寸1×1的卷积和归一化操作,保持所有图像的特征向量的分布一致,使得网络一直在拟合相同的特征向量,提高处理精度。
对卷积后图像的每一通道特征进行池化和全连接操作,及将池化和全连接操作后的通道特征通过非线性激活函数得到所述卷积后图像的该通道特征的第一权值。
具体地,如图3、图4及图5中的a2部分所示,将卷积后图像每一通道特征进行池化操作,以压缩所述通道特征的尺寸,减少计算量。将进行池化操作后的通道特征进行全连接操作,以减小通道特征的尺寸。将全连接操作后的通道特征通过Relu非线性激活函数进行非线性处理,并通过另一个全连接操作将非线性处理后的通道特征恢复至与卷积后图像同样的尺寸,并将恢复后的通道特征通过Sigmoid非线性激活函数,获得该通道特征的介于0~1之间的第一权值。
通过上述方式计算所有通道特征的第一权值,其中,所有通道特征对应的第一权值不同,或存在部分相同的情况。
其中,所述池化操作可为全局池化操作,还可以为平均池化操作等。
所述ReLU非线性激活函数定义如下:
f(x)=max(0,x)
为了使后续处理的数据越来越少,算法处理速度更快,将通道特征经过该ReLU函数后,保留大于或等于0的特征,舍弃关联度比较小的数据。
所述Sigmoid非线性激活函数定义如下:
Sigmoid非线性激活函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0~1之间。
分割的目标是进行密集的像素分类,除却每一通道特征所包含的信息量不同外,图像中每一像素点的空间信息对于实现精确的分割也具有重要意义。
对所述卷积后图像每一像素点的特征进行卷积操作,及将卷积后的像素点的特征通过非线性激活函数得到所述卷积后图像的该像素点的第二权值。
具体地,如图3、图4及图5中的a3部分所示,将卷积后图像中每一像素点的特征向量进行卷积核尺寸为3×3的卷积操作及将卷积后的像素特征通过Relu非线性激活函数进行非线性处理,保留关联度比较大的数据;将上述通过非线性处理后的特征继续进行卷积核尺寸为3×3的卷积操作及将卷积后的像素特征通过Relu非线性激活函数进行非线性处理,将最后经过非线性处理后的特征通过Sigmoid非线性激活函数,获得该所述卷积后图像的该像素点的介于0~1之间的第二权值。
通过上述方式计算所述卷积后图像的所有像素点的第二权值,其中,所有像素点对应的第一权值不同,或存在部分相同的情况。
根据所述卷积后图像的各通道特征的第一权值对所述卷积后图像所有通道特征进行加权,及根据所述卷积后图像的各像素点的第二权值对所述卷积后图像的所有像素点进行加权,得到加权后的图像的特征向量。
在现有的超声图像分割的研究中,不同的通道特征被认为具有相同比例的权重,然而,在不同的通道特征中,由于判别能力的不同,一些通道特征的信息量比较丰富,而另一些通道特征的信息量比较少,为了提取出包含更多信息的特征以有助于提高超声图像分割的性能,可根据卷积后图像每一通道特征的第一权值及卷积后图像每一像素点的第二权值对所述卷积后图像进行加权处理。
具体地,如图3、图4及图5所示,若第一通道特征的第一权值为0.69,第二通道特征的第一权值为0.97,第三通道特征的第一权值为0.77等等,可将第一通道特征中的所有数据均乘以0.69,将第二通道特征中的所有数据均乘以0.97,将第三通道特征中的所有数据均乘以0.77,等等,根据通道特征所包含的信息量,将不同通道特征赋予不同的权值,使不同通道特征之间的差值更明显,便于后续的分割处理。
若所述卷积后图像中第一像素点的第二权值为0.71,第二像素点的第二权值为0.98,第三像素点的第二权值为0.65,第四像素点的第二权值为0.23,等等,可将第一像素点的特征向量中的所有数据均乘以0.71,将第二像素点的特征向量中的所有数据均乘以0.98,将第三像素点的特征向量中的所有数据均乘以0.65,将第四像素点的特征向量中的所有数据均乘以0.23,根据每一像素点的特征向量所包含的信息量,将卷积后图像中每一像素点赋予不同的权值,使不同像素点之间的差值更明显,便于后续的分割处理。
在通过第一权值和第二权值对卷积后图像进行加权之后,根据卷积后图像的色彩模式及色彩通道数量,得到所述加权后的图像的特征向量。
在经过M组的第一运算操作后,可得到M个特征向量。且,每一组的第一运算操作的输出均作为下一组的第一运算操作的输入,以进一步提取更高级别即信息量更丰富的特征向量,在后续的分割过程中可对不同级别的特征向量进行处理,结合低级特征向量的空间、位置等信息及高级特征向量的归属、类别等信息,提高图像分割的精度。
在步骤S120中,将第M个特征向量通过第二运算操作得到第M+1个特征向量。
其中,第M+1个特征向量的信息量大于所述第M个特征向量的信息量。
由于超声图像分割的目标比较大,边界差异较大,需要增强感受野的大小,提高捕获上下文特征向量的能力。基于上述的原因,可将上述提取的信息量最丰富的特征向量,即最后一组第一运算操作得到的特征向量(第M个特征向量)通过第二运算操作,以得到更高级别,即所包含信息量更丰富的特征向量。
具体地,如图2所示,将经过第A4组第一运算操作后的第4个特征向量送入第二运算操作B中,得到信息量更丰富的第5个特征向量。
进一步地,所述第二运算操作可包括:
将所述第M个特征向量进行池化及扩张卷积操作得到第M+1个特征向量。
本实施例中,所述卷积操作可为扩张卷积操作,通过不同的扩张率融合不同的池化后的特征向量。所述池化操作可为平均池化操作。在一些其他的实施例中,所述池化操作还可以为最大池化操作等。
扩张卷积是传统卷积运算的推广,可以在不降低空间分辨率的情况下扩大卷积核的感受野。与池化操作相反,扩张卷积不会降低空间分辨率且包含大量的信息。
具体地,如图8a所示为正常卷积,扩张率(dilation rate)r为1,卷积核尺寸为3*3,图8b所示为扩张卷积,扩张率r为2,在普通卷积中间插入0,卷积核尺寸变为7*7。
具体地,可将所述第M个特征向量通过多次池化操作及多次卷积操作,将每一次池化操作后的特征向量送入与该次池化操作所在的层对应的卷积层进行卷积操作,将并将每一次池化和卷积后的特征向量进行叠加融合得到第M+1个特征向量。
如图7所示,可将第M个特征向量通过3次池化操作及3次卷积操作。例如,可将第M个特征向量通过第一平均池化操作后得到第一池化特征向量,将第一池化特征向量通过第二平均池化操作得到第二池化特征向量,将第二池化特征向量通过第三平均池化操作得到第三池化特征向量。将第一池化特征向量作为输入送入第一扩张卷积操作进行卷积处理得到第一卷积特征向量,将第二池化特征向量作为输入送入第二扩张卷积操作进行卷积处理得到第二卷积特征向量,将第三池化特征向量作为输入送入第三扩张卷积操作进行卷积处理得到第三卷积特征向量,将第一卷积向量、第二卷积向量及第三卷积向量进行叠加或融合,得到一信息量更丰富的第M+1个特征向量。
具体第,图7中所示的第一扩张卷积操作、第二扩张卷积操作及第三扩张卷积操作所使用的扩张率可不同,例如,第一扩张卷积操作所使用的扩张率r为7,第二扩张卷积操作所使用的扩张率r为5,第三扩张卷积操作所使用的扩张率r为3,通过不同的扩张率融合不同池化操作的特征信息,进一步提高捕获上下文特征向量的能力,扩大感受野。
在步骤S130中,将第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量。
在步骤S140中,依次将第M-1个特征向量和第一输出向量进行第三运算操作得到第二输出向量、将第M-2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M-1输出向量进行第三运算操作得到第M输出向量,根据第M输出向量输出对应的已分割图像。
现有的一些网路框架直接使用反卷积运算或双线性差值来重新恢复原始空间分辨率的大小。然而,这种简单的操作不利于恢复恢复原始图像的空间信息。为了获得准确的像素点的位置信息,可将全局和局部注意力机制引入到该部分中,通过信息量丰富的特征向量引导信息量少的特征向量,使得信息量少的特征向量具有类别信息,不仅具有全局的整合信息,而且还具有局部的详细信息,从而使分割更加准确。
每一次的第三运算操作输出的特征向量均依次与之前第一运算操作输出的特征向量进行第三运算操作,联合高级特征和低级特征的所有信息量,实现超声图像的精确分割。
具体地,如图2所示,将经过第二运算操作B后的第5个输出向量和经过A4组第一运算操作后的第4个特征向量经过第三运算操作C1得到第一输出向量,将第一输出向量和经过A3组第一运算操作后的第3个特征向量经过第三运算操作C2得到第二输出向量,将第二输出向量和经过A2组第一运算操作后的第2个特征向量经过第三运算操作C3得到第三输出向量,将第三输出向量和经过A1组第一运算操作后的第1个特征向量进行过第三运算操作C4得到第四输出向量,此时,经过A1组第一运算操作后的第1个特征向量已参与计算完毕,将最后一次经过第三运算操作得到的第四输出向量,根据该第四输出向量输出对应的已分割图像,该已分割图像中已经包含非常明显的边界分割信息,根据该边界分割信息对图像进行精确分割。
由于每一像素点的特征向量所包含的信息量不同,为了获取不同像素点的特征向量对应的第三权值特征图,可将信息量少的低级特征向量和信息量多的高级特征向量通过一系列操作连接在一起,这些操作可包括池化、卷积及非线性激活函数等,通过一系列操作后重新评估低级特征向量的的语义特征。
进一步地,所述第三运算操作包括:
将两个特征向量进行连接操作。
具体地,图9所示,两个特征向量中信息量不同(例如上述的第M+1个特征向量和第M个特征向量、第一输出向量和第M-1个特征向量、第二输出向量和第M-2个特征向量等),将信息量多的特征向量每一像素点和信息量少的每一像素点特征向量均进行连接操作,融合该像素点的两个特征向量中的所有信息量,将信息量少的低级特征和信息量多的高级特征结合起来,进一步提高分割的精确率。
将连接后的特征向量进行池化、卷积操作后通过非线性激活函数得到该连接后的特征向量对应图像的各像素点的第三权值。
具体地,如图9所示,将上述连接后的特征向量送入池化层进行全局池化操作得到池化后特征向量,将池化后特征向量进行卷积核尺寸为3×3的卷积操作,并将卷积操作后的特征向量经过Relu非线性激活函数,将卷积操作后的特征向量中的所有数据关联度较大的数据保留,关联度较小的数据舍弃,得到更有用的特征向量信息。
将经过Relu非线性激活函数的特征向量通过Sigmoid非线性激活函数,得到一个该像素点的介于0~1之间的第三权值。
根据各像素点的第三权值对信息量少的特征向量进行加权,及将加权后的特征向量与所述连接后的特征向量进行叠加得到一输出的特征向量。
如图9所示,根据每一像素点的第三权值对信息量少的特征向量进行加权,即将每一像素点的低级特征向量中所有数据均乘以该像素点对应的第三权值。将加权后的低级特征向量和连接后的特征向量进行叠加或融合,得到包含信息量比较丰富且层次更为分明的输出向量。
如图2中所示,在经过M次的第三运算操作后的输出向量对应的图像即为已分割图像,该已分割图像中的层次信息较为分明。
根据特征向量的信息量的大小赋予不同的权值,通过权值(比如第一权值、第二权值及第三权值)对经过处理后的图像的特征向量中的数据进行加权,权重越大,对应的特征向量的产生的影响及重要性也越大,凸出信息量大的特征向量,增大图像分割的精确程度。
本实施例中,所述原始图像可以为已经存储的超声图像,例如,乳腺超声图像,各种脏器超声图像等。在一些其他的实施例中,所述原始图像还可以为普通的通过成像装置(如摄像头等)采集的图像,该普通图像的分割处理均与超声图像的处理过程相同,在此不再赘述。
进一步地,所述超声图像分割方法还包括:
通过预先标记的训练样本对所述超声图像分割方法的网络框架进行训练直至所述网络框架的损失函数的值达到阈值,例如,在损失函数的值降低到0.1以下时就可以停止训练了。
其中,所述损失函数可通过下式表示:
L(P,T)=-(TlogP+(1-T)log(1-P))
其中,P是网络框架预测的边界,T是真实的边界。
具体地,所述预先标记的训练样本可以为:一图像及对该图像的分割标记作为一个训练样本,训练时可通过多组训练样本对网络框架进行训练,例如,通过30个、60个或100个等训练样本对网络框架进行训练。
通过每一类别训练样本进行训练的网络框架可对该类别的图像进行分割,例如,通过乳腺超声图像训练的网络框架可对乳腺超声图像进行分割;通过普通图像训练的网络框架可对普通图像进行分割等。
另外,训练好所述网络框架后,还可以通过多个图像对所述训练好的网络框架进行测试,可通过以下几个指标来评估分割结果。
曲线距离(Curve Distance,CD),是一种基于距离的度量,用于测量分割生成的预测边界P和真是边界T之间的距离CD(P,T),曲线距离越小,网络框架的性能越好。
假设预测边界P和真实边界T分别表示为两组点集:
P={p1,p2,p3,…pm}
T={t1,t2,t3,…tn}
d(pi,T)=minj||tj-pi||
d(P,tj)=mini||pi-tj||
其中,NP为预测边界上所有的点的数量,NP为真实边界上所有点的数量。
交并比(Intersection-over-Union,IoU)是对象类别分割问题的标准性能度量。给定一组图像,IoU测量给出了图像集中存在的对象的预测区域和真实区域之间的相似性,表示预测的分割结果和真实结果之间的重叠比率。交并比越大,网络框架的性能越好。
其中,IP为预测的分割结果,IT为真实结果。
Jaccard距离(JA),是用来衡量两个集合差异性的一种指标。JA值越大,网络框架的性能越好。
其中,FN为False Negative,假阴性,即不是这个分割区域的点判断为这个分割区域的点。FP为False Positive,假阳性,即属于这个分割区域的点判断为其他的分割区域的点。
精度(Precision)为网络框架的分割精度,精度越大,网络框架的性能越好。
F1参数,是用来综合精度和召回率的指标,可以理解为精确率和召回率的加权平均值,F1参数越大,网络框架的性能越好。
实施例2
图10中示出了本发明实施例提出的一种超声图像分割装置的结构示意图。该超声图像分割装置500对应于实施例1中的超声图像分割方法,实施例1中的任何可选项也适用于本实施例,这里不再详述。
该超声图像分割装置500包括:第一运算模块510、第二运算模块520第三运算模块530及输出模块540。
第一运算模块510,用于将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量,其中,M为大于或等于1的整数,第M个特征向量的信息量大于第M-1个特征向量的信息量。
第二运算模块520,用于将第M个特征向量通过第二运算操作得到第M+1个特征向量,其中,第M+1个特征向量的信息量大于第M个特征向量的信息量。
第三运算模块530,用于将所述第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量。
输出模块540,用于依次将第M-1个特征向量和所述第一输出向量进行第三运算操作得到第二输出向量、将第M-2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M-1输出向量进行第三运算操作得到第M输出向量,根据所述第M输出向量输出对应的已分割图像
本发明的又一个实施方案提供一种计算机设备,所述计算机设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机设备执行上述的超声图像分割方法或超声图像分割装置中的所有模块的功能。
存储模块可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统和至少一个功能所需的应用程序;存储数据区可存储所述超声图像分割方法及所述超声图像分割装置所需的图像、数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供一种计算机可读存储介质,其存储有上述计算机设备中所使用的指令,在所述指令被执行时实施上述的超声图像分割方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种超声图像分割方法,其特征在于,包括:
将原始图像进行M组第一运算操作得到所述原始图像的M个特征向量,其中,M为大于或等于3的整数,第M个特征向量的信息量大于第M-1个特征向量的信息量;
将第M个特征向量通过第二运算操作得到第M+1个特征向量,其中,第M+1个特征向量的信息量大于第M个特征向量的信息量;
将所述第M+1个特征向量和第M个特征向量进行第三运算操作得到第一输出向量;
依次将第M-1个特征向量和所述第一输出向量进行第三运算操作得到第二输出向量、将第M-2个特征向量和第二输出向量进行第三运算操作得到第三输出向量直至第一个特征向量与第M-1输出向量进行第三运算操作得到第M输出向量,根据所述第M输出向量输出对应的已分割图像;
其中,所述第一运算操作包括:
对所述原始图像进行至少一次卷积操作得到卷积后图像;
对所述卷积后图像的每一通道特征进行池化和全连接操作,及将池化和全连接操作后的通道特征通过非线性激活函数得到所述卷积后图像的该通道特征的第一权值;
对所述卷积后图像每一像素点的特征进行卷积操作,及将卷积后的像素点的特征通过所述非线性激活函数得到所述卷积后图像的该像素点的第二权值;
根据所述卷积后图像的各通道特征的第一权值对所述卷积后图像所有通道特征进行加权,及根据所述卷积后图像的各像素点的第二权值对所述卷积后图像的所有像素点进行加权,得到加权后的图像的特征向量;
所述第二运算操作包括:
将所述第M个特征向量进行池化及扩张卷积操作得到第M+1个特征向量;
所述第三运算操作包括:
将两个特征向量进行连接操作;
将连接后的特征向量进行池化、卷积操作后通过非线性激活函数得到该连接后的特征向量对应图像的各像素点的第三权值;
根据各像素点的第三权值对信息量少的特征向量进行加权,及将加权后的特征向量与所述连接后的特征向量进行叠加得到一输出向量。
2.根据权利要求1所述的超声图像分割方法,其特征在于,每组包括预定次数的第一运算操作,每组第一运算操作中,每一次的第一运算操作的输出均作为下一次第一运算操作的输入,直至该组中最后一次的第一运算操作执行完毕,得到该组对应的特征向量。
3.根据权利要求2所述的超声图像分割方法,其特征在于,所述M等于四;
第一组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第二组包括四次第一运算操作,四次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第三组包括六次第一运算操作,六次第一运算操作均具有相同的卷积核尺寸和滑动步长;
第四组包括三次第一运算操作,三次第一运算操作均具有相同的卷积核尺寸和滑动步长。
4.根据权利要求3所述的超声图像分割方法,其特征在于,所述卷积核尺寸为1×1、3×3或5×5,四组第一运算操作中对应卷积操作的滑动步长分别为2、2、2和1。
5.根据权利要求1所述的超声图像分割方法,其特征在于,所述“对所述原始图像进行至少一次卷积操作”包括:
将所述原始图像进行通道拆分得到各通道特征;
将所有通道特征分成预订数量的分组,及对每一分组中的所有通道特征均进行至少一次卷积操作;
将所有分组的卷积后的通道特征进行组合得到卷积后图像。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述计算机设备执行权利要求1至5任一项所述的超声图像分割方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质储存有权利要求6所述计算机设备中所使用的所述计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287783.0A CN109472791B (zh) | 2018-10-31 | 2018-10-31 | 超声图像分割方法和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287783.0A CN109472791B (zh) | 2018-10-31 | 2018-10-31 | 超声图像分割方法和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109472791A CN109472791A (zh) | 2019-03-15 |
CN109472791B true CN109472791B (zh) | 2020-10-27 |
Family
ID=65666611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811287783.0A Active CN109472791B (zh) | 2018-10-31 | 2018-10-31 | 超声图像分割方法和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109472791B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211130A (zh) * | 2019-05-20 | 2019-09-06 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903255A (zh) * | 2012-12-31 | 2014-07-02 | 中国科学院深圳先进技术研究院 | 一种超声图像分割方法和系统 |
CN105956620A (zh) * | 2016-04-29 | 2016-09-21 | 华南理工大学 | 一种基于稀疏表示的肝脏超声图像识别方法 |
KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
WO2018111940A1 (en) * | 2016-12-12 | 2018-06-21 | Danny Ziyi Chen | Segmenting ultrasound images |
CN108537751A (zh) * | 2018-03-31 | 2018-09-14 | 华南理工大学 | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 |
-
2018
- 2018-10-31 CN CN201811287783.0A patent/CN109472791B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903255A (zh) * | 2012-12-31 | 2014-07-02 | 中国科学院深圳先进技术研究院 | 一种超声图像分割方法和系统 |
KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
CN105956620A (zh) * | 2016-04-29 | 2016-09-21 | 华南理工大学 | 一种基于稀疏表示的肝脏超声图像识别方法 |
WO2018111940A1 (en) * | 2016-12-12 | 2018-06-21 | Danny Ziyi Chen | Segmenting ultrasound images |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
CN108537751A (zh) * | 2018-03-31 | 2018-09-14 | 华南理工大学 | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 |
Non-Patent Citations (3)
Title |
---|
Multi-Scale Tubular Structure Detection in Ultrasound Imaging;Christoph Hennersperger.etc;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20140722;第34卷(第1期);全文 * |
乳腺超声图像处理技术的研究与应用;叶碧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170115;全文 * |
甲状腺结节超声图像分割及特征提取算法研究;祁永梅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141015;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109472791A (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3553742B1 (en) | Method and device for identifying pathological picture | |
CN109523526B (zh) | 组织结节检测及其模型训练方法、装置、设备和系统 | |
US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
CN110852396A (zh) | 一种宫颈图像的样本数据处理方法 | |
Alqahtani et al. | Breast cancer pathological image classification based on the multiscale CNN squeeze model | |
CN111340827A (zh) | 一种肺部ct影像数据处理分析方法及系统 | |
CN112581458B (zh) | 一种图像处理方法和装置 | |
CN113947609A (zh) | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 | |
CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
Alammari et al. | Classification of ulcerative colitis severity in colonoscopy videos using CNN | |
CN113421240A (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
CN109472791B (zh) | 超声图像分割方法和计算机设备 | |
CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
CN116825363A (zh) | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 | |
CN112085742A (zh) | 一种基于上下文注意力的nafld超声视频诊断方法 | |
CN116542988A (zh) | 结节分割方法、装置、电子设备及存储介质 | |
CN113657479B (zh) | 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 | |
CN113298827B (zh) | 一种基于DP-Net网络的图像分割方法 | |
CN114078137A (zh) | 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备 | |
Thepade et al. | Covid19 identification using machine learning classifiers with histogram of luminance chroma features of chest x-ray images | |
Li et al. | Real-time polyp detection for colonoscopy video on CPU | |
CN113160050A (zh) | 基于时空神经网络的小目标识别方法及系统 | |
CN112785575A (zh) | 一种图像处理的方法、装置和存储介质 | |
CN112990339A (zh) | 胃病理切片图像分类方法、装置及存储介质 | |
CN112819801A (zh) | 一种改进U-Net的肺结节分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |