CN113706473A - 超声图像中病灶区域的长短轴确定方法和超声设备 - Google Patents
超声图像中病灶区域的长短轴确定方法和超声设备 Download PDFInfo
- Publication number
- CN113706473A CN113706473A CN202110891611.XA CN202110891611A CN113706473A CN 113706473 A CN113706473 A CN 113706473A CN 202110891611 A CN202110891611 A CN 202110891611A CN 113706473 A CN113706473 A CN 113706473A
- Authority
- CN
- China
- Prior art keywords
- region
- area
- determining
- axis
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003902 lesion Effects 0.000 title claims description 70
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000002604 ultrasonography Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004800 variational method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001347978 Major minor Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及超声图像处理技术领域,公开了一种超声图像中病灶区域的长短轴确定方法和超声设备,解决了现有技术中测量病灶图像过程受医生的主观性影响较大且操作复杂的问题。本申请在对图像进行处理前,先用设备获取包含病灶区域的超声图像,用户从所述超声图像中标记出包含病灶区域的感兴趣区域。为提供测量结果的准确性,对所述待处理区域执行用于提升信噪比的预处理操作。再检测病灶区域的最小外接矩形并根据所述最小外接矩形确定病灶区域的长短轴。本申请对病灶区域的长短轴测量,对用户主观因素依赖少且对用户的专业要求低,最小外接矩形基本能够反映病灶区域的长短轴情况,故此本申请实施例能够自动的较为准确的检测出病灶区域的长短轴。
Description
技术领域
本申请涉及超声图像处理技术领域,尤其涉及一种超声图像中病灶区域的长短轴确定方法和超声设备。
背景技术
在超声临床应用中,需要医生观看超声图像,从中手动选择出超声图像区域,然后手动标记出病灶区域的长轴端点和短轴端点。超声设备根据长轴端点会计算病灶区域的长轴长度,根据短轴端点计算病灶区域的短轴距离。
由此可见,超声图像中病灶区域的长短轴识别,操作过程中需要人工多次干预,这对医生的专业要求较高,且容易受医生主观因素的影响。
如何能够自动的准确的识别病灶区域的长短轴是业内关注的问题。
发明内容
本申请公开了一种超声图像中病灶区域的长短轴确定方法及相关装置,用于解决,超声图像中病灶区域的长短轴识别,操作过程中需要人工多次干预,这对医生的专业要求较高,且容易受医生主观因素的影响的问题。
第一方面,本申请提供了一种超声图像中病灶区域的长短轴确定方法,该方法包括:
获取超声图像;
从所述超声图像中获取待处理区域;
对所述待处理区域执行用于提升信噪比的预处理操作;
对所述待处理区域进行病灶区域检测得到病灶区域;
确定所述病灶区域的最小外接矩形;
确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示。
可选的,从所述超声图像中获取待处理区域,具体包括:
展示所述超声图像的用户界面;
基于对所述用户界面触发的区域选择操作,确定用户选择的区域为所述待处理区域,其中所述待处理区域包括病灶的全部区域。
可选的,所述对所述待处理区域执行用于提升信噪比的预处理操作,具体包括:
构建所述待处理区域中像素点的结构张量矩阵,得到所述像素点的两个特征值和两个特征向量;所述两个特征值中一个特征值用于描述所述像素点的邻域灰度差异最大强度,另一个特征值用于描述所述像素点的邻域灰度差异最小强度;所述两个特征向量中,一个特征向量用于描述所述像素点的邻域灰度差异最大强度的方向,另一个特征向量用于描述所述像素点的邻域灰度差异最小强度的方向;
根据所述两个特征值之间的差值,重新构造新的特征值;
根据新的特征值和所述两个特征向量对所述待处理区域进行扩散滤波。
可选的,所述对所述待处理区域进行病灶区域检测得到病灶区域,具体包括:
通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线;
基于边缘曲线对待处理区域进行二值化,其中,每条边缘区域的内部区域为候选病灶区域,外部区域为候选非病灶区域;
对所述二值图像进行连通域检测,得到至少一个连通区域;
从所述至少一个连通区域中获取最大的连通区域作为所述病灶区域。
可选的,所述确定所述病灶区域的最小外接矩形,具体包括:
在指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,其中,指定角度为外接矩形和指定方向的夹角,所述指定方向为所述超声图像的像素行方向或像素列方向。
可选的,在所述指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,具体包括:
在所述指定角度范围内,设定所述外接矩形的起始搜索角度;
根据所述起始搜索角度方向与其垂直的角度方向确定所述病灶区域的外接矩形的顶点坐标;
将所述顶点坐标相连,求得所述病灶区域的外接矩形;
根据精度要求,依次确定所有所述病灶区域的外接矩形;
计算所有所述外接矩形的面积参数;
比较所有所述外接矩形的面积参数,找出其中面积最小的所述外接矩形作为所述病灶区域的最小外接矩形;
根据角度方向旋转到水平方向求得所述最小外接矩形顶点坐标。
可选的,所述通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线,具体包括:
确定所述待处理区域的中心点,并对所述待处理区域的短边长度进行加权计算得到半径;其中,加权计算采用的权重系数小于1;
以中心点为圆心,基于所述半径得到圆形曲线作为所述水平集方法的初始曲线;
以所述初始曲线为基准,通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线。
可选的,确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示,具体包括:
确定所述最小外接矩形的各个边的中心点;
选取两个短边的中心点坐标作为短轴的两个端点坐标,选取两个长边的中心点坐标作为长轴的两个端点坐标;
基于短轴的两个端点确定短轴的像素长度,并基于长轴的两个端点确定长轴的像素长度;
采用单个像素点表示的距离乘以所述短轴的像素长度,得到所述病灶区域的短轴尺寸,采用单个像素点表示的距离乘以所述长轴的像素长度得到所述病灶区域的长轴尺寸。
可选的,确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示,具体包括:
将所述待处理区域左上角坐标作为顶点坐标;
根据所述顶点坐标与所述短轴的两个端点坐标和长轴的两个端点坐标,得到长轴和短轴的两个端点在所述超声图像中的坐标;
在所述超声图像中将长轴和短轴各自两个端点用直线连接起来,标注出各自的实际距离,并将长轴和短轴描绘显示。
第二方面,本申请提供一种超声设备,包括:
显示器,用于显示超声图像;
存储器,用于存储可执行指令;
处理器,用于基于所述可执行指令,执行如第一方面所述任一方法。
第三方面,本申请提供了一种计算机存储介质,其中,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行本申请第一方面中任一项所述的超声图像中病灶区域的长短轴确定方法。
第四方面,本申请还提供了一种计算机可读存储介质,包括计算机程序,其中所述计算机程序被处理器能够执行如本申请第一方面中提供的任一方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
独权有益效果:本申请在对图像进行处理之前,先用设备获取包含病灶区域超声图像,用户可从所述超声图像中标记出包含病灶区域的感兴趣区域。为提供测量结果的准确性,对所述待处理区域执行用于提升信噪比的预处理操作。之后检测病灶区域并采用病灶区域的最小外接矩形并根据所述最小外接矩形确定病灶区域的长短轴。本申请对病灶区域的长短轴检测,对用户主观因素依赖少,且对用户的专业要求低,最小外接矩形基本能够反映病灶区域的长短轴情况,故此本申请实施例能够自动的较为准确的检测出病灶区域的长短轴。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的超声设备的结构框图;
图2为本申请实施例提供的一种超声图像中病灶区域的长短轴确定方法的流程示意图;
图3为本申请实施例提供的超声图像降噪流程图;
图4为本申请实施例提供的一种水平集方法流程图;
图5为本申请实施例提供的病灶区域二值化的效果图;
图6为本申请实施例提供的最小外接矩形获取的流程图;
图7为本申请实施例提供的长轴和短轴尺寸计算流程图;
图8为本申请实施例提供的二值图像上长轴和短轴的显示效果图;
图9为本申请实施例提供的超声图像中病灶区域的长短轴显示效果图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
水平集CV模型:一个经典的基于区域的几何主动轮廓模型,其基本思想是选取图像的灰度信息作为驱动演化的能量,构造能量函数然后通过最小化能量函数,得到最终的分割目标。
变分法:一种用于求解边界值的方法,使得泛函取得极大或极小值。
结构张量:是从函数的梯度导出的矩阵。它总结了一个点的指定邻域中梯度的主要方向,以及这些方向是连贯的程度,能区分图像的平坦区域、边缘区域与角点区域。
连通区域:在图像中,最小的单位是像素,每个像素周围有8个邻接像素,常见的邻接关系有2种:4邻接与8邻接,4邻接一共4个点,即上下左右,4邻接一共4个点,即上下左右,在视觉上看来,彼此连通的点形成了一个区域,而不连通的点形成了不同的区域。这样的一个所有的点彼此连通点构成的集合,我们称为一个连通区域。
最小外接矩形:指以二维坐标表示的若干二维形状(例如点、直线、多边形)的最大范围,即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形。这样的一个矩形包含给定的二维形状。最小外接矩形是最小外接框(minimum bounding box)的二维形式。
在对超声图像进行病灶测量时,现有技术需要医生观看超声图像,从中手动选择出超声图像区域,然后手动标记出病灶区域的长轴端点和短轴端点。超声设备根据长轴端点会计算病灶区域的长轴长度,根据短轴端点计算病灶区域的短轴距离。这一过程需要人工多次干预,受医生主观因素的影响容易出现因医生判断性的准确性影响而造成病灶区域尺寸测量结果有误差的问题。
有鉴于此,本申请实施例主要根据以上缺陷提出了一种超声图像中病灶区域的长短轴确定方法,该方法的发明构思可概括为:在对图像进行处理之前,先用设备获取包含病灶区域超声图像,然后为了方便图像处理,可以让用户从所述超声图像中标记出包含病灶区域的感兴趣区域,本申请实施例也称之为待处理区域。因为超声图像的噪声干扰较大,容易影响测量结果的准确性,所以需要对所述待处理区域执行用于提升信噪比的预处理操作。之后用水平及集算法实现对病灶长轴和短轴的自动测量。由此,本申请对病灶区域的长短轴检测,对用户主观因素依赖少,且对用户的专业要求低,最小外接矩形基本能够反映病灶区域的长短轴情况,故此本申请实施例能够自动的较为准确的检测出病灶区域的长短轴。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参见图1所示,为本申请实施例提供的超声设备的结构框图。
应该理解的是,图1所示超声设备100仅是一个范例,并且超声设备100可以具有比图1中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图1中示例性示出了根据示例性实施例中超声设备100的硬件配置框图。
如图1所示,超声设备100例如可以包括:处理器110、存储器120、显示单元130和超声图像获取装置140;其中:
超声图像获取装置140,用于发射超声波束;
显示单元130,用于显示超声图像;
存储器120被配置为存储用于超声图像所需的数据,可包括软件程序,应用界面数据等;
处理器110,分别与所述超声图像获取装置140以及所述显示单元130相连接,被配置为执行:
获取超声图像;
从所述超声图像中获取待处理区域;
对所述待处理区域执行用于提升信噪比的预处理操作;
对所述待处理区域进行病灶区域检测得到病灶区域;
确定所述病灶区域的最小外接矩形;
确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示。
可选的,从所述超声图像中获取待处理区域,具体包括:
展示所述超声图像的用户界面;
基于对所述用户界面触发的区域选择操作,确定用户选择的区域为所述待处理区域,其中所述待处理区域包括病灶的全部区域。
可选的,所述对所述待处理区域执行用于提升信噪比的预处理操作,具体包括:
构建所述待处理区域中像素点的结构张量矩阵,得到所述像素点的两个特征值和两个特征向量;所述两个特征值中一个特征值用于描述所述像素点的邻域灰度差异最大强度,另一个特征值用于描述所述像素点的邻域灰度差异最小强度;所述两个特征向量中,一个特征向量用于描述所述像素点的邻域灰度差异最大强度的方向,另一个特征向量用于描述所述像素点的邻域灰度差异最小强度的方向;
根据所述两个特征值之间的差值,重新构造新的特征值;
根据新的特征值和所述两个特征向量对所述待处理区域进行扩散滤波。
可选的,所述对所述待处理区域进行病灶区域检测得到病灶区域,具体包括:
通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线;
基于边缘曲线对待处理区域进行二值化,其中,每条边缘区域的内部区域为候选病灶区域,外部区域为候选非病灶区域;
对所述二值图像进行连通域检测,得到至少一个连通区域;
从所述至少一个连通区域中获取最大的连通区域作为所述病灶区域。
可选的,所述确定所述病灶区域的最小外接矩形,具体包括:
在指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,其中,指定角度为外接矩形的指定边和指定方向的夹角,所述指定方向为所述超声图像的像素行方向或像素列方向。
可选的,在所述指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,具体包括:
对所述指定角度范围内的每个预设搜索角度分别执行以下操作,直至得到每个预设搜索角度分别对应的外接矩形的顶点坐标;
确定所述病灶区域内像素点坐标在所述搜索角度方向上的最大值和最小值,得到所述外接矩形的第一顶点坐标和第二顶点坐标;以及,
确定所述病灶区域内像素点坐标在所述搜索角度方向的垂直方向上的最大值和最小值,得到所述外接矩形的第三顶点坐标和第四顶点坐标;
基于各搜索角度分别对应的外接矩形的顶点坐标,确定各外接矩形的面积;
从各外接矩形中选取面积最小的外接矩形作为所述病灶区域的最小外接矩形。
可选的,所述通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线,具体包括:
确定所述待处理区域的中心点,并对所述待处理区域的短边长度进行加权计算得到半径;其中,加权计算采用的权重系数小于1;
以中心点为圆心,基于所述半径得到圆形曲线作为所述水平集方法的初始曲线;
以所述初始曲线为基准,通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线。
可选的,所述确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴,具体包括:
确定所述最小外接矩形的各个边的中心点;
选取两个短边的中心点坐标作为短轴的两个端点坐标,选取两个长边的中心点坐标作为长轴的两个端点坐标;
基于短轴的两个端点确定短轴的像素长度,并基于长轴的两个端点确定长轴的像素长度;
采用单个像素点表示的距离乘以所述短轴的像素长度,得到所述病灶区域的短轴尺寸,采用单个像素点表示的距离乘以所述长轴的像素长度得到所述病灶区域的长轴尺寸。
可选的,所述病灶区域的所述长轴和所述短轴的端点坐标为基于所述待处理区域的像素坐标系中的坐标,确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示,具体包括:
将所述待处理区域左上角在所述超声图像的像素坐标系中的坐标作为顶点坐标;
根据所述顶点坐标与所述短轴的两个端点坐标和长轴自动检测和测量模块的两个端点坐标,得到长轴和短轴的两个端点在所述超声图像中的坐标;在所述超声图像中将长轴和短轴各自两个端点用直线连接,标注出各自的实际距离,并将长轴和短轴描绘显示。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
如图2所示为本申请实施例提供的超声图像中病灶区域的长短轴确定方法的流程示意图,包括以下步骤:
当需要对人体病灶区域进行测量时,在步骤201中,在用户界面按“冻结”按键,获取病灶区域的超声图像,再在所述用户界面按“病灶自动测量”按键,开始对所述病灶区域的超声图像进行处理。
得到超声图像之后,由于通常情况下,病灶区域在超声图像中的占比较少,为了提高处理效率和对超声区域检测的准确性,可以在步骤202中,从超声图像中获取待处理区域。
其中,一种可能的实施方式是,获取超声图像之后,显示超声图像并提供用户操作界面,用户可以在该用户操作界面中标记出包含病灶区域的感兴趣区域作为待处理区域。例如,用户可以绘制矩形区域作为感兴趣区域,当然,用户也可以根据需要绘制圆形、类圆形等区域均适用于本申请实施例。
除了上述确定待处理区域的方法,本申请实施例中还可以预先构建病灶域的模板图像,然后通过模板匹配的方法检测存在病灶区域的图像区域,然后将匹配病灶区域的图像区域进行扩大操作,得到待处理图像区域。
由此,通过获取待处理器区域能够过滤掉部分超声图像数据不需要参与后续的处理,能够提高数据处理效率节约处理资源。
用户在步骤202中从显示模块上的所述超声图像中用户选择的区域作为待处理区域,其中所述待处理区域包括病灶的全部区域。
获取待处理区域之后,为了能够进一步准确的检测出病灶区域,可以在步骤203中,所述对所述待处理区域执行用于提升信噪比的预处理操作。
预处理操作的一种可能的实施方式为相干扩散滤波方法,如图3所示,包括以下步骤:
公式(1)中的J表示结构张量矩阵,Ix表示水平方向梯度,Iy表示垂直方向梯度,表示水平方向梯度的平方值,表示垂直方向梯度的平方值,Gσ表示标准差为σ的高斯核,ω1,ω2分别表示特征向量,μ1,μ2分别表示特征值。在所述两个特征值中一个特征值用于描述所述像素点的邻域灰度差异最大强度,另一个特征值用于描述所述像素点的邻域灰度差异最小强度;所述两个特征向量中,一个特征向量用于描述所述像素点的邻域灰度差异最大强度的方向,另一个特征向量用于描述所述像素点的邻域灰度差异最小强度的方向。
在步骤302中,根据获取到的所述两个特征值,利用公式(2)和公式(3),重新构造新的特征值。
μ2=α (3)。
公式(2)中β、α为扩散滤波系数,k为特征值差值的阈值,β、α、k均为正数,可以人机进行调节。
在步骤303中,根据新的特征值和所述两个特征向量对所述待处理区域进行扩散滤波。滤波后的图像的信噪比比所述超声图像的信噪比更高。
当然,在另一些实施例中,也可以采用区域生长算法或聚类算法等方法用于提高待处理区域的信噪比,均适用于本申请实施例。
在步骤204中,对待处理区域进行病灶区域检测得到病灶区域。
下面结合图4对本申请实施例中采用水平集方法结合连通域分析方法来检测病灶区域进行说明。如图4所示,是对降噪后的所述待处理区域利用水平集方法进行病灶区域检测得到病灶区域。在处理之前,选取图像的灰度信息作为驱动演化的能量,在步骤401中构造如公式(4)所示的能量函数。
公式(4)中,I(x,y)表示图像像素点的灰度值,λo和λb分别表示能量项的权重系数,Co和Cb分别表示曲线内部区域和外部区的平均灰度值。μ表示长度系数,γ代表面积参数。加法项第一项表示轮廓内部灰度能量,第二项为轮廓外部灰度能量,第三项轮廓长度能量,第四项轮廓面积能量。
在步骤402中通过变分法确定水平集方法模型的演化函数,具体如公式(5)、公式(6)和公式(7)所示,根据所述演化函数得到病灶区域的至少一条边缘曲线。
在另一个实施例中,根据所述演化函数,在计算得到所述边缘曲线之前,确定所述待处理区域的中心点,并对所述待处理区域的短边长度进行加权计算得到半径;其中,加权计算采用的权重系数小于1。
然后以中心点为圆心,基于所述半径得到圆形曲线作为所述水平集方法的初始曲线;
以所述初始曲线为基准,通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线。由于超声图像的复杂性,病灶区域和边界的不确定性,因此先确定所述初始曲线可以减少所述终端设备的处理区域,提高对所述病灶区域的边缘曲线的测量精度。
得到至少一条边缘曲线后,在步骤403中,基于所述边缘曲线对待处理区域进行二值化,其中,每条边缘区域的内部区域为候选病灶区域,外部区域为候选非病灶区域。二值化的效果如图5所示。
然后在步骤404中对所述二值图像进行连通域检测,得到至少一个连通区域。之后,在步骤405中从所述至少一个连通区域中获取最大的连通区域作为所述病灶区域。
得到所述病灶区域后,在步骤205中,确定所述病灶区域的最小外接矩形。
由于所述病灶区域一般为不规则图形,直接确定所述病灶区域的长轴的和短轴的算法不仅复杂而且处理时间漫长,因此可以通过最小外接矩形来确定所述病灶区域的长轴和短轴端点,这种方法提高了测量精度,极大简化了算法的复杂程度。
一种可能的实施方式如图6所示,确定所述病灶区域的最小外接矩形。在步骤601中指定角度范围是0~90°,用户设定首次搜索角度x和搜索精度a,搜索次数用n表示。根据所述搜索范围搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形。其中,指定角度为外接矩形的指定边和指定方向的夹角,所述指定方向为所述超声图像的像素行方向或像素列方向。
为了方便计算最小外接矩形,在步骤602中对所述指定角度范围内的每个预设搜索角度分别执行以下操作,直至得到每个预设搜索角度分别对应的外接矩形的顶点坐标:确定所述病灶区域内像素点坐标在所述搜索角度方向上的最大值和最小值,得到所述外接矩形的第一顶点坐标和第二顶点坐标,即如图8所示的A,B,C,D四个顶点坐标。以及,确定所述病灶区域内像素点坐标在所述搜索角度方向的垂直方向上的最大值和最小值,得到所述外接矩形的第三顶点坐标和第四顶点坐标,最终得到该搜索角度方向上的候选矩形。
然后基于各搜索角度分别对应的外接矩形的顶点坐标,确定各外接矩形的面积。在步骤603中若搜索角度超出搜索范围,则在步骤604中找出从各外接矩形中选取面积最小的外接矩形作为所述病灶区域的最小外接矩形;否则搜索次数加1,返回执行步骤602确定当前精度的下一搜索角度的外接矩形面积和顶点坐标。
得到所述最小外接矩形后,如图7所示将所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴。
在步骤701中,确定所述最小外接矩形的各个边的中心点,选取两个短边的中心点坐标作为短轴的两个端点坐标,选取两个长边的中心点坐标作为长轴的两个端点坐标,得到如图8所示的E,F,G,H四个端点;
在步骤702中,基于短轴的两个端点确定短轴的像素长度,并基于长轴的两个端点确定长轴的像素长度;
得到长轴和短轴的像素长度之后,在步骤703中采用单个像素点表示的距离乘以所述短轴的像素长度,得到所述病灶区域的短轴尺寸,采用单个像素点表示的距离乘以所述长轴的像素长度得到所述病灶区域的长轴尺寸。
得到所述病灶区域的长轴和短轴尺寸之后,将所述待处理区域左上角在所述超声图像的像素坐标系中的坐标作为顶点坐标。在所述病灶区域上的显示效果如图8所示。
在步骤206中根据所述顶点坐标与所述短轴的两个端点坐标和长轴自动检测和测量模块的两个端点坐标,得到长轴和短轴的两个端点在所述超声图像中的坐标;
在步骤207中在所述超声图像中将长轴和短轴各自两个端点用直线连接,标注出各自的实际距离,并将长轴和短轴描绘显示。显示效果如图9所示。
在一些可能的实施方式中,本申请实施例提供的数据处理的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序代码在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书中描述的根据本申请各种示例性实施方式的数据处理的方法中的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本申请的实施方式的用于执行数据处理的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在服务器设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被信息传输、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由周期网络动作系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备。
本申请实施例执行数据处理的方法还提供一种计算设备可读存储介质,即断电后内容不丢失。该存储介质中存储软件程序,包括程序代码,当所述程序代码在计算设备上运行时,该软件程序在被一个或多个处理器读取并执行时可实现本申请实施例上面任何一种数据处理的方案。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。
Claims (10)
1.一种超声图像中病灶区域的长短轴确定方法,其特征在于,该方法包括:
获取超声图像;
从所述超声图像中获取待处理区域;
对所述待处理区域执行用于提升信噪比的预处理操作;
对所述待处理区域进行病灶区域检测得到病灶区域;
确定所述病灶区域的最小外接矩形;
确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示。
2.根据权利要求1所述的方法,其特征在于,从所述超声图像中获取待处理区域,具体包括:
展示所述超声图像的用户界面;
基于对所述用户界面触发的区域选择操作,确定用户选择的区域为所述待处理区域,其中所述待处理区域包括病灶的全部区域。
3.根据权利要求1所述的方法,其特征在于,所述对所述待处理区域执行用于提升信噪比的预处理操作,具体包括:
构建所述待处理区域中像素点的结构张量矩阵,得到所述像素点的两个特征值和两个特征向量;所述两个特征值中一个特征值用于描述所述像素点的邻域灰度差异最大强度,另一个特征值用于描述所述像素点的邻域灰度差异最小强度;所述两个特征向量中,一个特征向量用于描述所述像素点的邻域灰度差异最大强度的方向,另一个特征向量用于描述所述像素点的邻域灰度差异最小强度的方向;
根据所述两个特征值之间的差值,重新构造新的特征值;
根据新的特征值和所述两个特征向量对所述待处理区域进行扩散滤波。
4.根据权利要求1所述的方法,其特征在于,所述对所述待处理区域进行病灶区域检测得到病灶区域,具体包括:
通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线;
基于边缘曲线对待处理区域进行二值化,其中,每条边缘区域的内部区域为候选病灶区域,外部区域为候选非病灶区域;
对所述二值图像进行连通域检测,得到至少一个连通区域;
从所述至少一个连通区域中获取最大的连通区域作为所述病灶区域。
5.根据权利要求1所述的方法,其特征在于,所述确定所述病灶区域的最小外接矩形,具体包括:
在指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,其中,指定角度为外接矩形的指定边和指定方向的夹角,所述指定方向为所述超声图像的像素行方向或像素列方向。
6.根据权利要求5所述的方法,其特征在于,在所述指定角度范围内,搜索面积最小的所述病灶区域的外接矩形作为所述最小外接矩形,具体包括:
对所述指定角度范围内的每个预设搜索角度分别执行以下操作,直至得到每个预设搜索角度分别对应的外接矩形的顶点坐标;
确定所述病灶区域内像素点坐标在所述搜索角度方向上的最大值和最小值,得到所述外接矩形的第一顶点坐标和第二顶点坐标;以及,
确定所述病灶区域内像素点坐标在所述搜索角度方向的垂直方向上的最大值和最小值,得到所述外接矩形的第三顶点坐标和第四顶点坐标;
基于各搜索角度分别对应的外接矩形的顶点坐标,确定各外接矩形的面积;
从各外接矩形中选取面积最小的外接矩形作为所述病灶区域的最小外接矩形。
7.根据权利要求4所述的方法,其特征在于,所述通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线,具体包括:
确定所述待处理区域的中心点,并对所述待处理区域的短边长度进行加权计算得到半径;其中,加权计算采用的权重系数小于1;
以中心点为圆心,基于所述半径得到圆形曲线作为所述水平集方法的初始曲线;
以所述初始曲线为基准,通过变分法确定水平集方法模型的演化函数,得到病灶区域的至少一条边缘曲线。
8.根据权利要求1所述的方法,其特征在于,所述确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴,具体包括:
确定所述最小外接矩形的各个边的中心点;
选取两个短边的中心点坐标作为短轴的两个端点坐标,选取两个长边的中心点坐标作为长轴的两个端点坐标;
基于短轴的两个端点确定短轴的像素长度,并基于长轴的两个端点确定长轴的像素长度;
采用单个像素点表示的距离乘以所述短轴的像素长度,得到所述病灶区域的短轴尺寸,采用单个像素点表示的距离乘以所述长轴的像素长度得到所述病灶区域的长轴尺寸。
9.根据权利要求1或8所述的方法,其特征在于,所述确定所述最小外接矩形的长轴和短轴作为所述病灶区域的长轴和短轴并在所述超声图像上显示,具体包括:
将所述待处理区域左上角在所述超声图像的像素坐标系中的坐标作为顶点坐标;
根据所述顶点坐标与所述短轴的两个端点坐标和长轴自动检测和测量模块的两个端点坐标,得到长轴和短轴的两个端点在所述超声图像中的坐标;
在所述超声图像中将长轴和短轴各自两个端点用直线连接,标注出各自的实际距离,并将长轴和短轴描绘显示。
10.一种超声设备,其特征在于,包括:
显示器,用于显示超声图像;
存储器,用于存储可执行指令;
处理器,用于基于所述可执行指令,执行如权利要求1-9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110891611.XA CN113706473B (zh) | 2021-08-04 | 2021-08-04 | 超声图像中病灶区域的长短轴确定方法和超声设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110891611.XA CN113706473B (zh) | 2021-08-04 | 2021-08-04 | 超声图像中病灶区域的长短轴确定方法和超声设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706473A true CN113706473A (zh) | 2021-11-26 |
CN113706473B CN113706473B (zh) | 2024-03-01 |
Family
ID=78651479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110891611.XA Active CN113706473B (zh) | 2021-08-04 | 2021-08-04 | 超声图像中病灶区域的长短轴确定方法和超声设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706473B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092475A (zh) * | 2022-01-19 | 2022-02-25 | 浙江太美医疗科技股份有限公司 | 病灶长径确定方法、图像标注方法、装置及计算机设备 |
CN116030118A (zh) * | 2023-03-29 | 2023-04-28 | 杭州太美星程医药科技有限公司 | 病灶短径确定方法和装置、电子设备和存储介质 |
CN116523810A (zh) * | 2023-07-04 | 2023-08-01 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
CN117201800A (zh) * | 2023-09-12 | 2023-12-08 | 浙江建达科技股份有限公司 | 基于空间冗余的医疗检查大数据压缩存储系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150126831A1 (en) * | 2013-11-04 | 2015-05-07 | Covidien Lp | Medical sensor with ambient light shielding |
CN109846513A (zh) * | 2018-12-18 | 2019-06-07 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、系统和图像测量方法、处理系统及介质 |
CN111862058A (zh) * | 2020-07-24 | 2020-10-30 | 高小翎 | 超声定位纤维肌瘤影像的高效精准划分方法 |
CN112638239A (zh) * | 2018-05-31 | 2021-04-09 | 佳能株式会社 | 图像处理系统、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质 |
CN113034426A (zh) * | 2019-12-25 | 2021-06-25 | 飞依诺科技(苏州)有限公司 | 超声图像病灶描述方法、装置、计算机设备和存储介质 |
-
2021
- 2021-08-04 CN CN202110891611.XA patent/CN113706473B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150126831A1 (en) * | 2013-11-04 | 2015-05-07 | Covidien Lp | Medical sensor with ambient light shielding |
CN112638239A (zh) * | 2018-05-31 | 2021-04-09 | 佳能株式会社 | 图像处理系统、摄像设备、图像处理设备、电子装置及其控制方法和存储控制方法的存储介质 |
CN109846513A (zh) * | 2018-12-18 | 2019-06-07 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像方法、系统和图像测量方法、处理系统及介质 |
CN113034426A (zh) * | 2019-12-25 | 2021-06-25 | 飞依诺科技(苏州)有限公司 | 超声图像病灶描述方法、装置、计算机设备和存储介质 |
CN111862058A (zh) * | 2020-07-24 | 2020-10-30 | 高小翎 | 超声定位纤维肌瘤影像的高效精准划分方法 |
Non-Patent Citations (2)
Title |
---|
A. MONTALIBET;J. JOSSINET;A. MATIAS;D. CATHIGNOL: "Interaction ultrasound-magnetic field: experimental setup and detection of the interaction current", 2000 IEEE ULTRASONICS SYMPOSIUM. PROCEEDINGS. AN INTERNATIONAL SYMPOSIUM (CAT. NO.00CH37121) * |
韩晓涛: "基于超声图像的甲状腺结节计算机辅助诊断方法研究", 中国优秀硕士学位论文全文数据库 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092475A (zh) * | 2022-01-19 | 2022-02-25 | 浙江太美医疗科技股份有限公司 | 病灶长径确定方法、图像标注方法、装置及计算机设备 |
CN114092475B (zh) * | 2022-01-19 | 2022-04-22 | 浙江太美医疗科技股份有限公司 | 病灶长径确定方法、图像标注方法、装置及计算机设备 |
CN116030118A (zh) * | 2023-03-29 | 2023-04-28 | 杭州太美星程医药科技有限公司 | 病灶短径确定方法和装置、电子设备和存储介质 |
CN116523810A (zh) * | 2023-07-04 | 2023-08-01 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
CN116523810B (zh) * | 2023-07-04 | 2023-11-17 | 深圳开立生物医疗科技股份有限公司 | 一种超声图像处理方法、装置、设备及介质 |
CN117201800A (zh) * | 2023-09-12 | 2023-12-08 | 浙江建达科技股份有限公司 | 基于空间冗余的医疗检查大数据压缩存储系统 |
CN117201800B (zh) * | 2023-09-12 | 2024-03-19 | 浙江建达科技股份有限公司 | 基于空间冗余的医疗检查大数据压缩存储系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113706473B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706473B (zh) | 超声图像中病灶区域的长短轴确定方法和超声设备 | |
US11508059B2 (en) | Methods and systems for detecting a centerline of a vessel | |
Zhang et al. | Automatic liver segmentation using a statistical shape model with optimal surface detection | |
JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US20080033302A1 (en) | System and method for semi-automatic aortic aneurysm analysis | |
Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
US11996198B2 (en) | Determination of a growth rate of an object in 3D data sets using deep learning | |
US9558427B2 (en) | Shape similarity measure for body tissue | |
US20020168110A1 (en) | Method and apparatus for automatically tracing line-structure images | |
Liu et al. | Robust principal axes determination for point-based shapes using least median of squares | |
US20220101034A1 (en) | Method and system for segmenting interventional device in image | |
CN110321943A (zh) | 基于半监督深度学习的ct图像分类方法、系统、装置 | |
US20080075345A1 (en) | Method and System For Lymph Node Segmentation In Computed Tomography Images | |
US8744157B2 (en) | System and method for candidate generation and new features designed for the detection of flat growths | |
EP3843038B1 (en) | Image processing method and system | |
CN111539926B (zh) | 一种图像检测方法及装置 | |
US7720271B2 (en) | Estimation of solitary pulmonary nodule diameters with reaction-diffusion segmentation | |
CN113012127A (zh) | 基于胸部医学影像的心胸比测量方法 | |
US20190197683A1 (en) | System and methods for diagnostic image analysis and image quality assessment | |
US20060228013A1 (en) | Estimation of solitary pulmonary nodule diameters with a hybrid segmentation approach | |
WO2014106747A1 (en) | Methods and apparatus for image processing | |
CN114170258A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN113129297A (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 | |
CN115187582B (zh) | 一种淋巴结分割方法、装置、电子设备及可读存储介质 | |
CN115578564B (zh) | 实例分割模型的训练方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |