CN117058464B - 对生成健康血管表面的生成模型进行训练的方法及设备 - Google Patents
对生成健康血管表面的生成模型进行训练的方法及设备 Download PDFInfo
- Publication number
- CN117058464B CN117058464B CN202311117988.5A CN202311117988A CN117058464B CN 117058464 B CN117058464 B CN 117058464B CN 202311117988 A CN202311117988 A CN 202311117988A CN 117058464 B CN117058464 B CN 117058464B
- Authority
- CN
- China
- Prior art keywords
- healthy
- point cloud
- blood vessel
- aneurysm
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 title claims abstract description 44
- 206010002329 Aneurysm Diseases 0.000 claims abstract description 144
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 210000001367 artery Anatomy 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 26
- 238000009826 distribution Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000002792 vascular Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003711 image thresholding Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000002583 angiography Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种对生成健康血管表面的生成模型进行训练的方法及设备。所述方法包括:获取动脉瘤血管图像和健康动脉血管图像,并分别对其进行标注获得对应的标签信息;对所述动脉瘤血管图像和所述健康动脉血管图像进行点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云;以及将所述表征健康血管表面的点云、所述表征动脉瘤血管表面的点云和所述标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。利用本申请的方案,可以提高生成模型的训练效率和准确性,从而辅助分析更准确的动脉瘤的成因以及变化过程。
Description
技术领域
本申请一般涉及人工智能技术领域。更具体地,本申请涉及一种对生成健康血管表面的生成模型进行训练的方法、设备和计算机存储介质。进一步地,本申请还涉及一种生成健康血管表面的方法、设备和计算机存储介质。
背景技术
动脉瘤的确诊通常需要进行血管造影检查,包括例如数字减影血管造影(DigitalSubtraction Angiography,“DSA”)检查、电子计算机断层扫描(Computed Tomography,“CT”)血管成像以及磁共振成像(Magnetic Resonance Imaging,“MRI”)血管成像等。然而,不管是早期筛查,还是患者已经出现症状后确诊动脉瘤,此时血管的整体形态已经发生了变化,从而难以获取患者在健康状态下的血管影像。
目前,通常是由医生采用图像处理软件对动脉瘤血管影像中的动脉瘤进行去除,再结合人为修复,获得去除动脉瘤的血管。这对医生的专业性要求高,需要对动脉瘤的瘤颈,正常血管形态有深刻的认识,不仅操作费时费力,主观性也较强。此外,也有通过相关的技术(例如图像分割)来从动脉瘤血管影像中分割出动脉瘤,再去除动脉瘤,并将留下的血管作为健康血管。这种方式获得的血管在动脉瘤的瘤颈部分往往不平滑,无法恢复健康血管的形态,从而难以准确的分析动脉瘤的成因以及变化过程。进一步地,现有的方式往往针对图像处理或训练,其对应的网络通常较大,使得训练效率低下。
有鉴于此,亟需提供一种对生成健康血管表面的生成模型进行训练的方案,通过将图像转化成点云数据,使其网络变轻量,以提高生成模型的训练效率和准确性,从而辅助分析更准确的动脉瘤的成因以及变化过程。
发明内容
为了至少解决如上所提到的一个或多个技术问题,本申请在多个方面中提出了对生成健康血管表面的生成模型进行训练的方案。
在第一方面中,本申请提供一种对生成健康血管表面的生成模型进行训练的方法,包括:获取动脉瘤血管图像和健康动脉血管图像,并分别对其进行标注获得对应的标签信息;对所述动脉瘤血管图像和所述健康动脉血管图像进行点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云;以及将所述表征健康血管表面的点云、所述表征动脉瘤血管表面的点云和所述标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。
在一个实施例中,其中对所述动脉瘤血管图像和所述健康动脉血管图像进行点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云包括:从所述动脉瘤血管图像和所述健康动脉血管图像中提取各自对应的血管二值图;以及基于所述血管二值图进行血管表面点云提取,以获得所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云。
在另一个实施例中,所述方法还包括:对所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云进行格式转换、尺寸变换或者数据增强中的一种或者多种操作,以对所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云进行预处理。
在又一个实施例中,所述方法还包括:在所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云中增加噪声分布,以获得增加噪声后的点云数据;以及将所述增加噪声后的点云数据和所述标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。
在又一个实施例中,其中在所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云中增加噪声分布,以获得增加噪声后的点云数据包括:在所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云中增加任意一个噪声分布,以获得一个增加噪声后的点云数据;或者基于预定信噪比,在所述表征健康血管表面的点云和所述表征动脉瘤血管表面的点云中增加多个噪声分布,以获得多个增加噪声后的点云数据。
在又一个实施例中,其中将所述增加噪声后的点云数据和所述标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练包括:将所述一个增加噪声后的点云数据和所述标签信息输入至待训练的生成模型中进行特征提取生成所述目标血管表面的点云,以对生成健康血管表面的生成模型进行训练;或者将所述多个增加噪声后的点云数据和所述标签信息输入至待训练的生成模型中进行特征提取生成所述目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。
在又一个实施例中,其中所述动脉瘤血管图像和所述健康动脉血管图像包括DSA血管图像、CT血管图像或者MRI血管图像。
在又一个实施例中,其中所述生成模型包括Unet模型、CNN模型或者Transformer模型。
在第二方面中,本申请提供一种对生成健康血管表面的生成模型进行训练的设备,包括:处理器;以及存储器,其存储有对生成健康血管表面的生成模型进行训练的程序指令,当所述程序执行由处理器执行时,使得实现前述第一方面中的多个实施例。
在第三方面中,本申请提供一种生成健康血管表面的方法,包括:获取用于待生成健康血管表面的动脉瘤血管图像;将所述动脉瘤血管图像输入至根据前述第一方面中的多个实施例训练完成的生成模型中进行血管表面生成操作,以生成健康血管表面的点云。
在一个实施例中,其中生成健康血管表面的点云包括:基于所述动脉瘤血管图像,使用训练完成的生成模型生成一个目标噪声点云;以及基于所述一个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云。
在另一个实施例中,其中生成健康血管表面的点云还包括:基于所述动脉瘤血管图像和预定生成步数,使用训练完成的生成模型生成多个目标噪声点云;以及基于所述多个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云。
在又一个实施例中,其中基于所述多个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云包括:基于所述多个目标噪声点云,使用所述训练完成的生成模型按照连续步数进行血管表面生成操作,以生成所述健康血管表面的点云;或者基于所述多个目标噪声点云,使用所述训练完成的生成模型按照预定间隔步数进行血管表面生成操作,以生成所述健康血管表面的点云。
在又一个实施例中,所述方法还包括:对每个所述目标噪声点云在动脉瘤标签和健康标签下的样本设置比例系数,以生成所述健康血管表面的点云。
在第四方面中,本申请提供一种生成健康血管表面的设备,包括:处理器;以及存储器,其存储有生成健康血管表面的程序指令,当所述程序执行由处理器执行时,使得实现前述第三方面中的多个实施例。
在第五方面中,本申请提供计算机可读存储介质,其上存储有对生成健康血管表面的生成模型进行训练的和生成健康血管表面的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现前述第一方面中的多个实施例以及前述第三方面中的多个实施例。
通过如上所提供的对生成健康血管表面的生成模型进行训练的方案,本申请实施例通过对标注的健康血管图像和动脉瘤血管图像进行点云提取来获得表征健康血管表面的点云和表征动脉瘤血管表面的点云。即,本申请实施例将图像数据转化成点云数据,通过以点云数据和标签信息作为生成模型的输入,以使得生成模型网络变轻量,提高生成模型的训练效率和准确性。基于训练完成的生成模型,可以高效且准确地生成健康血管表面的点云,以便后续基于生成的健康血管表面的点云进行分析,获得更准确的动脉瘤的成因以及变化过程。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出现有的去除动脉瘤的示例性示意图;
图2是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的方法的示例性流程框图;
图3是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的整体操作的示例性流程框图;
图4是示出根据本申请实施例的增加噪声分布的示例性示意图;
图5是示出根据本申请实施例的生成点云的示例性示意图;
图6是示出根据本申请实施例的生成健康血管表面的方法的示例性流程框图;
图7是示出根据本申请实施例的基于一个目标噪声点云生成健康血管表面的示例性示意图;
图8是示出根据本申请实施例的基于多个目标噪声点云生成健康血管表面的一个示例性示意图;
图9是示出根据本申请实施例的基于多个目标噪声点云生成健康血管表面的又一示例性示意图;以及
图10是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的以及生成健康血管表面的设备的示例性结构框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例,而并非可以实现本申请的所有实施例。基于本说明书公开的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是示出现有的去除动脉瘤的示例性示意图。如图1的(a)图所示为动脉瘤血管图像,其中(a)图中的箭头所指处为动脉瘤。图1的(b)图所示为去除动脉瘤的血管图像。如上述背景技术描述可知,现有的对动脉瘤的成因以及变化过程的分析往往是基于去除动脉瘤的血管。通常,由医生通过人工去除动脉瘤并且进行血管修复或者采用例如图像分割技术分割出动脉瘤并去除动脉瘤,以获得去除动脉瘤的血管。然而,通过人工去除动脉瘤的方式费时费力且主观性较强,通过图像分割技术的方式无法恢复健康血管的形态,并且现有的方式往往针对图像处理或训练,其对应的网络通常较大,使得训练效率低下。
基于此,本申请提出一种对生成健康血管表面的生成模型进行训练以及生成健康血管表面的方案,通过将图像数据转化成点云数据,以提高训练效率,且基于训练完成的生成模型能够高效且准确地生成健康血管表面,以辅助分析更准确的动脉瘤的成因以及变化过程。
下面将结合附图详细描述本申请的方案。
图2是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的方法200的示例性流程框图。如图2中所示,在步骤S201处,获取动脉瘤血管图像和健康动脉血管图像,并分别对其进行标注获得对应的标签信息。在一个实施例中,前述动脉瘤血管图像和前述健康动脉血管图像可以包括但不仅限于是DSA血管图像、CT血管图像或者MRI血管图像,并且该动脉瘤血管图像和健康动脉血管图像无需是同一个患者(也即配对)的血管图像。基于获取的动脉瘤血管图像和健康动脉血管图像,分别对其进行标注,例如标注有动脉瘤或者无动脉瘤(或者健康血管),以形成对应的标签信息。
基于上述获得的动脉瘤血管图像和健康动脉血管图像,在步骤S202处,对动脉瘤血管图像和健康动脉血管图像进行点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云。在一个实施例中,首先可以从动脉瘤血管图像和健康动脉血管图像中提取各自对应的血管二值图,接着基于血管二值图进行血管表面点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云。在一些实施例中,可以通过例如分割模型或者图像阈值分割等方法来从动脉瘤血管图像和健康动脉血管图像中提取各自对应的血管二值图。基于前述血管二值图,可以通过例如计算机图形学中的Marching Cubes方法将动脉瘤血管图像和健康动脉血管图像转化成表征健康血管表面的点云和表征动脉瘤血管表面的点云。在一些实施例中,本申请上下文中的表征健康血管表面的点云和表征动脉瘤血管表面的点云可以包含点云的坐标信息和点云的连接关系。
接着,在步骤S203处,将表征健康血管表面的点云、表征动脉瘤血管表面的点云和标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。即,将表征健康血管表面的点云和表征动脉瘤血管表面的点云作为生成模型的输入,在标签信息的引导下使得训练生成模型具有生成健康血管表面的点云和动脉瘤血管表面的点云的能力。在一个实施场景中,该生成模型可以包括但不仅限于是Unet模型、CNN模型或者Transformer模型。在一些实施例中,本申请中根据生成模型输出的点云,可以根据例如点云的连接关系转化成血管表面图,以便于后续进行动脉瘤成因分析。
在一个实施场景中,基于获取的表征健康血管表面的点云和表征动脉瘤血管表面的点云,还可以对表征健康血管表面的点云和表征动脉瘤血管表面的点云进行例如格式转换、尺寸变换或者数据增强中的一种或者多种操作,以对表征健康血管表面的点云和表征动脉瘤血管表面的点云进行预处理,使得前述点云数据有统一的格式,从而便于神经网络(例如本申请的生成模型)处理。
结合上述描述可知,本申请实施例通过将具有标签信息的健康血管图像和动脉瘤血管图像经点云提取后转化成表征健康血管表面的点云和表征动脉瘤血管表面的点云(包括点云坐标信息和连接关系),通过将标签信息,表征健康血管表面的点云和表征动脉瘤血管表面的点云输入至生成模型进行训练。基于此,本申请实施例通过将图像数据转化成点云数据,以使得生成模型变轻量,从而加快训练过程,提高生成模型的效率和准确性。后续利用训练完成的生成模型,可以高效且准确地生成健康血管表面的点云,通过根据其连接关系生成血管表面图,以便分析动脉瘤的成因以及变化过程。
图3是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的整体操作300的示例性流程框图。需要理解的是,图3是上述图2所示的方法200的一个具体实施例,因此上述关于图2所作的描述同样适用于图3。
如图3中所示,在步骤S301和步骤S302处,分别获取动脉瘤血管图像和健康动脉血管图像。在一个实施例中,该动脉瘤血管图像和健康动脉血管图像可以包括但不仅限于是DSA血管图像、CT血管图像或者MRI血管图像。基于获取的动脉瘤血管图像和健康动脉血管图像,分别对其进行标注,以形成对应的标签信息。例如,对动脉瘤血管图像标注有动脉瘤,对健康动脉血管图像标注无动脉瘤。接着,在步骤S303处,从动脉瘤血管图像和健康动脉血管图像中提取各自对应的血管二值图。在一个实现场景中,可以通过例如分割模型或者图像阈值分割等方法来从动脉瘤血管图像和健康动脉血管图像中提取各自对应的血管二值图。基于提取的血管二值图,在步骤S304处,基于血管二值图提取血管表面的点云,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云。在一个实现场景中,可以通过例如计算机图形学中的Marching Cubes方法进行血管表面点云提取。
进一步地,在步骤S305处,可以对表征健康血管表面的点云、表征动脉瘤血管表面的点云进行预处理,以将点云数据的格式统一,便于生成模型处理。在一些实施例中,前述预处理操作可以例如是格式转换、尺寸变换或者数据增强等操作中的一种或者多种操作。接着,在步骤S306处,将预处理后的带标签信息的表征健康血管表面的点云和表征动脉瘤血管表面的点云输入至生成模型进行训练,使得训练生成模型具有生成健康血管表面的点云和动脉瘤血管表面的点云的能力。在一个实施场景中,该生成模型可以包括但不仅限于是Unet模型、CNN模型或者Transformer模型。
在一个实施例中,本申请实施例还可以对表征健康血管表面的点云和表征动脉瘤血管表面的点云中增加噪声分布,以获得增加噪声后的点云数据,进而将增加噪声后的点云数据和标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。具体来说,在一个实施场景中,可以通过在表征健康血管表面的点云和表征动脉瘤血管表面的点云中均增加任意一个噪声分布,以获得一个增加噪声后的点云数据。或者,在另一个实施场景中,可以基于预定信噪比,在表征健康血管表面的点云和表征动脉瘤血管表面的点云中均增加多个噪声分布,以获得多个增加噪声后的点云数据。
在一些实施例中,上述噪声可以例如是高斯(“Gaussian”)噪声,通过在表征健康血管表面的点云和表征动脉瘤血管表面的点云中增加噪声分布后,后续在生成模型的训练中可以将表征血管表面的点云由点云空间映射至高斯空间,再由高斯空间映射回点云空间,使得训练完成的生成模型能够生成健康血管表面的点云。在本申请实施例中,可以只增加一个噪声分布,也可以根据预定信噪比设置多个噪声分布,也即本申请实施例可以将一个增加噪声后的点云数据映射至一个高斯空间或者可以将多个增加噪声后的点云数据映射至多个高斯空间。
基于一个增加噪声后的点云数据或者多个增加噪声后的点云数据,在一个实施例中,可以将一个增加噪声后的点云数据和标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练;或者可以将多个增加噪声后的点云数据和标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练。
对于增加一个噪声分布而言,作为示例,可以将一个增加噪声(例如Xn)后的点云数据映射至一个高斯空间。根据预定信噪比设置多个噪声分布而言,在一个示例性场景中,假设点云空间的信噪比为1(即无噪声,其用S0表示),Gaussian空间的信噪比为0(即纯噪声,其用Sn表示),中间依次设计信噪比为s1,s2,...,sn-1所对应的高斯空间可以用S1,S2,...,Sn-1表示,其中1>s1>s2>...>sn-1>0。具体地,将增加噪声后的点云数据和标签信息(例如有动脉瘤和无动脉瘤)作为生成模型的输入,目标血管表面的点云作为生成模型的预期输出来训练生成模型,使得生成模型在前述标签信息的引导下,能够由一个高斯空间或者多个高斯空间(例如S0,S1,S2,...,Sn-1,Sn)中的特征映射回点云空间,以获得动脉瘤血管表面的点云或者健康血管表面的点云。
图4是示出根据本申请实施例的增加噪声分布的示例性示意图。如图4的(a)图和(b)图中最左侧示所示的矩形框表示表征健康血管表面的点云(或者表征动脉瘤血管表面的点云)401,(a)图所示为在健康血管表面的点云中增加一个噪声分布(例如Xn,图中所示的实心圆圈表示噪声)的示意图,其对应获得一个增加噪声后的点云数据401-1。(b)图所示为在健康血管表面的点云中增加多个噪声分布S0,S1,...,Sn-1,Sn的示意图,如前所述,前述多个噪声分布S0,S1,S2,...,Sn-1,Sn可以根据预定信噪比0,s1,s2,...,sn-1,1进行设置。在该场景下,通过增加多个噪声分布S0,S1,S2,...,Sn-1,Sn后对应获得多个增加噪声后的点云数据401-2。
基于一个或者多个增加噪声后的点云数据,通过对其进行特征提取生成目标血管表面的点云,使得生成模型能够由高斯空间映射回点云空间(例如图4的(a)图和(b)图中的箭头A所示),以对生成健康血管表面的生成模型进行训练,以便后续基于训练完成的生成模型生成健康血管表面。
可以理解,在训练生成模型过程中,生成的健康血管表面的点云与动脉瘤血管表面的点云具有一一对应关系,由此可以通过插值的方式生成动脉瘤生长的点云的图像。例如,通过在原始点云(包括健康血管表面的点云与动脉瘤血管表面的点云)插入点云移动向量,以生成健康血管表面的点云。具体来说,点云移动向量图=生成的点云-原始点云,即过程中的点云为原始点云+点云移动向量图*a,其中0<a<1。
图5是示出根据本申请实施例的生成点云的示例性示意图。如图5中的(a)图所示为动脉瘤血管表面的点云,其通过插入图5中的(b)图所示的点云移动向量图,可以获得图5中的(c)图所示生成的健康血管表面的点云。由图可知,通过将图像数据转化成点云数据,不仅可以使得生成模型变轻量,还可以通过点云向量图直观地看出健康血管表面到动脉瘤血管表面的变化过程,从而便于分析动脉瘤的成因。需要理解的是,本申请的附图中仅示例性示出点云的位置,根据前文可知,本申请实施例的点云还包含连接关系(图中未示出)。
图6是示出根据本申请实施例的生成健康血管表面的方法600的示例性流程框图。如图6中所示,在步骤S601处,获取用于待生成健康血管表面的动脉瘤血管图像。在一个实施例中,该动脉瘤血管图像可以包括但不仅限于是DSA血管图像、CT血管图像或者MRI血管图像。在获得动脉瘤血管图像后,在步骤S602处,将动脉瘤血管图像输入至训练完成的生成模型中进行血管表面生成操作,以生成健康血管表面的点云。具体地,通过提取动脉瘤血管图像的血管二值图并且提取表征血管表面的点云。接着,将表征血管表面的点云输入至生成模型中进行血管表面生成操作,可以获得生成健康血管表面的点云。在一个实施例中,该生成模型可以包括但不仅限于是Unet模型、CNN模型或者Transformer模型。
在一个实施例中,可以基于动脉瘤血管图像,使用训练完成的生成模型生成一个目标噪声点云,以基于所述一个目标噪声点云,使用训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云。在另一个实施例中,还可以基于动脉瘤血管图像和预定生成步数,使用训练完成的生成模型生成多个目标噪声点云,进而基于多个目标噪声点云,使用训练完成的生成模型进行血管表面生成操作,以生成健康血管表面的点云。其中,对于生成多个目标噪声点云而言,可以基于多个目标噪声点云,使用训练完成的生成模型按照连续步数进行血管表面生成操作,以生成健康血管表面的点云;或者,基于多个目标噪声点云,使用训练完成的生成模型按照预定间隔步数进行血管表面生成操作,以生成健康血管表面的点云。
图7是示出根据本申请实施例的基于一个目标噪声点云生成健康血管表面的示例性示意图。如图7中左侧所示为待生成健康血管表面的动脉瘤血管图像701,通过将该待生成健康血管表面的动脉瘤血管图像701输入至训练完成的生成模型中进行特征提取,可以获得一个目标噪声表面702。接着,基于该目标噪声表面702,经由训练完成的生成模型将目标噪声表面702映射回点云空间,生成健康血管表面的点云703。在该过程中,动脉瘤血管图像701可以包含标签信息(例如有动脉瘤),在将目标噪声点云702映射回点云空间时,前述标签信息被修改为无动脉瘤标签,从而生成健康血管表面的点云703。
图8是示出根据本申请实施例的基于多个目标噪声点云生成健康血管表面的一个示例性示意图。如图8中左侧所示为待生成健康血管表面的动脉瘤血管图像801,通过将该待生成健康血管表面的动脉瘤血管图像801输入至训练完成的生成模型中进行特征提取,可以获得多个目标噪声点云802,其各自对应的噪声分布为S0,S1,S2,...,Sn-1,Sn。接着,基于多个目标噪声点云802,可以使用训练完成的生成模型按照连续步数(即一步步)进行血管表面点云的生成操作,例如由Sn->Sn-1,Sn-1->Sn-2,...,S1->S0,以生成健康血管表面的点云803。
图9是示出根据本申请实施例的基于多个目标噪声点云生成健康血管表面的又一示例性示意图。如图9中左侧所示为待生成健康血管表面的动脉瘤血管图像801,通过将该待生成健康血管表面的动脉瘤血管图像801输入至训练完成的生成模型中进行特征提取,可以获得多个目标噪声点云802,其各自对应的噪声分布为S0,S1,S2,...,Sn-1,Sn。接着,基于多个目标噪声点云802,可以使用训练完成的生成模型按照预定间隔步数(例如间隔两步、五步等)进行血管表面点云的生成操作,例如由Sn->Sn-2,Sn-2->Sn-4,...,S2->S0,以生成健康血管表面的点云803。
需要理解的是,在生成上述获得多个目标噪声点云802中,也可以按照连续步数(例如由S0->S1,S1->S2,...,Sn-1->Sn)生成多个目标噪声点云802;或者按照预定间隔步数(例如由S0->S2,S2->S4,...,Sn-2->Sn)生成多个目标噪声点云802。
在一个实施例中,本申请实施例还可以对每个目标噪声点云在动脉瘤标签和健康标签下的样本设置比例系数,以生成健康血管表面的点云。例如,在由高斯空间映射回点云空间的过程中,即在由Sn->Sn-1,Sn-1->Sn-2,...,S1->S0的每一步中,可以通过计算标注有动脉瘤的情况下的样本量,将其记为xn-1_aneurysm,并计算标注无动脉瘤的情况下的样本量,将其记为xn-1_healthy。在该场景下,通过设定一个比例系数k,xn-1=xn-1_aneurysm+(xn-1_healthy-xn-1_aneurysm)*k。其中,k越小(例如0<k<1),表示生成的健康血管表面对动脉瘤的区域的修正程度越小,对非动脉瘤的区域的改变也越小,从而使得生成的健康血管表面能够保存更多与非动脉瘤相关的原图血管特征。k越大(例如k>1),表示生成的健康血管表面对动脉瘤的区域的修正程度越大,使得生成的健康血管表面更接近真实健康血管表面(即生成的健康血管表面质量更好)。
然而,当k越大时,生成的健康血管表面对非动脉瘤的区域的改变也越大,使得生成的健康血管表面可能会偏离原血管特征过大,从而导致生成的健康血管表面不真实。在该场景下,可以通过将生成的健康血管表面与非动脉瘤相关的原图血管表面进行融合,或者对生成的健康血管表面采用超分辨率的方式,以提升生成的健康血管表面的质量。在一些实施场景中,还可以通过例如交叉验证的方式来确定k的最优值,使得生成的健康血管表面更接近真实健康血管表面。
图10是示出根据本申请实施例的对生成健康血管表面的生成模型进行训练的以及生成健康血管表面的设备1000的示例性结构框图。
如图10中所示,本申请的设备可以包括中央处理器或中央处理单元(“CPU”)1011,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备1000还可以包括大容量存储器1012和只读存储器(“ROM”)1013,其中大容量存储器1012可以配置用于存储各类数据,包括各种动脉瘤血管图像和健康动脉血管图像、表征健康血管表面的点云和表征动脉瘤血管表面的点云、算法数据、中间结果和运行设备1000所需要的各种程序。ROM 1013可以配置成存储对于设备1000的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地,设备1000还可以包括其他的硬件平台或组件,例如示出的张量处理单元(“TPU”)1014、图形处理单元(“GPU”)1015、现场可编程门阵列(“FPGA”)1016和机器学习单元(“MLU”)1017。可以理解的是,尽管在设备1000中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备1000可以仅包括CPU、相关存储设备和接口设备来实现本申请的对生成健康血管表面的生成模型进行训练的方法以及生成健康血管表面的方法。
在一些实施例中,为了便于数据与外部网络的传递和交互,本申请的设备1000还包括通信接口1018,从而可以通过该通信接口1018连接到局域网/无线局域网(“LAN/WLAN”)1005,进而可以通过该LAN/WLAN连接到本地服务器1006或连接到因特网(“Internet”)1007。替代地或附加地,本申请的设备1000还可以通过通信接口1018基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本申请的设备1000还可以根据需要访问外部网络的服务器1008和数据库1009,以便获得各种已知的算法、数据和模块,并且可以远程地存储各种数据,例如用于呈现动脉瘤血管图像和健康动脉血管图像、表征健康血管表面的点云和表征动脉瘤血管表面的点云等的各类数据或指令。
设备1000的外围设备可以包括显示装置1002、输入装置1003和数据传输接口1004。在一个实施例中,显示装置1002可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本申请的对生成健康血管表面的生成模型进行训练以及生成健康血管表面进行语音提示和/或图像视频显示。输入装置1003可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件,其配置用于接收音频数据的输入和/或用户指令。数据传输接口1004可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案,该数据传输接口1004可以接收来自于医学影像采集设备采集的动脉瘤血管图像和健康动脉血管图像,并且向设备1000传送包括动脉瘤血管图像和健康动脉血管图像或各种其他类型的数据或结果。
本申请的设备1000的上述CPU 1011、大容量存储器1012、ROM 1013、TPU 1014、GPU1015、FPGA1016、MLU 1017和通信接口1018可以通过总线1019相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线1019,CPU 1011可以控制设备1000中的其他硬件组件及其外围设备。
以上结合图10描述了可以用于执行本申请的对生成健康血管表面的生成模型进行训练的以及生成健康血管表面的设备。需要理解的是这里的设备结构或架构仅仅是示例性的,本申请的实现方式和实现实体并不受其限制,而是可以在不偏离本申请的精神下做出改变。
根据上述结合附图的描述,本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机可读存储介质,其上存储有对生成健康血管表面的生成模型进行训练的和生成健康血管表面的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现本申请结合附图2、图6所描述的对生成健康血管表面的生成模型进行训练的方法以及生成健康血管表面的方法。
应当注意,尽管在附图中以特定顺序描述了本申请方法的操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
应当理解,当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时,其仅用于区别不同对象,而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本申请的实施方式如上,但所述内容只是为便于理解本申请而采用的实施例,并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本申请的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (4)
1.一种生成健康血管表面的方法,包括:
获取用于生成健康血管表面的动脉瘤血管图像;
将所述动脉瘤血管图像输入至下述的方法训练完成的生成模型中进行血管表面生成操作,以生成健康血管表面的点云;
其中,生成模型通过下述方法训练得到:
获取动脉瘤血管图像和健康动脉血管图像,并分别对其进行标注获得对应的标签信息;
对所述动脉瘤血管图像和所述健康动脉血管图像进行点云提取,以获得表征健康血管表面的点云和表征动脉瘤血管表面的点云;以及
将所述表征健康血管表面的点云、所述表征动脉瘤血管表面的点云和所述标签信息输入至待训练的生成模型中进行特征提取生成目标血管表面的点云,以对生成健康血管表面的生成模型进行训练;
其中生成健康血管表面的点云还包括:
基于所述动脉瘤血管图像,使用训练完成的生成模型生成一个目标噪声点云;以及
基于所述一个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云;
或
基于所述动脉瘤血管图像和预定生成步数,使用训练完成的生成模型生成多个目标噪声点云;以及
基于所述多个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云,具体地:对每个所述目标噪声点云在动脉瘤标签和健康标签下的样本设置比例系数,以生成所述健康血管表面的点云,其中通过下式生成所述健康血管表面的点云
xn-1=xn-1_aneurysm+(xn-1_healthy-xn-1_aneurysm)*k
其中,xn-1为健康血管表面的点云,xn-1_aneurysm为有动脉瘤的情况下的样本量,xn-1_healthy为无动脉瘤的情况下的样本量,k为比例系数。
2.根据权利要求1所述的方法,其中基于所述多个目标噪声点云,使用所述训练完成的生成模型进行血管表面生成操作,以生成所述健康血管表面的点云包括:
基于所述多个目标噪声点云,使用所述训练完成的生成模型按照连续步数进行血管表面生成操作,以生成所述健康血管表面的点云;或者
基于所述多个目标噪声点云,使用所述训练完成的生成模型按照预定间隔步数进行血管表面生成操作,以生成所述健康血管表面的点云。
3.一种生成健康血管表面的设备,包括:
处理器;以及
存储器,其存储有生成健康血管表面的程序指令,当所述程序执行由处理器执行时,使得实现根据权利要求1-2任意一项所述的方法。
4.一种计算机可读存储介质,其上存储有对生成健康血管表面的生成模型进行训练的和生成健康血管表面的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现根据权利要求1-2任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311117988.5A CN117058464B (zh) | 2023-08-31 | 2023-08-31 | 对生成健康血管表面的生成模型进行训练的方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311117988.5A CN117058464B (zh) | 2023-08-31 | 2023-08-31 | 对生成健康血管表面的生成模型进行训练的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117058464A CN117058464A (zh) | 2023-11-14 |
CN117058464B true CN117058464B (zh) | 2024-06-11 |
Family
ID=88664371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311117988.5A Active CN117058464B (zh) | 2023-08-31 | 2023-08-31 | 对生成健康血管表面的生成模型进行训练的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117058464B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349178B1 (en) * | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
CN114037663A (zh) * | 2021-10-27 | 2022-02-11 | 北京医准智能科技有限公司 | 一种血管分割方法、装置及计算机可读介质 |
CN114927215A (zh) * | 2022-04-27 | 2022-08-19 | 苏州大学 | 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 |
WO2022242416A1 (zh) * | 2021-05-21 | 2022-11-24 | 北京百度网讯科技有限公司 | 点云数据的生成方法和装置 |
CN115456947A (zh) * | 2022-08-11 | 2022-12-09 | 中国人民解放军总医院第四医学中心 | 基于深度学习的髋臼损伤修复方法 |
CN116109872A (zh) * | 2023-02-13 | 2023-05-12 | 深圳睿心智能医疗科技有限公司 | 一种血管的命名方法、装置、电子设备及存储介质 |
CN116309144A (zh) * | 2023-03-08 | 2023-06-23 | 广州大学 | 一种基于扩散概率模型的点云形状补全方法 |
CN116563305A (zh) * | 2023-04-03 | 2023-08-08 | 东软医疗系统股份有限公司 | 一种血管的异常区域的分割方法、装置及电子设备 |
-
2023
- 2023-08-31 CN CN202311117988.5A patent/CN117058464B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349178B1 (en) * | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
WO2022242416A1 (zh) * | 2021-05-21 | 2022-11-24 | 北京百度网讯科技有限公司 | 点云数据的生成方法和装置 |
CN114037663A (zh) * | 2021-10-27 | 2022-02-11 | 北京医准智能科技有限公司 | 一种血管分割方法、装置及计算机可读介质 |
CN114927215A (zh) * | 2022-04-27 | 2022-08-19 | 苏州大学 | 基于体表点云数据直接预测肿瘤呼吸运动的方法及系统 |
CN115456947A (zh) * | 2022-08-11 | 2022-12-09 | 中国人民解放军总医院第四医学中心 | 基于深度学习的髋臼损伤修复方法 |
CN116109872A (zh) * | 2023-02-13 | 2023-05-12 | 深圳睿心智能医疗科技有限公司 | 一种血管的命名方法、装置、电子设备及存储介质 |
CN116309144A (zh) * | 2023-03-08 | 2023-06-23 | 广州大学 | 一种基于扩散概率模型的点云形状补全方法 |
CN116563305A (zh) * | 2023-04-03 | 2023-08-08 | 东软医疗系统股份有限公司 | 一种血管的异常区域的分割方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
Multi-Scope Feature Extraction for Intracranial Aneurysm 3D Point Cloud Completion;Wuwei Ma et al.;Cells;20221217;全文 * |
血管图像分割和检测算法研究;赵洁;中国优秀硕士论文电子期刊网;20230615;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117058464A (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
EP3923238A1 (en) | Medical image segmentation method and device, computer device and readable storage medium | |
CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
Guo et al. | Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography | |
CN111667478A (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
CN114782384B (zh) | 一种基于半监督方法的心脏腔室图像分割方法及装置 | |
CN112529913A (zh) | 图像分割模型训练方法、图像处理方法及装置 | |
WO2023092959A1 (zh) | 图像分割方法及其模型的训练方法及相关装置、电子设备 | |
CN112381824B (zh) | 一种对图像的几何特征进行提取的方法和相关产品 | |
CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
CN117058464B (zh) | 对生成健康血管表面的生成模型进行训练的方法及设备 | |
CN112634255B (zh) | 脑部病灶检测模型的建立方法、装置以及计算机设备 | |
CN113744215B (zh) | 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 | |
CN116739890B (zh) | 对生成健康血管图像的生成模型进行训练的方法及设备 | |
US20230103262A1 (en) | Image processing method and device | |
Chernyshov et al. | Automated Segmentation and Quantification of the Right Ventricle in 2-D Echocardiography | |
Van Houtte et al. | A deep learning approach to horse bone segmentation from digitally reconstructed radiographs | |
CN114419061A (zh) | 一种肺部动静脉血管分割方法及系统 | |
KR20220060746A (ko) | 의료 영상 생성 방법 및 장치 | |
CN117036253B (zh) | 用于对分割脑血管的分割模型进行训练的方法和相关产品 | |
US20230046302A1 (en) | Blood flow field estimation apparatus, learning apparatus, blood flow field estimation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Country or region after: China Address after: Room 2301, 23rd Floor, Building 3, No. 2 Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176 Applicant after: UNION STRONG (BEIJING) TECHNOLOGY Co.,Ltd. Address before: 100176 901, building 3, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: UNION STRONG (BEIJING) TECHNOLOGY Co.,Ltd. Country or region before: China |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant |