CN112151169A - 一种仿人操作的超声机器人自主扫描方法及系统 - Google Patents
一种仿人操作的超声机器人自主扫描方法及系统 Download PDFInfo
- Publication number
- CN112151169A CN112151169A CN202011004657.7A CN202011004657A CN112151169A CN 112151169 A CN112151169 A CN 112151169A CN 202011004657 A CN202011004657 A CN 202011004657A CN 112151169 A CN112151169 A CN 112151169A
- Authority
- CN
- China
- Prior art keywords
- scanning
- human body
- ultrasonic
- positioning point
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000004458 analytical method Methods 0.000 claims abstract description 92
- 230000002159 abnormal effect Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000002604 ultrasonography Methods 0.000 claims description 109
- 230000008569 process Effects 0.000 claims description 40
- 239000000523 sample Substances 0.000 claims description 32
- 238000005192 partition Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000000481 breast Anatomy 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 240000003380 Passiflora rubra Species 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000002693 Multiple Abnormalities Diseases 0.000 description 1
- 208000023178 Musculoskeletal disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 208000003295 carpal tunnel syndrome Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000001045 lordotic effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10128—Scintigraphy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种仿人操作的超声机器人自主扫描方法及系统，所述方法包括：通过预设的扫描技巧以及人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位；通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。本发明可通过超声机器人扫描人体体征数据并进行分析，并结合预设的扫描技巧以及先验知识，以便更为准确地分析得到所述目标部位以及所述目标部位所对应的异常情况。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及的是一种仿人操作的超声机器人自主扫描方法及系统。
背景技术
超声技术在临床分析是一种非常重要的技术，超声检测在人体检测的中占的地位也越来越重要。在传统的超声扫描中，人为的徒手操作有很多无法避免的局限性。
机器人辅助超声扫描系统从上世纪90年代发展至今。目前已有的超声机器人技术按照自动化程度可以分为“半自主超声”和“全自主超声”两大类。“半自主超声”旨在结合机器和人各自的优点，通过用机器增强医生的操作能力和降低医生的操作难度，让医生能将注意力集中到高层决策层面；而“全自主超声”旨在使用机器人和计算机辅助系统一定程度替代超声医生的工作。超声机器人可实现自主运动，而医生只要最终审核机器人的操作规范性以及准确性即可。
但是，现有的“半自主超声”在硬件及软件层面的发展已经相对成熟。主从手架构，有线及无线的中远程通讯方式已经逐步成为行业共识和行业标准。但该方案的缺点也相当明显，即自主程度较低。虽然一定程度解决了超声扫描的地域性局限，降低了超声扫描的难度，但人力成本的问题并没有得到根本性的解决，操作的效率并没有真正提高。而“全自主超声”目前处于迅速发展的阶段。现有的全自主超声扫描系统虽然可以实现扫描自主超声一体化系统，但其高效率是通过牺牲设备的通用性实现的，例如临床上使用的全乳超声扫描系统，该设备在使用率和功能方面都存在明显的局限性。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种仿人操作的超声机器人自主扫描方法及系统，旨在解决现有技术中超声机器人在功能以及效率等方面存在局限性的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种仿人操作的超声机器人自主扫描方法，其中，所述方法包括：
通过预设的扫描技巧以及人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
在一种实施方式中，所述通过预设的扫描技巧与人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，包括：
根据预设的扫描技巧与人体定位点通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；
将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
在一种实施方式中，所述将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统，包括：
获取所述扫描结果中超声探头获取的视频与超声探头的扫描轨迹，并基于所述视频与所述扫描轨迹对所述学习框架进行训练；
基于所述人体数字孪生模型对扫描过程进行数据记录，并使用所述数据对所述学习框架进行强化学习的训练，得到扫描思路决策器以及所述视频辅助分析系统。
在一种实施方式中，所述基于所述人体数字孪生模型对扫描过程进行数据记录，并使用所述数据对所述学习框架进行强化学习的训练，得到扫描思路决策器以及所述视频辅助分析系统，包括：
所述数据包括异常特征的位置、下一个分区中的异常特征、异常特征的超声视频以及异常特征的确定结果；
当将所述下一个分区中的异常特征以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述扫描思路决策器，所述扫描思路决策期用于对所述异常特征及其位置进行判断；
当将所述异常特征的位置以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述视频辅助分析系统。
在一种实施方式中，所述并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量，包括：
根据所述扫描结果，基于人体参数化矢量，对所述人体数字孪生模型初始化；
基于超声图像标准图像对所述人体数字孪生模型进行校准更新；
基于棋盘网格对所述人体数字孪生模型进的机械臂轨迹进行归一化表示；
根据所述人体超声图像中的显式定位点，对所述人体数字孪生模型进行实时动态更新。
在一种实施方式中，所述根据所述扫描结果，基于人体参数化矢量，对所述人体数字孪生模型初始化，包括：
根据所述扫描结果，获取所述人体超声图像中的显式定位点；
基于所述显式定位点进行人体参数化，得到人体参数化矢量；
基于所述人体参数化矢量对所述人体数字孪生模型进行初始化。
在一种实施方式中，所述方法包括：
将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
一种仿人操作的超声机器人自主扫描系统，其中，所述系统包括：
训练与模型表达单元，用于通过预设的扫描技巧获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
目标部位确定单元，用于根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
目标部位验证单元，用于通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
在一种实施方式中，所述训练与模型表达单元包括：
扫描结果获取单元，用于根据预设的扫描技巧通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；
训练单元，用于将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
在一种实施方式中，所述系统还包括：
数据上传单元，用于将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
本发明的有益效果：本发明可通过超声机器人扫描人体体征数据并进行分析，并结合预设的扫描技巧以及先验知识并对所述先验知识进行学习，提供超声机器人的对人体的通用化扫，自适应地产生分析与决策思路，以便更为准确地从扫描到的超声图像中分析得到所述目标部位以及所述目标部位所对应的异常情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的仿人操作的超声机器人自主扫描方法的流程示意图。
图2是本发明实施例提供的仿人操作的超声机器人自主扫描方法的整体思路流程图。
图3是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的人体参数化的示意图。
图4是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的胸腔扫描实施例示意图。
图5是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的超声机器人操作空间建立示意图。
图6是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的肾脏超声图像的语意分析图。
图7是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的PPO算法训练的流程图。
图8是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的大数据平台的架构图。
图9是本发明实施例提供的仿人操作的超声机器人自主扫描方法中的数据平台的运行思路图。
图10是本发明实施例提供的仿人操作的超声机器人自主扫描系统的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
超声技术在临床分析是一种非常重要的技术，超声检测在人体检测的中占的地位也越来越重要。在传统的超声扫描中，医生的徒手操作有很多无法避免的局限性。缺点主要存在于以下几个方面：1.长期的腕关节施力对操作人员(比如医生)的身体健康造成伤害。重复性劳损、腕管综合征的患病率和肌肉骨骼疾病在超声科医生群体中有很高的发病率；2.医生难以避免会由于例如手抖、集中注意力不集中等原因，在操作上出现失误；3.手持超声扫描工作要求医生与病人直接接触，大大提高了医生被感染的可能性，严重时可威胁到医生的生命安全。4.传统手持超声分析具有明显的地域局限性。由于我国城乡医疗资源分配不均衡，高质量的医疗资源难以惠及偏远地区的普通百姓。为解决以上问题，使用机器人辅助的超声扫描系统具有深远的意义，也是未来超声机器人的一个发展趋势。
机器人辅助超声扫描系统从上世纪90年代发展至今。目前已有的超声机器人技术按照自动化程度可以分为“半自主超声”和“全自主超声”两大类。“半自主超声”旨在结合机器和人各自的优点，通过用机器增强医生的操作能力和降低医生的操作难度，让医生能将注意力集中到高层决策层面；而“全自主超声”旨在使用机器人和计算机辅助系统一定程度替代超声医生的工作。超声机器人可实现自主运动，而医生只要最终审核超声机器人的操作规范性和准确性即可。
“半自主超声”主要集中在机器人与人进行协同控制的半自主算法的研究上，目前国外已经商用系统的代表有AdEchoTech公司生产的“MELODY”专家系统。该系统由待测人员身边的并联式机器人从手端和操作人员身边的主手端组成。在该系统的帮助下，影像学专家可通过远程遥控超声机器人的主手端对待测人员身边的从手端进行多个自由度的控制，并最终完成对待测人员的远程扫描工作。国内类似的系统有由华大智造生产的远程超声机器人系统，该系统也使用类似的架构实现了远距离的实时控制。在以上两个例子中，自主性主要体现在操作人员需要控制超声机器人的部分自由度，而其余自由度由超声机器自主控制。通过传感器的实时反馈，超声机器人将对待测人员的体表的刚度和形状变化表现出一定的适应性。
“全自主超声”系统目前仍发展较为初步。目前唯一能实现商用的全自主扫描及分析一体化系统是西门子的全乳超声扫描系统。该系统会先通过自主扫描获取一组患者乳房的超声图像序列，再将图像序列进行三维重建以提取乳房的冠状截面图，最后利用超声分析对截面图进行分析并得到分析结果。其他对自动化控制方法的研究主要集中在实验室层面，但其对“自主”的定义各有不同，大致可以分为以下两大类：1.针对传感器反馈实现超声机器人对环境的自适应。该研究的目的在于构建传感器实时反馈到超声机器人运动状态之间的映射关系，该方案包括但不限于以下几大类：a.基于超声机器人力反馈的自适应控制；b.超声机器人对生物运动(如脉搏，呼吸，心跳)的补偿；c.超声机器人对超声图像中特定特征的视觉伺服控制等。2.基于机械臂的自主扫描和分析。该类研究的目的是使用机械臂代替人手对待测人员的皮肤点、线、面、体等特定区域进行扫描。利用机器人的精度高，响应速度快的特性，机器人可以得到比人手扫描更高质量的序列化图像。序列化图像进行3D重建后可得到待测人员特定部位的3D模型，再经过切片等操作，计算机辅助分析技术将能得到疾病的分析结果并最终生成评估报告。在评价指标上，以上两个方法的侧重点也有所不同，前者(针对传感器反馈的实现机器人对环境的自适应)侧重于探究反馈对机器人响应能力的提升，同时也更强调理论上的创新，后者(基于机械臂的自主扫描和分析)更侧重于与临床医学结合，因此更重视疾病分析的正确率和特异性等指标。
但是，现有的“半自主超声”以及“全自主超声”存在很多的缺陷。“半自助超声”在硬件及软件层面的发展已经相对成熟。主从手架构，有线及无线的中远程通讯方式已经逐步成为行业共识和行业标准。但该方案的缺点也相当明显，即自主程度较低。虽然一定程度解决了超声扫描的地域性局限，降低了超声扫描的难度，但人力成本的问题并没有得到根本性的解决：一个专家一次只能管理一台机器，操作的效率并没有真正提高。
相比之下，“全自主超声”目前处于迅速发展的阶段。全乳超声扫描系统虽然可以实现扫描一体化医疗系统，但其高效率是通过牺牲设备的通用性实现的。该设备仅可以对诸如乳房的半球形前凸状器官进行扫描，该特点大大限制了该设备的使用率也降低了该设备的性价比。在功能方面，以上上文所述的两大类方法都存在明显的局限性。方法一(针对传感器反馈的实现机器人对环境的自适应)的局限性在于仅以局部信息(传感器的反馈信息)作为机器人的状态量，没有考虑人体的解剖学结构和疾病种类与人体结构的相关性。方法二(基于机械臂的自主扫描和分析)采用的是工业上零件加工的思路，只能对人体特定的一个或几个器官做标准化的扫描。该控制架构产生的扫描路径轨迹单一，泛化潜力很差，难以满足医疗机器人通用化的市场需求。
需要强调的是，临床上超声科医生在对病人扫描时并非像超声机器人一样只做恒速的标准化的扫描，他通常会根据自身对人体解剖学和病理学的了解，结合当前的超声图像的信息做出个性化的判断路径(这通常在医学领域称为超声医生的“操作手法”)。相比之下，目前的“全自主超声”的缺点主要在以下三个方面：
1、缺少人体体表坐标的归一化方法。在现有技术中，自适应技术基本是基于控制论发展的局部反馈控制，缺少结合人体全局信息的智能化归一化方法。该不足严重地局限了超声机器人自主化的发展，一方面超声机器人无法对不同体型身高的待测人员产生自适应的扫描轨迹，另一方面超声机器人扫描产生的轨迹无法在归一化空间这种被有效表达。
2、超声机器人无法实现“分步决策”。目前超声机器人仍是使用事先决策的控制方法，即“一次决策，永久执行”，而无法像医生一样实现扫描过程中的分步决策。具体地，以超声肺部扫描作为例子，目前的超声机器人无法在扫描过程中根据当前超声图像中判断的病人肺部的异常点情况并实时调整分析与决策思路；
3、缺少具有学习医生“操作手法”能力的系统框架。由于目前仍缺少能够迁移医生对疾病认知的算法框架，医生临床的分析经验无法很好地应用在超声机器人的临床使用与分析上；另一方面，虽然半自主超声机器人能够提供大量的临床数据，但由于缺少训练数据的有效网络，大量的临床扫描数据(来自半自主超声控制方法)无法得到充分的利用。
为了解决现有的技术中的缺陷，本申请提供一种超声机器人的扫描与控制方法与系统。具体地，如图1中所示，本实施例中的所述超声机器人的扫描控制方法包括如下步骤：
步骤S100、通过预设的扫描技巧与人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
步骤S200、根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
步骤S300、通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
具体实施时，本实施例整个工作分为训练和自主扫描两个过程，其中训练的基本思想是将医生的扫描技巧通过人体数字孪生模型表达为归一化的特征矢量，并通过特定的学习框架对医生的操作经验进行总结。而自主扫描的基本思想是通过显式的外部特征定位人体隐式的超声定位点，再通过隐式的定位点进一步定位出异常定位点可能存在的隐含部位。而扫描产生的结果将通过医学视频辅助分析系统进行分析并判断异常超声定位点存在的可能性，最后该判断将影响决策器的最终分析思路，使扫描的过程具有动态性。为方便理解，本实施例结合图2开说明训练及自主扫描整体思路。
具体地，本实施例中采用超声机器人可为半自主超声机器人和全自主超声机器人。本实施例可根据预设的扫描技巧通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果。然后根据预设的扫描技巧通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；最后将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
假设有若干医生(医生1，2，3……)操控半自主超声机器人对若干待测人员进行扫描，每个待测人员从体表被划分为若干扫描分区(分区A，B，C……)。以医生1为例子，医生通过超声机器人根据扫描流程首先从分区A进行扫描。在医生使用超声机器人扫描分区A的过程中，医生首先会参照医学手册中提供的超声扫描实例找到人体体表的隐式超声定位点(假设在分区A中隐式超声定位点有且仅有a，b)，医生将对a和b附近的区域进行扫描。本实施例假设医生在a和b附近只发现了异常定位点c，那医生将会在c的位置打上标记。到这里，医生对分区A的扫描结果已经完成，医生将基于异常定位点出现的位置和异常定位点的特征判断下一个分区(这里假设为B)，之后医生将使用超声机器人重复以上过程直到扫描过程结束。只有所有医生都将针对人体的同一部位进行扫描。
在一种实施方式中，本实施例中可通过获取所述扫描结果中超声探头获取的视频与超声探头的扫描轨迹，并基于所述视频与所述扫描轨迹对所述学习框架进行训练。基于所述人体数字孪生模型对扫描过程进行数据记录，并使用所述数据对所述学习框架进行强化学习的训练，得到扫描思路决策器以及所述视频辅助分析系统。本实施例中的所述数据包括异常特征的位置、下一个分区中的异常特征、异常特征的超声视频以及异常特征的确定结果。当将所述下一个分区中的异常特征以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述扫描思路决策器，所述扫描思路决策期用于对所述异常特征及其位置进行判断；当将所述异常特征的位置以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述视频辅助分析系统。
具体实施时，医生1扫描结束之后将产生以下的数据及结果：1.异常超声定位点c的位置；2.对异常超声定位点c的分析结果；3.异常超声定位点c处的超声视频；4.选择的下一分区B(值得注意的是，定位点a，b及发现的异常超声定位点c的位置都将被归一化到人体数字孪生体模型中)。需要训练的模型为扫描思路决策器和医学视频辅助分析系统，其中，医学视频辅助分析系统主要是通过分析医生的分析结果和异常超声定位点位置，学习医生对医学视频的分析经验。它的输入是带标记的视频和异常超声定位点的位置，输出是对当前异常超声定位点的判断；而扫描思路决策器将结合医生对异常超声定位点位置与对当前异常超声定位点的判断，学习医生对下一分析分区的选择。此外由于每个医生扫描过程中关注的位置与待测人员本身所具备的异常有很大关系，但如果c是异常多发位置，c的出现将服从一定的分布函数，而该经验是可以通过统计方法得到的。本实施例中，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点。
在一种实施方式中，所述超声机器人的自主扫描过程将通过以下方式实现。首先，全局相机将提供待测人员身体表面显式的定位点的坐标(显式定位点可通过外加标记进行实现)，该显式定位点坐标将用于动态更新人体数字孪生模型。之后根据人体数字孪生模型提供的人体相关性信息，机器人将获得隐式超声定位点a，b的坐标。之后通过采用视觉伺服的方法结合医学工具书中提供的标准人体特征，超声机器人将找到隐式超声定位点a和b并进一步通过人体的解剖结果更新人体数字孪生体模型的(该更近过程有助于减少寻找定位点的时间及对异常定位点的扫描会有更高的精度)。继而超声机器人将根据人体数字孪生体模型提供的定位点与异常定位点之间的相关性信息对可能的异常定位点的位置c和d的点进行扫描。之后，超声机器人将产生带标记的超声视频，而此段视频将由医学视频辅助分析系统分析产生异常定位点的位置c和d处的分析结果。最后机器人将根据该分析结果调整之后的分析思路，这个过程将之前的传统医学超声中的一次决策过程变为了分步决策过程。
进一步地，自主超声分析的基础是人体数字孪生模型的构建，而构建人体数字孪生模型的核心是定义能满足超声分析需求的数字化孪生模型(数字孪生技术的概念是基于物理实体的基本状态，以动态实时的方式将建立的模型、收集的数据做出高度写实的分析，用于物理实体的监测、预测和优化)。结合实际临床应用，人体数字孪生模型被要求一方面能提供可用于超声定位的、与人体结构相关的信息，另一方面被要求能将超声机器人在不同人体(即待测人员的性别、高矮、体型)上的执行轨迹进行归一化，以方便算法对同类疾病的医生“分析手法”进行学习。在此基础上，实际上临床的要求给人体数字孪生模型的设计提出了一些约束。一方面，由于真实人体不同于超声假体可以一直保持静止，呼吸、身体的下意识运动形成的干扰给人体数字孪生模型的动态性提出了一定的要求；另一方面，超声机器人控制提出的实时性要求也给人体数字孪生模型的复杂程度带来一定的约束。
在本实施例中，所述人体数字孪生模型的目的是通过设计一种简洁的拓扑结构来充分表达“对于一个特定的超声扫描任务，发挥定位作用的人体特殊结构之间存在的相关性信息”。此外，该数字孪生体模型还有以下几个特点：1.信息表达充分而非冗余：对一个特定的超声扫描任务，“充分”是指该拓扑结构的顶点信息能提供完成一个完整的超声扫描流程的粗定位的功能，同时显式地划定了扫描的大致区域，“非冗余”是指不包含与该特定扫描任务无关的人体其他结构的信息(非完整人体)；2.动态性与实时性：“动态性”是指模型可实现与待测人员身体的运动同步(包括对待测人员的呼吸的跟随，对体姿变换的跟随等)。而“实时性”是指通过使用基于拓扑的简洁表达方式，使得模型更新的计算量小，从而有可能实现根据传感器反馈的实时更新；3.可对探头的轨迹实现归一化：一方面，对于一个特定的扫查轨迹，轨迹中的每一个扫查点均可在人体数字孪生模型中唯一表达；另一方面，人体数字孪生体中人体的扫查路径，也可映射为机器人操作空间中有效的执行路径。
在进行人体参数化以及构建所述人体数字孪生模型时，主要包括：基于超声图像标准图像对所述人体数字孪生模型进行校准更新；然后基于棋盘网格对所述人体数字孪生模型进的机械臂轨迹进行归一化表示；最后根据所述人体超声图像中的显式定位点，对所述人体数字孪生模型进行实时动态更新。具体地，如图3所示，为建立具有实时动态特性的人体结构，本实施例设计了通过显式定位点定位人体隐式的超声定位点，再通过隐式定位点进一步定位异常点可能存在的隐含部位的定位方法，并实现了基于显式定位点的人体数字孪生模型的初始化方法和动态更新方法以及基于隐式超声定位点的人体数字孪生模型的更新方法。具体地，本实施例将实现以下步骤：1.人体体表显式定位点的识别。此处以使用人体体表棋盘作为例子阐述体表坐标的识别方法，(人体体表显式定位点的识别不局限于使用体表棋盘，也可以使用三维相机实现对人体体表特征点的识别。通过使用人体体表棋盘，本实施例可以使用相机快速地提取人体显式定位点的绝对坐标，通过连接相邻角点坐标，得到可以近似逼近人体体表轮廓的三维网格，该网格的每一个角点具有人体体表的三维空间坐标信息。2.基于人体显式定位点的人体的参数化方法。基于步骤1中的到人人体体表显式定位点坐标，本实施例可以对人体体表的显式定位点的相对关系进行测量(如图3所示，图3为人体测量学中常用的人体参数化方法得到人体的相关体征，其中1-24分别指1.前臂长度、2.上臂长度、3.手腕半围长、4.上臂根长度、5.后背长度、6.腰到膝盖长度、7.腿内侧高度、8.腰高度、9.脚踝半围长、10.小腿半围长、11.大腿半围长、12.膝盖半围长、13.腰半围长、14.肚脐到会阴长度、15.下腰到会阴长度、16.臀半围长、17.腹部半围长、18.高臀部半围长、19.下胸部半围长、20.胸腔胸部半围长、21.后背宽度、22.胸腔胸部宽度、23.上半臂半围长、24.肩膀宽度)，通过测量人体的体征得到人体的参数化矢量；3.基于人体的参数化矢量的人体数字孪生体的初始化。人体的数字孪生模型是基于上一步骤中的参数化矢量进行定义的。具体地，对一个特定的超声扫描任务，本实施例使用拓扑线条来表示人体骨骼及器官之间的相对位置信息。特别的，本实施例关注拓扑线条上可以提取到特殊的人体超声截面的位置。在进行初始化时，本实施例首先根据先验的人体信息对拓扑线条进行大致的定位，而后将拓扑线条表示为相对于棋盘角点的位置坐标。
进一步地，由于人体的结构具有相似性的同时也具有差异性(存在性别，身高，体型的差异)。因此，基于相似性本实施例可以使用拓扑线条来表示人体骨骼和器官之间的相对位置信息，以实现对超声探头运动的大致引导；另一方面，由于差异性，人体内部的具体结构需要在超声探头接触人体后才能被精确定位。因此在扫描的开始阶段，机械臂借助人体数字孪生体提供的医学先验知识，在人体体表确定大致的扫描位置(值得注意的是，这种粗定位是在棋盘及人体数字孪生体模型的引导下自动完成的)。而在探头接触人体之后，机器臂将获得与“定位点”位置有关的后验信息(该信息是确切的)。机械臂将利用此后验信息更新人体数字孪生体模型相对于体表棋盘的相对坐标。在更新某一个“定位点”的相对坐标时，模型将利用人体模型的相关性信息同时对其余的“定位点”的位置信息进行更新优化。
进一步地，由于机械臂轨迹在人体棋盘中的位置可被唯一表示，机械臂执行扫描过程中棋盘表面路径中的任意离散点，都可以被表示为棋盘中与该离散点相近临近的四个带角点的线性组合，因而机械臂的任意运动轨迹可被唯一地表示为棋盘角点坐标的线性组合。此外，由于拓扑线条也可以由棋盘唯一表示，本实施例也可以获得机械臂运动轨迹与人体拓扑线条的相对位置关系。该相对位置关系在上一步骤中人体拓扑线条被更新时也将被同步更新。值得一提的是，该相对位置是医生在扫描时真正关心的信息，因为它描述了根据医生的扫描思路产生的扫描轨迹相对于“定位点”的相对位置关系。由于人体数字孪生模型与相机的相对位置关系会因为患者呼吸，身体下意识运动等动态变化，本实施例设计了基于棋盘的数字孪生体的实时动态更新的方法。由于棋盘中角点的位置可方便地由外部相机提取，计算机可以很方面地利用角点位置更新人体数字孪生体模型。
举例说明，本实施例以人体胸腔的扫描作为一个实例进行说明。该实例的目的是实现机器人在人体数字孪生体的引导下的人体肋骨缝隙的自动跟踪。如图4中的(b)所示,为实现胸腔的扫描，本实施例首先需要获得人体体表的显式定位点的坐标。这里以待测人员乳头作为定位信息，并测量了人体乳头之间的相对间距，得到了人体的参数化矢量并最终基于该参数化矢量实现了人体数字孪生模型的初始化。本实施例基于对于肋骨夹缝的先验医学知识，在人体的两侧产生肋骨夹缝形状的拓扑线条(黄色实线和绿色实线)，并将拓扑线条表示为相对于棋盘角点的位置坐标；再者，本实施例将基于“定位点”的超声图像特征实现对拓扑线条位置的实时更新。如图4中的(a)所示，如果肋骨夹缝进入超声探头的声窗，在超声图像上将能够检测到类似蝙蝠翅膀形状的蝙蝠征图像。基于能够看到蝙蝠征图像的位置，本实施例将矫正肋骨夹缝的确切位置，同时根据人体的结构的相关性，右侧肋骨夹缝的位置也将被更新。同时机器人轨迹与人体拓扑线条的相对位置也将被更新(如图4中的(c)所示)。最后，本实施例将实时基于棋盘网格更新人体数字孪生模型的动态模型。譬如当人体发生旋转时，人体表面的棋盘网格的角点位置将被更新，拓扑线条的位置也将发生同步更新。
进一步地，本实施例还进一步基于所述人体数字孪生模型定义超声机器人的工作空间。机器人的工作空间是机器人所有可能状态张成的矢量空间，用于描述机器人末端执行器可能的状态。从经验迁移的角度看，状态空间的建立是一个将医生的操作经验参数化过程。由于机器人对人的模仿能力与超声机器人工作空间的维度密切相关，因此是否能合理定义状态空间一定程度上决定了超声机器人是否能很好地复现操作人员的操作。一般来讲，维度越高，超声机器人对人的模仿能力越强，但负面影响是对数据处理和训练的难度也将加大。此外，机器人操作空间中不同维度变量的解耦有利于简化模型的复杂度、降低计算量，有利于提高模型的动态性和实时性。
结合超声分析的临床需求，本实施例定义了全自主超声机器人的状态空间。如图5所示，假设机器人操作超声探头接触人体皮肤曲面S1-Fo-S2，其接触点为F0。在平面S1-Fo-S2上离接触点Fo临近的四个标记点分别记作V1,V2,V3,V4。以V1-V3，V2-V4两个对角线的交点为中心，建立非直角坐标系xyz-o,则接触点Fo到平面x-o-y上的投影可唯一地表示为四个顶点V1,V2,V3,V4的线性组合。因为点在平面上，因此确定平面上一点，需要一个由顶点序号组成的四维矢量v＝{1,2,3,4},和一个在平面x-o-y的2维坐标o＝{x,y}表示。如果还希望表示出医生按压在皮肤表面的正压力和探头的朝向，还需要增加两个维度的数据F2,θ来分别表示力/力矩传感测得的探头与皮肤的接触力垂直于皮肤表面的分量与探头绕轴Fz旋转的正角度。
此外，结合医生扫描时的操作，本实施例还将增加超声的频率H与超声的聚焦深度D两个维度的数据。其中，超声的频率H影响了超声成像的深度范围和成像的清晰程度。具体地，较低频率的超声能呈现出离体表较远的深层器官，但同时也会使成像灰暗模糊；反之高频成像能看见浅表层清晰的纹理，但会因成像深度较浅而无法观测到人体的深层器官。而聚焦深度D是另一个影响成像质量的有效指标，由于超声图像的信噪比较低，聚焦深度地合理选择能有效提高图像的识别率。
综上所述，在本专利中超声机器人的状态空间矢量由如下方式定义：
I＝{V，O，Fz，θ，H，D}
此外，超声机器人还有其他基于局部反馈的主动自由度，这些自由度的控制方式和半自主超声机器人相同。即通过力/力矩传感器或超声图像的伪影信息作为反馈来实现实时的自适应控制。实现自适应的目的是使超声探头能始终保持对皮肤的贴合，从而使得算法的成像效果稳定。在本专利中使用此类控制方式控制的自由度有超声探头除θ之外的其余两个自由度，用于抵消超声探头在各方向可能受到的偏转力矩。
进一步地，本实施例还可以以人体参数化建模和机器人状态空间建立为基础，设计了医学视频辅助分析系统与扫描思路决策器，使机器人能学习医生的超声扫描思路。该系统解决的核心问题是使机器人能像医生一样判断从哪里入手进行扫描到哪里可以结束。本实施例采用了增强学习的方式，使用医生扫描过程中超声探头获取的视频和超声探头的扫描轨迹对机器人进行训练。在经过建模处理后的人体数据模型上对超声医生分析时的扫描的过程进行数据记录，并使用这些数据对机器人进行强化学习的训练。通过强化学习的方法，机器人能在扫描时进行动态决策，并结合力传感器信息实现自适应自主控制，从而能智能地完成人体的超声扫描并对不同的病症拥有较强的泛化能力。
具体地，由本实施例中建立的机器人状态空间是稠密的，扫描过程也是连续的，而稠密的空间和连续的扫查过程会给超声图像的训练带来许多困难，这是因为本实施例需要训练能对人体所有位置和图像产生评估结果的评估器才能实现基于分析结果的实时反馈。为了降低训练的难度，本实施例希望使用离散化的方法来尽可能压缩机器人可能的操作空间的可行域。由于医生会对发现的异常的位置进行标注，本实施例将设计一种标注工具来帮助医生记录发现异常的人体位置，并记录该位置异常的图像。在临床上，医生对不同病人进行扫查会产生大量的异常情况的定位结果和临床图像，本实施例对于不同的定位结果进行聚类，分出在人体体表中的主要扫描位置和次要扫描位置，其中主要扫描位置将大致符合医学工具书中有记载的病灶区，次要扫描位位置也同样重要(因为它记录了一些特殊的病征位置)。
自主超声机器人的需要获取的充足的样本数据来提供给机器人进行训练。超声探头获取的信息需要进行预先的处理后才能供机器人进行使用。对于自主超声机器人来说，机器人虽然是学习操作人员的分析技能，但是机器人与在对获取到的图像信息的处理还是有非常多的差别，本实施例将超声图像进行解析处理使信息能够让机器人使用。本实施例使用FCN(fully convolutional networks)网络对超声图像进行图像的语意分割。语意分割是将图像的判断图像各部分像素点的种类，将其分类成不同的类别像素点。不同是语意用不同的颜色来表示，如图6中所示，图6为肾脏超声图像的语意分析。
FCN的特点就在于输入和输出都是二维的图像，并且输入和输出具有相对应的空间结构，在这种情况下，本实施例可以将FCN的输出看作是一张热度图，用热度来指示待检测的目标的位置和覆盖的区域。在目标所处的区域内显示较高的热度，而在背景区域显示较低的热度，这也可以看成是对图像上的每一个像素点都进行了分类，这个点是否位于待检测的目标上。FCN的第一步就是将图像进行全卷积化，这么做的意义是为了最大程度的保留图像上的空间信息，同时输出时的图片仍然是二维图片。接下来FCN网络对进行上采样的操作，在经历了全卷积化操作后，图像会缩小至原来的数倍，在经过上采样之后，图像会恢复到原来的大小。最后使用忽略连接结构对图像的进行优化，因为如果将全卷积之后的结果直接上采样得到的结果是很粗糙的。图像语意分析分析过程如图6中所示。
本实施例采用梯度PPO算法的到图像结果与分析思路的映射关系，PPO算法是一种增强学习的算法，能得到(状态，行动)关系对的特定的概率分布，且能处理连续动作问题。PPO网络采用正态分布的模型，通过均值μ和方差σ来表示一个连续动作里会产生的各种反应的概率。将归一化的人体数字模型结构作为环境，将机器人作为主体，将医生选择的体表病征定位点记为收益，以机器人状态为输入，机器人采取的行动为输出，建立机器人的学习模型。在进行训练后，当机器人遇到每一个情况都会得到到达下一状态的概率密度函数，从而实现自主化决策，就像操作人员的手法是根据超声图像的信息进行灵活的改变的。
为实现机器人的强化学习，本实施例使用PPO(Proximal Policy Optimization，深度增强学习)算法时需要引入“演员评论家”算法体系，现实中评论家会根据演员的表现对演员进行评论，演员再根据评论家的评论来改进自己的表现，本实施例使用的这套算法体系也是一样的道理。具体如图7中所示，本实施例将环境信息输入到“演员”算法网络中，得到两个值，这两个值分别是构建表示机器人下一步反应的正态分布均值和方差，通过这个构建的正态分布样本得到一个“反应”，再将其输入到环境中得到“奖励”和下一步的“状态”，然后将前面得到的“状态”、“动作”、“奖励”作为一组数据储存起来,再将“状态”输入到新“演员”网络，循环输入环境信息并储存一组数据的步骤，直到存储了一定量的“状态”、“动作”、“奖励”数据组，在此过程中“新演员网络”网络没有更新。将上述过程中循环后得到的“状态”输入到“评论家”网络中，可计算“折扣奖励”；将存储的所有“状态”组合输入到“评论家”网络中，得到所有状态的V值，接着由以上两个值,反向传播更新“评论家”网络。将存储的所有状态组合输入原本的“演员”网络和新的“演员”网络中，得到一个正态分布，将存储的所有“动作”组合为“动作”集输入到正态分布中，得到每个“动作”对应的分布。根据这个分布选择动作，作用于环境，环境反馈下一个状态等等信息。然后反向传播，更新“演员”网络，循环数次整个PPO算法步骤直到训练结束。
进一步地，本实施例还将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
具体地，本实施例提供一种大数据平台，所述大数据平台的架构如图8中所示。所述本实施例将多个单体超声分析设备接入云平台，实现数据规范化，数据归档存储以及实时共享。以实现远程超声的一系列应用，包括远程分析及远程教学，并支持专家实时在线进行分析。
为了达成本发明提出的数据共享理念，提出以多个超声扫描设备终端互通互联的解决方案，将单机存储数据通过通信技术和云服务器实现异地即刻存储，调阅，以及归档分析。超声扫描影像将应用通用格式的数据进行存储，以便于线下或异地开展扫描量化信息提取。为方便后期大数据分析，平台系统需对数据进行规范化处理。使用连接了平台的超声系统对患者进行超声分析，在分析的过程中，严格按照国际规范化超声扫描流程进行超声扫描，超声探头上的各类传感器会实时记录在待测人员身体上的扫描轨迹以及在各个身体区域停留的时长，并将这些数据统一上传至云平台，再由云平台对其进行规范化处理。通过机器人自主扫描算法训练的自主超声扫描机器人对待测人员进行扫描分析，机器人的末端执行器上安装超声探头以及多种力传感器、深度相机等设备，能够实时反映机器人在扫描过程中的状态信息。通过将自主超声机器人与云平台相连接，每次完成扫描任务时都会保存执行完的扫描轨迹上传至云平台，具体如图9所示。
具体实施时，操作人员在使用传统的超声扫描后，对获取到的图片需要进行手动标定，标定过程略微繁琐，而本平台的云平台数据录入不需要操作人员进行标定，云平台对扫描后的数据进行集中处理，整个超声分析的过程以视频形式进行上传，在扫描的过程中的，操作人员的操作会被分成数段，以劲动脉超声分析为例子。第一步，医生需要将探头放置在待查人员的脖子上劲动脉区域附近；第二步，医生以先验知识以及超声探头中的图像获取的信息做出进一步的调整，直到出现可以进行分析的图像，若医生还需更多超声图像信息才能进行分析，则需要再进行进一步的调整探头角度，直至出现可进行分析的图像。在传统的超声分析中，医生需要在超声图像上手动打上标记，以确定图像中每个部位是什么，在本发明提出的方法中，只需查看视频的不同段落就可以找到相应的位置，省去了打标记的繁琐步骤。
具体应用时，医生使用与云平台建立连接的超声系统进行超声分析，医生的扫描流程按照规范化的超声扫描流程进行扫描，整个扫描过程都会被超声系统记录下来。将超声探头采集到的医疗分析信息上传至云端数据库，在云端数据库中，数据库会对已经上传的数据进行包装，将数据变成有用的医疗信息，如将每位医生进行超声扫描时的扫描轨迹与扫描时长匹配到人体数字化模型上，在匹配了医疗信息的人体数据化模型中，可以直观的看到整个分析的先后顺序以及病人的病灶点在何处，医生的分析重点在何处。医生整个扫描流程以视频的形式进行储存以及上传，视频数据直观的展现了医生如何对某一位置进行扫描，先根据医学知识找到想象放置探头的区域，我们可将区域定义为“定位区”在找到“定位区”以后，医生根据超声图像的进行进一步调整，直至出现可进行判断的图像，整个过程以视频形式储存，医生可以轻松调整视频的进度条来查看相应时间超声探头中的图像。封装好的医疗信息同一储存到中心专家系统的云数据库中，每组已经储存好的医疗信息能被随时调用出来。在各地的超声机器人平台都可以读取中心专家系统中的医疗数据，中心专家系统中的医疗信息，可用来对刚接触超声分析的医护人员进行培训，或是提供一个直观的分析模板给医护人员学习，专家医生可以借助本系统给位于不同区域的医护人员进行超声扫描的技能培训，在培训过程中产生的数据也可传回至云数据库，实现对数据库的中信息的再次丰富，数据库中的医疗信息可以传输至各个连接云平台的超声机器人中，利用传输的数据实现和强化学习的方法实现超声机器人的终身学习，使超声机器人能真正能像医生一样进行超分析也能使超声机器人的分析方式得到不断更新。
进一步地，本实施例中，医学图像的三维重建和切片是重要的医疗辅助手段。三维重建能为提供医生更直观的三维信息，而切片能提供关于特定视角下的器官信息。因此，三维图像重建及切片是一个非常重要的内容。本发明将基于临床对异常组织进行重建分割的需求，研究如何对病灶区影像学特诊病变组织进行分割、三维重建以及三维重建后对重建模型进行切片，并结合病灶区影像学特征做进一步的超声诊断。
超声图像病变组织分割是三维重建过程中一个挑战性的任务。由于超声图像的成像原理导致图像边缘较为模糊以及相邻表面之间的弱边界扩散效应，很难通过传统基于阈值类型的方法实现组织的高精度分割。针对这种情况采用了相邻体素分割法来对图像进行处理。首先，基于超声医学影像通过迭代自适应重新分类，实现对病变组织表面体素的跟踪，得到初步分割的病变组织界面，然后结合高斯标准差对初步界面的法线方向进行优化，实现三维方向的跟踪，提高边界法线方向的估计，从而提高整体算法的鲁棒性和分割精度，完成对病变组织的分割提取，为肺部病变组织的重建提供优化依据。
由于病变组织的三维重建精度对机器人对疾病的诊断和评估有很大的影响，重建的算法的选择对机器人的诊断至关重要。针对这一情况我们使用移动立方体算法对组织进行重建。三维重建的基本思想是根据二维超声图片之间的相对位置对一个描述三维空间的数据结构进行重采样，并将数据结构中的空白位置进行插值。算法的基本思路如下：首先，算法将建立立体空间坐标系并在空间中规划可容纳目标器官的长方体包络框；其次，算法将根据目标图像的分辨率再将长方体包络框切割成若干等体积的体像素，并根据超声断层图片的相对位置信息找到每一个超声图像中像素点对应的体像素。再者，算法将根据前文中相邻体素跟踪法中得到的分割结果判断每个小立方体的8个顶点分别是否在目标器官的内部，并根据顶点生成体像素的内部等值面(这里共有256种不同的情况)；最后，算法将体像素组合成为目标器官，其等值面将构成目标器官的表面。
以肺部超声为例子，将医生的扫描超声探头记录的视频导出，将每一帧的超声图像使用相邻体素跟踪法对其进行异常组织的分割。通过迭代自适应重新分类，实现对异常组织表面体素的跟踪，得到初步分割的病变组织界面，然后结合高斯标准差对初步界面的法线方向进行优化，实现三维方向的跟踪，提高边界法线方向的估计，最后实现超声图像的异常区域提取。再通过移动立方体算法对其进行三维重建。
基于上述实施例，本发明还提供一种仿人操作的超声机器人自主扫描系统，如图10所示，所述系统包括：
训练与模型表达单元10，用于通过预设的扫描技巧与人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
目标部位确定单元20，用于根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
目标部位验证单元30，用于通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
进一步地，本实施例中的所述所述训练与模型表达单元10包括：
扫描结果获取单元，用于根据预设的扫描技巧通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；
训练单元，用于将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
进一步地，所述系统还包括：数据上传单元，用于将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
综上所述，本发明公开了一种仿人操作的超声机器人自主扫描方法及系统，所述方法包括：通过预设的扫描技巧与人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位；通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。本发明可通过超声机器人扫描人体体征数据并进行分析，并结合预设的扫描技巧以及先验知识，以便更为准确地分析得到所述目标部位以及所述目标部位所对应的异常情况。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种仿人操作的超声机器人自主扫描方法，其特征在于，所述方法包括：
通过预设的扫描技巧以及人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
2.根据权利要求1所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述通过预设的扫描技巧以及人体定位点获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，包括：
根据预设的扫描技巧以及人体定位点通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；
将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
3.根据权利要求2所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统，包括：
获取所述扫描结果中超声探头获取的视频与超声探头的扫描轨迹，并基于所述视频与所述扫描轨迹对所述学习框架进行训练；
基于所述人体数字孪生模型对扫描过程进行数据记录，并使用所述数据对所述学习框架进行强化学习的训练，得到扫描思路决策器以及所述视频辅助分析系统。
4.根据权利要求3所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述基于所述人体数字孪生模型对扫描过程进行数据记录，并使用所述数据对所述学习框架进行强化学习的训练，得到扫描思路决策器以及所述视频辅助分析系统，包括：
所述数据包括异常特征的位置、下一个分区中的异常特征、异常特征的超声视频以及异常特征的确定结果；
当将所述下一个分区中的异常特征以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述扫描思路决策器，所述扫描思路决策期用于对所述异常特征及其位置进行判断；
当将所述异常特征的位置以及异常特征的确定结果输入至预设的所述学习框架中训练，得到所述视频辅助分析系统。
5.根据权利要求1所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量，包括：
根据所述扫描结果，基于人体参数化矢量，对所述人体数字孪生模型初始化；
基于超声图像标准图像对所述人体数字孪生模型进行校准更新；
基于棋盘网格对所述人体数字孪生模型进的机械臂轨迹进行归一化表示；
根据所述人体超声图像中的显式定位点，对所述人体数字孪生模型进行进行实时动态更新。
6.根据权利要求5所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述根据所述扫描结果，基于人体参数化矢量，对所述人体数字孪生模型初始化，包括：
根据所述扫描结果，获取所述人体超声图像中的显式定位点；
基于所述显式定位点进行人体参数化，得到人体参数化矢量；
基于所述人体参数化矢量对所述人体数字孪生模型进行初始化。
7.根据权利要求1所述的仿人操作的超声机器人自主扫描方法，其特征在于，所述方法包括：
将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
8.一种仿人操作的超声机器人自主扫描系统，其特征在于，所述系统包括：
训练与模型表达单元，用于通过预设的扫描技巧获取人体超声图像，通过预设的学习框架对所述人体超声图像对应的扫描结果进行训练，并将扫描结果通过人体数字孪生模型表达为归一化的特征矢量；
目标部位确定单元，用于根据所述人体数字孪生模型获取所述人体超声图像中的显式定位点，根据所述显式定位点定位隐式超声定位点以及与所述隐式超声定位点对应的目标部位，所述显式定位点用于反映所述人体超声图像中的人体体表特征，所述隐式超声定位点用于反映所述人体超声图像中所存在的异常定位点，所述目标部位用于反映所述异常定位点在所述人体超声图像中所对应的部位；
目标部位验证单元，用于通过构建的视频辅助分析系统对所述目标部位进行分析，以确定所述目标部位的真实性。
9.根据权利要求8所述的仿人操作的超声机器人自主扫描系统，其特征在于，所述训练与模型表达单元包括：
扫描结果获取单元，用于根据预设的扫描技巧通过自主超声机器人或者半自主超声机器对人体进行扫描得到所述人体超声图像以及所述人体超声图像对应的扫描结果；
训练单元，用于将所述扫描结果输入至预设的学习框架中进行训练，得到扫描思路决策器以及所述视频辅助分析系统。
10.根据权利要求8所述的仿人操作的超声机器人自主扫描系统，其特征在于，所述系统还包括：
数据上传单元，用于将所述扫描结果以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据上传至云端数据库，以对所述扫描结果以及以及经过所述视频辅助分析系统和所述扫描思路决策器输出的数据进行包装，以便对所述目标部位进行分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011004657.7A CN112151169B (zh) | 2020-09-22 | 2020-09-22 | 一种仿人操作的超声机器人自主扫描方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011004657.7A CN112151169B (zh) | 2020-09-22 | 2020-09-22 | 一种仿人操作的超声机器人自主扫描方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112151169A true CN112151169A (zh) | 2020-12-29 |
| CN112151169B CN112151169B (zh) | 2023-12-05 |
Family
ID=73897714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011004657.7A Active CN112151169B (zh) | 2020-09-22 | 2020-09-22 | 一种仿人操作的超声机器人自主扫描方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112151169B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767309A (zh) * | 2020-12-30 | 2021-05-07 | 无锡祥生医疗科技股份有限公司 | 超声扫查方法、超声设备及系统 |
| CN115376205A (zh) * | 2022-07-25 | 2022-11-22 | 武汉库柏特科技有限公司 | 超声扫描机器人控制方法、装置、设备及存储介质 |
| WO2023167830A1 (en) * | 2022-03-01 | 2023-09-07 | The Johns Hopkins University | Autonomous robotic point of care ultrasound imaging |
| CN117617910A (zh) * | 2024-01-23 | 2024-03-01 | 季华实验室 | 一种脉搏定位模型训练方法、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102743188A (zh) * | 2011-04-22 | 2012-10-24 | 李百祺 | 超声波自动扫描系统及其扫描方法 |
| CN108648821A (zh) * | 2018-03-21 | 2018-10-12 | 北京理工大学 | 面向穿刺手术机器人的智能手术决策系统及其应用方法 |
| CN109473168A (zh) * | 2018-10-09 | 2019-03-15 | 五邑大学 | 一种医学影像机器人及其控制、医学影像识别方法 |
| CN109480882A (zh) * | 2018-12-29 | 2019-03-19 | 上海联影医疗科技有限公司 | 医疗设备成像方法及装置、计算机设备和可读存储介质 |
| CN110584784A (zh) * | 2018-06-13 | 2019-12-20 | 上海联影医疗科技有限公司 | 机器人辅助手术系统 |
| CN111281534A (zh) * | 2018-12-10 | 2020-06-16 | 柯惠有限合伙公司 | 生成手术部位的三维模型的系统和方法 |
| CN111420290A (zh) * | 2019-01-10 | 2020-07-17 | 中国科学院沈阳自动化研究所 | 机器人化激光美容和治疗系统 |
| CN111477318A (zh) * | 2020-04-25 | 2020-07-31 | 华南理工大学 | 一种用于远程操纵的虚拟超声探头跟踪方法 |
-
2020
- 2020-09-22 CN CN202011004657.7A patent/CN112151169B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102743188A (zh) * | 2011-04-22 | 2012-10-24 | 李百祺 | 超声波自动扫描系统及其扫描方法 |
| US20120271173A1 (en) * | 2011-04-22 | 2012-10-25 | Pai-Chi Li | Automatic ultrasonic scanning system and scanning method thereof |
| CN108648821A (zh) * | 2018-03-21 | 2018-10-12 | 北京理工大学 | 面向穿刺手术机器人的智能手术决策系统及其应用方法 |
| CN110584784A (zh) * | 2018-06-13 | 2019-12-20 | 上海联影医疗科技有限公司 | 机器人辅助手术系统 |
| CN109473168A (zh) * | 2018-10-09 | 2019-03-15 | 五邑大学 | 一种医学影像机器人及其控制、医学影像识别方法 |
| CN111281534A (zh) * | 2018-12-10 | 2020-06-16 | 柯惠有限合伙公司 | 生成手术部位的三维模型的系统和方法 |
| CN109480882A (zh) * | 2018-12-29 | 2019-03-19 | 上海联影医疗科技有限公司 | 医疗设备成像方法及装置、计算机设备和可读存储介质 |
| CN111420290A (zh) * | 2019-01-10 | 2020-07-17 | 中国科学院沈阳自动化研究所 | 机器人化激光美容和治疗系统 |
| CN111477318A (zh) * | 2020-04-25 | 2020-07-31 | 华南理工大学 | 一种用于远程操纵的虚拟超声探头跟踪方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767309A (zh) * | 2020-12-30 | 2021-05-07 | 无锡祥生医疗科技股份有限公司 | 超声扫查方法、超声设备及系统 |
| WO2023167830A1 (en) * | 2022-03-01 | 2023-09-07 | The Johns Hopkins University | Autonomous robotic point of care ultrasound imaging |
| CN115376205A (zh) * | 2022-07-25 | 2022-11-22 | 武汉库柏特科技有限公司 | 超声扫描机器人控制方法、装置、设备及存储介质 |
| CN117617910A (zh) * | 2024-01-23 | 2024-03-01 | 季华实验室 | 一种脉搏定位模型训练方法、电子设备及存储介质 |
| CN117617910B (zh) * | 2024-01-23 | 2024-04-05 | 季华实验室 | 一种脉搏定位模型训练方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112151169B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112151169B (zh) | 一种仿人操作的超声机器人自主扫描方法及系统 | |
| CN112270993B (zh) | 一种以诊断结果为反馈的超声机器人在线决策方法及系统 | |
| Li et al. | An overview of systems and techniques for autonomous robotic ultrasound acquisitions | |
| Huang et al. | Robotic arm based automatic ultrasound scanning for three-dimensional imaging | |
| CN112132805B (zh) | 一种基于人体特征的超声机器人状态归一化方法及系统 | |
| Chatelain et al. | Confidence-driven control of an ultrasound probe | |
| Mundermann et al. | Accurately measuring human movement using articulated ICP with soft-joint constraints and a repository of articulated models | |
| Jiang et al. | Robotic ultrasound imaging: State-of-the-art and future perspectives | |
| Graumann et al. | Robotic ultrasound trajectory planning for volume of interest coverage | |
| Liu et al. | Real-to-sim registration of deformable soft tissue with position-based dynamics for surgical robot autonomy | |
| Wang et al. | Robotic ultrasound: View planning, tracking, and automatic acquisition of transesophageal echocardiography | |
| CN116507286A (zh) | 超声图像数据采集分析识别一体化机器人，平台 | |
| Thang et al. | Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information | |
| CN112998749A (zh) | 一种基于视觉伺服的自动超声检查系统 | |
| Zhu et al. | Automated heart and lung auscultation in robotic physical examinations | |
| Li et al. | Rl-tee: Autonomous probe guidance for transesophageal echocardiography based on attention-augmented deep reinforcement learning | |
| Mathur et al. | A semi-autonomous robotic system for remote trauma assessment | |
| Roshan et al. | Robotic ultrasonography for autonomous non-invasive diagnosis—A systematic literature review | |
| Tan et al. | Automatic generation of autonomous ultrasound scanning trajectory based on 3-d point cloud | |
| Huang et al. | On mimicking human’s manipulation for robot-assisted spine ultrasound imaging | |
| Tan et al. | Fully automatic dual-probe lung ultrasound scanning robot for screening triage | |
| Royer et al. | Real-time tracking of deformable target in 3D ultrasound images | |
| Chen et al. | Fully Robotized 3D Ultrasound Image Acquisition for Artery | |
| WO2023112728A1 (ja) | 医療支援方法、医療支援ロボット装置、およびコンピュータプログラム | |
| Wu et al. | Learning soft-tissue simulation from models and observation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |