CN117984310A - 医疗机器人的避障方法、装置、系统和医疗机器人 - Google Patents
医疗机器人的避障方法、装置、系统和医疗机器人 Download PDFInfo
- Publication number
- CN117984310A CN117984310A CN202211371293.5A CN202211371293A CN117984310A CN 117984310 A CN117984310 A CN 117984310A CN 202211371293 A CN202211371293 A CN 202211371293A CN 117984310 A CN117984310 A CN 117984310A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- target
- medical
- cloud model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 claims description 136
- 238000010408 sweeping Methods 0.000 claims description 88
- 238000004590 computer program Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010018852 Haematoma Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本申请涉及一种医疗机器人的避障方法、装置、系统和医疗机器人。方法包括:获取医疗固定架对应的原始点云模型;医疗固定架用于固定目标对象的目标部位;识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型;目标点云模型的完整性高于原始点云模型的完整性;根据目标点云模型确定医疗机器人的避障路径;避障路径用于供医疗机器人在执行目标部位对应的医疗任务时,避开医疗固定架。采用本方法能够提高医疗机器人在手术环境中的避障准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种医疗机器人的避障方法、装置、系统、医疗机器人、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,医疗机器人成为机器人领域的研究热点之一,通过将医疗机器人应用于救援、手术治疗、康复训练等医疗过程中,大大推动了医学的发展。
其中,神经外科机器人强大的影像处理功能可将病人多种影像资料进行高质量融合,形成三维图像,进而根据靶点核团、血肿形态等设计个性化手术路径,比框架更擅长处理空间信息,在沿着精确规划路径方面具有精准优势。
然而在实际的医学临床场景中,为了保证注册配准和路径执行的精度,在进行外科手术时,需要利用医疗固定架支撑并固定住患者的手术区域。由于每次操作时医疗固定架相对于手术台车固定的位置不同,对于手术区域的操作路径也不同,所以医疗机器人在手术区域附近运动时难以确定手术区域外围的医疗固定架相关的位置信息,存在医疗机器人的机械臂与医疗固定架的碰撞风险。
因此,相关技术中存在医疗机器人在手术环境中的避障准确性低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高医疗机器人在手术环境中的避障准确性的医疗机器人的避障方法、装置、系统、医疗机器人、存储介质和计算机程序产品。
第一方面,本申请提供了一种医疗机器人的避障方法。所述方法包括:
获取医疗固定架对应的原始点云模型;所述医疗固定架用于固定目标对象的目标部位;
识别出所述医疗固定架在所述原始点云模型中对应的边界轮廓特征,并根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型;所述目标点云模型的完整性高于所述原始点云模型的完整性;
根据所述目标点云模型确定所述医疗机器人的避障路径;所述避障路径用于供所述医疗机器人在执行所述目标部位对应的医疗任务时,避开所述医疗固定架。
在其中一个实施例中,所述根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型,包括:
根据所述边界轮廓特征,在所述原始点云模型中确定扫掠引导线;
根据所述扫掠引导线,在所述原始点云模型中确定扫掠截面;
将所述扫掠截面沿着所述扫掠引导线的方向进行扫掠处理,得到所述目标点云模型。
在其中一个实施例中,所述边界轮廓特征包括所述医疗固定架对应的多个特征点;所述根据所述边界轮廓特征,在所述原始点云模型中确定扫掠引导线,包括:
针对所述多个特征点中的当前检测特征点,在所述多个特征点中确定与所述当前检测特征点距离最近的特征点,作为当前待匹配特征点;
检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云;
在检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,将所述当前检测特征点与所述当前待匹配特征点之间的连线作为所述扫掠引导线。
在其中一个实施例中,所述在所述多个特征点中确定与所述当前检测特征点距离最近的特征点,作为当前待匹配特征点,包括:
在所述多个特征点中,检测与所述当前检测特征点存在扫掠引导线的特征点;
在未检测到所述存在扫掠引导线的特征点的情况下,在所述多个特征点中将与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;
在检测到所述存在扫掠引导线的特征点的情况下,将所述存在扫掠引导线的特征点作为已匹配特征点;
在其余特征点中,确定与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;所述其余特征点为所述多个特征点中,除所述已匹配特征点以外的特征点。
在其中一个实施例中,在检测到所述存在扫掠引导线的特征点的情况下,所述方法还包括:
在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述其余特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;
将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
在其中一个实施例中,在未检测到所述存在扫掠引导线的特征点的情况下,所述方法还包括:
在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述多个特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;
将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
在其中一个实施例中,所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云,包括:
检测位于所述当前检测特征点与所述当前待匹配特征点之间的区域的点云中,各点与对应的距离最近的点之间的距离;所述当前检测特征点与所述当前待匹配特征点之间的区域的点云包括所述原始点云模型中,位于垂直于目标连线的各点云横截面组成的空间范围中的点;所述目标连线为所述当前检测特征点与所述当前待匹配特征点之间的连线;
在各点与对应的距离最近的点之间的距离均小于预设距离阈值的情况下,判定所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云。
在其中一个实施例中,所述根据所述扫掠引导线,在所述原始点云模型中确定扫掠截面,包括:
针对任一所述扫掠引导线,在所述原始点云模型中确定与所述任一扫掠引导线垂直的点云横截面;
在与所述任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面作为所述任一扫掠引导线对应的扫掠截面。
在其中一个实施例中,所述将所述扫掠截面沿着所述扫掠引导线的方向进行扫掠处理,得到所述目标点云模型,包括:
将各所述扫掠截面沿着对应的扫掠引导线的方向,从所述对应的扫掠引导线的一端连续扫掠至所述对应的扫掠引导线的另一端,得到扫掠后的原始点云模型;
基于所述扫掠后的原始点云模型进行平滑补洞处理,得到所述目标点云模型。在其中一个实施例中,所述医疗固定架设置于所述目标部位的外围;所述获取医疗固定架对应的原始点云模型,包括:
获取所述目标部位所处的手术环境对应的目标环境点云数据;所述目标环境点云数据为根据所述手术环境对应的环境结构光图像确定得到的;所述环境结构光图像为图像采集设备对所述手术环境中处于所述图像采集设备对应的视野范围内的物体进行拍摄得到的;
以所述目标环境点云数据中所述目标部位的中心点对应的空间位置,作为目标中心点,并根据所述目标中心点与所述目标部位的边缘在所述目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;所述目标长度大于所述最远距离;
根据所述目标中心点和所述目标长度确定分割区域,并根据所述分割区域对所述目标环境点云数据进行分割,得到包括有所述医疗固定架对应的点云数据的所述原始点云模型。
第二方面,本申请还提供了一种医疗机器人的避障装置。所述装置包括:
获取模块,用于获取医疗固定架对应的原始点云模型;所述医疗固定架用于固定目标对象的目标部位;
重建模块,用于识别出所述医疗固定架在所述原始点云模型中对应的边界轮廓特征,并根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型;所述目标点云模型的完整性高于所述原始点云模型的完整性;
确定模块,用于根据所述目标点云模型确定所述医疗机器人的避障路径;所述避障路径用于供所述医疗机器人在执行所述目标部位对应的医疗任务时,避开所述医疗固定架。
第三方面,本申请还提供了一种医疗机器人的避障系统。所述系统包括:医疗固定架、结构光相机和医疗机器人;
所述医疗固定架,用于固定目标对象的目标部位;
所述结构光相机,用于采集目标环境点云数据;所述目标环境点云数据用于构建所述医疗固定架对应的原始点云模型;
所述医疗机器人,用于执行时实现上述的方法的步骤。
第四方面,本申请还提供了一种医疗机器人。所述医疗机器人包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
第六方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述医疗机器人的避障方法、装置、系统、医疗机器人、存储介质和计算机程序产品,通过获取医疗固定架对应的原始点云模型;医疗固定架用于固定目标对象的目标部位;识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型;目标点云模型的完整性高于原始点云模型的完整性;根据目标点云模型确定医疗机器人的避障路径;避障路径用于供医疗机器人在执行目标部位对应的医疗任务时,避开医疗固定架;如此,实现了根据医疗固定架在原始点云模型中对应的边界轮廓特征,自适应地扫掠重建出医疗固定架对应的高完整性的目标点云模型,从而可以根据该高完整性的目标点云模型准确确定医疗固定架在手术环境中的空间位置信息,以准确规划出医疗机器人在执行目标部位对应的医疗任务时的避障路径,避免医疗机器人与医疗固定架发生碰撞,且本方法通用于不同固定位置、不同固定形式的医疗固定架,可以提高医疗机器人对于手术环境的感知能力,进而有效提高医疗机器人在手术环境中的避障准确性。
附图说明
图1为一个实施例中一种医疗机器人的避障方法的流程示意图。
图2为一个实施例中一种医疗固定架在原始点云模型中对应的多个特征点的示意图。
图3为一个实施例中一种原始点云模型中的扫掠引导线的示意图。
图4为一个实施例中一种各扫掠引导上的目标点云横截面。
图5为一个实施例中一种扫掠后的原始点云模型的示意图。
图6为一个实施例中一种目标点云模型的示意图。
图7为一个实施例中一种结构光相机、目标对象和医疗机器人的位置关系示意图。
图8为一个实施例中一种基于结构光相机采集得到的手术环境的深度信息的示意图。
图9为一个实施例中一种原始点云模型的示意图。
图10为另一个实施例中另一种医疗机器人的避障方法的流程示意图。
图11为一个实施例中一种医疗机器人的避障装置的结构框图。
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本说明书中医疗机器人的避障方法可以应用于服务器,也可以应用于医疗机器人本身。其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。为了方便描述,后续以医疗机器人作为执行主体进行描述。
在一个实施例中,如图1所示,提供了一种医疗机器人的避障方法,应用于医疗机器人。本实施例中,该方法包括以下步骤:
步骤S110,获取医疗固定架对应的原始点云模型。
其中,医疗固定架用于固定目标对象的存在手术区域的目标部位。
其中,根据目标对象的存在手术区域的目标部位不同,医疗固定架的种类也不同。例如,当目标部位为目标对象的头部,医疗固定架为头架。对于医疗固定架的种类在此不作具体限制。
其中,原始点云模型可以为医疗固定架在医疗机器人的基坐标系下对应的点云模型。
其中,原始点云模型包括有医疗固定架对应的点云数据。
具体实现中,医疗机器人可以获取目标部位所处的手术环境对应的环境结构光图像,根据该环境结构光图像得到医疗固定架在医疗机器人的基坐标系下对应的原始点云模型。其中,环境结构光图像为图像采集设备对手术环境中处于图像采集设备对应的视野范围内的物体进行拍摄得到的。
步骤S120,识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型。
其中,目标点云模型的完整性高于原始点云模型的完整性。
其中,边界轮廓特征为用于表征医疗固定架的边界轮廓的特征信息。
具体实现中,由于原始点云模型是根据图像采集设备在一个固定角度采集到的环境结构光图像得到的,因此直接由此环境结构光图像重建出的原始点云模型的完整性不高,而直接根据原始点云模型确定避障路径则医疗机器人与医疗固定架仍然有碰撞风险。因此医疗机器人需要识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠处理,以重建得到完整性高于原始点云模型的点云模型,作为医疗固定架对应的目标点云模型。
步骤S130,根据目标点云模型确定医疗机器人的避障路径。
其中,避障路径用于供医疗机器人在执行目标部位对应的医疗任务时,避开医疗固定架。
其中,医疗机器人可以但不限于为神经外科机器人。
具体实现中,医疗机器人可以根据目标点云模型确定医疗固定架在手术环境中的空间位置信息,以根据上述空间位置信息准确规划出医疗机器人在执行目标部位对应的医疗任务时的避障路径,避免医疗机器人与医疗固定架发生碰撞。
上述医疗机器人的避障方法中,通过获取医疗固定架对应的原始点云模型;医疗固定架用于固定目标对象的目标部位;识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型;目标点云模型的完整性高于原始点云模型的完整性;根据目标点云模型确定医疗机器人的避障路径;避障路径用于供医疗机器人在执行目标部位对应的医疗任务时,避开医疗固定架;如此,实现了根据医疗固定架在原始点云模型中对应的边界轮廓特征,自适应地扫掠重建出医疗固定架对应的高完整性的目标点云模型,从而可以根据该高完整性的目标点云模型,准确确定医疗固定架在手术环境中的空间位置信息,以准确规划出医疗机器人在执行目标部位对应的医疗任务时的避障路径,避免医疗机器人与医疗固定架发生碰撞,且本方法通用于不同固定位置、不同固定形式的医疗固定架,可以提高医疗机器人对于手术环境的感知能力,进而有效提高医疗机器人在手术环境中的避障准确性。
在一个实施例中,根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型,包括:根据边界轮廓特征,在原始点云模型中确定扫掠引导线;根据扫掠引导线,在原始点云模型中确定扫掠截面;将扫掠截面沿着扫掠引导线的方向进行扫掠处理,得到目标点云模型。
具体实现中,医疗机器人在识别出医疗固定架在原始点云模型中对应的边界轮廓特征,并根据边界轮廓特征对原始点云模型进行扫掠重建,得到医疗固定架对应的目标点云模型的过程中,医疗机器人可以根据医疗固定架在原始点云模型中对应的边界轮廓特征,在原始点云模型中确定医疗固定架的结构关系,从而可以根据上述结构关系确定医疗固定架在原始点云模型中对应的扫掠引导线,以实现在原始点云模型中确定扫掠引导线。
同时,医疗机器人可以根据原始点云模型中的扫掠引导线对应的点云横截面确定医疗固定架在原始点云模型中对应的二维的扫掠截面,以实现在原始点云模型中确定扫掠截面。如此,医疗机器人可以将二维的扫掠截面沿着扫掠引导线的方向移动以进行扫掠处理,得到医疗固定架对应的目标点云模型。
本实施例的技术方案,通过根据边界轮廓特征,在原始点云模型中确定扫掠引导线;根据扫掠引导线,在原始点云模型中确定扫掠截面;将扫掠截面沿着扫掠引导线的方向进行扫掠处理,得到目标点云模型;如此,通过在原始点云模型中将二维的扫掠截面沿着扫掠引导线的方向进行扫掠处理,可以对原始点云模型中存在的孔洞进行补全,从而可以实现对原始点云模型的重建,得到完整性较高的目标点云模型,以根据目标点云模型进行高准确性地避障路径规划。
在一个实施例中,边界轮廓特征包括医疗固定架对应的多个特征点;根据边界轮廓特征,在原始点云模型中确定扫掠引导线,包括:针对多个特征点中的当前检测特征点,在多个特征点中确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点;检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云;在检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,将当前检测特征点与当前待匹配特征点之间的连线作为扫掠引导线。
具体实现中,医疗机器人可以确定医疗固定架在原始点云模型中对应的各点的法向量,再根据各点的法向量估计出原始点云模型中医疗固定架对应的轮廓的转折点,作为医疗固定架在原始点云模型中对应的多个特征点。其中,在确定原始点云模型中各点的法向量时,需要先拟合出一个平面,然后才能求出相应的法向量,而对于一个点,可以用该点周围邻近的点来拟合平面。
实际应用中,可以通过3D Harris算子提取医疗固定架在原始点云模型中对应的多个特征点,3D Harris算子是图像检测识别算法中常见的特征检测算子,既可以提取边缘点也可以提取角点,其对物体姿态变化鲁棒性好,对旋转不敏感,可以很好地检测出物体的特征点。具体来说,3D Harris算子可以将医疗固定架在原始点云模型中对应的点云中的某一个点作为中心点,针对中心点进行一个半径r的搜索,若该半径区域内每个点的法向量与该中心点的法向量之间的差异都大于预设差异阈值,则确定该中心点为医疗固定架对应的特征点。
为了便于本领域技术人员理解,图2提供了一种医疗固定架在原始点云模型中对应的多个特征点的示意图。其中,医疗固定架为头架,目标部位为目标对象的头部,灰色实心圆点为特征点(包括编号为1~11的共11个特征点)。其中,本实施例的原始点云模型除了包括医疗固定架的点云数据210,还包括了目标对象的部分目标部位所对应的点云数据220。
从而医疗机器人在根据边界轮廓特征,在原始点云模型中确定扫掠引导线的过程中,医疗机器人可以针对多个特征点中的当前检测特征点,在多个特征点中确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点;然后,检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云;在检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,将当前检测特征点与当前待匹配特征点进行连接,以将当前检测特征点与当前待匹配特征点之间的连线作为扫掠引导线。
如此,当医疗机器人检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,则确定基于当前检测特征点的扫掠引导线检测结束,可以在多个特征点中选取下一个检测特征点作为当前检测特征点,执行上述检测方法的步骤。当多个特征点中每一个特征点都作为当前检测特征点进行检测后,可以确定医疗固定架在原始点云模型中对应的各条扫掠引导线。
其中,在检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的过程中,医疗机器人可以检测位于当前检测特征点与当前待匹配特征点之间的区域的点云中,各点与对应的距离最近的点之间的距离;在各点与对应的距离最近的点之间的距离均小于预设距离阈值的情况下,医疗机器人可以判定当前检测特征点与当前待匹配特征点之间存在连续的点云;而在各点与对应的距离最近的点之间的距离不满足均小于预设距离阈值这一条件的情况下,医疗机器人可以判定当前检测特征点与当前待匹配特征点之间不存在连续的点云。其中,当前检测特征点与当前待匹配特征点之间的区域的点云包括原始点云模型中,位于垂直于目标连线的各点云横截面组成的空间范围中的点;其中,目标连线为当前检测特征点与当前待匹配特征点之间的连线。
本实施例的技术方案,边界轮廓特征包括医疗固定架对应的多个特征点;通过针对多个特征点中的当前检测特征点,在多个特征点中确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点;检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云;在检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,将当前检测特征点与当前待匹配特征点之间的连线作为扫掠引导线;如此,通过检测原始点云模型中当前检测特征点与对应的距离最近的当前待匹配特征点是否存在连续的点云,可以确定医疗固定架在原始点云模型中对应的具有直接的结构关系的特征点,从而可以根据医疗固定架对应的具有直接的结构关系的两个特征点之间的连线,准确确定医疗固定架在原始点云模型中对应的扫掠引导线。
在一个实施例中,在多个特征点中确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点,包括:在多个特征点中,检测与当前检测特征点存在扫掠引导线的特征点;在未检测到存在扫掠引导线的特征点的情况下,在多个特征点中将与当前检测特征点距离最近的特征点,作为当前待匹配特征点;在检测到存在扫掠引导线的特征点的情况下,将存在连线的特征点作为已匹配特征点;在其余特征点中,确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点;其中,其余特征点为多个特征点中,除已匹配特征点以外的特征点。
具体实现中,医疗机器人在多个特征点中确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点的过程中,医疗机器人可以在多个特征点中,检测与当前检测特征点存在扫掠引导线的特征点。医疗机器人在未检测到与当前检测特征点存在扫掠引导线的特征点的情况下,可以在多个特征点中将与当前检测特征点距离最近的特征点,作为当前待匹配特征点。医疗机器人在检测到与当前检测特征点存在扫掠引导线的特征点的情况下,可以将该存在扫掠引导线的特征点作为已匹配特征点;然后,医疗机器人可以在其余特征点中,确定与当前检测特征点距离最近的特征点,作为当前待匹配特征点;其中,其余特征点为多个特征点中,除已匹配特征点以外的特征点。
举例来说,以当前检测特征点为图2中编号为2的特征点(即特征点2)为例进行说明,当医疗机器人未检测到与特征点2存在扫掠引导线的特征点时,由于特征点1与特征点2距离最近,因此,医疗机器人将特征点1作为当前待匹配特征点,以检测特征点2与特征点1之间是否存在连续的点云。当医疗机器人检测到与特征点2存在扫掠引导线的特征点时,若该与特征点2存在扫掠引导线的特征点为特征点1,则特征点1作为已匹配特征点,此时,在除特征点1以外的特征点中,特征点4与特征点2的距离最近,因此特征点4作为当前待匹配特征点,以检测特征点4与特征点2之间是否存在连续的点云。
本实施例的技术方案,在确定扫掠引导线的过程中,先判断是否检测到与当前检测特征点存在扫掠引导线的特征点,若否,则首先选取在多个特征点中距离当前检测特征点最近的特征点作为当前待匹配特征点以判断是否存在连续的点云,无需分别检测当前检测特征点与其余的每一个特征点之间是否存在连续的点云,从而可以高效确定原始点云模型中与当前检测特征点对应的具有直接的结构关系的特征点,以基于当前检测特征点高效确定原始点云模型中的扫掠引导线。而在检测到与当前检测特征点存在扫掠引导线的已匹配特征点时,则将多个特征点中除已匹配特征点以外距离当前检测特征点最近的点作为当前待匹配特征点,以判断是否存在连续的点云,从而无需针对已匹配特征点与当前检测特征点重复进行连续点云判断,提高了扫掠引导线的获取效率。
在一个实施例中,在检测到存在扫掠引导线的特征点的情况下,方法还包括:在未检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,在其余特征点中,确定除当前待匹配特征点以外与当前检测特征点距离最近的特征点,得到下一待匹配特征点;将下一待匹配特征点作为当前待匹配特征点,返回检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的步骤。
具体实现中,医疗机器人在检测到与当前检测特征点之间存在扫掠引导线的已匹配特征点的情况下,若医疗机器人确定当前检测特征点与当前待匹配特征点之间不存在连续的点云,则医疗机器人可以在多个特征点中除已匹配特征点以外的其余特征点中,确定除当前待匹配特征点以外与当前检测特征点距离最近的特征点,得到下一待匹配特征点;然后,医疗机器人可以将下一待匹配特征点作为当前待匹配特征点,返回检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的步骤,直到满足预设的结束条件,结束基于当前检测特征点的扫掠引导线检测,并可以在多个特征点中选取下一个检测特征点作为当前检测特征点,执行上述检测方法的步骤。
其中,预设的结束条件可以为当前检测特征点与当前待匹配特征点之间存在连续的点云,即基于当前检测特征点在原始点云模型中确定了一条新的扫掠引导线。或者,预设的结束条件也可以为在多个特征点中除已匹配特征点以外的其余特征点中,不存在与当前检测特征点之间存在连续的点云的特征点。
举例来说,接上例(与特征点2存在扫掠引导线的特征点为特征点1),在医疗机器人检测到特征点4与特征点2之间不存在连续的点云的情况下,若在除特征点1以外的特征点中,除特征点4以外特征点3与特征点2的距离最近,因此将特征点3作为下一待匹配特征点,检测特征点3与特征点2之间是否存在连续的点云。
本实施例的技术方案,在检测到与当前检测特征点之间存在扫掠引导线的已匹配特征点,但当前检测特征点与当前待匹配特征点之间不存在连续的点云的情况下,通过在多个特征点中除已匹配特征点以外的其余特征点中,确定除当前待匹配特征点以外,与当前检测特征点距离最近的特征点作为当前待匹配特征点,检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云;如此,可以在基于当前检测特征点进行扫掠引导线获取过程中,按照与当前检测特征点的距离从近到远,对除已匹配特征点以外的特征点与当前检测特征点进行连续点云判断,以高效确定当前检测特征点对应的具有直接的结构关系的特征点,从而可以基于当前检测特征点高效确定扫掠引导线。
在一个实施例中,在未检测到存在扫掠引导线的特征点的情况下,方法还包括:在未检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,在多个特征点中,确定除当前待匹配特征点以外与当前检测特征点距离最近的特征点,得到下一待匹配特征点;将下一待匹配特征点作为当前待匹配特征点,返回检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的步骤。
具体实现中,医疗机器人在未检测到与当前检测特征点之间存在扫掠引导线的已匹配特征点的情况下,若医疗机器人确定当前检测特征点与当前待匹配特征点之间不存在连续的点云,医疗机器人可以在多个特征点中,确定除当前待匹配特征点以外与当前检测特征点距离最近的特征点,得到下一待匹配特征点;将下一待匹配特征点作为当前待匹配特征点,返回检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的步骤,直到满足预设的结束条件,结束基于当前检测特征点的扫掠引导线检测,并可以在多个特征点中选取下一个检测特征点作为当前检测特征点,执行上述检测方法的步骤。
其中,预设的结束条件可以为当前检测特征点与当前待匹配特征点之间存在连续的点云,即基于当前检测特征点在原始点云模型中确定了一条扫掠引导线。或者,预设的结束条件也可以为在多个特征点中不存在与当前检测特征点之间存在连续的点云的特征点。
举例来说,接上例(未检测到与特征点2存在扫掠引导线的特征点时),在医疗机器人检测到特征点2与特征点1之间不存在连续的点云的情况下,若在除特征点1以外的特征点中,特征点4与特征点2的距离最近,因此特征点4作为下一待匹配特征点,以检测特征点4与特征点2之间是否存在连续的点云。
如此,当多个特征点中每一个特征点都作为当前检测特征点进行检测后,可以确定医疗固定架在原始点云模型中对应的各条扫掠引导线。如图3所示,各条扫掠引导线包括特征点1和特征点2之间的扫掠引导线、特征点3和特征点2之间的扫掠引导线、特征点4和特征点5之间的扫掠引导线、特征点5和特征点6之间的扫掠引导线、特征点6和特征点7之间的扫掠引导线、特征点7和特征点8之间的扫掠引导线、特征点9和特征点10之间的扫掠引导线、特征点10和特征点11之间的扫掠引导线。
本实施例的技术方案,在未检测到与当前检测特征点之间存在扫掠引导线的已匹配特征点,且未检测到当前检测特征点与当前待匹配特征点之间存在连续的点云的情况下,在多个特征点中,确定除当前待匹配特征点以外与当前检测特征点距离最近的特征点,得到下一待匹配特征点;将下一待匹配特征点作为当前待匹配特征点,返回检测当前检测特征点与当前待匹配特征点之间是否存在连续的点云的步骤;如此,可以在基于当前检测特征点进行扫掠引导线获取过程中,按照与当前检测特征点的距离从近到远对特征点与当前检测特征点进行连续点云判断,可以高效确定当前检测特征点对应的具有直接的结构关系的特征点,从而可以基于当前检测特征点高效确定扫掠引导线。
在一个实施例中,根据扫掠引导线,在原始点云模型中确定扫掠截面,包括:针对任一所述扫掠引导线,在所述原始点云模型中确定与所述任一扫掠引导线垂直的点云横截面;在与所述任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面作为所述任一扫掠引导线对应的扫掠截面。
具体实现中,医疗机器人在根据扫掠引导线,在原始点云模型中确定扫掠截面的过程中,医疗机器人可以针对任一扫掠引导线,在原始点云模型中确定与该任一扫掠引导线垂直的点云横截面;在与该任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面确定为目标点云横截面;然后,医疗机器人可以将目标点云横截面作为该任一扫掠引导线对应的扫掠截面。如此,医疗机器人可以确定各扫掠引导线对应的扫掠截面。
本实施例的技术方案,通过针对任一扫掠引导线,在原始点云模型中确定与任一扫掠引导线垂直的点云横截面;在与任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面作为任一扫掠引导线对应的扫掠截面;如此,将与扫掠引导线垂直且面积最大的点云横截面,作为扫掠引导线对应的扫掠截面,从而在将扫掠截面沿着扫掠引导线的方向进行扫掠处理后,可以得到完整性较高的目标点云模型,有效提高了医疗固定架对应的点云模型的完整性。
在一个实施例中,在与任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面确定为目标点云横截面,包括:确定任一扫掠引导线对应的部件形状;根据所述部件形状,在与任一扫掠引导线垂直的各点云横截面中确定候选点云横截面;候选点云横截面的形状与部件形状相匹配;确定候选点云横截面中面积最大的候选点云横截面,作为目标点云横截面。
其中,任一扫掠引导线对应的部件形状可以由垂直于该任一扫掠引导线的各个点云横截面组成的空间范围的形状确定。
具体实现中,医疗固定架包括至少一种形状的固定部件,医疗机器人在与任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面确定为目标点云横截面的过程中,医疗机器人可以针对任一扫掠引导线,确定该任一扫掠引导线对应的部件形状;然后,医疗机器人可以根据该部件形状,在与任一扫掠引导线垂直的各点云横截面中确定候选点云横截面;如此,医疗机器人可以在在与该任一扫掠引导线垂直的各候选点云横截面中,确定面积最大的候选点云横截面,作为与该任一扫掠引导线垂直的目标点云横截面。
举例来说,当医疗固定架为头架时,医疗固定架的固定部件包括矩形支撑杆件和圆形头部固定装置,当扫掠引导线对应的部件形状为矩形时,医疗机器人可以将与该扫掠引导垂直的矩形点云横截面中面积最大的矩形点云横截面作为与该扫掠引导垂直的目标点云横截面;当扫掠引导线对应的部件形状为圆形时,医疗机器人可以将与该扫掠引导垂直的圆形点云横截面中面积最大的圆形点云横截面作为与该扫掠引导垂直的目标点云横截面;
为了便于本领域技术人员理解,在图3的基础上,图4提供了一种各扫掠引导上的目标点云横截面的示意图。
本实施例的技术方案,通过确定任一扫掠引导线对应的部件形状;根据所述部件形状,在与任一扫掠引导线垂直的各点云横截面中确定候选点云横截面;确定候选点云横截面中面积最大的候选点云横截面,作为目标点云横截面;如此,使得任一扫掠引导线对应的扫掠截面的形状,与该任一扫掠引导线对应的部件形状相匹配,从而使得根据扫掠截面进行扫掠处理后得到的目标点云模型,与真实的医疗固定架的形状更加符合,进而通过目标点云模型确定得到的障路径,可以供医疗机器人执行目标部位对应的医疗任务时,精准地避免与医疗固定架发生碰撞。
在一个实施例中,将扫掠截面沿着扫掠引导线的方向进行扫掠处理,得到目标点云模型,包括:将各扫掠截面沿着对应的扫掠引导线的方向,从对应的扫掠引导线的一端连续扫掠至对应的扫掠引导线的另一端,得到扫掠后的原始点云模型;基于扫掠后的原始点云模型得到目标点云模型。
具体实现中,医疗机器人在将扫掠截面沿着扫掠引导线的方向进行扫掠处理,得到目标点云模型的过程中,医疗机器人可以将各扫掠截面沿着对应的扫掠引导线的方向,从对应的扫掠引导线的一端连续扫掠至对应的扫掠引导线的另一端,得到扫掠后的原始点云模型。为了便于本领域技术人员的理解,在图4的基础上,图5提供了一种扫掠后的原始点云模型的示意图。可以看出,扫掠后的原始点云模型并不完整。
如此,医疗机器人可以基于扫掠后的原始点云模型得到目标点云模型,而目标点云模型的完整性和稳定性高于扫掠后的原始点云模型和原始点云模型。其中,医疗机器人可以对扫掠后的原始点云模型进行平滑和补洞处理,得到平滑补洞后的点云模型,作为目标点云模型。此外,医疗机器人也可以在得到平滑补洞后的点云模型后,对该平滑补洞后的点云模型进行降采样处理,得到降采样后的点云模型,作为目标点云模型。
为了便于本领域技术人员的理解,在图5的基础上,图6提供了一种目标点云模型的示意图。可以看出,目标点云模型的完整性高于原始点云模型。
本实施例的技术方案,通过将各扫掠截面沿着对应的扫掠引导线的方向,从对应的扫掠引导线的一端连续扫掠至对应的扫掠引导线的另一端,得到扫掠后的原始点云模型;基于扫掠后的原始点云模型得到目标点云模型;如此,可以提高医疗固定架对应的点云模型的完整性和稳定性,得到医疗固定架对应的高完整性的目标点云模型,从而可以更加准确地确定医疗固定架在手术环境中的空间位置信息,进而可以有效提高依据目标点云模型确定得到的避障路径的准确性。
在一个实施例中,医疗固定架设置于目标部位的外围;获取医疗固定架对应的原始点云模型,包括:获取目标部位所处的手术环境对应的目标环境点云数据;以目标环境点云数据中目标部位的中心点对应的空间位置,作为目标中心点,并根据目标中心点与目标部位的边缘在目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;根据目标中心点和目标长度确定分割区域,并根据分割区域对目标环境点云数据进行分割,得到包括有医疗固定架对应的点云数据的原始点云模型。
其中,医疗固定架设置于目标部位的外围。
其中,目标部位所处的手术环境可以为目标部位附近的环境。
其中,目标环境点云数据为根据手术环境对应的环境结构光图像确定得到的。
其中,环境结构光图像为图像采集设备对手术环境中处于图像采集设备对应的视野范围内的物体进行拍摄得到的。
其中,图像采集设备可以为结构光相机。
其中,目标环境点云数据为手术环境在医疗机器人的基坐标系下对应的点云数据。
其中,目标长度大于最远距离。
具体实现中,医疗固定架设置于目标部位的外围,医疗机器人可以获取目标部位所处的手术环境对应的目标环境点云数据,而目标环境点云数据为根据手术环境对应的环境结构光图像确定得到的,而环境结构光图像为图像采集设备对手术环境中处于图像采集设备对应的视野范围内的物体进行拍摄得到的;其中,图像采集设备可以为结构光相机。
实际应用中,结构光相机可以放置于目标对象的目标部位附近的固定位置,结构光相机可以将具有一定结构特征的光线通过投射器投射到被测物体表面;其中,被测物体即为手术环境中处于图像采集设备对应的视野范围内的物体,从而可以对被测物体的表面进行拍摄,得到结构光图像,作为环境结构光图像。然后,医疗机器人可以获取结构光相机拍摄得到的环境结构光图像,从环境结构光图像中提取出目标部位所处的手术环境的深度信息,该深度信息包含了被测物体表面的每个点的三维空间坐标。其中,结构光相机的分辨率较高,精度可达到毫米级,采集的深度信息足以满足医疗机器人避障的精度要求。
实际应用中,当目标部位为头部,医疗固定架为头架时,常用的头架形式有三钉式头架和框形头架两种。医疗机器人在进行头部手术时,目标对象可以采用正对位,面部朝上,并采用三钉式头架固定目标对象的头部。此外,目标对象也可以采用面部侧躺位(例如左侧位或右侧位),并采用三钉式头架固定目标对象的头部。
为了便于本领域技术人员理解,图7提供了一种目标对象采用正对位时,结构光相机710、目标对象720和医疗机器人的位置关系示意图。其中,医疗机器人包括手术台车7301、机械臂7302、机械臂支撑结构7303以及设置于内部的存储器和处理器。其中,手术台车7301、机械臂7302通过机械臂支撑结构7303连接。如图7所示,结构光相机710手术台车7301上,结构光相机710可以采集目标对象720的目标部位7201(本实施例中,目标部位为头部)附近的环境对应的环境结构光图像。
为了便于本领域技术人员,在图7的位置关系的基础上,图8提供了一种基于结构光相机采集得到的手术环境的深度信息的示意图。手术环境的深度信息包括了机械臂7302、机械臂支撑结构7303、头架和目标对象部分头部的轮廓和位置信息,由于避障路径是以医疗机器人的基坐标系为基准的,而手术环境的深度信息是映射在结构光相机710对应的相机坐标系下的,因此可以根据结构光相机710在手术台车7301上的固定位置,依据手眼标定方法标定出相机坐标系与机器人基坐标系之间的转换关系,以将相机坐标系下的深度信息转换到医疗机器人的基坐标系中。由于深度信息包含了被测物体表面的每个点的三维空间坐标,因此可以依据医疗机器人的基坐标系下的深度信息,构建手术环境在基坐标系下对应的点云数据,作为手术环境对应的目标环境点云数据。
由于目标环境点云数据包含了大量的噪点和无用信息,比如地面、床板等物体的信息,因此还需要对目标环境点云数据进一步处理,获取目标环境点云数据中真正有用的医疗固定架的信息。首先,可以基于统计的离群点滤除方法对目标环境点云数据中散乱的噪点进行滤除,得到滤除离群点后的目标环境点云数据。然后,依据医疗固定架在滤除离群点后的目标环境点云数据中的空间位置信息,对滤除离群点后的目标环境点云数据进行分割,去除大量的无关信息,得到包含有医疗固定架对应的点云数据的原始点云模型。
具体来说,医疗机器人在获取原始点云模型的过程中,由于目标部位在滤除离群点后的目标环境点云数据中的空间位置信息,相对于医疗固定架更加容易确定,且医疗固定架设置于目标部位的外围,因此医疗机器人可以以滤除离群点后的目标环境点云数据中目标部位的中心点对应的空间位置,作为目标中心点,并根据目标中心点与目标部位的边缘在目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;而该目标长度大于最远距离;并根据目标中心点和目标长度确定分割区域,该分割区域包含了医疗固定架在滤除离群点后的目标环境点云数据中对应的点云数据,通过该分割区域对滤除离群点后的目标环境点云数据进行分割,得到包括有医疗固定架对应的点云数据,以及目标对象的部分目标部位对应的点云数据的原始点云模型。
举例来说,当目标部位为头部,医疗固定架为头架时,分割区域为球形分割区域。医疗机器人可以以头部的中心点作为球心,以大于头部的半径的距离作为包络球的半径,从而可以根据球心和包络球的半径确定包络球分割区域,根据包络球分割区域对滤除离群点后的目标环境点云数据进行分割,使得滤除离群点后的目标环境点云数据去除了大量的无关信息,只保留了包络球分割区域内的点云数据,得到上述原始点云模型。
需要说明的是,在获取到手术环境对应的目标环境点云数据的步骤之后,在对目标环境点云数据中散乱的噪点进行滤除的步骤之前,医疗机器人需要检测目标环境点云数据是否包含有医疗固定架的点云数据,在未检测到的情况下,则医疗机器人需要控制结构光相机调整拍摄角度,以使结构光相机重新对手术环境中处于视野范围内的物体进行拍摄得到新的环境结构光图像,然后,医疗机器人执行获取相机坐标系下的手术环境的深度信息的步骤,直到在目标环境点云数据中检测到医疗固定架的点云数据。
为了便于本领域技术人员理解,图9提供了一种原始点云模型的示意图,该原始点云模型是基于图8中包含有部分头部和头架的轮廓和位置信息的区域810确定得到的。
本实施例的技术方案,医疗固定架设置于目标部位的外围,通过获取目标部位所处的手术环境对应的目标环境点云数据;目标环境点云数据为根据手术环境对应的环境结构光图像确定得到的;环境结构光图像为图像采集设备对手术环境中处于图像采集设备对应的视野范围内的物体进行拍摄得到的;以目标环境点云数据中目标部位的中心点对应的空间位置,作为目标中心点,并根据目标中心点与目标部位的边缘在目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;目标长度大于最远距离;根据目标中心点和目标长度确定分割区域,并根据分割区域对目标环境点云数据进行分割,得到包括有医疗固定架对应的点云数据的原始点云模型;如此,将医疗固定架设置于目标部位的外围,依据目标环境点云数据中目标部位对应的空间位置确定分割区域,以对目标环境点云数据进行分割,从而可以准确得到包括有医疗固定架的点云数据的原始点云模型。
在另一个实施例中,如图10所示,提供了一种医疗机器人的避障方法,以该方法应用于医疗机器人为例进行说明,包括以下步骤:
步骤S1010,获取相机坐标系下,目标部位所处的手术环境的深度信息。
步骤S1020,通过手眼标定方法,将相机坐标系下的深度信息转换到医疗机器人的基坐标系中,得到目标环境点云数据。
步骤S1030,检测目标环境点云数据是否包含有医疗固定架的点云数据;在未检测到的情况下,则控制结构光相机调整拍摄角度得到新的环境结构光图像,返回步骤S1010。
步骤S1040,在检测到的情况下,则采用滤除离群点方法对目标环境点云数据中散乱的噪点进行滤除,在滤除离群点后的目标环境点云数据中分割得到医疗固定架对应的原始点云模型。
步骤S1050,提取医疗固定架在原始点云模型中对应的多个特征点,得到医疗固定架在原始点云模型中对应的边界轮廓特征。
步骤S1060,根据边界轮廓特征,在原始点云模型中确定扫掠引导线。
步骤S1070,在原始点云模型中确定与扫掠引导线垂直的面积最大的点云横截面,作为扫掠引导线对应的扫掠截面。
步骤S1080,将扫掠截面沿着扫掠引导线的方向进行扫掠处理,得到目标点云模型。
步骤S1090,更新目标点云模型至碰撞检测模型中,确定医疗机器人的避障路径。
其中,在步骤S1090中,医疗机器人的机械臂用于执行目标部位对应的医疗任务,医疗机器人可以根据目标点云模型更新医疗机器人针对该手术环境的避障检测模型,并结合空间位置已知的目标部位模型(例如,基于目标部位的CT(Computed Tomography,电子计算机断层扫描)数据得到的目标部位对应的三维模型,或基于目标部位的其他模态的数据得到的目标部位对应的三维模型)、医疗机器人的手术台车对应的手术台车静态模型建立机械臂运动碰撞区,如此机械臂在执行目标部位对应的医疗任务的过程中,医疗机器人中的处理器将控制机械臂不运动到该机械臂运动碰撞区,也就是说,机械臂运动碰撞区内的所有物体,即目标对象的身体部位、医疗固定架和手术台车等都不会和机械臂发生碰撞。同时,医疗机器人可以根据此机械臂运动碰撞区进行避障路径规划,再检测规划出的避障路径是否与机械臂运动碰撞区发生干涉来进行机械臂的导航避障。
而其他步骤的具体限定,可以参见上文实施例中对一种医疗机器人的避障方法的具体限定。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的一种医疗机器人的避障方法的医疗机器人的避障系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个医疗机器人的避障系统实施例中的具体限定可以参见上文中对于一种医疗机器人的避障系统方法的限定,在此不再赘述。
在一个实施例中,提供了一种医疗机器人的避障系统,包括:医疗固定架、结构光相机和医疗机器人。
其中,医疗固定架,用于固定目标对象的目标部位。
其中,结构光相机,用于采集目标环境点云数据。
其中,目标环境点云数据用于构建医疗固定架对应的原始点云模型。
医疗机器人,用于执行时实现上述的医疗机器人的避障方法的步骤。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的一种医疗机器人的避障方法的医疗机器人的避障装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个医疗机器人的避障装置实施例中的具体限定可以参见上文中对于一种医疗机器人的避障方法的限定,在此不再赘述。
在一个实施例中,如图11所示,提供了一种医疗机器人的避障装置,包括:获取模块1110、重建模块1120和确定模块1130,其中:
获取模块1110,用于获取医疗固定架对应的原始点云模型;所述医疗固定架用于固定目标对象的目标部位;
重建模块1120,用于识别出所述医疗固定架在所述原始点云模型中对应的边界轮廓特征,并根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型;所述目标点云模型的完整性高于所述原始点云模型的完整性;
确定模块1130,用于根据所述目标点云模型确定所述医疗机器人的避障路径;所述避障路径用于供所述医疗机器人在执行所述目标部位对应的医疗任务时,避开所述医疗固定架。
在其中一个实施例中,所述重建模块1120,具体用于根据所述边界轮廓特征,在所述原始点云模型中确定扫掠引导线;根据所述扫掠引导线,在所述原始点云模型中确定扫掠截面;将所述扫掠截面沿着所述扫掠引导线的方向进行扫掠处理,得到所述目标点云模型。
在其中一个实施例中,所述边界轮廓特征包括所述医疗固定架对应的多个特征点;所述重建模块1120,具体用于针对所述多个特征点中的当前检测特征点,在所述多个特征点中确定与所述当前检测特征点距离最近的特征点,作为当前待匹配特征点;检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云;在检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,将所述当前检测特征点与所述当前待匹配特征点之间的连线作为所述扫掠引导线。
在其中一个实施例中,所述重建模块1120,具体用于在所述多个特征点中,检测与所述当前检测特征点存在扫掠引导线的特征点;在未检测到所述存在扫掠引导线的特征点的情况下,在所述多个特征点中将与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;在检测到所述存在扫掠引导线的特征点的情况下,将所述存在扫掠引导线的特征点作为已匹配特征点;在其余特征点中,确定与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;所述其余特征点为所述多个特征点中,除所述已匹配特征点以外的特征点。
在其中一个实施例中,在检测到所述存在扫掠引导线的特征点的情况下,所述重建模块1120,还用于在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述其余特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
在其中一个实施例中,在未检测到所述存在扫掠引导线的特征点的情况下,所述重建模块1120,还用于在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述多个特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
在其中一个实施例中,所述重建模块1120,具体用于检测位于所述当前检测特征点与所述当前待匹配特征点之间的区域的点云中,各点与对应的距离最近的点之间的距离;所述当前检测特征点与所述当前待匹配特征点之间的区域的点云包括所述原始点云模型中,位于垂直于目标连线的各点云横截面组成的空间范围中的点;所述目标连线为所述当前检测特征点与所述当前待匹配特征点之间的连线;在各点与对应的距离最近的点之间的距离均小于预设距离阈值的情况下,判定所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云。
在其中一个实施例中,所述重建模块1120,具体用于针对任一所述扫掠引导线,在所述原始点云模型中确定与所述任一扫掠引导线垂直的点云横截面;将面积最大的点云横截面作为所述任一扫掠引导线对应的扫掠截面。
在其中一个实施例中,所述重建模块1120,具体用于将各所述扫掠截面沿着对应的扫掠引导线的方向,从所述对应的扫掠引导线的一端连续扫掠至所述对应的扫掠引导线的另一端,得到扫掠后的原始点云模型;基于所述扫掠后的原始点云模型得到所述目标点云模型。
在其中一个实施例中,所述获取模块1110,具体用于获取所述目标部位所处的手术环境对应的目标环境点云数据;所述目标环境点云数据为根据所述手术环境对应的环境结构光图像确定得到的;所述环境结构光图像为图像采集设备对所述手术环境中处于所述图像采集设备对应的视野范围内的物体进行拍摄得到的;以所述目标环境点云数据中所述目标部位的中心点对应的空间位置,作为目标中心点,并根据所述目标中心点与所述目标部位的边缘在所述目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;所述目标长度大于所述最远距离;根据所述目标中心点和所述目标长度确定分割区域,并根据所述分割区域对所述目标环境点云数据进行分割,得到包括有所述医疗固定架对应的点云数据的所述原始点云模型。
上述一种医疗机器人的避障装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是医疗机器人,该计算机设备的内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储碰撞检测模型数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医疗机器人的避障方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种医疗机器人,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (14)
1.一种医疗机器人的避障方法,其特征在于,所述方法包括:
获取医疗固定架对应的原始点云模型;所述医疗固定架用于固定目标对象的目标部位;
识别出所述医疗固定架在所述原始点云模型中对应的边界轮廓特征,并根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型;所述目标点云模型的完整性高于所述原始点云模型的完整性;
根据所述目标点云模型确定所述医疗机器人的避障路径;所述避障路径用于供所述医疗机器人在执行所述目标部位对应的医疗任务时,避开所述医疗固定架。
2.根据权利要求1所述的方法,其特征在于,所述根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型,包括:
根据所述边界轮廓特征,在所述原始点云模型中确定扫掠引导线;
根据所述扫掠引导线,在所述原始点云模型中确定扫掠截面;
将所述扫掠截面沿着所述扫掠引导线的方向进行扫掠处理,得到所述目标点云模型。
3.根据权利要求2所述的方法,其特征在于,所述边界轮廓特征包括所述医疗固定架对应的多个特征点;所述根据所述边界轮廓特征,在所述原始点云模型中确定扫掠引导线,包括:
针对所述多个特征点中的当前检测特征点,在所述多个特征点中确定与所述当前检测特征点距离最近的特征点,作为当前待匹配特征点;
检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云;
在检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,将所述当前检测特征点与所述当前待匹配特征点之间的连线作为所述扫掠引导线。
4.根据权利要求3所述的方法,其特征在于,所述在所述多个特征点中确定与所述当前检测特征点距离最近的特征点,作为当前待匹配特征点,包括:
在所述多个特征点中,检测与所述当前检测特征点存在扫掠引导线的特征点;
在未检测到所述存在扫掠引导线的特征点的情况下,在所述多个特征点中将与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;
在检测到所述存在扫掠引导线的特征点的情况下,将所述存在扫掠引导线的特征点作为已匹配特征点;
在其余特征点中,确定与所述当前检测特征点距离最近的特征点,作为所述当前待匹配特征点;所述其余特征点为所述多个特征点中,除所述已匹配特征点以外的特征点。
5.根据权利要求4所述的方法,其特征在于,在检测到所述存在扫掠引导线的特征点的情况下,所述方法还包括:
在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述其余特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;
将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
6.根据权利要求4所述的方法,其特征在于,在未检测到所述存在扫掠引导线的特征点的情况下,所述方法还包括:
在未检测到所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云的情况下,在所述多个特征点中,确定除所述当前待匹配特征点以外与所述当前检测特征点距离最近的特征点,得到下一待匹配特征点;
将所述下一待匹配特征点作为所述当前待匹配特征点,返回所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云的步骤。
7.根据权利要求3所述的方法,其特征在于,所述检测所述当前检测特征点与所述当前待匹配特征点之间是否存在连续的点云,包括:
检测位于所述当前检测特征点与所述当前待匹配特征点之间的区域的点云中,各点与对应的距离最近的点之间的距离;所述当前检测特征点与所述当前待匹配特征点之间的区域的点云包括所述原始点云模型中,位于垂直于目标连线的各点云横截面组成的空间范围中的点;所述目标连线为所述当前检测特征点与所述当前待匹配特征点之间的连线;
在各点与对应的距离最近的点之间的距离均小于预设距离阈值的情况下,判定所述当前检测特征点与所述当前待匹配特征点之间存在连续的点云。
8.根据权利要求2所述的方法,其特征在于,所述根据所述扫掠引导线,在所述原始点云模型中确定扫掠截面,包括:
针对任一所述扫掠引导线,在所述原始点云模型中确定与所述任一扫掠引导线垂直的点云横截面;
在与所述任一扫掠引导线垂直的点云横截面中,将面积最大的点云横截面作为所述任一扫掠引导线对应的扫掠截面。
9.根据权利要求8所述的方法,其特征在于,所述将所述扫掠截面沿着所述扫掠引导线的方向进行扫掠处理,得到所述目标点云模型,包括:
将各所述扫掠截面沿着对应的扫掠引导线的方向,从所述对应的扫掠引导线的一端连续扫掠至所述对应的扫掠引导线的另一端,得到扫掠后的原始点云模型;
基于所述扫掠后的原始点云模型得到所述目标点云模型。
10.根据权利要求1所述的方法,其特征在于,所述医疗固定架设置于所述目标部位的外围;所述获取医疗固定架对应的原始点云模型,包括:
获取所述目标部位所处的手术环境对应的目标环境点云数据;所述目标环境点云数据为根据所述手术环境对应的环境结构光图像确定得到的;所述环境结构光图像为图像采集设备对所述手术环境中处于所述图像采集设备对应的视野范围内的物体进行拍摄得到的;
以所述目标环境点云数据中所述目标部位的中心点对应的空间位置,作为目标中心点,并根据所述目标中心点与所述目标部位的边缘在所述目标环境点云数据中对应的空间位置之间的最远距离确定目标长度;所述目标长度大于所述最远距离;
根据所述目标中心点和所述目标长度确定分割区域,并根据所述分割区域对所述目标环境点云数据进行分割,得到包括有所述医疗固定架对应的点云数据的所述原始点云模型。
11.一种医疗机器人的避障装置,其特征在于,所述装置包括:
获取模块,用于获取医疗固定架对应的原始点云模型;所述医疗固定架用于固定目标对象的目标部位;
重建模块,用于识别出所述医疗固定架在所述原始点云模型中对应的边界轮廓特征,并根据所述边界轮廓特征对所述原始点云模型进行扫掠重建,得到所述医疗固定架对应的目标点云模型;所述目标点云模型的完整性高于所述原始点云模型的完整性;
确定模块,用于根据所述目标点云模型确定所述医疗机器人的避障路径;所述避障路径用于供所述医疗机器人在执行所述目标部位对应的医疗任务时,避开所述医疗固定架。
12.一种医疗机器人的避障系统,其特征在于,所述系统包括:医疗固定架、结构光相机和医疗机器人;
所述医疗固定架,用于固定目标对象的目标部位;
所述结构光相机,用于采集目标环境点云数据;所述目标环境点云数据用于构建所述医疗固定架对应的原始点云模型;
所述医疗机器人,用于执行时实现权利要求1至10中任一项所述的方法的步骤。
13.一种医疗机器人,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211371293.5A CN117984310A (zh) | 2022-11-03 | 2022-11-03 | 医疗机器人的避障方法、装置、系统和医疗机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211371293.5A CN117984310A (zh) | 2022-11-03 | 2022-11-03 | 医疗机器人的避障方法、装置、系统和医疗机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117984310A true CN117984310A (zh) | 2024-05-07 |
Family
ID=90896303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211371293.5A Pending CN117984310A (zh) | 2022-11-03 | 2022-11-03 | 医疗机器人的避障方法、装置、系统和医疗机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117984310A (zh) |
-
2022
- 2022-11-03 CN CN202211371293.5A patent/CN117984310A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10403009B2 (en) | System and method for generating partial surface from volumetric data for registration to surface topology image data | |
KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
CN101467887B (zh) | 一种手术导航系统中x射线透视图像标定方法 | |
US7561733B2 (en) | Patient registration with video image assistance | |
US7787683B2 (en) | Tree structure based 2D to 3D registration | |
JP5996092B2 (ja) | 患者のモニタリングおよび方法 | |
JP5061350B2 (ja) | モーションキャプチャシステム、及びモーションキャプチャシステムにおける特徴点の三次元再構成法 | |
CN109410282B (zh) | 一种输液杆的检测跟踪方法和装置 | |
CN112668452A (zh) | 一种基于双目视觉的遮挡目标识别与定位方法 | |
US20240285356A1 (en) | Methods, systems, device, and storage mediums for obstacle avoidance of surgical robots | |
Pollok et al. | A visual SLAM-based approach for calibration of distributed camera networks | |
CN110231035B (zh) | 攀爬移动机器人路径引导方法 | |
CN117984310A (zh) | 医疗机器人的避障方法、装置、系统和医疗机器人 | |
CN113963057B (zh) | 成像几何关系标定方法、装置、电子设备以及存储介质 | |
CN114782537A (zh) | 基于3d视觉的人体颈动脉定位方法及装置 | |
JP2002008014A (ja) | 3次元形状抽出方法及び装置並びに記録媒体 | |
JP3275252B2 (ja) | 3次元情報入力方法及びそれを使った3次元情報入力装置 | |
CN118522055B (zh) | 一种真实皱纹检测的实现方法、系统、设备及存储介质 | |
CN115752489B (zh) | 可移动设备的定位方法、装置和电子设备 | |
CN117481799B (zh) | 脑部电极植入手术的路径规划方法、装置及设备 | |
WO2023002978A1 (ja) | 画像生成処理装置、3次元形状の復元システム、画像生成処理方法およびプログラム | |
Zielinski et al. | 3D Dense Mapping with the Graph of Keyframe-Based and View-Dependent Local Maps. | |
Krzysztof et al. | 3D Dense Mapping with the Graph of Keyframe-Based and View-Dependent Local Maps | |
Beveridge et al. | Toward target verification through 3-d model-based sensor fusion | |
KR20230138011A (ko) | 2차원 이미지들의 주석 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |