CN115471559A - 一种头部动态定位跟踪方法及系统 - Google Patents
一种头部动态定位跟踪方法及系统 Download PDFInfo
- Publication number
- CN115471559A CN115471559A CN202211344074.8A CN202211344074A CN115471559A CN 115471559 A CN115471559 A CN 115471559A CN 202211344074 A CN202211344074 A CN 202211344074A CN 115471559 A CN115471559 A CN 115471559A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- tracking
- patient
- positioning
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明公开了一种头部动态定位跟踪方法及系统，该方法通过第一至第三深度相机分别获取患者头部定位标记区域、跟踪标记区域以及人脸区域的RGB图像和深度图像，并基于上述图像分别建立定位坐标系、第一跟踪坐标系和第二跟踪坐标系，将定位坐标系和第一深度相机坐标系与机器人坐标系之间的变换关系相乘获得机器人目标点位，并控制机器人移动到该目标点位，通过实时更新的第一跟踪坐标系和第二跟踪坐标系以及定位坐标系分别与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对目标点位进行修正，实现实时跟踪，该方法治疗效率高且成本低。
Description
技术领域
本发明涉及视觉定位技术领域，具体涉及一种头部动态定位跟踪方法及系统。
背景技术
随着环境变化、人口老龄化以及社会生活节奏的加快和日益加剧的竞争，脑发育障碍、精神疾病与神经退行性疾病越来越严重地影响着我国各年龄层次人群的健康。脑部治疗和康复依然是国内外研究的热点，并随着智能科技地赋能，某些传统的治疗康复方案逐渐被智能机器人取代。
采用机器人辅助治疗的首要问题是目标点定位，现有的辅助治疗机器人多使用脑部影像重建及红外光学定位的方法，该方法存在治疗前准备时间长的缺陷，从而导致治疗效率低，治疗成本高；其次，在较长时间的治疗过程中还会出现患者头部移动，致使被治疗区域发生偏移，导致治疗效果差；最后，患者多次治疗同一位置时存在与首次治疗相同的定位操作的重复工作。
发明内容
本发明的目的在于提供一种头部动态定位跟踪方法及系统，用以解决现有机器人治疗方法存在的治疗效率低、治疗成本高的问题。
为实现上述目的，本发明提供了一种头部动态定位跟踪方法，应用于机器人辅助治疗，包括：
通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三维人脸特征信息；
如果在治疗信息库中匹配到所述患者三维人脸特征信息，则确认患者为非首次治疗，并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；
如果在所述治疗信息库中未匹配到所述患者三维人脸特征信息，则确认所述患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至所述治疗信息库中；
依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系；
根据所述第二深度相机、所述第三深度相机实时获取的患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、所述第二跟踪坐标系进行更新，并基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的所述机器人目标治疗点位信息。
可选地，所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系的获取步骤包括：
所述第一深度相机、所述第二深度相机以及所述第三深度相机与机器人之间分别通过眼在手外的基于最小二乘法的手眼标定算法获得所述第一深度相机坐标系与所述机器人坐标系之间的变换关系T11，所述第二深度相机坐标系与所述机器人坐标系之间的变换关系T12以及所述第三深度相机坐标系与所述机器人坐标系之间的变换关系T13；
通过对所述第一深度相机坐标系与所述机器人坐标系之间的变换关系T11，所述第二深度相机坐标系与所述机器人坐标系之间的变换关系T12以及所述第三深度相机坐标系与所述机器人坐标系之间的变换关系T13进行变换计算得到所述第一深度相机坐标系与所述第二深度相机坐标系之间的变换关系T21，所述第二深度相机坐标系与所述第三深度相机坐标系之间的变换关系T22以及所述第一深度相机坐标系与所述第三深度相机坐标系之间的变换关系T23；
通过对所述第一深度相机坐标系与所述第二深度相机坐标系之间的变换关系T21，所述第二深度相机坐标系与所述第三深度相机坐标系之间的变换关系T22以及所述第一深度相机坐标系与所述第三深度相机坐标系之间的变换关系T23进行变换计算得到所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31以及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32。
可选地，对当前定位坐标系的修正包括位置修正，所述机器人目标治疗点位信息包括治疗点位置信息；
基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对所述当前定位坐标系进行位置修正的具体步骤包括：
根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31得到第一组定位标记运动轨迹上的点，同时根据更新后的所述第二跟踪坐标系及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32得到第二组定位标记运动轨迹上的点；
使用基于最小二乘法原理的多项式回归模型对所述第一组定位标记运动轨迹上的点和第二组定位标记运动轨迹上的点进行拟合得到一条定位标记运动轨迹，将拟合的一条定位标记运动轨迹的轨迹终点作为修正后的机器人目标治疗点位置信息。
可选地，对当前定位坐标系的修正包括姿态修正，所述机器人目标治疗点位信息包括治疗点姿态信息；
基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对所述当前定位坐标系进行姿态修正的具体步骤包括：
根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31得到的第一目标点位姿态，并根据更新后的所述第二跟踪坐标系及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32得到的第二目标点位姿态；
将所述第一目标点位姿态和所述第二目标点位姿态的算术平均值作为修正后的机器人目标治疗点姿态信息。
可选地，根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系的具体步骤包括：
利用检测标记模型从患者头部定位标记区域的RGB图像中获取定位标记的4个有序角点的像素坐标，并由4个有序角点的像素坐标确定定位标记中心点的像素坐标，其中，所述定位标记为ArUco码；
基于定位标记的4个有序角点的像素坐标、定位标记中心点的像素坐标以及患者头部定位标记区域的深度图像得到定位标记的4个有序角点的世界坐标以及定位标记中心点的世界坐标；
依据坐标系变换矩阵公式、定位标记的4个有序角点的世界坐标以及定位中心点的世界坐标建立首次治疗的定位坐标系。
可选地，基于患者头部跟踪标记区域的RGB图像和深度图像建立第一跟踪坐标系的具体步骤包括：
利用所述检测标记模型从患者头部跟踪标记区域的RGB图像中获取至少3个跟踪标记的中心点的像素坐标，其中，所述跟踪标记为ArUco码；
基于至少3个跟踪标记的中心点的像素坐标以及患者头部跟踪标记区域的深度图像得到至少3个跟踪标记的中心点的世界坐标；
依据坐标系变换矩阵公式和至少3个跟踪标记的中心点的世界坐标建立第一跟踪坐标系。
可选地，基于患者人脸区域的RGB图像和深度图像建立第二跟踪坐标系的具体步骤包括：
利用深度学习的人脸识别算法从患者人脸区域的RGB图像中提取得到患者人脸特征点的像素坐标；
依据提取的患者人脸特征点的像素坐标并结合患者人脸区域的深度图像得到患者头部位姿估计数据；
基于所述患者头部位姿估计数据建立所述第二跟踪坐标系。
另一方面，本发明还提供了一种头部动态定位跟踪系统，包括：
图像获取模块，被配置为，通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
人脸信息获取模块，被配置为，基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三维人脸特征信息；
第一定位信息获取模块，被配置为，如果在治疗信息库中匹配到所述患者三维人脸特征信息，则确认患者为非首次治疗，并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；
第二定位信息获取模块，被配置为，如果在所述治疗信息库中未匹配到所述患者三维人脸特征信息，则确认所述患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至所述治疗信息库中；
目标治疗点位获取模块，被配置为，依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
相对位置关系获取模块，被配置为，分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系；
修正模块，被配置为，根据所述第二深度相机、所述第三深度相机实时获取的患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、所述第二跟踪坐标系进行更新，并基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的所述机器人目标治疗点位信息。
再一方面，本发明还提供了一种电子设备，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述所述的一种头部动态定位跟踪方法。
又一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的一种头部动态定位跟踪方法。
本发明方法具有如下优点：本发明的头部动态定位跟踪方法只需在治疗前由医生确定定位标记的具体位置（此过程最多2分钟），大大简化了治疗前的准备工作以及缩短了治疗前的准备时间，提高了治疗效率；目前临床中医生手动寻找靶点，本发明与目前临床中医生对仪器的使用方式极其相似，故其操作简单，可以使医生快速熟悉其操作；采用的深度相机的成本远远低于红外光学定位仪，且其精度满足治疗的需要，故会大幅度降低患者的治疗成本；利用基于深度学习的人脸识别和深度相机的深度信息，记录个体的人脸特征点的三维特征，做到了个体的唯一性，避免了个体再次治疗时的重复准备工作；可动态跟踪患者头部移动，避免了由于患者位置移动而造成的治疗区域的偏离，提升了治疗效果。
附图说明
图1为本发明实施例的一种头部动态定位跟踪方法的流程示意图；
图2为本发明实施例中定位标记放置于患者头部定位侧示意图；
图3为本发明实施例中跟踪标记放置于患者头部跟踪侧示意图；
图4为本发明实施例中建立的定位坐标系示意图；
图5为本发明实施例中建立的跟踪坐标系示意图；
图6为本发明实施例的一种头部动态定位跟踪系统的结构示意图；
图7为本发明实施例的电子设备示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例提供了一种头部动态定位跟踪方法，应用于机器人头部治疗，包括：步骤S1：通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
具体的，为使深度相机视野全覆盖头顶区域，故将第一深度相机和第二深度相机分别设置于患者头部上方的左后侧和右后侧，第三深度相机设置于患者头部的正前侧的斜上方，例如：均距头顶距离为500mm左右，相机视角为斜向下45°。医生根据被治疗区域粘贴定位标记80，如图2所示；跟踪标记90被粘贴于头的另一侧的中部区域，如图3所示。
步骤S2：基于深度学习的人脸识别算法对患者人脸区域的RGB图
像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将患者二维人脸特征信息转换为患者三维人脸特征信息；
具体的，本实施例中，第三深度相机采集患者面部的RGB图像，并利用FaceNet网络模型提取二维（2D）人脸特征，结合深度图像将2D人脸特征转换为身份辨识准确度更高的三维（3D）人脸特征信息。
步骤S3：如果在治疗信息库中匹配到患者三维人脸特征信息，则确认患者为非首次治疗，并根据患者三维人脸特征信息从治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息。
具体的，本实施例中之前治疗过的患者的人脸3D特征信息、身份信息以及历史治疗的定位坐标系的信息等均保存在治疗信息库中，以便于后期再次治疗同一目标点位时身份自动识别、治疗目标点位自动定位，减少了治疗重复复工作，提高了治疗效率。
步骤S4：如果在治疗信息库中未匹配到患者三维人脸特征信息，则确认患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至治疗信息库中；
具体的，在一些实施例中，本发明中根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系的具体步骤包括：
利用检测标记模型从患者头部定位标记区域的RGB图像中获取定位标记的4个有序角点的像素坐标，并由4个有序角点的像素坐标确定定位标记中心点的像素坐标，其中，所述定位标记为ArUco码；
基于定位标记的4个有序角点的像素坐标、定位标记中心点的像素坐标以及患者头部定位标记区域的深度图像得到定位标记的4个有序角点的世界坐标以及定位标记中心点的世界坐标；
依据坐标系变换矩阵公式、定位标记的4个有序角点的世界坐标以及定位中心点的世界坐标建立首次治疗的定位坐标系。
需要说明的是，目标点处的定位标记为ArUco码，该码采用汉莫明编码规则，具有
角点序号在标记上的位置固定、标识唯一性、自动进行错误检测和错误纠正等优点。此码为
开源视觉库OpenCV中的ArUco模块，此模块中提供了生成标记的函数
cv2.aruco.drawMarker()用以绘制标记，以及检测标记的函数cv2.aruco.detectMarkers
()（即检测标记模型）获得标记的4个按照顺时针排序的A、B、C、D角点的像素坐标
以及标记对应的编号。用以定位的定位标记和用以跟踪
的跟踪标记也正是根据标记的编号进行区分开来。
参见图4所示，由深度图和像素坐标获得相机坐标系下对应点的世界坐标的方法
为：在深度相机出厂时，会进行深度摄像头内参的标定，并将参数固定在相机的存储器中。
例如，深度摄像头的内参为
，由深度图像获得该像素点的深度值为
，则计算
对应像素点的空间坐标方程为：
通过第一深度相机采集到的RGB图像检测定位标记，获得定位标记的4个按照顺时
针排序的A、B、C、D角点的像素坐标为
，可由4个
有序角点确定定位标记中心的像素坐标
：
并根据第一深度相机采集到的深度图像以及像素坐标系到世界坐标系的转换关
系获取定位标记4个有序角点以及定位标记中心点的世界坐标
，建立定位坐标系
的方法
为：
（1）角点B的世界坐标
减去角点A的世界坐标
得到定位坐标
系中X向量；
（2）角点D的世界坐标
减去角点A的世界坐标
得到定位坐标
系中Y向量；
（3）对X、Y向量单位化处理，得到单位向量；
（4）利用X单位向量与Y单位向量叉乘得到Z向量；
（5）则X向量 、Y向量 、Z向量在相机坐标系
下的变换矩阵
旋转量的数
学表达式为：
（6）变换矩阵
平移量为标记中心的世界坐标
；
（7）因此，
。
本实施例中根据第一深度相机采集到的RGB图像检测定位标记，获得定位标记4个有序角点的像素坐标，可由4个有序角点确定中心的像素坐标，并根据第一深度相机采集到的深度图像获取定位标记4个有序角点以及中心点的空间坐标，由4个有序角点的空间坐标建立定位坐标系。
步骤S5：依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
具体的，可将当前定位坐标系和第一深度相机坐标系与机器人坐标系之间的变换关系（T11）相乘获得机器人目标点位，实现定位功能，并控制机器人移动到该目标点位，机器人运动结束后开始治疗。该定位方法操作简单，使用便捷，大大简化了治疗前的准备工作以及缩短了治疗前的准备时间，提高了治疗效率。
步骤S6：分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系；
具体的，在一些实施例中，参见图5所示，本发明中基于患者头部跟踪标记区域的RGB图像和深度图像建立第一跟踪坐标系的具体步骤包括：利用检测标记模型从患者头部跟踪标记区域的RGB图像中获取至少3个跟踪标记的中心点的像素坐标；
基于至少3个跟踪标记的中心点的像素坐标以及患者头部跟踪标记区域的深度图像得到至少3个跟踪标记的中心点的世界坐标；
依据坐标系变换矩阵公式和至少3个跟踪标记的中心点的世界坐标建立第一跟踪坐标系。
例如：由3个不同编号的跟踪标记的中心点的世界坐标得到第一跟踪坐标系
的方法为：
（1）标记编号2的中心的世界坐标
减去标记编号1的中心的世界坐标
得到跟踪坐标系中X向量；
（2）标记编号3的中心的世界坐标
减去标记编号1的中心的世界坐标
得到跟踪坐标系中Y向量；
（3）对X、Y向量单位化处理，得到单位向量；
（4）利用X单位向量与Y单位向量叉乘得到Z向量；
（5）则X向量 、Y向量 、Z向量在相机坐标系
下的变换矩阵
旋转量
的数学表达式为：
（6）变换矩阵
平移量为标记编号1的中心的世界坐标
；
（7）因此，得到
。
本实施例中根据第二深度相机采集到的RGB图像检测至少3个跟踪标记，获得至少3个标记的中心点的像素坐标，并根据第二深度相机采集到的深度图像获取至少3个跟踪标记的中心的世界坐标，由此建立第一跟踪坐标系。
具体的，在一些实施例中，本发明中基于患者人脸区域的RGB图像和深度图像建立第二跟踪坐标系的具体步骤包括：利用深度学习的人脸识别算法从患者人脸区域的RGB图像中提取得到患者人脸特征点的像素坐标；
依据提取的患者人脸特征点的像素坐标并结合患者人脸区域的深度图像得到患者头部位姿估计数据；
基于患者头部位姿估计数据建立所述第二跟踪坐标系
的建立方法为：
（1）从头部位置信息中提取人脸关键点中第28号关键点（即鼻根处）的世界坐标
；
（2）头部姿态信息为3个欧拉角α、β、γ，将欧拉角转换为3X3矩阵
（3）利用前面获得的世界坐标和矩阵得到第二跟踪坐标系：
本实施例中通过第三深度相机采集患者面部的RGB图像，并利用深度学习提取人脸特征点的像素坐标，结合深度相机采集的深度图像，得到患者头部位姿估计数据，以此作为第二跟踪坐标系。
具体的，在一些实施例中，本发明中当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系的获取步骤包括：第一深度相机、第二深度相机以及第三深度相机与机器人之间分别通过眼在手外的基于最小二乘法的手眼标定算法获得第一深度相机坐标系与机器人坐标系之间的变换关系T11，第二深度相机坐标系与机器人坐标系之间的变换关系T12以及第三深度相机坐标系与机器人坐标系之间的变换关系T13；
通过对第一深度相机坐标系与机器人坐标系之间的变换关系T11，第二深度相机坐标系与机器人坐标系之间的变换关系T12以及第三深度相机坐标系与机器人坐标系之间的变换关系T13进行变换计算得到第一深度相机坐标系与第二深度相机坐标系之间的变换关系T21，第二深度相机坐标系与第三深度相机坐标系之间的变换关系T22以及第一深度相机坐标系与第三深度相机坐标系之间的变换关系T23；
通过对第一深度相机坐标系与第二深度相机坐标系之间的变换关系T21，第二深度相机坐标系与第三深度相机坐标系之间的变换关系T22以及第一深度相机坐标系与第三深度相机坐标系之间的变换关系T23进行变换计算得到当前定位坐标系与第一跟踪坐标系之间的相对位置关系T31以及当前定位坐标系与第二跟踪坐标系之间的相对位置关系T32。
具体的，在开始采集数据前，需要对深度相机和机器人之间的相对位置关系进行手眼标定，标定工具使用OpenCV库中的DiamondArUco模块。首先，固定好相机和机器人，将标定工具粘贴在机器人可达范围内且能出现在相机视野中的水平面上；其次，控制机器人运动至标定工具板中的所有角点处，并记录其在机器人坐标系下的空间坐标值；再次，使用OpenCV中的DiamondArUco检测函数cv2.detectCharucoDiamond()获得在每台相机中的标定工具板所有角点的像素坐标，并根据深度相机的2D转换为3D的算法，将所有像素坐标转换为各相机坐标系下的空间坐标；最后，利用基于最小二乘法的手眼标定算法获得三台深度相机分别与机器人之间的变换关系T11、T12、T13。根据三台深度相机分别与机器人之间的变换关系T11、T12、T13获得三台深度相机相互之间的变换关系T21、T22、T23。最后，通过变换关系T21、T22、T23获得定位坐标系分别与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系T31、T32。
步骤S7：根据第二深度相机、第三深度相机实时获取的患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对第一跟踪坐标系、第二跟踪坐标系进行更新，并基于更新后的第一跟踪坐标系、第二跟踪坐标系结合当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的机器人目标治疗点位信息。
具体的，在一些实施例中，本发明中对当前定位坐标系的修正包括位置修正，机器人目标治疗点位信息包括治疗点位置信息；
基于更新后的第一跟踪坐标系、第二跟踪坐标系结合当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行位置修正的具体步骤包括：
根据更新后的第一跟踪坐标系及当前定位坐标系与第一跟踪坐标系之间的相对位置关系T31得到第一组定位标记运动轨迹上的点，同时根据更新后的第二跟踪坐标系及当前定位坐标系与第二跟踪坐标系之间的相对位置关系T32得到第二组定位标记运动轨迹上的点；
使用基于最小二乘法原理的多项式回归模型对第一组定位标记运动轨迹上的点和第二组定位标记运动轨迹上的点进行拟合得到一条定位标记运动轨迹，将拟合的一条定位标记运动轨迹的轨迹终点作为修正后的机器人目标治疗点位置信息。
具体的，在一些实施例中，本发明中对当前定位坐标系的修正包括姿态修正，机器人目标治疗点位信息包括治疗点姿态信息；
基于更新后的第一跟踪坐标系、第二跟踪坐标系结合当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行姿态修正的具体步骤包括：
根据更新后的第一跟踪坐标系及当前定位坐标系与第一跟踪坐标系之间的相对位置关系T31得到的第一目标点位姿态，并根据更新后的第二跟踪坐标系及当前定位坐标系与第二跟踪坐标系之间的相对位置关系T32得到的第二目标点位姿态；
将第一目标点位姿态和第二目标点位姿态的算术平均值作为修正后的机器人目标治疗点姿态信息。
本实施例中对利用第一跟踪坐标系和第二跟踪坐标系得到的定位坐标系的修正方法包括位置修正和姿态修正。位置修正方法为：在患者头部移动过程中，由第一跟踪坐标系及变换关系T31得到一组定位标记运动轨迹上的点，同时由第二跟踪坐标系及变换关系T32也得到一组定位标记运动轨迹上的点，使用基于最小二乘法原理的多项式回归模型在两组轨迹点中拟合出一条接近于真实轨迹的定位标记运动轨迹，轨迹终点即为接近定位标记实际位置的目标位置；姿态修正方法为：将由第一跟踪坐标系及变换关系T31得到的目标点位姿态和由第二跟踪坐标系及变换关系T32得到的目标点位姿态取两者算术平均值。
本实施例通过第二深度相机采集到的RGB图像和深度图像实时更新第一跟踪坐标系，结合相对位置关系T31获得第一定位坐标系；通过第三深度相机采集患者面部的RGB图像，并利用深度学习提取人脸特征点的像素坐标，结合深度相机采集的深度图像进行患者头部位姿估计，实时更新第二跟踪坐标系，结合相对位置关系T32获得第二定位坐标系；通过获得的两个定位坐标系对当前定位坐标系进行修正，将最终结果发送给机器人，机器人运动到当前目标点位，从而实现动态跟踪功能，提升了治疗效果。
需要说明的是，本实施例中的机器人可为七轴协作型机械臂。相比于一般的协作型机械臂，七轴机械臂可以避免角速度运动过快，让角速度分配得比较均匀；利用其冗余自由度不仅可以通过运动轨迹规划达到良好的运动学特性，并且我们可以利用其结构实现最佳的动力学性能；可以躲避某些特定的目标，便于末端执行器到达特定的位置，可以更加灵活的适应某些特殊工作环境机器人在发生故障时；如果有一关节失效，传统协作型机器人便无法继续完成工作，而七轴机器人可以通过重新调整故障关节速度（运动学容错）和故障关节力矩（动力学容错）的再分配实现继续正常工作。
因而，本发明实施例的头部动态定位跟踪方法实现了定位和跟踪功能，其定位过程包括：根据第三深度相机采集到的RGB图像使用基于深度学习的人脸识别获得2D人脸特征信息，结合深度图像将2D人脸特征信息转换为3D人脸特征信息，并根据3D人脸特征信息检索患者信息库，其中包含患者身份信息和治疗点位定位坐标系信息；若患者首次治疗，则根据第一深度相机采集到的RGB图像检测定位标记，并由第一深度相机采集到的深度图像获取定位标记4个有序角点的世界坐标，由4个有序角点的世界坐标建立定位坐标系，并将定位坐标系信息保存在患者信息数据库中；第一深度相机、第二深度相机与第三深度相机和机器人之间分别通过眼在手外的基于最小二乘法的手眼标定算法获得相机坐标系与机器人坐标系之间的变换关系T11、T12、T13；将定位坐标系和第一深度相机与机器人之间的变换关系T11相乘获得机器人目标点位，实现定位功能；
跟踪过程包括：根据第二深度相机采集到的RGB图像检测3个不同编号的跟踪标记，并由第二深度相机采集到的深度图像获取3个不同编号的跟踪标记的中心的世界坐标，由此建立第一跟踪坐标系；根据第三深度相机采集到的RGB图像使用基于深度学习的人脸识别和头部姿态估计方法获得第二跟踪坐标系；通过T11、T12、T13获得两两相机之间的变换关系T21、T22、T23；通过变换关系T21、T22、T23获得定位坐标系分别与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系T31、T32；通过第二深度相机采集到的RGB图像和深度图像实时更新第一跟踪坐标系，结合相对位置关系T31获得当前的定位坐标系；通过第三深度相机采集到的RGB图像和深度图像实时更新第二跟踪坐标系，结合相对位置关系T32获得当前的定位坐标系；对获得的两个定位坐标系进行修正，将最终结果发送给机器人，机器人运动到当前目标点，从而实现动态跟踪功能。
与现有技术相比，具有以下优点：本发明实施例的头部动态定位跟踪方法只需在治疗前由医生确定定位标记的具体位置（此过程最多需要2分钟），大大简化了治疗前的准备工作以及缩短了治疗前的准备时间，提高了治疗效率；目前临床中医生手动寻找靶点，本发明与目前临床中医生对仪器的使用方式极其相似，故其操作简单，可以使医生快速熟悉其操作；采用的深度相机的成本远远低于红外光学定位仪，且其精度满足治疗的需要，故会大幅度降低患者的治疗成本；利用基于深度学习的人脸识别和深度相机的深度信息，记录个体的人脸特征点的三维特征，做到了个体的唯一性，避免了个体再次治疗时的重复准备工作；可动态跟踪患者头部移动，避免了由于患者位置移动而造成的治疗区域的偏离，提升了治疗效果。
另一方面，参见图6所示，本发明实施例还提供了一种头部动态定位跟踪系统1，包括：图像获取模块10，被配置为，通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
人脸信息获取模块20，被配置为，基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将患者二维人脸特征信息转换为患者三维人脸特征信息；
第一定位信息获取模块30，被配置为，如果在治疗信息库中匹配到患者三维人脸特征信息，则确认患者为非首次治疗，并根据患者三维人脸特征信息从治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；
第二定位信息获取模块40，被配置为，如果在治疗信息库中未匹配到患者三维人脸特征信息，则确认患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至治疗信息库中；
目标治疗点位获取模块50，被配置为，依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
相对位置关系获取模块60，被配置为，分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系；
修正模块70，被配置为，根据第二深度相机、第三深度相机实时获取的患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对第一跟踪坐标系、第二跟踪坐标系进行更新，并基于更新后的第一跟踪坐标系、第二跟踪坐标系结合当前定位坐标系与第一跟踪坐标系、第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的机器人目标治疗点位信息。
上述中头部动态定位跟踪系统中各模块的具体细节已经在对应的头部动态定位跟踪方法中进行了详细的描述，因此此处不再赘述。
另一方面，本发明实施例还提供了一种电子设备，包括：处理器和存储器，该存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述实施例所述的一种头部动态定位跟踪方法。
图7为根据本发明实施例的一种电子设备的结构图，如图7所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
又一方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例所述的一种头部动态定位跟踪方法。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，ROM)、随机存取器(randomaccessmemory，RAM)、磁盘或光盘等。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种头部动态定位跟踪方法，应用于机器人辅助治疗，其特征在于，包括：
通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三维人脸特征信息；
如果在治疗信息库中匹配到所述患者三维人脸特征信息，则确认患者为非首次治疗，并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；
如果在所述治疗信息库中未匹配到所述患者三维人脸特征信息，则确认所述患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至所述治疗信息库中；
依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系；
根据所述第二深度相机、所述第三深度相机实时获取的患者头部定位标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、所述第二跟踪坐标系进行更新，并基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的所述机器人目标治疗点位信息。
2.根据权利要求1所述的头部动态定位跟踪方法，其特征在于，所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系的获取步骤包括：
所述第一深度相机、所述第二深度相机以及所述第三深度相机与机器人之间分别通过眼在手外的基于最小二乘法的手眼标定算法获得所述第一深度相机坐标系与所述机器人坐标系之间的变换关系T11，所述第二深度相机坐标系与所述机器人坐标系之间的变换关系T12以及所述第三深度相机坐标系与所述机器人坐标系之间的变换关系T13；
通过对所述第一深度相机坐标系与所述机器人坐标系之间的变换关系T11，所述第二深度相机坐标系与所述机器人坐标系之间的变换关系T12以及所述第三深度相机坐标系与所述机器人坐标系之间的变换关系T13进行变换计算得到所述第一深度相机坐标系与所述第二深度相机坐标系之间的变换关系T21，所述第二深度相机坐标系与所述第三深度相机坐标系之间的变换关系T22以及所述第一深度相机坐标系与所述第三深度相机坐标系之间的变换关系T23；
通过对所述第一深度相机坐标系与所述第二深度相机坐标系之间的变换关系T21，所述第二深度相机坐标系与所述第三深度相机坐标系之间的变换关系T22以及所述第一深度相机坐标系与所述第三深度相机坐标系之间的变换关系T23进行变换计算得到所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31以及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32。
3.根据权利要求2所述的头部动态定位跟踪方法，其特征在于，对当前定位坐标系的修正包括位置修正，所述机器人目标治疗点位信息包括治疗点位置信息；
基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对所述当前定位坐标系进行位置修正的具体步骤包括：
根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31得到第一组定位标记运动轨迹上的点，同时根据更新后的所述第二跟踪坐标系及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32得到第二组定位标记运动轨迹上的点；
使用基于最小二乘法原理的多项式回归模型对所述第一组定位标记运动轨迹上的点和第二组定位标记运动轨迹上的点进行拟合得到一条定位标记运动轨迹，将拟合的一条定位标记运动轨迹的轨迹终点作为修正后的机器人目标治疗点位置信息。
4.根据权利要求3所述的头部动态定位跟踪方法，其特征在于，对当前定位坐标系的修正包括姿态修正，所述机器人目标治疗点位信息包括治疗点姿态信息；
基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对所述当前定位坐标系进行姿态修正的具体步骤包括：
根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之间的相对位置关系T31得到的第一目标点位姿态，并根据更新后的所述第二跟踪坐标系及所述当前定位坐标系与所述第二跟踪坐标系之间的相对位置关系T32得到的第二目标点位姿态；
将所述第一目标点位姿态和所述第二目标点位姿态的算术平均值作为修正后的机器人目标治疗点姿态信息。
5.根据权利要求4所述的头部动态定位跟踪方法，其特征在于，根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系的具体步骤包括：
利用检测标记模型从患者头部定位标记区域的RGB图像中获取定位标记的4个有序角点的像素坐标，并由4个有序角点的像素坐标确定定位标记中心点的像素坐标，其中，所述定位标记为ArUco码；
基于定位标记的4个有序角点的像素坐标、定位标记中心点的像素坐标以及患者头部定位标记区域的深度图像得到定位标记的4个有序角点的世界坐标以及定位标记中心点的世界坐标；
依据坐标系变换矩阵公式、定位标记的4个有序角点的世界坐标以及定位中心点的世界坐标建立首次治疗的定位坐标系。
6.根据权利要求5所述的头部动态定位跟踪方法，其特征在于，基于患者头部跟踪标记区域的RGB图像和深度图像建立第一跟踪坐标系的具体步骤包括：
利用所述检测标记模型从患者头部跟踪标记区域的RGB图像中获取至少3个跟踪标记的中心点的像素坐标，其中，所述跟踪标记为ArUco码；
基于至少3个跟踪标记的中心点的像素坐标以及患者头部跟踪标记区域的深度图像得到至少3个跟踪标记的中心点的世界坐标；
依据坐标系变换矩阵公式和至少3个跟踪标记的中心点的世界坐标建立第一跟踪坐标系。
7.根据权利要求6所述的头部动态定位跟踪方法，其特征在于，基于患者人脸区域的RGB图像和深度图像建立第二跟踪坐标系的具体步骤包括：
利用深度学习的人脸识别算法从患者人脸区域的RGB图像中提取得到患者人脸特征点的像素坐标；
依据提取的患者人脸特征点的像素坐标并结合患者人脸区域的深度图像得到患者头部位姿估计数据；
基于所述患者头部位姿估计数据建立所述第二跟踪坐标系。
8.一种头部动态定位跟踪系统，其特征在于，包括：
图像获取模块，被配置为，通过第一深度相机、第二深度相机和第三深度相机分别获取患者头部定位标记区域的RGB图像和深度图像、患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的RGB图像和深度图像；
人脸信息获取模块，被配置为，基于深度学习的人脸识别算法对患者人脸区域的RGB图像进行处理得到患者二维人脸特征信息，并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三维人脸特征信息；
第一定位信息获取模块，被配置为，如果在治疗信息库中匹配到所述患者三维人脸特征信息，则确认患者为非首次治疗，并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的定位坐标系的信息；
第二定位信息获取模块，被配置为，如果在所述治疗信息库中未匹配到所述患者三维人脸特征信息，则确认所述患者为首次治疗，并根据患者头部定位标记区域的RGB图像和深度图像建立首次治疗的定位坐标系，并将首次治疗的定位坐标系的信息保存至所述治疗信息库中；
目标治疗点位获取模块，被配置为，依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计算得到机器人目标治疗点位信息，其中，当前定位坐标系的信息为历史治疗的定位坐标系的信息或者首次治疗的定位坐标系的信息；
相对位置关系获取模块，被配置为，分别基于患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像建立第一跟踪坐标系、第二跟踪坐标系，并获取当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系；
修正模块，被配置为，根据所述第二深度相机、所述第三深度相机实时获取的患者头部跟踪标记区域的RGB图像和深度图像、患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、所述第二跟踪坐标系进行更新，并基于更新后的所述第一跟踪坐标系、所述第二跟踪坐标系结合所述当前定位坐标系与所述第一跟踪坐标系、所述第二跟踪坐标系之间的相对位置关系对当前定位坐标系进行修正，进而得到修正后的所述机器人目标治疗点位信息。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1-7任一项所述的一种头部动态定位跟踪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如1-7任一项所述的一种头部动态定位跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344074.8A CN115471559B (zh) | 2022-10-31 | 2022-10-31 | 一种头部动态定位跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344074.8A CN115471559B (zh) | 2022-10-31 | 2022-10-31 | 一种头部动态定位跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115471559A true CN115471559A (zh) | 2022-12-13 |
| CN115471559B CN115471559B (zh) | 2023-03-17 |
Family
ID=84337266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211344074.8A Active CN115471559B (zh) | 2022-10-31 | 2022-10-31 | 一种头部动态定位跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471559B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180071032A1 (en) * | 2015-03-26 | 2018-03-15 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| CN109069208A (zh) * | 2016-03-14 | 2018-12-21 | 穆罕默德·R·马赫福兹 | 用于无线超声跟踪和通信的超宽带定位 |
| CN111839727A (zh) * | 2020-07-10 | 2020-10-30 | 哈尔滨理工大学 | 基于增强现实的前列腺粒子植入路径可视化方法及系统 |
| CN113256691A (zh) * | 2021-05-11 | 2021-08-13 | 广州织点智能科技有限公司 | 一种目标跟踪方法、装置、设备和存储介质 |
| CN113647972A (zh) * | 2021-07-27 | 2021-11-16 | 北京工业大学 | 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 |
| CN114935316A (zh) * | 2022-05-20 | 2022-08-23 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
| CN115105175A (zh) * | 2022-06-30 | 2022-09-27 | 上海睿刀医疗科技有限公司 | 穿刺导航系统、方法、设备与存储介质以及穿刺装置 |
-
2022
- 2022-10-31 CN CN202211344074.8A patent/CN115471559B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180071032A1 (en) * | 2015-03-26 | 2018-03-15 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| CN109069208A (zh) * | 2016-03-14 | 2018-12-21 | 穆罕默德·R·马赫福兹 | 用于无线超声跟踪和通信的超宽带定位 |
| CN111839727A (zh) * | 2020-07-10 | 2020-10-30 | 哈尔滨理工大学 | 基于增强现实的前列腺粒子植入路径可视化方法及系统 |
| CN113256691A (zh) * | 2021-05-11 | 2021-08-13 | 广州织点智能科技有限公司 | 一种目标跟踪方法、装置、设备和存储介质 |
| CN113647972A (zh) * | 2021-07-27 | 2021-11-16 | 北京工业大学 | 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 |
| CN114935316A (zh) * | 2022-05-20 | 2022-08-23 | 长春理工大学 | 基于光学跟踪与单目视觉的标准深度图像生成方法 |
| CN115105175A (zh) * | 2022-06-30 | 2022-09-27 | 上海睿刀医疗科技有限公司 | 穿刺导航系统、方法、设备与存储介质以及穿刺装置 |
Non-Patent Citations (2)
| Title |
|---|
| CAO,YY 等: "The Navigation and Positioning Method of Active plus Passive Ultrasound-guided Robot for Liver Cancer Coagulation Therapy", 《ADVANCED DESIGNS AND RESEARCHES FOR MANUFACTURING》 * |
| 刘振宇 等: "基于RGB-D图像的头部姿态检测", 《计算机科学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115471559B (zh) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109758355B (zh) | 一种基于人体穴位二维图像处理和三维立体定位方法 | |
| CN113442169B (zh) | 机器人的手眼标定方法、装置、计算机设备和可读存储介质 | |
| US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
| CN109227532A (zh) | 机器人的控制装置及其系统、机器人及摄像机的校正方法 | |
| CN110605714A (zh) | 一种基于人眼凝视点的手眼协调抓取方法 | |
| CN109940626B (zh) | 一种基于机器人视觉的画眉机器人系统的控制方法 | |
| JPWO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN111515950B (zh) | 机器人坐标系变换关系确定方法、装置、设备和存储介质 | |
| CN108466265B (zh) | 机械手臂路径规划与作业方法、装置以及计算机设备 | |
| CN113208731B (zh) | 基于双目视觉系统的手术穿刺机器人手眼标定方法 | |
| CN113211431A (zh) | 基于二维码修正机器人系统的位姿估计方法 | |
| CN114454174A (zh) | 机械臂动作捕捉方法、介质、电子设备及系统 | |
| Schmidt et al. | Calibration–free hand–eye calibration: A structure–from–motion approach | |
| CN113524201B (zh) | 机械臂位姿主动调节方法、装置、机械臂和可读存储介质 | |
| CN115741732A (zh) | 一种按摩机器人的交互式路径规划及运动控制方法 | |
| CN114886567A (zh) | 一种面向具有远心不动点约束的手术机器人手眼标定方法 | |
| CN115446847A (zh) | 用于提高机器人系统的3d眼手协调准确度的系统和方法 | |
| CN113172659B (zh) | 基于等效中心点识别的柔性机器人臂形测量方法及系统 | |
| CN115471559B (zh) | 一种头部动态定位跟踪方法及系统 | |
| CN108621164A (zh) | 基于深度相机的太极推手机器人 | |
| CN113345010B (zh) | 基于改进ICP的多Kinect系统坐标标定与转换方法 | |
| CN115049744A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
| CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 | |
| CN114833822A (zh) | 一种机器人的快速手眼标定方法 | |
| CN113971835A (zh) | 一种家电设备的控制方法、装置、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |