CN115542889A - 机器人术前导航方法、系统、存储介质及计算机设备 - Google Patents
机器人术前导航方法、系统、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN115542889A CN115542889A CN202110745021.6A CN202110745021A CN115542889A CN 115542889 A CN115542889 A CN 115542889A CN 202110745021 A CN202110745021 A CN 202110745021A CN 115542889 A CN115542889 A CN 115542889A
- Authority
- CN
- China
- Prior art keywords
- information
- surgical robot
- robot
- virtual map
- surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003993 interaction Effects 0.000 claims abstract description 74
- 230000007613 environmental effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 16
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种手术机器人的术前导航方法、机器人术前导航系统、存储介质及计算机设备，所述方法包括：获取手术室内的环境信息，并基于所述环境信息显示虚拟地图；所述虚拟地图中形成有手术机器人的起始位置的标记和手术操作位置的标记；及获取第一交互信息，并基于所述第一交互信息在所述虚拟地图中生成所述手术机器人的规划路径；所述规划路径用于供所述手术机器人从所述手术室内相应的起始位置移动至手术操作位置。上述手术机器人的术前导航方法、机器人术前导航系统、存储介质及计算机设备能够适用于手术室内导航。
Description
技术领域
本申请涉及医疗机器人技术领域，特别是涉及一种机器人术前导航方法、机器人术前导航系统、存储介质及计算机设备。
背景技术
传统技术中使用全球定位系统(GPS，Global Positioning System)传感器来定位机器人的起始位置和目标位置以及它们之间路径，这种方法通过匹配经纬坐标来规划机器人的导航路径。然而，由于室内GPS信号较弱，使得这种方法不适用于手术室内手术机器人的导航，故而无法实现手术机器人在手术室内从起始位置运动至手术操作位置之间运动的有效避障。
发明内容
基于此，有必要针对上述问题提供一种机器人术前导航方法、机器人术前导航系统、存储介质及计算机设备。
一种机器人术前导航方法，包括：获取手术室内的环境信息，并基于所述环境信息显示虚拟地图；所述虚拟地图中形成有手术机器人的起始位置的标记和手术操作位置的标记；及获取第一交互信息，并基于所述第一交互信息在所述虚拟地图中生成所述手术机器人的规划路径；所述规划路径用于供所述手术机器人在所述手术室内相应地从起始位置移动至手术操作位置。
在其中一个实施例中，所述虚拟地图叠加显示于现实场景中。
在其中一个实施例中，所述虚拟地图包含网格标识，所述起始位置的标记和所述手术操作位置的标记均位于所述网格标识的交叉点上；所述规划路径通过所述网格标识中标识为无障碍物的交叉点连接所述起始位置的标记和所述手术操作位置的标记。
在其中一个实施例中，所述获取手术室内的环境信息，并基于所述环境信息显示虚拟地图，包括：利用在所述手术室内的不同位置拍摄的多幅像素图像，得到所述环境信息；依据所述环境信息构建并显示带有网格标识的虚拟地图；其中，所述网格标识中的部分交叉点显示所述环境信息。
在其中一个实施例中，所述环境信息包括手术室内的障碍物的和所述起始位置的位置坐标信息；所述依据所述环境信息构建并显示带有网格标识的虚拟地图，包括：基于所述手术操作位置的标记的位置坐标信息，以及所述障碍物的、所述起始位置的位置坐标信息，拓展出与各位置坐标信息无重叠的多个虚拟点的坐标信息；以各所述虚拟点的坐标信息以及各位置坐标信息为所述网格标识的交叉点，生成并显示所述带有网格标识的虚拟地图。
在其中一个实施例中，所述带有网格标识的虚拟地图中的网格形状包括三角形。
在其中一个实施例中，所述基于所述第一交互信息在所述虚拟地图中生成所述手术机器人的规划路径，包括：基于所述第一交互信息，确定相对于所述起始位置的至少一个位姿变化信息，以得到所述手术机器人的规划路径；将所述规划路径显示于所述虚拟地图中。
在其中一个实施例中，在所述手术机器人从所述起始位置运动至所述手术操作位置的过程中，所述方法还包括：获取第二交互信息，并基于所述第二交互信息调整所述手术机器人的运动状态、和/或给予提示信息。
在其中一个实施例中，所述机器人术前导航方法还包括：将所述规划路径按照对应比例投射于所述手术室中在所述起始位置和所述手术操作位置之间。
在其中一个实施例中，所述手术机器人移动的过程中需要调整运动状态包括：所述手术机器人与障碍物之间的距离小于预设的安全距离和/或所述手术机器人的运动轨迹偏离所述规划路径。
在其中一个实施例中，还包括：基于所述规划路径控制所述手术机器人移动和/或控制所述手术机器人的机械臂摆位。
一种机器人术前导航系统，包括：控制处理装置和人机交互装置，所述控制处理装置和所述人机交互装置通信连接；所述人机交互装置用于显示虚拟地图，并用于获取用户的第一交互信息；所述控制处理装置用于执行如上任一项所述的机器人术前导航方法。
在其中一个实施例中，所述人机交互装置包括AR设备，所述AR设备用于将所述虚拟地图叠加显示于现实场景中；所述AR设备用于将所述虚拟地图叠加显示于现实场景中。
在其中一个实施例中，所述控制处理装置包括位置调节单元和摄像头，所述摄像头设置于所述位置调节单元上，所述位置调节单元用于调节所述摄像头的拍摄角度，所述摄像头用于采集所述手术室内的不同位置拍摄的多幅像素图像以得到所述环境信息。
在其中一个实施例中，所述人机交互装置将所述规划路径按照对应比例投射于所述手术室中在所述起始位置和所述手术操作位置之间。
在其中一个实施例中，在所述手术机器人在所述手术室内从所述起始位置运动至所述手术操作位置期间；所述控制处理装置基于手势信息得到第二交互信息，并基于所述第二交互信息调整所述手术机器人的运动状态、和/或给予提示信息。
在其中一个实施例中，所述人机交互装置通过采集手势图像以获得所述第一交互信息。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
一种计算机设备，包括存储器和处理器；所述处理器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述方法的步骤。
上述机器人术前导航方法、机器人术前导航系统、存储介质及计算机设备获取手术室内的环境信息以显示手术室内的虚拟地图，操作者利用手势在虚拟地图上提前规划导航路径，手术机器人按照规划路径运动能够自动快速移动到位并避开室内的障碍物，从而减少机器人碰撞，降低机器人损坏率；并且该方法能够适用于室内导航。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一实施例中提供的机器人术前导航方法的流程图；
图2为一实施例中提供的机器人系统的示意图；
图3为一实施例中提供的手术机器人术前运动过程的示意图；
图4为一实施例中提供的步骤S11的具体步骤流程图；
图5为一实施例中提供的控制处理装置的结构示意图；
图6为一实施例中提供的步骤S112的具体步骤流程图；
图7a至7d为一实施例中提供的网格化导航路径规划方法的原理示意图；
图8为一实施例中提供的步骤S12的具体步骤流程图；
图9a为一实施例中提供的带双目摄像头的AR眼镜的结构示意图；
图9b为一实施例中提供的AR眼镜和双目摄像头的坐标系相对关系示意图；
图9c为一实施例中提供的双目视觉原理示意图；
图10为一实施例中提供的步骤S122的具体步骤流程图；
图11a为一实施例中提供的基于直方图的分割实现方式说明的示意图；
图11b为一实施例中提供的基于局部区域信息的分割实现方式说明的示意图；
图12为一实施例中提供的机器人术前导航方法还包括的步骤流程图；
图13为一实施例中提供的操作者手势调整机器人运动状态的示意图；
图14为一实施例中提供的驱动前进原理的示意图；
图15为一实施例中提供的机器人术前导航系统的结构框图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
图1为一实施例中的机器人术前导航方法的流程图。请参阅图1，机器人术前导航方法包括以下步骤：
步骤S11，获取手术室内的环境信息，并基于环境信息显示虚拟地图；虚拟地图中形成有手术机器人的起始位置的标记和手术操作位置的标记。
具体的，机器人术前导航方法可以利用机器人术前导航系统实现，机器人术前导航系统用于在手术室内对机器人系统中手术机器人的术前运动进行导航。请参阅图2，机器人系统位于手术室内。机器人系统可以包括医生操作端12、患者操作端(即手术机器人)11、视觉平台13以及手术器械14等。手术室内除了机器人系统还可以包括患者台15以及位于患者台15上的患者等。其中，手术机器人11的机械臂可以用于连接手术器械14，从而利用手术机器人11辅助医生手术。
手术室内的环境信息可以包括手术室内的障碍物的及起始位置的位置坐标信息。在手术室内，手术机器人11以外的物体和人都可以称为手术机器人11术前运动过程中的障碍物。起始位置可以是手术机器人11当前的位置。手术操作位置可以是患者病灶所在位置。
机器人术前导航系统可以包括控制处理装置和人机交互装置。控制处理装置用于获取手术室内的环境信息，并基于环境信息重建手术室内的虚拟地图。虚拟地图可以为平面图像，也可以为立体图像。虚拟地图中的障碍物和手术机器人11可以与相应的实物类似，也可以采用相应的符号代替。虚拟地图中的障碍物可以称为障碍物标记，障碍物标记与现实场景的手术室内的各障碍物对应。虚拟地图中的手术机器人11可以称为手术机器人标记，该手术机器人标记与现实场景的手术室内的手术机器人11对应。当然也可以不在虚拟地图上标识出手术机器人标记而直接用初始位置的标记代替。虚拟地图中各个障碍物及手术机器人11之间的距离可以与相应的实际距离呈正比缩小。
虚拟地图中形成有手术机器人11的起始位置的标记和手术操作位置的标记。本申请中，手术室内的起始位置和虚拟地图上起始位置的标记对应，手术室内的手术操作位置和虚拟地图上手术操作位置的标记对应。
人机交互装置可以与控制处理装置通信连接，人机交互装置从控制处理装置中获取虚拟地图并进行显示，以及检测用户输入的第一交互信息。其中，所述人机交互装置配置有如单目/双目摄像头、触摸屏、或键盘鼠标等，利用该人机交互装置获取第一交互信息。其中，所述第一交互信息包含在虚拟地图上设置以下至少一种信息：手术操作位置的标记，规划路线，在手术操作位置的姿态等。所述第一交互信息举例是根据至少一幅包含人体姿态的图像而确定的，或者是通过检测用户在人机交互装置上的划动操作、点击操作、和按压操作中至少一种而确定的。例如，所述人体姿态举例包括：手部姿态、眼球姿态、或下肢姿态等。人机交互装置通过检测至少一幅包含人体姿态的图像，得到人体姿态所对应的手术操作位置的标记和到达手术操作位置后的姿态。又如，人机交互装置通过检测触摸屏上从起始位置的标记开始所划动的轨迹及其轨迹终点，确定所规划的路线以及手术操作位置；以及通过检测触摸屏上终点位置上所显示的姿态选项，来确定手术机器人11在手术操作位置的姿态。
步骤S12，获取第一交互信息，并基于第一交互信息在虚拟地图中生成手术机器人的规划路径；规划路径用于供手术机器人在手术室内相应地从起始位置移动至手术操作位置。
具体的，请参阅图3，术前，由于需要进行器械准备和病人推入等工作，手术机器人11会离患者台15较远。在一系列准备工作完成之后，需要手术机器人11移动到距离患者台15比较近的位置，利用机械臂操控手术器械14，机械臂还可以操控腹腔镜等医疗影像设备，辅助医生顺利完成手术过程。所以术前需要手术机器人11移动到患者身边比较合适的位置进行机械臂的摆位工作。本实施例中在移动手术机器人11之前提前规划导航路径，可以控制手术机器人11按照规划路径自动运动以将机械臂置于正确的手术位置及手术姿态。
操作者可以根据显示的虚拟地图用手势连接起始位置的标记和手术操作位置的标记，且在连接过程中避开虚拟地图上的障碍物。
控制处理装置基于第一交互信息在虚拟地图中生成手术机器人11的规划路径。人机交互装置在虚拟地图中可以显示出该规划路径，该规划路径在虚拟地图中连接起始位置的标记和手术操作位置的标记。
手术机器人11内部可以集成有机器人的驱动器。控制处理装置可以通过蓝牙或行动热点(wifi)等无线通信技术将规划路径传输给手术机器人11的驱动器，从而手术机器人11的驱动器可以根据规划路径控制手术机器人11从现实场景中的起始位置自主移动到手术操作位置。
上述机器人术前导航方法获取手术室内的环境信息以显示手术室内的虚拟地图，操作者利用手势在虚拟地图上提前规划导航路径，手术机器人11按照规划路径运动能够自动快速移动到位并避开手术室内的障碍物，从而减少手术机器人11碰撞，降低手术机器人11损坏率，该方法能够适用于手术室内导航。并且，在手术室中将患者操作端集成于手术机器人11上，利用规划路径控制手术机器人11自动从现实场景中的起始位置移动到手术操作位置，无需人力推动患者操作端，从而减少人工操作成本、省时省力。
在一些示例中，可以将虚拟地图叠加显示于现实场景中，使得方便操作者通过手势在虚拟地图上规划导航路径。在其他示例中，也可以通过显示屏等显示虚拟地图。
具体的，人机交互装置可以包括增强现实(AR，Augmented Realit)设备。操作者可以佩戴AR眼镜等AR设备。AR设备可以与控制处理装置通信连接，控制处理装置可以将虚拟地图传输给AR设备，使得通过AR设备将该虚拟地图叠加显示于现实场景中。
在一些示例中，虚拟地图包含网格标识。起始位置的标记、手术操作位置的标记及各个障碍物可以均位于网格标识的不同交叉点上；或者还可以配置为起始位置的标记和手术操作位置的标记位于网格标识的不同交叉点上，各个障碍物分布在网格上。操作者可以通过在虚拟地图上网格标识中标识为无障碍物的交叉点连接起始位置的标记和手术操作位置的标记，以形成规划路径，使得手术机器人11在手术室内按照规划路径运动时能够避开手术室内的障碍物。
在一些示例中，请参阅图4，步骤S11具体可以包括步骤S111至步骤S112。
步骤S111，利用在手术室内的不同位置拍摄的多幅像素图像，得到环境信息。
具体的，请参阅图5，控制处理装置可以包括摄像头311和位置调节单元312。摄像头311可以设置于位置调节单元312上，位置调节单元312用于调节摄像头311的拍摄角度。通过位置调节单元312的多自由度运动，摄像头311可以实现360度旋转扫描手术室内环境从而采集到手术室内更加完整的像素图像。控制处理装置通过摄像头311获取到手术室内的不同位置拍摄的多幅像素图像，根据这些像素图像可以得到环境信息。控制处理装置可以直接识别多幅像素图像中的手术机器人11、患者病灶及其他障碍物，从而分别得到起始位置的位置坐标信息、手术操作位置的坐标信息及障碍物的位置坐标信息。还可以配置为操作者根据这些像素图像确定手术操作位置的坐标信息，并通过输入设备输入给控制处理装置。在其他示例中，控制处理装置可以包括深度数据测量装置，利用深度数据测量装置可以直接测量手术室内各个障碍物的位置坐标、手术机器人的当前位置坐标及患者病灶的位置坐标，从而根据测量数据可以得到环境信息。
步骤S112，依据环境信息构建带有网格标识的虚拟地图；其中，网格标识中的部分交叉点显示环境信息。
可选的，网格标识的中网格的形状可以根据实际需求进行设置。譬如，带有网格标识的虚拟地图中的网格形状包括三角形。
在一些示例中，请参阅图6，步骤S112具体可以包括步骤S1121至步骤S1122。
步骤S1121，基于手术操作位置的位置坐标信息以及障碍物的、起始位置的位置坐标信息，拓展出与各位置坐标信息无重叠的多个虚拟点的坐标信息。
步骤S1122，以各虚拟点的坐标信息以及各位置坐标信息为网格标识的交叉点，生成带有网格标识的虚拟地图。
具体的，控制处理装置可以根据环境信息建立手术室的初始虚拟地图。初始虚拟地图中可以包括与手术机器人11和各个障碍物成等比例缩小的图像，手术机器人11和各个障碍物之间的距离也可以成等比例缩小。当然，初始虚拟地图中的手术机器人11和各个障碍物也可以采用相应的符号代替。初始虚拟地图中不包含有网格标识。然后，控制处理装置可以根据环境信息建立网格标识，再将网格标识融入初始虚拟地图，使得初始虚拟地图上初始位置的标记、手术操作位置的标记及各障碍物分别与网格标识上对应的交叉点重叠，从而形成带有网格标识的虚拟地图。
此处以网格标识中网格的形状为三角形为例说明形成网格标识的方法。请参阅图7a，可以先基于手术操作位置的位置坐标信息以及障碍物的、起始位置的位置坐标信息并利用点集的三角剖分(Delaunay)算法计算拓展出的虚拟点的坐标信息。根据虚拟点的坐标信息和各位置的坐标信息生成离散点集。请参阅图7b，利用Delaunay算法将离散点集生成三角形网格图像即网格标识。进一步的，请参阅图7c，还可以对网格标识进行简化使得减小计算量以提高后续规划路径的生成效率。需要说明的是，简化前的网格标识和简化后的网格标识中起始位置和手术操作位置所对应的离散点均处于网格的交叉点上。
以下详细介绍Delaunay算法利用离散点集生成网格标识的具体实现过程：
A.确定p3点：假设有两个点p1和p2。我们称p3为直线p1p2的可见点，根据满足下面三个条件来确定p3：(1)p3在边p1p2的右侧(顶点顺序为顺时针)；(2)p3与p1可见，即边p1p3不与任何一个约束边相交；(3)p3与p2可见。
B.确定DT点：在一个约束Delaunay三角形中，其中与一条边相对的顶点称为该边的DT点。确定DT点的过程如下：
Step1.构造Δp1p2p3的外接圆C(p1，p2，p3)及其网格包围盒B(C(p1，p2，p3))；
Step2.依次访问网格包围盒内的每个网格单元：对未访问过的网格单元进行搜索，并将其标记为当前访问网格单元。若某个网格单元中存在可见点p，并且∠p1pp2>∠p1p3p2，则令p3＝p1，转Step1；否则，转Step3。
Step3.若当前网格包围盒内所有网格单元都已被标记为当前访问网格单元，也即C(p1，p2，p3)内无可见点，则p3为的p1p2的DT点。
C.算法设计：
Step1.取任意一条外边界边p1p2。
Step2.计算DT点p3，构成约束Delaunay三角形Δp1p2p3。
Step3.如果新生成的边p1p3不是约束边，若已经在堆栈中，则将其从中删除否则，将其放入堆栈；类似地，可处理p3p2。
Step4.若堆栈不空，则从中取出一条边，转Step3；否则，算法停止。
然后，将简化前或者简化后的网格标识融入初始虚拟地图中以得到带有网格标识的虚拟地图。
在其他示例中，还可以根据环境信息中的各位置坐标直接构建网格标识。网格间距可根据各位置坐标之间的间隔进行调整。如此，在无需拓展虚拟点的情况下，也能得到带有网格标识的虚拟地图。
在一些示例中，请参阅图8，步骤S12具体包括步骤S121至S124。
步骤S121，获取手势图像。
步骤S122，基于手势图像得到第一交互信息。
步骤S123，基于第一交互信息，确定相对于起始位置的至少一个位姿变化信息，以得到手术机器人的规划路径。
步骤S124，将规划路径显示于虚拟地图中。
具体的，请参阅图7d，在将网格标识融入初始虚拟地图进行显示后，操作者可以利用手势在虚拟地图上从起始位置开始，依次连接想要连接的点(图7d中加粗直线为操作者通过手势连接想要的点所形成的规划路线，A点对应于起始位置，B点对应于手术操作位置)。
第一交互信息即操作者手部姿势的信息。请参阅图9a，AR设备20上端可以通过印制电路板(PCB，Printed Circuit Board)连接嵌入式双目摄像头21，以采集操作者的手势图像，并将手势图像传输给控制处理装置。控制处理装置根据手势图像得到第一交互信息，并确定相对于起始位置的至少一个位姿变化信息，以得到手术机器人的规划路径。譬如，当手术机器人11的规划路径为一条直线时只需要确定手术机器人11相对于起始位置的一个位姿变化信息，当手术机器人11的规划路径不是一条直线时需要确定手术机器人11在运动过程中多个位姿变化信息。控制处理装置可以记录规划路径上的所有坐标和路线，并将所记录数据传输给人机交互装置，使得人机交互装置将规划路径叠加于虚拟图像上对应位置进行显示。
其中，图9a中双目摄像头的工作原理如下：
请参阅图9b和9c，AR设备20与双目摄像头21相对坐标关系固定。相机坐标系(X5，Y5，Z5)可通过机械位置和显示坐标系(X3，Y3，Z3)建立映射关系。相机坐标系(X5，Y5，Z5)和世界坐标系(X0，Y0，Z0)可通过旋转矩阵R与平移向量t来建立映射关系，映射关系如式(1)所示。
其中，(xc，yc，zc)为P点在相机坐标系中的坐标值，(xw，yw，zw)为P点在世界坐标系中的坐标值。
其中，根据图9c中的几何关系可以得到P点满足式(2)至(5)
其中，双目摄像头21包括左相机和右相机，左相机和右相机之间的距离为b，左相机和右相机到x轴之间的距离均为f，点P(x，y，z)和左相机的连线与x轴的交点到z轴的距离为xl，点P(x，y，z)和左相机的连线与x轴的交点到y轴的距离为yl，右相机和点P的连线与x轴的交点到右相机所在且与z轴平行的直线之间的距离为xr，点P到右相机所在且与z轴平行的直线之间的距离为(x-b)。
在一些示例中，请参阅图10，步骤S122具体包括步骤S1221至步骤S1224。
步骤S1221，对手势图像进行预处理，以得到手势轮廓图像。
步骤S1222，提取手势轮廓图像的几何矩特征。
步骤S1223，基于手势轮廓图像的几何矩特征，计算同一时刻不同角度的手势图像之间的距离。
步骤S1224，基于同一时刻不同角度的手势图像之间的距离识别该时刻的手势，以得到第一交互信息。
具体的，可以采用几何矩和边缘检测的识别算法进行预处理。先对手势图像二值化处理得到手势轮廓图像。再提取手势轮廓图像的几何矩特征。具体可以取出七个向量中的四个分量，在灰度图基础上直接检测图像的边缘，利用直方图表示图像的边界方向特征。最后，通过设定几何矩特征的权重来计算图像间的距离，再对手势进行识别。这种方式使用两个或者两个以上的摄像头(本实施例中为双目摄像头21中的左相机和右相机)同时获取图像，就好像是人类用双眼、昆虫用多目复眼来观察世界，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，从而多视角三维成像。
在一些示例中，预处理方法具体可以包括对手势图像进行基于直方图的分割、基于局部区域信息的分割、基于物理特征的分割中的任意一种。以下分别对这三种预处理方法进行举例说明。
请参阅图11a，基于直方图的分割中，通过对直方图的预处理及轮廓追踪，可以很好的确定其峰谷结构，从而找到合理的分割门限。只要图像直方图中存在着多波峰结构并且在一个理想的分割门限，这种方法就有很好的分割效果。
请参阅图11b，基于局部区域信息的分割中，轮廓提取一般可以通过边缘检测的方法得到边界点的坐标信息。比较典型的就是八邻域搜索算法提取手势边界点的坐标。每个点都有八个点与之相邻，以其中一个点为起始边界点，则下一个边界点一定在该点的八邻域之内，通过算法跟踪即可提取出封闭的轮廓图。
基于颜色等物理特征的分割中，通过YCbCr颜色空间和基于高斯模型的肤色建模对肤色进行提取，并通过图像差运算进行运动信息分析去除图像中的类肤色背景，该方法保证了在复杂背景下手势分割的准确性。
在一些示例中，请参阅图12，机器人术前导航方法还包括步骤S13至步骤S16。
步骤S13，基于规划路径控制手术机器人在手术室中从起始位置运动至手术操作位置。
具体的，手术机器人11的驱动器可以基于规划路径控制手术机器人11移动和/或控制手术机器人11的机械臂摆位，使得手术机器人11的机械臂的控制中心在现实场景中从手术室内的当前位置运动至手术操作位置。
步骤S14，判断手术机器人运动的过程中是否需要调整运动状态。
具体的，可以由机器人术前导航系统自动判断手术机器人11运动的过程是否需要调整运动状态，当判断到需要调整运动状态时可以向操作者发出提示，从而操作者可以执行步骤S15。也可以由操作者判断手术机器人11运动的过程中是否需要调整运动状态，在判断到需要调整运动状态时可以执行步骤S15。手术机器人11移动的过程中需要调整运动状态可以包括手术机器人11与障碍物之间的距离小于预设的安全距离和/或手术机器人11的运动轨迹偏离规划路径等等。若判断到手术机器人11运动的过程中不需要调整运动状态，则可以执行步骤S16，手术机器人11沿着规划路径继续运动直到到达手术操作位置。
步骤S15，获取第二交互信息，并基于第二交互信息调整手术机器人的运动状态、和/或给予提示信息。其中，所述第二交互信息为所述人机交互装置检测到的，用于在手术机器人11移动过程中调整手术机器人11的部分路径的信息。与第一交互信息的获取方式相同或相似，为了区分第一交互信息，在一些示例中，第二交互信息与第一交互信息处于手术机器人11的不同工作模式。例如，手术机器人11工作在停止模式下对应获取第一交互信息，工作在移动模式下对应获取第二交互信息。在另一些示例中，第二交互信息与第一交互信息为不同检测信号、或不同图像特征所表示的信息。例如，第二交互信息为至少一幅包含左转(或右转)手势的图像。又如，第二交互信息为点击左转(或右转)按钮所产生的信息。
具体的，请参阅图13和9a，当判断到手术机器人11运动的过程中需要调整运动状态时，操作者发出调整手势。可以在操作者所佩戴的AR设备20上设置双目摄像头21(即双目视觉模组)用于采集操作者的调整手势图像，并将调整手势图像传输给控制处理装置。控制处理装置获取到调整手势图像后可以根据调整手势图像获取第二交互信息，并基于第二交互信息调整手术机器人11的运动状态。在其他示例中，控制处理装置可以基于第二交互信息给予提示信息，譬如，当手术机器人11与障碍物之间的距离小于预设的安全距离时，控制处理装置可以发出语音提示。在其他示例中，步骤S13和S14也可以不由控制处理装置执行，控制处理装置在手术机器人11从起始位置运动至手术操作位置的过程中执行步骤S15。
在一些示例中，步骤S14中由机器人术前导航系统判断手术机器人11在运动过程中是否需要调整运动状态时，机器人术前导航方法还可以包括：获取手术机器人11的位置信息，并基于手术机器人11的位置信息判断是否需要调整手术机器人11的运动状态；若手术机器人11运动的过程中需要调整运动状态，则输出提示信息。
具体的，手术机器人11的位置信息可以包括手术机器人11实时运动过程中与该手术机器人11距离最近的障碍物之间的距离。可以在手术机器人11上设置超声波测距装置等测距装置来获取该手术机器人11的位置信息，并且将手术机器人11的位置信息传输给控制处理装置。控制处理装置获取到手术机器人11的位置信息后，基于手术机器人11的位置信息判断是否需要调整手术机器人11的运动状态。譬如，可以配置为手术机器人11与距离该手术机器人11最近的障碍物之间的距离小于预设的安全距离时判断为手术机器人11运动过程中需要调整运动状态。手术机器人11或者控制处理装置上还可以设置有报警灯或蜂鸣器等提示装置，当控制处理装置判断到手术机器人11运动过程中需要调整运动状态时可以通过提示装置输出提示信息，使得操作者知晓需要发出调整手势来控制手术机器人11调整运动状态以达到避障的目的。
操作者在利用调整手势控制手术机器人11调整运动状态时可以具体控制手术机器人11的运动朝向，譬如控制机器人左转、右转、后退、前进等等。若操作者未收到提示，则控制处理装置可以控制手术机器人11继续沿着规划路径运动直到到达手术操作位置。在其他示例中，测距装置可以进一步实时测量手术机器人11的位置坐标，并将手术机器人11的位置坐标传输给控制处理装置。控制处理装置可以判断手术机器人11的位置坐标是否位于规划路径上，若偏离规划路径，同样可以控制提示装置发出提示。
在一些示例中，测距装置采用超声波测距方式采集机器人的位置信息。具体原理如下：
超声波测距是借助于超声脉冲回波渡越时间法来实现的，设超声波脉冲由传感器发出到接收所经历的时间为t，超声波在空气中的传播速度为c，则从传感器到障碍物的距离D可用式(6)求出：
D＝ct/2 (6)
可以理解，采用IO(Trig(控制端))触发测距给至少10us的高电平信号，模块会自动发射8个40khz的方波，自动检测是否有信号返回，如有，则超声波输出一个高电平，高电平持续的时间就是超声波往返的时间(可用定时器来计算)，测试距离＝(高电平时间*声速(340M/S))/2。
在手术机器人11运动过程中，可以配置为当测距装置所检测的手术机器人11与距离该机器人最近的障碍物之间的距离小于设定的安全距离，提示装置就会发出报警信息。后续操作者可通过手势调整患者操作端的运动方向。比如小于5cm时判定为信息提示距离，当患者操作端与障碍物距离小于5cm时，提示装置中蜂鸣器会自动发出响声且红灯闪烁，此时就需要通过手势调整运动朝向。
在一些示例中，步骤S14中由操作者判断手术机器人11在运动过程中是否需要调整运动状态时机器人术前导航方法还可以包括：将规划路径按照对应比例投射于手术室中在起始位置和手术操作位置之间。
具体的，控制处理装置根据将手术室内的真实图像以一定的缩小比例形成虚拟地图，则显示在虚拟地图上的规划路径相比于实际控制手术机器人11在手术室内的起始位置和手术操作位置之间运动时的真实路径也应该以一定的比例缩小，因此在将规划路径投射于现实场景中时需要根据虚拟地图上的规划路径进行一定比例的放大，使得投射于现实场景中的规划路径能够连接手术室中起始位置和手术操作位置。如此，操作者可以在手术机器人11运动的过程中实时的观察到手术机器人是否偏离规划路径，若偏离，则可以发出调整手势控制手术机器人11调整运动状态。
在一些示例中，请参阅图14，手术机器人11底部可以设置移动平台111和驱动轮112。驱动器驱动机器人移动的原理举例为：给定两轮之间的一个点P(各轮距点P的距离为1)、轮子半径r、机器人方向与X轴方向之间的夹角θ以及各轮的转速
和
通过前向运动学模型预测全局参考框架中的手术机器人11的总速度。
应该理解的是，虽然图1、4、6、8、10及12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、4、6、8、10及12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提供一种机器人术前导航系统。请一并参阅图2和图15，机器人术前导航系统包括控制处理装置31和人机交互装置32。控制处理装置31和人机交互装置32通信连接。控制处理装置31用于获取手术室内的环境信息，并用于基于环境信息生成虚拟地图，虚拟地图中形成有手术机器人11的起始位置的标记和手术操作位置的标记。人机交互装置32用于显示虚拟地图，并用于获取用户的第一交互信息。控制处理装置31还用于基于第一交互信息在虚拟地图中生成手术机器人11的规划路径，规划路径用于供手术机器人11从手术室内相应的起始位置移动至手术操作位置。
在一些示例中，请一并参阅图9a，人机交互装置32包括AR设备20，AR设备20用于将虚拟地图叠加显示于现实场景中。
在一些示例中，人机交互装置32用于采集手势图像以获得第一交互信息。具体可以配置为AR设备20上设置有双目摄像头21，双目摄像头21用于采集手势图像以获得第一交互信息。
在一些示例中，请参阅图5，控制处理装置31包括位置调节单元312和摄像头311，摄像头311设置于位置调节单元312上，位置调节单元312用于调节摄像头311的拍摄角度，摄像头311用于采集手术室内的不同位置拍摄的多幅像素图像以得到环境信息。
在一些示例中，在手术机器人11在手术室内从所述起始位置运动至所述手术操作位置期间；控制处理装置基于手势信息得到第二交互信息，并基于第二交互信息调整手术机器人11的运动状态、和/或给予提示信息。
可选的，控制处理装置31还与手术机器人11通信连接，控制处理装置31还用于基于规划路径控制手术机器人11在手术室内从起始位置运动至手术操作位置；若手术机器人11运动的过程中需要调整运动状态，则双目摄像头21获取手势图像，控制处理装置31基于手势信息得到第二交互信息，并基于第二交互信息调整手术机器人11的运动状态、和/或给予提示信息。
在一些示例中，机器人术前导航系统还包括测距装置(图未示出)，测距装置设置于手术机器人11上，测距装置用于实时测量手术机器人11与障碍物之间的距离；控制处理装置31还与测距装置通信连接，控制处理装置31还用于判断手术机器人11与障碍物之间的距离是否小于预设的安全距离，并在手术机器人11与所述障碍物之间的距离小于预设的安全距离时输出提示信息。
在一些示例中，人机交互装置32用于将规划路径按照对应比例投射于手术室中在起始位置和手术操作位置之间。
进一步的，机器人术前导航系统还可以执行上述机器人术前导航方法中的任意步骤。关于机器人术前导航系统的具体限定可以参见上文中对于机器人术前导航方法的限定，在此不再赘述。上述机器人术前导航系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。其中，计算机设备可以包括AR设备20、控制处理装置31、手术机器人11的驱动器等。
本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述的方法的步骤。
本申请还提供一种计算机设备，包括存储器和处理器；所述处理器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一实施例所述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (19)
1.一种机器人术前导航方法，其特征在于，包括：
获取手术室内的环境信息，并基于所述环境信息显示虚拟地图；所述虚拟地图中形成有手术机器人的起始位置的标记和手术操作位置的标记；及
获取第一交互信息，并基于所述第一交互信息在所述虚拟地图中生成所述手术机器人的规划路径；所述规划路径用于供所述手术机器人在所述手术室内相应地从起始位置移动至手术操作位置。
2.根据权利要求1所述的机器人术前导航方法，其特征在于，所述虚拟地图叠加显示于现实场景中。
3.根据权利要求1所述的机器人术前导航方法，其特征在于，所述虚拟地图包含网格标识，所述起始位置的标记和所述手术操作位置的标记均位于所述网格标识的交叉点上；所述规划路径通过所述网格标识中标识为无障碍物的交叉点连接所述起始位置的标记和所述手术操作位置的标记。
4.根据权利要求1所述的机器人术前导航方法，其特征在于，所述获取手术室内的环境信息，并基于所述环境信息显示虚拟地图，包括：
利用在所述手术室内的不同位置拍摄的多幅像素图像，得到所述环境信息；
依据所述环境信息构建并显示带有网格标识的虚拟地图；其中，所述网格标识中的部分交叉点显示所述环境信息。
5.根据权利要求4所述的机器人术前导航方法，其特征在于，所述环境信息包括手术室内的障碍物的和所述起始位置的位置坐标信息；所述依据所述环境信息构建并显示带有网格标识的虚拟地图，包括：
基于所述手术操作位置的位置坐标信息以及所述障碍物的、所述起始位置的位置坐标信息，拓展出与各位置坐标信息无重叠的多个虚拟点的坐标信息；
以各所述虚拟点的坐标信息以及各位置坐标信息为所述网格标识的交叉点，生成并显示所述带有网格标识的虚拟地图。
6.根据权利要求4所述的机器人术前导航方法，其特征在于，所述带有网格标识的虚拟地图中的网格形状包括三角形。
7.根据权利要求1所述的机器人术前导航方法，其特征在于，所述基于所述第一交互信息在所述虚拟地图中生成所述手术机器人的规划路径，包括：
基于所述第一交互信息，确定相对于所述起始位置的至少一个位姿变化信息，以得到所述手术机器人的规划路径；
将所述规划路径显示于所述虚拟地图中。
8.根据权利要求1至7任一项所述的机器人术前导航方法，其特征在于，在所述手术机器人从所述起始位置运动至所述手术操作位置的过程中，所述方法还包括：
获取第二交互信息，并基于所述第二交互信息调整所述手术机器人的运动状态、和/或给予提示信息。
9.根据权利要求2所述的机器人术前导航方法，其特征在于，所述机器人术前导航方法还包括：
将所述规划路径按照对应比例投射于所述手术室中在所述起始位置和所述手术操作位置之间。
10.根据权利要求8所述的机器人术前导航方法，其特征在于，所述手术机器人移动的过程中需要调整运动状态包括：所述手术机器人与障碍物之间的距离小于预设的安全距离和/或所述手术机器人的运动轨迹偏离所述规划路径。
11.根据权利要求1所述的机器人术前导航方法，其特征在于，还包括：基于所述规划路径控制所述手术机器人移动和/或控制所述手术机器人的机械臂摆位。
12.一种机器人术前导航系统，其特征在于，包括：控制处理装置和人机交互装置，所述控制处理装置和所述人机交互装置通信连接；
所述人机交互装置用于显示虚拟地图，并用于获取用户的第一交互信息；
所述控制处理装置用于执行如权利要求1-11中任一项所述的机器人术前导航方法。
13.根据权利要求12所述的机器人术前导航系统，其特征在于，所述人机交互装置包括AR设备，所述AR设备用于将所述虚拟地图叠加显示于现实场景中。
14.根据权利要求12所述的机器人术前导航系统，其特征在于，所述控制处理装置包括位置调节单元和摄像头，所述摄像头设置于所述位置调节单元上，所述位置调节单元用于调节所述摄像头的拍摄角度，所述摄像头用于采集所述手术室内的不同位置拍摄的多幅像素图像以得到所述环境信息。
15.根据权利要求12所述的机器人术前导航系统，其特征在于，所述人机交互装置将所述规划路径按照对应比例投射于所述手术室中在所述起始位置和所述手术操作位置之间。
16.根据权利要求12至15任一项所述的机器人术前导航系统，其特征在于，在所述手术机器人在所述手术室内从所述起始位置运动至所述手术操作位置期间；
所述控制处理装置基于手势信息得到第二交互信息，并基于所述第二交互信息调整所述手术机器人的运动状态、和/或给予提示信息。
17.根据权利要求12所述的机器人术前导航系统，其特征在于，所述人机交互装置通过采集手势图像以获得所述第一交互信息。
18.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～11任一项所述的方法的步骤。
19.一种计算机设备，包括存储器和处理器；所述处理器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～11任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745021.6A CN115542889A (zh) | 2021-06-30 | 2021-06-30 | 机器人术前导航方法、系统、存储介质及计算机设备 |
| PCT/CN2022/102141 WO2023274270A1 (zh) | 2021-06-30 | 2022-06-29 | 机器人术前导航方法、系统、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745021.6A CN115542889A (zh) | 2021-06-30 | 2021-06-30 | 机器人术前导航方法、系统、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115542889A true CN115542889A (zh) | 2022-12-30 |
Family
ID=84691448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110745021.6A Pending CN115542889A (zh) | 2021-06-30 | 2021-06-30 | 机器人术前导航方法、系统、存储介质及计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115542889A (zh) |
| WO (1) | WO2023274270A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116687564A (zh) * | 2023-05-22 | 2023-09-05 | 北京长木谷医疗科技股份有限公司 | 基于虚拟现实的手术机器人自感知导航方法系统及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105953785A (zh) * | 2016-04-15 | 2016-09-21 | 青岛克路德机器人有限公司 | 机器人室内自主导航的地图表示方法 |
| JP6623130B2 (ja) * | 2016-08-19 | 2019-12-18 | 日本電信電話株式会社 | 経路情報生成装置、経路結合装置、方法、及びプログラム |
| CN107544482B (zh) * | 2017-08-08 | 2020-10-09 | 浙江工业大学 | 面向医疗环境的自动配送机器人系统 |
| CN109668561B (zh) * | 2017-10-13 | 2023-04-14 | 中兴通讯股份有限公司 | 一种室内路径规划方法、终端及可读存储介质 |
| US20190254753A1 (en) * | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
| US11813028B2 (en) * | 2018-09-27 | 2023-11-14 | Eped, Inc. | Active-detection self-propelled artificial intelligence surgical navigation cart |
| CN112914731A (zh) * | 2021-03-08 | 2021-06-08 | 上海交通大学 | 基于增强现实的介入机器人无接触遥操系统及标定方法 |
-
2021
- 2021-06-30 CN CN202110745021.6A patent/CN115542889A/zh active Pending
-
2022
- 2022-06-29 WO PCT/CN2022/102141 patent/WO2023274270A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116687564A (zh) * | 2023-05-22 | 2023-09-05 | 北京长木谷医疗科技股份有限公司 | 基于虚拟现实的手术机器人自感知导航方法系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023274270A1 (zh) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377015B (zh) | 机器人定位方法和机器人定位装置 | |
| CN112215843B (zh) | 超声智能成像导航方法、装置、超声设备及存储介质 | |
| EP3055744B1 (en) | A method and a device for verifying one or more safety volumes for a movable mechanical unit | |
| JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
| JP5227065B2 (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
| US7873448B2 (en) | Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles | |
| KR101739996B1 (ko) | 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법 | |
| JP2020500767A (ja) | 車両自動パーキングシステム及び方法 | |
| CN106909145A (zh) | 无人航道测量船障碍物实时感知避障系统与方法 | |
| WO2015180021A1 (zh) | 剪枝机器人系统 | |
| CN105611877A (zh) | 引导超声图像采集的方法和系统 | |
| CN110986920B (zh) | 定位导航方法、装置、设备及存储介质 | |
| CN103472434B (zh) | 一种机器人声音定位方法 | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| US11682122B2 (en) | Auto-tracker characterization with robotics applications | |
| CN113566808A (zh) | 一种导航路径规划方法、装置、设备以及可读存储介质 | |
| WO2023274270A1 (zh) | 机器人术前导航方法、系统、存储介质及计算机设备 | |
| CN113885506B (zh) | 机器人避障方法、装置、电子设备及存储介质 | |
| JP2021177144A (ja) | 情報処理装置、情報処理方法及びープログラム | |
| EP3088983B1 (en) | Moving object controller and program | |
| KR101475207B1 (ko) | 로봇조종 훈련용 시뮬레이션장치 | |
| CN116007623A (zh) | 机器人导航方法、装置和计算机可读存储介质 | |
| JPS5890268A (ja) | ３次元物体の検出方法 | |
| Nowak et al. | Vision-based positioning of electric buses for assisted docking to charging stations | |
| JP2019185213A (ja) | 自律移動ロボット及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230608 Address after: Room 101, area B, building 1, No. 1601, Zhangdong Road, Pudong New Area pilot Free Trade Zone, Shanghai 200135 Applicant after: Shanghai minimally invasive medical robot (Group) Co.,Ltd. Address before: 201210 room 207, floor 2, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 3) Applicant before: Shanghai Weimi Medical Instrument Co.,Ltd. |
|
| TA01 | Transfer of patent application right |