CN116803354A - 腔镜手术机器人手术器械位置判断方法、装置及存储介质 - Google Patents

腔镜手术机器人手术器械位置判断方法、装置及存储介质 Download PDF

Info

Publication number
CN116803354A
CN116803354A CN202310907387.8A CN202310907387A CN116803354A CN 116803354 A CN116803354 A CN 116803354A CN 202310907387 A CN202310907387 A CN 202310907387A CN 116803354 A CN116803354 A CN 116803354A
Authority
CN
China
Prior art keywords
surgical instrument
arm
surgical
coordinate
inner arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310907387.8A
Other languages
English (en)
Inventor
王伟
赵佳伟
程茹
张瑞康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Sagebot Intelligent Medical Equipment Co Ltd
Original Assignee
Harbin Sagebot Intelligent Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Sagebot Intelligent Medical Equipment Co Ltd filed Critical Harbin Sagebot Intelligent Medical Equipment Co Ltd
Priority to CN202310907387.8A priority Critical patent/CN116803354A/zh
Publication of CN116803354A publication Critical patent/CN116803354A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种腔镜手术机器人手术器械位置判断方法、装置及存储介质，涉及医疗设备技术领域，其中腔镜手术机器人手术器械位置判断方法包括：获取手术臂内臂的实时运行参数；根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。避免了传统位置获取方法中依赖于图像信息导致的识别精度低，位置判断不准确的问题，有效地提高了操作人员操作过程中，对所有手术器械位置获取的及时性。

Description

腔镜手术机器人手术器械位置判断方法、装置及存储介质
技术领域
本发明涉及医疗设备技术领域，具体而言，涉及一种腔镜手术机器人手术器械位置判断方法、装置及存储介质。
背景技术
随着医疗机器人行业的发展，腔镜手术机器人因其创伤创口小、适用于微小作业环境等优势，应用范围逐步扩大，腔镜手术机器人应具有较高的安全性。但在手术过程中，医生需实时知晓各个手术类器械末端的实时位置，目的是便于快速寻找到手术器械完成切换操作，有利于提升手术操作过程中的操作速度，同时还为了避免手术器械超出视野范围，从而导致视野外的手术器械对人体造成不必要的损伤。现有主要识别方法是采用图像处理方法，去辨识手术类器械是否位于视野中，但手术过程中作业环境复杂，手术器械本身在图像中经常会被人体组织或其他手术器械遮挡，导致获取的图像无法保证能够满足识别需求，并且其运算量较大、实时性较差；当手术器械超出屏幕范围时，还存在图像识别方法无法确定器械在屏幕视野外时的实时位置的问题，可能会出现在手术器械超出视觉范围情况下移动手术器械导致人体组织损伤的情况。
发明内容
本发明解决的问题是如何确定腔镜手术机器人的手术器械在内窥镜图像中的相对位置。
为解决上述问题，本发明提供一种腔镜手术机器人手术器械位置判断方法、装置及存储介质。
第一方面，本发明提供了一种腔镜手术机器人手术器械位置判断方法，包括：
获取手术臂内臂的实时运行参数；
根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；
将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。
可选地，所述内臂几何参数包括所述手术臂内臂的部件尺寸和所述手术臂内臂的连接关系；所述根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型包括：
根据所述部件尺寸和所述连接关系确定所述手术臂内臂的几何关系；
确定内窥镜图像中心点为基点，根据所述手术臂内臂的几何关系建立所述几何参数模型，所述几何参数模型用于根据所述运行参数得到所述内臂的位姿。
可选地，所述根据所述实时运行参数得到所述手术臂内臂末端的手术器械在几何参数模型坐标系的空间坐标包括：
将所述实时运行参数输入所述几何参数模型得到当前参数下所述手术臂内臂的位姿；
根据所述位姿确定所述手术臂内臂末端的所述手术器械在内窥镜坐标系中的所述空间坐标。
可选地，将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围包括：
将所述空间坐标的Z轴坐标输入到所述视觉平面方程中，得到所述Z轴坐标处，X-Y平面的X轴范围和Y轴范围；
根据所述X轴范围和所述Y轴范围确定所述手术器械所在平面的视觉坐标范围。
可选地，所述视觉平面方程包括：
其中，x为所述X轴范围、y为所述Y轴范围、z为所述空间坐标的Z轴坐标，k为预设的屏幕比例，θ为内窥镜视觉范围夹角。
可选地，所述根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系包括：
获取所述坐标范围与所述空间坐标沿坐标轴方向的绝对值差值；
当所述绝对值差值大于第一预设阈值时，确定所述手术器械位于所述内窥镜图像内部；
当所述绝对值差值小于第一预设阈值，且大于第二预设阈值时，确定所述手术器械位于所述内窥镜图像边缘；
当所述绝对值差值小于第二预设阈值时，确定所述手术器械超出所述内窥镜图像范围。
可选地，腔镜手术机器人手术器械位置判断方法还包括：
当所述手术器械位于所述内窥镜图像边缘时，生成第一提示指令，用于控制所述内窥镜图像中对应的画面边框进行闪烁提示；
当所述手术器械超出所述内窥镜图像范围时，生成第二提示指令，用于控制所述内窥镜图像中对应的画面边框进行常亮提示。
可选地，腔镜手术机器人手术器械位置判断方法还包括：
对多个所述手术器械分别赋予标签信息；
当检测到所述手术器械的所述第一提示指令和/或所述第二提示指令时，在所述内窥镜图像中对应的所述画面边框处显示所述标签。
本发明的有益效果是：通过获取手术臂内臂运行时的参数信息，并基于预设几何参数建立的几何参数模型得到当前参数下手术臂内臂的位姿，确定对应位姿在内窥镜图像坐标系的坐标位置，通过视觉平面方程得到坐标点位所在的视觉平面边界范围，通过比较空间坐标的横纵坐标与边界范围关系确定手术器械所在位置；仅通过内臂参数确定当前位姿下的手术器械空间坐标，并基于视觉平面方程的关系确定对应截面的约束范围，从而将空间坐标与约束范围比较得到手术器械在内窥镜图像中的位置关系。避免了传统位置获取方法中依赖于图像信息导致的识别精度低，位置判断不准确的问题，且通过视觉平面方程确定了内窥镜图像对应的照射空间，判断当前参数下手术器械与照射空间的位置关系，避免了内窥镜图像清晰度带来的判断误差，同时也解决了内窥镜图像中，多个手术器械自身和/或互相之间造成的图像遮挡无法明确手术器械位置的问题，有效地提高了操作人员操作过程中，对所有手术器械位置获取的及时性，降低了因手术器械超出画面导致误伤的可能性。
第二方面，本发明提供了一种腔镜手术机器人手术器械位置判断装置，包括：
检测单元，所述检测单元用于获取手术臂内臂的实时运行参数；
模型模拟单元，所述模型模拟单元用于根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
坐标获取单元，所述坐标获取单元用于根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；
平面确定单元，所述平面确定单元用于将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
比较单元，所述比较单元用于根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。
本发明所述腔镜手术机器人手术器械位置判断装置与所述腔镜手术机器人手术器械位置判断方法相对于现有技术的优势相同，在此不再赘述。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如第一方面中任一项所述的腔镜手术机器人手术器械位置判断方法。
本发明所述的计算机可读性存储介质与所述腔镜手术机器人手术器械位置判断方法相对于现有技术的优势相同，在此不再赘述。
附图说明
图1为本发明实施例的腔镜手术机器人手术器械位置判断方法的流程示意图；
图2为本发明实施例的腔镜手术机器人内窥镜照射区域的示意图；
图3为本发明实施例的腔镜手术机器人显示屏幕示意图；
图4为本发明实施例的腔镜手术机器人手术器械位置判断装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
如图1所示，本发明实施例一种腔镜手术机器人手术器械位置判断方法，包括：
步骤S1：获取手术臂内臂的实时运行参数；
具体地，在本实施例中，通过手术臂内臂各关节处的传感器装置，获取手术臂内臂各个关节点位的运行参数，例如获取关节处的扭转角度和俯仰角度等参数。
步骤S2：根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
具体地，在本实施例中，基于预设的手术臂内臂的臂长、臂宽等参数，以及手术臂内臂各个摆件之间的连接关系，建立手术臂内臂的几何参数模型，其中手术器械位于手术臂内臂的末端位置。
步骤S3：根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；
具体地，将检测获取的手术臂各个关节处运行参数输入到集合参数模型中，模拟获得手术臂内臂在当前参数下的体位姿态，并将该位姿的手术臂内臂置入内窥镜图像坐标系，得出手术器械的空间坐标点位。
步骤S4：将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
具体地，将前一步骤获得的空间坐标输入到视觉平面方程，得到对应的空间坐标处平行于镜头的平面的可视范围，确定对应的可视范围的坐标阈值，分别确定得到的X轴范围与Y轴范围。
步骤S5：根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。
具体地，在本实施例中，比较实际获得的空间坐标的(X，Y，Z)值中的X坐标值与X轴坐标范围关系，Y轴坐标值与Y轴坐标范围关系，从而得出空间坐标分别与坐标范围的最小的差值绝对值；通过实际显示屏幕参数和视觉坐标范围确定手术器械的空间坐标点所在平面的缩放比例系数，根据缩放系数将上述的差值绝对值进行放大或缩小操作得到映射差值，而后和第一预设阈值、第二预设阈值进行比较从而确定当前手术器械所在位置。
其中，本实施例中仅展示针对手术臂内臂的某一手术器械在内窥镜图像中的的位置过程，应当理解的是，以单一手术器械所在手术臂内臂末端的位置确定过程为例，将手术器械所在内臂的运行参数代入对应手术臂内臂几何参数模型中确定其在空间中的空间坐标，并确定空间坐标是否超出所在平面的可视范围，从而确定手术器械在内窥镜画面中的位置关系。针对手术臂携带有多个手术器械，各手术器械在内窥镜画面中的位置确定方法不再赘述，按照上述采集、模拟、平面范围确定和比较的流程执行即可。
在本实施例中，通过获取手术臂内臂运行时的参数信息，并基于预设几何参数建立的几何参数模型得到当前参数下手术臂内臂的位姿，确定对应位姿在内窥镜图像坐标系的坐标位置，通过视觉平面方程得到坐标点位所在的视觉平面边界范围，通过比较空间坐标的横纵坐标与边界范围关系确定手术器械所在位置；仅通过内臂参数确定当前位姿下的手术器械空间坐标，并基于视觉平面方程的关系确定对应截面的约束范围，从而将空间坐标与约束范围比较得到手术器械在内窥镜图像中的位置关系。避免了传统位置获取方法中依赖于图像信息导致的识别精度低，位置判断不准确的问题，且通过视觉平面方程确定了内窥镜图像对应的照射空间，判断当前参数下手术器械与照射空间的位置关系，避免了内窥镜图像清晰度带来的判断误差，同时也解决了内窥镜图像中，多个手术器械自身和/或互相之间造成的图像遮挡无法明确手术器械位置的问题，有效地提高了操作人员操作过程中，对所有手术器械位置获取的及时性，降低了因手术器械超出画面导致误伤的可能性。
在一个可选的实施例中，所述内臂几何参数包括所述手术臂内臂的部件尺寸和所述手术臂内臂的连接关系；所述根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型包括：
根据所述部件尺寸和所述连接关系确定所述手术臂内臂的几何关系；
确定内窥镜图像中心点为基点，根据所述手术臂内臂的几何关系建立所述几何参数模型，所述几何参数模型用于根据所述运行参数得到所述内臂的位姿。
具体地，根据内臂结构实际的几何尺寸(如长、宽、高以及形状等)以及手术内臂连接关系(如内臂部件之间的抵接、滑动连接、转动连接等)，确定手术臂内臂的几何物理关系；将内窥镜图像中心点作为基点，穿过中心点的图像法线为Z坐标轴，画面的右方向为X轴正方向，画面的上方向为Y轴正方向建立内窥镜图像的空间坐标系；基于手术臂内臂的几何物理关系，在坐标系原点建立几何参数模型，几何参数模型的基点与坐标系原点重合。
在本实施例中，通过预设的几何信息和实际采集的实时参数信息模拟了手术臂内臂的几何参数模型，并将其设置在内窥镜坐标系中得到内窥镜图像范围中的空间坐标，快速准确的确定实际的终端位置坐标，采用参数模型避免了传统视觉识别方法对图像的依赖性，解决了图像模糊或目标被遮挡时无法准确实时获取手术器械位置的问题。
在一个可选的实施例中，所述根据所述实时运行参数得到所述手术臂内臂末端的手术器械在几何参数模型坐标系的空间坐标包括：
将所述实时运行参数输入所述几何参数模型得到当前参数下所述手术臂内臂的位姿；
根据所述位姿确定所述手术臂内臂末端的所述手术器械在内窥镜坐标系中的所述空间坐标。
具体地，将获取的实时运行参数输入到建立的几何参数模型中，如将各关节扭转角度输入到几何参数模型中，得到几何参数模型模拟出来位姿，并将该位姿状态结合参数模型基点的空间坐标系进行表示，获得实际的手术器械在内窥镜图像中的坐标点位。
在本实施例中，通过结合几何参数模型与空间坐标系，基于获取运行参数模拟出几何参数模型实际位姿并确定其在视觉范围中的空间坐标，能够快速的确定手术器械的实际位置，减少识别判断过程中的运算量，提高对于手术器械位置变换的灵敏度，减少了判断过程中的误差。
在一个可选的实施例中，将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围包括：
将所述空间坐标的Z轴坐标输入到所述视觉平面方程中，得到所述Z轴坐标处，X-Y平面的X轴范围和Y轴范围；
根据所述X轴范围和所述Y轴范围确定所述手术器械所在平面的视觉坐标范围。
进一步地，所述视觉平面方程包括：
其中，x为所述X轴范围、y为所述Y轴范围、z为所述空间坐标的Z轴坐标，k为预设的屏幕比例，θ为内窥镜视觉范围夹角。
具体地，如图2所示，通过物理几何模型获取的手术器械的空间坐标(x1，y1，z1)，将其中的纵坐标z1输入到上述的f(z)函数中，分别可以获取到X轴的约束范围x2和Y轴约束范围y2；从而确定手术器械所在平面的范围有x∈(-x2，x2)、y∈(-y2，y2)，而后比较空间坐标中的x1、y1与约束范围的关系。
其中，视觉平面方程用于根据预设的屏幕比例k，和测量获得的内窥镜视觉夹角θ，代入获取到的高度坐标z，分别运算当前高度下对应的内窥镜视图的横截面的几何信息，得到横截面矩形的四个端点A、B、C、D，A(-x，y)为X-Y平面中第二象限端点；B(-x，y)为X-Y平面中第一象限端点；C(-x，-y)为X-Y平面中第三象限端点；D(x，-y)为X-Y平面中第四象限端点，Z(H)为横截面距内窥镜坐标系距离，L为视觉范围长度，W为视觉范围宽度，R为对应截面的视觉半径。
在本实施例中，通过设置视觉平面方程，从而获得手术器械当前所在高度的视觉平面范围，进而去判断二者之间的关系，有利于快速判断手术器械的位置关系，判断速度快，结果可信度高，有助于使用者及时发现并调整手术器械位置。
在一个可选的实施例中，所述根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系包括：
获取所述坐标范围与所述空间坐标沿坐标轴方向的绝对值差值；
当所述绝对值差值大于第一预设阈值时，确定所述手术器械位于所述内窥镜图像内部；
当所述绝对值差值小于第一预设阈值，且大于第二预设阈值时，确定所述手术器械位于所述内窥镜图像边缘；
当所述绝对值差值小于第二预设阈值时，确定所述手术器械超出所述内窥镜图像范围。
进一步地，腔镜手术机器人手术器械位置判断方法还包括：
当所述手术器械位于所述内窥镜图像边缘时，生成第一提示指令，用于控制所述内窥镜图像中对应的画面边框进行闪烁提示；
当所述手术器械超出所述内窥镜图像范围时，生成第二提示指令，用于控制所述内窥镜图像中对应的画面边框进行常亮提示。
进一步地，腔镜手术机器人手术器械位置判断方法还包括：
对多个所述手术器械分别赋予标签信息；
当检测到所述手术器械的所述第一提示指令和/或所述第二提示指令时，在所述内窥镜图像中对应的所述画面边框处显示所述标签。
具体地，如图3所示，例如获取到空间坐标点P(3，2，6)，随即确定高度6所在的X-Y平面的可视坐标范围，A(-x，y)、B(-x，y)、C(-x，-y)、D(x，-y)分别是横截面矩形得到四个端点，其中x∈(-5，5)，y∈(-4，4)；即得到有A(-5，4)、B(-5，4)、C(-5，-4)、D(5，-4)随即确定P点在X轴上的绝对值差值为2，在Y轴上的绝对值差值为3；根据实际的屏幕数值确定缩放系数为0.5，经过缩放后得到最终的最小差值为1，此时和预设的第一阈值0.5、第二阈值0进行比较，确定该点P处于屏幕范围内，手术器械处于可视范围内。
在另一情况中，还存在最终最小差值为0.2的Q点(3，3.6，6)，以及最小差值为-0.1的W点(-5.2，3，6)，由预设的阈值范围比较可以得出，Q点处于屏幕上边界边缘，此时生成Q点对应的手术器械标签置于内窥镜画面上边界处，并控制上边界画面边缘边界线闪烁；W点超出内窥镜画面，此时手术器械不在可视范围内，W点对应手术器械位于画面左侧边界外，此时生成W点对应的手术器械标签置于内窥镜画面左边界处，并控制左边界画面边缘边界线常亮提示。
在本实施例中，通过比较手术器械所在的空间横截面的可视坐标范围以及预设的阈值，确定手术器械在内窥镜图像中的位置方向和位置状态，当手术器械靠近屏幕边缘生成标签并进行提示，当手术器械超出画面范围，在对应边界处生成标签信息并进行示警，有助于操作人员及时确认各手术器械位置，并且有助于及时找到超出画面位置的手术器械，既方便了操作人员及时找到手术器械所在位置，又有助于提示未知器械位置，有助于避免手术装置前进时，超出画面的未知手术器械对人体造成误伤的情况。
示例性的，本发明可供选择的方案还包括：采用预设的图像分割模型对内窥镜图像进行分析，得到手术器械在图像中的位置关系，当图像分割模型无法获取到目标信息时，采用上述任意一项实施例中的技术方案获取手术器械的位置关系，并根据获取的位置关系结果在内窥镜画面中对模糊不清和/或被遮挡的目标进行虚拟显示。
本方案采用基础图片识别方法进行手术器械位置判断，其中在手术器械无法准确识别目标对象时，采用上述的手术器械位置判断方法，得到手术器械在画面中的位置关系，而后对被遮挡或不清晰的手术器械进行虚拟标识，有助于使用者直观的感受到画面中手术器械的位置。
第二方面，结合图4所示，本发明提供了一种腔镜手术机器人手术器械位置判断装置，包括：
检测单元，所述检测单元用于获取手术臂内臂的实时运行参数；
模型模拟单元，所述模型模拟单元用于根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
坐标获取单元，所述坐标获取单元用于根据所述实时运行参数得到所述手术臂内臂末端的手术器械在几何参数模型坐标系的空间坐标；
平面确定单元，所述平面确定单元用于将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
比较单元，所述比较单元用于根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置。
本发明所述腔镜手术机器人手术器械位置判断装置与所述腔镜手术机器人手术器械位置判断方法相对于现有技术的优势相同，在此不再赘述。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如第一方面中任一项所述的腔镜手术机器人手术器械位置判断方法。
本发明所述的计算机可读性存储介质与所述腔镜手术机器人手术器械位置判断方法相对于现有技术的优势相同，在此不再赘述。
现将描述可以作为本发明的服务器或客户端的电子设备，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
电子设备包括计算单元，其可以根据存储在只读存储器(ROM)中的计算机程序或者从存储单元加载到随机访问存储器(RAM)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种腔镜手术机器人手术器械位置判断方法，其特征在于，包括：
获取手术臂内臂的实时运行参数；
根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；
将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。
2.根据权利要求1所述的腔镜手术机器人手术器械位置判断方法，其特征在于，所述内臂几何参数包括所述手术臂内臂的部件尺寸和所述手术臂内臂的连接关系；所述根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型包括：
根据所述部件尺寸和所述连接关系确定所述手术臂内臂的几何关系；
确定内窥镜图像中心点为基点，根据所述手术臂内臂的几何关系建立所述几何参数模型，所述几何参数模型用于根据所述运行参数得到所述内臂的位姿。
3.根据权利要求1所述的腔镜手术机器人手术器械位置判断方法，其特征在于，所述根据所述实时运行参数得到所述手术臂内臂末端的手术器械在几何参数模型坐标系的空间坐标包括：
将所述实时运行参数输入所述几何参数模型得到当前参数下所述手术臂内臂的位姿；
根据所述位姿确定所述手术臂内臂末端的所述手术器械在内窥镜坐标系中的所述空间坐标。
4.根据权利要求1所述的腔镜手术机器人手术器械位置判断方法，其特征在于，将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围包括：
将所述空间坐标的Z轴坐标输入到所述视觉平面方程中，得到所述Z轴坐标处，X-Y平面的X轴范围和Y轴范围；
根据所述X轴范围和所述Y轴范围确定所述手术器械所在平面的视觉坐标范围。
5.根据权利要求4所述的腔镜手术机器人手术器械位置判断方法，其特征在于，所述视觉平面方程包括：
其中，x为所述X轴范围、y为所述Y轴范围、z为所述空间坐标的Z轴坐标，k为预设的屏幕比例，θ为内窥镜视觉范围夹角。
6.根据权利要求1所述的腔镜手术机器人手术器械位置判断方法，其特征在于，所述根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系包括：
获取所述坐标范围与所述空间坐标沿坐标轴方向的绝对值差值；
当所述绝对值差值大于第一预设阈值时，确定所述手术器械位于所述内窥镜图像内部；
当所述绝对值差值小于第一预设阈值，且大于第二预设阈值时，确定所述手术器械位于所述内窥镜图像边缘；
当所述绝对值差值小于第二预设阈值时，确定所述手术器械超出所述内窥镜图像范围。
7.根据权利要求6所述的腔镜手术机器人手术器械位置判断方法，其特征在于，还包括：
当所述手术器械位于所述内窥镜图像边缘时，生成第一提示指令，用于控制所述内窥镜图像中对应的画面边框进行闪烁提示；
当所述手术器械超出所述内窥镜图像范围时，生成第二提示指令，用于控制所述内窥镜图像中对应的画面边框进行常亮提示。
8.根据权利要求7所述的腔镜手术机器人手术器械位置判断方法，其特征在于，还包括：
对多个所述手术器械分别赋予标签信息；
当检测到所述手术器械的所述第一提示指令和/或所述第二提示指令时，在所述内窥镜图像中对应的所述画面边框处显示所述标签。
9.一种腔镜手术机器人手术器械位置判断装置，其特征在于，包括：
检测单元，所述检测单元用于获取手术臂内臂的实时运行参数；
模型模拟单元，所述模型模拟单元用于根据预设的内臂几何参数建立所述手术臂内臂的几何参数模型；
坐标获取单元，所述坐标获取单元用于根据所述实时运行参数得到所述手术臂内臂的末端的手术器械在所述几何参数模型坐标系的空间坐标；
平面确定单元，所述平面确定单元用于将所述空间坐标输入视觉平面方程中，得到所述手术器械所在平面的视觉坐标范围；
比较单元，所述比较单元用于根据所述坐标范围和所述空间坐标确定所述手术器械与内窥镜图像的位置关系。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-8任一项所述的腔镜手术机器人手术器械位置判断方法。
CN202310907387.8A 2023-07-21 2023-07-21 腔镜手术机器人手术器械位置判断方法、装置及存储介质 Pending CN116803354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310907387.8A CN116803354A (zh) 2023-07-21 2023-07-21 腔镜手术机器人手术器械位置判断方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310907387.8A CN116803354A (zh) 2023-07-21 2023-07-21 腔镜手术机器人手术器械位置判断方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116803354A true CN116803354A (zh) 2023-09-26

Family

ID=88080775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310907387.8A Pending CN116803354A (zh) 2023-07-21 2023-07-21 腔镜手术机器人手术器械位置判断方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116803354A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221177A (zh) * 2023-11-08 2023-12-12 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117221177A (zh) * 2023-11-08 2023-12-12 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统
CN117221177B (zh) * 2023-11-08 2024-01-09 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统

Similar Documents

Publication Publication Date Title
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
CN111195897B (zh) 用于机械手臂系统的校正方法及装置
EP3608755A1 (en) Electronic apparatus operated by head movement and operation method thereof
US20210312171A1 (en) Human body three-dimensional key point detection method, model training method and related devices
CN116803354A (zh) 腔镜手术机器人手术器械位置判断方法、装置及存储介质
US10708479B2 (en) Optical measurement of object location in three dimensions
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
US10437342B2 (en) Calibration systems and methods for depth-based interfaces with disparate fields of view
CN114952856A (zh) 机械臂手眼标定方法、系统、计算机及可读存储介质
CN112558043A (zh) 一种激光雷达的标定方法及电子设备
CN110796702B (zh) 一种基于机器视觉的工业设备识别定位方法、系统及设备
CN114900688A (zh) 相机组件的检测方法、检测设备以及计算机可读存储介质
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN116269763A (zh) 坐标转换关系的标定方法、装置、手术导航系统和介质
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
CN116188447A (zh) 印制电路板检测定位方法、装置、电子设备和存储介质
JP2020071739A (ja) 画像処理装置
CN111870346B (zh) 机器人与影像设备的空间注册方法、装置及电子设备
JP3276010B2 (ja) 情報の入力方法
CN113012281B (zh) 人体模型的确定方法、装置、电子设备及存储介质
CN112347860B (zh) 基于梯度的眼部状态检测方法及计算机可读存储介质
CN117322997A (zh) 一种腔镜手术机器人显示系统、方法、装置及存储介质
CN117532585A (zh) 手眼标定方法、装置、设备及存储介质
CN117809064A (zh) 一种设备标签检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination