CN116509540A - 内窥镜运动控制方法、装置、计算机设备和存储介质 - Google Patents

内窥镜运动控制方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116509540A
CN116509540A CN202310294705.8A CN202310294705A CN116509540A CN 116509540 A CN116509540 A CN 116509540A CN 202310294705 A CN202310294705 A CN 202310294705A CN 116509540 A CN116509540 A CN 116509540A
Authority
CN
China
Prior art keywords
endoscope
pose
operation object
control mode
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310294705.8A
Other languages
English (en)
Inventor
请求不公布姓名
陈惠铭
王家寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202310294705.8A priority Critical patent/CN116509540A/zh
Publication of CN116509540A publication Critical patent/CN116509540A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及一种内窥镜运动控制方法、装置、计算机设备和存储介质。所述方法包括：获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。采用本方法能够在调节内窥镜动作的过程中不中断机械臂的操作，有利于保障手术连贯性，缩短手术时间；操作对象可在手术操作过程中，随时进行图像操作，获取更好的观察视角，有助操作对象进行更准确的术中决策。

Description

内窥镜运动控制方法、装置、计算机设备和存储介质
技术领域
本申请涉及内窥镜控制技术领域，特别是涉及一种内窥镜运动控制方法、装置、计算机设备和存储介质。
背景技术
在机器人辅助的内窥镜手术中，医生从成像装置中获取内窥镜图像，控制内窥镜运动(如平移、旋转、缩放)，以获取更好的视野；调整或更换观察视角，获取更多的成像细节。目前，控制内窥镜运动需要中断手术操作，影响手术操作连贯性，不利于缩短手术操作时长；并且不涉及对图像的同步调节，使操作对象转换视角的操作受到限制。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在不中断手术操作的前提下，随时控制内窥镜运动，获取更好的观察视角的内窥镜运动控制方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种内窥镜运动控制方法，所述方法包括：
获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
在其中一个实施例中，控制模式至少分为第一控制模式和第二控制模式，第一控制模式为切换内窥镜的观察对象并调整内窥镜的观察视角；第二控制模式为保持内窥镜的观察对象不变，并调整内窥镜的观察视角；根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式，包括：
若多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征，则确定内窥镜的控制模式为第一控制模式，第一控制模式对应的第一移动方式为在平面内运动；
若多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征，则确定内窥镜的控制模式为第二控制模式，第二控制模式对应的第二移动方式为在空间内运动。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；根据瞳孔位置信息和运动指令，生成控制内窥镜在控制模式下运动的控制指令，包括：
将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置，根据注视点位置在内窥镜坐标系下的注射点映射位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第一控制模式下对应的第一移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令，包括：
根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置；根据注视点位置增量和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令，包括：
将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量；根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第二控制模式下对应的第二移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令，包括：
根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置，按照预设比例系数，将操作对象的头部绝对位置转换为位置增量矩阵，根据注视点位置增量、位置增量矩阵和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，所述方法还包括：
在控制内窥镜运动的过程中，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度；
根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
第二方面，本申请还提供了一种内窥镜运动控制装置，所述装置包括：
采集模块，用于获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
注视点位置计算模块，用于根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
控制模式分类模块，用于根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
内窥镜运动控制模块，用于根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
第三方面，本申请还提供了一种内窥镜运动控制系统，所述系统包括：
机械臂和装载于机械臂末端的内窥镜；
立体监视器，佩戴于操作对象的头部，用于获取操作对象的瞳孔位置信息和操作对象的头部微运动信息；
控制装置，与机械臂、内窥镜以及立体监视器分别通讯连接，控制装置用于根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；根据立体监视器采集的操作对象的头部微运动信息，生成运动指令；运动指令用于反映操作对象的观察意向；控制装置根据瞳孔位置信息以及运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；根据控制指令控制机械臂携带内窥镜按照控制模式下对应的移动方式进行运动。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
上述内窥镜运动控制方法、装置、计算机设备和存储介质，基于操作对象在各内窥镜图像中的观察区域相应的图像特征，确定内窥镜的控制模式，并根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令，根据控制指令控制内窥镜运动。上述控制内窥镜运动的过程中，可以通过改变瞳孔位置信息和/或运动指令，即可在不中断机械臂的操作的前提下调节内窥镜的位姿，有利于保障手术连贯性，缩短手术时间；操作对象可在手术操作过程中，随时进行图像操作，获取更好的观察视角，有助操作对象进行更准确的术中决策。
附图说明
图1为一个实施例中内窥镜运动控制方法的应用环境图；
图2为一个实施例中内窥镜运动控制方法的流程示意图；
图3为一个实施例中由头部浮动平台力传感器提取头部微运动的机构原理图；
图4为另一个实施例中采用陀螺仪获取头部微运动进行内窥镜控制的应用场景示意图；
图5为一个实施例中采用机械浮动平台及编码器获取头部微运动进行内窥镜控制的场景示意图；
图6为一个实施例中第一控制模式下注视点位置的变化示意图；
图7为一个实施例中第二控制模式下注视点位置的变化示意图；
图8为一个实施例中内窥镜控制原理框图；
图9为一个实施例中实施由头部微运动获取内窥镜位置控制指令的坐标示意图；
图10为一个实施例中实施由头部微运动获取内窥镜位置控制指令的计算流程图；
图11为一个实施例中实施由眼动获取操作对象注视点的流程图；
图12为一个实施例中第一控制模式下利用头部绝对位姿进行内窥镜运动规划的流程图；
图13为一个实施例中第一控制模式下利用头部绝对位姿进行内窥镜控制的计算方法示意图；
图14为一个实施例中第一控制模式下利用头部增量位姿进行内窥镜运动规划的流程图；
图15为一个实施例中第一控制模式下利用头部增量位姿进行内窥镜控制的计算方法示意图；
图16为一个实施例中第二控制模式下利用头部绝对位姿进行内窥镜运动规划的流程图；
图17为一个实施例中第二控制模式下利用头部绝对位姿进行内窥镜控制的计算方法示意图；
图18为一个实施例中按照第二控制模式控制内窥镜时，利用头部绝对位姿进行图像旋转补偿的方法示意图；
图19为一个实施例中第二控制模式下利用头部增量位姿进行内窥镜运动规划的流程图；
图20为一个实施例中第二控制模式下利用头部增量位姿进行内窥镜控制的计算方法示意图；
图21为一个实施例中按照第二控制模式控制内窥镜时，利用头部增量位姿进行图像旋转补偿的方法示意图；
图22为一个实施例中内窥镜运动控制装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的内窥镜运动控制系统，可以应用于如图1所示的应用环境中。其中，内窥镜运动控制系统包括至少一条操作臂102、立体监视器104、内窥镜106、至少一条机械臂108、图像处理器(图1未示出)以及运动控制器(图1未示出)。
操作对象通过操作臂102控制机械臂108运动，进行手术器械操作。内窥镜106耦接在机械臂108上，运动控制器将操作臂102末端运动，转化为使内窥镜106末端实现平移、旋转等动作，图像处理器将内窥镜106接收到的内窥镜图像投射至立体监视器104。立体监视器104中的摄像设备拍摄使用者的眼部图像，并将眼部图像传输至图像处理器中。
图像处理器处理立体监视器104中摄像设备得到的眼部图像，获取操作对象的瞳孔位置信息，根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域以及计算操作对象在观察区域中的注视点位置，根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式，并将注视点位置发送至运动控制器。
运动控制器通过立体监视器104采集的头部微运动信息生成运动指令，并根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
在一个实施例中，如图2所示，提供了一种内窥镜运动控制方法，以该方法应用于图1中的运动控制器为例进行说明，包括以下步骤：
步骤202，获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像。
其中，瞳孔位置信息指操作对象的瞳孔在操作对象的眼眶内转动的轨迹信息。瞳孔位置信息通过立体监视器中摄像设备连续拍摄操作对象的眼部图像，并通过瞳孔-角膜反射向量法提取眼部图像中的瞳孔位置信息。
在一些实施例中，如图3所示，立体监视器104通过铰链安装在立体监视器支架11上，并可绕铰链调整俯仰角度。头部支承平台12安装在立体监视器104上端，与操作对象头部接触，六维力传感器13安装在头部支承平台12和立体监视器104之间，用于测量两者间的相互作用力，操作对象进行观察时，将额头紧靠在头部支承平台11上，两者的接触力通过头部支承平台11传递给六维力传感器13；六维力传感器13将受到的力转化为电信号，传递给运动控制器，用以获取操作对象头部微运动。立体监视器104的视窗位置安装有可拍摄到操作对象双眼的摄像设备(图2未示出)，用于拍摄操作对象眼部图像，用于追踪眼球运动。
在一些实施例中，如图4所示，立体监视器104为头戴式立体监视器。头戴式立体监视器固定在操作对象头部，立体监视器104上安装有陀螺仪14，测量立体监视器104随头部在空间中的位移与姿态，计算获取操作对象头部微运动指令。立体监视器104的视窗位置安装有可拍摄到操作对象双眼的摄像设备(图3未示出)，用于拍摄操作对象眼部图像，用于追踪眼球运动。在该实施例中，操作对象可通过头部动作及眼球运动实现对内窥镜的运动控制。
在一些实施例中，如图5所示，立体监视器104为固定式立体监视器。固定式立体监视器与医生控制台S连接，在进行手术操作时保持相对静止状态。机械式浮动平台15的固定端固定在立体监视器104上，其浮动端与操作对象额头贴合。当操作对象头部发生运动时，会带动机械式浮动平台15的浮动端一起运动，安装在机械式浮动平台15关节上的编码器16可测得关节转动角度，结合机械式浮动平台15的运动学模型，可计算得到浮动端的位移和姿态，从而获取操作对象头部微运动。固定式立体监视器内部安装有可拍摄到操作对象双眼的摄像设备(图4未示出)，用于拍摄操作对象眼部图像，用于追踪眼球运动。在该实施例中，操作对象可通过头部动作及眼球运动实现对内窥镜的运动控制。
可选地，图像处理器处理立体监视器中摄像设备得到的眼部图像，通过瞳孔-角膜反射向量法提取眼部图像中的瞳孔位置信息，并将瞳孔位置信息传递至运动控制器，运动控制器获取图像处理器处理得到的瞳孔位置信息以及内窥镜采集的多张内窥镜图像。
步骤204，根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域。
可选地，图像处理器根据操作对象的瞳孔位置信息，确定操作对象在各内窥镜图像上的注视点位置，以注视点位置为基点，预设尺寸划分的区域确定为观察区域。
步骤206，根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式。
其中，内窥镜的控制模式至少分为第一控制模式和第二控制模式。第一控制模式为切换内窥镜的观察对象并调整内窥镜的观察视角；第二控制模式为保持内窥镜的观察对象不变，并调整内窥镜的观察视角。
在一些实施例中，步骤206具体包括以下步骤：
若多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征，则确定内窥镜的控制模式为第一控制模式；第一控制模式对应的第一移动方式为在平面内运动；若多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征，则确定内窥镜的控制模式为第二控制模式；第二控制模式对应的第二移动方式为在空间内运动。
其中，多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征，说明操作对象的注视点位置发生变化，即切换了观察对象，若此时运动控制器接收到操作对象的运动指令，则判定内窥镜的控制模式为第一控制模式，需要控制内窥镜的镜头指向调整至终末注视点。在第一控制模式下，操作对象使用内窥镜的观察对象变化时，操作对象注视点也会发生位置变化，此时，若运动控制器检测到头部微运动时，控制内窥镜的位姿变化，以使得观察对象移动至视野中心。如图6所示，初始注视点a位于物体A上，终末注视点b位于物体B上。当操作对象的注视点位置改变，例如从a更改到b，此时操作对象头部微运动将用来控制内窥镜移动，使内窥镜延a至b运动。在更换观察对象的过程中，内窥镜末端以平移为主，通过姿态的旋转，保证平移前后视平线保持水平。
多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征，说明操作对象的注视点位置未发生变化，即未切换观察对象，若此时运动控制器接收到操作对象的运动指令，则判定内窥镜的控制模式为第二控制模式，需要绕注视点位置旋转，直至内窥镜图像中包含所期望的观察视角下的图像特征。在第二控制模式下，操作对象使用内窥镜的观察对象不变，并且运动控制器检测到头部微运动时，控制内窥镜末端位置绕初始注视点旋转，内窥镜末端位置运动至期望位姿，在内窥镜末端位置运动至期望位姿后，操作对象的注视点位置由初始注视点位置移动至终末注视点位置，并在运动控制器检测到头部微运动时，控制内窥镜的位姿变化，以使得观察对象移动至视野中心。如图7中左侧图像所示，物体A和物体B在当前视野下呈现层叠状态，此时，操作对象是无法观察到物体B。初始注视点a位于物体A上，为观察到物体B，此时需要对内窥镜进行以下控制：操作对象产生至少一次用来控制内窥镜移动的头部微运动，使运动控制器控制内窥镜末端位置绕初始注视点旋转至期望位姿，以获得如图7中右侧图像所示的观察视野。若在图7中右侧图像所示的观察视野下，满足操作对象的观察需求，则操作对象不会再产生头部运动指令。若在图7中右侧图像所示的观察视野下，物体B未处于视野中心，则需要控制内窥镜的镜头指向物体B，此时，操作对象的初始注视点改变，终末注视点b位于物体B上，即注视点从图7中右侧图像的物体A上移动至物体B上，并且操作对象产生用来控制内窥镜移动的头部微运动，使内窥镜延a至b运动，并保持镜头朝向指向终末注视点。在内窥镜的运动过程中，图像处理器将图像进行旋转，保持视平线与动作前平行。
需要注意的是：在第二控制模式下控制内窥镜运动时，若图7中右侧图像所示的观察视野下，物体B未处于视野中心，此时对内窥镜的控制与第一控制模式下对内窥镜的控制模式相同。
需要注意的是：初始注视点是操作对象在产生头部运动指令时在内窥镜图像上的注视点，终末注视点是操作对象在结束头部运动指令时在内窥镜图像上的注视点。
步骤208，根据瞳孔位置信息和运动指令，生成控制内窥镜在控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
其中，运动指令可以基于操作对象所使用的主操纵器的操控指令、或者操作对象所使用的沉浸式显示装置采集的头部微运动信息。
在一些实施例中，运动指令是基于立体监视器中六维力传感器采集的头部微运动信息生成的。如图3所示，根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令的流程如下：
步骤1，运动控制器根据操作对象的头部微运动信息，获取头部微运动参数，运动控制器根据头部微运动参数生成内窥镜姿态指令pref。
其中，头部微运动参数具体包括头部位置dhead、头部速度头部加速度/>和头部人机交互力矩τhead。内窥镜姿态指令pref用于指示运动控制器控制内窥镜的末端姿态执行至期望姿态。
本实施例通过六维力传感器采集操作对象的头部微运动信息，六维力传感器安装在基座上，浮动平台安装在六维力传感器的受力侧，操作对象头部与浮动平台受力端接触，浮动平台将操作对象头部的接触力传导至六维力传感器的受力侧。如图9所示，为立体监视器中各结构的坐标示意图，世界坐标表示为{s}，的整体的重心坐标表示为{g}。操作对象头部传感器安装基座坐标表示为{o}，浮动平台与头部的接触面中心点坐标表示为{c}。传感器以及浮动平台构成所在坐标系表示为{h}。
运动控制器根据头部微运动参数生成内窥镜姿态指令pref的流程图如图10所示，首先，读取传感器采集的数据，考虑四类传感器输入，表示在头部坐标系{h}下：头部位置dhead、头部速度头部加速度/>和头部人机交互力矩τhead。根据具体传感器类型，处理传感器数据，并表示为运动矢量，将矢量转化为相对传感器接触面的切向传感数据和法向传感数据。对传感器数据进行坐标变换，将切向传感数据和法向传感数据从传感器接触面坐标系转化至传感器安装基座坐标{o}下：头部位置do，头部速度do，头部加速度/>头部人机交互力矩τo。标定不同的传感器输入类型，获取四组参数，使四种类型的传感器输入与标定的参数可得到相同的线性特征，将进行标定处理得到的传感器数据通过特点的传感器融合算法，获取内窥镜姿态控制指令pref：
其中融合函数F包括但不限于加权平均融合、卡尔曼滤波、贝叶斯估计等方法。
步骤2，运动控制器根据接收的操作对象当前注视点deye以及实际内窥镜末端位姿矩阵Tfdb，计算内窥镜位置指令Rref，表示为齐次变换矩阵Tref：
其中，操作对象当前注视点deye的计算流程如图11所示，具体包括：通过立体监视器中摄像设备拍摄操作对象双眼图像。通过瞳孔-角膜反射向量法提取图像中的瞳孔位置，并利用角膜反射法校正摄像机与眼球的相对位置。利用双侧瞳孔位置计算得到注视点。滤除眼球无意识跳动，获取眼球在注视、平滑尾随状态下的注视点。将操作对象注视点位置映射至从端内窥镜臂运动空间，表示为deye。
内窥镜位置指令Rref用于指示运动控制器控制内窥镜的末端位置执行至期望位置。
可选地，运动控制器检测到内窥镜运动指令(运动阈值、受力阈值、物理按键或者语音等非接触式输入)，开启进行内窥镜控制；根据眼动计算内窥镜臂运动空间注视点位置deye；根据当前内窥镜关节角度，更新内窥镜笛卡尔位姿Tfdb，表示为如下形式，其中Rfdb为笛卡尔姿态，pfdb为笛卡尔位置：
根据内窥镜笛卡尔位姿Tfdb，以及内窥镜镜头到其焦点的齐次变换矩阵计算实际内窥镜注视点位置/>
注视点姿态。
将笛卡尔姿态表示为欧拉角(α,β,γ)，满足如下关系：
Rfdb＝Rz(α)Ry(β)Rx(γ)
根据注视点位置偏差，计算笛卡尔角度偏差Δα,Δβ,Δγ：
计算内窥镜镜头位置控制指令Rref：
Rref＝RerrRfdb＝Rz(α+Δα)Ry(β+Δβ)Rx(γ+Δγ)
步骤3，根据内窥镜姿态指令pref和内窥镜位置指令Rref，确定内窥镜期望位姿Tref；根据当前内窥镜位姿Tfdb以及内窥镜期望位姿Tref，进行内窥镜运动规划，计算内窥镜位姿控制指令Tcmd。
步骤4，进行逆运动学计算，将位姿控制指令Tcmd转化为关节空间的控制指令θ，并控制内窥镜运动。
步骤5，测量内窥镜臂各关节角度进行正运动学计算，更新实际内窥镜末端位姿矩阵Tfdb。
上述内窥镜运动控制方法中，基于操作对象在各内窥镜图像中的观察区域相应的图像特征，确定内窥镜的控制模式，并根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令，根据控制指令控制内窥镜运动。上述控制内窥镜运动的过程中，可以通过改变瞳孔位置信息和/或运动指令，即可在不中断机械臂的操作的前提下调节内窥镜的位姿，有利于保障手术连贯性，缩短手术时间；操作对象可在手术操作过程中，随时进行图像操作，获取更好的观察视角，有助操作对象进行更准确的术中决策。
在一个实施例中，在控制模式为第一控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令时，如图12所示，根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令包括：
步骤1202，将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态。
其中，头部绝对位姿包括操作对象的头部绝对姿态和头部绝对位置。六维传感器采集的头部绝对位姿是在立体监视器坐标系下的位姿参数。
可选地，如图13所示，运动控制器更新六维传感器数据；根据当前六维传感器读数，计算立体监视器坐标系下的头部微运动位姿，将立体监视器坐标系下的头部绝对姿态记为Rdisp，头部绝对位置记为Pdisp；将监视器坐标系下头部微运动位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对姿态的映射结果记为Rendo，将内窥镜坐标系下头部绝对位置映射结果记为Pendo，根据内窥镜臂运动学模型和内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；内窥镜的期望姿态表示为Rendo＝Rdisplay。
步骤1204，根据瞳孔位置信息，计算操作对象在内窥镜图像的观察区域中的注视点位置，根据注视点位置在内窥镜坐标系下的注射点映射位置，确定内窥镜的期望位置。
其中，根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置的步骤如图11所示，在此不再累述。
如图13所示，进行内窥镜控制之前，内窥镜的镜头指向物体A，操作对象的初始注视点位于物体A上一点，操作对象在物体A上的初始注视点a映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量Pa表示从内窥镜坐标系Mendo的基点O至初始注视点a的向量。进行内窥镜控制时，初始注视点a从物体A上一点转移至物体B上一点，操作对象在物体B上的终末注视点b映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量Pb表示从内窥镜坐标系Mendo的基点O至终末注视点b的向量，此时，内窥镜镜头由其初始位姿M0转换至其末端期望位姿MT。图13中，Pab为内窥镜坐标系Mendo下由初始注视点a指向终末注视点b的向量。
需要注意的是：初始注视点
由图13可知，内窥镜的期望位置根据以下公式计算得到：
式中，Rendo表示内窥镜的期望姿态；表示内窥镜的焦点相对内窥镜镜头的距离；/>表示内窥镜期望位置MT至终末注视点b的向量，即图13中MT至终末注视点位置b的向量。
步骤1206，根据期望姿态和期望位置，生成控制内窥镜按照第一控制模式下对应的第一移动方式进行运动的控制指令。
可选地，运动控制器根据内窥镜末端的期望姿态和期望位置，确定内窥镜的末端期望位姿，通过内窥镜臂运动学模型，逆解得到内窥镜各关节期望位置，根据内窥镜各关节期望位置生成内窥镜臂关节控制指令qcmd，根据内窥镜臂关节控制指令控制内窥镜运动，直至内窥镜的镜头焦点向量与终末注视点向量相等，即Pfocus＝Pb，Pfocus表示从内窥镜坐标系Mendo的基点O至内窥镜角点的向量，结束对内窥镜的控制。
本实施例中，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态，根据内窥镜坐标系下注视点位置的注射点映射位置，确定内窥镜的期望位置，根据内窥镜的初始位姿和内窥镜的期望位姿，规划内窥镜从初始注视点移动指终末注视点的路径。能够根据操作对象的头部绝对姿态和注视点位置，控制内窥镜在第一控制模式下进行运动，可以在调节内窥镜动作的过程中不中断机械臂的操作，有利于保障手术连贯性，缩短手术时间。
在一个实施例中，在控制模式为第一控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令时，如图14所示，根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令包括：
步骤1402，根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态。
其中，传感器采集操作对象的头部绝对位姿，头部绝对位姿包括头部绝对姿态ωdisplay和头部绝对位置vdisplay。
姿态增量矩阵表示为：dRendo，dRendo＝R(ωdisplay)。
内窥镜的下一时刻期望姿态基于以下公式计算得到：
Rt+1＝Rt·dRendo，其中，Rt表示内窥镜t时刻的姿态，Rt+1表示内窥镜t+1时刻的姿态。
可选地，运动控制器更新六维传感器数据；根据当前六维传感器读数，计算立体监视器坐标系下的操作对象的头部绝对位姿，并基于头部绝对位姿中的头部绝对姿态构造姿态增量矩阵，并将当前时刻的内窥镜的姿态和姿态增量矩阵的乘积，作为内窥镜的下一时刻期望姿态。
步骤1404，根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置；根据注视点位置增量和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量。
其中，进行内窥镜控制之前，内窥镜的镜头指向物体A，操作对象的初始注视点位于物体A上一点，操作对象在物体A上的初始注视点a映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量Pa表示从内窥镜坐标系Mendo的基点O至初始注视点a的向量。进行内窥镜控制时，初始注视点a从物体A上一点转移至物体B上一点，操作对象在物体B上的终末注视点b映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量Pb表示从内窥镜坐标系Mendo的基点O至终末注视点b的向量，此时，内窥镜镜头由其初始位姿M0转换至其末端位姿MT。图15中，Pab为内窥镜坐标系Mendo下由初始注视点a指向终末注视点b的向量。
本实施例采用单步控制方法，通过多次单步控制，才能控制内窥镜的末端从初始位姿M0转换至末端位姿MT。在进行内窥镜控制时，以内窥镜从t时刻运行至t+1时刻为例，在此过程中，如图15所示，内窥镜的位姿由t时刻的位姿MT转换至t+1时刻的位姿MT+1，注视点从Pt转移至Pt+1，将内窥镜从t时刻运行至t+1时刻的期间内，注视点位移表示为由ΔP。根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置的步骤如图11所示，在此不再累述。
内窥镜的下一时刻期望位置基于以下公式计算得到：
其中，pt表示内窥镜t时刻的位置，pt+1表示内窥镜t+1时刻的位置，I表示单位矩阵，/>表示内窥镜焦点相对镜头的位置。
其中，内窥镜的下一时刻期望位置计算公式推导过程如下：
内窥镜t时刻的镜头焦点向量Pfocus表示为：
内窥镜t+1时刻的镜头焦点向量P'focus表示为：
P'focus＝Pfocus+ΔP (3)；
联立上述公式(2)和公式(3)可得：
联立上述公式(1)和公式(4)可得：
/>
对公式(5)进行变换可得：
步骤1406，根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿。
可选地，运动控制器根据内窥镜末端的下一时刻期望姿态和下一时刻期望位置，确定内窥镜的下一时刻期望位姿，通过内窥镜臂运动学模型，逆解得到内窥镜各关节期望位置，根据内窥镜各关节期望位置生成内窥镜臂关节控制指令，根据内窥镜臂关节控制指令控制内窥镜运动。
步骤1408，将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
本实施例中，采用单步控制方法，通过多次单步控制，控制内窥镜的末端从初始位姿M0转换至末端位姿MT，在此过程中，能够根据操作对象的头部绝对姿态和注视点位置，控制内窥镜每一时刻对应的位姿，并控制内窥镜在第一控制模式下运动至期望位姿，可以在调节内窥镜动作的过程中不中断机械臂的操作，有利于保障手术连贯性，缩短手术时间。
在一个实施例中，在控制模式为第二控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令时，如图16所示，根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令包括：
步骤1602，将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态。
其中，如图17所示，进行内窥镜控制之前，内窥镜的镜头指向物体A，操作对象的初始注视点位于物体A上一点，操作对象在物体A上的初始注视点映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量P0表示从内窥镜坐标系Mendo的基点O至初始注视点的向量。进行内窥镜控制时，内窥镜先绕初始注视点旋转，旋转至内窥镜图像包括物体B时，操作对象将初始注视点从物体A上一点转移至物体B上一点，获得操作对象在物体B上的终末注视点。将终末注视点映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量PT表示从内窥镜坐标系Mendo的基点O至终末注视点的向量，此时，内窥镜镜头由其初始位姿M0转换至其末端期望位姿MT。
如图17所示，将传感器采集的头部绝对位置记为vdisplay，将头部绝对姿态记为ωdisplay。
可选地，运动控制器将采集的头部绝对姿态转换为姿态矩阵，并作为内窥镜期望姿态Rendoscope，内窥镜期望姿态Rendoscope表示为：
Rendoscope＝R(ωdisplay)
步骤1604，根据瞳孔位置信息，计算操作对象的注视点位置增量；根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置。
其中，在进行内窥镜控制时，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置的步骤如图9所示，在此不再累述，采用图11所示的流程获取内窥镜的位姿由t时刻的位姿MT转换至t+1时刻的位姿MT+1，注视点从Pt转移至Pt+1，将内窥镜从t时刻运行至t+1时刻的期间内，注视点位移表示为由ΔP。
内窥镜的期望位置pendo基于以下公式计算得到：
pendoscope＝k*(ΔP·vdisplay/|ΔP|)；
其中，k表示比例系数。
步骤1606，根据期望姿态和期望位置，生成控制内窥镜按照第二控制模式下对应的第二移动方式进行运动的控制指令。
可选地，运动控制器根据内窥镜末端的期望姿态和期望位置，规划内窥镜的运动轨迹，通过内窥镜臂运动学模型，逆解得到内窥镜各关节期望位置，根据内窥镜各关节期望位置生成内窥镜臂关节控制指令，根据内窥镜臂关节控制指令控制内窥镜运动，实时更新内窥镜的镜头焦点位置，直至内窥镜的镜头焦点向量与终末注视点向量相等，即Pfocus＝Pb，Pfocus表示从内窥镜坐标系Mendo的基点O至内窥镜角点的向量，结束对内窥镜的控制。
在一些实施例中，为使所显示的包含固定目标的图像符合预设的期望关注方位，本实施例在内窥镜按照规划路径进行运动的过程中，对内镜图像进行图像方位上的纠正处理，具体包括以下步骤：
步骤1，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度。
其中，根据操作对象的头部运动指令，确定内窥镜的末端运动轨迹为从图18中的M0至MT，在此过程中，内窥镜的末端从t时刻运动到t+1时刻，内窥镜的末端坐标从Mt运动至Mt+1，t时刻内窥镜绕内窥镜坐标系Z轴旋转角度αt：
式中，表示从t至t+1时刻内窥镜末端坐标的旋转矩阵；/>分别为旋转矩阵/>第1行1列，2行1列，3行1列的元素。
步骤2，根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
其中，内窥镜视野下的物体相对内窥镜z轴相对转动αt，将监视器所呈现的图像反向旋转αt，令监视器坐标(x,y)轴与内窥镜坐标系重合。经过该部计算，内窥镜末端坐标从Mt至Mt+1，视野延Pab从Pt至Pt+1，且视野下的物体不会出现旋转。
可选地，运动控制器根据内窥镜末端从当前时刻至下一时刻对应的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度，并按照当前时刻对应的旋转角度，旋转当前时刻的内窥镜图像，并将下一时刻的作为下一次迭代循环的当前时刻，并返回执行根据内窥镜末端从当前时刻至下一时刻对应的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度的步骤，直至内窥镜的镜头焦点位置与终末注视点重合。
本实施例中，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态，根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置，能够根据操作对象的头部绝对姿态和注视点位置，控制内窥镜在第二控制模式下进行运动，可以在调节内窥镜动作的过程中不中断机械臂的操作，有利于保障手术连贯性，缩短手术时间；并且在控制内窥镜运动的过程中，对每一时刻对应的内窥镜图像进行旋转补偿，以使得所显示的包含固定目标的图像符合预设的期望关注方位，并实现观察视角的调整。
在一个实施例中，在控制模式为第二控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令时，如图19所示，根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令包括：
步骤1902，根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态。
其中，如图20所示，传感器采集操作对象的头部绝对位姿，头部绝对位姿包括头部绝对姿态ωdisplay和头部绝对位置vdisplay。
姿态增量矩阵表示为dRendo，dRendo＝R(ωdisplay)。
可选地，运动控制器更新六维传感器数据；根据当前六维传感器读数，计算立体监视器坐标系下的操作对象的头部绝对位姿，并基于头部绝对位姿中的头部绝对姿态构造姿态增量矩阵dRendo，并将当前时刻的内窥镜的姿态和姿态增量矩阵的乘积，作为下一时刻内窥镜的期望姿态；即内窥镜的期望姿态基于以下公式计算得到：Rt+1＝Rt*dRendo，其中，Rt表示内窥镜t时刻的姿态，Rt+1表示内窥镜t+1时刻的姿态。
步骤1904，根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置，按照预设比例系数，将操作对象的头部绝对位置转换为位置增量矩阵，根据注视点位置增量、位置增量矩阵和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量。
其中，如图20所示，进行内窥镜控制之前，内窥镜的镜头指向物体A，操作对象的初始注视点位于物体A上一点，操作对象在物体A上的初始注视点映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量P0表示从内窥镜坐标系Mendo的基点O至初始注视点的向量。进行内窥镜控制时，内窥镜先绕初始注视点旋转，旋转至内窥镜图像包括物体B时，操作对象将初始注视点从物体A上一点转移至物体B上一点，获得操作对象在物体B上的终末注视点。将终末注视点映射至内窥镜坐标系Mendo，在内窥镜坐标系Mendo中用向量PT表示从内窥镜坐标系Mendo的基点O至终末注视点的向量，此时，内窥镜镜头由其初始位姿M0转换至其末端期望位姿MT。根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置的步骤如图11所示，在此不再累述。
内窥镜的下一时刻期望位置基于以下公式计算得到：
其中，pt表示内窥镜t时刻的位置，pt+1表示内窥镜t+1时刻的位置，I表示单位矩阵，/>表示内窥镜焦点相对镜头的位置。
步骤1906，根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿。
可选地，运动控制器根据内窥镜末端的下一时刻期望姿态和下一时刻期望位置，确定内窥镜的下一时刻期望位姿，通过内窥镜臂运动学模型，逆解得到内窥镜各关节期望位置，根据内窥镜各关节期望位置生成内窥镜臂关节控制指令，根据内窥镜臂关节控制指令控制内窥镜运动至下一时刻期望位姿，
步骤1908，将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
其中，实时更新内窥镜的镜头焦点位置，直至内窥镜的镜头焦点向量与终末注视点向量相等，即Pfocus＝Pb，Pfocus表示从内窥镜坐标系Mendo的基点O至内窥镜角点的向量，结束对内窥镜的控制。
在一些实施例中，为使所显示的包含固定目标的图像符合预设的期望关注方位，本实施例在内窥镜按照规划路径进行运动的过程中，基于操作对象的头部增量位姿对内镜图像进行图像方位上的纠正处理，具体包括以下步骤：
步骤1，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度。
其中，根据操作对象的头部运动指令，确定内窥镜的末端运动轨迹为从图21中的M0至MT，在此过程中，内窥镜的末端从t时刻运动到t+1时刻，内窥镜的末端坐标从Mt运动至Mt+1，t时刻内窥镜绕内窥镜坐标系Z轴旋转角度αt：
式中，表示从t至t+1时刻内窥镜末端坐标的旋转矩阵；/>分别为旋转矩阵/>第1行1列，2行1列，3行1列的元素。
步骤2，根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
其中，内窥镜视野下的物体相对内窥镜z轴相对转动αt，将监视器所呈现的图像反向旋转αt，令监视器坐标(x,y)轴与内窥镜坐标系重合。.经过该部计算，内窥镜末端坐标从Mt至Mt+1，视野延Pab从Pt至Pt+1，且视野下的物体不会出现旋转。
可选地，运动控制器根据内窥镜末端从当前时刻至下一时刻对应的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度，并按照当前时刻对应的旋转角度，旋转当前时刻的内窥镜图像，并将下一时刻的作为下一次迭代循环的当前时刻，并返回执行根据内窥镜末端从当前时刻至下一时刻对应的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度的步骤，直至内窥镜的镜头焦点位置与终末注视点重合。
本实施例中，采用单步控制方法，通过多次单步控制，控制内窥镜的末端从初始位姿M0转换至末端位姿MT，在此过程中，可以在调节内窥镜动作的过程中不中断机械臂的操作，有利于保障手术连贯性，缩短手术时间；并且在控制内窥镜运动的过程中，对每一时刻对应的内窥镜图像进行旋转补偿，以使得所显示的包含固定目标的图像符合预设的期望关注方位，并实现观察视角的调整。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多张步骤或者多张阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的内窥镜运动控制方法的内窥镜运动控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多张内窥镜运动控制装置实施例中的具体限定可以参见上文中对于内窥镜运动控制方法的限定，在此不再赘述。
在一个实施例中，如图22所示，提供了一种内窥镜运动控制装置，包括：采集模块100、注视点位置计算模块200、控制模式分类模块300和内窥镜运动控制模块400，其中：
采集模块100，用于获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
注视点位置计算模块200，用于根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；
控制模式分类模块300，用于根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；
内窥镜运动控制模块400，用于根据瞳孔位置信息和运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；运动指令用于反映操作对象的观察意向。
在其中一个实施例中，控制模式至少分为第一控制模式和第二控制模式，第一控制模式为切换内窥镜的观察对象并调整内窥镜的观察视角；第二控制模式为保持内窥镜的观察对象不变，并调整内窥镜的观察视角；控制模式分类模块300还用于：
若多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征，则确定内窥镜的控制模式为第一控制模式，第一控制模式对应的第一移动方式为在平面内运动；
若多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征，则确定内窥镜的控制模式为第二控制模式，第二控制模式对应的第二移动方式为在空间内运动。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；内窥镜运动控制模块400还用于：将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置，根据注视点位置在内窥镜坐标系下的注射点映射位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第一控制模式下对应的第一移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；内窥镜运动控制模块400还用于：根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置；根据注视点位置增量和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；内窥镜运动控制模块400还用于：将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量；根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第二控制模式下对应的第二移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；内窥镜运动控制模块400还用于：根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置，按照预设比例系数，将操作对象的头部绝对位置转换为位置增量矩阵，根据注视点位置增量、位置增量矩阵和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，内窥镜运动控制模块400还用于：在控制内窥镜运动的过程中，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度；
根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
上述内窥镜运动控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种内窥镜运动控制系统，包括：
机械臂和装载于机械臂末端的内窥镜；
立体监视器，佩戴于操作对象的头部，用于获取操作对象的瞳孔位置信息和操作对象的头部微运动信息；
控制装置，与机械臂、内窥镜以及立体监视器分别通讯连接，控制装置用于根据瞳孔位置信息，确定操作对象在各内窥镜图像中的观察区域；根据各内窥镜图像中观察区域相应的图像特征，确定内窥镜的控制模式；根据立体监视器采集的操作对象的头部微运动信息，生成运动指令；运动指令用于反映操作对象的观察意向；控制装置根据瞳孔位置信息以及运动指令，生成控制内窥镜按照控制模式下对应的移动方式进行运动的控制指令；根据控制指令控制机械臂携带内窥镜按照控制模式下对应的移动方式进行运动。
在其中一个实施例中，控制模式至少分为第一控制模式和第二控制模式，第一控制模式为切换内窥镜的观察对象并调整内窥镜的观察视角；第二控制模式为保持内窥镜的观察对象不变，并调整内窥镜的观察视角；控制装置在多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征时，确定内窥镜的控制模式为第一控制模式，第一控制模式对应的第一移动方式为在平面内运动；
在多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征时，确定内窥镜的控制模式为第二控制模式，第二控制模式对应的第二移动方式为在空间内运动。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；控制装置将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象在多张连续内窥镜图像的观察区域中的注视点位置，根据注视点位置在内窥镜坐标系下的注射点映射位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第一控制模式下对应的第一移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第一控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；
控制装置根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置；根据注视点位置增量和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部绝对位姿所对应的调整指令；
控制装置将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量；根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照第二控制模式下对应的第二移动方式进行运动的控制指令。
在其中一个实施例中，控制模式为第二控制模式；运动指令为操作对象的头部增量位姿所对应的调整指令；
控制装置根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置，按照预设比例系数，将操作对象的头部绝对位置转换为位置增量矩阵，根据注视点位置增量、位置增量矩阵和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
在其中一个实施例中，控制装置在控制内窥镜运动的过程中，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度；
根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中各步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中各步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例中各步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory，MRAM)、铁电存储器(Ferroelectric RandomAccess Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static RandomAccess Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种内窥镜运动控制方法，其特征在于，所述方法包括：
获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
根据所述瞳孔位置信息，确定所述操作对象在各内窥镜图像中的观察区域；
根据各内窥镜图像中观察区域相应的图像特征，确定所述内窥镜的控制模式；
根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令；所述运动指令用于反映所述操作对象的观察意向。
2.根据权利要求1所述的方法，其特征在于，所述控制模式至少分为第一控制模式和第二控制模式，所述第一控制模式为切换所述内窥镜的观察对象并调整所述内窥镜的观察视角；所述第二控制模式为保持所述内窥镜的观察对象不变，并调整所述内窥镜的观察视角；所述根据各内窥镜图像中观察区域相应的图像特征，确定所述内窥镜的控制模式，包括：
若多张连续内窥镜图像中观察区域相应的图像特征不具有相同的图像特征，则确定所述内窥镜的控制模式为第一控制模式，所述第一控制模式对应的第一移动方式为在平面内运动；
若多张连续内窥镜图像中观察区域相应的图像特征具有相同的图像特征，则确定所述内窥镜的控制模式为第二控制模式，所述第二控制模式对应的第二移动方式为在空间内运动。
3.根据权利要求2所述的方法，其特征在于，所述控制模式为第一控制模式；所述运动指令为所述操作对象的头部绝对位姿所对应的调整指令；所述根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜在所述控制模式下运动的控制指令，包括：
将所述操作对象的头部绝对位姿映射至内窥镜坐标系，将所述内窥镜坐标系下所述头部绝对位姿中头部绝对姿态的映射结果，作为所述内窥镜的期望姿态；
根据所述瞳孔位置信息，计算所述操作对象在多张连续内窥镜图像的观察区域中的注视点位置，根据所述注视点位置在所述内窥镜坐标系下的注射点映射位置，确定所述内窥镜的期望位置；
根据所述期望姿态和所述期望位置，生成控制所述内窥镜按照所述第一控制模式下对应的第一移动方式进行运动的控制指令。
4.根据权利要求2所述的方法，其特征在于，所述控制模式为第一控制模式；所述运动指令为所述操作对象的头部增量位姿所对应的调整指令；
所述根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令，包括：
根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置；根据注视点位置增量和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
5.根据权利要求2所述的方法，其特征在于，所述控制模式为第二控制模式；所述运动指令为所述操作对象的头部绝对位姿所对应的调整指令；
所述根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令，包括：
将操作对象的头部绝对位姿映射至内窥镜坐标系，将内窥镜坐标系下头部绝对位姿中头部绝对姿态的映射结果，作为内窥镜的期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量；根据操作对象的注视点位置增量和头部绝对位置，确定内窥镜的期望位置；
根据期望姿态和期望位置，生成控制内窥镜按照所述第二控制模式下对应的第二移动方式进行运动的控制指令。
6.根据权利要求2所述的方法，其特征在于，所述控制模式为第二控制模式；所述运动指令为所述操作对象的头部增量位姿所对应的调整指令；
所述根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令，包括：
根据操作对象的头部绝对姿态构造姿态增量矩阵；根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态；
根据瞳孔位置信息，计算操作对象的注视点位置增量和终末注视点位置，按照预设比例系数，将操作对象的头部绝对位置转换为位置增量矩阵，根据注视点位置增量、位置增量矩阵和内窥镜的当前时刻位姿，确定内窥镜的下一时刻期望位置；注视点位置增量为操作对象当前时刻在内窥镜图像的观察区域中的注视点位置与下一时刻在内窥镜图像的观察区域中的注视点位置之间的位移变化量；
根据下一时刻期望姿态和下一时刻期望位置，生成控制内窥镜在下一时刻运动的控制指令，并控制内窥镜运行至下一时刻期望位姿；
将内窥镜的下一时刻期望位姿作为内窥镜的当前时刻位姿，并返回执行根据内窥镜的当前时刻姿态和姿态增量矩阵，确定内窥镜的下一时刻期望姿态的步骤，直至内窥镜的焦点位置与终末注视点位置重合，结束对内窥镜的控制。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
在控制内窥镜运动的过程中，根据当前时刻至下一时刻内窥镜的旋转矩阵，确定当前时刻的内窥镜图像沿内窥镜坐标系的竖轴旋转的旋转角度；
根据旋转角度，控制当前时刻内窥镜图像旋转，使得当前时刻内窥镜图像包含期望观察视角下的观察对象。
8.一种内窥镜运动控制装置，其特征在于，所述装置包括：
采集模块，用于获取操作对象的瞳孔位置信息，以及通过内窥镜所采集的多张内窥镜图像；
注视点位置计算模块，用于根据所述瞳孔位置信息，确定所述操作对象在各内窥镜图像中的观察区域；
控制模式分类模块，用于根据各内窥镜图像中观察区域相应的图像特征，确定所述内窥镜的控制模式；
内窥镜运动控制模块，用于根据所述瞳孔位置信息和运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令；所述运动指令用于反映所述操作对象的观察意向。
9.一种内窥镜运动控制系统，其特征在于，所述内窥镜运动控制系统包括：
机械臂和装载于所述机械臂末端的内窥镜；
立体监视器，佩戴于操作对象的头部，用于获取所述操作对象的瞳孔位置信息和所述操作对象的头部微运动信息；
控制装置，与所述机械臂、所述内窥镜以及所述立体监视器分别通讯连接，所述控制装置用于根据所述瞳孔位置信息，确定所述操作对象在各内窥镜图像中的观察区域；根据各内窥镜图像中观察区域相应的图像特征，确定所述内窥镜的控制模式；根据所述立体监视器采集的所述操作对象的头部微运动信息，生成运动指令；所述运动指令用于反映所述操作对象的观察意向；所述控制装置根据所述瞳孔位置信息以及所述运动指令，生成控制所述内窥镜按照所述控制模式下对应的移动方式进行运动的控制指令；根据所述控制指令控制所述机械臂携带所述内窥镜按照所述控制模式下对应的移动方式进行运动。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310294705.8A 2023-03-23 2023-03-23 内窥镜运动控制方法、装置、计算机设备和存储介质 Pending CN116509540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310294705.8A CN116509540A (zh) 2023-03-23 2023-03-23 内窥镜运动控制方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310294705.8A CN116509540A (zh) 2023-03-23 2023-03-23 内窥镜运动控制方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116509540A true CN116509540A (zh) 2023-08-01

Family

ID=87391111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310294705.8A Pending CN116509540A (zh) 2023-03-23 2023-03-23 内窥镜运动控制方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116509540A (zh)

Similar Documents

Publication Publication Date Title
CN110325331B (zh) 医疗支撑臂系统和控制装置
KR102222124B1 (ko) 수술 지원 장치, 그 제어 방법, 기록 매체 및 수술 지원 시스템
JP5737796B2 (ja) 内視鏡操作システムおよび内視鏡操作プログラム
EP2822445B1 (en) Overall endoscopic control system
US20230000565A1 (en) Systems and methods for autonomous suturing
CN113442169B (zh) 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN109288591A (zh) 手术机器人系统
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
US20220192777A1 (en) Medical observation system, control device, and control method
CN106333715B (zh) 腹腔镜手术系统
CN113143461B (zh) 人机协同的微创内窥镜持镜机器人系统
US20220383531A1 (en) System and method for determining depth perception in vivo in a surgical robotic system
EP3977406A1 (en) Composite medical imaging systems and methods
KR20230169103A (ko) 수술용 로봇 시스템의 카메라 어셈블리의 자동 초점 조정을 위한 시스템 및 방법
EP2031559A1 (en) Augmented visualization in two-dimensional images
CN116509540A (zh) 内窥镜运动控制方法、装置、计算机设备和存储介质
CN113729967B (zh) 医生控制台的控制方法、医生控制台、机器人系统和介质
US20210287434A1 (en) System and methods for updating an anatomical 3d model
JP2008017348A (ja) 映像表示装置、映像信号の歪み補正処理方法
US20230139425A1 (en) Systems and methods for optimizing configurations of a computer-assisted surgical system for reachability of target objects
US20220142721A1 (en) System and method for view restoration
Simaiaki et al. Robot assisted endomicroscopic image mosaicing with optimal surface coverage and reconstruction
CN114211493B (zh) 机械臂的远程控制系统和方法
WO2020049993A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008017347A (ja) 映像表示装置、映像信号の歪み補正処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination