CN112353361B - 基于主从一体智能扶镜机器人的3d胸腹腔镜系统 - Google Patents

Abstract

本发明涉及一种基于主从一体智能扶镜机器人的3D胸腹腔镜系统，包括扶镜机器人、3D胸腹腔镜、体外图像处理器以及裸眼3D显示器；3D胸腹腔镜夹持于智能扶镜机器人之上并通过信号传输线与体外图像处理器相连，体外图像处理器3通过视频输出线连接至裸眼3D显示器；可通过智能扶镜机器人对3D胸腹腔镜的位姿进行调节，3D胸腹腔镜采集获取的信号将传输至体外图像处理器，信号经由处理后将通过视频输出线继续传输至裸眼3D显示器，以为术中使用者提供裸眼3D立体视觉。本发明将主操作手和从操作手集成在同一机械构型中，使得整个系统的体积、重量减轻，同时减少了连线和控制系统的操作复杂程度，结构整体清洗、消毒、拆卸极为方便，且易更换、维修成本低。

Description

基于主从一体智能扶镜机器人的3D胸腹腔镜系统

技术领域

本发明属于医疗设备技术领域，具体地，涉及一种基于主从一体智能扶镜机器人的3D胸腹腔镜系统。

背景技术

胸腹腔镜自上世纪90年代出现以来，已在临床中得到了广泛的应用。由胸腹腔镜提供画面引导的微创手术，因创口小、失血量少、术后疼痛感轻以及住院恢复期短等优点，使其在胃胰、肝胆、结直肠等普外科疾病的日常诊断与手术治疗中，展现出了越来越多的优势。而传统胸腹腔镜提供的引导画面为二维影像，丢失了图像的深度信息。在使用的过程中，还需外科医生在二维画面的基础上，依据以往的临床经验进一步判断组织器官间的实际空间位置。导致使用时易发生由误操作引起的组织损伤以及意外出血，且难以进行复杂的操作，因此3D腔镜技术应运而生。3D胸腹腔镜一般需在腔镜前端安装两个摄像头，对同一物体在同一时刻拍摄角度不同的两个图像，通过对两幅图像进行拼接与排列，并利用3D眼镜的偏振滤过作用，从而让使用者在观看时产生深度感知。3D胸腹腔镜成像技术可提供良好的手眼协调性，使用具备空间深度信息的三维立体图像进行手术，大大减小了手术中发生误操作的概率，也降低了术后并发症与术中转开腹的风险。但现有3D胸腹腔镜成像系统往往结构组成复杂，组件间的连接过程繁琐，对使用、维护以及保养都造成了极大的不便。同时现有3D胸腹腔镜成像系统，几乎都采用了3D监视器配合3D眼镜的成像方案。上述显像方式虽然简单易实现，但也限定了产生最佳3D效果的视觉范围。而影响3D立体视感的因素，如人眼瞳距、深度感知能力以及观看习惯等，在不同的使用者中存在着一定差异。因此，相对固定的观看视角与模式并不能适用于每一位使用者。同时，长时间佩戴3D眼镜也会让使用者产生身体上的疲劳。最后，在现有胸腹腔镜手术中还需配备额外的操作人员，对胸腹腔镜进行位置及角度的调整，位姿调整合适后还需进一步对镜体进行固定。长时间地握持腔镜镜体，人手将会出现颤抖，进而使得画面产生摇晃与模糊，极大地影响手术的正常进行。而在对精准度要求较高的手术中，通过手动的方式对胸腹腔镜镜体进行位姿调节，其精度与准确性也较难达到理想要求。

因此，设计一款结构简单、安全实用、操作便捷、具备多视角裸眼3D视觉且可由机械臂控制的一体式3D胸腹腔镜成像系统，不仅能为临床医生提供便利，还可进一步缩减胸腹腔镜手术时间、降低误操作与手术意外发生的概率，进而可减少病人痛苦并提高腔镜手术的安全性。此外，还可有望进一步提升高难度手术操作的成功率以及准确性，对于解决临床中的疑难杂症有着重要的意义。

发明内容

为了克服现有技术中的不足，解决现行3D胸腹腔镜系统结构复杂、3D视觉效果不佳、操作困难、无一体化解决方案等问题，本发明提出一种基于主从一体智能扶镜机器人的3D胸腹腔镜系统，通过主从一体式智能持镜臂、搭配3D胸腹腔镜以及裸眼3D显示解决方案有效解决上述问题。

为实现上述目的，本发明采用的技术方案如下：

基于主从一体智能扶镜机器人的3D胸腹腔镜系统，包括扶镜机器人、3D胸腹腔镜、体外图像处理器以及裸眼3D显示器；其中：3D胸腹腔镜夹持于智能扶镜机器人之上，并通过信号传输线与体外图像处理器相连，体外图像处理器3通过视频输出线连接至裸眼3D显示器；术中可通过智能扶镜机器人对3D胸腹腔镜的位姿进行调节，3D胸腹腔镜采集获取的信号将传输至体外图像处理器，信号经由处理后将通过视频输出线继续传输至裸眼3D显示器，以为术中使用者提供裸眼3D立体视觉。

相对于现有技术，本发明的有益效果如下：

1、持镜机械臂及操控器采用主从一体式结构设计，将主操作手和从操作手集成在同一机械构型中，使得整个系统的体积、重量大大减轻，同时减少了连线和控制系统的操作复杂程度。

2、3D胸腹腔镜采用手持一体式设计，成本低，使用方便灵活：胸腹腔镜前端采用嵌套式结构，使胸腹腔镜整体清洗、消毒、拆卸极为方便，损坏后易更换且维修成本低。

3、系统采用全高清裸眼3D显示，通过使用超高清图像传感器对采集的图像进行光电转换和数字图像处理提高了图像的分辨率，实现更加清晰的图像显示；对输入3D视频源的视差范围进行自适应调节以改进3D图像质量，进而提高图像观看的舒适度。

4、采用自适应人眼识别及追踪算法，可准确、实时监测人眼瞳孔动态及空间位置信息：以人眼空间位置信息为基础，实时对裸眼3D图像信号的生成参数进行调节与改变，以保持最佳的裸眼3D立体感

5、采用手眼一体自动控制系统，可通过自动检测使用者的瞳孔大小，智能地控制从操作手，从而实时调整画面视野，保障视觉裸眼3D显示效果的手眼一致性。同时使系统整体具备安全可靠、术中稳定性高、视觉立体感强、操作简单便利等特点。

附图说明

图1为基于主从一体智能扶镜机器人的3D胸腹腔镜系统结构示意图；

图2为扶镜机器人结构示意图；

图3为从操作手结构示意图；

图4为主从一体操作器连接示意图；

图5为主从一体操作器结构示意图；

图6为主从手控制策略示意图；

图7为3D胸腹腔镜整体示意图；

图8A、图8B、图8C为3D胸腹腔镜前端结构不同方向示意图。

图9为体外图像处理器图像处理流程示意图。

图10为人眼检测与瞳孔中心定位网结构示意图。

图11为裸眼3D显示器结构参数示意图。

图12为自适应视差调节原理示意图。

图13为视野参数估计示意图。

图14为系统整体工作流程示意图。

图中：1、扶镜机器人；2、3D胸腹腔镜，3、体外图像处理器；4、裸眼3D显示器；11、扶镜机器人推车；12、主从一体控制器；13、机械臂；14、从操作手；121、主手手环；122、从手手环；123、三轴陀螺仪；124、加速度传感器；125内置转轴；126、操作手柄；127、传动带；128、固定杆；141、伺服电机；142、弧形连接杆；143、夹持固定装置；21、3D胸腹腔镜手柄；22、3D胸腹腔镜前端；23、3D胸腹腔镜导管；24、3D胸腹腔镜手柄按键；25、3D胸腹腔镜图像传输接口；26、3D胸腹腔镜图像传输线；27、外套管；28、物镜管；29、内套管；210、光学物镜模组；211、LED照明模组；212、图像采集模组；41、光栅层；42、液晶显示层。

具体实施方式

如图1所示，基于主从一体智能扶镜机器人的3D胸腹腔镜系统，包括智能扶镜机器人1、3D胸腹腔镜2、体外图像处理器3以及裸眼3D显示器4；其中：3D胸腹腔镜2夹持于智能扶镜机器人1之上，并通过信号传输线与体外图像处理器3相连，体外图像处理器3通过视频输出线连接至裸眼3D显示器；术中可通过智能扶镜机器人1对3D胸腹腔镜2的位姿进行调节，3D胸腹腔镜2采集获取的信号将传输至体外图像处理器3，信号经由处理后将通过视频输出线继续传输至裸眼3D显示器，以为术中使用者提供裸眼3D立体视觉。

如图2所示，智能扶镜机器人1，包括：扶镜机器人推车11、主从一体控制器12、机械臂13、从操作手14；其中，所述机械臂13固定于所述扶镜机器人推车11之上，可通过所述扶镜机器人推车11移动并固定所述机械臂13的放置位置；所述从操作手14又固定于所述机械臂13的远端，用于夹持所述3D胸腹腔镜2，并对所述3D胸腹腔镜2的位姿进行调节；为了方便控制与操作，在所述扶镜机器人推车11上安装有主从一体控制器12，可通过所述主从一体控制器12对所述机械臂13及从操作手14进行控制与调节。

作为改进，所述机械臂13可采用三段式设计并由三个子机械臂构成，分别用于控制机械臂在x,y,z方向上的位姿形态，同时所述主从一体控制器12可固定于所述机械臂后端13，但不限于后端。

如图3所示，从操作手14采用三自由度稳定结构，包括三个伺服电机141、弧形连接杆142以及用以固定所述3D胸腹腔镜2的夹持机构143；所述从操作手上14分布的三个伺服电机141，分别负责胸腹腔镜前后、左右、上下三个方向的旋转；所述机械臂13一端连接于底座，一端连接于从操作手14，用于粗略调整所述从操作手至所需空间位置；所述从操作手14三自由度的稳定结构设计，可使内窥镜轻松应对不同的拍摄场景，消除扶镜因手抖动或震颤引起的画面晃动，始终保持拍摄画面的平稳；所述机械臂13可通过人工摆位或电动遥感控制的方式，分别对各关节臂进行位姿调节，从而带动从操作手，移动至所需位置；所述3D胸腹腔镜2与所述从操作手14形成球面远心机构构型。

作为改进，如图4所示，所述主从一体控制器12包括主手手环121与从手手环122，主手手环121与从手手环122可采用卡扣连接的方式进行拼合与集成，并固定于所述扶镜机器人推车11之上，从而实现主手手环121与从手手环122的一体化集成。

具体地，如图5所示，所述主从一体控制器12，包括主手手环121、从手手环122、内置有三轴陀螺仪123与三轴加速度传感器124构成的IMU(惯性测量单元)反馈系统、内置转轴125、操作手柄126、传动带127；所述操作手柄126前端围绕所述主手手环121圆心做旋转运动，将通过与之相连的传动带127传递给内置转轴125，进而被所述从手手环中122的三轴陀螺仪123与加速度传感器124所检测；以便通过所述IMU(惯性测量单元)反馈系统控制相应电机的转动，从而驱动所述从操作手14带动所述3D胸腹腔镜2进行位姿调节；作为改进，主从一体控制器12可采用固定杆128配合固定槽的方式，固定于所述持镜机器人推车11之上。

具体地，为了提高所述主从一体控制器12对所述机械臂13及所述从操作手14的操控精度、响应速度、安全性以及稳定性。如图6所示，本发明采用D-H法和闭环矢量法对所述主从一体控制器12和所述从操作手14的正、逆运动学求解，并建立主从映射的运动学模型，同时引入比例映射系数，使胸腹腔镜导管23的移动量始终与所述主操作手的移动量呈比例关系，以保证操作质量和精度。同时采用主从异构策略，所述主从一体控制器12和所述机械臂13在机构构型和自由度配置方式上完全不同，需在笛卡尔空间上进行主从间的运动轨迹跟踪。采用主从异构控制策略，以计算所述操作手柄126的运动学正解和所述从操作手的运动学逆解为基础，实现主操作手末端位姿向所述从手末端位姿的运动映射。同时，作为改进，可通过操作手柄126上的按钮选择锁定模式和跟随模式，以及手动控制和眼球控制方式。在锁定模式下，胸腹腔镜导管23不随所述主从一体控制器12的转动而转动，同时所述从操作手14的三自由度稳定结构将消除所述主从一体控制器12产生的抖动，始终保持视频图像的稳定。而在跟随模式下，胸腹腔镜导管23按比例映射系数跟随所述主从一体控制器12运动。

如图7所示，所述3D胸腹腔镜2包括3D胸腹腔镜前端22、3D胸腹腔镜导管23、3D胸腹腔镜手柄21、3D胸腹腔镜手柄按键24、3D胸腹腔镜图像传输接口25、以及3D胸腹腔镜图像传输线26；其中3D胸腹腔镜手柄按键24可对画面显示参数、图像显示模式以及快捷键按钮等进行设置；所述图像传输模组，位于所述3D胸腹腔镜手柄21内部；所述3D胸腹腔镜将通过3D胸腹腔镜图像传输接口25、以及3D胸腹腔镜图像传输线26，将所采集的左右视图信号传输至所述体外图像处理器3。

如图8A、图8B、图8C所示，所述3D胸腹腔镜前端由图像采集模组212、光学物镜模组210、LED照明模组组成211；其中，所述光学物镜模组210位于所述图像采集模组212前端，用于汇聚反射光线，调整射入光路；所述图像采集模组212用于胸腹腔镜图像的采集，主要由两枚高清CMOS图像采集器组成；所述LED照明模组，主要由表面贴片二极管微单元(SMD)组成的LED芯片构成。所述SMD微单元LED芯片均匀分布于胸腹腔镜导管23前端顶部，为所述图像采集模组212提供采集图像时所需的光源。同时所述腹腔镜导管采用阶三层梯式套管结构，使所述LED照明模组211、所述光学物镜模组210、所述图像采集模组212可相互拆分，即所述图像采集模组212，安置于所述胸腹腔镜最内层导管29的远端；安置所述图像采集模组212的导管外套有更大直径的物镜管28，所诉光学物镜模组210安置于物镜管28的远端；物镜管28的外部套又再次嵌套更大直径的导管，即为所述3D胸腹腔镜导管23的外套管27，在所述外套管27的远端顶部四周，均匀分布着SMD微单元LED芯片；所述LED照明模组211的电缆，所述图像采集模组的信号传输线分别位于各自所属导管中，且最终与所述图像传输模组相连。

如图9所示，体外图像处理器3的具体图像处理流程可以为：接收左右视图图像信号，对左右视图图像信号进行降噪、滤波、色彩纠正等图像预处理操作；然后，将对左右视图分别进行基于边缘的特征提取，以用于后续的点云配准。经过点云配准后，左右视图将在图像坐标系上达成空间位置的一致性。然后将进行相应的视差调节与融合，并最终转化为可视信号输出。

如图1所示，所述外置裸眼3D显示器4与所述体外图像处理器3连接，由眼球追踪相机、裸眼3D显示屏组成；其中所述裸眼3D显示屏又由液晶显示层42以及光栅层41组成；所述光栅层41置于所述液晶显示层42前端，以一定倾斜角度等距离排列，用于将所述裸眼3D图像信号进行栅格化处理，以产生裸眼3D立体效果；所述眼球追踪相机，放置于所述裸眼3D显示屏顶端中部，用于识别并实时追踪使用者的眼部位置，以便在人眼位置发生改变时，对所述裸眼3D图像信号进行调整。

如图10所示，本发明采用基于Faster R-CNN网络的人眼区域检测方法。所述Faster R-CNN网络为基于VGG16的R-CNN网络，具体由5层卷积层、池化层配合ReLu层组成的特征提取网络，3*3卷积层配合相应ReLu层为网络首层的区域提议网络，以及最终的分类网络组成。其中分类网络又由一个区域池化层，三组全连接层组成。所述Faster R-CNN接收所述眼球追踪相机捕获的图片后，将以标注框的形式框定出观察者双眼在捕获图中的大致位置。为准确定位观察者双眼瞳孔位置，本发明进一步采用基于CNN的人眼瞳孔中心识别网络，对观察者的瞳孔中心位置进行检测。具体的，所述基于CNN的人眼瞳孔中心识别网络，由一个5*5的卷积层、3*3的池化层以及一个全连接层组成。所述人眼瞳孔中心识别网络，以所述基于Faster R-CNN网络的人眼区域检测方法获取的人眼区域为输入，首先将检测出瞳孔区域的具体位置，然后再以该区域的质心位置为瞳孔的中心。同时将记录双眼瞳孔中心，在所述眼球追踪相机所捕获图片中的坐标位置为s_μ与t_μ，其中μ∈{l,r}，该下标代表观察者左眼或右眼。

如图11及图12所示，所述体外图像处理器获取人眼瞳孔中心位置s_μ与t_μ后，将进一步把在捕获图像中的瞳孔中心坐标，依次转换到所述眼球追踪相机坐标以及所述液晶显示屏图像坐标。然后依据转换到液晶显示屏图像坐标系中的眼球坐标信息、光栅栏结构信息，分别计算出每个目标图像点在左视图以及右视图中的具体位置，从而以此方式形成自适应性可调视差图。

具体的，瞳孔中心位置s_μ与t_μ将通过公式(1)，转化到所述眼球追踪相机坐标位置x_μ与y_μ。

其中，参数f_x与f_y以及参数c_x与c_y，分别为所述眼球追踪相机在x与y方向上的焦距与焦点。同时为了纠正所述眼球追踪相机捕捉画面时产生的畸变，本发明利用参数k₁与k₂，k₃与k₄分别用于矫正画面的径向畸变以及切向畸变，纠正畸变的转换公式如式(2)所示。

其中，x′_μ与y′_μ表示经过畸变矫正后的，基于所述眼球追踪相机坐标系的瞳孔中心位置。则可将过所述眼球追踪相机坐标系原点O_c以及x′_μ与y′_μ的向量v_μ，表示为如公式(3)所示的形式。

进一步，便可将观察者人眼瞳孔中心，在所述眼球追踪相机坐标系下的三维坐标位置表示为与/>

其中，与/>分别表示左眼与右眼瞳孔中心，在所述眼球追踪相机坐标系下的三维空间位置信息。/>表示观察者瞳孔间距，/>表示观察者脸部面向所述眼球追踪相机的法向量。获取/>与/>后，可将/>与/>的坐标信息转化到所述裸眼3D显示屏的图像显示坐标系O_d，即获取了在坐标系O_d下的人眼瞳孔位置/>与/>而裸眼3D显示屏还由具有一定倾斜角度、一定间距以及一定数量的光栅组成。沿第n条光栅缝方向延伸的向量S_n可表示为如公式(5)所述的形式。

其中，参数∈为偏移量，θ为光栅倾斜角度，ρ/cosθ为光栅间的水平间距，τ为所述裸眼3D显示屏中液晶显示层与光栅层的间隔距离。则透过第n条光栅缝可被观察者左眼及右眼看见的所有可视点位置，可表示为S′_n,μ(μ∈l,r),其表达式如公式(6)所示。

其中，z_μ(μ∈l,r)表示左右眼瞳孔中心的空间位置在显示器坐标系下，z方向上的距离值。对于第n条光栅缝中的任一像素点P′_x,y，其距可视点S′_n,μ(μ∈l,r)的距离值D(P_x,y,S′_n,μ)可表示如公式(7)所述的形式。

获取D(P_x,y,S′_n,μ)后，可依据公式(8)将点P_x,y判断为左视图点或右视图点。

最终，对所有光栅缝中的所有点P_x,y进行上述计算与标记后，便可获取基于观察者人眼瞳孔位置信息的最佳视差图。从而实现多角度、自适应、立体感强的裸眼3D视觉。

如图13所示，在通过所述基于CNN的人眼瞳孔中心定位网络获取瞳孔质心坐标，并将其转换至所述裸眼3D显示屏图像显示坐标系后，瞳孔质心坐标可表示为则观察者双眼在图像显示坐标系中的矩形注视视野范围可表示为如公式(9)所述的形式。

W,H分别表示注视矩形视野的宽和高，d表示在图像显示坐标系下，双眼瞳孔质心连线中点距所述3D裸眼显示屏的距离。参数a与b分别表示人眼正常水平与垂直的最大视野角度范围。则该矩形视野的质心位置M，即为当前观察者的注视点。双眼瞳孔质心连线的中点与矩形视野的质心位置M，可构成注视角向量F_M。

如图14所示，本发明系统的整体操作逻辑为：开机后将机械臂13及从操作手14移动至大致位置，利用所述操作手柄126对从操作手14进行控制，移动至目标成像区域。开启所述3D胸腹腔镜2，图像采集系统进行初始化。具体的，所述3D胸腹腔镜2开始采集图像。体外图像处理器3自动添加原始左右视图视差，然后将进行人眼检测与瞳孔定位操作。若未检测到有效人眼信息，则按原始左右视图视差输出3D图像信号。若检测到人眼及瞳孔位置信息，则比较人眼与瞳孔位置信息是否发生改变，若发生改变将重新计算左右视差图。然后将继续对瞳孔大小进行检测，若瞳孔大小出现大幅度改变，则表示当前图像显示视野，不再满足使用者观察需求。具体的，若瞳孔出现大幅度放大，则表示使用者观察视野中的感兴趣区域过远。则从操作手14将带动所述3D胸腹腔镜2沿着所述注视角向量F_M，在安全范围内向前推进。反之，从操作手14将带动3D胸腹腔镜2沿着与所述注视角向量F_M相反的反向，在安全范围内向后撤出。整个推进与撤出过程，缓慢，匀速，且使用者可通所述操作手柄126随时停止从操作手14的推进与撤出。最后，经调整后的3D图像信号输出，系统继续等待下一帧图像。若人眼与瞳孔位置及大小都未发生改变，则系统将利用上一帧图像的相关参数进行3D图像信号合成并输出。

Claims (5)

1.一种基于主从一体智能扶镜机器人的3D胸腹腔镜系统，包括智能扶镜机器人、3D胸腹腔镜、体外图像处理器以及裸眼3D显示器；其特征在于：3D胸腹腔镜夹持于智能扶镜机器人之上，并通过信号传输线与体外图像处理器相连，体外图像处理器通过视频输出线连接至裸眼3D显示器；术中可通过智能扶镜机器人对3D胸腹腔镜的位姿进行调节，3D胸腹腔镜采集获取的信号将传输至体外图像处理器，信号经由处理后将通过视频输出线继续传输至裸眼3D显示器，以为术中使用者提供裸眼3D立体视觉；

主从一体控制器包括主手手环与从手手环，主手手环与从手手环采用卡扣连接的方式进行拼合与集成，并固定于扶镜机器人推车之上；

所述主从一体控制器，包括主手手环、从手手环、内置有三轴陀螺仪与三轴加速度传感器构成的IMU反馈系统、内置转轴、操作手柄、传动带，所述操作手柄前端围绕所述主手手环圆心做旋转运动，将通过与之相连的传动带传递给内置转轴，进而被所述从手手环中的三轴陀螺仪与加速度传感器所检测；主从一体控制器可采用固定杆配合固定槽的方式固定于持镜机器人推车之上；

所述3D胸腹腔镜前端由图像采集模组、光学物镜模组、LED照明模组组成；其中，所述光学物镜模组位于所述图像采集模组前端，用于汇聚反射光线，调整射入光路；所述图像采集模组用于胸腹腔镜图像的采集，主要由两枚高清CMOS图像采集器组成；所述LED照明模组，主要由表面贴片二极管微单元(SMD)组成的LED芯片构成；表面贴片二极管微单元LED芯片均匀分布于胸腹腔镜导管前端顶部，为所述图像采集模组提供采集图像时所需的光源；同时所述腹腔镜导管采用阶三层梯式套管结构，使所述LED照明模组、所述光学物镜模组、所述图像采集模组可相互拆分，即所述图像采集模组，安置于所述胸腹腔镜最内层导管的远端；安置所述图像采集模组的导管外套有更大直径的物镜管，所诉光学物镜模组安置于物镜管的远端；物镜管的外部套又再次嵌套更大直径的导管，即为所述3D胸腹腔镜导管的外套管，在所述外套管的远端顶部四周，均匀分布着SMD微单元LED芯片；所述LED照明模组的电缆，所述图像采集模组的信号传输线分别位于各自所属导管中，且最终与图像传输模组相连；

采用D-H法和闭环矢量法对所述主从一体控制器和从操作手的正、逆运动学求解，并建立主从映射的运动学模型，同时引入比例映射系数，使胸腹腔镜导管23的移动量始终与主操作手的移动量呈比例关系；同时采用主从异构策略，所述主从一体控制器和机械臂在机构构型和自由度配置方式上完全不同，需在笛卡尔空间上进行主从间的运动轨迹跟踪；采用主从异构控制策略，以计算所述操作手柄的运动学正解和所述从操作手的运动学逆解为基础，实现主操作手末端位姿向从手末端位姿的运动映射；可通过操作手柄上的按钮选择锁定模式和跟随模式，以及手动控制和眼球控制方式；在锁定模式下，胸腹腔镜导管不随所述主从一体控制器的转动而转动，同时所述从操作手的三自由度稳定结构将消除所述主从一体控制器产生的抖动，始终保持视频图像的稳定；在跟随模式下，胸腹腔镜导管按比例映射系数跟随所述主从一体控制器运动；

体外图像处理器的具体图像处理流程为：接收左右视图图像信号，对左右视图图像信号进行降噪、滤波、色彩纠正等图像预处理操作；然后，将对左右视图分别进行基于边缘的特征提取，以用于后续的点云配准；经过点云配准后，左右视图将在图像坐标系上达成空间位置的一致性；然后将进行相应的视差调节与融合，并最终转化为可视信号输出；

外置裸眼3D显示器与所述体外图像处理器连接，由眼球追踪相机、裸眼3D显示屏组成；其中所述裸眼3D显示屏又由液晶显示层以及光栅层组成；所述光栅层置于所述液晶显示层前端，以一定倾斜角度等距离排列，用于将裸眼3D图像信号进行栅格化处理，以产生裸眼3D立体效果；所述眼球追踪相机，放置于所述裸眼3D显示屏顶端中部，用于识别并实时追踪使用者的眼部位置，以便在人眼位置发生改变时，对所述裸眼3D图像信号进行调整；

Faster R-CNN接收所述眼球追踪相机捕获的图片后，将以标注框的形式框定出观察者双眼在捕获图中的大致位置；为准确定位观察者双眼瞳孔位置，本发明进一步采用基于CNN的人眼瞳孔中心识别网络，对观察者的瞳孔中心位置进行检测；

所述体外图像处理器获取人眼瞳孔中心位置s_μ与t_μ后，将进一步把在捕获图像中的瞳孔中心坐标，依次转换到所述眼球追踪相机坐标以及液晶显示屏图像坐标；然后依据转换到液晶显示屏图像坐标系中的眼球坐标信息、光栅栏结构信息，分别计算出每个目标图像点在左视图以及右视图中的具体位置，从而以此方式形成自适应性可调视差图；

具体的，瞳孔中心位置s_μ与t_μ将通过公式(1)，转化到所述眼球追踪相机坐标位置x_μ与y_μ

其中，参数f_x与f_y以及参数c_x与c_y，分别为所述眼球追踪相机在x与y方向上的焦距与焦点；同时为了纠正所述眼球追踪相机捕捉画面时产生的畸变，本发明利用参数k₁与k₂，k₃与k₄分别用于矫正画面的径向畸变以及切向畸变，纠正畸变的转换公式如式(2)所示；

其中，x′_μ与y′_μ表示经过畸变矫正后的，基于所述眼球追踪相机坐标系的瞳孔中心位置；则可将过所述眼球追踪相机坐标系原点O_c以及x′_μ与y′_μ的向量v_μ，表示为如公式(3)所示的形式；

进一步，便可将观察者人眼瞳孔中心，在所述眼球追踪相机坐标系下的三维坐标位置表示为与/>

其中，与/>分别表示左眼与右眼瞳孔中心，在所述眼球追踪相机坐标系下的三维空间位置信息；/>表示观察者瞳孔间距，/>表示观察者脸部面向所述眼球追踪相机的法向量；获取/>与/>后，可将/>与/>的坐标信息转化到所述裸眼3D显示屏的图像显示坐标系O_d，即获取了在坐标系O_d下的人眼瞳孔位置/>与/>而裸眼3D显示屏还由具有一定倾斜角度、一定间距以及一定数量的光栅组成；沿第n条光栅缝方向延伸的向量S_n可表示为如公式(5)所述的形式；

其中，参数∈为偏移量，θ为光栅倾斜角度，ρ/cosθ为光栅间的水平间距，τ为所述裸眼3D显示屏中液晶显示层与光栅层的间隔距离；则透过第n条光栅缝可被观察者左眼及右眼看见的所有可视点位置，可表示为S′_n，μ(μ∈l，r),其表达式如公式(6)所示；

其中，z_μ(μ∈l，r)表示左右眼瞳孔中心的空间位置在显示器坐标系下，z方向上的距离值；对于第n条光栅缝中的任一像素点P_x，y，其距可视点S′_n，μ(μ∈l，r)的距离值D(P_x，y，S′_n，μ)可表示如公式(7)所述的形式；

获取D(P_x，y，S′_n，μ)后，可依据公式(8)将点P_x，y判断为左视图点或右视图点；

最终，对所有光栅缝中的所有点P_x，y进行上述计算与标记后，便可获取基于观察者人眼瞳孔位置信息的最佳视差图，从而实现多角度、自适应、立体感强的裸眼3D视觉；

在通过所述基于CNN的人眼瞳孔中心定位网络获取瞳孔质心坐标，并将其转换至所述裸眼3D显示屏图像显示坐标系后，瞳孔质心坐标可表示为则观察者双眼在图像显示坐标系中的矩形注视视野范围可表示为如公式(9)所述的形式；

W，H分别表示注视矩形视野的宽和高，d表示在图像显示坐标系下，双眼瞳孔质心连线中点距所述3D裸眼显示屏的距离；参数a与b分别表示人眼正常水平与垂直的最大视野角度范围，则该矩形视野的质心位置M，即为当前观察者的注视点；双眼瞳孔质心连线的中点与矩形视野的质心位置M，可构成注视角向量F_M。

2.根据权利要求1所述的基于主从一体智能扶镜机器人的3D胸腹腔镜系统，其特征在于：智能扶镜机器人包括：扶镜机器人推车、主从一体控制器、机械臂、从操作手；其中，所述机械臂固定于所述扶镜机器人推车之上，所述从操作手又固定于所述机械臂的远端，在所述扶镜机器人推车上安装有主从一体控制器。

3.根据权利要求2所述的基于主从一体智能扶镜机器人的3D胸腹腔镜系统，其特征在于：所述机械臂可采用三段式设计并由三个子机械臂构成，分别用于控制机械臂在x,y,z方向上的位姿形态，同时所述主从一体控制器可固定于所述机械臂后端。

4.根据权利要求3所述的基于主从一体智能扶镜机器人的3D胸腹腔镜系统，其特征在于：从操作手采用三自由度稳定结构，包括三个伺服电机、弧形连接杆以及用以固定所述3D胸腹腔镜的夹持机构；所述从操作手上分布的三个伺服电机，分别负责胸腹腔镜前后、左右、上下三个方向的旋转；所述机械臂一端连接于底座，一端连接于从操作手，所述机械臂通过人工摆位或电动遥感控制的方式分别对各关节臂进行位姿调节，所述3D胸腹腔镜与所述从操作手形成球面远心机构构型。

5.根据权利要求4所述的基于主从一体智能扶镜机器人的3D胸腹腔镜系统，其特征在于：所述3D胸腹腔镜包括3D胸腹腔镜前端、3D胸腹腔镜导管、3D胸腹腔镜手柄、3D胸腹腔镜手柄按键、3D胸腹腔镜图像传输接口、以及3D胸腹腔镜图像传输线；其中3D胸腹腔镜手柄按键可对画面显示参数、图像显示模式以及快捷键按钮进行设置；所述图像传输模组，位于所述3D胸腹腔镜手柄内部；所述3D胸腹腔镜将通过3D胸腹腔镜图像传输接口以及3D胸腹腔镜图像传输线，将所采集的左右视图信号传输至所述体外图像处理器。