CN108814717A - 手术机器人系统 - Google Patents

Abstract

本发明实施例提供了一种手术机器人系统，可包括：图像采集装置，用于采集手术环境信息，得到色彩图像信息；定位装置，用于获取所述图像采集装置的位姿信息，所述位姿信息用于表征所述图像采集装置在患者体内的位置和姿态；以及识别装置，分别与所述图像采集装置和所述定位装置通信连接，用于根据所述色彩图像信息得到特征信息；其中，所述识别装置还用于基于神经网络模型，并以所述特征信息和/或所述位姿信息作为输入，输出标注信息。本发明实施例中提供的手术机器人系统，基于神经网络模型快速的将图像采集装置视野中的内容以及当前图像采集装置所处的相对位置予以实时输出，进而能够协助医技人员在对患者进行手术时精准的实施操作和观察。

Description

手术机器人系统

技术领域

本发明涉及医疗技术领域，特别是涉及一种手术机器人系统。

背景技术

传统的微创伤手术过程中，医技人员在对患者进行手术时，需要借助内窥镜实施操作和观察，以确定重要血管的位置和走向，避免手术过程中损伤血管等。

或者，医技人员在术前获取患者的医学影像，根据医学影像进行术前规划并在术中进行导航，以在术中识别内窥镜中所显示的各个人体器官组织。具体的，手术前，获取患者组织器官的医学影像，术中通过算法分析和几何配准计算，在医学影像上显示感兴趣的组织器官的几何形态，以辅助医生手术。其中，医学影像包括融合电子计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)以及超声成像(Ultrasound，US)等。

例如，在传统结合术前影像的术中组织跟踪方法中，是利用术中实时二维超声、内窥镜和术中电磁或光学的定位系统，以最后的图像中显示出术中感兴趣组织的几何形态信息，以辅助医生手术。但是，采用这种组织跟踪方法需再术前通过CT扫描等手段获得患者的组织图像信息。然而，手术过程中，患者的组织器官不可避免的会发生变形。当组织器官发生变形后，术前获得的医学影像无法实时显示术中发生变形的组织器官的形态。此时，传统方法需要重新配准术中的组织器官与术前的医学影像，过程复杂，且准确性差。

发明内容

基于此，有必要针对基于术前医学影像的引导，识别术中组织器官过程复杂等诸多问题中至少一个，提供一种手术机器人系统。

本发明实施例中提供了一种手术机器人系统，可包括：

图像采集装置，用于采集手术环境信息，得到色彩图像信息；

定位装置，用于获取所述图像采集装置的位姿信息，所述位姿信息用于表征所述图像采集装置在患者体内的位置和姿态；以及

识别装置，分别与所述图像采集装置和所述定位装置通信连接，用于根据所述色彩图像信息得到特征信息；

其中，所述识别装置还用于基于神经网络模型，并以所述特征信息和/或所述位姿信息作为输入，输出标注信息；所述标注信息用于描述所述图像采集装置视野中的内容。

本发明实施例中提供的手术机器人系统，利用图像采集装置进行图像采集，用以获取到关于手术患者体内手术环境信息的色彩图像信息，同时利用定位装置实时获取图像采集装置的位姿信息，并将基于所述色彩图像信息的特征信息和/或位姿信息作为输入，通过神经网络模型输出用以描述图像采集装置当前视野中的内容的标注信息。该过程中，无需在术前获取医学影像，也不用将术中的组织器官的图像与术前的医学影像进行配准，而是基于训练好的神经网络模型快速的将图像采集装置视野中的内容和/或当前图像采集装置所处的位姿信息作为输入并实时输出，进而能够协助医技人员在对患者进行手术时，精准的实施操作和观察，并能精确的确定组织、器官、血管的类型，以及重要血管的分布、位置和走向，避免手术过程中损伤血管等，且实施过程简单、准确度高。

在一个可选的实施例中，上述的手术机器人系统还可包括：

信息交互装置，与所述识别装置通信连接；

其中，所述信息交互装置包括显示单元，所述显示单元用于将所述标注信息予以显示。

在一个可选的实施例中，上述的手术机器人系统还可包括：

信息交互装置，与所述识别装置通信连接；

其中，所述信息交互装置包括图像叠加单元和显示单元；所述图像叠加单元用于对所接收的所述标注信息和所述色彩图像信息进行叠加，得到叠加图像信息；所述显示单元用于显示所述叠加图像信息。

在一个可选的实施例中，所述图像采集装置可包括：

摄像单元，用于采集原始图像信息；所述原始图像信息用于表征所述手术环境信息；以及

图像信息处理单元，与所述摄像单元通信连接，用以对所述原始图像信息进行处理，得到所述色彩图像信息。

在一个可选的实施例中，所述特征信息包括颜色、形状、密度、尺寸、亮度、表面结构、图像的放大倍数中至少一种；以及

所述标注信息包括组织类型、器官类型、血管类型、血管分布、血管位置、血管延伸方向信息中至少一种。

在一个可选的实施例中，所述识别装置可包括：

特征信息提取单元，用于根据所述色彩图像信息获得所述特征信息；以及

计算单元，用于以所述特征信息和所述位姿信息作为输入，基于神经网络模型输出标注信息。

在一个可选的实施例中，述识别装置还可包括：

接收器，所述特征信息提取单元通过所述接收器与所述图像采集装置通信连接；

其中，所述接收器用于接收获取所述色彩图像信息，并对所述色彩图像信息进行优化处理；以及

所述图像采集装置根据优化处理后的色彩图形信息获得所述特征信息。

在一个可选的实施例中，所述识别装置还可包括：

图像分割单元，用于对所述色彩图像信息灰度化处理，获取灰度图像信息，并利用边缘提取算法获取所述灰度图像信息中的区域信息，以将所述色彩图形信息划分为至少两个区域；

其中，所述特征信息提取单元用于根据所述区域信息获得所述色彩图像信息和/所述灰度图像信息上每个区域所对应的特征信息；以及

所述计算单元用于根据每个区域的所述特征信息以及所述定位装置获取的所述位姿信息，通过所述神经网络模型输出每个区域的标注信息。

在一个可选的实施例中，所述特征信息还可包括每个区域在图像中的相对位置信息。

在一个可选的实施例中，所述边缘提取算法的算子包括罗伯特算子、索布尔算子、普鲁伊特算子中的任意一个。

在一个可选的实施例中，所述神经网络模型包括输入层、隐藏层和输出层；

其中，所述输入层的节点为三个，所述隐藏层的节点为两个，所述输出层的节点为一个，所述神经网络模型的各节点的激活函数为平滑函数。

在一个可选的实施例中，所述图像采集装置为腹腔镜或者内窥镜。

在一个可选的实施例中，述定位装置包括位于图像采集装置末端的定位传感器和至少一个辅助定位传感器；

其中，所述至少一个辅助定位传感器中的各辅助定位传感器固定在患者体表上，用于建立参考系，并获取所述定位传感器在所述参考系中的位姿信息，以及

根据各个所述辅助定位传感器在人体坐标系下的姿态描述，来获取所述图像采集装置在人体坐标系下的位姿信息。

附图说明

图1为一个实施例提供的手术机器人系统的示例图；

图2为另一个实施例提供的手术机器人系统的示例图；

图3为一个实施例提供的手术机器人系统所适用的图像采集装置采集图像信息的示例图；

图4为一实施例提供手术机器人系统所适用的生成标注信息的流程图；

图5为一个实施例提供的手术机器人系统所适用的生成特征信息的流程图；

图6为一个实施例提供的手术机器人系统所适用的对灰度图像进行图像分割的示意图；

图7为一个实施例提供的手术机器人系统所适用基于神经网络模型获得标注信息的过程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例提供手术机器人系统的示例图，该手术机器人系统1000可包括：图像采集装置10、定位装置20、识别装置30。其中，识别装置30分别与图像采集装置10和定位装置20通信连接。图像采集装置10，例如为内窥镜或腹腔镜等，用于采集手术环境信息，进而得到色彩图像信息；该色彩图像信息可为关于患者体内手术环境(例如，包括在图像采集装置10视野下的组织、器官、血管的信息)且能够显示的信息。定位装置20，则可用于获取所述图像采集装置10的位姿信息，所述位姿信息可用于表征所述图像采集装置10在所述患者体内的位置和姿态。识别装置30，可根据上述的色彩图像信息得到特征信息，且该识别装置30还可以上述的特征信息和/或位姿信息作为输入，基于神经网络模型来生成并输出标注信息；该标注信息可用于描述上述图像采集装置10视野中的内容，即用于描述所述图像采集装置10获取到的手术环境信息所包含的内容。其中，上述的特征信息可以包括颜色(例如组织器官的颜色)、形状(例如组织器官的形状)、密度(例如血管的密度)、尺寸(例如血管的尺寸)、亮度(例如组织器官的亮度)、表面结构(例如组织器官的表面结构)、图像的放大倍数等相关信息参数中的一种或多种；上述的标注信息则可包括组织类型、器官类型、血管类型、血管分布、血管位置、血管延伸方向信息等中的一种或多种。

其中，本发明对标注信息的具体显示形式没有特别的限制，可以采用文字、图形符号、图像、模型以及上述的结合中的一种或多种。文字标注信息可通过文字描述方式向医技人员提示手术环境包含的组织、器官以及血管的类型等，图像标注信息可通过图画方式向医技人员提示手术环境包含的血管分布、位置和走向等，以帮助医技人员发现隐藏在患者组织之下的重要动脉血管、静脉血管，并辅助医技人员识别组织、器官、血管的类型等。

在一个可选的实施例中，上述的手术机器人系统1000还可包括与识别装置30通信连接的信息交互装置40，该信息交互装置40可包括图像叠加单元和显示单元。其中，图像叠加单元可用于对标注信息和色彩图像信息进行叠加，以生成并输出叠加图像信息；上述的显示单元可用于将上述叠加图像信息和标注信息予以同时显示，也可分别予以单独显示；上述信息交互装置40可以是显示器、投影设备、AR、VR设备等，并通过诸如视频、影像或文字等方式将上述的叠加图像信息和/或标注信息予以显示。

在一个可选的实施例中，上述的神经网络模型可为利用历史数据或基于大数据分析后的数据对相应的神经网络进行训练后所获取的神经网络模型，优选该神经网络模型可为三层模型结构，例如该三层模型结构可包括输入层、隐藏层和输出层的神经网络模型；其中，在输入层的节点可设置为三个，隐藏层的节点可设置为两个，将输出层的节点设置为一个，且该神经网络模型的各个节点的激活函数可设置为平滑函数等。上述各个层结构的节点还可基于实际的需求设定为其他数目，同时不同的层结构的节点数目可设置为相同或不同。

在另一个可选的实施例中，上述的手术机器人系统1000还可包括存储器(图中未示出)，用于存储有多个手术图像模型；上述手术图像模型可包括但不限神经网络模型层数、每层节点数、节点之间的权重、阈值参数等信息；于识别装置30可与该存储器通信连接，用以调取存储器中存储的数据进行特征信息的提取等操作，也可将提取的特征信息等数据存储至该存储器中，以便于其他设备进行调取；同时，该识别装置30也可对存储器中存储的手术图像模型，例如神经网络模型层数、每层节点数、节点之间的权重、阈值参数等信息进行更新、删除或添加等操作。本领域技术人员应理解所述存储器可作为单独的存储装置置于识别装置30外部，也可以置于识别装置30中。

图2为另一个实施例提供的手术机器人系统的示例图。如图2所示，在一个可选的实施例中，上述的图像采集装置10可包括摄像单元12和图像信息处理单元14，且摄像单元12可通过图像信息处理单元14与识别装置30通信连接。其中，摄像单元12可为图像传感器，以用于在对患者进行诸如微创手术时，实时采集患者体内目标位置处的手术环境信息，例如该摄像单元12用于采集原始图像信息；图像信息处理单元14则可用于接收摄像单元12所采集的原始图像信息，并对接收的原始图像信息进行处理，以得到色彩图像信息，并可将得到的色彩图像信息发送至识别装置30中；其中，上述的原始图像信息可为手术环境信息中所包含的图像信息。在一个具体实施例中，摄像单元12中每个感光点只采集RGB信息中一种，即在采集手术环境中的图像中所述原始图像信息(raw data)中每个像素只包含RGB信息中一种。而色彩图像信息中每个像素具有全部RGB信息。所以，图像信息处理单元14需要根据原始图像信息中像素点周围的像素点RGB信息，经过插值等运算补全该像素点缺失的RGB信息以便于显示。

在另一个可选的实施例中，参见图1～2所示，上述的定位装置20可包括定位传感器22和至少一个辅助定位传感器24，且该至少一个辅助传感器24在使用时可固定在患者的体表上，用于通过相互通讯连接来建立参考系，且该参考系可为三维的坐标系；上述的定位传感器22则可与每个辅助定位传感器24通信连接，且该定位传感器22与上述的图像采集装置10相对固定设置，如可将定位传感器22固定设置在图像采集装置10的末端上，以通过采集定位传感器22在上述参考系中的位姿信息，并可根据各个辅助定位传感器在人体坐标系下的姿态描述，来获取图像采集装置10在人体坐标系中的位姿信息。其中，上述的辅助传感器24固定在患者身上诸如锁骨末端、肩峰、剑突、胸椎等特定位置处，以提升定位传感器22的定位精度。此外，所述辅助定位传感器24还可以组成列阵，在每个辅助定位传感器24坐标系下获取所述定位传感器22的位置，再根据列阵中每个辅助定位传感器24相对位置关系获取所述定位传感器22的姿态。

在另一个可选的实施例中，参见图1～2所示，上述的识别装置30可包括特征信息提取单元36和计算单元38；特征信息提取单元36可与上述的图像采集装置10通信连接，用以接收色彩图像信息，并根据该色彩图像信息获得特征信息；计算单元38则可分别与上述的定位装置20、特征信息提取单元38和信息交互装置40通信连接，用以将接收的上述的特征信息和位姿信息作为输入，基于神经网络模型，得到并输出标注信息至信息交互装置40予以显示。

在一个可选的实施例中，如图1～2所示，上述的信息交互装置40可包括显示单元42和图像叠加单元44；显示单元42可与上述的计算单元38通信连接，用于将上述的诸如标注信息等予以显示；图像叠加单元44则可分别图像信息处理单元14、计算单元38及显示单元42连接，用于接收计算单元38所输出的标注信息和图像信息处理单元10所输出的色彩图像信息，并将所接收的标注信息和色彩图像信息进行叠加，以得到叠加图像信息，同时还可将该叠加图像信息输出至显示单元42予以显示。具体而言，在色彩图像信息上预定的标注信息的位置处，添加该标注信息，实现色彩图像信息与标注信息的叠加。例如，若标注信息具体形式为文字标注信息，用于向医技人员提示色彩图像信息包含的内容中的心肌部分，则可在色彩图像信息中预定位置处添加标注信息，向医技人员提示色彩图像包含的内容为心肌；再如，若标注信息具体形式为图像标注信息，用于向医技人员提示静脉血管的走向，则在色彩图像信息预定的位置处，添加该标注信息，向医技人员提示该内容为静脉。

在一个可选的实施例中，如图1～2所示，为了进一步提升特征信息提取的精准度，还可在图像采集装置10与特征信息提取单元36之间设置接收器32，该接收器32可用于接收图像采集装置10所输出的色彩图像信息，并对所接收的色彩图像信息进行优化处理(例如降噪、白平衡等操作)后，将优化处理后的色彩图像信息发送至特征信息提取单元36，以提升后续该特征信息提取单元36所提取特征信息的精确度。

在另一个可选的实施例中，如图1～2所示，在大多数情况下，手术环境比较复杂，图像采集装置10获取到的色彩图像信息中往往包含多个组织、器官和血管。需要将图像信息中这些组织、器官和血管分割出来，再进行识别。所以，所述识别装置30还包括图像分割单元34，该图像分割单元34可用于对所接收的色彩图像信息进行灰度化处理后来获取灰度图像信息，并利用边缘提取算法来获取该灰度图像信息中的区域信息，并可根据该区域信息将上述的色彩图像信息划分为至少两个区域；相应的，上述的特征信息提取单元36则可根据上述的区域信息和/或上述的灰度图像信息获取色彩图像信息上每个区域所对应的特征信息，而计算单元38则可根据每个区域的特征信息和/或定位装置20所获取的位姿信息，基于神经网络模型输出每个区域的标注信息；此时，上述的特征信息则可对应包括每个区域在色彩图像中的相对位置信息。其中，上述的边缘提取算法中的算子可为罗伯特算子、索布尔算子或普鲁伊特算子等。

需要注意的是，上述的手术机器人系统中可包括接收器32和/或图像分割单元34，且在手术机器人系统包括接收器32和图像分割单元34时，可先利用接收器32对图像信息处理单元14输出的色彩图像信息进行优化处理后，例如接收器32将色彩图像信息的三原色图像叠加成RGB图像，以解决对单原色图像边缘提取处理会产生的失真现象，将优化处理后的色彩图像信息发送至图像分割单元34进行区域划分操作，同时将优化处理后的色彩图像信息发送至图像叠加单元44进行叠加操作。

图3为一个实施例提供的手术机器人系统所适用的图像采集装置采集色彩图像信息的示例图。请参照图3，本发明实施例中，定位装置包括20包括定位传感器22与至少一个辅助定位传感器24，如图中的辅助定位传感器242、244与246。定位传感器22可设置在内窥镜101的末端，并可伴随内窥镜10深入患者体内，同时辅助定位传感器242、244、246可固定在患者特殊骨骼外的表皮上。特殊骨骼例如为锁骨末端、肩峰、剑突、胸椎等。另外，在随着内窥镜101在患者体内的移动，内窥镜101相对于辅助定位传感器242、244、246的位置会发生变化时，定位传感器201可根据内窥镜101与辅助定位传感器242、244、246之间的相对位置，获取内窥镜101的位姿信息，该位姿信息用于表征内窥镜101在患者体内的位置和姿态。具体实施时，可先将辅助定位传感器242、244、246贴在患者躯干的表皮上，用以分别获取内窥镜101末端在辅助定位传感器242、244、246坐标系下的空间坐标，进而根据空间坐标精确计算内窥镜101末端相对于人体的位置和姿态。同时，在获取位姿信息之前，还可以在手术机器人系统中输入患者的身高、体重、脂肪率等物理数据，以辅助确定内窥镜101的位姿信息。

本发明实施例中所提供的手术机器人系统，可根据图像采集装置获取到的色彩图像信息提取出的特征信息和/或定位装置获取到的位姿信息通过神经网络模型生成标注信息，进一步可将该标注信息叠加到图像采集装置获取到的色彩图像信息上，进而得到叠加图像信息，并将该叠加图像信息予以显示。在该过程中，无需在术前获取医学影像，同时也无需将手术环境中的组织、器官、血管的图像与术前的医学影像进行配准，而是通过将基于色彩图像信息的特征信息和/或位姿信息通过神经网络模型获得的标注信息与色彩图像信息进行叠加来实时显示叠加图像，即可有效的辅助医技人员全面、精准的获悉手术环境相关的信息，即使患者的组织、器官或血管在实施手术的过程中发生变形，也能在色彩图像信息对应的图像上实时显示标注信息，且过程简单、准确度高。

下面，在上述图1～3及相关阐述的基础上，参见图4，对本实施例提供手术机器人系统所适用的生成标注信息的流程图予以详细说明，具体的包括：

S201、获取位姿信息。

具体的，再请参照图1～3，识别装置接收定位装置发送的位姿信息。

S202、图像采集装置，采集手术环境信息，得到色彩图像信息。具体包括：

S2021、图像采集装置获取原始图像信息。

具体的，图像采集装置中的摄像单元采集关于手术环境信息的原始图像信息。该摄像单元可以为设置在图像采集装置上的图像传感器，例如互补性氧化金属半导体CMOS(Complementary Metal-Oxide Semiconductor)图像传感器或电荷藕合器件(ChargeCoupled Device，CCD)图像传感器。

S2022、图像采集装置将原始图像信息转换为色彩图像信息。

本步骤中，具体的，在摄像单元采集到原始图像信息后，图像信息处理单元对原始图像信息进行转换，得到色彩图像信息。

S203、图像采集装置将色彩图像信息发送给识别装置。

S204、根据色彩图像信息，识别装置生成至少一个特征信息。

本步骤中，接收到色彩图像信息后，识别装置基于图像算法，将该色彩图像信息对应的彩色图像分割成多个区域，对每一个区域分别提取特征，得到每个区域的特征信息。

可选的，本步骤中，进行特征提取时，提取的特征信息包括但不限于以下几个方面：颜色、形状、血管密度、尺寸、亮度、表面结构、图像的放大倍数等。

S205、根据所述至少一个特征信息与所述位姿信息，识别装置通过神经网络模型，获得至少一个标注信息。

本步骤中，通过神经网络模型，对至少一个特征信息与位姿信息进行学习和精确判断，识别出诸如组织类型、器官类型、血管类型、血管分布、血管位置、血管延伸方向信息等标注信息。

优选，还包括以下步骤：

S206、信息交互装置将至少一个标注信息叠加在色彩图像信息上，得到叠加图像信息。

本步骤中，信息交互装置中的图像叠加单元将至少一个标注信息叠加在图像采集装置采集到的色彩图像信息，得到叠加图像信息。S207、显示器接受并显示叠加图像信息。

此外，所示信息交互装置中还可以不包含图像叠加单元。此时，显示器接受并显示标注信息。

上述实施例中，识别装置通过对图像采集装置发送的色彩图像信息，实现得到至少一个标注信息的目的。

可选的，在本发明另一实施例中，所述识别装置根据色彩图像信息，生成至少一个特征信息时，还对所述图像进行灰度处理，得到灰度图；根据边缘提取算法，将所述灰度图分割成至少一个区域；对各区域的图像提取特征，得到所述至少一个特征信息。具体的，可参见图5。

图5为一个实施例提供的手术机器人系统所适用的生成特征信息的流程图，包括：

S301、接收器优化处理图像采集装置发送的色彩图像信息，得到优化处理后的色彩图像信息。

在接收器接收到色彩图像信息后，对该色彩图像信息进行处理，例如，将该色彩图像信息中的三原色图像叠加成红绿蓝(Red Green Blue，RGB)图像，以解决对单原色图像进行边缘特征处理时会产生失真现象的问题，其中，单原色图像为色彩图像信息中包含的某个原色图像信息。

S302、对处理后的色彩图像信息进行灰度化处理，得到灰度图。

本步骤中，对处理后的色彩图像信息进行灰度化处理，得到色彩图像对应的灰度图，从而为图像分割做准备。

S303、根据边缘提取算法，将所述灰度图分割出至少一个区域。

本步骤中，采用边缘提取算法，将整个灰度图分割成不同的区域。其中，边缘提取算法的算子包括但不限于以下几种算子：罗伯特(Roberts)算子、索布尔(Soble)算子、普鲁伊特(Prewitt)算子等。

S304、对各区域的图像提取特征，得到所述至少一个特征信息。

本步骤中，对于每个区域所表示的不同组织和/或器官，分别提取出其特征信息。特征信息包括但不限于以下几个方面：每个区域在灰度图中的位置、颜色、形状、血管密度、尺寸、亮度、表面结构以及图像的放大倍数等。例如，根据色彩图像信息或者优化处理后的色彩图像信息，对各区域的图像提取色彩等特征信息；再如，根据灰度图信息，对各区域的图像提取亮度、表面结构等特征信息。

对各个区域分别提取特征信息后，将每个区域作为一个样本。对于每个区域，采用神经网络模型，根据该区域的特征信息与位姿信息，确定该区域的标注信息，该标注信息例如为组织类型、器官类型、血管类型、血管分布、血管位置、血管延伸方向信息等。本发明实施例中，对于神经网络模型的具体类型以及各种参数的设定并没有特别的限制。具体实施时，可以根据所述至少一个特征信息与所述位姿信息，确定所述神经网络模型的参数；根据所述参数生成至少一个标注信息；其中，所述参数包括下述参数中的至少一个：神经网络层数、神经网络每层的节点数、每个节点的激活函数等。下面，对本发明实施例采用的神经网络模型进行详细说明。

具体的，在一个示范性的实施例中，神经网络模型中输出层的激活函数优选为平滑函数，如sigmoid函数：

其中，β_h表示输出层的某个节点的输入值，f(h)表示最终计算出的结果，在本发明实施例中，该结果为某个区域的标注信息，用于提示该区域包含的组织和/或器官的类型等。

进一步，β_h通过下述公式确定出：

其中，ω_i为神经网络模型隐藏层中的节点与该节点之间的权重，h_i为隐藏层中节点的输出，k为上一层/输入层节点数量，θ为该节点的阈值。

本发明实施例中，神经网络模型中隐藏层的激活函数优选为平滑函数，如sigmoid函数：

其中，a_x为隐藏层某节点的输入。

进一步，a_x通过下述方式确定出：

或者

其中，υ_j为输入层的节点与隐藏层中该节点之间的权重，x_j为输入层的输入值，m为输入层节点数量，θ'为该节点的阈值。

进一步，本发明实施例中，神经网络模型中的反向传播，优选采用梯度下降法，训练样例其中，输出层的实际输出(x^p,y^p)，其中因此，均方误差为：

本发明实施例中，通过梯度下降调整各个权重系数以及阈值，需要获得均方误差E_p对各个权重系数以及阈值的偏导，该偏导即各个权重系数以及阈值的梯度项。以输出层第一个节点的权重ω₁为例：

其中，

由于，所以

由于，所以

由于，所以

因此，

进一步，可以表示为δ，表示该节点对最终误差的贡献。因此，更新后的ω₁为

其中，η为学习率，决定了学习的效率，也就是收敛的速度，一般情况下，0<η≤1。

相应的，

更新后的θ＝θ+ηδ

以隐藏层第一个节点的权重υ₁为例：

更新后的其中δ'_i表示

更新后的

基于上述反向传播，本发明实施例训练神经网络模型的具体流程包括如下步骤：

首先、设立训练集

其次，在(0，1)范围内随即初始化网络中所有的权重和阈值；

再次，对训练样本进行训练，包括下述步骤：

a)通过网络做正向传播获得(x^p,y^p)；

b)计算输出层的误差：

c)获得各个权重系数以及阈值的梯度项；

d)更新各个权重系数以及阈值；

e)以新的样本重新做正向传播获得新的(x^p,y^p)，直至满足预设条件停止训练。预设条件没有特别的限制，可以为指定的迭代次数、输出层的误差小于容忍值，或者某次迭代的误差为最小值等。

下面，基于上述对神经网络模型的描述以及神经网络模型的步骤，以器官和/或组织的类型识别为例，对本发明获得标注信息进行详细说明。具体的，请参照图6。

图6为一个实施例提供的手术机器人系统所适用的对灰度图像进行图像分割的示意图，其中的图像采集装置为腹腔镜，摄像单元为CMOS传感器。请参照图6，腹腔镜的CMOS采集到手术环境色彩图像信息得到关于手术环境的原始图像信息，然后，色彩图像信息处理模块对关于手术环境的原始图像信息进行处理，得到色彩图像信息并发给识别装置。识别装置的接收器接收色彩图像信息，然后对色彩图像信息进行优化处理，包括将色彩图像信息中的三原色色彩图像信息叠加得到红绿蓝(Red Green Blue，RGB)色彩图像信息。所述图像分割单元首先，对处理后的彩色图像进行灰度处理，得到灰度图，然后根据边缘提取算法对灰度图进行图像处理，将灰度图分割成6个区域：A区域、B区域、C区域、D区域、E区域和F区域，每个区域对应一个组织/器官。所述特征信息提取单元分别对每个区域提取特征信息，并对每个区域的特征信息进行量化处理，形成6个样本。在本实施例中，对于一个具体的区域，该区域的特征信息包括位置信息P(表示该区域在灰度图中的具体位置)、灰度信息GREY、色彩信息RGB等。所述计算单元根据训练后的神经网络模型，获取每个区域的标注信息。具体的，可参见图7。

图7为一个实施例提供的手术机器人系统所适用基于神经网络模型获得标注信息的过程示意。请参照图7，神经网络具有输入层、隐藏层和输出层共三层结构，且输入层具有三个节点，隐藏层具有两个节点，而输出层则具有一个节点。其中，输入层的三个节点的输入分别为x₁、x₂和x₃；x₁表示腹腔镜的位姿信息；x₂表示上述六个区域中，某个区域的特征信息，该特征信息例如为该区域在灰度图像中的位置信息；x₃表示该区域的灰度信息。采用神经网络模型获得该区域的标注信息的过程如下：

输入层x＝[x₁,x₂,x₃]；

输入层与隐藏层之间权重为隐藏层与输出层之间的权重为ω_L2＝[ω₁ ω₂]。

所述神经网络模型的正向传播：

隐藏层的输入为x×ω_L1，即隐藏层第一节点的输入为第二节点输入为

隐藏层的激活函数为sigmoid函数，即隐藏层第一节点的输出h₁为隐藏层第二节点的输出h₂为

相应的，输出层节点的输入为隐藏层各个节点的输出与权重的乘积，即

输出层的激活函数为sigmoid函数，即输出层的节点输出o为

该节点输出o即为该区域的标注信息，该标注信息用于提示该区域的组织和/或器官的类型。得到标注信息后，通过影像叠加，将腹腔镜输出的色彩图像信息或优化后的色彩图像信息与标注信息叠加，得到叠加图像，将叠加图像实时显示在显示器上。本实施例中直接采用训练后的神经网络模型，即通过训练样本已经获得所有节点的权重以及阈值。具体的训练方法可以采用上述的梯度下降法，也可以采用其他的现有技术。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种手术机器人系统，其特征在于，包括：

图像采集装置，用于采集手术环境信息，得到色彩图像信息；

定位装置，用于获取所述图像采集装置的位姿信息，所述位姿信息用于表征所述图像采集装置在患者体内的位置和姿态；以及

识别装置，分别与所述图像采集装置和所述定位装置通信连接，用于根据所述色彩图像信息得到特征信息；

其中，所述识别装置还用于基于神经网络模型，并以所述特征信息和/或所述位姿信息作为输入，输出标注信息；所述标注信息用于描述所述图像采集装置视野中的内容。

2.根据权利要求1所述的手术机器人系统，其特征在于，还包括：

信息交互装置，与所述识别装置通信连接；

其中，所述信息交互装置包括显示单元，所述显示单元用于将所述标注信息予以显示。

3.根据权利要求1所述的手术机器人系统，其特征在于，还包括：

信息交互装置，与所述识别装置通信连接；

其中，所述信息交互装置包括图像叠加单元和显示单元；所述图像叠加单元用于对所接收的所述标注信息和所述色彩图像信息进行叠加，得到叠加图像信息；所述显示单元用于显示所述叠加图像信息。

4.根据权利要求1所述的手术机器人系统，其特征在于，所述图像采集装置包括：

摄像单元，用于采集原始图像信息；所述原始图像信息用于表征所述手术环境信息；以及

图像信息处理单元，用以对所述原始图像信息进行处理，得到所述色彩图像信息。

5.根据权利要求1所述的手术机器人系统，其特征在于，

所述特征信息包括颜色、形状、密度、尺寸、亮度、表面结构、图像的放大倍数中至少一种；以及

所述标注信息包括组织类型、器官类型、血管类型、血管分布、血管位置、血管延伸方向信息中至少一种。

6.根据权利要求2所述的手术机器人系统，其特征在于，所述识别装置包括：

特征信息提取单元，用于根据所述色彩图像信息获得所述特征信息；以及

计算单元，用于以所述特征信息和所述位姿信息作为输入，基于神经网络模型输出标注信息。

7.根据权利要求6所述的手术机器人系统，其特征在于，所述识别装置还包括：

接收器，所述特征信息提取单元通过所述接收器与所述图像采集装置通信连接；

其中，所述接收器用于接收获取所述色彩图像信息，并对所述色彩图像信息进行优化处理；以及

所述图像采集装置根据优化处理后的色彩图形信息获得所述特征信息。

8.根据权利要求2所述的手术机器人系统，其特征在于，所述识别装置还包括：

图像分割单元，用于对所述色彩图像信息灰度化处理，获取灰度图像信息，并利用边缘提取算法获取所述灰度图像信息中的区域信息，以将所述色彩图形信息划分为至少两个区域；

其中，所述特征信息提取单元用于根据所述区域信息获得所述色彩图像信息和/或所述灰度图像信息上每个区域所对应的特征信息；以及

所述计算单元用于根据每个区域的所述特征信息以及所述定位装置获取的所述位姿信息，通过所述神经网络模型输出每个区域的标注信息。

9.根据权利要求8所述的手术机器人系统，其特征在于，所述特征信息还可包括每个区域在图像中的相对位置信息。

10.根据权利要求8所述的手术机器人系统，其特征在于，所述边缘提取算法的算子为罗伯特算子、索布尔算子、普鲁伊特算子中的任意一个。

11.根据权利要求1～10中任意一项所述的手术机器人系统，其特征在于，所述神经网络模型包括输入层、隐藏层和输出层；

其中，所述输入层的节点为三个，所述隐藏层的节点为两个，所述输出层的节点为一个，所述神经网络模型的各节点的激活函数为平滑函数。

12.根据权利要求1～10中任意一项所述的手术机器人系统，其特征在于，所述图像采集装置为腹腔镜或者内窥镜。

13.根据权利要求1～10中任意一项所述的系统，其特征在于，所述定位装置包括位于图像采集装置末端的定位传感器和至少一个辅助定位传感器；

其中，所述至少一个辅助定位传感器中的各辅助定位传感器固定在患者体表上，用于建立参考系，并获取所述定位传感器在所述参考系中的位姿信息，以及

根据各个所述辅助定位传感器在人体坐标系下的姿态描述，来获取所述图像采集装置在人体坐标系下的位姿信息。