CN114092480B - 一种内窥镜调整装置、手术机器人及可读存储介质 - Google Patents

一种内窥镜调整装置、手术机器人及可读存储介质 Download PDF

Info

Publication number
CN114092480B
CN114092480B CN202210072088.2A CN202210072088A CN114092480B CN 114092480 B CN114092480 B CN 114092480B CN 202210072088 A CN202210072088 A CN 202210072088A CN 114092480 B CN114092480 B CN 114092480B
Authority
CN
China
Prior art keywords
image
module
position information
instrument
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210072088.2A
Other languages
English (en)
Other versions
CN114092480A (zh
Inventor
王迎智
高倩
周毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jixian Artificial Intelligence Co Ltd
Original Assignee
Jixian Artificial Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jixian Artificial Intelligence Co Ltd filed Critical Jixian Artificial Intelligence Co Ltd
Priority to CN202210072088.2A priority Critical patent/CN114092480B/zh
Publication of CN114092480A publication Critical patent/CN114092480A/zh
Application granted granted Critical
Publication of CN114092480B publication Critical patent/CN114092480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明实施例公开了一种内窥镜调整装置、手术机器人及可读存储介质，该装置包括：处理模块，用于对于原始图像进行校正处理，得到校正图像；识别模块，用于识别校正图像，得到图形码的图形信息；第一确定模块，用于根据手术器械的类别标识，从预设配置文件中，查询图形码的实际尺寸信息、以及手术器械的器械末端与图形码的第一相对位置信息；第二确定模块，用于根据图形码的实际尺寸信息和校正图像确定比例关系；第三确定模块，用于根据比例关系和第一相对位置信息，确定器械末端与校正图像的第二相对位置信息；调整模块，用于根据第二相对位置信息，调整内窥镜。由此，能够提升内窥镜调整的准确性和效率。

Description

一种内窥镜调整装置、手术机器人及可读存储介质
技术领域
本发明属于信息处理技术领域，尤其涉及一种内窥镜调整装置、手术机器人及可读存储介质。
背景技术
在微创手术期间，例如腹腔微创手术期间，主刀医生和助手需要将手术器械（例如手术刀）和内窥镜同时伸入患者创口，主刀医生通过控制手术器械从而实施手术。而助理需要根据手术器械的运动，控制内窥镜的拍摄角度，从而使得内窥镜保持对手术操作区域的拍摄。然而由于手术台周围区域狭窄，导致助手操作内窥镜不是很方便。并且主刀医生需要随时告知助手下一刻应当往哪个方向移动内窥镜，导致主刀医生的精力被分散。可见，现有的内窥镜控制方式较为落后。
发明内容
本发明实施例提供一种内窥镜调整装置、手术机器人及可读存储介质，能够解决目前对于内窥镜调整的准确性和效率较低的问题。
第一方面，本发明实施例提供一种内窥镜调整装置，应用于手术机器人，该装置包括：
采集模块，用于根据内窥镜拍摄的手术图像，采集设置在手术器械上的图形码的原始图像；
处理模块，用于对于原始图像进行校正处理，得到校正图像；
识别模块，用于识别校正图像，得到图形码的图形信息，图形信息包括：手术器械的类别标识；
第一确定模块，用于根据手术器械的类别标识，从预设配置文件中，查询图形码的实际尺寸信息、以及手术器械的器械末端与图形码的第一相对位置信息；
第二确定模块，用于根据图形码的实际尺寸信息和校正图像确定比例关系；比例关系用于指示图形码与校正图像之间的尺寸比例；
第三确定模块，用于根据比例关系和第一相对位置信息，确定器械末端与校正图像的第二相对位置信息；
调整模块，用于根据第二相对位置信息，调整内窥镜。
在一种可能的实现方式中，第二确定模块，具体用于：识别校正图像的尺寸信息；
根据图形码的实际尺寸信息和校正图像的尺寸信息，确定比例关系。
在一种可能的实现方式中，调整模块，包括：
获取模块，用于获取图形码在校正图像中的位置信息；
第四确定模块，用于根据图形码在校正图像中的位置信息和第二相对位置信息，确定器械末端在校正图像中的位置信息；
变换模块，用于对器械末端在校正图像中的位置信息进行逆透视变换，确定器械末端在原始图像中的位置信息；
第五确定模块，用于根据器械末端在原始图像中的位置信息和原始图像在手术图像中的位置，确定器械末端在手术图像中的位置，并将器械末端在手术图像中的位置作为跟踪位置信息；
调整模块，具体用于：根据跟踪位置信息，调整内窥镜。
在一种可能的实现方式中，变换模块，包括：
建立模块，用于建立从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵；
第六确定模块，用于根据逆透视变换矩阵和器械末端在校正图像中的位置信息，确定器械末端在原始图像中的位置信息。
在一种可能的实现方式中，调整模块，具体用于：
获取手术图像的中心位置信息；
根据跟踪位置信息和手术图像的中心位置信息，确定位置偏差信息；
根据位置偏差信息，调整内窥镜，以使内窥镜对准器械末端。
在一种可能的实现方式中，建立模块，具体用于：获取标定点坐标；标定点坐标包括：原始图像中的第一标定点坐标和校正图像中的第二标定点坐标；
根据第一标定点集坐标和第二标定点集坐标，确定逆透视变换矩阵。
在一种可能的实现方式中，图形码为二维码。
在一种可能的实现方式中，处理模块，具体用于：
识别原始图像中的第一标定点集坐标；
确定校正图像中的第二标定点集坐标；
确定第一标定点集坐标变换至第二标定点集坐标对应的单应性矩阵；
对单应性矩阵进行逆透视变换，得到校正图像。
在一种可能的实现方式中，采集模块包括预处理模块；
预处理模块，用于对手术图像进行预处理，得到至少一个检测区域图像；
识别模块，还用于从至少一个检测区域图像中，识别出原始图像。
在一种可能的实现方式中，预处理模块，包括：检测模块和生成模块；
检测模块，用于检测手术图像，得到至少一个区域轮廓；
识别模块，用于识别每个区域轮廓的形心坐标；
生成模块，用于根据形心坐标和预设尺寸，生成至少一个检测区域图像。
在一种可能的实现方式中，识别模块，具体用于：
对检测区域图像进行阈值化处理，得到校正后的检测区域图像；
对校正后的检测区域图像进行扫描，得到扫描结果；
将扫描结果中满足预设条件的目标扫描结果对应的检测区域图像，确定为候选探测图像；
从候选探测图像中，识别出原始图像。
在一种可能的实现方式中，检测模块，具体用于：
检测手术图像的轮廓，得到至少一个区域轮廓，包括：
对手术图像进行灰度化处理，得到灰度图像；
对灰度图像进行二值化处理，得到二值化图像；
基于预设阈值检测二值化图像，得到至少一个区域轮廓。
第二方面，本发明实施例提供了一种手术机器人，该手术机器人包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时，实现如第一方面或者第一方面的任一可能实现方式中的装置。
第三方面，本发明实施例提供了一种可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或者第一方面的任一可能实现方式中的装置。
本发明实施例中，通过对于采集到的手术机器人上附有的图形码的原始图像进行校正处理，得到校正图像，这里校正处理可以方便后续对校正图像和实际尺寸建立变换关系，以及便于读取图形码的图形信息；图形信息中包含器械末端与图形码的第一相对位置信息，这样，当器械末端被组织或其他障碍物遮挡时，仍然可以根据比例关系对图形信息中包含的第一相对位置信息进行转换，确定器械末端与校正图像的第二相对位置信息，从而根据第二相对位置信息调整内窥镜，以实现自动控制内窥镜，使其快速准确地跟踪器械末端部位。由此，能够提升对于内窥镜调整的准确性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种手术机器人示意图；
图2是本发明实施例提供的一种内窥镜调整方法的流程图；
图3是本发明实施例提供的一种图形码示意图；
图4是本发明实施例提供的一种图形码的特征示意图；
图5是本发明实施例提供的一种坐标系示意图；
图6是本发明实施例提供的一种透视变换示意图；
图7是本发明实施例提供的一种内窥镜调整装置结构示意图；
图8是本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
首先，对于本发明实施例涉及的技术术语进行介绍。
图形码，是一种基于几何数学技术、几何结构编码原理，用于存储信息和传递信息的信息载体，图形码包括条形码，二维码和图案码等。
其中，二维码又称二维条码，常见的二维码包括QR（Quick Response）码，QR码是二维条码的一种，QR码比普通条码可储存更多资料，亦无需像普通条码般在扫描时需直线对准扫描器。QR码呈正方形，有黑白两色。在4个角落的其中3个，印有较小，像“回”字的正方图案。这3个是帮助解码软件定位的图案，使用者不需要对准，无论以任何角度扫描，资料仍可正确被读取。
内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。一个具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。
手术器械是指在临床手术中所使用的医疗器械，器械末端可以是手术器械中指定的一个末端结构。
单应性（Homography）变换，可以理解为它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。对应的变换矩阵称为单应性矩阵。单应性在计算机视觉领域是一个重要的概念，它在图像校正、图像拼接、相机位姿估计等领域有非常重要的作用。用单应矩阵进行图像矫正，最少需要四个对应点对就可以实现。
透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)。可以利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
本发明实施例提供的内窥镜调整方法至少可以应用于下述应用场景中，下面进行说明。
微创腹腔镜手术场景中，往往需要一个医生助手来专门进行手术内窥镜的操纵，内窥镜操纵者需要在手术过程中实时调整内窥镜角度，对准手术部位。但是手术过程中由于器械末端经常会受到组织或其他手术工具的遮挡，导致跟踪失败，需要医生参与调整内窥镜对准方向。另一方面，在整幅内窥镜视频图像上进行器械搜索识别存在着识别效率问题。
基于上述应用场景，下面对本发明实施例提供的内窥镜调整方法进行详细说明。
图2为本发明实施例提供的一种内窥镜调整方法的流程图。
如图2所示，该内窥镜调整方法可以包括步骤210-步骤270，该方法应用于内窥镜调整装置，具体如下所示：
步骤210，根据内窥镜拍摄的手术图像，采集设置在手术器械上的图形码的原始图像。
步骤220，对于原始图像进行校正处理，得到校正图像。
步骤230，识别校正图像，得到图形码的图形信息，图形信息包括：手术器械的类别标识。
步骤240，根据手术器械的类别标识，从预设配置文件中，查询图形码的实际尺寸信息、以及手术器械的器械末端与图形码的第一相对位置信息。
步骤250，根据图形码的实际尺寸信息和校正图像，确定比例关系；比例关系用于指示图形码与校正图像之间的尺寸比例。
步骤260，根据比例关系和第一相对位置信息，确定器械末端与校正图像的第二相对位置信息。
步骤270，根据第二相对位置信息，调整内窥镜。
本发明提供的内窥镜调整方法中，通过内窥镜采集图形码的原始图像，其中，内窥镜显示画面为原始图像所在平面的画面，其上的图形码的原始图像可以是实际空间平面上图形码在原始图像平面上的透视投影；然后，为方便建立比例关系以及对图形信息的读取，先对原图像二维码图像进行校正，可以使得校正后的校正图像轮廓为标准正方形轮廓。接着，对校正处理得到的校正图像进行识别，得到包括器械末端与图形码的第一相对位置信息的图形信息。接着，然后建立图形信息和校正图像在尺寸上的比例关系。接着，根据上述确定的根据比例关系和第一相对位置信息（器械末端在图形码所在平面垂直投影点距离二维码中心在X和Y方向上的分量），可以确定器械末端与校正图像的第二相对位置信息。最后，根据对第二相对位置信息的透视变换，确定器械末端在原始图像中应处的跟踪位置信息，并依据跟踪位置信息调整内窥镜。
这样，当器械末端被组织或其他障碍物遮挡时，仍然可以根据比例关系对图形信息中包含的第一相对位置信息进行转换，确定器械末端与校正图像的第二相对位置信息，从而根据第二相对位置信息调整内窥镜，以实现自动控制内窥镜，使其快速准确地跟踪器械末端部位。由此，能够提升对于内窥镜调整的准确性和效率。
下面，对步骤210-步骤270的内容分别进行描述：
涉及步骤210。
在一种可能的实施例中，步骤210，具体可以包括以下步骤：
对手术图像进行预处理，得到至少一个检测区域图像；
从至少一个检测区域图像中，识别出原始图像。
具体地，每个器械上有图形码作为器械的识别标记，图形码中心与器械末端的距离为预先设定的固定常数。从经过预处理得到的对手术图像得到的至少一个检测区域图像中，识别出包括图形码的原始图像，相当于仅针对预先确定的检测区域进行图形码的识别，与从手术图像整体中识别相比，能够减小识别范围。
由此，通过从经过预处理得到的对手术图像得到的至少一个检测区域图像中，识别包括图形码的原始图像，能够减小识别范围，提高识别效率。
其中，上述涉及到的对手术图像进行预处理，得到至少一个检测区域图像的步骤中，具体可以包括以下步骤：
检测手术图像，得到至少一个区域轮廓；
识别每个区域轮廓的形心坐标；
根据形心坐标和预设尺寸，生成至少一个检测区域图像。
检测手术图像，得到手术图像中的至少一个区域轮廓，基于预设阈值绘制超出阈值的各个区域轮廓，并依据计算各个区域轮廓的形心坐标。一各个区域轮廓的形心坐标作为候选器械位置坐标，然后以该形心坐标作为中心点，以预设尺寸为扩展尺寸，扩展出至少一个检测区域图像，其中检测区域图像可以是正方形的。
由此，通过检测手术图像，得到至少一个区域轮廓，并根据每个区域轮廓的形心坐标和预设尺寸，能够快速准确地生成检测区域图像，便于后续从至少一个检测区域图像中，识别出原始图像。
其中，上述涉及到的检测手术图像的轮廓，得到至少一个区域轮廓的步骤中，具体可以包括以下步骤：
对手术图像进行灰度化处理，得到灰度图像；
对灰度图像进行二值化处理，得到二值化图像；
基于预设阈值检测二值化图像，得到至少一个区域轮廓。
内窥镜采集到的手术图像是彩色图像，由于手术器械接近组织器官部位为不锈钢材质，在光源的照射下会有较强反光。所以利用不锈钢材质较强反光的特性，通过对彩色的手术图像进行灰度化处理，并对灰度图进行二值化处理，再通过检测二值化图像，可以准确快速地确定不锈钢在手术图像中的位置。
具体实现时，可以根据下述公式（1）进行灰度化处理，得到手术图像对应的灰度图 像：
Gray=0.2989R + 0.5870G +0.1140B （1）
其中，Gray是灰度图像中的灰度值，R、G和B是手术图像中的各个单通道像素值。
然后可以对灰度图像进行高斯平滑滤波，过滤掉一些噪点。根据设定好的阈值提取出像素灰度超过预先设定的阈值的区域，得到二值化图像。然后基于预设阈值检测检测二值化图像中的轮廓，绘制二值化图像中超出预设阈值的各个区域轮廓。
其中，上述涉及到的从至少一个检测区域图像中，识别出原始图像的步骤中，具体可以包括以下步骤：
对检测区域图像进行阈值化处理，得到校正后的检测区域图像；
对校正后的检测区域图像进行扫描，得到扫描结果；
将扫描结果中满足预设条件的目标扫描结果对应的检测区域图像，确定为候选探测图像；
从候选探测图像中，识别出原始图像。
其中，图形码为二维码。以图形码为QR二维码为例，如图3所示，QR二维码中的左上角，右上角及左下角分别有用于定位识别的回字形标识码，标识码具有图4所示的特征。
首先，为准确探测到二维码，探测前首先对探测区域进行诸如高斯滤波，中值滤波或均值滤波来改善图像质量，为改善手术场景下光照不均匀及有强烈反射梯度的情况，可以采用自适应阈值技术依据梯度进行阈值化处理，得到校正后的检测区域图像。其中，自适应阈值技术，是根据图像不同区域亮度分布，计算其局部阈值，所以对于图像不同区域，能够自适应计算不同的阈值，因此被称为自适应阈值法。其中可以通过计算某个邻域(局部)的均值、中值、高斯加权平均(高斯滤波)来确定局部阈值。
然后，对校正后的检测区域图像进行扫描，得到扫描结果；将扫描结果中满足预设条件的目标扫描结果对应的检测区域图像，确定为候选探测图像。其中，扫描结果可以包括穿透或者不穿透，上述涉及到的预设条件可以为多次扫描结果对应的穿透次数阈值，当穿透次数大于穿透次数阈值时，可以将满足预设条件的目标扫描结果对应的检测区域图像确定为候选探测图像。如图4所示，具体可以通过对查找范围内进行1:1:3:1:1，允许容差0.5，水平和垂直方向扫描该特征，多次穿透即为候选探测图像。
最后，从候选探测图像中识别原始图像，能够提升是别的准确性和效率。
涉及步骤220。
在一种可能的实施例中，步骤220，具体可以包括以下步骤：
识别原始图像中的第一标定点集坐标；
确定校正图像中的第二标定点集坐标；
确定第一标定点集坐标变换至第二标定点集坐标对应的单应性矩阵；
对单应性矩阵进行逆透视变换，得到校正图像。
其中，第一标定点集坐标包括原始图像中的定位符坐标和原始图像中的校正符坐标。具体地，先确定三个定位符坐标后，则可以建立如图5所示的坐标系。根据三个位置探测图像估计右下角的校正符坐标，再根据定位符坐标和校正符坐标以及理想的标定点坐标（共四个点坐标）；然后，确定校正图像中的第二标定点集坐标，校正图像中的第二标定点集坐标同理也包括校正图像中的定位符坐标和校正图像中的校正符坐标。接着，确定第一标定点集坐标对应的单应性矩阵，再通过对单应性矩阵进行逆透视变换，得到校正图像。校正图像可以为一个标准的正方形二维码图像。其中逆透视变换基于的透视变换公式可以如下公式（2）-公式（4）所示：
Figure 664990DEST_PATH_IMAGE001
这里，通过识别原始图像中的第一标定点集坐标；并以此进行透视变换，得到校正图像，能够方便后续建立原始图像的尺寸与实际图形码尺寸的对应关系以及便于对图形码的图形信息的读取。
涉及步骤230。
识别校正图像，得到图形码的图形信息，图形信息包括：手术器械的类别标识。在确定了校正图像之后，就可以读取校正图像中所包含的图形码的图形信息，图形码尺寸可以很小。图形信息中可以包含当前器械的器械类别信息。由于手术器械的尺寸本身比较小，因此印在手术器械上的二维码很小，很难记录较多的信息。本发明中涉及到的图形码记录手术器械的类别，对于实际尺寸信息、第一相对位置信息等更多的信息，可以根据手术器械的类别标识从配置文件中查找。
涉及步骤240。
步骤240，根据手术器械的类别标识，从预设配置文件中，查询图形码的实际尺寸信息、以及手术器械的器械末端与图形码的第一相对位置信息。
预设配置文件中预置了不同器械对应的图形码尺寸大小以及器械末端到图形码的距离等信息，以适应不同直径的手术器械和器械结构形式。可以根据器械类别信息和距离，在图形信息的系统中精准地确定器械末端与图形码的第一相对位置信息。
如图5所示，器械末端与图形码的第一相对位置信息包括器械末端在图形码所在平面垂直投影点距离图形码中心在X和Y两个方向上的分量，记为∆x，∆y。
另外，图形信息中还包括图形码的第一尺寸信息，图形码的第一尺寸信息可以用来对内窥镜采集的图像和实际尺寸建立变换关系。
这样，当手术过程中手术器械末端被组织或其他障碍物遮挡时，仍然可以通过图形信息中包含的信息通过计算确定器械末端的位置，从而指导手术机器人（进一步可以为手术机器人中包括的内窥镜夹持机器人）自动控制内窥镜视角，对准手术部位（即器械末端部位）。
涉及步骤250。
步骤250，具体可以包括以下步骤：
识别校正图像的尺寸信息；
根据图形码的实际尺寸信息和校正图像的尺寸信息，确定比例关系。
校正图像与三维实际空间平面的图形码坐标点存在如下述公式（5）和公式（6）所示的比例对应关系：
Figure 378868DEST_PATH_IMAGE002
Figure 424184DEST_PATH_IMAGE003
其中，上述公式（5）中α是X方向的比例系数，β是Y方向的比例系数。
而图形码中的四个标定点在实际空间的标定点坐标，可以从图形信息中得来，从而可计算出实际空间位置坐标与校正图像像素坐标的比例系数
Figure 696083DEST_PATH_IMAGE004
与
Figure 83781DEST_PATH_IMAGE005
。比如图形信息可以记录器械种类以及图形码中的四个标定点围成的正方形边长。
示例性地，识别出的图形码所记录的边长信息为8mm（图形码的实际尺寸信息），校正图像四个标定点围成的正方形边长为100个像素（校正图像的尺寸信息），从而得到：α=β=8/100=0.08。
由此，通过根据图形信息中包含的图形码的实际尺寸信息和校正图像的尺寸信息，能够确定用于指示图形码与校正图像之间的尺寸比例的比例关系，以实现建立校正图像的尺寸与实际图形码尺寸之间的对应关系。
涉及步骤260。
第一相对位置信息，可以为器械末端在图形码所在平面垂直投影点距离图形码中心在X和Y两个方向上的分量，记为
Figure 482718DEST_PATH_IMAGE006
，
Figure 27149DEST_PATH_IMAGE007
，如图5所示。具体可以在图形码所在平面上(即实际的空间平面)取实际器械末端在该平面的一个投影点作为需要跟踪的标记点。器械末端的投影点与二维码中心在X与Y方向的距离是预先设定的并且该信息记录在二维码中，即∆x，∆y。
根据比例关系和图形信息中包含的第一相对位置信息，能够确定器械末端与校正图像的第二相对位置信息。具体可以为依据比例系数计算出在校正图像上（即新图像平面）X，Y方向上的增量（第二相对位置信息）记为∆x’=∆x/α，∆y’=∆y/β。
涉及步骤270。
在一种可能的实施例中，步骤270，具体可以包括以下步骤：
获取图形码在校正图像中的位置信息；
根据图形码在校正图像中的位置信息和第二相对位置信息，确定器械末端在校正图像中的位置信息；
对器械末端在校正图像中的位置信息进行逆透视变换，确定器械末端在原始图像中的位置信息；
根据器械末端在原始图像中的位置信息和原始图像在手术图像中的位置，确定器械末端在手术图像中的位置，并将器械末端在手术图像中的位置作为跟踪位置信息；
根据跟踪位置信息，调整内窥镜。
首先，获取图形码在校正图像中的位置信息（如图形码中心坐标）；具体可以通过根据手术器械的类别标识，从预设配置文件中，查询图形码在校正图像中的位置信息。预设配置文件中预先预置了不同器械对应的图形码尺寸大小以及器械末端到图形码的距离等信息，以适应不同直径的手术器械和器械结构形式。
然后，根据图形码在校正图像中的位置信息和第二相对位置信息，确定器械末端在校正图像中的位置信息；由于第二相对位置信息是器械末端与校正图像之间的，如器械末端在校正图像所在平面垂直投影点距离校正图像中心在X和Y两个方向上的分量（∆x’=∆x/α，∆y’=∆y/β）。
其中，图形码在校正图像中的位置信息可以为图形码中心点在校正图像中的位置信息。因此，根据图形码在校正图像中的位置信息和校正图像和器械末端的第二相对位置信息，可以确定器械末端在校正图像中的位置信息。
接着，对器械末端在校正图像中的位置信息进行逆透视变换，确定器械末端在原始图像中的位置信息；能够将器械末端在校正图像中的位置信息转换为在原始图像中的跟踪位置信息。
接着，根据器械末端在原始图像中的位置信息和原始图像在手术图像中的位置，确定器械末端在手术图像中的位置，并将器械末端在手术图像中的位置作为跟踪位置信息。最后，根据跟踪位置信息，能够高效精准地调整内窥镜。
其中，上述涉及到的对器械末端在校正图像中的位置信息进行逆透视变换，确定器械末端在原始图像中的位置信息的步骤中，具体可以包括以下步骤：
建立从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵；
根据逆透视变换矩阵和器械末端在校正图像中的位置信息，确定器械末端在原始图像中的位置信息。
在上述涉及到的根据逆透视变换矩阵和器械末端在校正图像中的位置信息，确定器械末端在原始图像中的位置信息之前，需要先建立从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵，其中，建立逆透视变换矩阵的步骤接下来进行具体说明：
其中，上述涉及到的建立从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵的步骤中，具体可以包括以下步骤：
获取标定点坐标；标定点坐标包括：原始图像中的第一标定点集坐标和校正图像中的第二标定点集坐标；
根据第一标定点集坐标和第二标定点集坐标，确定逆透视变换矩阵。
将第一标定点集坐标和第二标定点集坐标，代入透视变换关系，确定从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵。其中，第一标定点集坐标包括定位符坐标和校正符坐标；第二标定点集坐标也包括定位符坐标和校正符坐标。
用(x，y，z)和(x0，y0)分别表示三维空间器械上某点实际空间坐标和对应的在原始图像平面上的坐标。理想的线性透视变换关系为： U0=M3×4X4×1。
其中：U0=[x0，y0，1]T；X4×1=[x，y，z，1]T。而用于标定的点集合都位于手术器械上的一个空间平面即二维码所在的平面上，取该平面为X-Y平面（Z=0）建立实际坐标系，以(x，y)表示二维码上用于标定的点在空间平面的实际坐标。则U0=M3×4X4×1可以表示为：U0=M3× 3X3×1。
式中X3×1=[x，y，1]T，将式两边同时左乘
Figure 295319DEST_PATH_IMAGE008
，得出如公式（7）所示的透视变换关 系：
Figure 84284DEST_PATH_IMAGE009
N3×3是逆透视矩阵。
为便于后期计算及对二维码信息识别读取，对原图像平面中二维码图像进行逆透视变换，得到新图像平面中校正后的二维码图像，之后建立校正后二维码图像与实际空间平面二维码图像尺寸的线性对应关系（即尺寸比例关系），从而可确定空间平面中任一点在新图像平面中的位置。本专利中取二维码3个用于位置检测的定位点1-3及用于校正的定位点4作为标定点。因为透视变换至少需要四个点用于标定。通过将4个标定点像素坐标带入式（8）可求得逆透视变换矩阵C3×3。
Figure 45287DEST_PATH_IMAGE010
式中，C3×3是从原图像平面到新图像平面的逆透视变换矩阵，
Figure 818070DEST_PATH_IMAGE011
。
其中，从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换关系如下所示：
Figure 358773DEST_PATH_IMAGE012
其中，上述涉及到的根据跟踪位置信息，调整内窥镜的步骤中，具体可以包括以下步骤：
获取手术图像的中心位置信息；
根据跟踪位置信息和手术图像的中心位置信息，确定位置偏差信息；
根据位置偏差信息，调整内窥镜，以使内窥镜对准器械末端。
其中，依据透视变换矩阵C3×3 -1计算出内窥镜原图像中手术器械末端所在的以像素为单位位置坐标记为xt，yt，即跟踪位置信息。
最后，将xt，yt与手术图像的中心位置信息的位置偏差信息作为控制量，以控制内窥镜夹持机器人根据位置偏差信息操纵内窥镜运动，使得内窥镜画面中心始终对准器械末端，即使器械末端被遮挡也不会丢失目标。具体地，计算出xt与窥镜画面中心坐标x的第一差值，控制电机1根据第一差值转动相应圈数。计算yt与窥镜画面中心坐标y的第二差值，控制电机2根据第二差值转动相应圈数。
如图6所示，内窥镜显示画面为原始图像所在平面（原图像平面）的画面(x0，y0)，其上的图形码的原始图像可以是实际的空间平面(x，y)上图形码在原始图像平面上的透视投影；然后，为方便建立比例关系以及对图形信息的读取，先对原图像二维码图像进行校正，可以使得校正后的校正图像(x1，y1)轮廓为标准正方形轮廓。接着，对校正处理得到的校正图像进行识别，得到包括器械末端与图形码的第一相对位置信息的图形信息。接着，然后建立图形信息和校正图像在尺寸上的比例关系。接着，根据上述确定的根据比例关系和第一相对位置信息（器械末端在图形码所在平面垂直投影点距离二维码中心在X和Y方向上的分量），可以确定器械末端与校正图像的第二相对位置信息。最后，根据对第二相对位置信息的透视变换，确定器械末端在原始图像中应处的跟踪位置信息，并依据跟踪位置信息调整内窥镜。
这样，当器械末端被组织或其他障碍物遮挡时，仍然可以根据比例关系对图形信息中包含的第一相对位置信息进行转换，确定器械末端与校正图像的第二相对位置信息，从而根据第二相对位置信息调整内窥镜，以实现自动控制内窥镜，使其快速准确地跟踪器械末端部位。由此，能够提升对于内窥镜调整的准确性和效率。进而内窥镜可通过内窥镜夹持操纵机器人自动进行手术器械的识别与跟踪，使得手术过程中内窥镜的操纵完全由主刀医生控制，彻底解放助手的工作，省去了主刀医生与助手的交流过程，提高手术效率。
综上，在本发明实施例中，对于采集到的手术机器人上附有的图形码的原始图像进行校正处理，得到校正图像，这里校正处理可以方便后续对校正图像和实际尺寸建立变换关系，以及便于读取图形码的图形信息；图形信息中包含器械末端与图形码的第一相对位置信息，这样，当器械末端被组织或其他障碍物遮挡时，仍然可以根据比例关系对图形信息中包含的第一相对位置信息进行转换，确定器械末端与校正图像的第二相对位置信息，从而根据第二相对位置信息调整内窥镜，以实现自动控制内窥镜，使其快速准确地跟踪器械末端部位。由此，能够提升对于内窥镜调整的准确性和效率。
基于上述图2所示的内窥镜调整方法，本发明实施例还提供一种内窥镜调整装置，应用于手术机器人，如图7所示，该装置700可以包括：
采集模块710，用于根据内窥镜拍摄的手术图像，采集设置在手术器械上的图形码的原始图像；
处理模块720，用于对于原始图像进行校正处理，得到校正图像；
识别模块730，用于识别校正图像，得到图形码的图形信息，图形信息包括：手术器械的类别标识；
第一确定模块740，用于根据手术器械的类别标识，从预设配置文件中，查询图形码的实际尺寸信息、以及手术器械的器械末端与图形码的第一相对位置信息；
第二确定模块750，用于根据图形码的实际尺寸信息和校正图像确定比例关系；比例关系用于指示图形码与校正图像之间的尺寸比例；
第三确定模块760，用于根据比例关系和第一相对位置信息，确定器械末端与校正图像的第二相对位置信息；
调整模块770，用于根据第二相对位置信息，调整内窥镜。
在一种可能的实现方式中，第二确定模块，具体用于：识别校正图像的尺寸信息；
根据图形码的实际尺寸信息和校正图像的尺寸信息，确定比例关系。
在一种可能的实现方式中，调整模块，包括：
获取模块，用于获取图形码在校正图像中的位置信息；
第四确定模块，用于根据图形码在校正图像中的位置信息和第二相对位置信息，确定器械末端在校正图像中的位置信息；
变换模块，用于对器械末端在校正图像中的位置信息进行逆透视变换，确定器械末端在原始图像中的位置信息；
第五确定模块，用于根据器械末端在原始图像中的位置信息和原始图像在手术图像中的位置，确定器械末端在手术图像中的位置，并将器械末端在手术图像中的位置作为跟踪位置信息；
调整模块，具体用于：根据跟踪位置信息，调整内窥镜。
在一种可能的实现方式中，变换模块，包括：
建立模块，用于建立从原始图像所在的第一平面到校正图像所在的第二平面的逆透视变换矩阵；
第六确定模块，具体用于根据逆透视变换矩阵和器械末端在校正图像中的位置信息，确定器械末端在原始图像中的位置信息。
在一种可能的实现方式中，调整模块，具体用于：
获取手术图像的中心位置信息；
根据跟踪位置信息和手术图像的中心位置信息，确定位置偏差信息；
根据位置偏差信息，调整内窥镜，以使内窥镜对准器械末端。
在一种可能的实现方式中，建立模块，具体用于：获取标定点坐标；标定点坐标包括：原始图像中的第一标定点坐标和校正图像中的第二标定点坐标；
根据第一标定点集坐标和第二标定点集坐标，确定逆透视变换矩阵。
在一种可能的实现方式中，图形码为二维码。
在一种可能的实现方式中，处理模块，具体用于：
识别原始图像中的第一标定点集坐标；
确定校正图像中的第二标定点集坐标；
确定第一标定点集坐标变换至第二标定点集坐标对应的单应性矩阵；
对单应性矩阵进行逆透视变换，得到校正图像。
在一种可能的实现方式中，采集模块，包括：预处理模块，用于对手术图像进行预处理，得到至少一个检测区域图像；
识别模块，用于从至少一个检测区域图像中，识别出原始图像。
在一种可能的实现方式中，预处理模块，具体用于：
检测模块，用于检测手术图像，得到至少一个区域轮廓；
识别模块，用于识别每个区域轮廓的形心坐标；
生成模块，用于根据形心坐标和预设尺寸，生成至少一个检测区域图像。
在一种可能的实现方式中，识别模块，具体用于：
对检测区域图像进行阈值化处理，得到校正后的检测区域图像；
对校正后的检测区域图像进行扫描，得到扫描结果；
将扫描结果中满足预设条件的目标扫描结果对应的检测区域图像，确定为候选探测图像；
从候选探测图像中，识别出原始图像。
在一种可能的实现方式中，检测模块，具体用于：
检测手术图像的轮廓，得到至少一个区域轮廓，包括：
对手术图像进行灰度化处理，得到灰度图像；
对灰度图像进行二值化处理，得到二值化图像；
基于预设阈值检测二值化图像，得到至少一个区域轮廓。
综上，在本发明实施例中，对于采集到的手术机器人上附有的图形码的原始图像进行校正处理，得到校正图像，这里校正处理可以方便后续对校正图像和实际尺寸建立变换关系，以及便于读取图形码的图形信息；图形信息中包含器械末端与图形码的第一相对位置信息，这样，当器械末端被组织或其他障碍物遮挡时，仍然可以根据比例关系对图形信息中包含的第一相对位置信息进行转换，确定器械末端与校正图像的第二相对位置信息，从而根据第二相对位置信息调整内窥镜，以实现自动控制内窥镜，使其快速准确地跟踪器械末端部位。由此，能够提升对于内窥镜调整的准确性和效率。
图8示出了本发明实施例提供的一种电子设备的硬件结构示意图。
在电子设备可以包括处理器801以及存储有计算机程序指令的存储器802。
具体地，上述处理器801可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器802可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器802可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器802可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器802可在综合网关容灾设备的内部或外部。在特定实施例中，存储器802是非易失性固态存储器。在特定实施例中，存储器802包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器801通过读取并执行存储器802中存储的计算机程序指令，以实现图所示实施例中的任意一种内窥镜调整方法。
在一个示例中，电子设备还可包括通信接口803和总线810。其中，如图8所示，处理器801、存储器802、通信接口803通过总线810连接并完成相互间的通信。
通信接口803，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线810包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线810可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该电子设备可以执行本发明实施例中的内窥镜调整方法，从而实现结合图2至图6描述的内窥镜调整方法。
另外，结合上述实施例中的内窥镜调整方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1至图2中的内窥镜调整方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种内窥镜调整装置，其特征在于，应用于手术机器人，所述装置包括：
采集模块，用于根据内窥镜拍摄的手术图像，采集设置在手术器械上的图形码的原始图像；
处理模块，用于对于所述原始图像进行校正处理，得到校正图像；
识别模块，用于识别所述校正图像，得到所述图形码的图形信息，所述图形信息包括：所述手术器械的类别标识；
第一确定模块，用于根据所述手术器械的类别标识，从预设配置文件中，查询所述图形码的实际尺寸信息、以及所述手术器械的器械末端与所述图形码的第一相对位置信息；
第二确定模块，用于根据所述图形码的实际尺寸信息和所述校正图像确定比例关系；所述比例关系用于指示所述图形码与所述校正图像之间的尺寸比例；
第三确定模块，用于根据所述比例关系和所述第一相对位置信息，确定所述器械末端与所述校正图像的第二相对位置信息；
调整模块，用于根据所述第二相对位置信息，调整所述内窥镜。
2.根据权利要求1所述的装置，所述第二确定模块，具体用于：
识别所述校正图像的尺寸信息；
根据所述图形码的实际尺寸信息和所述校正图像的尺寸信息，确定所述比例关系。
3.根据权利要求1所述的装置，其特征在于，所述调整模块，包括：
获取模块，用于获取图形码在所述校正图像中的位置信息；
第四确定模块，用于根据所述图形码在所述校正图像中的位置信息和所述第二相对位置信息，确定所述器械末端在所述校正图像中的位置信息；
变换模块，用于对所述器械末端在所述校正图像中的位置信息进行逆透视变换，确定所述器械末端在所述原始图像中的位置信息；
第五确定模块，用于根据所述器械末端在所述原始图像中的位置信息和所述原始图像在所述手术图像中的位置，确定所述器械末端在所述手术图像中的位置，并将所述器械末端在所述手术图像中的位置作为跟踪位置信息；
所述调整模块，具体用于：根据所述跟踪位置信息，调整所述内窥镜。
4.根据权利要求3所述的装置，其特征在于，所述变换模块，包括：
建立模块，用于建立从所述原始图像所在的第一平面到所述校正图像所在的第二平面的逆透视变换矩阵；
第六确定模块，用于根据逆透视变换矩阵和所述器械末端在所述校正图像中的位置信息，确定所述器械末端在所述原始图像中的位置信息。
5.根据权利要求3所述的装置，其特征在于，所述调整模块，具体用于：
获取所述手术图像的中心位置信息；
根据所述跟踪位置信息和所述手术图像的中心位置信息，确定位置偏差信息；
根据所述位置偏差信息，调整所述内窥镜，以使所述内窥镜对准所述器械末端。
6.根据权利要求4所述的装置，其特征在于，所述建立模块，具体用于：
获取标定点坐标；所述标定点坐标包括：所述原始图像中的第一标定点集坐标和所述校正图像中的第二标定点集坐标；
根据所述第一标定点坐标和所述第二标定点坐标，确定所述逆透视变换矩阵。
7.根据权利要求1所述的装置，其特征在于，所述图形码为二维码。
8.根据权利要求1所述的装置，其特征在于，所述处理模块，具体用于：
识别所述原始图像中的第一标定点集坐标；
确定所述校正图像中的第二标定点集坐标；
确定所述第一标定点集坐标变换至所述第二标定点集坐标对应的单应性矩阵；
对所述单应性矩阵进行逆透视变换，得到所述校正图像。
9.根据权利要求1所述的装置，其特征在于，所述采集模块包括预处理模块；
所述预处理模块，用于对所述手术图像进行预处理，得到至少一个检测区域图像；
所述识别模块，还用于从所述至少一个检测区域图像中，识别出所述原始图像。
10.根据权利要求9所述的装置，其特征在于，所述预处理模块，包括：检测模块和生成模块；
所述检测模块，用于检测所述手术图像，得到至少一个区域轮廓；
所述识别模块，还用于识别每个所述区域轮廓的形心坐标；
所述生成模块，用于根据所述形心坐标和预设尺寸，生成至少一个检测区域图像。
11.根据权利要求10所述的装置，其特征在于，所述检测模块，具体用于：
对所述手术图像进行灰度化处理，得到灰度图像；
对所述灰度图像进行二值化处理，得到二值化图像；
基于预设阈值检测所述二值化图像，得到所述至少一个区域轮廓。
12.根据权利要求9所述的装置，其特征在于，所述识别模块，具体用于：
对所述检测区域图像进行阈值化处理，得到校正后的检测区域图像；
对所述校正后的检测区域图像进行扫描，得到扫描结果；
将所述扫描结果中满足预设条件的目标扫描结果对应的检测区域图像，确定为候选探测图像；
从所述候选探测图像中，识别出所述原始图像。
13.一种手术机器人，其特征在于，所述手术机器人包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-12任意一项所述的内窥镜调整装置。
14.一种可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-12任意一项所述的内窥镜调整装置。
CN202210072088.2A 2022-01-21 2022-01-21 一种内窥镜调整装置、手术机器人及可读存储介质 Active CN114092480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210072088.2A CN114092480B (zh) 2022-01-21 2022-01-21 一种内窥镜调整装置、手术机器人及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072088.2A CN114092480B (zh) 2022-01-21 2022-01-21 一种内窥镜调整装置、手术机器人及可读存储介质

Publications (2)

Publication Number Publication Date
CN114092480A CN114092480A (zh) 2022-02-25
CN114092480B true CN114092480B (zh) 2022-04-01

Family

ID=80309051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072088.2A Active CN114092480B (zh) 2022-01-21 2022-01-21 一种内窥镜调整装置、手术机器人及可读存储介质

Country Status (1)

Country Link
CN (1) CN114092480B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002447A (zh) * 2022-05-25 2022-09-02 上海微创医疗机器人（集团）股份有限公司 一种内窥镜评估方法、系统及存储介质
CN116439636B (zh) * 2023-03-08 2023-11-24 极限人工智能有限公司 一种器械、内窥镜系统、医疗系统及其定位控制方法
CN117611524B (zh) * 2023-10-26 2024-05-31 北京声迅电子股份有限公司 基于多源图像的快件安检方法
CN117953043B (zh) * 2024-03-26 2024-06-21 北京云力境安科技有限公司 一种基于内镜图像的区域测量方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322639A (zh) * 2007-06-14 2008-12-17 奥林巴斯医疗株式会社 内窥镜系统
CN210990780U (zh) * 2019-07-31 2020-07-14 河南萱闱堂医疗信息科技有限公司 内窥镜手术用息肉辨识环

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7544163B2 (en) * 2003-09-26 2009-06-09 Tidal Photonics, Inc. Apparatus and methods relating to expanded dynamic range imaging endoscope systems
US20160012182A1 (en) * 2013-12-20 2016-01-14 Douglas A. Golay 3D cone beam dental imaging system
US12005574B2 (en) * 2018-10-04 2024-06-11 Intuitive Surgical Operations, Inc. Systems and methods for motion control of steerable devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322639A (zh) * 2007-06-14 2008-12-17 奥林巴斯医疗株式会社 内窥镜系统
CN210990780U (zh) * 2019-07-31 2020-07-14 河南萱闱堂医疗信息科技有限公司 内窥镜手术用息肉辨识环

Also Published As

Publication number Publication date
CN114092480A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN114092480B (zh) 一种内窥镜调整装置、手术机器人及可读存储介质
US11863733B2 (en) Targets, fixtures, and workflows for calibrating an endoscopic camera
US20220395159A1 (en) Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
CN106952347B (zh) 一种基于双目视觉的超声手术辅助导航系统
US7369694B2 (en) Method and medical device for the automatic determination of coordinates of images of marks in a volume dataset
WO2007008289A2 (en) 3d-2d pose estimation and 3d-ct registration for bronchoscopy
JP2003265408A (ja) 内視鏡誘導装置および方法
US11928834B2 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
CN110381841A (zh) 用于医疗成像的夹具及其使用方法
CN110547872A (zh) 手术导航注册系统
CN106236264A (zh) 基于光学跟踪和图像匹配的胃肠手术导航方法及系统
Jayarathne et al. Robust intraoperative US probe tracking using a monocular endoscopic camera
CN114565517A (zh) 红外相机的图像去噪方法、装置及计算机设备
Zhou et al. Visual tracking of laparoscopic instruments
CN114373003A (zh) 一种基于双目视觉的被动红外标记手术器械配准方法
US20210161604A1 (en) Systems and methods of navigation for robotic colonoscopy
Haase et al. ToF/RGB sensor fusion for 3-D endoscopy
KR20140045653A (ko) 비접촉성 마커 인식장치, 비접촉성 마커 기반 영상정합장치 및 방법
Hwang et al. 3d pose estimation of catheter band markers based on single-plane fluoroscopy
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
Reeff Mosaicing of endoscopic placenta images
Wang et al. Ultrasound tracking using probesight: camera pose estimation relative to external anatomy by inverse rendering of a prior high-resolution 3d surface map
Naik et al. Feature-based registration framework for pedicle screw trajectory registration between multimodal images
CN114782434B (zh) 一种内窥镜合作目标定位方法及系统
US20230252681A1 (en) Method of medical calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant