CN113974837B - 末端工具的识别系统、方法、末端工具和手术机器人系统 - Google Patents
末端工具的识别系统、方法、末端工具和手术机器人系统 Download PDFInfo
- Publication number
- CN113974837B CN113974837B CN202111288700.1A CN202111288700A CN113974837B CN 113974837 B CN113974837 B CN 113974837B CN 202111288700 A CN202111288700 A CN 202111288700A CN 113974837 B CN113974837 B CN 113974837B
- Authority
- CN
- China
- Prior art keywords
- end tool
- identification
- image
- information
- imprinting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种末端工具的识别系统、方法、末端工具和手术机器人系统,其中,所述末端工具用于安装于手术机器人末端,包括:末端工具本体和设置在所述末端工具本体表面的标识部,所述标识部包括刻印部和非刻印部,所述刻印部和非刻印部具有不同的表面粗糙度以形成标识图案,用于标识末端工具信息;所述识别系统包括:图像获取装置,用于采集所述末端工具的标识部的图像信息;末端工具信息确定装置连接所述图像获取装置,用于基于所述图像信息确定对应的末端工具信息。通过本申请,增加了手术机器人末端工具识别结果的有效性,具有较高的识别准确度和鲁棒性。
Description
技术领域
本申请涉及医疗技术领域,特别是涉及一种末端工具的识别系统、方法、末端工具和手术机器人系统。
背景技术
手术机器人精确运动定位和扩展操作的能力,使其在医学诊疗方面不断发展。在手术机器人的应用中,完成同一手术的过程中往往需要更换各种不同的末端工具器械。
通常,现有的末端工具识别都是在不增加系统外设的前提下,采用手术系统已有外设基于视觉或重力参数去区分末端工具的类型,主要包括:(1)基于末端工具自身图像特征的视觉方案:无论是基于传统机器学习还是深度学习的视觉方案,根据末端工具轮廓来区分,这样无法区分同种类型下的不同规格的工具。(2)基于传统摄像头与图标的视觉方案:采用传统摄像头扫描贴附于工具上的特殊图案可以识别不同类型不同规格的工具,但是对末端工具进行消毒后,可能需要重新贴标。(3)基于力传感器的重力方案:采用机械臂末端的力传感器,与做过重力标定的工具进行比对,最后得到与当前重力值最接近的工具类型参数,但在需要力控的特殊运动模式下该识别方案将失效。
发明内容
本申请实施例提供了一种末端工具的识别系统、方法、末端工具和手术机器人系统,以至少解决相关技术中无法对手术机器人的末端工具进行有效识别的问题。
第一方面,本申请实施例提供了一种末端工具的识别系统,所述末端工具用于安装于手术机器人末端,包括:末端工具本体和设置在所述末端工具本体表面的标识部,所述标识部包括刻印部和非刻印部,所述刻印部和非刻印部具有不同的表面粗糙度以形成标识图案;
所述识别系统包括:图像获取装置,用于采集所述末端工具的标识部的图像信息;末端工具信息确定装置连接所述图像获取装置,用于基于所述图像信息确定对应的末端工具信息。
在其中一些实施例中,所述刻印部表面为粗糙表面,所述非刻印部表面为光滑表面。
在其中一些实施例中,所述刻印部通过在所述标识部激光刻印形成,所述标识图案为刻印部形成的图案。
在其中一些实施例中,所述末端工具具有弧状表面,所述标识图案设置于所述弧状表面上,所述图像获取装置包括双光源摄像头,所述双光源摄像头包括照相机和设置在照相机两侧的第一光源和第二光源;所述末端工具信息确定装置包括处理器。
在其中一些实施例中,所述双光源摄像头与所述标识部处于封闭空间。
第二方面,本申请实施例提供了一种末端工具的识别方法,所述方法包括:
获取所述末端工具的标识部的图像信息;
基于所述图像信息确定所述末端工具对应的末端工具信息。
在其中一些实施例中,所述获取所述末端工具的标识部的图像信息包括:
获取第一光源下拍摄的第一图像和第二光源下拍摄的第二图像;所述第一光源和所述第二光源相对照相机对称设置;
对所述第一图像和所述第二图像的颜色进行均值处理,得到所述末端工具标识部的图像信息。
在其中一些实施例中,所述末端工具的识别方法还包括:
获取所述末端工具的标识部的几何特征;
基于所述几何特征对所述图像信息进行几何矫正。
在其中一些实施例中,所述基于所述图像信息确定所述末端工具对应的末端工具信息包括:
对所述图像信息进行对比度增强处理,得到增强图像;
基于所述增强图像获取对应的标识图案所在的目标区域;
识别所述目标区域,得到所述末端工具对应的末端工具信息。
在其中一些实施例中,所述基于所述增强图像获取对应的标识图案所在的目标区域之后,还包括:
标定所述末端工具上对应目标区域的位置信息并记录保存。
第三方面,本申请实施例提供了一种末端工具,包括:末端工具本体和设置在所述末端工具本体表面的标识部,所述标识部包括刻印部和非刻印部,所述刻印部和非刻印部具有不同的表面粗糙度以形成标识图案,用于标识末端工具信息。
第四方面,本申请实施例提供了一种手术机器人系统,包括手术机器人以及如上述第三方面所述的末端工具,其中,所述手术机器人末端安装有如上述第一方面所述的末端工具的识别系统。
相比于相关技术,本申请实施例提供的末端工具的识别系统包括图像获取装置和末端工具信息确定装置,图像获取装置用于采集所述末端工具的标识部的图像信息;末端工具信息确定装置用于基于所述图像信息确定对应的末端工具信息。通过在末端工具本体表面设置标识部,所述标识部包括刻印部和非刻印部,刻印部和非刻印部具有不同的表面粗糙度以形成标识图案,可以利用标识部中刻印部和非刻印部不同的光反射特性对标识部进行末端工具信息的识别,具有较高的识别准确度和鲁棒性,增加了识别结果的有效性。通过刻印部和非刻印部不同的表面粗糙度形成的标识图案不易损毁,可以反复消毒使用,在保证末端工具识别准确性的同时,还兼顾了工具拆卸后的消毒问题,实现了在重复使用场景下末端工具的可靠识别。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请其中一个实施例中末端工具的识别系统的结构示意图;
图2是本申请其中一个实施例中末端工具的结构示意图;
图3是本申请其中一个实施例中末端工具与图像获取装置的配合示意图;
图4是本申请其中一个实施例中末端工具的识别方法的流程示意图;
图5是本申请另一个实施例中末端工具的识别方法的流程示意图;
图6是本申请其中一个实施例中基于所述图像信息确定末端工具对应的末端工具信息的流程示意图。
附图标记:11、图像获取装置;111、双光源摄像头;1111、照相机;1112A、第一光源;1112B、第二光源;12、末端工具信息确定装置;13、末端工具;131、末端工具本体;132、标识部;132A、刻印部;132B、非刻印部;S、封闭空间。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
手术机器人是指具有能够代替外科医生实施手术行为功能的机器人,手术机器人的精确运动定位和可扩展操作能力,使其在医学诊疗方面得到了广泛的应用。手术机器人一般包括能够执行终端操作的末端工具,以及能够在空间内移动末端工具的本体结构,施术者通过操作手术机器人本体结构来移动末端工具进行手术操作。通过末端工具对手术目标执行手术操作,使得手术机器人具有特定的功能操作能力,拓展了手术机器人的可操作范围。
本申请提供的手术机器人的末端工具的识别系统可以集成在各类手术机器人中,包括但不限于骨外科手术机器人、腹腔镜手术机器人、立体定向手术机器人等,本申请并不限定。手术机器人通常与各种不同类型的末端工具配合工作,末端工具信息的识别是手术机器人的一个重要的方面。手术过程中,需要在不改变医疗流程的前提下对手术机器人是否安装了正确类型的末端工具进行识别和检测。
如图1所示,本实施例提供了一种末端工具的识别系统,所述识别系统包括:图像获取装置11和末端工具信息确定装置12。其中,图像获取装置11用于采集所述末端工具13的标识部132的图像信息;末端工具信息确定装置12连接所述图像获取装置11,用于基于所述图像信息确定对应的末端工具信息。
如图2所示,在本实施例中,末端工具13例如可以是末端夹持机构、多指机械手、手术剪刀等,不同的末端工具13可以通过使用可装卸机构与手术机器人本体相连接。一般的,末端工具13用于安装于手术机器人末端,包括:末端工具本体131和设置在所述末端工具本体131表面的标识部132。具体的,所述标识部132包括刻印部132A和非刻印部132B,所述刻印部132A和非刻印部132B具有不同的表面粗糙度以形成标识图案。
表面粗糙度是指加工表面上具有的较小间距和峰谷所组成的微观几何形状特性。可选的,可以通过采用不同的加工方法或工件材料,使标识部的刻印部和非刻印部形成痕迹的深浅、疏密、形状或纹理差别,得到不同的表面粗糙度。当表面粗糙度越小时,对应表面越光滑;表面粗糙度越大时,对应表面越粗糙。在一些实施例中,刻印部具有较大的表面粗糙度,非刻印部具有较小的表面粗糙度;在另一些实施例中,非刻印部具有较大的表面粗糙度,刻印部具有较小的表面粗糙度,本实施例在此不做具体限定。
需要说明的是,刻印部和非刻印部的表面粗糙度的不同,引起的不同光反射效果需要足以明显区分以形成标识图案。所述标识图案用于标识末端工具信息,可以是条形码、二维码、字符集或其他自定义图案。末端工具信息包括末端工具13的类型、规格等。
图像获取装置11的采集区域至少覆盖末端工具13的标识部,可以清晰获取手术机器人末端工具标识部的图像信息。示例性的,图像获取装置11可以是摄像头等图像、视频捕捉设备,可以根据拍摄条件和实际应用场景适用性配置。
物体表面的粗糙程度决定了反射光的方向,表面越粗糙时反射光越分散,使得对应图像信息中刻印部和非刻印部对应位置处捕捉到的反射光线存在差异,导致对应位置处的亮度差异。末端工具信息确定装置12可以是电子计算机等电子设备,该电子设备可以利用图像信息中刻印部和非刻印部不同的光反射特性,对标识部进行末端工具信息的识别,得到对应的末端工具信息。
综上,本申请实施例提供的末端工具的识别系统包括图像获取装置和末端工具信息确定装置,图像获取装置用于采集所述末端工具的标识部的图像信息;末端工具信息确定装置用于基于所述图像信息确定对应的末端工具信息。通过在末端工具本体131表面设置标识部,所述标识部包括刻印部和非刻印部,刻印部和非刻印部具有不同的表面粗糙度以形成标识图案,可以利用标识部中刻印部和非刻印部不同的光反射特性对标识部进行末端工具信息的识别,具有较高的识别准确度和鲁棒性,增加了识别结果的有效性。通过刻印部和非刻印部不同的表面粗糙度形成的标识图案不易损毁,可以反复消毒使用,在保证末端工具识别准确性的同时,还兼顾了工具拆卸后的消毒问题,实现了在重复使用场景下末端工具的可靠识别。
下面通过优选实施例对本申请实施例进行描述和说明。
在上述实施例的基础上,在其中一些实施例中,所述刻印部表面为粗糙表面,所述非刻印部表面为光滑表面。
在本实施例中,所述粗糙表面是指表面粗糙度大于第一预设粗糙度阈值的表面,粗糙表面的反射光较分散,使得对应图像信息中刻印部对应位置处捕捉到的反射光线较少,亮度较低。示例性的,可以利用激光刻印技术在刻印部形成粗糙表面,所述标识图案为刻印部形成的图案。所述光滑表面是指表面粗糙度小于第二预设粗糙度阈值的表面,光滑表面为镜面反射,使得对应图像信息中非刻印部对应位置处捕捉到的反射光线较多,亮度较高。本实施例通过配置刻印部和非刻印部的表面粗糙度差异,使得标识图案具有更高的清晰度,可以增强识别结果的可靠性。
如图3所示,在上述实施例的基础上,在其中一些实施例中,所述末端工具具有弧状表面,所述标识图案设置于所述弧状表面上,所述图像获取装置11包括双光源摄像头111,所述双光源摄像头111包括照相机1111和设置在照相机1111两侧的第一光源1112A和第二光源1112B。
在本实施例中,末端工具13的表面结构不尽相同,标识图案可以设置于末端工具上的平整表面上,也可以设置于弧状表面上。当标识图案设置于末端工具上的弧状表面上时,可以利用双光源摄像头111设置在照相机1111两侧的第一光源1112A和第二光源1112B交替照射成像,基于两次成像结果进行标识图案的识别,从而规避刻印部的部分标识图案由于末端工具13的弧状表面导致的照射角度成像对比度不足的问题。
末端工具信息确定装置12包括处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器可以由一个或多个处理器组成,可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过读取并执行存储器中存储的计算机程序指令,以实现基于所述图像信息确定对应的末端工具信息。具体的,可以利用标识部中刻印部和非刻印部不同的光反射特性对标识部进行末端工具信息的识别,得到对应的末端工具信息。
可选的,末端工具信息确定装置12还可以包括存储器、通信端口。各个模块之间可以通过通信总线进行数据传输,从而实现对图像信息识别过程的控制。当然,末端工具信息确定装置12还可以包括显示单元、输入/输出设备等。
其中,显示单元可以是提供给用户用来显示图像信息的显示器。
其中,输入/输出设备可以是键盘、鼠标、控制盒等相关设备,支持输入/输出相应数据流。
在其中一些实施例中,所述双光源摄像头111与所述标识部132处于封闭空间。封闭空间的形成可以保证双光源摄像头和标识部132上的标识图案处于密闭环境中,隔绝外部光源对标识图案中刻印部和非刻印部的反射效果的干扰,从而避免外部光源对识别结果的影响。
在一些实施例中,图像获取装置11中双光源摄像头111与所述末端工具的标识部132可以内置于如护罩、套筒、挡板等装置内,只要能具有良好的遮光效果,可以实现隔绝外部光源即可,本申请在此并不限定。
如图3所示,在另一些实施例中,图像获取装置11中双光源摄像头111与所述末端工具的标识部132可以配合设置并形成封闭空间S,所述双光源摄像头111具有微距摄像头,照相机能够微距拍摄末端工具的标识部132的图像。在图3所示实施例中,通过旋转末端工具本体,可以将末端工具的标识部132与双光源摄像头111配合对准,双光源摄像头111的相机正对标识部132,双光源摄像头111的凹陷空间与所述末端工具的标识部132形成封闭空间。由于双光源摄像头111自带双光源并且采用微距摄像头,在保证在任意弱光照条件或无光条件下的识别有效性的同时,可以避免外部环境光对标识图案成像效果的影响。利用双光源摄像头111可以在不同角度对标识图案进行打光,并且在两侧进行打光避免了正前方打光造成镜面反射,使成像后的图像信息更加清晰易处理。利用独立的双光源摄像头111进行末端工具13识别,不易与手术控制工作流冲突,使得标识图案的识别具有更低的干扰性和较高的鲁棒性。
本实施例还提供了一种根据上述末端工具的识别系统进行末端工具的识别方法,该方法可由末端工具信息确定装置12来执行。本实施例中所提及的末端工具的识别系统的结构、识别原理和产生的技术效果与上述实施例相同,为简要描述,本实施例未提及之处,可参考上述实施例中的相应内容。
图4是根据本申请实施例的末端工具的识别方法的流程图,如图4所示,该流程包括如下步骤:
步骤S201,获取所述末端工具的标识部的图像信息;
步骤S202,基于所述图像信息确定所述末端工具对应的末端工具信息。
在本实施例中,可以利用图像获取装置11采集所述末端工具13的标识部的图像信息并发送至末端工具信息确定装置12。末端工具信息确定装置12可以是电子计算机等电子设备,该电子设备可以利用末端工具标识部的图像信息中刻印部和非刻印部不同的光反射特性,对标识部进行末端工具信息的识别,得到对应的末端工具信息。
在上述实施例的基础上,在其中一些实施例中,所述获取所述末端工具的标识部的图像信息包括:获取第一光源1112A下拍摄的第一图像和第二光源1112B下拍摄的第二图像;所述第一光源1112A和所述第二光源1112B相对照相机1111对称设置;对所述第一图像和所述第二图像的颜色进行均值处理,得到所述末端工具标识部的图像信息。
在本实施例中,首先利用利用双光源摄像头111的两个主动光源分别从标识部的不同拍摄角度进行打光,交替拍摄所述标识部得到两次拍摄结果。具体的,利用第一光源1112A从第一拍摄角度照射标识部并利用摄像机拍摄得到第一图像,利用第二光源1112B从第二拍摄角度照射标识部并利用摄像机拍摄得到第二图像。然后对所述第一图像和所述第二图像的颜色进行均值处理,具体的,对所述第一图像和第二图像进行像素匹配,根据第一图像和第二图像各个像素点的RGB数据计算对应像素点的颜色均值;将所述颜色均值确定为对应像素点的调整色,并根据所述调整色处理显示图像,得到末端工具标识部的图像信息。
通过上述步骤,基于对不同角度打光并拍摄到的标识部图像进行均值处理,得到图像信息,可以避免由于拍摄角度带来的图像不清晰的问题,减少灰阶,增强对比度,提高识别准确率。
在上述实施例的基础上,在其中一些实施例中,图5是根据本申请实施例的末端工具的识别方法的优选流程图,如图5所示,该末端工具的识别方法包括如下步骤:
步骤S301,获取所述末端工具的标识部的图像信息;
步骤S302,获取所述末端工具的标识部的几何特征;
步骤S303,基于所述几何特征对所述图像信息进行几何矫正;
步骤S304,基于矫正后的图像信息确定所述末端工具对应的末端工具信息。
其中,步骤S301和步骤S304与上述实施例相同,本实施在此不做赘述。
在本实施例中,所述标识部具有弧状表面,所述标识图案设置于所述弧状表面上,此时基于弧状表面采集所述末端工具的标识部的图像信息会存在几何失真,在进行识别之前需要进行几何矫正。所述弧状表面的几何特征包括但不限于弧状表面特征点的位置关系、弧状表面的弯曲弧度等。弧状表面可以是凹面,也可以是凸面,本申请在此不做具体限定。
在一些实施例中,可以预先测量得到标识部弧状表面的几何特征,基于所述几何特征对所述图像信息进行几何矫正,校正方法可以采用柱幕投影矫正等现有的曲面投影校正技术,本申请在此不做赘述。通过上述步骤,实现了弧状表面上标识图案的可靠识别,扩展了末端工具识别方法的应用场景。
如图6所示,在上述实施例的基础上,在其中一些实施例中,所述基于所述图像信息确定所述末端工具对应的末端工具信息包括:
步骤S2021,对所述图像信息进行对比度增强处理,得到增强图像。
示例性的,在本实施例中,可以对所述图像信息进行二值处理,得到增强图像,使标识图案的显示更加清晰。具体的,可以通过大津算法等自适应阈值算法获得标识图案对应图像信息的最佳阈值,通过该阈值对图像信息进行二值化处理,从而得到比较清晰的标识图案。可以理解,在其他实施例中,还可以基于直方图拉伸、直方图均衡化、指数变换、对数变换、灰度拉伸或线性拉伸等对比度增强算法对图像信息进行对比度增强处理,本申请在此不做限定。经过对比度增强处理后的图片对比度强烈,不会因为灰阶过度而产生黑块或内容缺失的情况。
步骤S2022,基于所述增强图像获取对应的标识图案所在的目标区域。
在本实施例中,首先将增强图像反转得到反像,接着进行膨胀腐蚀处理,得到连通域。具体的,对所述原始基色数据进行形态学闭运算,先膨胀后腐蚀,其中,在膨胀过程中,某一点的像素值是核与图像该部分像素值和的最大值,因此该点像素值变高,亮色部分膨胀。在腐蚀过程中,某一点的像素值是核与图像该部分像素值差的最小值,因此该点像素值变低,亮色部分被腐蚀。通过形态学闭运算可以消除噪声点,去除基色中的小斑块和色点,将标识图案处理得到连通域。然后以所述连通域为掩板,计算得到对应的标识信息所在的目标区域。具体的,以所述连通域为掩板,对增强图像做哈达玛积,抠出完整的标识图案所在的目标区域。
步骤S2023,识别所述目标区域,得到所述末端工具对应的末端工具信息。
在一些实施例中,当所述标识图案为二维码、条形码等成熟的识别标识时,可以采用第三方数据库(如ZBar库)直接进行图案识别。在另一些实施例中,若标识图案是自定义的特殊图案或字符,则可使用自研算法进行识别。
更进一步的,可以将识别得到的结果与存放于工控机末端工具数据库中的数据进行对比,得出准确的末端工具信息。对于数据库中没有的末端工具信息,则可以新增该末端工具的相关信息,以便进行下一次的准确识别。
在上述实施例的基础上,在其中一些实施例中,所述基于所述增强图像获取对应的标识图案所在的目标区域之后,还包括:
标定所述末端工具上对应目标区域的位置信息并记录保存。
在本实施例中,手术机器人在手术操作过程中,所使用的末端工具13相对稳定,末端工具13标识部所在标识图案相对于末端工具13固定设置。因此,计算得到标识图案所在的目标区域后,可以标定所述末端工具13上对应目标区域的位置信息并记录保存,方便下一次进行末端工具13识别时直接使用,直至下一次无法识别时再重新计算标识图案所在的目标区域,提高识别效率。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种末端工具,包括:末端工具本体和设置在所述末端工具本体表面的标识部,所述标识部包括刻印部和非刻印部,所述刻印部和非刻印部具有不同的表面粗糙度以形成标识图案,用于标识末端工具信息。本实施例中的末端工具与上述实施例相同,本申请在此不做赘述。
本申请实施例还提供了一种手术机器人系统,包括手术机器人以及如上所述的末端工具的识别系统,其中,所述手术机器人的末端安装有如上所述的末端工具,可选的,所述手术机器人可以是骨科、外科等各类手术机器人。
本实施例还提供了一种末端工具识别的装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。该装置包括:图像信息获取单元和末端工具信息确定单元。
图像信息获取单元,用于获取所述末端工具的标识部的图像信息;
末端工具信息确定单元,用于基于所述图像信息确定所述末端工具对应的末端工具信息。
在其中一些实施例中,所述图像信息获取单元包括:图像获取模块和均值处理模块。
图像获取模块,用于获取第一光源下拍摄的第一图像和第二光源下拍摄的第二图像;所述第一光源和所述第二光源相对照相机对称设置;
均值处理模块,用于对所述第一图像和所述第二图像的颜色进行均值处理,得到所述末端工具标识部的图像信息。
在其中一些实施例中,所述末端工具识别的装置还包括:几何特征获取单元和几何矫正单元。
几何特征获取单元,用于获取所述末端工具的标识部的几何特征;
几何矫正单元,用于基于所述几何特征对所述图像信息进行几何矫正。
在其中一些实施例中,所述末端工具信息确定单元包括:增强图像获取模块、目标区域获取模块和目标区域识别模块。
增强图像获取模块,用于对所述图像信息进行对比度增强处理,得到增强图像;
目标区域获取模块,用于基于所述增强图像获取对应的标识图案所在的目标区域;
目标区域识别模块,用于识别所述目标区域,得到所述末端工具对应的末端工具信息。
在其中一些实施例中,末端工具识别的装置还包括位置信息处理单元。
位置信息处理单元,用于标定所述末端工具上对应目标区域的位置信息并记录保存。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图4描述的本申请实施例末端工具的识别方法可以由电子设备来实现。电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地,上述处理器可以包括中央处理器(CPU),或者特定集成电路(ApplicationSpecific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器可在数据处理装置的内部或外部。在特定实施例中,存储器是非易失性(Non-Volatile)存储器。在特定实施例中,存储器包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random AccessMemory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令,以实现上述实施例中的任意一种末端工具的识别方法。
在其中一些实施例中,电子设备还可包括通信接口和总线。其中,处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令,执行本申请实施例中的末端工具的识别方法,从而实现结合图4描述的末端工具的识别方法。
另外,结合上述实施例中的末端工具的识别方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种末端工具的识别方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种末端工具的识别系统,其特征在于,所述末端工具用于安装于手术机器人末端,包括:末端工具本体和设置在所述末端工具本体表面的标识部,所述标识部包括刻印部和非刻印部,所述刻印部和非刻印部具有不同的表面粗糙度以形成标识图案;
所述识别系统包括:图像获取装置,用于采集所述末端工具的标识部的图像信息;末端工具信息确定装置,用于基于所述图像信息确定对应的末端工具信息;
所述末端工具信息包括末端工具的类型和规格;
所述图像获取装置包括双光源摄像头,所述双光源摄像头包括照相机和设置在照相机两侧的第一光源和第二光源;
所述双光源摄像头与所述标识部配合设置并形成封闭空间。
2.根据权利要求1所述的末端工具的识别系统,其特征在于,所述刻印部表面为粗糙表面,所述非刻印部表面为光滑表面。
3.根据权利要求1所述的末端工具的识别系统,其特征在于,所述刻印部通过在所述标识部激光刻印形成,所述标识图案为刻印部形成的图案。
4.根据权利要求1所述的末端工具的识别系统,其特征在于,所述末端工具具有弧状表面,所述标识图案设置于所述弧状表面上。
5.根据权利要求4所述的末端工具的识别系统,其特征在于,所述双光源摄像头与所述标识部处于封闭空间。
6.一种末端工具的识别方法,应用于如权利要求1-5任一项所述的末端工具的识别系统,其特征在于,所述方法包括:
获取所述末端工具的标识部的图像信息;
基于所述图像信息确定所述末端工具对应的末端工具信息。
7.根据权利要求6所述的末端工具的识别方法,其特征在于,所述获取所述末端工具的标识部的图像信息包括:
获取第一光源下拍摄的第一图像和第二光源下拍摄的第二图像;所述第一光源和所述第二光源相对照相机对称设置;
对所述第一图像和所述第二图像的颜色进行均值处理,得到所述末端工具标识部的图像信息。
8.根据权利要求6所述的末端工具的识别方法,其特征在于,所述末端工具的识别方法还包括:
获取所述末端工具的标识部的几何特征;
基于所述几何特征对所述图像信息进行几何矫正。
9.根据权利要求6所述的末端工具的识别方法,其特征在于,所述基于所述图像信息确定所述末端工具对应的末端工具信息包括:
对所述图像信息进行对比度增强处理,得到增强图像;
基于所述增强图像获取对应的标识图案所在的目标区域;
识别所述目标区域,得到所述末端工具对应的末端工具信息。
10.根据权利要求9所述的末端工具的识别方法,其特征在于,所述基于所述增强图像获取对应的标识图案所在的目标区域之后,还包括:
标定所述末端工具上对应目标区域的位置信息并记录保存。
11.一种手术机器人系统,其特征在于,包括手术机器人以及如权利要求1-5任一项所述的末端工具的识别系统,其中,所述手术机器人的末端安装有末端工具。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111288700.1A CN113974837B (zh) | 2021-11-02 | 2021-11-02 | 末端工具的识别系统、方法、末端工具和手术机器人系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111288700.1A CN113974837B (zh) | 2021-11-02 | 2021-11-02 | 末端工具的识别系统、方法、末端工具和手术机器人系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113974837A CN113974837A (zh) | 2022-01-28 |
CN113974837B true CN113974837B (zh) | 2023-09-19 |
Family
ID=79745782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111288700.1A Active CN113974837B (zh) | 2021-11-02 | 2021-11-02 | 末端工具的识别系统、方法、末端工具和手术机器人系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113974837B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115471769B (zh) * | 2022-08-16 | 2023-04-07 | 上海航翼高新技术发展研究院有限公司 | 一种工具柜中工具存在状态的视觉识别方法 |
CN116945215B (zh) * | 2023-09-18 | 2023-12-01 | 博志生物科技(深圳)有限公司 | 手术机器人的末端执行工具识别方法及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102341055A (zh) * | 2008-12-31 | 2012-02-01 | 直观外科手术操作公司 | 用于定位图像中手术器械的基准标记设计和探测 |
EP3035882A1 (en) * | 2013-08-13 | 2016-06-29 | Brainlab AG | Moiré marker device for medical navigation |
CN113499137A (zh) * | 2021-07-07 | 2021-10-15 | 南开大学 | 一种手术机器人导航定位系统及测量视角多目标优化方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11304777B2 (en) * | 2011-10-28 | 2022-04-19 | Navigate Surgical Technologies, Inc | System and method for determining the three-dimensional location and orientation of identification markers |
US9955862B2 (en) * | 2015-03-17 | 2018-05-01 | Raytrx, Llc | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display |
KR101820682B1 (ko) * | 2016-08-09 | 2018-01-23 | 주식회사 고영테크놀러지 | 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법 |
GB2571692B (en) * | 2016-12-08 | 2022-01-05 | Synaptive Medical Inc | Optical-based input for medical devices |
CA3028792C (en) * | 2017-02-15 | 2024-03-12 | Synaptive Medical (Barbados) Inc. | Sensored surgical tool and surgical intraoperative tracking and imaging system incorporating same |
US10675094B2 (en) * | 2017-07-21 | 2020-06-09 | Globus Medical Inc. | Robot surgical platform |
US11534242B2 (en) * | 2018-02-19 | 2022-12-27 | Mako Surgical Corp. | Surgical systems and methods for identifying tools guided by surgical robots |
US11291507B2 (en) * | 2018-07-16 | 2022-04-05 | Mako Surgical Corp. | System and method for image based registration and calibration |
-
2021
- 2021-11-02 CN CN202111288700.1A patent/CN113974837B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102341055A (zh) * | 2008-12-31 | 2012-02-01 | 直观外科手术操作公司 | 用于定位图像中手术器械的基准标记设计和探测 |
EP3035882A1 (en) * | 2013-08-13 | 2016-06-29 | Brainlab AG | Moiré marker device for medical navigation |
CN113499137A (zh) * | 2021-07-07 | 2021-10-15 | 南开大学 | 一种手术机器人导航定位系统及测量视角多目标优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113974837A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113974837B (zh) | 末端工具的识别系统、方法、末端工具和手术机器人系统 | |
US8086041B2 (en) | Pattern evaluation method, pattern matching method and computer readable medium | |
JP4885584B2 (ja) | レンジファインダ校正方法及び装置 | |
TW201104508A (en) | Stereoscopic form reader | |
US8554016B2 (en) | Image registration system and method for registering images for deformable surfaces | |
CN111612765A (zh) | 一种圆形透明镜片识别和定位的方法 | |
CN112489140B (zh) | 姿态测量方法 | |
CN111091562A (zh) | 一种消化道病灶大小测量方法及系统 | |
JP2014228357A (ja) | ひび割れ検出方法 | |
CN114092480B (zh) | 一种内窥镜调整装置、手术机器人及可读存储介质 | |
CN114022547A (zh) | 一种内窥镜图像检测方法、装置、设备及存储介质 | |
CN110660072A (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
CN113222955A (zh) | 一种基于机器视觉的齿轮尺寸参数自动测量方法 | |
CN1411046A (zh) | 图形评价装置、图形评价方法及程序 | |
CN111868734A (zh) | 无接触滚动指纹 | |
CN111462246A (zh) | 一种结构光测量系统的设备标定方法 | |
JP7262927B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2002140713A (ja) | 画像処理方法およびその装置 | |
CN107529962B (zh) | 图像处理装置、图像处理方法和记录介质 | |
CN110956623A (zh) | 皱纹检测方法、装置、设备及计算机可读存储介质 | |
CN115452832A (zh) | 表面检查装置、存储介质及表面检查方法 | |
EP3062516B1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium | |
TWI480507B (zh) | 三維模型重建方法及其系統 | |
JP3800208B2 (ja) | 画像処理方法 | |
Vicente et al. | Gradient‐based 3D skin roughness rendering from an in‐vivo skin image for dynamic haptic palpation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |