CN114305400A - 一种用于显微操作稳定性评估的系统及方法 - Google Patents

一种用于显微操作稳定性评估的系统及方法 Download PDF

Info

Publication number
CN114305400A
CN114305400A CN202210007382.5A CN202210007382A CN114305400A CN 114305400 A CN114305400 A CN 114305400A CN 202210007382 A CN202210007382 A CN 202210007382A CN 114305400 A CN114305400 A CN 114305400A
Authority
CN
China
Prior art keywords
assembly
unit
component
image
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210007382.5A
Other languages
English (en)
Other versions
CN114305400B (zh
Inventor
陆夏
张智萍
马妍
杨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwu Hospital
Original Assignee
Xuanwu Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwu Hospital filed Critical Xuanwu Hospital
Priority to CN202210007382.5A priority Critical patent/CN114305400B/zh
Priority claimed from CN202210007382.5A external-priority patent/CN114305400B/zh
Publication of CN114305400A publication Critical patent/CN114305400A/zh
Application granted granted Critical
Publication of CN114305400B publication Critical patent/CN114305400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

一种用于显微操作稳定性评估的系统,包括,显微组件,其用于获取经过缩放后的显微视野,本底组件,其作为显微视野的背景,操作组件,其由术者操作以执行显微操作,本底组件上设置有数个间隔排开的横纵线组成的数个方格的集合所构成的方格单元,术者藉由观察显微视野操作操作组件在方格单元上执行移动任务,还包括记录组件和处理组件,记录组件获取至少包括操作组件以及方格单元的图像数据并将其传输至处理组件,处理组件处理图像数据以获得处理组件与方格单元的图像并基于相应移动任务的要求分析两个组件相对位置关系以获取关于术者操作稳定性的评估。

Description

一种用于显微操作稳定性评估的系统及方法
技术领域
本发明涉及显微外科领域,尤其涉及一种用于显微操作稳定性评估的系统及方法。
背景技术
显微外科手术目前已经成为一种较为重要的临床医学技术,其进一步拓展了多种常规外科手术门类的细分选择,主要是涉及到神经、细胞、组织一类的外科手术门类,例如神经外科、整形外科、骨科、腿外科、手外科、面部外科、妇科、泌尿科等等,其属于一种精细要求很高的手术类别。通常在执行显微外科手术时,需要利用到高精度、高倍率的显微放大设备以及一系列配套的环境控制设备以及精细手术操作设备等,其中,本门类手术最重要的一点在于需要在显微级别的精细度下对患者进行外科手术治疗。而在目前大部分的精细机器人或者机械臂尚且没有得出较为实质性的进步以取代人类进行该项手术的情况下,由人工实施该项手术成为一种常用的手段。执行显微手术的医师,其除了本身应当具备完整的相关外科知识以及职业资格证件以外,还需要具备操作显微外科手术的相关技能。在这其中,在显微镜下精细操作手术设备的稳定性尤为重要。由于人的肢体本身存在生理性震颤,长时间的握持手术工具以及精神的高度紧张又会加重这种震颤,因而执行医师常常会产生手部微微的颤抖,这种抖动在宏观层面上上来看是较为微小的,但是从显微镜的视野中来观察,这种抖动可能会产生较大的偏移,尤其是当手术执行对象的是患者神经、微血管等同样微小且脆弱的部分,容易造成患者的该部位受损,严重的情况下还有可能会导致手术效果差甚至手术失败等严重的问题。而医师的手部稳定性实际上来自于其对自身肌肉的控制能力,而这些控制能力是可以通过长期的练习以形成肌肉记忆的方式被保存下来。在给真正的患者施行此类手术前,医生需要在实验室接受训练。问题在于,怎样客观判断一个医生在显微镜下手部颤抖程度已经足够小,这就需要一定的基于显微视野的稳定性评价系统或者方案以使得医师能够较为直观地获取其稳定性的情况以及评价。
此外,一方面由于对本领域技术人员的理解存在差异;另一方面由于申请人做出本发明时研究了大量文献和专利,但篇幅所限并未详细罗列所有的细节与内容,然而这绝非本发明不具备这些现有技术的特征,相反本发明已经具备现有技术的所有特征,而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足,本发明提供了一种用于显微操作稳定性评估的系统,包括,显微组件,其用于获取经过缩放后的显微视野,本底组件,其作为显微视野的背景,操作组件,其由术者操作以执行显微操作,本底组件上设置有数个间隔排开的横纵线组成的数个方格的集合所构成的方格单元,术者藉由观察显微视野操作操作组件在方格单元上执行移动任务,还包括记录组件和处理组件,记录组件获取至少包括操作组件以及方格单元的图像数据并将其传输至处理组件,处理组件处理图像数据以获得处理组件与方格单元的图像并基于相应移动任务的要求分析两个组件相对位置关系以获取关于术者操作稳定性的评估。
优选地,方格单元为数个彼此正交且同方向等距间隔排开的横纵线组成的最小单元为边长相等的方格的集合。
优选地,小单元的边长被设置为一确定长度数值,任意数个横向或者纵向相邻的最小单元组成的矩形的长边长度值为组成该矩形的最小单元数量乘以该最小单元边长数值。
优选地,移动任务至少包括操作操作组件沿横线与纵线移动,在该移动任务下,评价操作稳定性的要求为操作组件在移动过程中偏移选定的横线和/或纵线的距离。
优选地,操作组件上设置有指示单元,指示单元设置在操作组件上指定位置并且能够基于自发光和/或反光的方式使其本身亮度区别于其余组件或单元的亮度以使得其所在的操作组件指定位置能够被人工或者机器明确识别。
优选地,操作组件为显微镊,指示单元构成为高硬度半反光球,至少两个指示单元分别设置在操作组件的两个镊尖位置并且两者构造为能够在镊尖夹合时构成完整反光球体。
优选地,方格单元与本底组件具备颜色属性的不同,处理组件基于对图像数据的二值化处理获取在本底组件的图像上区分颜色不同的方格单元图像。
优选地,处理组件基于对图像数据作亮度阶梯处理,并且将亮度最高或者高于预设范围的像素却认为指示单元的图像。
一种用于显微操作稳定性评估的方法,包括以下步骤,
S1将带有方格单元的本底组件设置在显微组件中以确保通过显微组件获得的显微视野中至少存在方格单元的图像,
S2术者通过显微组件观察显微视野并且使用带有标记单元的操作组件按照给定的移动任务在显微视野中移动操作组件,
S3记录组件记录显微视野中的图像数据,
S4处理图像数据以识别图像数据中的方格单元以及标记单元的图像,
S5基于给定移动任务的要求判定标记单元在方格单元中的相对位移情况以得出术者操作稳定性的评估。
优选地,操作组件为显微镊,指示单元构成为高硬度半反光球,至少两个指示单元分别设置在操作组件的两个镊尖位置并且两者构造为能够在镊尖夹合时构成完整反光球体。
本发明优势在于:
提供一种显微操作稳定性评估方案以及装置系统,其服务于术者对其显微外科手术的操作稳定性的评估,其能够以实时记录、自动采集特定图像的方式实时或者复盘地向术者提供其操作稳定性的评价,以使得后者能够基于评价实时或者滞后地改进、纠正其操作的失误,最终能够改善其操作的稳定性,本发明相较于常规人工评价术者的操作稳定性的方案,至少具备自动记录术者操作图像,自动识别术者操作的工具与标记单元之间的位移关系,并且能够自动地给出评价结果,处理速度相对更快,给出结果相对更及时,使得术者几乎能够以不依靠后续复盘的方式在执行模拟操作的同时被系统给出的实时评价结果所教导,能够有效提升术者的肌肉记忆习得率以及习得效率。
附图说明
图1是本发明提供的系统结构示意图;
图2是本发明提供的操作组件的一种实施例的结构示意图;
图3是本发明方格单元的一种实施例的结构示意图;
图4是本发明电子器件部分的电路连接示意图;
图5是本发明方格单元的另一种实施例的结构示意图;
图中:100、显微组件;200、本底组件;210、方格单元;211、横线;212、纵线;213、最小单元;300、操作组件;310、指示单元;400、记录组件;500、处理组件。
具体实施方式
下面结合附图1-5进行详细说明。
本发明提供一种用于显微操作稳定性评估的系统及方法,其用于检测和评价实施显微外科手术的医师的操作稳定性。显微外科手术目前已经成为一种较为重要的临床医学技术,其进一步拓展了多种常规外科手术门类的细分选择,主要是涉及到神经、细胞、组织一类的外科手术门类,例如神经外科、整形外科、骨科、腿外科、手外科、面部外科、妇科、泌尿科等等,其属于一种精细要求很高的手术类别。通常在执行显微外科手术时,需要利用到高精度、高倍率的显微放大设备以及一系列配套的环境控制设备以及精细手术操作设备等,其中,本门类手术最重要的一点在于需要在显微级别的精细度下对患者进行外科手术治疗。而在目前大部分的精细机器人或者机械臂尚且没有得出较为实质性的进步以取代人类进行该项手术的情况下,由人工执刀实施该项手术成为一种常用的手段。执行显微手术的医师,其除了本身应当具备完整的相关外科知识以及职业资格证件以外,还需要具备操作显微外科手术的相关技能。在这其中,在显微镜下精细操作手术设备的稳定性尤为重要。由于长时间的握持手术工具以及精神的高度紧张,执行医师常常会产生手部微微的颤抖,这种抖动在宏观层面上来看是较为微小的,但是从显微镜的视野中来观察,这种抖动可能会产生较大的偏移,尤其是当手术执行对象的是患者神经、微血管等同样微小且脆弱的部分,容易造成患者的该部位受损,严重的情况下还有可能会导致手术事故等严重的问题。而医师的手部稳定性实际上来自于其对自身肌肉的控制能力,而这些控制能力是可以通过长期的练习以形成肌肉记忆的方式被保存下来。问题在于,仅仅依靠医师自己的练习是难以形成或者难以正确形成肌肉记忆的,因此需要一定的基于显微视野的稳定性评价系统或者方案以使得医师能够较为直观地获取其稳定性的情况以及评价。
在一种实施例中,如图1和4,提供一种用于显微操作稳定性评估的系统,其包括显微组件100、记录组件400、本底组件200以及操作组件300。操作组件300大致可以构成为为医师手持使用的手术工具,以最为常见的手术镊子为例,本操作组件300优选地与显微手术常用的手术镊子在形状、重量等属性上接近或者完全一致。优选地,本操作组件300可以直接由手术中常规使用的手术工具构成或者适当改造形成。本实施例中,如图2所示,操作组件300为手术镊子,按照其规则构型,其至少具备两个镊腿,两个镊腿分别具备一个相对较为尖锐的一端,两者的另一端以彼此具备弹性势能地连接在一起。上述弹性势能是指镊腿的一端在连接时是采用预设弹性应力的方式进行的,例如在连接处采用弹簧连接的方式,或者是利用金属预弯折的形式构成弹性势能,使得两个镊腿至少在自然状态下其上至少较为尖锐的一端端点是彼此分开不相连的。优选地可以将较为尖锐的一端称为镊尖。执行显微外科手术的操作组件300一般精细度也要求较高,使得即便在放大倍率较大的显微镜中,镊尖依然具备至少可用的尖端精度,而不是存在平滑边缘或者边缘缺损导致无法展开显微外科手术。
显微组件100,其用于将医师的视野缩放至显微级别,常规的缩放级别为毫米级,因为这是人体神经和一些细小血管的粗细度级别,在针对这些部位进行手术操作时,需要将显微级别缩放至至少能够较为显著地看清毫米级别的物体。本实施例采用的显微组件100,其可以是直接利用显微外科手术中使用的显微设备,或者,也可以采用性能相近的普通显微设备。优选地,采用与实际工作中使用的显微设备相同的或者其本身来作为本实施例中的显微组件100,这有利于医师在熟悉适应后续工作中将会采用的显微设备的基础上实现对其操作稳定性的检测与评价。
本底组件200至少为显微组件100的操作视野提供一个视觉背景,即在本实施例中,本底组件200构成为显微组件100的至少一个观察对象。基础地,本底组件200可以构成为一种平面结构,可以为板状、片状、面状结构,优选地,可以是纸张类型的结构,例如纸张、卡片、卡纸、相片纸等类型。在本实施例中,为实现在显微视野中标记距离或者长度,在本底组件200上设置有方格单元210,如图3所示,方格单元210为数个彼此正交且同方向等距间隔排开的横纵线组成的最小单元213为边长相等的方格的集合,其中,任意两个纵线212和任意两个横线211能够相互交错并且合围形成至少一个矩形,任意一个矩形能够完全分解为数个最小单元213的集合,矩形的长度等于其长边上所有等值分解的最小单元213集合数量乘以最小单元213边长,其宽度等于其宽边上所有等值分解的最小单元213集合数量乘以最小单元213边长。在本实施例中,为配合上述显微视野以及常用的显微手术缩放数量级,最小单元213边长被配置为1mm,即最小单元213构成为1mm*1mm的正方形结构。优选地,方格单元210以印刷的方式设置在本底组件200的至少其中一个平面上,并且优选地,为提升方格单元210在显微视野中的可观察性,可以将方格单元210设置为较为醒目的颜色,优选为暖色系,更优选为红色。本实施例中,在执行显微手术操作稳定性评价时,至少应当保证显微视野中至少包含一个最小单元213。本底组件200上除开设置有方格单元210的其余部分(应当包括方格单元210中除开线条的部分)均可以设置为与方格单元210所用线颜色形成反差的其它颜色,例如白色。
记录组件400选择为能够通过视觉捕获单帧图像或者多帧连续图像的方式来记录显微视野中至少部分本底组件200、部分方格单元210以及部分操作组件300的视觉图像的装置。在本实施例中,记录组件400选择为录像设备或者录像单元,其可以设置在显微组件100上或者由一些具备录像功能的显微设备提供。记录组件400的图像捕获范围至少应当包括显微视野的全部范围。并且为防止视角不同而产生的图像畸变,记录组件400的图像捕获光路优选为与显微光路同向设计,可以选择同入射光路分光设计,即将同一个角度入射的光线通过棱镜分散为至少两个光路,一个光路由显微目镜进入人眼,一个光路进入记录组件400的感光元件上,参照单反相机的取景窗与镜头成像的光路矫正设计,能够实现上述效果。
由上所述,记录组件400用于获取显微视角的图像信息,优选地,为连续的图像信息,即可以按照视频的方式进行记录,获取的信息可以称为图像信息。
为便于人工或者机器在处理上述图像信息的时候能够较为清晰地分辨操作工具与本底组件200或者方格单元210图像之间地区别,除了在上述本底组件200上设置具有较强烈对比色的方格单元210与本底组件200颜色之外,还在操作组件300上设置了指示单元310。指示单元310设置在操作组件300上指定位置并且能够基于自发光和/或反光的方式使其本身亮度区别于其余组件或单元的亮度以使得其所在的操作组件300指定位置能够被人工或者机器明确识别。具体地,上述指定位置是指人工指定的需要或者值得进行研究的位置,该位置根据使用的操作组件300种类不同而可能产生不同的指定位置,例如本实施例中选择的显微组织镊,一般来说评价其操作的重点位置在其镊尖的位置,因为使用镊子进行的操作基本上是利用两个镊尖夹住需要进行手术的对象,例如患者的神经、血管、瓣膜等;在另一些实施例中,操作组件300选择的是显微剪刀,在此情况下,指定位置可以选择为剪刀的两个刀尖位置处或者选择为剪刀的中心轴位置。
基于本实施例,指示单元310设置在显微组织镊的两个镊尖位置,指示单元310具体构成为高硬度半反光球,并且指示单元310设置在镊尖的背离相互夹合的一侧上。优选地,至少两个分别设置在两个镊尖上的指示单元310能够在镊尖夹合之后大致构成一个完整的球体结构,其中,由于镊尖夹合的部位占有一定体积,因此上述完整球体中间可能会具有一些镊尖占据产生的间隙,但是从较为宏观的层面上看,两个半反光球的指示单元310能够组成一个完整的反光球。将指示单元310设置在镊尖背离夹合的一侧是为了防止指示单元310对术者使用操作组件300的过程产生阻碍,对于其余可能使用到的非镊形的操作组件300,其指示单元310的设置位置也需要考虑到不能对正常使用该操作组件300产生干扰。
显微组件100一般自身带有光单元,其作用是至少能够照亮显微视野范围,并且可能的,光单元构成为无影灯类似结构类型,使得显微视野范围内没有阴影产生。基于上述指示单元310的构成方式,其可以在自身发光和/或被动反光的情况下在视觉图像上以亮度为区分地与周边环境所分离。由于显微镊在显微视野中出现的部分体积或者长度很小,因此对应地,指示单元310体积也相对很小,在一些实施例中可能为毫米级或者以下级别。考虑到在此体积下较为难以通过电气的方式实现该指示单元310的自发光,因此本实施例选择能够反光的指示单元310作为实施结构。指示单元310的反光特性可以来自于构成指示单元310本身的材料,具体地,在构成指示单元310时可以选择具有反光特性和/或加入反光组分,例如指示单元310为树脂凝聚物时,在生产该指示单元310时需要在树脂内添加反光物质,例如金属粉末、玻璃晶片等材质。
本装置还包括处理组件500。记录组件400获取关于显微视野中的至少一个图像数据,并且将其传输至处理组件500。处理组件500用于按照机器视觉识别的方式将图像数据中的指示组件、方格单元210进行相对位置上的特定,以使得处理组件500能够获得指示组件与方格单元210的横纵线或者最小单元213之间的位置关系。具体地,处理组件500首先基于图像识别在图像数据中寻出方格单元210图像,寻找方式可以是基于给定颜色以及线条进行逐列图像匹配的方式。具体地,可以使用OpenCV进行图像识别,可以对单帧图像进行二值化处理,将并且以直线模型进行匹配,将不属于线条的像素区域赋值为0值,将属于线条的像素区域赋值为1值,在赋值过程中可以基于颜色匹配以及直线趋势变化模型来辅助矫正线条区域的赋值策略。优选地,基于本底组件200上的组成方格单元210的横纵线是按照固定间距设置的,在执行图像识别的过程中,可以将该固定间距设为辅助判断值,能够在至少寻出一条横线211或者纵线212的情况下基于固定间距在图像上排除大量的非重要区域。
随后或者与上述对方格单元210进行图像识别的同时,处理组件500对图像数据中的操作组件300图像,尤其是操作组件300上的指示单元310图像进行识别,识别至少基于指示单元310的亮度与其他环境物亮度的显著差异进行。具体地,可以对图像数据进行亮度阶层处理,使得画面仅保留亮度阶梯,将其中亮度最高或者达到预设范围的像素范围确认为指示单元310的图像。优选地,处理组件500中可以预想储存有操作组件300的含有指示单元310的全体积标准模型,在确认指示单元310的图像之后基于指示单元310的位置以及大小,处理单元以缩放匹配的方式将标准模型中的指示单元310匹配至相同属性且相同位置,以使得利用图像数据中寻出的指示单元310图像的位置以及大小能够反算模拟出操作单元整体在视野中的图像情况。此种方案在不需要实际地通过图像匹配的方式寻找操作组件300的情况下能够以较大或最大的准确度的方式模拟还原操作组件300的整体图像,既方便在评估稳定性结果时能够观察到一些指示单元310连接的部分操作组件300位置之外的操作组件300位置情况以获得更加完整的评估,又使得处理组件500在执行图像识别时减少大量的识别计算算力。
基于显微外科对手术操作的评判要求以及手术操作的科目,对稳定性的评估可能具有多种方式,本发明至少能够解决其中的至少以位移作为评价参数之一的稳定性评估项目。具体地,本实施例给出一种评价流程实例:术者观察显微组件100内的方格单元210,同时手持显微镊型操作组件300在方格单元210上执行给定的移动任务,移动任务可以是要求术者沿着给定的横纵线划线或者是在一定范围内画圈等任务。选定给定的横纵线可以基于给定的镊尖间距进行,具体地,例如给定的镊尖间距为3mm,则术者需要控制两个镊尖以夹住三个单向相邻的最小单元213的方式沿着横线211或者纵线212做直线运动,移动过程中或者移动之后基于处理组件500寻出的镊尖位置(由指示单元310位置标示)与方格单元210的图像之间的相对移动关系来评价镊尖在移动过程中是否保持镊尖间距为3mm(在图像上是否始终夹着三个最小单元213或者是否沿着特定的横线211或者纵线212移动),进一步地,还可以在术者操作产生镊尖间距增大或者缩小的抖动时可以获取镊尖间距变化的具体数值,例如在第一图像帧中,镊尖夹住3个最小单元213,在第二图像帧中镊尖夹住4个最小单元213,则认为在该图像帧对应的时刻,术者操作产生了扩大抖动且抖动幅度为1mm。通过大量收集并分析术者在执行移动任务的过程中产生的失误抖动以及失误的幅度,并且基于一定的评价体系(例如评分制,给不同程度的失误不同的评分,出现失误在总分内扣除相应分值)可以给出关于术者该次操作稳定性的评价。
显微视野中的方格单元210图像由于操作设备在视觉上的介入有可能在处理组件500进行图像识别的时候产生遮挡而导致图像识别失败。本实施例给出两种解决方案,其一是记录组件400在操作组件300介入显微视野之前获取关于本底组件200的至少一个图像信息并且从图像信息中寻出方格单元210的图像,由此时没有介入操作组件300,因此可以获取完整的相关图像,在后续过程中基于对本底组件200位置不变的假设,可以直接使用该在操作组件300介入前获取的方格单元210的图像进行后续的判断;其二是利用预设的横纵线图形特征进行遮挡图像的模拟修复,基于横纵线的图像特殊性,若图像中能够寻出在能够被条直线包含的两条断开的射线,则将该两断开点相连就可以修复该线。第一种方案的优势在于后期不需要对方格单元210的图像进行识别,仅通过预先识别的方格单元210图像即可进行后续处理工作,但是不足在于如果后期本底组件200与记录组件400产生了相对移动,则之前的方格单元210图像将不再具备可用性。第二种方案能够较为有效地在后续操作时间内,本底组件200相对位置发生改变之后任然能够获取更新的方块单元的图像以用于后续的判断,并且同时不会受到操作组件300的视觉遮挡影响,但是不足在于需要在后续时间内的数个图像帧或者连续图像帧中持续反复匹配方格单元210的图像,造成一定的数据处理压力。因此,给出一种优选实施例,处理组件500在一个在先的图像帧内寻出的方格单元210图像上选择至少一个图像点位作为参照点位,获取参照点位在视野中的第一绝对坐标值,在下一个号图像帧或者下一个预设间隔的图像帧寻找同一个参照点位图像并获取其在视野中的第二绝对坐标值,比对第一绝对坐标值和第二绝对坐标值,若值相等则说明参照点位位置没有发生变化,不需要进行任何操作;若不相等则说明参照点位位置产生位移,则基于第二绝对坐标值与第一绝对坐标值的位差对与第一绝对坐标值绑定的方格单元210图像进行位置矫正,矫正方式可以是基于上述位差的平移。在二维平面中,位差至少具有两个子参数,即位移角度与位移长度,位移角度决定了第二绝对坐标值是在第一绝对坐标值的位置基础上向哪个方向产生了位移,位移长度决定了位移的距离。且不论在两个被选择的图像帧之间参照点位具体产生了何种位移,在两个图像帧中总能将两个被寻出的参照点位连接形成直线,并且利用该直线所反映的位移角度与位移长度来矫正当前帧中的方格单元210图像。此方案的优势在于,在先前的至少一个图像帧中获取了完整的方格单元210图像之后,处理单元即可以使用该方格单元210图像作为一个标准模型进行后续的计算处理,而不需要在后续的每一个图像帧都去进行一次关于方格单元210的匹配,同时即便是方格单元210由于震动、滑动等原因实质上产生了与视野的相对位移,在位移之后的图像帧中,处理组件500也仅需要寻找参照点位的图像即可以利用该点位的位差来校正方格单元210图像,也不需要执行对全部方格单元210图像的再次识别,极大地减小了处理组件500的处理难度,大量释放运算能力,提升了视觉识别的速度,有效解决了部分因为数据处理而造成的结果输出延缓,使得处理组件500能够近乎实时地输出视觉处理结果来便于相关人员及时地查看当前操作的稳定性情况,能够做到及时指出问题,及时改正的训练效果。
优选地,处理单元在选择方格单元210中的其中一个点位作为参照点位时可能会产生一定的问题,基于寻找具有一定特征的图像来方便后续的图像跟踪的考虑,参照点位一般会选择方格单元210中其中一个方格角点的位置,并且为防止后续操作组件300在移动过程中阻挡该参照点位的位置,可能会将参照点位的位置选择在靠近显微视野边缘的地方。然而由于上述方格单元210的基本构成,较为难以将选定的一个角点与其他方格的角点做出图像上的区分,容易造成错误识别、跳变识别等问题。一种实施例将方格单元210上其中一个角点预先做出区别于其他角点的视觉处理,例如更改该角点的颜色、添加标记等操作,这样可以在处理组件500的预设中直接规定选择该经过特殊处理的角点作为参考点位。然而此种方式仍然面临不实用的问题,因为在此情况下,需要要求术者在实用本设备时必须将该经过特殊处理的角点暴露在显微视角的观察范围内,这增大了装置使用的繁琐程度,尤其是在体积较小的特殊角点淹没在大量的非特殊角点内时,术者去分辨该特殊角点位置的劳动将会较大。
因此还给出另外一种实施例,如图5所示,该实施例中,方格单元210中任意相邻的两个最小单元213分别的两个纵线212组成部分和两个横线211组成部分中至少存在两个平行的线具有不同的构成属性。其中,构成属性可以是颜色、粗细、线型等能够在视觉上显著区分两种线的属性。
基于上述设置,处理组件500能够寻找至少两个不同构成属性的横线211与纵线212形成的角点作为参照位点,与该参照位点在视觉图像上类似或者相同的点位至少在两个甚至以上数量的最小单元213之外,因此在视觉识别时较为不易因为其余相似的图像所干扰,使得处理组件500能够基于较好地跟踪参照位点的基础上不断矫正方块单元的图像。同时,术者在执行一些特定的移动任务时可以参照上述不同构成属性的线执行对应种类的移动任务而无需花费精力自助寻线,仅需要根据移动任务选择对应构成属性的线型然后直接进行移动任务即可。例如,在一种实施例中,相邻的两个最小单元213至少两个平行的纵线212一个设置为红线一个设置为蓝线,则在执行镊尖距离为1mm的移动任务时,术者仅需要将镊尖放在两个在视觉上不同的纵线212上移动即可,而无需去寻找最小单元213的位置,且不同视觉上的图像能够有效缓解术者在执行移动任务时因为高度重复的线型图像而造成的眼花缭乱的问题,使得术者能够更加专注于当前的线条跑道,训练出手术所需求的肌肉记忆。同时,基于不同移动任务对不同视觉属性的选择,处理组件500在对图像数据进行视觉识别时,可以直接无视一些非该移动任务对应的视觉属性的线条,仅需要在图像中特定或者寻找具有对应视觉属性的线条即可,这样成倍地缩减了处理组件500的计算量,介绍大量的处理组件500和记录组件400的数据吞吐,有效提升处理组件500对术者操作的实时反馈效率,进一步能够实现术者随时操作处理组件500随时反馈的伴随性训练或者指导的效果,延迟更小,跟随率更高。
本发明还提供一种用于显微操作稳定性评估的方法,其基本上利用上述装置,其至少包括以下步骤:
S1将带有方格单元210的本底组件200设置在显微组件100中以确保通过显微组件100获得的显微视野中至少存在方格单元210的图像。
S2术者通过显微组件100观察显微视野并且使用带有标记单元的操作组件300按照给定的移动任务在显微视野中移动操作组件300。
S3记录组件400记录显微视野中的图像数据。
S4处理图像数据以识别图像数据中的方格单元210以及标记单元的图像。
S5基于给定移动任务的要求判定标记单元在方格单元210中的相对位移情况以得出术者操作稳定性的评估。
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思,诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思,申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种用于显微操作稳定性评估的系统,包括,
显微组件(100),其用于获取经过缩放后的显微视野,
本底组件(200),其作为所述显微视野的背景,
操作组件(300),其由术者操作以执行显微操作,
其特征在于,
所述本底组件(200)上设置有数个间隔排开的横纵线组成的数个方格的集合所构成的方格单元(210),所述术者藉由观察所述显微视野操作所述操作组件(300)在所述方格单元(210)上执行移动任务,
还包括记录组件(400)和处理组件(500),所述记录组件(400)获取至少包括所述操作组件(300)以及所述方格单元(210)的图像数据并将其传输至所述处理组件(500),所述处理组件(500)处理所述图像数据以获得所述处理组件(500)与所述方格单元(210)的图像并基于相应移动任务的要求分析两个组件相对位置关系以获取关于所述术者操作稳定性的评估。
2.根据权利要求1所述的系统,其特征在于,所述方格单元(210)为数个彼此正交且同方向等距间隔排开的横纵线组成的最小单元(213)为边长相等的方格的集合。
3.根据权利要求1或2所述的系统,其特征在于,所述边长相等的最小单元(213)的边长被设置为一确定长度数值,任意数个横向或者纵向相邻的最小单元(213)组成的矩形的长边长度值为组成该矩形的最小单元(213)数量乘以该最小单元(213)边长数值。
4.根据权利要求1~3任一项所述的系统,其特征在于,所述移动任务至少包括操作所述操作组件(300)沿所述横线(211)与纵线(212)移动,在该移动任务下,评价所述操作稳定性的要求为所述操作组件(300)在移动过程中偏移选定的所述横线(211)和/或纵线(212)的距离。
5.根据权利要求1~4任一项所述的系统,其特征在于,所述操作组件(300)上设置有指示单元(310),所述指示单元(310)设置在操作组件(300)上指定位置并且能够基于自发光和/或反光的方式使其本身亮度区别于其余组件或单元的亮度以使得其所在的操作组件(300)指定位置能够被人工或者机器明确识别。
6.根据权利要求1~5任一项所述的系统,其特征在于,所述操作组件(300)为显微镊,所述指示单元(310)构成为高硬度半反光球,至少两个所述指示单元(310)分别设置在操作组件(300)的两个镊尖位置并且两者构造为能够在所述镊尖夹合时构成完整反光球体。
7.根据权利要求1~6任一项所述的系统,其特征在于,所述方格单元(210)与所述本底组件(200)具备颜色属性的不同,处理组件(500)基于对图像数据的二值化处理获取在本底组件(200)的图像上区分颜色不同的方格单元(210)图像。
8.根据权利要求1~7任一项所述的系统,其特征在于,所述处理组件(500)基于对图像数据作亮度阶梯处理,并且将亮度最高或者高于预设范围的像素却认为所述指示单元(310)的图像。
9.一种基于权利要求1-8之一所述的系统的用于显微操作稳定性评估的方法,其特征在于,包括以下步骤,
S1将带有方格单元(210)的本底组件(200)设置在显微组件(100)中以确保通过显微组件(100)获得的显微视野中至少存在方格单元(210)的图像,
S2术者通过显微组件(100)观察显微视野并且使用带有标记单元的操作组件(300)按照给定的移动任务在显微视野中移动操作组件(300),
S3记录组件(400)记录显微视野中的图像数据,
S4处理图像数据以识别图像数据中的方格单元(210)以及标记单元的图像,
S5基于给定移动任务的要求判定标记单元在方格单元(210)中的相对位移情况以得出术者操作稳定性的评估。
10.根据权利要求9所述的方法,其特征在于,所述操作组件(300)为显微镊,所述指示单元(310)构成为高硬度半反光球,至少两个所述指示单元(310)分别设置在操作组件(300)的两个镊尖位置并且两者构造为能够在所述镊尖夹合时构成完整反光球体。
CN202210007382.5A 2022-01-04 一种用于显微操作稳定性评估的系统及方法 Active CN114305400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210007382.5A CN114305400B (zh) 2022-01-04 一种用于显微操作稳定性评估的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210007382.5A CN114305400B (zh) 2022-01-04 一种用于显微操作稳定性评估的系统及方法

Publications (2)

Publication Number Publication Date
CN114305400A true CN114305400A (zh) 2022-04-12
CN114305400B CN114305400B (zh) 2024-07-09

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
TW201235986A (en) * 2011-02-25 2012-09-01 Univ Nat Taiwan Science Tech Stability evaluate method for minimal invasive surgery training and device thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10179512A (ja) * 1996-12-19 1998-07-07 Olympus Optical Co Ltd 内視鏡装置
TW201235986A (en) * 2011-02-25 2012-09-01 Univ Nat Taiwan Science Tech Stability evaluate method for minimal invasive surgery training and device thereof

Similar Documents

Publication Publication Date Title
US10964232B2 (en) Apparatus, method and system for microsurgical suture training
KR102387096B1 (ko) 시계 내의 기기들의 정량적 3차원 시각화
EP3076369B1 (de) Verfahren und vorrichtung zum darstellen eines objektes
CN110967166B (zh) 近眼显示光学系统的检测方法、检测装置和检测系统
Richa et al. Vision-based proximity detection in retinal surgery
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
JP2021531910A (ja) ロボット操作手術器具の位置を追跡システムおよび方法
JP2007529007A (ja) 強化現実システムにおけるオーバーレイ・エラーの測定方法と、その計測システム
DE102017207517B4 (de) Endoskopisches System und Verfahren zum Steuern desselben
Lin et al. A first-person mentee second-person mentor AR interface for surgical telementoring
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
Fischer et al. Evaluation of different visualization techniques for perception-based alignment in medical ar
CN106264443A (zh) 一种斜视智能检查分析系统
US10922899B2 (en) Method of interactive quantification of digitized 3D objects using an eye tracking camera
CN114305400A (zh) 一种用于显微操作稳定性评估的系统及方法
CN114305400B (zh) 一种用于显微操作稳定性评估的系统及方法
Edwards et al. Visual kinematic force estimation in robot-assisted surgery–application to knot tying
JP2018508246A (ja) 少なくとも1つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス及び方法
CN114343619B (zh) 一种显微外科手术操作稳定性评判建议系统及方法
CN114343619A (zh) 一种显微外科手术操作稳定性评判建议系统及方法
Nicolaou et al. A Study of saccade transition for attention segregation and task strategy in laparoscopic surgery
Kottayil et al. Investigation of gaze patterns in multi view laparoscopic surgery
CN110208190A (zh) 一种用于显微镜镜检追踪的方法及系统
Schoob et al. Color-encoded distance for interactive focus positioning in laser microsurgery
CN209676326U (zh) 一种投影图像信息的大体标本成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant