CN111243018A - 自动进行祛痣手术的方法及系统 - Google Patents

Abstract

本发明公开了一种自动进行祛痣手术的方法及系统，其中，方法包括以下步骤：通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；引入指示激光，并根据目标位置及多数近似法向量进行指示激光，并对目标位置的实时比较并补偿，实现祛痣手术。该方法应用了双目视觉技术确定面部色素痣的位置和其近似法向量，并通过引入指示激光的方法进行指示激光和色素痣位置的实时比较并补偿，从而可以让医生只需要进行简单的判断就能进行手术，简单易实现。

Description

自动进行祛痣手术的方法及系统

技术领域

本发明涉及智能识别与定位技术领域，特别涉及一种自动进行祛痣手术的方法及系统。

背景技术

现有的祛痣手术仍然停留在医生手动操作阶段，存在医生疲劳导致操作失误，以及拥有手术资质医生数量不足的问题。

除了手动祛痣手术以外，相关技术中，还有一种超快激光系统的应用，一种二自由度可移动床位，配合调节反光镜等光学元件完成手术。

然而，现有技术中没有明确提出视觉定位和人脸扫描的方案，缺乏痣的自动识别与智能定位，亟待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种自动进行祛痣手术的方法，该方法可以让医生只需要进行简单的判断就能进行手术，简单易实现。

本发明的另一个目的在于提出一种自动进行祛痣手术的系统。

为达到上述目的，本发明一方面实施例提出了一种自动进行祛痣手术的方法，包括以下步骤：通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；引入指示激光，并根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，实现祛痣手术。

本发明实施例的自动进行祛痣手术的方法，可以大大减轻进行祛痣手术的医师的工作量和工作难度，提高手术的成功率；为医师提供实时的操作画面和一键式的操作环境；同时医师可以加入自己的判断来最终决定是否进行手术；此外激光近似垂直入射的特点也能为自动确定激光用量算法的编写提供支撑。

另外，根据本发明上述实施例的自动进行祛痣手术的方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过双目视觉确定面部色素痣的目标位置，并得到近似法向量，还包括：采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，所述获取人脸模型的深度信息，包括：对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；对校正后的人脸模型图像进行SGBM(Semi-Global Block Matching，半全局块匹配算法)半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，还包括：利用PCL(Point Cloud Library，点云库)进行点云的三维重建，以通过所述近似法向量得到激光最大能量入射的角度。

进一步地，在本发明的一个实施例中，所述根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，包括：将所述指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

为达到上述目的，本发明另一方面实施例提出了一种自动进行祛痣手术的系统，包括：确定模块，用于通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；指示模块，用于引入指示激光，并根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，实现祛痣手术。

本发明实施例的自动进行祛痣手术的系统，可以大大减轻进行祛痣手术的医师的工作量和工作难度，提高手术的成功率；为医师提供实时的操作画面和一键式的操作环境；同时医师可以加入自己的判断来最终决定是否进行手术；此外激光近似垂直入射的特点也能为自动确定激光用量算法的编写提供支撑。

另外，根据本发明上述实施例的自动进行祛痣手术的系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述确定模块进一步用于采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，所述确定模块进一步用于对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；对校正后的人脸模型图像进行SGBM半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，还包括：三维重建模块，用于利用PCL点云库进行点云的三维重建，以通过所述近似法向量得到激光最大能量入射的角度。

进一步地，在本发明的一个实施例中，所述指示模块进一步用于将所述指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的自动进行祛痣手术的方法的流程图；

图2为根据本发明实施例的单目视觉虽然反映出物体轮廓的示意图；

图3为根据本发明实施例的双目视觉虽然反映出物体轮廓的示意图；

图4为根据本发明实施例的利用PCL点云库进行点云的三维重建示意图；

图5为根据本发明实施例的执行逻辑示意图；

图6为根据本发明实施例的样机示意图；

图7为根据本发明实施例的系统使用步骤的流程图；

图8为根据本发明实施例的上位机界面示意图；

图9为根据本发明实施例的上位机自动扫描可用串口示意图；

图10为根据本发明实施例的“摄像头拍照”选项卡界面示意图；

图11为根据本发明实施例的上位机寻痣与重建界面示意图；

图12为根据本发明实施例的上位机寻找激光点界面示意图；

图13为根据本发明实施例的“寻痣调节”选项卡界面示意图；

图14为根据本发明实施例的自动进行祛痣手术的系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的自动进行祛痣手术的方法及系统，首先将参照附图描述根据本发明实施例提出的自动进行祛痣手术的方法。

图1是本发明一个实施例的自动进行祛痣手术的方法的流程图。

如图1所示，该自动进行祛痣手术的方法包括以下步骤：

在步骤S101中，通过双目视觉确定面部色素痣的目标位置，并得到近似法向量。

可以理解的是，本发明实施例应用了双目视觉技术确定面部色素痣的位置和其近似法向量。

进一步地，在本发明的一个实施例中，通过双目视觉确定面部色素痣的目标位置，并得到近似法向量，还包括：采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

可以理解的是，双目视觉又被称为计算机立体视觉(Stereo Vision)，是计算机视觉当中的一个重要分支。人之所以能感知到世界，凭借的就是与生俱来的视觉系统，通过视差来得到各物体的距离。而对于激光点痣机器人系统来说，要保证手术时激光的治疗效果好，就要保证激光与人脸之间的距离为定值。这时，就要采用双目视觉进行人脸模型图像的立体匹配，来获取深度信息。

单目视觉虽然可以反映出物体的轮廓，但是图2所示，在图片上的同一个点，空间当中的坐标却天差地别。因此，单目摄像头无法反映深度信息。

而双目视觉则不同，如图3所示，将摄像头增加为两个后，左眼中相同像素位置的两个点在右眼上的成像出现了区别，因此如果可以在两幅图像上找到对应点，就可以通过几何三角测量的方法来计算出视差。进而通过两摄像头之间的距离与视差比对，得出真实人脸痣点的三维坐标。

进一步地，在本发明的一个实施例中，获取人脸模型的深度信息，包括：对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；对校正后的人脸模型图像进行SGBM半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

具体而言，双目视觉在测量过程中要进行如下步骤：

1、对双目RGB相机进行标定，得到其内外参数，旋转与平移矩阵。

2、根据标定结果对人脸模型图像进行矫正，使两图像位于同一平面并且极线平行。

3、对校正后的人脸模型图像进行SGBM半全局匹配。

4、根据匹配结果计算像素深度，从而得到人脸模型的深度信息。

在步骤S102中，引入指示激光，并根据目标位置及多数近似法向量进行指示激光，并对目标位置的实时比较并补偿，实现祛痣手术。

可以理解的是，通过引入指示激光的方法进行指示激光和色素痣位置的实时比较并补偿。

进一步地，在本发明的一个实施例中，还包括：利用PCL点云库进行点云的三维重建，以通过近似法向量得到激光最大能量入射的角度。

可以理解的是，如图4所示，本发明实施例利用PCL点云库进行点云的三维重建，可以让医生可视化的观察人脸，更加直观的看到痣的位置。并且重建后可以通过近似平面法向量来得到激光最大能量入射的角度。

进一步地，在本发明的一个实施例中，根据目标位置及多数近似法向量进行指示激光，并对目标位置的实时比较并补偿，包括：将指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

可以理解的是，用与大功率激光同轴的指示激光作为视觉反馈，让指示激光准确入射，这样只要激光切换为大功率模式就可以准确点痣了。要让相机看到激光斑与痣点完全重合，这样就要对激光斑进行识别与定位。

具体而言，本发明实施例的激光斑识别的基本思想是：选用绿色的指示激光，通过对图像BGR通道的分割，进行高斯模糊与阈值筛选，之后在G通道上进行筛选，得到的激光斑点与痣的三维坐标进行比对，距离相对近的点为可能的激光斑点。

同时，再对图像进行HSV(Hue Saturation Value，HSV颜色模型)通道的转换，通过图像亮度的检测来进行阈值的筛选，最终通过亮度和颜色两个方向进行筛选，最终确定激光斑的位置。能更加快速并且准确的计算出激光斑轮廓并求出它的质心。

由此得到的光斑坐标与之前得到的痣坐标做差之后得到Δx,Δy,Δz,即为机构在三个方向上需要运动的距离，为了简化算法，本发明实施例采用移动X，Y方向的策略，不断使光斑逼近痣的中心，直到激光斑与痣点的中心距离小于0.5mm，即可认为激光斑与痣点重合。

下面将通过一个具体实施例对自动进行祛痣手术的方法进行进一步阐述。

本发明实施例的执行逻辑如图5所示。摄像头实时进行图像捕捉，然后对双目的图像进行立体校正，消除畸变。随后进行视差图，深度图计算得出痣的三维坐标。同时进行PCL三维重建以获得痣的近似法向量。由此计算出系统五个自由度分别应该运动的距离。在开环到达理论位置后开启指示激光，进行实时的激光斑识别和痣的斑点识别并计算其坐标差。以此坐标差为依据系统进行反馈直到指示激光与痣斑点重合。

本发明实施例的样机如图6所示，其使用的步骤如图7所示：

样机有5个自由度，分别是x、y、z方向的平移和激光头2个旋转。5个自由度可以保证激光在空间中的自由指向。双目摄像头固定在框架上，进行实时位置信息的处理。

其中，上位机界面是在Visual Studio和易语言环境下开发的，其界面图88所示。主界面包含菜单栏、工具栏、主面板等部分。菜单栏中的“文件”项目包含图片打开、配置读取与保存等功能，“帮助”项目包含使用手册、更新日志和关于等项目。

1、“连接与控制”选项卡

“连接与控制”项目实现上位机与点痣机器人的数据交换、通讯功能。打开上位机界面后，程序自动扫描当前可用来与下位机通讯的串口接收器，只有当具有可用的串口接收器时，程序才能正常工作。若没有可用的串口，会弹出如图9所示的对话框进行提示。

程序开启时，默认在“连接与控制”项目下，其中主面板包括“连接点痣机配置”、“位移设定”、“步距设定”等部分。

“连接点痣机配置”模块中，“串口”显示当前可供使用的串口；“模式选择”提供了从“模式0”到“模式5”的多种对点痣机器人的控制模式，分别是：“大范围移动”、“微调角度”、“微调坐标”、“开启激光器”和“回零”等。

“大范围移动”模式允许在“位移设定”模块中输入需要移动到的五维坐标并直接大范围地移动；“微调角度”模式只允许调整角度a和b，禁止调整平移x、y和z；“微调坐标”模式只允许调整平移x、y和z，禁止调整角度a和b；“开启激光器”模式可以开启激光器，以方便执行机构定位和点痣；“回零”模式使点痣机器人回零位重置状态，方便进一步的调整。

为了实现长距离调整和微调，设计了“位移设定”和“步距设定”两个模块。其中，“步距设定”模块具有一个“实时”复选项，勾选时可以不必再按“执行”按钮就能够立刻使下位机动作，提升效率。为了防止短时间内上位机对下位机发送过多信号导致其混乱和死机，在按下“执行”按钮后其自身将被禁止操作，直到接收到下位机发来的空闲信号后才能恢复操作。同时，设计了“读取和保存配置”功能，方便在下次使用时快速恢复已保存的工作进度。

“激光微调”仅可工作在“开启激光器”模式下，可以实现手动激光点痣的功能；而“自动微调”可以实现全自动激光点痣功能。

2、“摄像头拍照”选项卡

“摄像头拍照”项目实现了人脸信息采集，包括痣的信息采集以及其后的自动或手动激光寻痣的光斑采集等，界面图10所示。

使用时，点击“打开摄像头”，则双目摄像头的左右眼图像会实时地显示在界面中。点按“拍照”，可以对当前时刻的摄像头内容进行捕捉，并可拍摄多张照片以供后续选择。拍照完毕后，点击“停止拍照并预览”，则关闭摄像头并可以在选择框中选择浏览拍摄的照片。选中某一组照片后，点击“确认选择”，则程序自动对所选的图片进行立体矫正及生成深度图，并将结果显示在右侧的图片框内。

在每次确认选择后，程序都会将已经拍的照片自动归档保存到\history目录下，以供使用者查找。

3、“寻痣与重建”选项卡

在“寻痣与重建”项目中，可以实现对已保存双目照片的进一步处理、手动框选及PCL三维重建功能，并将控制下位机运动的坐标写入“连接与控制”项目的“位移设定”模块中，如图11所示。

“图片预览与剪切”模块显示上一步拍照后的立体矫正结果图像，可框选出人脸范围，以使得痣的识别及之后的激光光斑识别更加精准。

“疑似痣区域预览”模块输出框选范围内的所有可疑的痣点，当点选某一坐标时，在旁边会生成原图对应坐标附近的小片图像，方便手动将痣点加入列表，增加选择的准确性。添加坐标后，点击“确认已选痣”，则保存此次痣识别的图像二维坐标以及相机形成的三维坐标，方便后续流程中使用。

“PCL三维重建”模块实现对人脸的三维重构，并藉此计算出痣点对应的空间单位向量值，形成相机坐标系内的关于所选痣点位姿的六维坐标。最后，点击“写坐标至位移设定”，可将此六维坐标变换成点痣机所在的世界坐标系的五维坐标，并可据此控制点痣机器人末端机构移动到痣点附近。此变换可以将迭代后产生的激光器端部到脸部的近似距离显示出来，以供参考。由于此重建过程涉及较多的运算量，运行时间较长，因此在其下方设计了建模运行时间及实时的建模进度条以供使用者参考。

4、“寻找激光点”选项卡

“寻找激光点”项目只在手动激光点痣时可以使用，其作用是找出激光光斑在相机坐标系内的三维坐标，并反馈至“连接与控制”项目中执行，如图12所示。

图片框中显示系统识别到的激光光斑位置，用绿色斑点标记出来，并立刻将结果反馈到“连接与控制”项目中，通过步进的方式将激光光斑位置手动逼近至痣点附近。若系统无法识别到有任何激光光斑存在，则弹出对话框提示使用者。此时需要重新拍照并重复上述过程，直到可以找到光斑位置为止。

5.“寻痣调节”选项卡

“寻痣调节”项目提供了对比度、亮度等共12种参数。通过改变参数值大小，能对自动寻痣结果进行优化，同时提供了读取和保存配置功能，以便下次快速恢复进度。提供的“实时”复选框使得不必按下“处理”按钮即可立刻寻痣，大幅度提高效率。其界面如图13所示。

综上，本发明实施例提出的自动进行祛痣手术的方法，可以大大减轻进行祛痣手术的医师的工作量和工作难度，提高手术的成功率；为医师提供实时的操作画面和一键式的操作环境；同时医师可以加入自己的判断来最终决定是否进行手术；此外激光近似垂直入射的特点也能为自动确定激光用量算法的编写提供支撑。

其次参照附图描述根据本发明实施例提出的自动进行祛痣手术的系统。

图14是本发明一个实施例的自动进行祛痣手术的系统的结构示意图。

如图14所示，该自动进行祛痣手术的系统10包括：确定模块100和指示模块200。

其中，确定模块100用于通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；指示模块200用于引入指示激光，并根据目标位置及多数近似法向量进行指示激光，并对目标位置的实时比较并补偿，实现祛痣手术。本发明实施例的系统10应用了双目视觉技术确定面部色素痣的位置和其近似法向量，并通过引入指示激光的方法进行指示激光和色素痣位置的实时比较并补偿，从而可以让医生只需要进行简单的判断就能进行手术，简单易实现。

进一步地，在本发明的一个实施例中，确定模块100进一步用于采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，确定模块100进一步用于对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；对校正后的人脸模型图像进行SGBM半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：三维重建模块。其中，三维重建模块用于利用PCL点云库进行点云的三维重建，以通过近似法向量得到激光最大能量入射的角度。

进一步地，在本发明的一个实施例中，指示模块200进一步用于将指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

需要说明的是，前述对自动进行祛痣手术的方法实施例的解释说明也适用于该实施例的自动进行祛痣手术的系统，此处不再赘述。

根据本发明实施例提出的自动进行祛痣手术的系统，可以大大减轻进行祛痣手术的医师的工作量和工作难度，提高手术的成功率；为医师提供实时的操作画面和一键式的操作环境；同时医师可以加入自己的判断来最终决定是否进行手术；此外激光近似垂直入射的特点也能为自动确定激光用量算法的编写提供支撑。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种自动进行祛痣手术的方法，其特征在于，包括以下步骤：

通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；

引入指示激光，并根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，实现祛痣手术。

2.根据权利要求1所述的方法，其特征在于，所述通过双目视觉确定面部色素痣的目标位置，并得到近似法向量，还包括：

采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

3.根据权利要求2所述的方法，其特征在于，所述获取人脸模型的深度信息，包括：

对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；

根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；

对校正后的人脸模型图像进行SGBM半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

4.根据权利要求1所述的方法，其特征在于，还包括：

利用PCL点云库进行点云的三维重建，以通过所述近似法向量得到激光最大能量入射的角度。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，包括：

将所述指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

6.一种自动进行祛痣手术的系统，其特征在于，包括：

确定模块，用于通过双目视觉确定面部色素痣的目标位置，并得到近似法向量；

指示模块，用于引入指示激光，并根据所述目标位置及多数近似法向量进行指示激光，并对所述目标位置的实时比较并补偿，实现祛痣手术。

7.根据权利要求6所述的系统，其特征在于，所述确定模块进一步用于采用双目视觉进行人脸模型图像的立体匹配，以获取人脸模型的深度信息。

8.根据权利要求7所述的装置，其特征在于，所述确定模块进一步用于对双目RGB相机进行标定，得到其内外参数，并旋转与平移矩阵直至满足预设条件；根据标定结果对人脸模型图像进行矫正，直至两图像位于同一平面并且极线平行；对校正后的人脸模型图像进行SGBM半全局匹配，并根据匹配结果得到像素深度，获取人脸模型的深度信息。

9.根据权利要求6所述的装置，其特征在于，还包括：

三维重建模块，用于利用PCL点云库进行点云的三维重建，以通过所述近似法向量得到激光最大能量入射的角度。

10.根据权利要求1所述的方法，其特征在于，所述指示模块进一步用于将所述指示激光作为视觉反馈，让指示激光入射并将激光切换为点痣模式，以通过相机确定激光斑与痣点完全重合。

Images