CN111557750A - 一种基于深度学习的手术照明系统 - Google Patents

Abstract

本发明提供一种基于深度学习的手术照明系统。首先通过影像采集模块采集实时的手术画面，数据处理模块通过训练好的自适应卷积神经网络模型对获得的实时数据进行识别，并标注出需要进行手术的部位，同时计算标记位置中心点的坐标，灯光控制模块根据获得的深度学习标注的结果数据和手术台的位置坐标信息，结合聚光灯的位置坐标计算出聚光灯的角度和聚光灯透镜的焦距，控制灯光照射模块聚光灯的照射，将需要进行手术的标记位置标记出来。本发明有效地解决了通过人为的根据经验来判断手术部位的弊端，避免由于人的经验不足或者疲劳等因素的影响而产生的失误，可以更清晰的分辨出来病变区域。

Description

一种基于深度学习的手术照明系统

技术领域

本发明设计医疗设备技术和计算机技术和立体定向技术和图像处理技术，特别涉及医疗设备技术。适用于各种手术中，特别适合诊断困难和手术操作困难的手术。如恶性肿瘤切割，甲状腺切除手术以及各种存在切除困难的手术等等。

背景技术

即使在人工智能快速发展的今天，在医学诊断中，依旧十分依赖专家的判断这种依赖存在严重的问题，如：需要耗费大量的时间，并且人在疲劳的时候很容易出现判断失误等因素。

在目前的医疗技术中用于医学成像的技术主要有CT、B超、X光等，它们呈现的主要是静态的2D图像，医生根据静态的图像来构想患者病变的部位，以此来完成手术，但是这种方法在实践中会有很多的困难。在实际的操作中由于肌肉组织都是在动的，不会像静态图片中那样，因此会造成切割的困难。

现如今在肿瘤治疗中普遍使用的手术刀有两种，一种为传统式手术刀，这种手术刀依靠医生的手腕力量进行切割，切割力度深度以及精度都很难把握，操作比较困难。第二种手术刀是高频电刀，这种高频电刀通过高频高压电流与机体接触时对组织进行加热，实现手术中对组织分离和凝固的目的，以此达到切割和止血的目的。但是这种高频电刀也会有相应的缺点，如：在使用中会产生热量，这就不可避免的在使用中会产生烟雾，这就会对医生的视觉造成影响从而对手术造成很大的影响，尤其是在很精密的手术中这种缺陷影响尤为明显。如：会因为视觉的原因对组织或者神经造成损伤。

在切割肿瘤的操作中由于肿瘤本身的一些原因，如：在皮肤镜像图中对比对会变低，病变与皮肤之间的灰度值变化平滑，从而导致切割失败，并且这种切割很容易受到噪声(如毛发、皮肤纹理)的影响，在分割点的周围产生错误的分割结果，这种情况在传统医疗手术中只能依靠医生的经验来判断的方法中，很容易会有切割不干净，不能根除病灶的情况，导致患者再次复发。

最近手术导航系统的出现为医学手术方面带来了很大的影响，对于手术的操作带了了很多的便利之处，但是该技术仍旧对手术操作者有较大的依赖，并不会对这种问题有太好的效果。

基于深度特征学习的图像自适应目标识别算法构建-《太原理工大学学报》-2018年7月-第49卷第4期-作者：张骞予,管姝,谢红薇,强彦,刘爱媛；(太原理工大学计算机科学与技术学院,太原030024；2.山西大医院,太原030000)

发明内容

本发明的目的在于针对现在医学手术中存在的不足，提出的一种基于深度学习的手术照明系统。这种系统结合灯光控制技术和深度学习技术，可以实现在手术中对手术的部位进行实时的侦测，通过将采集到的手术中的实时信息利用深度学习处理后，标明出要处理的位置和范围后，并结合灯光控制系统，结合手术台的位置坐标等信息，控制灯的照射的角度和范围，可以将要手术的部位清楚地标注出来，有效的解决了由于高频电刀发热引起的冒烟导致做手术的医生视觉受到影响的问题，以及组织滑动导致手术困难加大等问题，并且通过数据采集系统和数据处理系统将采集到的图片进行标记处理，这里将要做手术的部位进行特殊的标记可以和周围的肌肉组织神经清晰地分隔开，实时的展现在显示屏幕上，供医生来直观的进行观察，这样在手术时可以很清晰地知道要手术的部位，以及操作的方案，并且在手术中还可以直接通过观看标记来观察手术是否彻底的完成，是否会伤害到旁边的神经组织，以及是否完全根除病灶。而不用再像以前的时候只能根据提前定好的方案来想象需要进行手术的部位，并且根据经验来判断是否完全根除病灶。

为了达到上面所描述的功能，本发明的技术方案是这样设计的。

一种基于深度学习的手术照明系统包括影像采集模块、数据处理模块、数据库模块、数据传输模块、红外测距模块、灯光控制模块，灯光照射模块。

所述的影像采集模块包括与手术刀固定的图像采集设备和安装在手术台上方的摄像头；通过与手术刀固定的图像采集设备，实时采集患病者进行手术的区域的图像数据。同时在手术台的上方安装一个可以拍摄到以手术台为全景的摄像头，该摄像头用来拍摄手术台实时的全景信息，最后通过数据传输模块将采集患病者进行手术的区域的图像数据和手术台实时的全景信息传输给数据处理模块。

所述的图像采集设备采用OV6930摄像机。

数据处理模块：为搭载NVIDIA计算芯片的计算机，在该模块中装有提前使用大量的医学图像数据训练好的深度学习识别模型，在本系统中采用基于深度特征学习的图像自适应目标识别算法构建的自适应卷积神经网络模型CNN-BN-PReLU，该模型首先对每层网络的特征图进行归一化处理，谈后利用参数线性修正单元对参数进行调节。该模型与传统深度学习模型相比显著的提高了图像识别率降低了癌细胞肿瘤的误判率和漏诊率。采用该模型针对不同的数据来进行大量的训练，将训练好的模型装入数据处理模块的主机中，同时通过获得的手术台实时的全景信息计算标注点的位置坐标，将手术台看成是坐标系里的一片区域，将手术台的中心点作为坐标原点，将同一时刻的标注图片通过图像识别的方式在全景图中标记，而此时就可以通过计算标记位置中心点在全景图中的平面坐标，并发送给红外测距模块和灯光控制模块，然后计算标记位置的最大半径并发送给灯光控制模块，并通过计算机的显示器显示深度学习标注的结果数据。

数据库模块：储存用于训练深度学习识别模型的医学图像数据和当前产生的实时数据，所述的当前产生的实时数据包括影像采集模块采集到的实时数据和数据处理模块处理后的深度学习标注的结果数据，用于给数据处理模块提供训练深度学习识别模型的数据，以便训练出更好的深度学习识别模型，收集的医学图像数据和处理后的图像数据可以供医生进行学习。

数据传输模块：数据传输模块采用无线数据传输模块，连接影像采集模块、数据处理模块、数据库模块、红外测距模块和灯光控制模块，用于将影像采集模块获得的实时数据传输给数据处理模块进行处理，并且将数据处理模块获得的标记位置中心点在全景图中的确切坐标传输给红外测距模块和灯光控制模块。

所述的数据传输模块采用nRF24L01WiFi无线数据传输模块。

所述的红外测距模块通过机械臂固定在距离手术台平面高度h1处，可在此平面内移动，根据获得的标记位置中心点在全景图中的平面坐标 (x，y)移动并进行测距，红外测距模块测量得到的距离为H；通过数据传输模块将测量得到的距离发送给灯光控制模块；

灯光照射模块采用聚光灯，将聚光灯安装在手术台的设定的原点位置上方h处的位置，通过灯光控制模块的控制来做出相应的转动和焦距调节。聚光灯是点状光源，照明比较均匀，投射出去的光线可根据需要调节其聚光和散光，在一定范围内，可使光区放大或缩小，它可产生很亮的高光区和线条鲜明，影调深暗的阴影区。

灯光控制模块根据数据处理模块发送的标记位置中心点在全景图中的确切坐标、标记位置的最大半径、聚光灯的位置坐标和红外测距模块测量得到的距离计算灯光控制模块的角度和焦距；灯光控制模块的控制芯片采用STM32，通过控制舵机来控制聚光灯的角度。

计算方式如下：

已知聚光灯的位置坐标为(0，0，h),而标记位置中心点在全景图中的确切坐标为(x，y，h2)，h2可以通过红外测距模块测量得到的距离和红外测距的安装高度计算得到，公式如下：h2＝h1–H。通过聚光灯的位置坐标和标记位置中心点在全景图中的确切坐标后可计算出灯光照射路径与垂直线的夹角tanα＝y/x，和为光束照射路径在(x,y) 平面的投影和x轴的夹角tanβ＝(x²+y²)^1/2/(h–h2),计算出来这两个角度值后就可以确定聚光灯的角度，通过单片机的控制就可以实现灯的控制，而在标记的区域范围内调节聚光灯的亮度使其高亮照射，而区域之外将光线调暗，造成阴影区域，使得手术区域轮廓更加明显。

标记位置的最大半径为聚光灯的照射半径，通过计算聚光灯透镜的焦距调节聚光灯照射范围，公式如下：

其中λ为入射光的波长，f需要计算的聚光灯透镜的焦距，ω为已知的射到透镜表面光斑半径，ω′为聚光灯的照射半径即标记位置的最大半径，计算出聚光灯透镜的焦距，控制灯光照射模块进行相应的调节。

本发明有益效果如下：

结合灯光控制模块之后可以的将手术的部位用聚光灯白色的灯光标注出来，清晰地展现手术部位的情况，可以有效地解决因为高频电刀发热产生烟雾导致的视觉遮挡的问题和担心误伤神经组织的问题。

可以有效地解决了传统医学中只能通过人为的根据经验来判断手术部位的弊端，有效地避免由于人的经验不足或者疲劳等因素的影响而产生的失误，可以更清晰的分辨出来病变区域，可以让医生了解到手术进展的程度，以及接下来还要进行那些操作等。

附图说明

图1为本系统的结构示意图；

图2为本系统的结构框图；

图3为深度学习处理系统的组成结构图；

图4为灯光控制系统组成结构图。

具体实施方式

下面结合本发明实施例中的附图，对本实施例中的技术方案进行进一步详细说明。

为了更加清晰简洁的说明本技术中的方案，下面将对本方案中所涉及到的图做简单的介绍，并结合本发明的技术方案做出清楚地完整的描述显然所描述的实施例是本发明一部分的实施例，而不是全部的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

一种基于深度学习的手术照明系统包括影像采集模块、数据处理模块、数据库模块、数据传输模块、红外测距模块、灯光控制模块，灯光照射模块。

所述的影像采集模块包括与手术刀固定的图像采集设备和安装在手术台上方的摄像头；通过与手术刀固定的图像采集设备，实时采集患病者进行手术的区域的图像数据。同时在手术台的上方安装一个可以拍摄到以手术台为全景的摄像头，该摄像头用来拍摄手术台实时的全景信息，最后通过数据传输模块将采集患病者进行手术的区域的图像数据和手术台实时的全景信息传输给数据处理模块。

所述的图像采集设备采用OV6930摄像机，该款摄像机的模组外径小于2.6mm，具备16万的像素，视频信号输出，输出每秒可以达到30 帧，采用美国OV公司的1/18CMOS芯片研制，成像效果清晰，无拖尾现象，配合4颗高亮度LED等照明，无死角，无光斑，可与各种医疗影像设备连接。

数据处理模块：为搭载NVIDIA计算芯片的计算机，在该模块中装有提前使用大量的医学图像数据训练好的深度学习识别模型，在本系统中采用基于深度特征学习的图像自适应目标识别算法构建的自适应卷积神经网络模型CNN-BN-PReLU，该模型首先对每层网络的特征图进行归一化处理，谈后利用参数线性修正单元对参数进行调节。该模型与传统深度学习模型相比显著的提高了图像识别率降低了癌细胞肿瘤的误判率和漏诊率。采用该模型针对不同的数据来进行大量的训练，将训练好的模型装入数据处理模块的主机中，同时通过获得的手术台实时的全景信息计算标注点的位置坐标，将手术台看成是坐标系里的一片区域，将手术台的中心点作为坐标原点，将同一时刻的标注图片通过图像识别的方式在全景图中标记，而此时就可以通过计算标记位置中心点在全景图中的平面坐标，并发送给红外测距模块和灯光控制模块，然后计算标记位置的最大半径并发送给灯光控制模块，并通过计算机的显示器显示深度学习标注的结果数据。

数据库模块：储存用于训练深度学习识别模型的医学图像数据和当前产生的实时数据，所述的当前产生的实时数据包括影像采集模块采集到的实时数据和数据处理模块处理后的深度学习标注的结果数据，用于给数据处理模块提供训练深度学习识别模型的数据，以便训练出更好的深度学习识别模型，收集的医学图像数据和处理后的图像数据可以供医生进行学习。

数据传输模块：数据传输模块采用无线数据传输模块，连接影像采集模块、数据处理模块、数据库模块、红外测距模块和灯光控制模块，用于将影像采集模块获得的实时数据传输给数据处理模块进行处理，并且将数据处理模块获得的标记位置中心点在全景图中的确切坐标传输给红外测距模块和灯光控制模块。

所述的数据传输模块采用nRF24L01WiFi无线数据传输模块，该模块采用低功耗设计，体积小巧便于安装，而且实时传输性能比较好，传输速率可达2M/s，可以达到图像的实时传输效果。

所述的红外测距模块通过机械臂固定在距离手术台平面高度h1处，可在此平面内移动，根据获得的标记位置中心点在全景图中的平面坐标 (x，y)移动并进行测距，红外测距模块测量得到的距离为H；通过数据传输模块将测量得到的距离发送给灯光控制模块；

灯光照射模块采用聚光灯，将聚光灯安装在手术台的设定的原点位置上方h处的位置，通过灯光控制模块的控制来做出相应的转动和焦距调节，聚光灯使用反射镜来达到聚成可见光的方式，聚光灯具有照射范围小，照射强度比较强的特点十分适合用来标注范围。聚光灯是点状光源，照明比较均匀，投射出去的光线可根据需要调节其聚光和散光，在一定范围内，可使光区放大或缩小，它可产生很亮的高光区和线条鲜明，影调深暗的阴影区。

灯光控制模块根据数据处理模块发送的标记位置中心点在全景图中的确切坐标、标记位置的最大半径、聚光灯的位置坐标和红外测距模块测量得到的距离计算灯光控制模块的角度和焦距；灯光控制模块的控制芯片采用STM32，通过控制舵机来控制聚光灯的角度。

计算方式如下：

已知聚光灯的位置坐标为(0，0，h),而标记位置中心点在全景图中的确切坐标为(x，y，h2)，h2可以通过红外测距模块测量得到的距离和红外测距的安装高度计算得到，公式如下：h2＝h1–H。通过聚光灯的位置坐标和标记位置中心点在全景图中的确切坐标后可计算出灯光照射路径与垂直线的夹角tanα＝y/x，和为光束照射路径在(x,y) 平面的投影和x轴的夹角tanβ＝(x²+y²)^1/2/(h–h2),计算出来这两个角度值后就可以确定聚光灯的角度，通过单片机的控制就可以实现灯的控制，而在标记的区域范围内调节聚光灯的亮度使其高亮照射，而区域之外将光线调暗，造成阴影区域，使得手术区域轮廓更加明显。

标记位置的最大半径为聚光灯的照射半径，通过计算聚光灯透镜的焦距调节聚光灯照射范围，公式如下：

其中λ为入射光的波长，f需要计算的聚光灯透镜的焦距，ω为已知的射到透镜表面光斑半径，ω′为聚光灯的照射半径即标记位置的最大半径，计算出聚光灯透镜的焦距，控制灯光照射模块进行相应的调节。一种基于深度学习的手术照明系统的使用方法，如图1所示：

步骤一、首先通过影像采集模块采集实时的手术画面，将采集到的数据通过数据传输模块传输给数据处理模块。

步骤二、数据处理模块接收到影像采集模块采集到的实时数据后，通过训练好的自适应卷积神经网络模型对获得的实时数据进行识别，并标注出需要进行手术的部位，同时计算算标记位置中心点的坐标，将手术台看成是坐标系里的一片区域，将手术台的中心点作为坐标原点，将同一时刻的标注图片通过图像识别的方式在全景图中标记，而此时就可以通过计算标记位置中心点在全景图中的确切坐标，从而将这个坐标值传送给灯光控制模块，并在数据处理模块的显示器上显示深度学习标注的结果数据。

步骤三、灯光控制模块根据获得的深度学习标注的结果数据和手术台的位置坐标信息，结合聚光灯的位置坐标计算出聚光灯的角度和聚光灯透镜的焦距，控制灯光照射模块聚光灯的照射，将需要进行手术的标记位置标记出来。

步骤四、数据处理模块在输出深度学习标注的结果数据后，将标注后的数据传入数据库模块中存储，用于进一步训练自适应卷积神经网络模型，以及医学研究的使用。

Claims (5)

1.一种基于深度学习的手术照明系统，其特征在于，包括影像采集模块、数据处理模块、数据库模块、数据传输模块、红外测距模块、灯光控制模块，灯光照射模块；

所述的影像采集模块包括与手术刀固定的图像采集设备和安装在手术台上方的摄像头；通过与手术刀固定的图像采集设备，实时采集患病者进行手术的区域的图像数据；同时在手术台的上方安装一个可以拍摄到以手术台为全景的摄像头，该摄像头用来拍摄手术台实时的全景信息，最后通过数据传输模块将采集患病者进行手术的区域的图像数据和手术台实时的全景信息传输给数据处理模块；

数据处理模块：为搭载NVIDIA计算芯片的计算机，在该模块中装有提前使用大量的医学图像数据训练好的深度学习识别模型，在本系统中采用基于深度特征学习的图像自适应目标识别算法构建的自适应卷积神经网络模型CNN-BN-PReLU，该模型首先对每层网络的特征图进行归一化处理，谈后利用参数线性修正单元对参数进行调节；该模型与传统深度学习模型相比显著的提高了图像识别率降低了癌细胞肿瘤的误判率和漏诊率；采用该模型针对不同的数据来进行大量的训练，将训练好的模型装入数据处理模块的主机中，同时通过获得的手术台实时的全景信息计算标注点的位置坐标，将手术台看成是坐标系里的一片区域，将手术台的中心点作为坐标原点，将同一时刻的标注图片通过图像识别的方式在全景图中标记，而此时就可以通过计算标记位置中心点在全景图中的平面坐标，并发送给红外测距模块和灯光控制模块，然后计算标记位置的最大半径并发送给灯光控制模块，并通过计算机的显示器显示深度学习标注的结果数据；

数据库模块：储存用于训练深度学习识别模型的医学图像数据和当前产生的实时数据，所述的当前产生的实时数据包括影像采集模块采集到的实时数据和数据处理模块处理后的深度学习标注的结果数据，用于给数据处理模块提供训练深度学习识别模型的数据，以便训练出更好的深度学习识别模型，收集的医学图像数据和处理后的图像数据可以供医生进行学习；

数据传输模块：数据传输模块采用无线数据传输模块，连接影像采集模块、数据处理模块、数据库模块、红外测距模块和灯光控制模块，用于将影像采集模块获得的实时数据传输给数据处理模块进行处理，并且将数据处理模块获得的标记位置中心点在全景图中的确切坐标传输给红外测距模块和灯光控制模块；

所述的红外测距模块通过机械臂固定在距离手术台平面高度h1处，可在此平面内移动，根据获得的标记位置中心点在全景图中的平面坐标(x，y)移动并进行测距，红外测距模块测量得到的距离为H；通过数据传输模块将测量得到的距离发送给灯光控制模块；

灯光照射模块采用聚光灯，将聚光灯安装在手术台的设定的原点位置上方h处的位置，通过灯光控制模块的控制来做出相应的转动和焦距调节；聚光灯是点状光源，照明比较均匀，投射出去的光线可根据需要调节其聚光和散光，在一定范围内，可使光区放大或缩小，它可产生很亮的高光区和线条鲜明，影调深暗的阴影区；

灯光控制模块根据数据处理模块发送的标记位置中心点在全景图中的确切坐标、标记位置的最大半径、聚光灯的位置坐标和红外测距模块测量得到的距离计算灯光控制模块的角度和焦距；灯光控制模块的控制芯片采用STM32，通过控制舵机来控制聚光灯的角度。

2.根据权利要求1所述的一种基于深度学习的手术照明系统，其特征在于，所述的图像采集设备采用OV6930摄像机。

3.根据权利要求1所述的一种基于深度学习的手术照明系统，其特征在于，所述的数据传输模块采用nRF24L01WiFi无线数据传输模块。

4.根据权利要求1所述的一种基于深度学习的手术照明系统，其特征在于，灯光控制模块的角度和焦距计算方式如下：

已知聚光灯的位置坐标为(0，0，h),而标记位置中心点在全景图中的确切坐标为(x，y，h2)，h2可以通过红外测距模块测量得到的距离和红外测距的安装高度计算得到，公式如下：h2＝h1–H；通过聚光灯的位置坐标和标记位置中心点在全景图中的确切坐标后可计算出灯光照射路径与垂直线的夹角tanα＝y/x，和为光束照射路径在(x,y)平面的投影和x轴的夹角tanβ＝(x²+y²)^1/2/(h–h2),计算出来这两个角度值后就可以确定聚光灯的角度，通过单片机的控制就可以实现灯的控制，而在标记的区域范围内调节聚光灯的亮度使其高亮照射，而区域之外将光线调暗，造成阴影区域，使得手术区域轮廓更加明显；

标记位置的最大半径为聚光灯的照射半径，通过计算聚光灯透镜的焦距调节聚光灯照射范围，公式如下：

其中λ为入射光的波长，f需要计算的聚光灯透镜的焦距，ω为已知的射到透镜表面光斑半径，ω′为聚光灯的照射半径即标记位置的最大半径，计算出聚光灯透镜的焦距，控制灯光照射模块进行相应的调节。

5.根据权利要求1所述的一种基于深度学习的手术照明系统，其特征在于，一种基于深度学习的手术照明系统的使用方法如下：

步骤一、首先通过影像采集模块采集实时的手术画面，将采集到的数据通过数据传输模块传输给数据处理模块；

步骤二、数据处理模块接收到影像采集模块采集到的实时数据后，通过训练好的自适应卷积神经网络模型对获得的实时数据进行识别，并标注出需要进行手术的部位，同时计算标记位置中心点的坐标，将手术台看成是坐标系里的一片区域，将手术台的中心点作为坐标原点，将同一时刻的标注图片通过图像识别的方式在全景图中标记，而此时就可以通过计算标记位置中心点在全景图中的确切坐标，从而将这个坐标值传送给灯光控制模块，并在数据处理模块的显示器上显示深度学习标注的结果数据；

步骤三、灯光控制模块根据获得的深度学习标注的结果数据和手术台的位置坐标信息，结合聚光灯的位置坐标计算出聚光灯的角度和聚光灯透镜的焦距，控制灯光照射模块聚光灯的照射，将需要进行手术的标记位置标记出来；

步骤四、数据处理模块在输出深度学习标注的结果数据后，将标注后的数据传入数据库模块中存储，用于进一步训练自适应卷积神经网络模型，以及医学研究的使用。

Images