发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于人工智能的输液装置图像增强方法与系统,所采用的技术方案具体如下:
本发明实施例提供了一种基于人工智能的输液装置图像增强方法,该方法包括以下具体步骤:
采集含有输液装置的图像以得到初始吊瓶图像,由所述初始吊瓶图像的背景光值进行灰度值调节以得到吊瓶图像;
获取所述吊瓶图像的图像反射分量,设定滑窗遍历所述图像反射分量,将所述滑窗中同一位置的像素点构成数组,对每个所述数组进行小波变换得到所述图像反射分量去噪后的第一反射分量,利用所述第一反射分量修正所述吊瓶图像的图像光照分量得到第一光照分量;
结合所述第一反射分量和所述第一光照分量得到第一吊瓶图像;利用所述第一吊瓶图像和所述背景光值对所述第一光照分量进行补偿得到最终光照分量;根据所述第一反射分量和所述最终光照分量得到吊瓶增强图像。
优选的,所述由所述初始吊瓶图像的背景光值进行灰度值调节以得到吊瓶图像的方法,包括:
区分所述初始吊瓶图像中的含药液区域和不含药液区域,根据所述含药液区域和不含药液区域的所述背景光值分别进行对应区域的灰度值调节得到所述吊瓶图像。
优选的,所述利用所述第一吊瓶图像和所述背景光值对所述第一光照分量进行补偿得到最终光照分量的方法,包括:
对所述第一吊瓶图像通过反转变换函数得到其对应的反转图像,获取所述第一反射分量不变情况下所述反转图像的光照分量;
计算所述第一光照分量和所述光照分量的平均光照分量,结合所述平均光照分量和所述背景光值得到所述最终光照分量。
优选的,所述最终光照分量包括两部分,一部分为所述含药液区域的,另一部分为所述不含药液区域的。
优选的,所述灰度值调节的公式为:
其中,为调节后像素点/>的灰度值;/>为所述初始吊瓶图像中像素点/>的灰度值;为像素点/>在第/>个区域对应的所述背景光值。
优选的,所述区分所述初始吊瓶图像中的含药液区域和不含药液区域的方法,包括:
获取所述初始吊瓶图像的暗通道图像,对所述暗通道图像进行均值聚类得到所述含药液区域和所述不含药液区域。
进一步地,一种基于人工智能的输液装置图像增强系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
本发明实施例至少存在以下有益效果:通过对吊瓶图像的增强,大大降低输液装置受光照分量过低或过强的影响,且在光照条件不均衡时获得更为清晰的输液图像质量,从而更加有效区分输液装置和药液特征,同时对增强后的吊瓶进行输液进度的检测,能够提高检测效率,保证输液进度检测的准确性。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于人工智能的输液装置图像增强方法与系统,其具体实施方式、结构、特征及其作用,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的输液装置图像增强方法与系统的具体方案。
本发明实施例所针对的具体场景:病人在医院输液时通过采集吊瓶图像,根据吊瓶图像中的药液高度来判断输液状态的场景。
参照附图1,本发明实施例中提供了一种基于人工智能的输液装置图像增强方法,该方法包括以下具体步骤:
步骤S001,采集含有输液装置的图像以得到初始吊瓶图像,由初始吊瓶图像的背景光值进行灰度值调节以得到吊瓶图像。
具体的,将RGB相机至于病房上方进行拍照,且相机的拍照范围能够覆盖病房内所有的病床区域及对应的输液装置,进而利用RGB相机采集包含输液装置的原始图像。
对原始图像中的吊瓶进行语义分割得到初始吊瓶图像,其中,利用编码器-解码器结构的DNN网络进行语义分割,则DNN网络的具体训练过程为:
(1)将采集到的原始图像作为训练数据集,对数据集进行标注,吊瓶的像素值标注为1,其他标注为0,其中随机选择数据集的80%作为训练集,剩余20%作为验证集。
(2)将图像数据和标签数据输入DNN网络中,编码器抽取图像特征得到特征图,并将通道数变换为类别个数;通过解码器将特征图的高和宽变换为输入图像的尺寸,从而输出每个像素点的类别。
(3)损失函数使用交叉熵损失函数。
将吊瓶的语义分割图与原始图像相乘得到初始吊瓶图像,对初始吊瓶图像利用暗通道算法进行图像调整得到吊瓶图像。
需要说明的是,由于正常光照下获得的暗通道图像几乎为完全的黑色,无法获得有效的图像纹理特征,且在实际生活中考虑到病房内光照强度即使很低也不可能达到全黑,因此本发明实施例通过自定义的暗通道算法对初始吊瓶图像进行图像调整。
图像调整的具体过程为:
(1)对于初始吊瓶图像,找出每个像素点的RGB三通道的最小值得到该图像的暗通道图像。
(2)由于吊瓶内药液存在的原因,吊瓶中药液区域与不含药液区域的暗通道值并不一致,即药液区域由于液体对光的散射及折射作用,该药液区域的雾浓度比不含药液区域的雾浓度强,因此所获得的的暗通道图像中不含药液区域的整体灰度较暗,而含药液区域的整体灰度较亮,故区分初始吊瓶图像中的含药液区域和不含药液区域,根据含药液区域和不含药液区域的背景光值分别进行对应区域的灰度值调节得到吊瓶图像。
具体的,对暗通道图像进行均值聚类,令/>可将吊瓶分为含药液区域和不含药液区域;在暗通道图像中,分别对含药液区域和不含药液区域按照亮度大小选取前/>的像素点;在选取的像素点中,获取其对应在初始吊瓶图像中具有最高亮度的像素点的值,将该值作为对应区域的背景光值。
(3)分别根据含药液区域和不含药液区域的背景光值对初始吊瓶图像中的对应区域进行灰度值调节得到吊瓶图像。
具体的,设含药液区域的背景光值为、不含药液区域的背景光值为/>,初始吊瓶图像中的像素点/>的灰度值为/>,则调节后像素点/>的灰度值/>为:
其中,为像素点/>在第/>个区域对应的背景光值。
需要说明的是,背景光值越小,则其对应区域中像素点的灰度值的调节幅度越小,反之调节幅度越大,因此,在灰度值调节后既可以得到低光照强度下的吊瓶图像,也可以使含药液区域和不含药液区域在满足低光照要求的情况下进行初步区分。
步骤S002,获取吊瓶图像的图像反射分量,设定滑窗遍历图像反射分量,将滑窗中同一位置的像素点构成数组,对每个数组进行小波变换得到图像反射分量去噪后的第一反射分量,利用第一反射分量修正吊瓶图像的图像光照分量得到第一光照分量。
具体的,基于Retinex算法进行图像增强过程,原因在于Retinex算法可以降低并消除光照对成像的影响,不同于传统的线性或非线性只能增强图像某一类特征的方法,Retinex可以在动态范围内压缩、边缘增强和颜色恒常三方面达到平衡,因此,可以对各种不同类型的图像进行自适应的增强。
Retinex算法将一幅图像看做是光照分量和反射分量/>的乘积,数学表达式为:
其中,反射分量是由物体的本身性质决定的恒定部分,光照分量/>则是受外界光照影响的部分,因此可以通过去除光照影响或者对光照分量/>进行校正来达到图像增强的目的。
基于Retinex算法将反射分量所对应的图像计算出来,数学表达式为:
其中,代表卷积;/>代表高斯核,本发明实施例中高斯核大小取/>;图像反射分量是对/>映射到/>上的结果,一般取线性映射。
对得到的图像反射分量进行去噪,以获得最终成像质量最好的第一反射分量用来进行图像增强,则去噪的具体过程为:
(1)由于本发明实施例中仅对吊瓶区域进行图像增强,而吊瓶区域的整体像素值相近,因此将吊瓶图像进行滑窗提取,其中,窗口尺寸设为,滑动步长设为/>。
(2)在得到的所有窗口中,将每个窗口内同一位置的像素点放在一起构成数组,然后对各个数组进行小波变换。由于信号产生的小波系数含有信号的重要信息,则将信号经小波分解后其对应的小波系数较大,而噪声的小波系数较小,且噪声的小波系数要小于信号的小波系数,因此,通过选取一个合适的系数阈值可以将噪声进行有效去除。
需要说明的是,由于小波去噪为公知技术,因此本发明实施例中不再详细描述其过程。其中,对于系数阈值的选择,本发明实施例中使用BayesShrink算法获得,该算法是小波软阈值的一种自适应方法,可以对每个小波子带估计一个唯一的阈值。
(3)将低于系数阈值的小波系数置零以进行去噪,然后对得到的结果进行小波逆变换为原数组对应的新数组,则此时每个像素点的灰度值可通过计算对应新数组中所有像素点的灰度值平均值得到,至此可获得去除噪声后的第一反射分量。
进一步地,一个理想的图像光照分量应该在细节上尽可能的平滑,即各处的光照尽量均匀一致,因此,通过对第一反射分量/>求梯度来对图像光照分量/>的梯度图分配权重,使得第一反射分量上较为平滑的区域对应得到的光照分量也尽可能的平滑,则利用第一反射分量修正图像照射分量得到第一照射分量/>的数学表达式为:
上式表明吊瓶图像中相邻两个像素点之间不受光照影响的反射分量之间的差值越大,说明这两个像素点的颜色相差大,则其分别对应的光照分量的调整值就越小;反之若相邻两个像素点不受光照影响的反射分量之间的差值越小,说明这两个像素点的颜色越相近,则其分别对应的光照分量的调整值越大,而利用第一反射分量修正图像光照分量的目的是为了让两个相近的像素点所对应的光照分量也相近,这样就可以在满足光照尽量均匀一致的基础上,实现图像细节上各处的尽可能平滑及对比明显,以达到增强图像的目的。
步骤S003,结合第一反射分量和第一光照分量得到第一吊瓶图像;利用第一吊瓶图像和背景光值对第一光照分量进行补偿得到最终光照分量,根据第一反射分量和最终光照分量得到吊瓶增强图像。
具体的,结合第一反射分量和第一光照分量得到第一吊瓶图像,对第一吊瓶图像通过反转变换函数得到其对应的反转图像/>,且反转图像/>中第/>个像素点的像素值为,/>为第/>个像素点在第一吊瓶图像中的像素值。由于反转变换函数只是反转了像素点的像素值,而反射分量是物体本身的决定的,与光照分量没有关系,因此保持反转图像/>的反射分量为第一反射分量,进而得到反转图像,其中/>为反转图像的光照分量。
获取第一反射分量不变情况下反转图像的光照分量/>,根据反转图像的光照分量/>对第一光照分量/>进行补偿,以使得初始吊瓶图像在亮度过高或过低时影响吊瓶内液位面分界线的检测,具体方法为:计算第一光照分量/>和光照分量/>的平均光照分量/>,进而根据初始吊瓶图像初始区分的含药液区域和不含药液区域的背景光值,对平均光照分量进行调整以得到对应区域的最终光照分量,调整公式为:
当时,则含药液区域的最终光照分量/>,不含药液区域的最终光照分量/>;
当时,则含药液区域的最终光照分量/>,不含药液区域的最终光照分量/>。
根据获取的第一反射分量、含药液区域的最终光照分量/>和不含药液区域的最终光照分量/>计算得到吊瓶增强图像/>,该图像不仅有效增强了光照不充足或光照过强时原始图像不能有效检测吊瓶数据的缺陷,且使含药液区域明显区别于不含药液区域,有利于对输液面的检测,进而确定输液进度。
进一步地,对图像增强后的吊瓶增强图像进行/>阈值分割得到含药液区域和不含药液区域,对两类分割后的区域进行边缘检测,则同时属于两个类别区域边缘集合的像素点即为液位面。根据连通域分析法获得液位面长度,并在获得的图像帧中每隔/>秒对新获得的液位面长度与上一个周期内获得的液位面长度继续对比。当连续三次发现最新的液位面长度小于上一次获得的液位面长度,则可判断当前输液进度即将完成,并及时预警,以提醒医护人员进行后续操作。
值得说明的是,上述过程中根据液位面长度判断输液进度的依据在于目前国内医院所使用的吊瓶或输液袋是上宽下窄,因此液位面在最后逐渐靠近下方的过程中其对应的液位面宽度会逐渐降低。
综上所述,本发明实施例提供了一种基于人工智能的输液装置图像增强方法,该方法该方法获取初始吊瓶图像,由初始吊瓶图像的背景光值进行灰度值调节以得到吊瓶图像;对吊瓶图像的图像反射分量去噪得到第一反射分量,利用第一反射分量修正吊瓶图像的图像光照分量得到第一光照分量;结合第一反射分量和第一光照分量得到第一吊瓶图像;利用第一吊瓶图像和背景光值对第一光照分量进行补偿得到最终光照分量;根据第一反射分量和最终光照分量得到吊瓶增强图像。降低图像受光照分量过低或过强的影响,更加有效区分输液装置和药液特征,保证输液进度检测的准确性。
进一步地,本发明实施例提供了一种基于人工智能的输液装置图像增强系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于人工智能的输液装置图像增强方法的步骤。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。