CN116503790A - 基于图像描边增强算法模型的用于火场救援图像处理方法 - Google Patents

Abstract

本发明公开了基于图像描边增强算法模型的用于火场救援图像处理方法，运用于图像处理技术领域，其方法包括：通过安装在消防救援头盔上的摄像头获取火场的环境信息；对火场视频按帧进行读取，根据火场的实际画面进行修正；将原始图像进行灰度值的转变，得到对应的灰度图像，并将所述灰度图像输入sobel算子进行处理，输出边缘图像；利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成；按照指挥中心的需求，将对应的合成RGB图像进行传输；强化火场真实场景的视觉辨识度，进而有助于缓解现场的场景难以被清楚获知的困扰。

Description

基于图像描边增强算法模型的用于火场救援图像处理方法

技术领域

本发明涉及图像处理技术领域，尤其涉及基于图像描边增强算法模型的用于火场救援图像处理方法。

背景技术

随着经济的快速发展，城市规模不断扩大，消防部队所担负的灭火、救援任务日益繁重，如何使指挥员在第一时间了解重大灾害事故现场的实况，从而科学地进行决策，提高指挥能力和突发事件的处理能力显得尤为重要；目前火场救援在获取现场的图像后进行处理的过程中，图像处理不清晰会导致指挥中心被火场的浓烟或火光影响对现场的判断，无法获取实时的火场环境信息。

参考专利申请号CN202110712665.5公开了一种可穿戴护具以及用于可穿戴护具的场景呈现方法，其具体内容为：基于本申请实施例，可穿戴护具可以具有用于供目标对象观察真实场景的增强现实组件、以及用于输出真实场景的红外图像的红外探测组件，其中，红外探测组件通过感知真实场景中的场景目标的温度而输出的红外图像，可以经过处理组件的处理而被转换为与增强现实组件的光学视场角匹配的目标红外图像，因此，增强现实组件通过呈现转换得到的目标红外图像，可以增强真实场景在目标对象视野中的正确再现，从而，可以强化真实场景的视觉辨识度，进而有助于缓解甚至消除真实场景难以被清楚获知的困扰。

此现有技术通过红外对火灾内部场景实现可视化，但是其并未提出对应的算法和图像处理方式，因此本事情提出基于图像描边增强算法模型的用于火场救援图像处理方法。

发明内容

本申请的目的是提供基于图像描边增强算法模型的用于火场救援图像处理方法，旨在解决的问题。

为实现上述目的，本申请提供如下技术方案：

本申请提供基于图像描边增强算法模型的用于火场救援图像处理方法，包括：

S1：通过安装在消防救援头盔上的摄像头获取火场的环境信息，其环境信息包括火场图像和火场视频；

S2：对火场视频按帧进行读取，根据火场的实际画面进行修正，得到原始图像；

S3：将原始图像进行灰度值的转变，得到对应的灰度图像，并将所述灰度图像输入sobel算子进行处理，输出边缘图像；

S4：利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像；

S5：获取指挥中心的指令，根据指令将对应的合成RGB图像进行传输。

进一步的，所述利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像的步骤中，包括：

RGB三通道的分离为通过OpenCV的imread函数加载原始图像，加载三通道的彩色图像，色彩空间是RGB色彩空间，其通道顺序是BGR；

使用OpenCV的imread函数读入原始图像，区分原始图像是灰色通道图像还是彩色通道图像；其灰色通道图像通道数为1，彩色图像通道数为3，灰度图像由0-255其中的一个值来表示，imread函数进行灰度图像检测，当检测到不是灰度图像时则将其转化为灰度图像，并在内存中进行连续的存储。

进一步的，所述彩色图像通道数为3，进行BGR三色存储，每个通道用一个0-255的值表示，再将其合成为彩色图像进行输出，imread函数进行彩色图像检测，当检测到不是彩色图像时则3通道每个通道数值相同，并将彩色图像在内存中进行连续的存储或分行存储。

进一步的，所述对火场视频按帧进行读取，根据火场的实际画面进行修正，得到原始图像的步骤中，包括：

通过光流分析计算火场视频的运动量，在运动量取局部最小值处选取关键帧，具体为：

对每个像素值的光流分量的模求和，作为第k帧的运动量，即：其中/>为k帧内像素值/>光流的X分量，/>是k帧内像素值/>光流的Y分量。

进一步的，所述将原始图像进行灰度值的转变，得到对应的灰度图像，具体为：

将原始图像从伽马校正的RGB空间转换到线性RGB颜色空间，将颜色差值线性化；再将线性RGB颜色空间转换到XYZ颜色空间；从XYZ颜色空间转换到Lab空间；

其中基于线性RGB颜色空间，构造彩色图像像素点之间的颜色差值到灰度图像灰度级的映射函数，其中颜色对比度的计算公式为：

，

其中分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值，分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值；

采用多元多项式模型输出灰度差值其中/>为输入彩色图像在RGB空间的三通道值，/>为待优化权重系数，其中待优化权重系数的约束条件为：/>。

进一步的，所述灰度图像输入sobel算子进行处理，输出边缘图像，具体为：

对灰度图像进行二值化，若像素灰度值大于或等于阈值T，则该像素灰度值赋值为255，若像素灰度值小于阈值T，则该像素赋值为0，从而将灰度图像分成目标特征和背景特征两个区域；再通过模板卷积运算检测出灰度图像边缘，输出边缘图像。

进一步的，所述获取指挥中心的指令，根据指令将对应的合成RGB图像进行传输的步骤中，包括：

通过消防头盔的通信系统将所述合成RGB图像传输至指挥中心，为消防员在火场提供技术支持。

本申请提供了基于图像描边增强算法模型的用于火场救援图像处理方法，具有以下有益效果：

（1）对火场视频按帧进行读取，根据火场的实际画面进行修正，因为火场视频是具有动态特征的，因此采用光流分析来计算火场视频中的运动量，在运动量取局部最小值处选取关键帧，反映了视频数据中的静止，实现对火场视频的清晰准确处理，方便指挥中心更好的前场进行指挥，提供技术支持；

（2）通过对图像进行灰度值的转变，得到对应的灰度图像，并将灰度图像输入sobel算子进行处理，输出边缘图像；对于边缘较陡的部分可直接得到光滑、连续且接近单点宽的边缘，对于边缘模糊的部分可以重复多次的处理，有利于捕捉到多方向边缘信息，使细化边缘定位更准确；

（3）利用RGB三通道对得到的边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将通道图像与分离出的B通道、R通道图像进行合成；此处理方法更加简单高效，强化火场真实场景的视觉辨识度，进而有助于缓解现场的场景难以被清楚获知的困扰。

附图说明

图1为本申请一实施例的基于图像描边增强算法模型的用于火场救援图像处理方法的流程示意图；

图2为本申请一实施例的OpenCV程序代码实现的效果图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考附图1，为本申请提出的基于图像描边增强算法模型的用于火场救援图像处理方法的流程示意图；

本申请所提供的基于图像描边增强算法模型的用于火场救援图像处理方法，步骤包括：

S1：通过安装在消防救援头盔上的摄像头获取火场的环境信息，其环境信息包括火场图像和火场视频。

S2：对火场视频按帧进行读取，根据火场的实际画面进行修正，得到原始图像；通过光流分析计算火场视频的运动量，在运动量取局部最小值处选取关键帧，具体为：

对每个像素值的光流分量的模求和，作为第k帧的运动量，即：其中/>为k帧内像素值/>光流的X分量，/>是k帧内像素值/>光流的Y分量。

在此步骤中，因为火场视频是具有动态特征的，因此采用光流分析来计算火场视频的运动量，在运动量取局部最小值处选取关键帧，反映了视频数据中的静止；其中作为第k帧的运动量，当k=0开始，扫描/>曲线，找到两个局部最大值/>，若/>，则把/>选取为关键帧，把/>作为当前的/>，继续寻找下一个/>，先把火场图像中的运动对象从背景中取出，再计算对象所在位置的光流；再根据火场的实际画面进行修正，得到原始图像。

S3：将原始图像进行灰度值的转变，得到对应的灰度图像，并将所述灰度图像输入sobel算子进行处理，输出边缘图像；将原始图像从伽马校正的RGB空间转换到线性RGB颜色空间，将颜色差值线性化；再将线性RGB颜色空间转换到XYZ颜色空间；从XYZ颜色空间转换到Lab空间；

其中基于线性RGB颜色空间，构造彩色图像像素点之间的颜色差值到灰度图像灰度级的映射函数，其中颜色对比度的计算公式为：

，

其中分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值，分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值；

采用多元多项式模型输出灰度差值其中/>为输入彩色图像在RGB空间的三通道值，/>为待优化权重系数，其中待优化权重系数的约束条件为：/>；

所述灰度图像输入sobel算子进行处理，输出边缘图像，具体为：

对灰度图像进行二值化，若像素灰度值大于或等于阈值T，则该像素灰度值赋值为255，若像素灰度值小于阈值T，则该像素赋值为0，从而将灰度图像分成目标特征和背景特征两个区域；再通过模板卷积运算检测出灰度图像边缘，输出边缘图像。

在此步骤中，基于sobel算子有效的细化算法为：将得到的粗边缘图像t1再进行Sobel算子边缘检测得到图像t2，将前者减去后者得到差值图t3，再将t3中为负的点改为0，用以除去t3图中边缘外侧的点，从而得到边缘较细的边缘图；对于边缘较陡的部分可直接得到光滑、连续且接近单点宽的边缘，对于边缘模糊的部分这种过程可以重复多次,有利于捕捉多方向边缘信息,使细化边缘定位更准确。

S4：利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像；所述利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像的步骤中，包括：

RGB三通道的分离为通过OpenCV的imread函数加载原始图像，加载三通道的彩色图像，色彩空间是RGB色彩空间，其通道顺序是BGR；

使用OpenCV的imread函数读入原始图像，区分原始图像是灰色通道图像还是彩色通道图像；其灰色通道图像通道数（channels）为1（占8位），彩色图像通道数（channels）为3（占24位），灰度图像由0-255其中的一个值来表示，imread（“image_path”，0）进行灰度图像检测，当检测到不是灰度图像时则将其转化为灰度图像，并在内存中进行连续的存储；所述彩色图像通道数为3，进行BGR三色存储，每个通道用一个0-255的值表示，再将其合成为彩色图像进行输出，imread（“image_path"，1）进行彩色图像检测，当检测到不是彩色图像时则3通道每个通道数值相同，并将彩色图像在内存中进行连续的存储或分行存储。

在此步骤中，使用OpenCV的imread函数读入原始图像具体的实现代码为：

#coding=utf-8

import cv2 #导入opencv库

#capture = cv2.VideoCapture(0) #开启摄像头 笔记本摄像头id默认为0

capture = cv2.VideoCapture("./src_video/4.mp4") #打开视频，参数为视频路径

#视频保存相关参数

fourcc = cv2.VideoWriter_fourcc(*'XVID') # 视频存储的格式

fps = 25 # 帧率

size= (705,544) # 画面尺寸

out = cv2.VideoWriter('./dst_video/output.avi', fourcc, fps, size) #第一个参数为保存路径

# sobel处理函数

def sobel_process(img):

# 求x方向梯度

x = cv2.Sobel(img, cv2.CV_16S, 1, 0)

# 求y方向梯度

y = cv2.Sobel(img, cv2.CV_16S, 0, 1)

# 将图像格式转回 uint8

absX = cv2.convertScaleAbs(x)

absY = cv2.convertScaleAbs(y)

#将x y 方向的梯度叠加

result = cv2.addWeighted(absX, 0.7, absY, 0.7, 0)

#imshow显示图像

# cv2.imshow("absX", absX)

# cv2.imshow("absY", absY)

#cv2.imshow("sobel_process", result)

return result

#视频处理主函数

def video_sobel():

#循环判断摄像头是否打开或者视频是否读取结束

while(capture.isOpened()):

#从摄像头或视频按帧读取图像

ret, frame = capture.read()

if ret:

#根据需求旋转画面

#frame = cv2.rotate(frame, cv2.ROTATE_90_CLOCKWISE)

#显示原始图像

cv2.imshow("src_image",frame)

# 将原始图像三通道分离 分别为 R G B 通道

frame_b,frame_g,frame_r=cv2.split(frame)

#将原始图像转为灰度图

gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)

#将原始图像灰度图代入sobel处理函数获取边缘图像

sobel_img = sobel_process(gray)

# 将获取的边缘图像和原图像的G通道叠加

dst_g=cv2.add(frame_g,sobel_img)

#再将叠加后的通道图像与原始图像的其他通道合并，获得新的三通道图像

dst=cv2.merge([frame_b,dst_g,frame_r])

#显示处理后的图像

cv2.imshow("Result",dst)

#存储视频

out.write(dst)#存储视频

#延迟10ms，重要不能删，删除后imshow不起作用

cv2.waitKey(10)

else:

#释放资源 退出程序

capture.release()

out.release()

cv2.destroyAllWindows()

break

if __name__ == '__main__':

video_sobel()

图2为OpenCV程序代码实现的效果图，用方框标注的在实际显示的过程是人体绿色描边。

S5：获取指挥中心的指令，根据指令将对应的合成RGB图像进行传输；通过消防头盔的通信系统将所述合成RGB图像传输至指挥中心，为消防员在火场提供技术支持。

综上所述，本申请通过获取火场的环境信息，对火场视频按帧进行读取和处理，进行灰度值的转变后输出边缘图像；利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成得到合成RGB图像，通过消防头盔的通信系统将所述合成RGB图像传输至指挥中心，为消防员在火场提供技术支持。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同物限定。

当然，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围。

Claims (7)

1.基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，包括：

S1：通过安装在消防救援头盔上的摄像头获取火场的环境信息，其环境信息包括火场图像和火场视频；

S2：对火场视频按帧进行读取，根据火场的实际画面进行修正，得到原始图像；

S3：将原始图像进行灰度值的转变，得到对应的灰度图像，并将所述灰度图像输入sobel算子进行处理，输出边缘图像；

S4：利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像；

S5：获取指挥中心的指令，根据指令将对应的合成RGB图像进行传输。

2.根据权利要求1所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述利用RGB三通道对所述边缘图像和原始图像进行G通道的叠加，获取叠加完成后的通道图像，并使原始图像进行RGB三通道分离，将所述通道图像与分离出的B通道、R通道图像进行合成，形成合成RGB图像的步骤中，包括：

RGB三通道的分离为通过OpenCV的imread函数加载原始图像，加载三通道的彩色图像，色彩空间是RGB色彩空间，其通道顺序是BGR；

使用OpenCV的imread函数读入原始图像，区分原始图像是灰色通道图像还是彩色通道图像；其灰色通道图像通道数为1，彩色图像通道数为3，灰度图像由0-255其中的一个值来表示，imread函数进行灰度图像检测，当检测到不是灰度图像时则将其转化为灰度图像，并在内存中进行连续的存储。

3.根据权利要求2所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述彩色图像通道数为3，进行BGR三色存储，每个通道用一个0-255的值表示，再将其合成为彩色图像进行输出，imread函数进行彩色图像检测，当检测到不是彩色图像时则3通道每个通道数值相同，并将彩色图像在内存中进行连续的存储或分行存储。

4.根据权利要求1所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述对火场视频按帧进行读取，根据火场的实际画面进行修正，得到原始图像的步骤中，包括：

通过光流分析计算火场视频的运动量，在运动量取局部最小值处选取关键帧，具体为：

对每个像素值的光流分量的模求和，作为第k帧的运动量，即：其中/>为k帧内像素值/>光流的X分量，/>是k帧内像素值/>光流的Y分量。

5.根据权利要求1所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述将原始图像进行灰度值的转变，得到对应的灰度图像，具体为：

将原始图像从伽马校正的RGB空间转换到线性RGB颜色空间，将颜色差值线性化；再将线性RGB颜色空间转换到XYZ颜色空间；从XYZ颜色空间转换到Lab空间；

其中基于线性RGB颜色空间，构造彩色图像像素点之间的颜色差值到灰度图像灰度级的映射函数，其中颜色对比度的计算公式为：，

其中分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值，分别表示像素点/>基于线性RGB颜色空间的红、绿、蓝通道颜色值；

采用多元多项式模型输出灰度差值其中/>为输入彩色图像在RGB空间的三通道值，/>为待优化权重系数，其中待优化权重系数的约束条件为：/>。

6.根据权利要求1所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述灰度图像输入sobel算子进行处理，输出边缘图像，具体为：

对灰度图像进行二值化，若像素灰度值大于或等于阈值T，则该像素灰度值赋值为255，若像素灰度值小于阈值T，则该像素赋值为0，从而将灰度图像分成目标特征和背景特征两个区域；再通过模板卷积运算检测出灰度图像边缘，输出边缘图像。

7.根据权利要求1所述的基于图像描边增强算法模型的用于火场救援图像处理方法，其特征在于，所述获取指挥中心的指令，根据指令将对应的合成RGB图像进行传输的步骤中，包括：

通过消防头盔的通信系统将所述合成RGB图像传输至指挥中心，为消防员在火场提供技术支持。