CN110544220B - 一种煤矿井下视频图像智能去雾方法、存储介质及系统 - Google Patents

一种煤矿井下视频图像智能去雾方法、存储介质及系统 Download PDF

Info

Publication number
CN110544220B
CN110544220B CN201910835759.4A CN201910835759A CN110544220B CN 110544220 B CN110544220 B CN 110544220B CN 201910835759 A CN201910835759 A CN 201910835759A CN 110544220 B CN110544220 B CN 110544220B
Authority
CN
China
Prior art keywords
video image
frame
value
moving average
average value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910835759.4A
Other languages
English (en)
Other versions
CN110544220A (zh
Inventor
南柄飞
王凯
郭志杰
李首滨
付振
姚钰鹏
曹贯强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Beijing Meike Tianma Automation Technology Co Ltd
Original Assignee
Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Beijing Meike Tianma Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ccteg Beijing Tianma Intelligent Control Technology Co ltd, Beijing Meike Tianma Automation Technology Co Ltd filed Critical Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Priority to CN201910835759.4A priority Critical patent/CN110544220B/zh
Publication of CN110544220A publication Critical patent/CN110544220A/zh
Application granted granted Critical
Publication of CN110544220B publication Critical patent/CN110544220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的煤矿井下视频图像智能去雾方法、存储介质及系统,其中的方法包括如下步骤:在获取视频流后,根据每一帧视频图像内容,计算移动平均值以及环境大气光值和对比度校正因子;根据环境大气光值和每一帧视频图像的移动平均值,结合当前帧各像素点的对比度校正因子估计每一帧视频图像的大气透射率;根据每一帧视频图像的当前环境大气光值、每一帧视频图像的大气透射率和每一帧视频图像中各像素点的像素值得到去雾后的每一帧视频图像;依序输出去雾后的每一帧视频图像得到去雾后的视频流。以上方案,作为软件算法内嵌在去雾终端系统内,可以针对模糊不清、含有噪声(雾气)的煤矿井下视频图像进行实时去雾处理,获得较为清晰的视频图像画面。

Description

一种煤矿井下视频图像智能去雾方法、存储介质及系统
技术领域
本发明涉及煤矿井下智能监控技术领域,具体涉及一种煤矿井下视频图像智能去雾方法、存储介质及系统。
背景技术
为了保证煤矿井下工人在生产过程的生命安全,以及对井下工作面主要生产设备状况的实时动态感知,目前煤矿企业广泛引进了视频监控系统,一定程度上形成了可视化远程干预性智能采煤控制系统。
在煤矿井下有一些采煤设备运行时会产生大量的粉尘或其他悬浮物,如当采煤机运行采割煤层时,由于切割煤层或者少许夹杂岩石,会产生大量煤尘,弥散在整个综采工作面大气环境中,导致整个监控视频的视觉画面模糊,图像特征淹没。同时,由于采煤机的自动喷水降尘操作,导致综采工作面大气环境湿度增加,加之人工照明、环境温度、井下自排气体混合物、以及井下通风系统的综合作用,会在综采工作面大气环境中形成悬浮的煤尘、雾汽等混合物,共同作用严重影响综采工作面视觉监控效果,导致视觉监控图像模糊不清晰,甚至失效。
针对煤矿井下图像受到粉尘、雾气、低照度影响,造成的图像模糊、图像特征淹没、图像质量下降等特点,各大煤矿企业或者综采设备提供商提出了系列自动除尘技术和方法,例如在视觉传感器端增加自动除尘装置。但是诸如此类技术和方法也只能尽量减轻煤尘对视觉传感设备镜头污染的处理,而对于综采工作面大气环境中的悬浮雾状混合物对视觉效果的综合影响依然无法改善。
发明内容
本发明实施例旨在提供一种煤矿井下视频图像智能去雾方法、存储介质及系统,以解决现有技术中井下大气环境中的悬浮雾状混合物对视觉感知的影响导致煤矿井下监控视频图像模糊、图像特征淹没、图像质量下降等技术问题。
为此,本发明提供一种煤矿井下视频图像智能去雾方法,在获取视频流后,所述方法包括如下步骤:
根据第一帧视频图像内容,得到当前大气光值作为大气光值的初始值,同时初始化对比度校正因子和初始化移动平均值;
根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数;
根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率;
根据每一帧视频图像的大气透射率、每一帧视频图像的大气光值和每一帧视频图像的像素值得到去雾后的每一帧视频图像;
依序输出去雾后的每一帧视频图像得到去雾后的视频流。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据第一帧视频图像内容,得到当前大气光值作为大气光值的初始值,同时初始化对比度校正因子和初始化移动平均值的步骤中:
通过如下方式获取大气光值的初始值:根据区域搜索法,所述第一帧视频图像的大气光值为搜索所得区域内使得||(Iavg-r(p),Iavg-g(p),Iavg_b(p))-(255,255,255)||最小的像素点的像素值;其中,p为像素点,Iavg_r(p)为像素点p的r值,Iavg_g(p)为像素点p的g值,Iavg_b(p)为像素点p的b值,|| ||是指两个向量之间的欧氏距离;
第一帧视频图像中各像素点的像素值作为初始的移动平均值;
第一帧视频图像的对比度校正因子初始化为1。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中:
通过移动平均值统计分析模型计算第k帧视频图像的移动平均值:
Figure BDA0002192104670000031
以上,k表示第k帧视频图像序号,p为像素点,
Figure BDA0002192104670000032
为第k帧视频图像p像素点处的移动平均值;Ik(p)为第k帧视频图像p像素点的像素值;αk为第k帧的移动平均值权重值,αk的取值满足如下条件:
K%Kth<Kth时,αk置为0.9,其中%为模运算,Kth为帧数阈值;
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1;
K%Kth≥Kth且αk≤0.5时,将αk重置为0.9。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中,根据如下方式获取第k帧视频图像的大气光值Ak
K%Kth<Kth时,Ak=Ak-1,其中%为模运算;
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1;然后根据每个αk重新计算移动平均值并估算大气光值,将其记为A′,将用于更新第k帧的大气光值Ak
K%Kth≥Kth且αk≤0.5时,更新第k帧的大气光值Ak=(A*+Ak-1)/2,其中A*为||A′-Ak-1||最小时的A′。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中,根据如下方式获取第k帧视频图像的对比度校正因子ck(p):
Figure BDA0002192104670000041
可选地,上述的煤矿井下视频图像智能去雾方法中,根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率的步骤中包括:
使用均值平方误差计算矫正后的图像对比度,记作CMSE
Figure BDA0002192104670000042
其中,color∈{r,g,b}表示r、g和b三个颜色通道,p∈B表示落在像素块B中的像素点p,k表示第k帧视频图像的索引号,
Figure BDA0002192104670000043
为第k帧图像在像素点p处的color通道中的矫正因子值,KB为像素块B中所包含的像素点的数量,
Figure BDA0002192104670000044
为第k帧移动平均值中像素块B中像素点p处的color通道的值,
Figure BDA0002192104670000045
为第k帧移动平均值中像素块B中所有像素在color通道上的均值,t为透射率;
采用最大化图像对比度的方法得到预估的所述透射率的值。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率的步骤中还包括:
对于所述第k帧视频图像中的每个像素块B,根据最大化图像对比度和最小化图像信息失真程度的双重条件,确定所述透射率应满足如下条件:
Figure BDA0002192104670000051
Figure BDA0002192104670000052
根据所述条件确定透射率的值为:
Figure BDA0002192104670000053
Figure BDA0002192104670000054
其中,Acolor为大气光值在color通道中的值,
Figure BDA0002192104670000055
为第k帧视频图像中像素块B中像素点p处的color通道的值。
可选地,上述的煤矿井下视频图像智能去雾方法中,根据每一帧视频图像的大气透射率、每一帧视频图像的大气光值和每一帧视频图像的像素值得到去雾后的每一帧视频图像的步骤中,根据如下去雾分析模型得到每一帧视频图像:
F(p)=I(p)t(p)+A(1-t(p));
其中,p为像素点,F(p)为含雾图像在像素点p处的像素值,I(p)为去雾图像在像素点p处的像素值,t(p)为像素点p处的透射率值,A为环境大气光值。
本发明还提供一种存储介质,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行以上任一项所述的煤矿井下视频图像智能去雾算法。
本发明还提供一种煤矿井下视频图像智能去雾系统,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行以上任一项所述的煤矿井下视频图像智能去雾算法。
可选地,上述的煤矿井下视频图像智能去雾系统,还包括本质安全电源管理模块,其中:
所述本质安全电源管理模块的输入接口用于接入煤矿井下电源输出端,所述本质安全电源管理模块的输出接口输出适于所述煤矿井下视频图像智能去雾终端系统工作的电信号。
与现有技术相比,本发明实施例提供的上述技术方案至少具有以下有益效果:
本发明实施例提供的煤矿井下视频图像智能去雾方法、存储介质及系统,可以实现将煤矿井下环境的模糊不清,含有噪声(雾气)的视觉内容通过内嵌在去雾终端系统内的算法进行实时去雾处理,从而获得较为清晰的视觉画面。
附图说明
图1为本发明一个实施例所述煤矿井下视频图像智能去雾方法的流程图;
图2为本发明另一个实施例所述煤矿井下视频图像智能去雾方法的流程图;
图3a和图3b为本发明一个实施例所述采用本发明实施例得到的去雾后视频图像与现有技术视频图像的效果对比图;
图4为本发明一个实施例所述煤矿井下视频图像智能去雾系统的硬件结构连接示意图;
图5为本发明一个实施例所述煤矿井下视频图像智能去雾系统的信号流示意图。
具体实施方式
下面将结合附图进一步说明本发明实施例。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明的简化描述,而不是指示或暗示所指的装置或组件必需具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。其中,术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本实施例提供一种煤矿井下视频图像智能去雾方法,可以用于煤矿井下的视频监控终端的图像处理模块中,具体地,如图1所示,在获取视频流后,视频流即通过视频监控终端采集到的视频信号,所述方法包括如下步骤:
S101:根据第一帧视频图像内容,得到当前环境大气光值作为环境大气光值的初始值,同时初始化对比度校正因子和初始化移动平均值;对于第一帧视频图像当前环境的大气光值可以采用数学模型来实现。其中,像素点的像素值由“r值,g值和b值”三通道值组成。大气光值可以采用区域搜索法实现,根据区域搜索法,所述第一帧视频图像当前环境的大气光值为使得||(Iavg-r(p),Iavg_g(p),Iavg_b(p))-(255,255,255)||最小的像素点的像素值,即与最亮像素点(255,255,255)的欧氏距离最小的像素值(Iavg-r(p),Iavg_g(p),Iavg_b(p))作为视频图像当前环境的大气光值。通过如上方式获取当前环境的大气光值作为环境大气光值的初始值;第一帧视频图像中各像素点的像素值作为其初始的移动平均值;第一帧视频图像的对比度校正因子初始化为1。
S102:根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数;如前所述,像素点的像素值由“r值,g值和b值”三通道值组成。当k为2时,其前一帧图像即为第一帧图像,则可直接采用步骤S101中获得相关结果。
S103:根据当前环境的大气光值和每一帧视频图像的移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率。
S104:根据每一帧视频图像的大气透射率、当前环境的大气光值和每一帧视频图像的像素值得到去雾后的每一帧视频图像。
S105:依序输出去雾后的每一帧视频图像得到去雾后的视频流。
本实施例提供的以上方案,作为软件算法内嵌在去雾终端系统内,可以针对模糊不清、含有噪声(雾气)的煤矿井下视频图像进行实时去雾处理,获得较为清晰的视频图像画面。
优选地,上述步骤S102中,参考图2,其中通过移动平均值统计分析模型计算第k帧视频图像的移动平均值:
Figure BDA0002192104670000081
以上,k表示第k帧视频图像序号,p为像素点,
Figure BDA0002192104670000082
为第k帧视频图像p像素点处的移动平均值;Ik(p)为第k帧视频图像p像素点的像素值;αk为第k帧的移动平均值权重值,αk的取值满足如下条件:
K%Kth<Kth时,αk置为0.9,其中%为模运算,Kth为帧数阈值;所述帧数阈值在30-50的范围内选择,因为煤矿井下会有人为灯光对井下环境的光照情况进行无规律扰动,人为灯光会影响到井下的环境的光照情况,而人为灯光的扰动速度并不会很快,三十帧到五十帧的范围内重置一次移动平均值的权重值即可,这一速度与人的行为速度较为接近,从而得到的结果更贴合实际情况。
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1,其中的设定步长b越小得到的结果越精确,需要处理的数据量也更大,折中选择将设定步长选择为0.1,经过实验后,该值已经能够使得到的视频流序列达到很好的去雾效果。
K%Kth≥Kth时且αk-1≤0.5时,将αk重置为0.9;αk-1以0.5为界限,是为了保证移动平均值中包含足够多的当前帧视频图像的像素信息,因此αk-1以必须大于0.5,根据移动平均值的计算公式,当移动平均值的权重值大于0.5时,其当前帧视频图像的像素信息会大于前一帧视频图像的像素信息。
从计算移动平均值的公式中可看出,当α=1.0时,移动平均值等于就当前图像像素值,权重值α决定了最终的移动平均值。因此,采用合理的α权重值计算得到的移动平均值可以很好地减弱甚至消除视频序列中光照度的不规则变化。这样处理可以使得煤矿井下视频序列中各帧的全局大气光值A的差异变得很小或者为零。
优选地,本实施例中的方案,在算法设计过程中,发明人通过迭代更新给定范围内的权重值α,计算其对应的移动平均值,然后搜索计算全局大气光值A′,最后通过最小化||A′-Ak-1||来动态更新大气光值Ak。具体地,根据如下方式获取第k帧视频图像的大气光值Ak
K%Kth<Kth时,Ak=Ak-1,其中%为模运算;
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1;然后根据每个αk重新计算移动平均值并估算大气光值,将其记为A′,将用于更新第k帧的大气光值Ak
K%Kth≥Kth且αk≤0.5时,更新第k帧的大气光值Ak=(A*+Ak-1)/2,其中A*为||A′-Ak-1||最小时的A′,A′的获取方式和A1的获取方式相同,即采用区域搜索法实现。
另外,以上提供的方案中,当煤矿井下的照明装置发生抖动或者场景光照突变时,当前帧视频图像的局部光照情况明显发生突变,从而影响当前帧视频图像的透射率的估计。为此,本实施例中引入对比度矫正因子来消除这种局部光照突变对透射率估计的影响。对比度矫正因子为引入移动平均值前后局部区域的像素值变化率。具体处理过程为,首先按照如下方式获取第k帧视频图像的对比度校正因子ck(p):
Figure BDA0002192104670000101
然后利用矫正因子计算局部区域内的均值平方误差作为区域的图像对比度;采用最大化图像对比度的方法得到预估的所述透射率的值;
Figure BDA0002192104670000102
其中,color∈{r,g,b}表示r、g和b三个颜色通道,p∈B表示落在像素块B中的像素点p,k表示第k帧视频图像的索引号,
Figure BDA0002192104670000103
为第k帧图像在像素点p处的color通道中的矫正因子值,KB为像素块B中所包含的像素点的数量,
Figure BDA0002192104670000104
为第k帧移动平均值中像素块B中像素点p处的color通道的值,
Figure BDA0002192104670000105
为第k帧移动平均值中像素块B中所有像素在color通道上的均值,t为透射率;由于煤矿井下作业现场大气环境的雾气浓度时刻发生变化会在很大程度上影响大气透射率的估计,因此发明人采用最大化图像对比度方法估计最优的透射率值。
以上方案中,对比度矫正因子可以补偿移动平均值导致的像素变化,减小或消除引入移动平均值方法前后计算出的CMSE值之间会产生差异,从而减小或消除最大化CMSE时估计出大气透射率的上界和下界的误差。另外,在使用以上去雾方法实现视频图像的去雾时,大气透射率值的估计误差会被放大。因此,通过对比度矫正因子作用后的CMSE可以更加准确地度量源图像中未被噪声干扰的对比度均值平方误差,将迭代中大气透射率的上界和下界约束在合理范围内,进一步抑制去雾图像中的闪烁现象。
另外,对矫正之后的CMSE最大化求解透射率值时,同样会引发像素截断(即像素值大于255或小于0)的问题,过度的像素截断会导致图像信息严重失真。因此通过统计这些被截断的像素值总和来控制图像信息失真程度。因此,在最大化图像对比度和最小化图像信息失真程度的双重作用下估计最优的透射率值。计算透射率时需要把每帧图像分割为若干个像素块B,然后计算每个像素块B的透射率值(在每个像素块内,初步计算出来的透射率值均相同)。全部计算完毕后构成一张透射率图。对于一个给定的小像素块B,在最小化图像信息失真程度的作用下,可以得到两个约束:
Figure BDA0002192104670000111
Figure BDA0002192104670000112
根据所述条件确定透射率的值为:
Figure BDA0002192104670000113
Figure BDA0002192104670000114
其中,Acolor为大气光值在color通道中的值,
Figure BDA0002192104670000121
为第k帧移动平均值中像素块B中像素点p处的color通道的值。
至此,透射率t的估计值已经确定。然后基于估算的大气透射率使用移动平均值针对视频流进行透射率图的修正。最后对视频序列进行视觉特征复原得到清晰的视频序列流。最终将复原后的清晰视频流输出以备显示或者后期分析处理。
具体地,由于综采工作面光照度波动,以及井下大气环境中的悬浮雾状混合物对视觉感知的影响作用,导致煤矿井下监控视频图像模糊、图像特征淹没、图像质量下降。这种视觉质量下降的图像在计算机视觉和计算机图形理论中,被称为含有实际噪声的视频流图像F(p)。通常情况下,这种含有噪声的图像F(p)是由环境大气光成分A,以及光散射或反射的透射率t(p)(大气传递系数)共同作用而形成的。通俗地讲,就是理论上没有被周围环境噪声污染的图像I(p)与周围环境大气光按一定比例进行混合后得到的最终通过光学传感器感知到的含有噪声的实际图像F(p),即F(p)=I(p)t(p)+A(1-t(p))。因而,这种实际模糊图像去雾的主要过程也就是估算环境大气光值、以及光散射或反射的透射率的计算,从而来求解去雾后的图像。以上方案中,p为像素点,F(p)为含雾图像在像素点p处的像素值,I(p)为去雾图像在像素点p处的像素值,t(p)为像素点p处的透射率值,A为环境大气光值。因此除I(p)之外的其他参数均已经计算得到相应结果,代入到上述模型后就可以求得I(p),即得到去雾图像各像素点的像素值。
如图3a和图3b所示,采用本实施例以上技术方案对视频图像去雾处理后,视频图像的清晰度具有很大的提高,而且采用本实施例的上述方案,通过计算机程序的改进来实现,不需要额外增加硬件设备,具有较低的成本。
实施例2
本实施例提供一种存储介质,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行实施例1中任一方案所述的煤矿井下视频图像智能去雾方法。
实施例3
本实施例提供一种煤矿井下视频图像智能去雾系统,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行实施例1中任一项所述的煤矿井下视频图像智能去雾方法。
具体地,参考图4所示的系统硬件连接关系示意图,以上系统还包括本质安全电源管理模块,其中:所述本质安全电源管理模块的输入接口用于接入煤矿井下电源输出端,所述本质安全电源管理模块的输出接口输出适于所述煤矿井下视频图像智能去雾终端系统工作的电信号。煤矿井下视频图像智能去雾终端系统在硬件结构上增加了本质安全电源管理模块,VD/TD安全检测机制,以及视频数据实时去雾算法模块。本质安全电源管理模块,VD/TD安全检测机制可以保障煤矿井下环境特别是井下综采工作面的高粉尘、一定温湿度、一定瓦斯浓度的复杂环境安全生产硬性要求。视频数据实时去雾算法模块可以将煤矿井下特别是综采工作面的模糊不清、含有噪声(雾气)的视频图像数据在系统终端进行实时去雾处理,并及时回显清晰的视频图像画面给系统,提高可视化监控视频系统的实时有效性。
硬件系统以CPU Cortex A53为内核,提供USB,GPIO,I2C,SSP/SPI,JTAGTrace,UART,10/100MAC,PCM接口,提供DES/3DES/AES,WDT,VIC。硬件系统提供本质安全电源管理模块,VD/TD安全检测机制,RTC时钟配置,并支持低功耗模式。其工作流程如图5所示,本质安全电源管理模块启动电源保护机制,系统上电后VD/TD自检,然后CPU开始工作,处理视频终端发送的视频数据。视频数据经过DSP数字信号处理后进行H.264BP/MP/HP,H.265MP,MJPEG/JPEG视频数据编解码,然后通去雾算法处理,最后将去雾后的视频图像数据输出给视频终端。
图4所示的硬件结构中各模块的功能为:
本质安全电源管理模块:是通过限制电路的各种参数或采取保护措施来限制电路的火花放电能量和热能,使其在正常工作和规定的故障状态下产生的电火花和热效应均不能点燃周围环境的爆炸性混合物,从而实现电气本质安全。
TVS:又称为瞬态抑制二极管,是普遍使用的一种新型高效电路保护器件,它具有极快的响应时间(亚纳秒级)和相当高的浪涌吸收能力。当它的两端经受瞬间的高能量冲击时,TVS能以极高的速度把两端间的阻抗值由高阻抗变为低阻抗,以吸收一个瞬间大电流,把它的两端电压箝制在一个预定的数值上,从而保护后面的电路元件不受瞬态高压尖峰脉冲的冲击。
防反二极管:特性就是单向导电性,其功能在电路中防电源接反。
DC-DC电源模块:直接贴装在印刷电路板上的电源供应器,其特点是可为专用集成电路、数字信号处理器、微处理器、存储器、现场可编程门阵列及其他数字或模拟负载提供供电。
齐纳二极管:又叫稳压二极管,是一种直到临界反向击穿电压前都具有很高电阻的半导体器件.在这临界击穿点上,反向电阻降低到一个很小的数值,在这个低阻区中电流增加而电压则保持恒定,稳压二极管是根据击穿电压来分档的,因为这种特性,稳压管主要被作为稳压器或电压基准元件使用。稳压二极管可以串联起来以便在较高的电压上使用,通过串联就可获得更高的稳定电压。
VDD:模块器件内部的工作电压。
SDRAM/Flash/SRAM控制器:SDRAM为同步动态随机存储器,优点是容量大,速度比较快,但是接口复杂,耗逻辑资源多;SRAM是静态随机存储器,其接口简单,速度快容易操作,用资源也比较少。二者都用于程序工作时保存临时数据和程序。Flash是非易失性存储器,速度慢,用于系统中保存长期的数据,如:配置信息,程序等。
DDR3控制器:内存控制器,DDR3是一种计算机内存规格。它属于SDRAM家族的内存产品,提供了相较于DDR2 SDRAM更高的运行效能与更低的电压,是DDR2 SDRAM(同步动态随机存取内存)的后继者(增加至八倍),也是现时流行的内存产品规格。
10/100M MAC×2:两个10/100兆网络接口。
UART×2:两个通用串行数据总线,用于异步通信。该总线双向通信,可以实现全双工传输和接收。在嵌入式设计中,UART用于主机与辅助设备的通信。
PCM×2:两个数字音频接口。
ITU-R BT.1120视频输出接口:高清视频输出接口。
视频序列去雾:完成煤矿井下视频序列的实时去雾处理。
Clock、WDT:定时器电路,一般有一个输入,叫喂狗,一个输出到MCU的RST端,MCU正常工作的时候,每隔一段时间输出一个信号到喂狗端,给WDT清零,如果超过规定的时间不喂狗,(一般在程序跑飞时),WDT定时超过,就会给出一个复位信号到MCU,使MCU复位.防止MCU死机。其作用就是防止程序发生死循环,或者说程序跑飞。
RTC:实时时钟控制。
VIC:电压检测控制。
VD/TD:过压、过温控制。
DES/3DES/AES:数据加密/解密算法。DES,非机密数据的正式数据加密标准;3DES是DES向AES过渡的加密算法,是DES的一个更安全的变形。它以DES为基本模块,通过组合分组方法设计出分组加密算法。AES,是高级加密标准,是下一代的加密算法标准,速度快,安全级别高。
Dual-core Cortex A53@1.2GHz/CortexA53@1.2GHz:ARM处理器的一种型号。
DAM控制器:DMA控制器是一种在系统内部转移数据的独特外设,可以将其视为一种能够通过一组专用总线将内部和外部存储器与每个具有DMA能力的外设连接起来的控制器。它之所以属于外设,是因为它是在处理器的编程控制下来执行传输的。通常只有数据流量较大(kBps或者更高)的外设才需要支持DMA能力,这些应用方面典型的例子包括视频、音频和网络接口。
64位DSP:64位数字信号处理器,是一种专门进行数字信号处理运算的微处理器,其主要应用是实时快速地实现各种数字信号处理算法。
H.254BP/MP/HP H.265MP MJPEG/JPEG编解器/解码器:视频编解码器。
USB3.0 Host×2:两个USB3.0接口。
GPIOs:(通用输入/输出接口)简称为GPIO,或总线扩展器,利用工业标准I2C、SMBus或SPI接口简化了I/O口的扩展。当微控制器或芯片组没有足够的I/O端口,或当系统需要采用远端串行通信或控制时,GPIO产品能够提供额外的控制和监视功能。
I2C:双向二线制同步串行总线,加密芯片接口。
SSP/SPI:串行外围设备接口,用于CPU与各种外围器件进行全双工、同步串行通讯。
JTAGTrace:芯片测试通道。
如上图所示,煤矿井下视频图像智能去雾终端的核心模块由ARM+DSP+主流视频编解码构成,并具有丰富的外围接口,例如10/100M网络接口、异步传输通信接口、数字音频接口、ITU-R BT.1120高清视频输出接口、以及数字加密/解密DES/3DES算法,同时具备常规电压检测控制VIC,及过压、过温VD/TD保护。更重要的是为了适应煤矿井下安全保障,增加了本质安全电源管理模块,实现终端的本安电源输入。在本质安全电源管理模块中,输入/输出电容值满足国家本安化标准要求。这样使得该终端能够能适应煤矿井下/井上作业场景的工作需求,降低与其它模块配合的工程应用开发难度,也免除煤矿相关产品供应商对算法等标准部分的内容的重复开发,大大降低了煤矿设备产品厂商的投入代价。同时配合海康/大华等不同类型视觉传感器的开发包,实现煤矿作业现场的远程可视化高清监控系统,及相关智能视觉应用等产品。
基于上述实施例中的各个方案,至少具有如下优点:
(1)其系统具有轻量级、高性能、低功耗、跨平台、低延迟的嵌入式移动智能视觉处理功能。产品成型后,在井下环境安装操作简单,便于装卸维修。
(2)工程现场实现辅助元器件需求少,节约成本,软件算法优化方便、实用。
(3)针对煤矿井下可视化远程监控视频内容进行实时去雾处理。煤矿井下环境特点相对地面环境来说,其场景环境特征相对固定单一,对于去雾算法的设计实现过程中的主要步骤环境大气估值,以及大气透射率估算环节,相对容易实现。而且其先验模型一旦建立起来后,其相对稳定,适用能力强。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种煤矿井下视频图像智能去雾方法,其特征在于,在获取视频流后,所述方法包括如下步骤:
根据第一帧视频图像内容,得到当前大气光值作为大气光值的初始值,同时初始化对比度校正因子和初始化移动平均值;
根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数;
根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率;
根据每一帧视频图像的大气透射率、每一帧视频图像的大气光值和每一帧视频图像的像素值得到去雾后的每一帧视频图像;
依序输出去雾后的每一帧视频图像得到去雾后的视频流;
其中,移动平均值是当前视频帧图像与之前所有帧图像的像素点的加权平均值。
2.根据权利要求1所述的煤矿井下视频图像智能去雾方法,其特征在于,根据第一帧视频图像内容,得到当前大气光值作为大气光值的初始值,同时初始化对比度校正因子和初始化移动平均值的步骤中:
通过如下方式获取大气光值的初始值:根据区域搜索法,所述第一帧视频图像的大气光值为搜索所得区域内使得||(Iavg_r(p),Iavg_g(p),Iavg_b(p))-(255,255,255)||最小的像素点的像素值;其中,p为像素点,Iavg_r(p)为像素点p的r值,Iavg_g(p)为像素点p的g值,Iavg_b(p)为像素点p的b值,|| ||是指两个向量之间的欧氏距离;
第一帧视频图像中各像素点的像素值作为初始的移动平均值;
第一帧视频图像的对比度校正因子初始化为1。
3.根据权利要求2所述的煤矿井下视频图像智能去雾方法,其特征在于,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中:
通过移动平均值统计分析模型计算第k帧视频图像的移动平均值:
Figure FDA0003335418630000021
以上,k表示第k帧视频图像序号,p为像素点,
Figure FDA0003335418630000022
为第k帧视频图像p像素点处的移动平均值;Ik(p)为第k帧视频图像p像素点的像素值;αk为第k帧的移动平均值权重值,αk的取值满足如下条件:
K%Kth<Kth时,αk置为0.9,其中%为模运算,Kth为帧数阈值;
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1;
K%Kth≥Kth且αk≤0.5时,将αk重置为0.9。
4.根据权利要求3所述的煤矿井下视频图像智能去雾方法,其特征在于,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中,根据如下方式获取第k帧视频图像的大气光值Ak
K%Kth<Kth时,Ak=Ak-1,其中%为模运算;
K%Kth≥Kth且0.5<αk≤0.9时,使用αk=αk-b更新αk,其中b为调节步长且b≤0.1;然后根据每个αk重新计算移动平均值并估算大气光值,将其记为A’,将用于更新第k帧的大气光值Ak
K%Kth≥Kth且αk≤0.5时,更新第k帧的大气光值Ak=(A*+Ak-1)/2,其中A*为上一步在使用αk=αk-b更新αk的过程中计算得到的所有A’中使||A'-Ak-1||最小时的A’。
5.根据权利要求4所述的煤矿井下视频图像智能去雾方法,其特征在于,根据第k-1帧视频图像的移动平均值及第k帧视频图像内容计算第k帧视频图像的移动平均值;根据第k帧视频图像内容及其移动平均值重新更新大气光值;根据第k帧视频图像内容及其移动平均值和第k-1帧视频图像的移动平均值计算第k帧视频图像的对比度校正因子,其中k为大于1的整数的步骤中,根据如下方式获取第k帧视频图像的对比度校正因子ck(p):
Figure FDA0003335418630000031
6.根据权利要求5所述的煤矿井下视频图像智能去雾方法,其特征在于,根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率的步骤中包括:
使用均值平方误差计算矫正后的图像对比度,记作CMSE
Figure FDA0003335418630000032
其中,color∈{r,g,b}表示r、g和b三个颜色通道,p∈B表示落在像素块B中的像素点p,k表示第k帧视频图像的索引号,
Figure FDA0003335418630000033
为第k帧图像在像素点p处的color通道中的校正因子值,KB为像素块B中所包含的像素点的数量,
Figure FDA0003335418630000034
为第k帧移动平均值中像素块B中像素点p处的color通道的值,
Figure FDA0003335418630000035
为第k帧移动平均值中像素块B中所有像素在color通道上的均值,t为透射率;
采用最大化图像对比度的方法得到预估的所述透射率的值。
7.根据权利要求6所述的煤矿井下视频图像智能去雾方法,其特征在于,根据每一帧视频图像的大气光值和移动平均值,结合当前帧各像素点的对比度校正因子得到每一帧视频图像的大气透射率的步骤中还包括:
对于所述第k帧视频图像中的每个像素块B,根据最大化图像对比度和最小化图像信息失真程度的双重条件,确定所述透射率应满足如下条件:
Figure FDA0003335418630000041
Figure FDA0003335418630000042
根据所述条件确定透射率的值为:
Figure FDA0003335418630000043
Figure FDA0003335418630000044
其中,Acolor为大气光值在color通道中的值,
Figure FDA0003335418630000045
为第k帧视频图像中像素块B中像素点p处的color通道的值。
8.根据权利要求1-7任一项所述的煤矿井下视频图像智能去雾方法,其特征在于,根据每一帧视频图像的大气透射率、每一帧视频图像的大气光值和每一帧视频图像的像素值得到去雾后的每一帧视频图像的步骤中,根据如下去雾分析模型得到每一帧视频图像:
F(p)=I(p)t(p)+A(1-t(p));
其中,p为像素点,F(p)为含雾图像在像素点p处的像素值,I(p)为去雾图像在像素点p处的像素值,t(p)为像素点p处的透射率值,A为环境大气光值。
9.一种存储介质,其特征在于,所述存储介质中存储有程序指令,计算机读取所述程序指令后执行权利要求1-8任一项所述的煤矿井下视频图像智能去雾方 法。
10.一种煤矿井下视频图像智能去雾系统,其特征在于,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序指令,至少一个所述处理器读取所述程序指令后执行权利要求1-8任一项所述的煤矿井下视频图像智能去雾方 法。
11.根据权利要求10所述的煤矿井下视频图像智能去雾系统,其特征在于,还包括本质安全电源管理模块,其中:
所述本质安全电源管理模块的输入接口用于接入煤矿井下电源输出端,所述本质安全电源管理模块的输出接口输出适于所述煤矿井下视频图像智能去雾终端系统工作的电信号。
CN201910835759.4A 2019-09-05 2019-09-05 一种煤矿井下视频图像智能去雾方法、存储介质及系统 Active CN110544220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910835759.4A CN110544220B (zh) 2019-09-05 2019-09-05 一种煤矿井下视频图像智能去雾方法、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910835759.4A CN110544220B (zh) 2019-09-05 2019-09-05 一种煤矿井下视频图像智能去雾方法、存储介质及系统

Publications (2)

Publication Number Publication Date
CN110544220A CN110544220A (zh) 2019-12-06
CN110544220B true CN110544220B (zh) 2022-02-22

Family

ID=68712526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910835759.4A Active CN110544220B (zh) 2019-09-05 2019-09-05 一种煤矿井下视频图像智能去雾方法、存储介质及系统

Country Status (1)

Country Link
CN (1) CN110544220B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192210B (zh) * 2019-12-23 2023-05-26 杭州当虹科技股份有限公司 一种自适应增强的视频去雾方法
CN111738938B (zh) * 2020-06-01 2022-09-09 余姚市浙江大学机器人研究中心 基于先验目标识别的非均匀雾化视频优化方法
CN111696031A (zh) * 2020-06-15 2020-09-22 北京浦泰锐迅技术有限公司 适用于景观电子望远镜的图像处理方法和系统
CN115170443B (zh) * 2022-09-08 2023-01-13 荣耀终端有限公司 一种图像处理方法、拍摄方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036466A (zh) * 2014-06-17 2014-09-10 浙江立元通信技术股份有限公司 一种视频去雾方法与系统
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法
CN104331867A (zh) * 2014-11-06 2015-02-04 广东欧珀移动通信有限公司 图像去雾的方法、装置及移动终端
CN105046666A (zh) * 2015-07-24 2015-11-11 中国科学技术大学 一种基于暗原色先验的交通视频实时去雾的方法
CN105631831A (zh) * 2016-03-14 2016-06-01 北京理工大学 一种雾霾条件下视频图像增强方法
CN106530257A (zh) * 2016-11-22 2017-03-22 重庆邮电大学 一种基于暗通道先验模型的遥感图像去雾方法
CN109255759A (zh) * 2018-08-02 2019-01-22 辽宁师范大学 基于天空分割和透射率自适应修正的图像去雾方法
CN109961412A (zh) * 2019-03-18 2019-07-02 浙江大华技术股份有限公司 一种视频帧图像去雾方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101582479B1 (ko) * 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
US10026160B2 (en) * 2016-08-20 2018-07-17 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法
CN104036466A (zh) * 2014-06-17 2014-09-10 浙江立元通信技术股份有限公司 一种视频去雾方法与系统
CN104331867A (zh) * 2014-11-06 2015-02-04 广东欧珀移动通信有限公司 图像去雾的方法、装置及移动终端
CN105046666A (zh) * 2015-07-24 2015-11-11 中国科学技术大学 一种基于暗原色先验的交通视频实时去雾的方法
CN105631831A (zh) * 2016-03-14 2016-06-01 北京理工大学 一种雾霾条件下视频图像增强方法
CN106530257A (zh) * 2016-11-22 2017-03-22 重庆邮电大学 一种基于暗通道先验模型的遥感图像去雾方法
CN109255759A (zh) * 2018-08-02 2019-01-22 辽宁师范大学 基于天空分割和透射率自适应修正的图像去雾方法
CN109961412A (zh) * 2019-03-18 2019-07-02 浙江大华技术股份有限公司 一种视频帧图像去雾方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Research on Image Enhancement Algorithm of Coal Mine Dust;Dongmei Wu 等;《SNSP》;20190117;第261-265页 *
Review of Video and Image Defogging Algorithms and Related Studies on Image Restoration and Enhancement;Yong Xu 等;《IEEE Access》;20151224;第4卷;第165-188页 *
基于暗通道先验的视频去雾算法;贾银亮 等;《电子测量技术》;20181031;第41卷(第20期);第98-101页 *

Also Published As

Publication number Publication date
CN110544220A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110544220B (zh) 一种煤矿井下视频图像智能去雾方法、存储介质及系统
US10194156B2 (en) Method of and apparatus for generating an output frame
US20090315901A1 (en) Electronic paper panel image update method
US20160203749A1 (en) Using wavelength information for an ambient light environment to adjust display brightness and content
CN107370924B (zh) 图像采集系统
CN105825800A (zh) 显示控制器和包括显示控制器的半导体集成电路装置
CN108615012A (zh) 距离提醒方法、电子装置和非易失性计算机可读存储介质
CN106575252A (zh) 热管理方法和具有热管理机制的电子系统
CN103903593B (zh) 一种页面的显示背景的调整方法及终端
CN104299188A (zh) 图像修正方法及系统
CN107544646A (zh) 一种控制方法和电子装置
CN107454317B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN106370296A (zh) 一种移动终端光传感器对环境光的检测方法及系统
CN210039012U (zh) 一种安防报警装置
CN103531022B (zh) 一种红绿灯颜色周期统计方法
CN205302903U (zh) 一种笔记本电脑显示屏翻转时的亮度自动调节装置
CN113177886A (zh) 图像处理方法、装置、计算机设备及可读存储介质
CN103150090A (zh) 一种根据环境光线变化进行界面换肤的方法和系统
CN105955692A (zh) 一种针对智能终端显示屏的调节方法、装置及智能终端
CN104427229B (zh) 一种自动消除摄像模块esd的方法
CN105551442B (zh) 背光亮度的调节方法及装置
CN104461425A (zh) 屏幕内容的显示调整方法、装置及终端
CN109253105B (zh) 一种会议机智能风扇温控方法及其系统
CN108076339B (zh) 一种视野可连续延展的ar设备及使用方法
CN105812678A (zh) 一种能够改善反光现象的电子设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No.27, Linhe Development Zone, Shunyi District, Beijing

Applicant after: CCTEG Beijing Tianma Intelligent Control Technology Co.,Ltd.

Applicant after: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd.

Address before: No.131, ground floor, Tiandi building, No.5, qingniangou East Road, Hepingli, Chaoyang District, Beijing 100013

Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd.

Applicant before: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant