CN113794816B - 暗光环境下的图像增强方法、装置、设备及存储介质 - Google Patents
暗光环境下的图像增强方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113794816B CN113794816B CN202110893828.4A CN202110893828A CN113794816B CN 113794816 B CN113794816 B CN 113794816B CN 202110893828 A CN202110893828 A CN 202110893828A CN 113794816 B CN113794816 B CN 113794816B
- Authority
- CN
- China
- Prior art keywords
- image
- static
- channel
- scene
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 161
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 8
- 238000009825 accumulation Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 description 1
- 241000132023 Bellis perennis Species 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及图像数据处理技术领域，公开了一种暗光环境下的图像增强方法、装置、设备及存储介质，所述方法包括：通过运动侦测判断暗光环境下拍摄场景的类型；当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；根据静态图像的图像信息对动态图像进行图像增强。本发明提供的一种暗光环境下的图像增强方法、装置、设备及存储介质，利用高质量的静态图像作为先验知识对动态图像进行图像增强，能够提高动态图像的信噪比。
Description
技术领域
本发明涉及图像数据处理技术领域，特别是涉及一种暗光环境下的图像增强方法、装置、设备及存储介质。
背景技术
小型网络摄像机受限于镜头和传感器尺寸以及帧率需求，在暗光(低照度)环境很难拍摄出高质量的图像，尤其对于低成本的设备，相机宽容度较差，传感器感光能力有限，只能采集到低信噪比的图像信号。如果要让图像画面中的物体清晰明亮，就会出现随机噪点。否则画面中的纹理细节因为信号太弱无法捕捉而丢失，有些时候甚至连基本的色彩还原都做不到。
暗光环境图像增强有许多方法，其中堆栈降噪是一种常用的方法。堆栈降噪靠拍多张照片然后堆栈处理，消除随机噪点。SoC芯片供应商的ISP图像调优中都提供了一种叫3DNR的降噪技术，其功能就类似于堆栈降噪。带来的负面影响是如果画面中有运动物体就会产生虚影、拖影。为了不产生虚影、拖影，ISP调优无法采用很高的降噪强度，只能在噪点和虚影、拖影之间取一个折中。
HDR则是在不同曝光值下进行多帧合成。HDR可以分为单帧HDR和多帧HDR。单帧HDR将隔行不同曝光值的信号合成一张HDR图像，这就需要传感器有足够大的面积来采集不同曝光值的信号，增加了制造成本。而多帧HDR，比如60帧合成30帧，这就需要传感器能够达到60帧这样的高帧率，传感器成本就会增加，另一方面主芯片的成本也会增加(需要更强处理能力的CPU和更多内存)。
前沿的图像增强技术许多是依赖于深度神经网络的方法。一方面深度神经网络训练起来费时费力，需要标定海量图像数据。另一方面受限于嵌入式设备算力不足，深度神经网络训练好以后难以在嵌入式设备上运行(处理一张4K分辨率的图像可能需要数秒甚至数十秒时间，难以满足视频帧率和实时性需求)。
发明内容
本发明实施例所要解决的技术问题是：提供一种暗光环境下的图像增强方法、装置、设备及存储介质，利用高质量的静态图像作为先验知识对动态图像进行图像增强，提高动态图像的信噪比。
为了解决上述技术问题，第一方面，本发明实施例提供一种暗光环境下的图像增强方法，包括：
通过运动侦测判断暗光环境下拍摄场景的类型；
当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
根据静态图像的图像信息对动态图像进行图像增强。
结合第一方面，在一个可能的实现方式中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
对静态图像进行多尺度高斯滤波；
将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
结合第一方面，在一个可能的实现方式中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道。
结合第一方面，在一个可能的实现方式中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道；
对静态图像进行多尺度高斯滤波；
将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
结合第一方面，在一个可能的实现方式中，所述方法还包括：
对拍摄角度进行检测；
当检测到拍摄角度发生变化时，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
结合第一方面，在一个可能的实现方式中，所述对拍摄角度进行检测，具体包括：
获取当前拍摄图像的特征点以及每一个特征点对应的特征描述子；
对当前拍摄图像的特征描述子与第一时间间隔前获取的拍摄图像的特征描述子进行相似度计算；
若相似度大于预设阈值，则判定拍摄角度发生变化；若相似度不大于预设阈值，则判定拍摄角度未发生变化。
结合第一方面，在一个可能的实现方式中，所述方法还包括：
经过第二时间间隔后，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
为了解决上述技术问题，第二方面，本发明实施例提供一种暗光环境下的图像增强装置，包括：
拍摄场景判断模块，用于通过运动侦测判断暗光环境下拍摄场景的类型；
静态图像获取模块，用于当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
动态图像增强模块，用于完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
图像增强模块，用于根据静态图像的图像信息对动态图像进行图像增强。
为了解决上述技术问题，第三方面，本发明实施例提供一种终端设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序；
其中，所述处理器执行所述计算机程序时实现如第一方面任一项所述的暗光环境下的图像增强方法。
为了解决上述技术问题，第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如第一方面任一项所述的暗光环境下的图像增强方法。
与现有技术相比，本发明实施例提供的一种暗光环境下的图像增强方法、装置、设备及存储介质，其有益效果在于：首先提取暗光环境下的静态图像，提取到的静态图像能够提供准确且稳定的先验知识，可以作为增强动态图像的基础，然后根据静态图像中的图像信息对动态图像进行增强，能够避免增强后的动态图像产生随机噪点或者动态色噪，提高了动态图像的信噪比。
附图说明
为了更清楚地说明本发明实施例的技术特征，下面将对本发明实施例中所需要使用的附图做简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种暗光环境下的图像增强方法的一个优选实施例的流程示意图；
图2是本发明提供的一种暗光环境下的图像增强装置的一个优选实施例的结构示意图；
图3是本发明提供的一种终端设备的一个优选实施例的结构示意图。
具体实施方式
为了对本发明的技术特征、目的、效果有更加清楚的理解，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但是不用来限制本发明的保护范围。基于本发明的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的其他实施例，都应属于本发明的保护范围。
在本发明的描述中，应当理解的是，本文中的编号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有顺序或者技术含义，不能理解为规定或者暗示所描述的对象的重要性。
图1所示为本发明提供的一种暗光环境下的图像增强方法的一个优选实施例的流程示意图。
如图1所示，所述图像增强方法包括如下步骤：
S10：通过运动侦测判断暗光环境下拍摄场景的类型；
S20：当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
S30：完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
S40：根据静态图像的图像信息对动态图像进行图像增强。
为方便理解本发明的技术方案，在此首先对其中的术语作解释：
静态场景：拍摄范围内没有运动物体的场景。
动态场景：拍摄范围内存在运动物体的场景。
静态图像：静态场景调优参数下采集的图像，具体是指通过一组专门针对静态场景优化的ISP参数作用下采集到的图像，在这组ISP参数作用下，如果画面中有运动物体会有严重的拖影、虚影，因此必须在静态场景采集图像。
动态图像：通用场景调优参数下拍摄的图像，具体是指通过一组针对通用场景(主要是动态场景)，在保证画面中没有噪点、运动物体没有虚影或拖影的前提下优化的ISP参数作用下采集到的图像，图像可以是在静态场景采集的，也可以是动态场景采集的。
具体而言，在拍摄环境为暗光环境时，启用本发明的图像增强方法，首先通过运动侦测的方式，判断当前的拍摄场景中是否存在运动物体，若不存在运动物体，则说明拍摄场景为静态场景，将拍摄设备的ISP参数设置为静态场景调优参数，并进行静态图像的采集。在完成静态图像的采集之后，再将ISP参数设置为通用场景调优参数，并采集动态图像。最后再以静态图像中的图像信息作为先验知识，对动态图像进行图像增强。
若拍摄场景中存在运动物体，则说明拍摄场景为动态场景，若此前拍摄设备并未采集静态图像，则不进行图像增强(但是此时仍然会采集动态图像)。
本发明提供的一种暗光环境下的图像增强方法，首先提取暗光环境下的静态图像，提取到的静态图像能够提供准确且稳定的先验知识，可以作为增强动态图像的基础，然后根据静态图像中的图像信息对动态图像进行增强，能够避免增强后的动态图像产生随机噪点或者动态色噪，提高了动态图像的信噪比。
在一个可能的实施例中，在步骤S10之前，所述方法还包括：
获取拍摄环境的曝光量；
当曝光量大于预设曝光量阈值时，判定拍摄环境为非暗光环境；
当曝光量不大于预设曝光量阈值时，判定拍摄环境为暗光环境。
由于本发明是针对暗光环境下的图像增强方法，因此其启用前提为拍摄环境为暗光环境，避免误启用。
其中，预设曝光量阈值可以根据实际情况进行设置，且可以在设备出厂前预设置或者由用户进行更改。
在一个可能的实施例中，所述通过运动侦测判断暗光环境下拍摄场景的类型，具体包括：
S101：采集拍摄图像，将拍摄图像缩放到适合计算的尺寸。
S102：将缩放后的各帧拍摄图像划分成整数个像素子块，像素子块的数目为m×n，其中m为行数，n为列数。
S103：计算当前帧拍摄图像中各像素子块的像素累加和，各像素累加和记为S0(X，Y)，其中X∈n为像素子块横坐标，Y∈m为像素子块纵坐标，然后先按行计算相邻像素子块之间的累加和之比，再按列计算相邻像素子块的累加和之比。
S104：计算下一帧拍摄图像中各像素子块的像素累加和，各像素累加和记为S1(X，Y)，其中X∈n为像素子块横坐标，Y∈m为像素子块纵坐标，然后先按行计算相邻像素子块之间的累加和之比，再按列计算相邻像素子块的累加和之比。
S105：计算当前帧与下一帧对应相邻像素子块累加和之比的差分比率，计算出差分比率大于设定阈值的总数目；
其中，计算当前帧与下一帧对应相邻像素子块累加和之比的差分比率，具体为：先按行计算：
Δs＝|S0(x，y)/S0(x+1，y)-S1(x，y)/S1(x+1，y)|/(S0(x，y)/S0(x+1，y))，若Δs≥Ta；则Isum＝Isum+1；
再列计算公式：
Δs＝|S0(x，y)/S0(x，y+1)-S1(x，y)/S1(x，y+1)|/(S0(x，y)/S0(x，y+1))，若，Δs≥Ta；则Isum＝Isum+1；
Δs为当前帧与下一帧对应相邻像素子块累加和之比的差分比率；Ta为设定阈值；Isum为差分比率大于设定阈值的总数目。
S106：计算差分比率大于设定阈值的总数目在当前帧与下一帧两帧拍摄图像中所有像素子块所占的比率；P＝Isum/(2*m*n-m-n)。
S107：根据步骤S106的计算结果判断是否大于报警阈值，是则判定拍摄场景为动态场景，否则判定拍摄场景为静态场景。
其中，步骤S103和步骤S104中，像素累加和为像素子块内各像素点的亮度值之和，按行计算相邻像素子块之间的累加和之比顺序依次为第一行第一像素子块累加和比第二块像子块累加和，然后第二块像素子块累加和比第三块像素子块累加和，直到第一行的第n-1像素子块比第n个像素子块，用同样的方法计算第二行至第m行相邻像素子块之间的累加和之比；按列计算相邻像素子块的累加和之比顺序依次为第一列第一像素子块累加和比第一列第二像子块累加和，然后第二像素子块累加和比第三块像素子块累加和，直到第一列的第m-1像素子块比m像素子块和，用同样的方法计算第二列至第n行相邻像素子块之间的累加和之比。
在一个可能的实施例中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
S401：对静态图像进行多尺度高斯滤波；
S402：将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
S403：将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
本实施例利用静态图像提取的图像信息，通过多尺度高斯差提取静态图像的纹理细节，然后通过预设的组合方式融合到动态图像中，增强动态图像的纹理。所谓高斯差，指的是对图像进行高斯滤波，然后将滤波后的图像和原来的图像相减，用高斯核进行高斯滤波只会压制图像的高频信息，高斯滤波后的图像和原图相减，可以保持图像原有频带中的空间信息，得到只包含高频纹理细节信息的图像。通过采集多尺度的高斯差可以得到不同尺度的纹理细节，将提取出来的纹理细节通过预设的组合方式融合到动态图像中，能够实现对动态图像的纹理细节增强。
在一个可能的实施例中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
S401′：从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
S402′：将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
S403′：将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道。
本实施例利用静态图像提取的图像信息，通过对不同色彩通道进行直方图映射和融合，增强动态图像的色彩和亮度。其中，映射指的是图像直方图的匹配映射。首先从静态图像中提取YUV色彩空间中Y通道的数据，统计出它的灰度直方图。然后提取出静态图像的色饱和度通道。之后对每帧动态图像进行图像增强处理，将动态图像的Y通道通过直方图规定化向静态图像的Y通道匹配。同时将动态图像的色饱和度通道和静态图像的色饱和度通道进行加权融合。最后将直方图规定化后的Y通道以及加权融合出来的色饱和度通道替换动态图像原来的相应通道，得到增强后的动态图像。
在一个可能的实施例中，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
S401″：从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
S402″：将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
S403″：将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道；
S403″：对静态图像进行多尺度高斯滤波；
S405″：将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
S406″：将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
本实施例综合多尺度高斯差和通道映射融合的方式，先通过通道映射融合法增强动态图像的亮度和色彩，然后通过多尺度高斯差融合法增强动态图像的纹理。
在一个可能的实施例中，在步骤S40之后，所述方法还包括：
S50：对拍摄角度进行检测；
S60：当检测到拍摄角度发生变化时，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
需要说明的是，当拍摄角度发生变化时(例如，人为移动)，已采集的静态图像有极大可能并不适用于当前拍摄角度的图像增强，因此需要将ISP参数再设置为静态场景调优参数，重新进行静态图像的采集，并使用重新采集的静态图像，去对当前的动态图像进行增强。
在一个可能的实施例中，所述对拍摄角度进行检测，具体包括：
S501：获取当前拍摄图像的特征点以及每一个特征点对应的特征描述子；
S502：对当前拍摄图像的特征描述子与第一时间间隔前获取的拍摄图像的特征描述子进行相似度计算；
S503：若相似度大于预设阈值，则判定拍摄角度发生变化；若相似度不大于预设阈值，则判定拍摄角度未发生变化。
具体而言，拍摄设备在工作过程中，会不断地拍摄图像或录制视频，此时需要根据图像特征匹配判断拍摄场景是否发生变化，在具体判断时，先获取第一时间间隔前获取的拍摄图像的对比特征点(例如FAST特征点)和每一个对比特征点对应的对比特征描述子(例如DAISY特征描述子，可以是200维的特征向量)，将所有的对比特征点和每一个对比特征点对应的对比特征描述子作为对比图像的场景特征，再对当前拍摄图像进行相应处理，获得当前拍摄图像的至少一个特征点和每一个特征点对应的特征描述子，将所有的特征点和每一个特征点对应的特征描述子作为当前拍摄图像中的场景特征，对当前拍摄图像的特征描述子和对比特征描述子进行相似度计算，当计算获得的相似度大于预设的预设阈值时，判定拍摄角度发生了变化，当相似度不大于预设阈值时，则判定拍摄角度未发生变化。
在一个可能的实施例中，在步骤S40之后，所述方法还包括：
S70：经过第二时间间隔后，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
需要说明的是，当经过第二时间间隔之后，已采集的静态图像有极大可能并不适用于当前的图像增强，因此需要将ISP参数再设置为静态场景调优参数，重新进行静态图像的采集，并使用重新采集的静态图像，去对当前的动态图像进行增强。
综合上述，本发明提供的一种暗光环境下的图像增强方法，通过静态场景调优参数获取静态图像，并通过通用场景调优参数获取动态图像，然后利用静态场景提取高质量的静态图像作为先验信息，对动态图像进行增强，能够优化动态图像的图像质量；通过多尺度高斯差增强动态图像的纹理细节，通过直方图规定化和通道加权融合增强动态图像的色彩和亮度，能够从不同角度优化动态图像的图像质量；在拍摄角度发生变化或者经过一定时间间隔后重新采集静态图像，能够保证静态图像的时效性，确保图像增强的正常进行。
应当理解，本发明实现上述暗光环境下的图像增强方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述暗光环境下的图像增强方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
图2所示为本发明提供的一种暗光环境下的图像增强装置的一个优选实施例的结构示意图，所述装置能够实现上述任一实施例所述的暗光环境下的图像增强方法的全部流程及达到相应的技术效果。
如图2所示，所述装置包括：
拍摄场景判断模块21，用于通过运动侦测判断暗光环境下拍摄场景的类型；
静态图像获取模块22，用于当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
动态图像增强模块23，用于完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
图像增强模块24，用于根据静态图像的图像信息对动态图像进行图像增强。
在一个可能的实施例中，所述装置还包括：
曝光量获取模块，用于获取拍摄环境的曝光量；
第一判定模块，用于当曝光量大于预设曝光量阈值时，判定拍摄环境为非暗光环境；
第二判定模块，用于当曝光量不大于预设曝光量阈值时，判定拍摄环境为暗光环境。
在一个可能的实施例中，所述拍摄场景判断模块21包括：
图像采集单元，用于采集拍摄图像，将拍摄图像缩放到适合计算的尺寸。
图像分块单元，用于将缩放后的各帧拍摄图像划分成整数个像素子块，像素子块的数目为m×n，其中m为行数，n为列数。
第一累加和计算单元，用于计算当前帧拍摄图像中各像素子块的像素累加和，各像素累加和记为S0(X，Y)，其中X∈n为像素子块横坐标，Y∈m为像素子块纵坐标，然后先按行计算相邻像素子块之间的累加和之比，再按列计算相邻像素子块的累加和之比。
第一累加和计算单元，用于计算下一帧拍摄图像中各像素子块的像素累加和，各像素累加和记为S1(X，Y)，其中X∈n为像素子块横坐标，Y∈m为像素子块纵坐标，然后先按行计算相邻像素子块之间的累加和之比，再按列计算相邻像素子块的累加和之比。
差分比率计算单元，用于计算当前帧与下一帧对应相邻像素子块累加和之比的差分比率，计算出差分比率大于设定阈值的总数目；
其中，计算当前帧与下一帧对应相邻像素子块累加和之比的差分比率，具体为：先按行计算：
Δs＝|S0(x，y)/S0(x+1，y)-S1(x，y)/S1(x+1，y)|/(S0(x，y)/S0(x+1，y))，若Δs≥Ta；则Isum＝Isum+1；
再列计算公式：
Δs＝|S0(x，y)/S0(x，y+1)-S1(x，y)/S1(x，y+1)|/(S0(x，y)/S0(x，y+1))，若，Δs≥Ta；则Isum＝Isum+1；
Δs为当前帧与下一帧对应相邻像素子块累加和之比的差分比率；Ta为设定阈值；Isum为差分比率大于设定阈值的总数目。
比率计算单元，用于计算差分比率大于设定阈值的总数目在当前帧与下一帧两帧拍摄图像中所有像素子块所占的比率；P＝Isum/(2*m*n-m-n)。
场景判定单元，用于根据比率的计算结果判断是否大于报警阈值，是则判定拍摄场景为动态场景，否则判定拍摄场景为静态场景。
其中，像素累加和为像素子块内各像素点的亮度值之和，按行计算相邻像素子块之间的累加和之比顺序依次为第一行第一像素子块累加和比第二块像子块累加和，然后第二块像素子块累加和比第三块像素子块累加和，直到第一行的第n-1像素子块比第n个像素子块，用同样的方法计算第二行至第m行相邻像素子块之间的累加和之比；按列计算相邻像素子块的累加和之比顺序依次为第一列第一像素子块累加和比第一列第二像子块累加和，然后第二像素子块累加和比第三块像素子块累加和，直到第一列的第m-1像素子块比m像素子块和，用同样的方法计算第二列至第n行相邻像素子块之间的累加和之比。
在一个可能的实施例中，所述图像增强模块24包括：
第一滤波单元，用于对静态图像进行多尺度高斯滤波；
第一相减单元，用于将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
第一融合单元，用于将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
在一个可能的实施例中，所述图像增强模块24包括：
第一提取单元，用于从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
第一匹配单元，用于将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
第一替换单元，用于将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道。
在一个可能的实施例中，所述图像增强模块24包括：
第二提取单元，用于从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
第二匹配单元，用于将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
第二替换单元，用于将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道；
第二滤波单元，用于对静态图像进行多尺度高斯滤波；
第二相减单元，用于将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
第二融合单元，用于将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
在一个可能的实施例中，所述装置还包括：
角度检测模块，用于对拍摄角度进行检测；
第一重新采集模块，用于当检测到拍摄角度发生变化时，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
在一个可能的实施例中，所述角度检测单元包括：
特征描述子获取单元，用于获取当前拍摄图像的特征点以及每一个特征点对应的特征描述子；
相似度计算单元，用于对当前拍摄图像的特征描述子与第一时间间隔前获取的拍摄图像的特征描述子进行相似度计算；
角度判定单元，用于若相似度大于预设阈值，则判定拍摄角度发生变化；若相似度不大于预设阈值，则判定拍摄角度未发生变化。
在一个可能的实施例中，所述装置还包括：
第二重新采集模块，用于经过第二时间间隔后，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
图3所示为本发明提供的一种终端设备的一个优选实施例的结构示意图，所述设备能够实现上述任一实施例所述的暗光环境下的图像增强方法的全部流程及达到相应的技术效果。
如图3所示，所述设备包括：
存储器31，用于存储计算机程序；
处理器32，用于执行所述计算机程序；
其中，所述处理器32执行所述计算机程序时实现如上述任一实施例所述的暗光环境下的图像增强方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器32执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所称处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可用于存储所述计算机程序和/或模块，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块，以及调用存储在所述存储器31内的数据，实现所述终端设备的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，所述存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述终端设备包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构示意图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多部件，或者组合某些部件，或者不同的部件。
以上所述，仅是本发明的优选实施方式，但本发明的保护范围并不局限于此，应当指出，对于本领域技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干等效的明显变型方式和/或等同替换方式，这些明显变型方式和/或等同替换方式也应视为本发明的保护范围。
Claims (10)
1.一种暗光环境下的图像增强方法，其特征在于，包括：
通过运动侦测判断暗光环境下拍摄场景的类型；
当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
根据静态图像的图像信息对动态图像进行图像增强。
2.根据权利要求1所述的暗光环境下的图像增强方法，其特征在于，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
对静态图像进行多尺度高斯滤波；
将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
3.根据权利要求1所述的暗光环境下的图像增强方法，其特征在于，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道。
4.根据权利要求1所述的暗光环境下的图像增强方法，其特征在于，所述根据静态图像的图像信息对动态图像进行图像增强，具体包括：
从静态图像中提取出YUV色彩空间中Y通道的数据并统计Y通道的灰度直方图，以及从静态图像中提取出色饱和度通道；
将动态图像的YUV色彩空间中的Y通道通过直方图规定化与静态图像的Y通道进行匹配，以及将动态图像的色饱和度通道与静态图像的色饱和度通道进行加权融合；
将直方图规定化后的Y通道替换动态图像的Y通道，以及将加权融合后的色饱和度通道替换动态图像的色饱和度通道；
对静态图像进行多尺度高斯滤波；
将多尺度高斯滤波后的静态图像与滤波前的静态图像相减，得到多尺度的纹理细节；
将多尺度的纹理细节通过预设的组合方式融合至动态图像中。
5.根据权利要求1所述的暗光环境下的图像增强方法，其特征在于，所述方法还包括：
对拍摄角度进行检测；
当检测到拍摄角度发生变化时，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
6.根据权利要求5所述的暗光环境下的图像增强方法，其特征在于，所述对拍摄角度进行检测，具体包括：
获取当前拍摄图像的特征点以及每一个特征点对应的特征描述子；
对当前拍摄图像的特征描述子与第一时间间隔前获取的拍摄图像的特征描述子进行相似度计算；
若相似度大于预设阈值，则判定拍摄角度发生变化；若相似度不大于预设阈值，则判定拍摄角度未发生变化。
7.根据权利要求1所述的暗光环境下的图像增强方法，其特征在于，所述方法还包括：
经过第二时间间隔后，清除已采集的静态图像，并将ISP参数设置为静态场景调优参数重新采集静态图像。
8.一种暗光环境下的图像增强装置，其特征在于，包括：
拍摄场景判断模块，用于通过运动侦测判断暗光环境下拍摄场景的类型；
静态图像获取模块，用于当拍摄场景为静态场景时，将ISP参数设置为静态场景调优参数并采集静态图像；
动态图像增强模块，用于完成静态图像采集之后，将ISP参数设置为通用场景调优参数并采集动态图像；
图像增强模块，用于根据静态图像的图像信息对动态图像进行图像增强。
9.一种终端设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序；
其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的暗光环境下的图像增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1至7任一项所述的暗光环境下的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893828.4A CN113794816B (zh) | 2021-08-04 | 2021-08-04 | 暗光环境下的图像增强方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110893828.4A CN113794816B (zh) | 2021-08-04 | 2021-08-04 | 暗光环境下的图像增强方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113794816A CN113794816A (zh) | 2021-12-14 |
| CN113794816B true CN113794816B (zh) | 2023-05-23 |
Family
ID=78877141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110893828.4A Active CN113794816B (zh) | 2021-08-04 | 2021-08-04 | 暗光环境下的图像增强方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113794816B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005217493A (ja) * | 2004-01-27 | 2005-08-11 | Canon Inc | 撮像装置 |
| JP2007060449A (ja) * | 2005-08-26 | 2007-03-08 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2012044560A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 画像処理装置、画像処理方法及び撮像装置 |
| JP2012191645A (ja) * | 2012-05-16 | 2012-10-04 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014093710A (ja) * | 2012-11-06 | 2014-05-19 | Satoshi Iki | 画像処理装置、画像処理方法、動画作成方法、動画用フレーム画像作成システム、動画作成システム及びプログラム |
| CN107547795A (zh) * | 2016-06-27 | 2018-01-05 | 奥林巴斯株式会社 | 摄像装置、摄像方法 |
| CN111311526A (zh) * | 2020-02-25 | 2020-06-19 | 深圳市朗驰欣创科技股份有限公司 | 视频增强方法、视频增强装置及终端设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4429148B2 (ja) * | 2004-11-25 | 2010-03-10 | 富士フイルム株式会社 | 画像撮影記録装置及び方法 |
| US11356611B2 (en) * | 2019-07-01 | 2022-06-07 | Canon Kabushiki Kaisha | Image capture apparatus and control method thereof |
-
2021
- 2021-08-04 CN CN202110893828.4A patent/CN113794816B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005217493A (ja) * | 2004-01-27 | 2005-08-11 | Canon Inc | 撮像装置 |
| JP2007060449A (ja) * | 2005-08-26 | 2007-03-08 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2012044560A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 画像処理装置、画像処理方法及び撮像装置 |
| JP2012191645A (ja) * | 2012-05-16 | 2012-10-04 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014093710A (ja) * | 2012-11-06 | 2014-05-19 | Satoshi Iki | 画像処理装置、画像処理方法、動画作成方法、動画用フレーム画像作成システム、動画作成システム及びプログラム |
| CN107547795A (zh) * | 2016-06-27 | 2018-01-05 | 奥林巴斯株式会社 | 摄像装置、摄像方法 |
| CN111311526A (zh) * | 2020-02-25 | 2020-06-19 | 深圳市朗驰欣创科技股份有限公司 | 视频增强方法、视频增强装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 徐庆."低照度图像去噪与增强算法研究".《中国优秀硕士学位论文全文数据库（电子期刊）》.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113794816A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US8184196B2 (en) | System and method to generate depth data using edge detection | |
| CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
| CN108898567A (zh) | 图像降噪方法、装置及系统 | |
| CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| EP3798975A1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
| CN105635565A (zh) | 一种拍摄方法及设备 | |
| CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2011084279A2 (en) | Algorithms for estimating precise and relative object distances in a scene | |
| CN110796041B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
| EP3371741B1 (en) | Focus detection | |
| CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
| CN111915505A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111953893B (zh) | 一种高动态范围图像生成方法、终端设备及存储介质 | |
| CN110866486A (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
| CN111311562B (zh) | 虚焦图像的模糊度检测方法及装置 | |
| CN114257744B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
| CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
| CN110392211B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20130293741A1 (en) | Image processing apparatus, image capturing apparatus, and storage medium storing image processing program | |
| WO2024051697A1 (zh) | 图像融合方法、装置、电子设备和存储介质 | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220831 Address after: Floor 12-17, unit 1, building 2, No. 466, Xinyu Road, high tech Zone, Chengdu, Sichuan 610000 Applicant after: Chengdu Lianzhou International Technology Co.,Ltd. Address before: 5 / F, fulizhen building, No.1, Kefa Road, high tech park, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: Shenzhen Lianzhou International Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |