CN113395436A - 图像处理方法、图像处理装置及图像处理系统 - Google Patents
图像处理方法、图像处理装置及图像处理系统 Download PDFInfo
- Publication number
- CN113395436A CN113395436A CN202010170313.7A CN202010170313A CN113395436A CN 113395436 A CN113395436 A CN 113395436A CN 202010170313 A CN202010170313 A CN 202010170313A CN 113395436 A CN113395436 A CN 113395436A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- area
- vehicle
- reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 166
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 239000011521 glass Substances 0.000 claims abstract description 53
- 238000012937 correction Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 23
- 238000004880 explosion Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 239000005357 flat glass Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法、图像处理装置及图像处理系统，涉及图像处理领域。图像处理方法包括：获取一帧图像并对图像进行图像增强处理得到第一图像，第一图像包括反射图像区和背景图像区，反射图像区包括玻璃上的反射物形成的图像区域，背景图像区包括透过玻璃拍摄到的物体形成的图像区域；去除反射图像区得到玻璃后物体的清晰图像。本发明还提供了包括抓拍单元、图像增强处理单元和反射图像区去除单元的图像处理装置以及包括单目相机和处理器的图像处理系统。本发明通过去除图像中的反射图像区，提高了图像中物体的清晰度，解决了透过玻璃拍摄到的图像不清晰的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置及图像处理系统。
背景技术
在透过玻璃拍摄物体时，由于光照等因素，玻璃容易反射光线，导致拍摄到的图像不清晰，例如在道路监控场景中，由于车辆内外光照环境的不同，以及车窗玻璃容易反射光线，车窗被拍摄成像时的通透性较差，使得监控拍摄到的车内环境图像存在较为明显的彩色条纹，导致车内环境图像不清晰，以及车内人脸等难以辨识。
相关技术中，通常需要去除图像中爆闪灯遗留的爆闪光斑、玻璃反射图像以及附着物图像等，从而得到高质量的主体图像，一般需要采集多帧图像信息进行去反射处理，处理过程复杂，而且难以应用在车辆高速行驶的道路监控和与其类似的场景中。
因此，如何使透过玻璃拍摄的图像清晰是一个亟待解决的问题。
发明内容
本发明实施例提供一种图像处理方法、图像处理装置及图像处理系统，用以解决透过玻璃拍摄到的图像不清晰的问题。
为了实现上述目的，本发明实施例采用如下技术方案：
本发明实施例提供的图像处理方法包括：
获取一帧图像，并对所述图像进行图像增强处理，得到第一图像，所述第一图像包括反射图像区和背景图像区，所述反射图像区包括玻璃上的反射物形成的图像区域，所述背景图像区包括透过玻璃拍摄到的物体形成的图像区域；
去除所述第一图像中的所述反射图像区，得到透过玻璃拍摄到的物体的图像。
本发明实施例提供的图像处理方法具有如下优点：
本发明实施例提供的图像处理方法中，从采集到的图像中选取一帧图像，并对该图像进行增强处理，经去除其中的反射图像区后输出透过玻璃拍摄到的物体的图像，从而得到清晰的图像。本发明实施例提供的图像处理方法中，由于去除了因玻璃上的反射物或附着物等产生的反射图像区如彩色条纹或阴影，提高了图像中透过玻璃拍摄到的物体的清晰度，解决了透过玻璃拍摄到的图像不清晰的问题。
在上述图像处理方法的优选技术方案中，所述图像为拍摄车辆得到的爆闪图像，去除所述第一图像中的反射图像区，得到透过玻璃拍摄到的物体的图像具体包括：
按照图像梯度信息的分布识别出所述第一图像中的反射图像区；
从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像。
在上述图像处理方法的优选技术方案中，从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像具体包括：
对所述第一图像的数据进行处理得到混合频段图像的数据流Tf，利用迭代优化的方法将所述混合频段图像的数据流Tf中所述反射图像区的数据去除，留下所述背景图像区的数据，输出所述车内环境图像。
在上述图像处理方法的优选技术方案中，从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像具体包括：
对所述第一图像的数据做高斯卷积，得到第一数据；
对所述第一数据中的一阶梯度算子和二阶拉普拉斯算子作频域转换处理，计算出混合频段归一化向量De；
在频域对所述第一数据作高频提取，得到高频特征图的数据流Tg；
在频域对所述第一数据作梯度处理和阈值过滤处理后，得到梯度特征图的数据流Tt；
根据Tg、Tt和De，计算得到混合频段图像的数据流Tf；
利用迭代优化的方法解非凸方程，当所述非凸方程的目标值小于阈值后，停止迭代，输出所述车内环境图像。
在上述图像处理方法的优选技术方案中，对所述图像进行图像增强处理，处理后得到第一图像具体包括：
对所述图像进行传感器矫正、拜耳插值处理、色彩矫正还原处理以及降噪处理，得到RGB图像；
对所述RGB图像做对比度增强处理和低通滤波处理，得到所述第一图像。
在上述图像处理方法的优选技术方案中，对所述图像进行传感器矫正包括以下至少之一：黑电平矫正、坏点矫正、绿平衡处理和数字增益处理；对所述爆闪图像进行色彩矫正还原处理包括白平衡处理以矫正偏色和色彩校正处理以去除伪色。
在上述图像处理方法的优选技术方案中，去除所述第一图像中的反射图像区并输出车内环境图像的步骤之后，还包括：
对所述车内环境图像进行图像增强处理。
另一方面，本发明实施例还提供一种图像处理装置，包括：
抓拍单元，用于采集图像；
图像增强处理单元，用于获取一帧初始图像，并对所述初始图像进行图像增强处理，得到第一图像；
反射图像区去除单元，用于去除所述第一图像中的反射图像区，并输出透过玻璃拍摄到的物体的图像，所述反射图像区为玻璃上的反射物形成的图像区域。
本发明实施例提供的图像处理装置具有与本发明提供的图像处理方法相同的优点，在此不再赘述。
进一步地，本实施例提供的图像处理装置用于对行驶中的车辆进行拍照和处理，所述抓拍单元用于采集车辆的爆闪图像，所述初始图像为所述图像增强处理单元获取到的车窗区域的爆闪图像；
所述反射图像区去除单元用于去除所述第一图像中的反射图像区，并输出车内环境图像，所述反射图像区为车窗上的反射物形成的图像区域。
在上述图像处理装置的优选技术方案中，所述图像增强处理单元包括：
图像信号处理模块，用于对所述爆闪图像进行处理，得到RGB图像；
局部对比度增强模块，用于增强所述RGB图像的亮度和对比度；
低通滤波模块，用于对所述RGB图像作低通滤波处理。
在上述图像处理装置的优选技术方案中，所述图像信号处理模块包括：
传感器矫正单元，用于对所述爆闪图像做初步矫正；
色彩插值单元，用于根据初步矫正后的所述爆闪图像的拜耳数据，得到RGB初始图像；
色彩矫正还原单元，用于对所述RGB初始图像进行色彩矫正；
降噪单元，用于对色彩矫正后的所述RGB初始图像进行降噪。
在上述图像处理装置的优选技术方案中，还包括亮度增强单元，用于增加所述车内环境图像的亮度。
另一方面，本发明实施例还提供一种图像处理系统，包括：
单目相机，用于采集图像；
与所述单目相机通信连接的处理器，所述处理器用于获取一帧初始图像；及对所述初始图像进行图像增强处理并得到第一图像；以及
去除所述第一图像中的反射图像区并输出透过玻璃拍摄到的物体的图像，所述反射图像区为玻璃上的反射物形成的图像区域。
本发明实施例提供的图像处理系统具有与本发明实施例提供的图像处理方法相同的优点，在此不再赘述。
本实施例提供的图像处理系统用于对行驶中的车辆进行拍照和处理，所述单目相机用于采集车辆的爆闪图像；所述初始图像为所述处理器获取到的车窗区域的爆闪图像；所述处理器用于去除所述第一图像中的反射图像区并输出车内环境图像，所述反射图像区为车窗上的反射物形成的图像区域。
除了上面所描述的本发明实施例解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的有益效果外，本发明实施例提供的图像处理方法、图像处理装置及图像处理系统所能够解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的有益效果，将在具体实施方式中作出进一步详细的说明。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对本发明实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一部分实施例，这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的图像处理方法的流程图；
图2为本发明实施例一中去除第一图像中的反射图像区并输出车内环境图像方法的流程图；
图3为本发明实施例二提供的图像处理装置的结构示意图；
图4为本发明实施例三提供的图像处理系统应用在道路监控中的示意图。
附图标记：
10-单目相机；20-闪光灯；30-雷达；40-车辆行驶方向；50-车道。
具体实施方式
在透过玻璃拍摄物体时，玻璃容易反射光线，导致拍摄到的图像不清晰，例如在道路车辆监控场景中，由于车辆内外光照环境的不同，车窗玻璃容易反射光线，使得监控拍摄到的车窗图像存在较为明显的彩色条纹，导致车内环境不清晰，以及车内人脸等难以辨识。
为了解决透过玻璃拍摄到的图像不清晰的问题，例如采集到的行驶中车辆的车内环境图像不清晰的问题，本发明实施例提供了一种图像处理方法、图像处理装置及图像处理系统，其中，本发明实施例提供的图像处理方法通过对图像进行增强处理后去除其中的反射图像区，得到了所要拍摄的物体的清晰图像，解决了透过玻璃拍摄到的图像不清晰的问题。
为了使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
本实施例提供的图像处理方法包括以下步骤：
S1、获取一帧图像，并对该获取到的图像进行图像增强处理，得到第一图像，第一图像包括反射图像区和背景图像区，其中，反射图像区包括玻璃上的反射物形成的图像区域，背景图像区包括透过玻璃拍摄到的物体形成的图像区域；
示例性地，当本实施例提供的图像处理方法应用在透过商店橱窗拍摄橱窗内的物品的场景中时：首先获取到一帧图像，获取图像后，对该图像进行图像增强处理以提高图像的对比度及增强图像色彩；处理后得到的第一图像包括反射图像区和背景图像区，反射图像区包括橱窗上由于光线、噪音等外界因素产生的彩色条纹、阴影或噪点，背景图像区为橱窗内物品的成像。
S2、去除上述第一图像中的反射图像区，保留背景图像区，从而得到透过玻璃拍摄到的物体的图像。针对上述拍摄橱窗内的物品后经处理得到的第一图像，本步骤中对反射图像区，即第一图像中的彩色条纹、阴影或噪点进行去除，保留第一图像中由橱窗内物品的成像构成的背景图像区，从而得到清晰的橱窗内物品图像。
本实施例提供的图像处理方法可以应用在多种场景中，例如可以是在透过建筑物的玻璃拍摄室内物品时，去除玻璃上的反射影像，得到清晰的室内图像；也可以是在透过车窗拍摄车内环境时，去除车窗上的反射影像，得到清晰的车内图像；还可以是透过其他场景中的玻璃或其他类似介质拍摄对象，并经处理后得到所需对象的清晰图像，在此不作一一列举。下面以将本图像处理方法应用在对行驶中的车辆进行拍照和处理的场景中进行具体描述。
实施例一
图1为本发明实施例一提供的图像处理方法的流程图，如图1所示，本发明实施例一提供的图像处理方法包括：
S100：获取一帧抓拍单元采集的车辆的爆闪图像；
在步骤S100中，利用抓拍单元采集车辆上车窗区域的爆闪图像，其中，本实施例所指的车窗区域包括车辆的挡风玻璃、侧面玻璃、天窗以及其他可能的透明区域。具体地，抓拍单元可以采集连续的多帧爆闪图像，也可以只采集一帧爆闪图像。当采集多帧爆闪图像时，可以选用其中的一帧爆闪图像。
在本实施例中，采集一帧爆闪图像即可。需要说明的是，爆闪图像还可以称为抓拍帧，抓拍帧是独立于抓拍单元所拍摄的视频流之外的一帧，通过打断视频流的方式来获取。具体地，抓拍单元采集当车辆从远方驶向抓拍单元所在位置或者车辆从抓拍单元所在位置驶向远方的视频流，当现场可编程逻辑门阵列(Field Programmable Gate Array，简称为FPGA)接收到抓拍信号时，FPGA对寄存器进行设置，并根据抓拍信号确定接下来将要进行抓拍的时间，在抓拍时间将视频流打断进行抓拍，抓拍到一帧图像，这一帧即为抓拍帧，即本实施例中的爆闪图像。
S200：对爆闪图像进行图像增强处理，得到第一图像；
在步骤S200中，利用图像增强单元对采集到的该帧爆闪图像进行图像增强处理，图像增强处理具体可以包括图像信号处理(Image Signal Processing，简称ISP)和对比度增强处理，ISP主要用于对抓拍单元中图像传感器输出的爆闪图像的图像信号进行处理，得到初始图像后经过对比度增强处理得到RGB图像。
ISP具体可以包括传感器矫正、色彩矫正以及降噪等处理方式，其中，传感器矫正可以对爆闪图像进行初步矫正；色彩矫正可以对爆闪图像的色彩进行矫正，还原出真实色彩；降噪处理用于去除爆闪图像所受到的来自成像设备和/或外部环境噪声的干扰产生的影响。
本实施例对爆闪图像依次进行上述处理以及对比度增强处理后，能够得到RGB图像，即第一图像。
需要说明的是，本实施例中第一图像包括反射图像区和背景图像区，其中，反射图像区为抓拍单元拍摄到的车窗上的反射物形成的图像区域；背景图像区为抓拍单元透过车窗拍摄到的车内环境图像的图像区域，通常包括如车辆内饰、安全带、人体特征(如人脸、动作、形态)等形成的图像。反射图像区上存在因反射物和车窗玻璃自身反光所形成的彩色条纹、阴影等干扰因素，反射图像区的存在干扰了背景图像区图像的清晰度，导致第一图像中的车内环境不清晰。
S300：去除第一图像中的反射图像区，得到透过车窗区域拍摄到的车内环境图像。
在步骤S300中，本实施例通过将第一图像中的反射图像区去除，留下第一图像中的背景图像区，从而输出清晰的车内环境图像。
具体地，由于第一图像中反射图像区和背景图像区的图像梯度分布不同，且背景图像区的图像梯度信息比反射图像区的图像梯度信息更丰富，所以可以通过在频域中构造损失函数来去除反射图像区的数据，从而留下背景图像区的数据，获得清晰的车内环境图像。需要说明的是，本实施例中，反射图像区或背景图像区的图像梯度指的是：当把图像看成一个二维离散函数时，对这个二维离散函数的求导即为该图像的图像梯度。
在一个具体的实施例中，构造损失函数的具体过程可以为：
首先，图像成像反射模型为：
式(1)中，I(x)表示原图像，LB(x)表示背景图像，LR(x)表示反射图像，h表示高斯卷积核。
根据式(1)，以及背景图像区与反射图像区梯度分布不同，反射图像区分布相对于背景图像区分布更加平滑，故反射图像区的梯度值较少，可知：
反射图像区分布为
背景图像区分布为
其中，x表示背景图像区、反射图像区的梯度值。
假定背景图像区、反射图像区是相互独立的，两者的联合概率分布为：
P(L1,L2)＝P(L1)*P(L2) (2)
通过最大化联合概率P(L1,L2)值，求解反射图像区和背景图像区。
为方便计算求解，取对数可知：
min{-log(P(L1,L2))}∝max{P(L1,L2)} (3)
对L1，L2进行梯度滤波后，反射图像区和背景图像区仍相互独立，采用x方向、y方向的一阶梯度算子：f1＝[-1,1]，f2＝[-1,1]T；
拉普拉斯二阶梯度算子
简单记
故式(3)可以表示为：
式(4)中，i表示图像中像素索引位置，j表示三种不同的梯度滤波核。
由式(1)可知：L2＝I-L1，利用半正定方法求解非凸方程，并引入辅助变量
得到目标损失函数为：
进一步地，在一种可能的实现方式中，去除第一图像中的反射图像区输出车内环境图像具体包括：
S310：按照图像梯度信息的分布识别出第一图像中的反射图像区；
在上述实施方式的基础上，第一图像包括反射图像区和背景图像区，而背景图像区的梯度信息与反射图像区的梯度分布不同，因此，本实施例中识别第一图像中反射图像区的方式可以是通过反射图像区的梯度信息进行识别，具体可以利用反射模型求解出反射图像区，反射模型具体为Lr＝I–Lb，上式中：I表示原图像，Lb表示背景图像区图像，Lr表示反射图像区图像。
S320：从第一图像中去除表示反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像。
进一步地，如图2所示，在一种可能的实现方式中，从第一图像中去除表示反射图像区的数据，输出车内环境图像具体包括：对第一图像的数据进行处理得到混合频段图像的数据流Tf，利用迭代优化的方法将混合频段图像的数据流Tf中反射图像区的数据去除，留下背景图像区的数据，从而输出车内环境图像。
具体步骤如下：
S321：对第一图像的数据做高斯卷积，得到第一数据；第一数据是高斯卷积后得到的，具体地，根据图像成像的反射模型，可知反射图像区在图像的最外层，故对第一图像的数据(以下称T1)做高斯卷积，得到T2＝gaussian_filter(T1)；二维高斯滤波函数：
S322：对第一数据中的一阶梯度算子和二阶拉普拉斯(以下称Laplase)算子作频域转换处理，计算出混合频段归一化向量De；具体地，对一阶梯度算子x方向、y方向以及二阶Laplase算子，做频域转换处理，计算混合频段归一化向量
其中，∈＝1*e-7，β＝50，λ＝2k-1*5,K＝1,2,3，k为迭代次数；
表示傅里叶变换。
S323：在频域对第一数据作高频提取，得到高频特征图的数据流Tg；本步骤中
S324：在频域对第一数据作梯度处理和阈值过滤处理后，变换到频域得到梯度特征图的数据流Tt；
S325：根据Tg、Tt和De，计算得到混合频段图像的数据流Tf；具体地，
进一步地，求出Tf的傅里叶逆变换，即
S326：利用迭代优化的方法解非凸方程，当非凸方程的目标值小于阈值后，停止迭代，输出透过车辆的玻璃拍摄到的车内环境图像。
本步骤中，利用迭代优化的方法解非凸方程，方程具体为：
进一步地，在去除反射图像区之前，需要对得到的爆闪图像进行图像处理，以便于提高图像的亮度，增强图像的对比度，优化图像的色调，减少图像中可能影响后续反射图像区和背景图像区识别的噪点等因素，以提高后续的反射图像区去除效率。
本实施例中对爆闪图像进行图像增强处理后得到第一图像具体包括：
S210：对爆闪图像进行传感器矫正、拜耳插值处理、色彩矫正还原处理以及降噪处理，得到RGB图像；
S220：对RGB图像做对比度增强处理和低通滤波处理，得到第一图像。
进一步地，在上述处理过程中，对爆闪图像进行传感器矫正至少包括以下其中一种矫正方式：
对爆闪图像进行黑电平矫正、坏点矫正、绿平衡处理和数字增益处理。
具体地，对爆闪图像进行传感器矫正主要是对传感器输出的数据做初步矫正。其中，黑电平矫正主要用于减去传感器输出的初始拜耳数据上的偏移量，还原线性数据；坏点矫正主要用于对传感器输出的图像上的瑕疵点、坏点进行矫正，上述瑕疵点、坏点指的是图像中过亮、过暗或者与周围点的差异较大的点；绿平衡矫正主要用于矫正拜耳数据中Gr、Gb两个通道的数据，使其达到数值平衡；数字增益主要将自动曝光计算出的数字增益与爆闪图像的图像数据相乘，确保图像亮度输出在合适范围内。
进一步地，在上述处理过程中，对爆闪图像进行色彩矫正还原处理具体包括：
对爆闪图像进行白平衡处理以矫正偏色；
对爆闪图像进行色彩校正处理以去除伪色。
具体地，本实施例中白平衡(White Balance，简称WB)处理是通过计算RGB通道的数字增益，对爆闪图像的偏色进行矫正，使爆闪图像的色调表现为既不偏暖也不偏冷的中间色调。
色彩矫正可以通过卷积运算去除伪色，还原真实色彩。具体地，图像传感器所输出的拜耳数据在经过插值、白平衡之后，呈现的色彩一般比较平淡，色调不够准确，红色偏橙，饱和度偏低。通过色彩校正处理，能够使各种图像传感器所呈现的色彩趋于一致，色调准确，色彩生动活泼，与人眼对颜色的主观感受几乎相同。
进一步地，在一种可能的实现方式中，抓拍单元可以为单目相机。采用单目相机对车窗区域的图像进行采集，可以采集到车窗区域的爆闪图像。
进一步地，在一种可能的实现方式中，去除第一图像中的反射图像区并输出车内环境图像的步骤之后，还包括：
S400：对车内环境图像进行图像增强处理。
在去除第一图像中的反射图像区并输出车内环境图像后，还可以继续对输出的车内环境图像进行处理，具体可以包括对车内环境图像进行降噪、提亮等图像增强处理方式。具体地，可以通过构造一个提亮函数曲线来进行提亮。
综上所述，本发明实施例一提供的图像处理方法中，从抓拍单元采集到的车窗区域的爆闪图像中选取任意一帧爆闪图像，并对该帧爆闪图像进行增强处理，经去除其中的反射图像区后输出车内环境图像，从而得到清晰的监控图像。本发明实施例一提供的图像处理方法中，由于去除了因车窗区域的反射物或附着物等产生的彩色条纹或阴影，提高了图像中车内环境的清晰度，便于对车内人脸等客体的图像进行辨识，解决了监控采集到的行驶中车辆的车内环境图像不清晰的问题。
实施例二
本发明实施例二提供一种图像处理装置，该图像处理装置包括抓拍单元、图像增强处理单元和反射图像区去除单元，抓拍单元用于采集图像；图像增强处理单元用于获取一帧初始图像，并对初始图像进行图像增强处理，得到第一图像；反射图像区去除单元用于去除第一图像中的反射图像区，并输出透过玻璃拍摄到的物体的图像，反射图像区为玻璃上的反射物形成的图像区域。
本实施例提供的图像处理装置可以应用在多种场景中，例如可以应用在透过建筑物的玻璃拍摄室内物品，对拍摄到的物品图像进行处理；又如可以应用在透过车窗拍摄车内环境，对拍摄到的车内图像进行处理；以及其他透过玻璃或其他类似介质进行拍摄的场景，在此不作一一列举。
下面以对行驶中的车辆进行拍照和处理的图像处理装置为例进行描述，如图3所示，该图像处理装置包括：
抓拍单元，用于采集车窗区域的爆闪图像；具体地，抓拍单元可以为相机等具有摄像功能的设备。
图像增强处理单元，用于获取一帧爆闪图像，并对该爆闪图像进行图像增强处理，得到第一图像；
反射图像区去除单元，用于去除第一图像中的反射图像区，并输出车内环境图像，反射图像区为车窗上的反射物形成的图像区域。
本发明实施例提供的图像处理装置具有与本发明实施例一提供的图像处理方法相同的优点，在此不再赘述。
进一步地，在一种可能的实现方式中，图像增强处理单元包括图像信号处理模块、局部对比度增强模块和低通滤波模块。
图像信号处理模块用于对爆闪图像进行处理，得到RGB图像。具体地，图像信号处理模块可以包括能够实现传感器矫正、色彩矫正以及降噪功能的模块。
局部对比度增强模块用于增强RGB图像的亮度和对比度。具体地，局部对比度增强模块可以通过局部对比度增强算法，提高RGB图像的对比度以及亮度，进而提高图像质量，具体可以采用限制对比度直方图均衡化方法进行处理。本实施例中局部对比度增强模块是通过提高RGB图像的亮度与对比度，便于后续对图像中的反射图像区进行去除。
低通滤波模块用于对RGB图像作低通滤波处理。具体地，低通滤波模块用于对RGB图像进行轻微的低通滤波。
进一步地，在一种可能的实现方式中，图像信号处理模块包括：
传感器矫正单元，用于对爆闪图像做初步矫正；
色彩插值单元，用于根据初步矫正后的爆闪图像的拜耳数据，得到RGB初始图像；
色彩矫正还原单元，用于对RGB初始图像进行色彩矫正；
降噪单元，用于对色彩矫正后的RGB初始图像进行降噪。
进一步地，在一种可能的实现方式中，图像处理装置还包括亮度增强单元，用于提亮车内环境图像。具体地，可以通过构造一个提亮函数曲线对车内环境图像进行提亮。
此外，在亮度增强单元后还可以设置有一个图像信号处理单元，用于进一步对输出的车内环境图像降噪和提亮，使最终得到的车内环境图像更加清晰。
实施例三
本发明实施例三提供的图像处理系统包括：单目相机，单目相机用于采集图像；包括与单目相机通信连接的处理器，该处理器用于获取一帧初始图像，并对初始图像进行图像增强处理以得到第一图像；以及去除第一图像中的反射图像区并输出透过玻璃拍摄到的物体的图像，反射图像区为玻璃上的反射物形成的图像区域。与实施例二提供的图像处理装置相应地，本实施例提供的图像处理系统也可以应用在多种场景中。
下面以对行驶中的车辆进行拍照和处理的图像处理系统为例进行描述。图4为本发明实施例提供的图像处理系统应用在道路监控中的示意图，如图4所示，本发明实施例提供的图像处理系统包括：
单目相机10，用于采集车窗区域的爆闪图像；其中，图像处理系统设置在车道50上，车辆行驶方向40所示的方向为车辆驶向图像处理系统的方向。图像处理系统包括支架杆，单目相机10设置在支架杆上。此外，图像处理系统还包括与单目相机10配合设置的闪光灯20以及雷达30。
与单目相机10通信连接的处理器，处理器用于获取爆闪图像；及对爆闪图像进行图像增强处理并得到第一图像；以及
去除第一图像中的反射图像区并输出车内环境图像，反射图像区为车窗上的反射物形成的图像区域。
本发明实施例提供的图像处理系统具有与本发明实施例一提供的图像处理方法相同的优点，在此不再赘述。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
获取一帧图像，并对所述图像进行图像增强处理，得到第一图像，所述第一图像包括反射图像区和背景图像区，所述反射图像区包括玻璃上的反射物形成的图像区域，所述背景图像区包括透过玻璃拍摄到的物体形成的图像区域；
去除所述第一图像中的所述反射图像区，得到透过玻璃拍摄到的物体的图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像为拍摄车辆得到的爆闪图像，去除所述第一图像中的所述反射图像区，得到透过玻璃拍摄到的物体的图像具体包括：
按照图像梯度信息的分布识别出所述第一图像中的反射图像区；
从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像。
3.根据权利要求2所述的图像处理方法，其特征在于，从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像具体包括：
对所述第一图像的数据进行处理得到混合频段图像的数据流Tf，利用迭代的方法将所述混合频段图像的数据流Tf中所述反射图像区的数据去除，留下所述背景图像区的数据，输出所述车内环境图像。
4.根据权利要求3所述的图像处理方法，其特征在于，从所述第一图像中去除表示所述反射图像区的数据，输出透过车辆的玻璃拍摄到的车内环境图像具体包括：
对所述第一图像的数据做高斯卷积，得到第一数据；
对所述第一数据中的一阶梯度算子和二阶拉普拉斯算子作频域转换处理，计算出混合频段归一化向量De；
在频域对所述第一数据作高频提取，得到高频特征图的数据流Tg；
在频域对所述第一数据作梯度处理和阈值过滤处理后，得到梯度特征图的数据流Tt；
根据Tg、Tt和De，计算得到混合频段图像的数据流Tf；
利用迭代优化的方法解非凸方程，当所述非凸方程的目标值小于阈值后，停止迭代，输出所述车内环境图像。
5.根据权利要求1所述的图像处理方法，其特征在于，对所述图像进行图像增强处理，得到第一图像具体包括：
对所述图像进行传感器矫正、拜耳插值处理、色彩矫正还原处理以及降噪处理，得到RGB图像；
对所述RGB图像做对比度增强处理和低通滤波处理，得到所述第一图像。
6.根据权利要求5所述的图像处理方法，其特征在于，对所述图像进行传感器矫正包括以下至少之一：黑电平矫正、坏点矫正、绿平衡处理和数字增益处理；
对所述图像进行色彩矫正还原处理包括白平衡处理以矫正偏色和色彩校正处理以去除伪色。
7.一种图像处理装置，其特征在于，包括：
抓拍单元，用于采集图像；
图像增强处理单元，用于获取一帧初始图像，并对所述初始图像进行图像增强处理，得到第一图像；
反射图像区去除单元，用于去除所述第一图像中的反射图像区，并输出透过玻璃拍摄到的物体的图像，所述反射图像区为玻璃上的反射物形成的图像区域。
8.根据权利要求7所述的图像处理装置，其特征在于，所述抓拍单元用于采集车辆的爆闪图像，所述初始图像为所述图像增强处理单元获取到的车窗区域的爆闪图像；
所述反射图像区去除单元用于去除所述第一图像中的反射图像区，并输出车内环境图像，所述反射图像区为车窗上的反射物形成的图像区域。
9.根据权利要求8所述的图像处理装置，其特征在于，所述图像增强处理单元包括：
图像信号处理模块，用于对所述爆闪图像进行处理，得到RGB图像；
局部对比度增强模块，用于增强所述RGB图像的亮度和对比度；
低通滤波模块，用于对所述RGB图像作低通滤波处理。
10.根据权利要求9所述的图像处理装置，其特征在于，所述图像信号处理模块包括：
传感器矫正单元，用于对所述爆闪图像做初步矫正；
色彩插值单元，用于根据初步矫正后的所述爆闪图像的拜耳数据，得到RGB初始图像；
色彩矫正还原单元，用于对所述RGB初始图像进行色彩矫正；
降噪单元，用于对色彩矫正后的所述RGB初始图像进行降噪。
11.根据权利要求10所述的图像处理装置，其特征在于，还包括亮度增强单元，用于增加所述车内环境图像的亮度。
12.一种图像处理系统，其特征在于，包括：
单目相机，用于采集图像；
与所述单目相机通信连接的处理器，所述处理器用于获取一帧初始图像；及对所述初始图像进行图像增强处理并得到第一图像；以及
去除所述第一图像中的反射图像区并输出透过玻璃拍摄到的物体的图像，所述反射图像区为玻璃上的反射物形成的图像区域。
13.根据权利要求12所述的图像处理系统，其特征在于，所述单目相机用于采集车辆的爆闪图像；所述初始图像为所述处理器获取到的车窗区域的爆闪图像；所述处理器用于去除所述第一图像中的反射图像区并输出车内环境图像，所述反射图像区为车窗上的反射物形成的图像区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170313.7A CN113395436A (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、图像处理装置及图像处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170313.7A CN113395436A (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、图像处理装置及图像处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113395436A true CN113395436A (zh) | 2021-09-14 |
Family
ID=77615619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010170313.7A Pending CN113395436A (zh) | 2020-03-12 | 2020-03-12 | 图像处理方法、图像处理装置及图像处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113395436A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739946A (zh) * | 2012-06-01 | 2012-10-17 | 清华大学 | 一种车载或机载图像采集与重构方法及使用该方法的系统 |
| CN103481824A (zh) * | 2012-06-12 | 2014-01-01 | 现代自动车株式会社 | 用于从成像装置图像中去除反射光的装置和方法 |
| CN104091317A (zh) * | 2014-06-03 | 2014-10-08 | 天津大学 | 一种夜景图像窗户镜面反射效应去除方法 |
| CN108197523A (zh) * | 2017-05-15 | 2018-06-22 | 武汉光庭科技有限公司 | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 |
| WO2020001222A1 (zh) * | 2018-06-29 | 2020-01-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
-
2020
- 2020-03-12 CN CN202010170313.7A patent/CN113395436A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739946A (zh) * | 2012-06-01 | 2012-10-17 | 清华大学 | 一种车载或机载图像采集与重构方法及使用该方法的系统 |
| CN103481824A (zh) * | 2012-06-12 | 2014-01-01 | 现代自动车株式会社 | 用于从成像装置图像中去除反射光的装置和方法 |
| CN104091317A (zh) * | 2014-06-03 | 2014-10-08 | 天津大学 | 一种夜景图像窗户镜面反射效应去除方法 |
| CN108197523A (zh) * | 2017-05-15 | 2018-06-22 | 武汉光庭科技有限公司 | 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统 |
| WO2020001222A1 (zh) * | 2018-06-29 | 2020-01-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 吕成凤: "数字图像镜面反射去除及修复算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767289B (zh) | 图像融合方法、装置、介质及电子设备 | |
| KR101901602B1 (ko) | 디지털 사진에서 노이즈를 제거하는 장치 및 방법 | |
| TWI607901B (zh) | 影像修補系統及其方法 | |
| WO2020238970A1 (zh) | 图像降噪装置及图像降噪方法 | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| CN110246087B (zh) | 参考多通道的多分辨率去除图像色度噪声的系统和方法 | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| CN111986129A (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
| CN111860120B (zh) | 车载相机自动遮挡检测方法和装置 | |
| CN106412448B (zh) | 一种基于单帧图像的宽动态范围处理方法与系统 | |
| CN111742545A (zh) | 曝光控制方法、装置与可移动平台 | |
| TW202226141A (zh) | 圖像去霧方法和使用圖像去霧方法的圖像去霧設備 | |
| CN111917991B (zh) | 图像的质量控制方法、装置、设备及存储介质 | |
| CN114127784A (zh) | 用于生成相机流的掩模的方法、计算机程序产品和计算机可读介质 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN111815556A (zh) | 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 | |
| CN111833367A (zh) | 一种图像处理方法、装置、车辆及存储介质 | |
| CN114187192A (zh) | 一种基于多曝光融合的图像处理方法 | |
| CN111491103B (zh) | 一种图像亮度的调节方法、监控设备及存储介质 | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| CN113395436A (zh) | 图像处理方法、图像处理装置及图像处理系统 | |
| CN103595933A (zh) | 一种图像的降噪方法 | |
| JP2018074191A (ja) | 車載映像表示システム、車載映像表示方法、およびプログラム | |
| CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |
|
| RJ01 | Rejection of invention patent application after publication |