CN112907701A - 获取图像的方法、装置、计算机设备和存储介质 - Google Patents

获取图像的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112907701A
CN112907701A CN201911135731.6A CN201911135731A CN112907701A CN 112907701 A CN112907701 A CN 112907701A CN 201911135731 A CN201911135731 A CN 201911135731A CN 112907701 A CN112907701 A CN 112907701A
Authority
CN
China
Prior art keywords
image
reflection
information
area
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911135731.6A
Other languages
English (en)
Other versions
CN112907701B (zh
Inventor
徐舜渊
范蒙
叶鹏钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911135731.6A priority Critical patent/CN112907701B/zh
Publication of CN112907701A publication Critical patent/CN112907701A/zh
Application granted granted Critical
Publication of CN112907701B publication Critical patent/CN112907701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种获取图像的方法、装置、计算机设备和存储介质,属于视频监控技术领域。本申请实施例提供的一种获取图像的方法,通过摄像设备的第一摄像头采集目标对象的第一图像和通过该摄像设备的第二摄像头在补光条件下抓拍该目标对象的第二图像,在第一图像中确定该目标对象的指定区域对应的第一目标区域,以及在第二图像中确定该指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。该方法根据第一目标区域的反射区域信息对第二目标区域进行去反射处理,得到无反射的第三图像,提高了图像的清晰度。

Description

获取图像的方法、装置、计算机设备和存储介质
技术领域
本申请涉及视频监控技术领域。特别涉及一种获取图像的方法、装置、计算机设备和存储介质。
背景技术
随着视频监控技术的发展,视频监控系统可以应用到道路监控中。在对道路监控过程中,尤其是在对交通卡口的监控过程中,视频监控系统可以对通过该交通卡口的车辆进行监控,记录车辆通过的信息。
相关技术中摄像设备通过采集图像,计算机设备根据摄像设备采集的图像识别车辆中的人、物体等,确定车辆中的人是否存在违章操作。但由于车辆内外环境光亮度的差异以及车辆的车窗玻璃的性质,在采集图像时车窗区域可能会存在强烈的反射,进而形成反射区域。
而当该图像中车窗区域存在反射时,该图像的清晰度差,计算机设备无法从该图像中识别出该车辆中的人、物体等。
发明内容
本申请实施例提供了一种获取图像的方法、装置、计算机设备和存储介质,能够解决图像中车窗区域存在反射,图像清晰度差的问题。所述技术方案如下:
一方面,提供了一种获取图像的方法,所述方法包括:
在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过所述摄像设备的第二摄像头在补光条件下抓拍所述目标对象的第二图像,所述第一图像为从所述第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或所述第一摄像头抓拍的一帧图像,所述摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器;
在所述第一图像中确定所述目标对象的指定区域对应的第一目标区域,以及在所述第二图像中确定所述指定区域对应的第二目标区域;
基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射处理,得到第三图像。
另一方面,提供了一种获取图像的装置,所述装置包括:
采集模块,用于在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过所述摄像设备的第二摄像头在补光条件下抓拍所述目标对象的第二图像,所述第一图像为从所述第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或所述第一摄像头抓拍的一帧图像,所述摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器;
第一确定模块,用于在所述第一图像中确定所述目标对象的指定区域对应的第一目标区域,以及在所述第二图像中确定所述指定区域对应的第二目标区域;
去反射模块,用于基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射处理,得到第三图像。
另一方面,提供了一种计算机设备,所述计算机设备包括:
处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述获取图像的方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述获取图像的方法中所执行的操作。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例提供的一种获取图像的方法,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过该摄像设备的第二摄像头在补光条件下抓拍该目标对象的第二图像;在第一图像中确定目标对象的指定区域对应的第一目标区域,以及在第二图像中确定该指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。该方法根据第一图像中第一目标区域的反射区域信息,对第二图像中的第二目标区域进行去反射处理,从而得到无反射的第三图像,提高了图像的清晰度。
附图说明
图1是本申请实施例提供的一种获取图像的应用场景的示意图;
图2是本申请实施例提供的另一种获取图像的应用场景的示意图;
图3是本申请实施例提供的一种获取图像的方法的流程图;
图4是本申请实施例提供的一种获取图像的方法的流程图;
图5是本申请实施例提供的一种爆闪灯的示意图;
图6是本申请实施例提供的一种第一图像和第二图像之间间隔一个补光时长的示意图;
图7是本申请实施例提供的一种双目相机的示意图;
图8是本申请实施例提供的一种双目相机中一个摄像头的图像传感器输出第一图像,另一个摄像头的图像传感器输出第二图像的示意图;
图9是本申请实施例提供的一种确定配准矩阵的示意图;
图10是本申请实施例提供的一种第一图像中的梯度信息和第二图像中的梯度信息的示意图;
图11是本申请实施例提供的一种图像增强的示意图;
图12是本申请实施例提供的另一种图像增强的示意图;
图13是本申请实施例提供的一种获取图像的装置的结构示意图;
图14是本申请实施例提供的一种计算机设备的结构框图。
具体实施方式
为使本申请的技术方案和优点更加清楚,下面对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种获取图像的应用场景,参见图1,该应用场景包括:摄像设备101和计算机设备102。摄像设备101和计算机设备102之间可以通过无线或有线连接。摄像设备101具有两个摄像头,每个摄像头包括镜头和图像传感器,用于对指定场所的监控区域103进行监控,采集或抓拍目标对象的图像,向计算机设备102发送采集或抓拍到的图像,或者监控视频流。目标对象可以为监控区域103中过往的车辆,也可以为其他带有玻璃窗的移动物件。计算机设备102用于接收摄像设备101发送的图像或者监控视频流。根据该图像或者监控视频流,对该图像中有反射的图像或者监控视频流中有反射的图像进行去反射处理,得到无反射的图像。其中,当摄像设备向计算机设备发送监控视频流时,该监控视频流包括第一监控视频流和第二监控视频流,第一监控视频流为第一摄像头采集图像得到的视频流,第二监控视频流为第二摄像头抓拍图像得到的视频流。且第一摄像头采集的图像为无补光的图像,第二摄像头抓拍的图像为有补光的图像。该指定场所可以为交通、收费站或者治安检查站等卡口。该监控区域103可以为指定场所中的全部或部分区域。例如,当指定场所为交通卡口时,该监控区域103可以为交通卡口附近一定范围内的道路区域,参见图2。摄像设备101对该监控区域103可以实时监控,也可以在指定时间段内监控。在本申请实施例中,对此不作具体限定。
摄像设备101对监控区域103进行监控的过程中,可以采集或抓拍在该监控区域103中过往车辆的图像。但当环境光线较暗时,摄像设备101抓拍到的图像的亮度较暗,图像不清楚,这时还需进行补光。相应的,该实施环境还包括:第一补光设备。该第一补光设备和摄像设备101以及计算机设备102之间可以通过无线或有线连接。该第一补光设备可以为爆闪灯,用于在摄像设备101抓拍目标对象时同步进行补光,增加抓拍得到的图像的亮度。其中,第一补光设备补充的光主要为可见光。但是,由于车辆内外环境光亮度的差异以及车辆的车窗玻璃的性质,摄像设备101抓拍到的图像中车窗区域可能存在强烈的反射,导致计算机设备102无法识别出车辆中的人、物体等,也就无法对该违章操作的车辆进行记录、处罚。
而本申请实施例中,计算机设备102通过获取摄像设备101的第一摄像头采集目标对象的第一图像,以及通过摄像设备101的第二摄像头在补光条件下抓拍目标对象的第二图像;在第一图像中确定目标对应的指定区域对应的第一目标区域,在第二图像中确定目标对象的指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,从而得到无反射的第三图像,提高了图像的清晰度,进而计算机设备可以对该无反射的第三图像中的指定区域进行识别。
在一种可能的实现方式中,该计算机设备102可以为服务器,也可以为终端。当计算机设备102为终端,且摄像设备101向终端发送第一监控视频流和第二监控视频流时,终端接收该第一监控视频流和第二监控视频流,从第一监控视频流中抽取无补光的第一图像,以及从第二监控视频流中抽取有补光的第二图像,然后对第二图像进行去反射处理,得到有补光无反射的第三图像,显示该第三图像。当该计算机设备102为服务器,且摄像设备101向服务器发送第一监控视频流和第二监控视频流时,该应用场景还包括:终端。摄像设备101向服务器发送第一监控视频流和第二监控视频流,服务器接收第一监控视频流和第二监控视频流,从第一监控视频流中抽取无补光的第一图像,从第二监控视频流中抽取有补光的第二图像,然后对第二图像进行去反射处理,向终端发送去反射处理的第三图像,终端接收服务器发送的第三图像,显示该第三图像。在本申请实施例中,以计算机设备102为服务器为例进行说明。
本申请实施例提供了一种获取图像的方法,参见图3,该方法包括:
步骤301:在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过摄像设备的第二摄像头在补光条件下抓拍目标对象的第二图像,第一图像为从第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或第一摄像头抓拍的一帧图像,摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器。
步骤302:在第一图像中确定目标对象的指定区域对应的第一目标区域,以及在第二图像中确定指定区域对应的第二目标区域。
步骤303:基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。
在一种可能的实现方式中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过摄像设备的第二摄像头在补光条件下抓拍目标对象的第二图像,包括:
接收摄像设备发送的第一监控视频流和第二监控视频流,第二监控视频流为第二摄像头抓拍图像得到的视频流;
从第二监控视频流中抽取第二摄像头在补光条件下抓拍的第二图像,以及根据第二图像在第二监控视频流中的时间戳,从第一监控视频流中抽取第一图像,第一图像为第二图像之前的一帧图像或者为第二图像之后的一帧图像。
在另一种可能的实现方式中,根据第二图像在第二监控视频流中的时间戳,从第一监控视频流中抽取第一图像,包括:
根据第二图像在第二监控视频流中的时间戳,在第一监控视频流中抽取第二图像之前指定时长或者之后指定时长的一帧图像,将抽取的一帧图像作为第一图像,指定时长不小于补光条件下的一个补光时长。
在另一种可能的实现方式中,第二图像的第一曝光时长不小于第一图像的第二曝光时长的一半,且第一曝光时长不大于第二曝光时长。
在另一种可能的实现方式中,第二摄像头抓拍的第二图像的分辨率大于或等于第一摄像头采集的第一图像的分辨率。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像,包括:
基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息;
基于第二目标区域中反射区域去反射后的区域信息,对第二目标区域进行图像重建,得到第三图像。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息之前,方法还包括:
确定第一目标区域中反射区域在指定频率下对应的第一频域信息;
将第一频域信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息之前,方法还包括:
提取第一目标区域中反射区域的结构信息和纹理信息;
将结构信息和纹理信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息之前,方法还包括:
基于反射样本图像和无反射样本图像进行模型训练,得到深度学习网络模型;
基于深度学习网络模型的网络参数,提取第一目标区域的反射区域信息。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息之前,方法还包括:
确定第一目标区域中反射区域的第一梯度信息;
将第一梯度信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息,包括:
确定第二目标区域中反射区域的第二梯度信息;
根据第一梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息;
将第三梯度信息作为第二目标区域中反射区域去反射后的区域信息。
在另一种可能的实现方式中,根据第一梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息,包括:
根据第一梯度信息中的第一水平梯度和第一垂直梯度,确定第一目标区域中反射区域的每个第一像素点的第一结构张量;
根据第二梯度信息中的第二水平梯度和第二垂直梯度,确定第二目标区域中的每个第二像素点的第二结构张量;
基于每个第一像素点的第一结构张量和每个第二像素点的第二结构张量,确定第一目标区域中反射区域的交叉扩散矩阵;
基于交叉扩散矩阵,对第二水平梯度和第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息;
根据第四梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息。
在另一种可能的实现方式中,基于交叉扩散矩阵,对第二水平梯度和第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息,包括:
通过交叉扩散矩阵,对第二水平梯度进行矩阵转换处理,得到第二目标区域的第四水平梯度;
通过交叉扩散矩阵,对第二垂直梯度进行矩阵转换处理,得到第二目标区域的第四垂直梯度;
将第四水平梯度和第四垂直梯度,组成第四梯度信息。
在另一种可能的实现方式中,根据第四梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息,包括:
确定第二水平梯度与第四梯度信息中的第四水平梯度的差值,得到第三水平梯度;
确定第二垂直梯度与第四梯度信息中的第四垂直梯度的差值,得到第三垂直梯度;
将第三水平梯度和第三垂直梯度,组成第三梯度信息。
在另一种可能的实现方式中,基于第二目标区域中反射区域去反射后的区域信息,对第二目标区域进行图像重建,得到第三图像,包括:
基于第三梯度信息,对第二目标区域进行图像重建,得到第四图像;
在第四图像中确定指定区域对应的第三目标区域;
根据第一梯度信息,对第四图像中的第三目标区域进行去反射处理,得到第三图像。
在另一种可能的实现方式中,目标对象为车辆,指定区域为车辆的车窗区域。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射,得到第三图像之前,方法还包括:
确定第一目标区域和第二目标区域之间的配准矩阵;
通过配准矩阵,将第一目标区域和第二目标区域进行配准。
在另一种可能的实现方式中,确定第一目标区域和第二目标区域之间的配准矩阵,包括:
对第一目标区域和第二目标区域进行车窗检测,分别得到第一车窗图像坐标和第二车窗图像坐标;
通过特征点算法,选择第一车窗图像坐标中的多个第一特征点,以及第二车窗图像坐标中的多个第二特征点;
将多个第一特征点和多个第二特征点进行配对,得到多个特征点对;
根据多个特征点对,确定配准矩阵。
在另一种可能的实现方式中,基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射,得到第三图像之后,方法还包括:
对第三图像进行图像增强处理和/或锐化降噪处理。
在另一种可能的实现方式中,方法还包括:
对第一目标区域进行图像预处理,以及对第二目标区域进行图像预处理;或者,
对配准后的第一目标区域进行图像预处理,以及对配准后的第二目标区域进行图像预处理。
本申请实施例提供的一种获取图像的方法,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过该摄像设备的第二摄像头在补光条件下抓拍该目标对象的第二图像;在第一图像中确定目标对象的指定区域对应的第一目标区域,以及在第二图像中确定该指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。该方法根据第一图像中第一目标区域的反射区域信息,对第二图像中的第二目标区域进行去反射处理,从而得到无反射的第三图像,提高了图像的清晰度。
本申请实施例提供了一种获取图像的方法,应用于计算机设备,参见图4,该方法包括:
步骤401:在视频监控过程中,计算机设备通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过该摄像设备的第二摄像头在补光条件下抓拍目标对象的第二图像。
在本步骤中,第一图像为从第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或该第一摄像头抓拍的一帧图像,该摄像设备具有两个摄像头,分别为第一摄像头和第二摄像头。该摄像设备可以为双目相机。计算机设备和摄像设备之间可以通过无线连接,也可以有线连接。另外,该目标对象可以为车辆,也可以是其他带有玻璃窗的移动物件。
在一种可能的实现方式中,计算机设备获取第一图像和第二图像的步骤可以为:计算机设备接收摄像设备发送的第一监控视频流和第二监控视频流,第二监控视频流为第二摄像头抓拍图像得到的视频流;从第二监控视频流中抽取第二摄像头在补光条件下抓拍的第二图像,以及根据第二图像在第二监控视频流中的时间戳,从第一监控视频流中抽取第一图像;该第一图像为第二图像之前的一帧图像或者为第二图像之后的一帧图像。
在一种可能的实现方式中,摄像设备可以在检测到有目标对象通过时,向第一补光设备发送补光指令,该补光指令用于指示第一补光设备在摄像设备的第二摄像头对目标对象抓拍的同时,同步进行补光。第一补光设备接收该补光指令,在摄像设备的第二摄像头对该目标对象抓拍的同时,进行补光,从而提高抓拍得到的第二图像的亮度。在另一种可能的实现方式中,计算机设备可以同时向摄像设备发送抓拍指令以及向第一补光设备发送补光指令。摄像设备接收该抓拍指令,通过第二摄像头对当前通过的目标对象进行抓拍。第一补光设备接收该补光指令,在摄像设备的第二摄像头抓拍的同时,同步进行补光。
该第一补光设备可以为爆闪灯。爆闪灯是针对超速抓拍、治安卡口、电子警察等系统开发的放电补光灯,摄像设备和爆闪灯之间可以通过无线连接,摄像设备可以向爆闪灯发送补光指令,指示爆闪灯在摄像设备的第二摄像头对目标对象抓拍的同时,同步进行补光,从而抓拍得到有补光的第二图像。其中,爆闪灯可以为气体爆闪灯或者LED(LightEmitting Diode,发光二极管)爆闪灯,形状参见图5,在本申请实施例中,对爆闪灯不作具体限定。
在一种可能的实现方式中,摄像设备中包括拍摄单元、逻辑控制单元、自动曝光单元、曝光寄存单元和图像传感单元,该拍摄单元包括两个摄像头,分别为第一摄像头和第二摄像头,第一摄像头和第二摄像头分别包括一个镜头和一个图像传感器。计算机设备通过摄像设备的第二摄像头和第一补光设备在补光条件下抓拍目标对象,得到第二图像的过程可以为:计算机设备向逻辑控制单元发送抓拍指令,逻辑控制单元收到抓拍指令后,确定下一帧采集的图像为抓拍帧图像,自动触发抓拍操作。自动曝光单元基于图像设置的亮度,确定抓拍时的光圈大小、曝光时间和曝光增益,对抓拍帧图像进行单独曝光。拍摄单元将自动曝光单元得到的曝光增益和曝光寄存器值发送给逻辑控制单元,逻辑控制单元根据曝光增益和曝光寄存器值对曝光寄存单元进行设置,同时,计算机设备会输出补光指令给第一补光设备。第一补光设备设置曝光参数,然后使能图像传感单元,图像传感单元根据光照和曝光参数产生并输出图像。在下一帧开始时,拍摄单元中的第二摄像头对目标对象进行抓拍,同时第一补光设备同步进行补光,从而得到有补光的第二图像。
在一种可能的实现方式中,第一图像可以为计算机设备从第一监控视频流中抽取的一帧图像,也可以为摄像设备的第一摄像头抓拍的一帧图像。当第一图像为计算机设备从第一监控视频流中抽取的一帧图像时,该图像可以为第二图像之前的任一帧图像,也可以为第二图像之后的任一帧图像。在本申请实施例中,以第一图像为第二图像之前指定时长或者之后指定时长的一帧图像为例进行说明。相应的,该步骤可以为:计算机设备根据第二图像在第二监控视频流中的时间戳,在第一监控视频流中抽取第二图像之前指定时长或者之后指定时长的一帧图像,将抽取的一帧图像作为该第一图像,该指定时长不小于补光条件下的一个补光时长。
当第一图像为摄像设备的第一摄像头抓拍的一帧图像时,该步骤可以为:计算机设备仅向摄像设备发送抓拍指令,摄像设备接收该抓拍指令,通过第一摄像头对当前通过的目标对象进行抓拍,得到第一图像。在本申请实施例中,对此不作具体限定。
需要说明的一点是,从第一监控视频流中抽取第一图像时,第一图像和第二图像之间的时间间隔越小越好,避免引入大的形变,造成误差较大。同时,两者之间还需存在指定时长的时间间隔,避免第二摄像头在补光条件下抓拍第二图像时,第一补光设备的能量落在错误的时间内,从而保证第一摄像头采集的第一图像中不包括第一补光设备的图像数据。因此,在本申请实施例中,以第一图像和第二图像之间间隔一个补光时长为例进行说明。该一个补光时长可以根据需要进行设置并更改,例如,该一个补光时长为8ms、9ms或者10ms。参见图6,图6为摄像设备先通过第一摄像头采集第一图像,间隔一个补光时长后,通过第二摄像头抓拍第二图像的示意图。
在一种可能的实现方式中,摄像设备通过第一摄像采集第一图像,以及通过第二摄像头抓拍第二图像时,第一图像的曝光时长和第二图像的曝光时长由摄像设备计算得到。其中,第二图像的第一曝光时长不小于第一图像的第二曝光时长的一半,且第一曝光时长不大于第二曝光时长。例如,第一曝光时长为T1,第二曝光时长为T2,则1/2T2≤T1≤T2
在一种可能的实现方式中,摄像设备的第二摄像头抓拍的第二图像的分辨率大于或等于第一摄像头采集的第一图像的分辨率。另外,第二摄像头中摄像镜头的焦距和第一摄像头中摄像镜头的焦距可以相同或者不同。当两者不同时,第二摄像头中摄像镜头的焦距可以大于第一摄像头中摄像镜头的焦距,从而通过调整第二摄像头中摄像镜头的焦距可以对第二图像中的指定区域进行更高倍数的放大显示,有利于对第二图像的识别。
由于第一图像中没有爆闪灯补光,因此,第一图像是在正常光照的环境下获得的图像。第一图像的光照包含但不限于以下几种光源:日光、环境灯光、环境反射光、交通设备杆上的第二补光设备的光照。而第二图像中有爆闪灯补光,第二图像中的光照包含但不限于以下几种光源:日光、环境灯光、环境反射光、交通设备杆上的第二补光设备的光照以及第一补光设备的补光。另外,摄像设备中的第二摄像头只有在需要抓拍目标对象的时候才会抓拍第二图像,因此,摄像设备中输出第二图像的图像传感器输出的图像数据为不连续的数据。
在一种可能的实现方式中,该摄像设备可以为双目相机。双目相机具有两个摄像头,每个摄像头包括镜头和图像传感器,形状参见图7。由于双目相机有两个摄像头,其中一个摄像头可以采集第一图像,该摄像头对应的图像传感器正常输出第一图像的图像数据;另一个摄像头可以抓拍第二图像,该摄像头对应的图像传感器则输出第二图像的图像数据。参见图8,图8为双目相机中的一个摄像头的图像传感器输出第一图像,另一个摄像头的图像传感器输出第二图像的示意图。从图8中可以看出:输出第一图像的图像传感器连续输出第一图像,而输出第二图像的图像传感器则间歇性地输出第二图像。
步骤402:计算机设备在第一图像中确定目标对象的指定区域对应的第一目标区域,以及,在第二图像中确定指定区域对应的第二目标区域。
该目标对象为车辆,该指定区域为车辆的车窗区域。相应的,本步骤为:计算机设备在第一图像中确定该车辆的车窗区域对应的第一目标区域,以及,在第二图像确定该车辆的车窗区域对应的第二目标区域。
在一种可能的实现方式中,计算机设备可以通过车窗检测模型对第一图像和第二图像中的目标对象进行车窗检测,从第一图像确定车窗区域对应的第一目标区域,以及,从第二图像中确定车窗区域对应的第二目标区域。
其中,该车窗检测模型可以为计算机设备通过深度学习框架训练得到的检测模型。本步骤中,针对道路行驶车辆的车窗检测,计算机设备通过车窗检测模型,将车窗检测问题转化为图像中的目标检测。另外,该车窗检测模型还可以检测车窗图像坐标,参见步骤403。
步骤403:计算机设备确定第一目标区域和第二目标区域之间的配准矩阵。
本步骤可以通过以下步骤(1)至(4)实现,包括:
(1)计算机设备对第一目标区域和第二目标区域进行车窗检测,分别得到第一车窗图像坐标和第二车窗图像坐标。
本步骤中,计算机设备可以继续通过车窗检测模型分别对第一目标区域和第二目标区域进行车窗检测,从而分别得到第一车窗图像坐标和第二车窗图像坐标。
在本申请实施例中,利用深度学习框架进行车窗目标检测,通过点位采集真实的车窗图像数据,构建车窗检测训练数据集,不断优化训练,通过大量样本图像验证了检测的可行性。其中,该第一车窗图像坐标和第二车窗图像坐标均可以为使用智能算法得到的车窗梯形四个角的图像坐标,以及包含车窗的最小矩形的图像坐标。
(2)计算机设备通过特征点算法,选择第一车窗图像坐标中的多个第一特征点,以及第二车窗图像坐标中的多个第二特征点。
本步骤中的特征点算法可以为Sift算法、Kaze算法、Fast算法和Surf算法等。在本申请实施例中,对特征点算法不作具体限定。例如,计算机设备通过Fast算法选取多个第一特征点和多个第二特征点。以计算机设备通过Fast算法选取第二图像中的多个第一特征点为例进行说明。计算机设备在第一车窗图像坐标中选择像素p,该像素的灰度值为Ip。计算机设备设定第二阈值T,例如第二阈值T为Ip的30%。计算机设备选择像素p周围半径为3的圆上的16个像素作为比较像素。当选取的圆上有连续的N个像素大于Ip+T或者Ip-T,则可以认为像素p为一个特征点。其中N可以为9、11或者12。计算机设备按照上述步骤逐个确定特征点,最终从第一车窗图像坐标中选取得到多个第一特征点。
相应的,计算机设备通过Fast算法从第二车窗图像坐标中选择多个第二特征点的过程和上述过程相似,在此不再赘述。
(3)计算机设备将多个第一特征点和多个第二特征点进行配对,得到多个特征点对。
特征点主要包含两个部分:特征点的提取和特征点的描述。特征点的提取主要是指特征点的位置,特征点的描述主要是特征描述子。步骤(2)中主要是特征点的提取,而本步骤中计算机设备在第一车窗图像坐标中提取到多个第一特征点以及在第二车窗图像坐标中提取到多个第二特征点后,将多个第一特征点和多个第二特征点进行匹配。为了能够使特征点更有效的匹配,通常用特征描述子来描述特征点及其周围的信息。两个特征描述子之间的距离可以反映出其相似的程度,即特征点是否匹配。例如,本步骤中计算机设备可以从多个第一特征点中选取一个第一特征点,确定该第一特征点的特征描述子和多个第二特征点的特征描述子之间的多个距离,然后从多个距离中选取距离最小的特征描述子对应的第二特征点,将该第二特征点与该第一特征点配对,得到一个特征点对。
计算机设备通过上述方法将多个第一特征点和多个第二特征点进行配对,得到多个特征点对。
(4)计算机设备根据多个特征点对,确定配准矩阵。
计算机设备根据得到的多个特征点对,确定该多个特征点对的位置坐标;根据该位置坐标,计算得到配准矩阵。参见图9。
需要说明的一点是,由于计算机设备不是同时采集得到第一图像和第二图像,第一图像和第二图像之间存在时间间隔,在实际道路监控过程中车辆可能已经经过较大的位移,所以计算机设备对配准矩阵需要进行标定,将第二目标区域中的位置坐标通过标定的配准矩阵转换到第一目标区域所对应的位置坐标或者将第一目标区域中的位置坐标通过标定的配准矩阵转换到第二目标区域所对应的位置坐标,从而避免引入大的形变,影响配准的准确率。但计算机设备对配准矩阵的标定在架设设备时标定一次即可,不需要实时标定,简化了流程并且降低了摄像设备的带宽。
步骤404:计算机设备通过配准矩阵,将第一目标区域和第二目标区域进行配准。
本步骤中,计算机设备可以以第一图像的第一目标区域为参照,将第二图像的第二目标区域通过该配准矩阵进行坐标变换,从而将第一目标区域与第二目标区域进行配准;
在一种可能的实现方式中,计算机设备以第一目标区域为参照,将第二目标区域的坐标通过配准矩阵进行转换的过程为:计算机设备从第二目标区域中选取任一像素点,确定该像素点的坐标,也即配准前的坐标(x1,y1),将该坐标(x1,y1)通过齐次坐标(x',y',z')进行转换,该坐标和齐次坐标之间的关系为:
Figure BDA0002279546890000141
而该齐次坐标为配准矩阵和该像素点经配准后的坐标(x,y)的乘积,参见如下公式。
Figure BDA0002279546890000151
其中,(x,y)为配准后的坐标,(x1,y1)为配准前的坐标,
Figure BDA0002279546890000152
为配准矩阵,(x',y',z')为齐次坐标,通过该齐次坐标可以将第二目标区域的二维坐标(x,y)转换为三维坐标(x,y,1)。
因此,根据配准后的坐标(x,y)与齐次坐标(x',y',z')之间的关系以及配准前的坐标(x1,y1)与齐次坐标(x',y',z')之间的关系,可以反推得到该像素点配准后的坐标(x,y),进而对第二目标区域中的其他像素点进行配准。其中,该像素点配准后的坐标与该像素点在第一目标区域中的坐标相同。
计算机设备也可以以第二目标区域为参照,将第一目标区域通过该配准矩阵进行坐标变换,将变换后的第一目标区域与第二目标区域进行配准。在一种可能的实现方式中,计算机设备也可以从第一目标区域中选取任一像素点,确定该像素点配准前的坐标,然后根据配准前的坐标与齐次坐标之间的关系,以及配准后的坐标与齐次坐标之间的关系,对该像素点进行配准。该过程和计算机设备以第一目标区域为参照,将第二目标区域通过配准矩阵进行坐标的过程相似,也可以为在此不再赘述。
本步骤中,计算机设备对第一目标区域和第二目标区域进行了配准,配准后得到相同特征坐标位置的有补光的第二图像和无补光的第一图像。
需要说明的一点是,计算机设备通过步骤402-404得到了具有相同特征坐标位置的第一图像和第二图像,然后执行步骤405,确定第二目标区域中反射区域去反射后的区域信息。
其中,计算机设备执行完步骤404后,可以直接执行步骤405,也即基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理;或者,计算机设备执行完步骤404后,对配准后的第一目标区域以及第二目标区域进行图像预处理,然后执行步骤405;或者,计算机设备在执行步骤403之前,对第一目标区域以及第二目标区域进行图像预处理。在本申请实施例中,对此不作具体限定。
在一种可能的实现方式中,当计算机设备在执行步骤403之前,对第一目标区域以及对第二目标区域进行图像预处理时,该步骤可以为:计算机设备对第一目标区域进行图像预处理,以及对第二目标区域进行图像预处理。
在另一种可能的实现方式中,计算机设备也可以在本步骤之后,在执行步骤405之前,对配准后的第一目标区域和第二目标区域进行图像预处理时,该步骤可以为:计算机设备对配准后的第一目标区域进行图像预处理,以及对配准后的第二目标区域进行图像预处理。在本申请实施例中,对计算机设备进行图像预处理的时机不作具体限定。
在一种可能的实现方式中,图像预处理可以包括ISP(Image Signal Processing,图像信号处理)操作和Gamma(伽玛)校正操作。其中,计算机执行ISP操作和Gamma校正操作的顺序可以根据需要进行设置并更改,在本申请实施例中,对此不作具体限定。例如,计算机设备可以先执行ISP操作,再执行Gamma校正操作。
综上,计算机设备可以先执行步骤402,然后执行ISP操作和Gamma校正操作,最后执行步骤403;或者,计算机设备先执行步骤402和403,然后执行ISP操作和Gamma校正操作;或者,计算机设备先执行步骤402,然后执行ISP操作和Gamma校正操作,最后执行步骤403;或者,计算机设备先执行步骤402,然后执行ISP操作,再执行步骤403,最后执行Gamma校正操作。在本申请实施例中,对此不作具体限定。
其中,ISP操作主要包括传感器校正操作、插值操作和色彩校正操作。传感器校正操作主要是对传感器输出的图像做一些初步地校正,主要包含BLC(Black LevelCorrection,黑电平校正)、DPC(Defect Pixel Correction,坏点校正)、绿平衡和数字增益四个部分。BLC主要用于减去对应的偏移量,还原出原始的线性数据,以便后续各种处理。DPC主要用于对传感器的坏点进行校正。坏点一般指在图像中表现为过暗或过量的点,其与周围像素点的响应率差异较大。绿平衡主要用于校正与红色分量相邻的绿色分量G1和与蓝色分量相邻的绿色分量G2两个通道的失衡。数字增益主要用于将自动曝光计算得出的增益值与图像相乘,保持图像在合适亮度范围。插值操作主要用于实现Bayer(拜耳)图像数据到RGB(红绿蓝三原色)图像数据的转换,主要方法采用梯度插值法。色彩校正操作主要包括白平衡、色彩校正、曲线映射和去伪彩四部分。白平衡主要用于根据输入的RGB增益,对图像数据进行白平衡处理,校正偏色,使图像呈现为既不偏冷也不偏暖的中性色调。色彩校正主要用于校正图像中存在的偏色,即通过卷积色彩矩阵的方式,实现真实色彩的还原。Gamma校正操作主要用于通过曲线映射方式,使输出图像具有合适的亮度,且符合人眼主观效果。
步骤405:计算机设备基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息。
在一种可能的实现方式中,第一目标区域的反射区域信息可以为第一目标区域中反射区域的第一梯度信息,可以为第一目标区域中反射区域在指定频率下的第一频域信息,可以为第一目标区域中反射区域的结构信息和纹理信息,也可以为计算机设备基于深度学习网络模型的网络参数得到的。在本申请实施例中,对此不作具体限定。
在一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域的第一梯度信息时,步骤405可以通过以下步骤(1)至(3)实现,包括:
(1)计算机设备确定第二目标区域中反射区域的第二梯度信息。
本步骤中,计算机设备可以提取第二目标区域中反射区域的水平梯度,得到第二水平梯度,以及提取第二目标区域中反射区域的垂直梯度,得到第二垂直梯度;将该第二水平梯度和第二垂直梯度组成该第二目标区域中反射区域的第二梯度信息。
本步骤中,计算机设备可以通过阶差分的方法分别提取第一目标区域的水平梯度和垂直梯度,以及第二目标区域的水平梯度和垂直梯度。该阶差分可以为一阶差分、二阶差分等。在本申请实施例中,对此不作具体限定。
(2)计算机设备根据第一梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息。
本步骤可以通过以下步骤(2-1)至(2-5)实现,包括:
(2-1)计算机设备根据第一梯度信息中的第一水平梯度和第一垂直梯度,确定第一目标区域中反射区域的每个第一像素点的第一结构张量。
结构张量是关于图像的结构矩阵,与图像的水平梯度和垂直梯度有关。参见以下公式一。
公式一:
Figure BDA0002279546890000171
其中,A为第一结构张量,Ix和Iy分别表示第一水平梯度和第一垂直梯度,IxIy表示第一水平梯度和第一垂直梯度的乘积。
第一目标区域的反射区域中包括多个第一像素点,计算机设备根据第一水平梯度和第一垂直梯度,通过公式一反推得到得到每个第一像素点的第一结构张量。
(2-2)计算机设备根据第二梯度信息中的第二水平梯度和第二垂直梯度,确定第二目标区域中的每个第二像素点的第二结构张量。
本步骤和步骤(2-1)相似,在此不再赘述。计算机设备根据第二水平梯度和第二垂直梯度,反推得到每个第二像素点的第二结构张量。
(2-3)计算机设备基于每个第一像素点的第一结构张量和每个第二像素点的第二结构张量,确定第一目标区域中反射区域的交叉扩散矩阵。
本步骤可以通过以下步骤(A1)至(A4)实现,包括:
(A1)计算机设备基于每个第一像素点的第一结构张量,确定每个第一像素点的第一特征值。
第一结构张量为二阶矩阵
Figure BDA0002279546890000181
该二阶矩阵可以用A表示。如果存在数λ和非零列向量x使关系式Ax=λx成立,则λ为A的特征值,非零列向量x则为A的对应于特征值λ的特征向量。计算机设备根据第一像素点的第一结构张量,得到第一像素点的第一特征值。
(A2)计算机设备基于每个第二像素点的第二结构张量,确定每个第二像素点的第二结构张量的第二特征值、第一特征向量和第二特征向量。
第二结构张量和第一结构张量相同,均为二阶矩阵。计算机设备通过上述方法确定第二像素点的第二特征值、第一特征向量和第二特征向量。本步骤和步骤(A2)相似,在此不再赘述。
(A3)对于每个第二像素点,当第二像素点的第二特征值大于第一阈值时,将第二像素点的第一特征向量置零;当第二像素点的第二特征值以及第二像素点对应的第一像素点的第一特征值均小于第一阈值时,将第二像素点的第一特征向量和第二特征向量去除。
第二目标区域中存在多个第二像素点,对于每个第二像素点,当该第二像素点的第二特征值大于第一阈值时,将该第二像素点对应的第一特征向量置零。当该第二像素点的第二特征值以及该第二像素点对应的第一像素点的第一特征值均小于第一阈值时,将该第二像素点的第一特征向量和第二特征向量去除。计算机设备通过上述方法对第二目标区域中的多个第二像素点进行筛选,将满足上述条件的第二像素点对应的第一特征向量和第二特征向量保留,将不满足上述条件的第二像素点的第一特征向量和第二特征向量置零或者去除,得到筛选后的第一特征向量和第二特征向量。
(A4)计算机设备将筛选后的第一特征向量和筛选后的第二特征向量,组成交叉扩散矩阵。
本步骤中计算机设备将步骤(A3)中筛选得到的第一特征向量和第二特征向量组成交叉扩散矩阵,该交叉扩散矩阵和结构张量相似,均为二阶矩阵。
(2-4)计算机设备基于交叉扩散矩阵,对第二水平梯度和第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息。
计算机设备通过摄像设备抓拍第二图像时,由于车辆内外环境光亮度的差异以及车辆的车窗玻璃的性质,会在第二图像中形成反射光线,反射光线的梯度信息和非反射光线的梯度信息不同。计算机设备根据交叉扩散矩阵,可以得到反射光线对应的梯度信息,也即第四梯度信息。
本步骤可以通过以下步骤(B1)至(B3)实现,包括:
(B1)计算机设备通过该交叉扩散矩阵,对第二水平梯度进行矩阵转换处理,得到第二目标区域的第四水平梯度。
计算机设备将第二水平梯度与交叉扩散矩阵相乘,得到第二目标区域的第四水平梯度。
(B2)计算机设备通过该交叉扩散矩阵,对第二垂直梯度进行矩阵转换处理,得到第二目标区域的第四垂直梯度。
计算机设备将第二垂直梯度与交叉扩散矩阵相乘,得到第二目标区域区域的第四垂直梯度。
(B3)计算机设备将第四水平梯度和第四垂直梯度,组成第四梯度信息。
梯度信息由水平梯度和垂直梯度组成,计算机设备将步骤(B1)得到的第四水平梯度和步骤(B2)得到的第四垂直梯度,组成第四梯度信息。
(2-5)计算机设备根据第四梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息。
第二目标区域中的第二梯度信息包括反射光线的梯度信息和非反射光线的梯度信息,其中,第四梯度信息为反射光线的梯度信息。则非反射光线的梯度信息为第二梯度信息和第四梯度信息的差值。相应的,本步骤可以为:
计算机设备确定第二水平梯度与第四梯度信息中第四水平梯度的差值,得到第三水平梯度;计算机设备确定第二垂直梯度与第四梯度信息中第四垂直梯度的差值,得到第三垂直梯度;也即第三水平梯度为第二水平梯度减去第四水平梯度,第三垂直梯度为第二垂直梯度减去第四垂直梯度。计算机设备将第三水平梯度和第三垂直梯度,组成第三梯度信息。
(3)计算机设备将第三梯度信息作为第二目标区域中反射区域去反射后的区域信息。
在一些示例性实施例中,当第二图像中不包含反射时,第二图像和第一图像应该有着相同的梯度方向,参见图10。当第二图像中不包含反射时,第二图像的梯度信息
Figure BDA0002279546890000201
和第一图像的梯度信息
Figure BDA0002279546890000202
的方向相同。而第二图像中包含反射时,第二图像的梯度信息为
Figure BDA0002279546890000203
梯度信息的方向发生变化,计算机设备通过执行步骤405,得到第二图像中第二目标区域无反射的梯度信息。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域在指定频率下的频域信息时,步骤405可以为:计算机设备通过DCT(DiscreteCosine Transform,离散余弦变换)、小波变换和/或含脊波变换的小波变换方式对第一目标区域中的反射区域以及第二目标区域中的反射区域进行变换,分别得到第一目标区域中反射区域的第一频域信息和第二目标区域中反射区域的第二频域信息;确定第二频域信息和第一频域信息的差值,得到第三频域信息;通过指定的带通滤波器透过指定频率下对应的频域信息,过滤其他频率下对应的频域信息,将透过指定频率下对应的频域信息转换为空域信息,转换后的空域信息即为第二目标区域中反射区域去反射后的区域信息。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域的结构信息和纹理信息时,步骤405可以为:计算机设备通过计算第一目标区域中反射区域的自相关数据、灰度共生矩阵和/或矩信息提取第一目标区域中反射区域的结构信息和纹理信息以及第二目标区域中反射区域的结构信息和纹理信息;确定第二目标区域中反射区域的结构信息和第一目标区域中反射区域的结构信息的差值,以及确定第二目标区域中反射区域的纹理信息和第一目标区域中反射区域的纹理信息的差值;将结构信息的差值对应的结构信息和纹理信息的差值对应的纹理信息作为第二目标区域中反射区域去反射后的区域信息。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为计算机设备基于深度学习网络模型的网络参数得到的时,步骤405可以为:计算机设备将第一目标区域的反射区域输入该深度学习网络模型,根据该模型的网络参数得到第一目标区域的反射区域信息;计算机设备将第二目标区域的反射区域输入该深度学习网络模型,根据该模型的网络参数得到第二目标区域的反射区域信息;确定第二目标区域的反射区域信息和第一目标区域的反射区域信息之间的差值,将该差值对应的区域信息作为第二目标区域中反射区域去反射后的区域信息。
需要说明的一点是,在本步骤之前,计算机设备确定第一目标区域的反射区域信息。
在一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域的第一梯度信息时,该步骤可以为:计算机设备确定第一目标区域中反射区域的第一梯度信息;将该第一梯度信息作为第一目标区域的反射区域信息。
其中,梯度信息由水平梯度和垂直梯度组成。该实现方式中,计算机设备可以提取第一目标区域中反射区域的水平梯度,得到第一水平梯度,以及提取第一目标区域中反射区域的垂直梯度,得到第一垂直梯度;将该第一水平梯度和第一垂直梯度组成该第一目标区域中反射区域的第一梯度信息。其中,计算机设备可以通过阶差分的方法提取第一目标区域中反射区域的水平梯度和垂直梯度。该阶差分可以为一阶差分、二阶差分等。在本申请实施例中,对此不作具体限定。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域在指定频率下的频域信息时,该步骤可以为:计算机设备确定第一目标区域中反射区域在指定频率下对应的第一频域信息;将该第一频域信息作为第一目标区域的反射区域信息。
需要说明的一点是,第一目标区域中存在反射区域和无反射区域,反射区域和无反射区域在频域上可以通过特定的频率区别开。该实现方式中,计算机设备可以通过DCT、小波变换、含脊波变换的小波变换等方式对第一目标区域中反射区域进行变换,然后再通过指定的带通滤波器过滤,透过指定频率下的波,得到第一频域信息。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为第一目标区域中反射区域的结构信息和纹理信息时,该步骤可以为:计算机设备提取第一目标区域中反射区域的结构信息和纹理信息;将该结构信息和纹理信息作为第一目标区域的反射区域信息。
反射区域是由一定的纹理和结构形成的,在该实现方式中,计算机设备可以通过计算第一目标区域的自相关数据、灰度共生矩阵、矩阵信息等提取第一目标区域中反射区域的纹理信息和结构信息。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为计算机设备基于深度学习网络模型的网络参数得到的时,该步骤可以为:计算机设备基于反射样本图像和无反射样本图像进行模型训练,得到深度学习网络模型;基于深度学习网络模型的网络参数,提取第一目标区域的反射区域信息。
该实现方式中,计算机设备通过模型训练,得到深度学习网络模型。将第一目标区域的反射区域输入该模型中,基于该模型的网络参数,输出第一目标区域的反射区域信息。
步骤406:计算机设备基于第二目标区域中反射区域去反射后的区域信息,对第二目标区域进行图像重建,得到第三图像。
在一种可能的实现方式中,当第二目标区域中反射区域去反射后的区域信息为第三梯度信息时,步骤406可以为:计算机设备基于第三梯度信息,对第二目标区域进行图像重建,得到第三图像。
该实现方式中,计算机设备根据无反射的第三梯度信息,对第二目标区域进行图像重建,得到无反射有补光的第三图像,该第三图像为抓拍帧图像,且可以呈现出无反射的图像效果。
该实现方式中,计算机设备可以直接将重建得到的图像作为第三图像,也即以下第一种实现方式。计算机设备也可以将重建得到的图像再进行至少一次去反射处理,根据去反射处理得到的梯度信息,对目标区域进行图像重建,从而得到第三图像。其中,计算机设备可以设定去反射处理的次数,例如,1次,2次或,3次。在本申请实施例中,对此不作具体限定。当计算机设备设定去反射处理的次数为2时,计算机设备在根据第三梯度信息,对第二目标区域进行图像重建后,再进行一次去反射处理,也即以下第二种实现方式。
在第一种实现方式中,计算机设备可以通过求解泊松方程对第二目标区域进行图像重建,得到无反射有补光的第三图像。
在第二种实现方式中,计算机设备可以通过以下步骤得到第三图像:
(1)计算机设备基于第三梯度信息,对第二目标区域进行图像重建,得到第四图像。
本步骤和上述第一种实现方式相似,在此不再赘述。
(2)计算机设备在第四图像中确定指定区域对应的第三目标区域。
本步骤和步骤402相似,在此不再赘述。
(3)计算机设备根据第一梯度信息,对第四图像中的第三目标区域进行去反射处理,得到第三图像。
计算机设备确定第三目标区域的第五梯度信息,根据第一梯度信息,对第五梯度信息进行去反射处理,得到第六梯度信息。根据第六梯度信息,对第三目标区域进行图像重建,得到第三图像。
其中,计算机设备根据第一梯度,对第五梯度信息进行去反射处理的步骤和步骤405中根据第一梯度信息对第二梯度信息进行去反射处理的过程相似,在此不再赘述。计算机设备根据第六梯度信息,对第三目标区域进行图像重建的步骤和本步骤中的第一种实现方式相似,在此不再赘述。
在另一种可能的实现方式中,当第一目标区域的反射区域信息为第一频域信息、第一目标区域中反射区域的结构信息和纹理信息或者计算机设备基于深度学习网络模型的网络参数得到的时,计算机设备基于第二目标区域中反射区域去反射后的区域信息,对第二目标区域进行图像重建的过程与第一目标区域的反射区域信息为第一梯度信息时,计算机设备对第二目标区域进行图像重建的过程类似,在此不再赘述。
需要说明的一点是,本步骤中计算机设备执行完步骤406后,可以直接结束操作,对该第三图像中车辆的车窗区域进行识别,识别该车辆中的人、物等,确定该车辆中的人是否存在违章操作;计算机设备也可以执行完步骤406后,对第三图像进行图像增强处理和/或锐化降噪处理,然后结束操作,对该第三图像中车辆的车窗区域进行识别,识别该车辆中的人、物等,确定该车辆中的人是否存在违章操作。其中,计算机设备可以直接在执行完步骤406后,对第三图像进行图像增强处理,也即执行步骤407,然后结束操作;或者,计算机设备可以在执行完步骤406后,对第三图像进行锐化降噪处理,也即执行步骤408,然后结束操作;或者,计算机设备在执行完步骤406后,先对第三图像进行图像增强处理,然后在进行锐化降噪处理,也即先执行步骤407,再执行步骤408,然后结束操作。在本申请实施例中,对此不作具体限定。
其中,计算机设备通过对第三图像进行图像增强处理,可以提高图像的清晰度。计算机设备对第三图像进行锐化降噪处理,可以增强图像的画质感。
步骤407:计算机设备对第三图像进行图像增强处理。
本步骤中计算机设备可以通过任一图像增强的方法对第三图像进行图像增强处理。例如,计算机设备可以通过Retinex(视网膜大脑皮层理论)或者LTM(Local ToneMapping,局部色调映射)对第三图像进行图像增强处理。
在一种可能的实现方式中,计算机设备通过Retinex对第三图像进行图像增强处理的过程可以为:计算机设备求取可见光亮度,对该可见光亮度进行低频滤波,得到低频数据和高频数据,然后对该可见光亮度的低频数据进行增强,与原始的第三图像进行加权,再叠加上述的高频数据,通过色彩映射,得到图像增强后的第三图像,参见图11。
在另一种可能的实现方式中,计算机设备通过LTM对第三图像进行图像增强处理的过程可以为:计算机设备选取M*M的邻域,通过高斯平滑滤波算子得到每个像素点平滑后的光强。计算机设备输入图像数据,将该图像数据进行归一化。计算机设备对归一化后的图像数据,模拟OPL(Outer Plexiform Layer,外网层),进行第一次非线性处理;计算机设备输出第一次非线性处理后的图像数据,模拟IPL(Inner Plexiform Layer,内网层),进行第二次非线性处理;计算机设备将第二非线性处理得到的图像数据进行重新映射,得到图像增强后的第三图像,参见图12。
需要说明的一点是,计算机设备执行完步骤407后,可以直接结束操作;也可以执行完步骤407后,执行步骤408,对图像增强后的第三图像进行锐化降噪处理。
步骤408:计算机设备对第三图像进行锐化降噪处理。
锐化降噪处理主要包括图像锐化处理和3D降噪处理。图像锐化处理主要用于对第三图像的清晰度进行增强;3D降噪处理主要用于对图像序列进行空域和时域联合处理,降低噪声,计算机设备得到经锐化降噪处理后的第三图像,结束操作。
计算机设备得到经锐化降噪处理后的第三图像后,可以从该第三图像中的指定区域进行识别,也即对该第三图像中车辆的车窗区域进行识别,识别该车辆中的人、物等,确定该车辆中的人是否存在违章操作,进而确定是否进行处罚。
本申请实施例提供的一种获取图像的方法,计算机设备通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过该摄像设备的第二摄像头在补光条件下抓拍该目标对象的第二图像,在第一图像中确定该目标对象的指定区域对应的第一目标区域,以及在第二图像中确定该指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。该方法根据第一图像中第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,从而得到无反射的第三图像,提高了图像的清晰度。
本申请实施例提供了一种获取图像的装置,该装置应用在计算机设备中,用于执行上述获取图像的方法中计算机设备执行的步骤。该计算机设备可以是摄像设备本身,也可以是与摄像设备建立通信连接的外部设备。参见图13,该装置包括:
采集模块1301,用于在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过摄像设备的第二摄像头在补光条件下抓拍目标对象的第二图像,第一图像为从第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或第一摄像头抓拍的一帧图像,摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器;
第一确定模块1302,用于在第一图像中确定目标对象的指定区域对应的第一目标区域,以及在第二图像中确定指定区域对应的第二目标区域;
去反射模块1303,用于根据第一梯度信息,对第二图像中的第二目标区域进行去反射处理,得到第三图像。
在一种可能的实现方式中,采集模块1301,还用于接收摄像设备发送的第一监控视频流和第二监控视频流,第二监控视频流为第二摄像头抓拍图像得到的视频流;从第二监控视频流中抽取第二摄像头在补光条件下抓拍的第二图像,以及根据第二图像在第二监控视频流中的时间戳,从第一监控视频流中抽取第一图像,第一图像为第二图像之前的一帧图像或者为第二图像之后的一帧图像。
在另一种可能的实现方式中,采集模块1301,还用于根据第二图像在第二监控视频流中的时间戳,在第一监控视频流中抽取第二图像之前指定时长或者之后指定时长的一帧图像,将抽取的一帧图像作为第一图像,指定时长不小于补光条件下的一个补光时长。
在另一种可能的实现方式中,第二图像的第一曝光时长不小于第一图像的第二曝光时长的一半,且第一曝光时长不大于第二曝光时长。
在另一种可能的实现方式中,第二摄像头抓拍的第二图像的分辨率大于或等于第一摄像头采集的第一图像的分辨率。
在另一种可能的实现方式中,去反射模块1303,基于第一目标区域的反射区域信息,对第二目标区域进行去反射处理,得到第二目标区域中反射区域去反射后的区域信息;基于第二目标区域中反射区域去反射后的区域信息,对第二目标区域进行图像重建,得到第三图像。
在另一种可能的实现方式中,装置还包括:
第二确定模块,用于确定第一目标区域中反射区域在指定频率下对应的第一频域信息;将第一频域信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,装置还包括:
提取模块,用于提取第一目标区域中反射区域的结构信息和纹理信息;将结构信息和纹理信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,装置还包括:
训练模块,用于基于反射样本图像和无反射样本图像进行模型训练,得到深度学习网络模型;基于深度学习网络模型的网络参数,提取第一目标区域的反射区域信息。
在另一种可能的实现方式中,装置还包括:
第三确定模块,用于确定第一目标区域中反射区域的第一梯度信息;将第一梯度信息作为第一目标区域的反射区域信息。
在另一种可能的实现方式中,去反射模块1303,还用于确定第二目标区域中反射区域的第二梯度信息;根据第一梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息;将第三梯度信息作为第二目标区域中反射区域去反射后的区域信息。
在另一种可能的实现方式中,去反射模块1303,还用于根据第一梯度信息中的第一水平梯度和第一垂直梯度,确定第一目标区域中反射区域的每个第一像素点的第一结构张量;根据第二梯度信息中的第二水平梯度和第二垂直梯度,确定第二目标区域中的每个第二像素点的第二结构张量;基于每个第一像素点的第一结构张量和每个第二像素点的第二结构张量,确定第一目标区域中反射区域的交叉扩散矩阵;基于交叉扩散矩阵,对第二水平梯度和第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息;根据第四梯度信息,对第二梯度信息进行去反射处理,得到第三梯度信息。
在另一种可能的实现方式中,去反射模块1303,还用于通过交叉扩散矩阵,对第二水平梯度进行矩阵转换处理,得到第二目标区域的第四水平梯度;通过交叉扩散矩阵,对第二垂直梯度进行矩阵转换处理,得到第二目标区域的第四垂直梯度;将第四水平梯度和第四垂直梯度,组成第四梯度信息。
在另一种可能的实现方式中,去反射模块1303,还用于确定第二水平梯度与第四梯度信息中的第四水平梯度的差值,得到第三水平梯度;确定第二垂直梯度与第四梯度信息中的第四垂直梯度的差值,得到第三垂直梯度;将第三水平梯度和第三垂直梯度,组成第三梯度信息。
在另一种可能的实现方式中,去反射模块1303,还用于基于第三梯度信息,对第二目标区域进行图像重建,得到第四图像;在第四图像中确定指定区域对应的第三目标区域;根据第一梯度信息,对第四图像中的第三目标区域进行去反射处理,得到第三图像。
在另一种可能的实现方式中,目标对象为车辆,指定区域为车辆的车窗区域。
在另一种可能的实现方式中,装置还包括:
第四确定模块,用于确定第一目标区域和第二目标区域之间的配准矩阵;
配准模块,用于通过配准矩阵,将第一目标区域和第二目标区域进行配准。
在另一种可能的实现方式中,第四确定模块,还用于对第一目标区域和第二目标区域进行车窗检测,分别得到第一车窗图像坐标和第二车窗图像坐标;通过特征点算法,选择第一车窗图像坐标中的多个第一特征点,以及第二车窗图像坐标中的多个第二特征点;将多个第一特征点和多个第二特征点进行配对,得到多个特征点对;根据多个特征点对,确定配准矩阵。
在另一种可能的实现方式中,装置还包括:
处理模块,用于对第三图像进行图像增强处理和/或锐化降噪处理。
在另一种可能的实现方式中,装置还包括:
预处理模块,用于对第一目标区域进行图像预处理,以及对第二目标区域进行图像预处理;或者,对配准后的第一目标区域进行图像预处理,以及对配准后的第二目标区域进行图像预处理。
本申请实施例提供的一种获取图像的装置,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过该摄像设备的第二摄像头在补光条件下抓拍该目标对象的第二图像;在第一图像中确定目标对象的指定区域对应的第一目标区域,以及在第二图像中确定该指定区域对应的第二目标区域;基于第一目标区域的反射区域信息对第二图像中的第二目标区域进行去反射处理,得到第三图像。该方法根据第一图像中第一目标区域的反射区域信息,对第二图像中的第二目标区域进行去反射处理,从而得到无反射的第三图像,提高了图像的清晰度。
需要说明的是:上述实施例提供的获取图像的装置在获取图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的获取图像的装置与获取图像的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图14是本申请实施例提供的一种计算机设备1400的结构框图。该计算机设备1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)1401和一个或一个以上的存储器1402,其中,所述存储器1402中存储有至少一条程序代码,所述至少一条程序代码由所述处理器1401加载并执行,以实现上述各个方法实施例提供的方法。当然,该计算机设备1400还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备1400还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质应用于计算机设备,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行,以实现上述实施例的获取图像的方法中计算机设备所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅是为了便于本领域的技术人员理解本申请的技术方案,并不用以控制本申请。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (42)

1.一种获取图像的方法,其特征在于,所述方法包括:
在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过所述摄像设备的第二摄像头在补光条件下抓拍所述目标对象的第二图像,所述第一图像为从所述第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或所述第一摄像头抓拍的一帧图像,所述摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器;
在所述第一图像中确定所述目标对象的指定区域对应的第一目标区域,以及在所述第二图像中确定所述指定区域对应的第二目标区域;
基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射处理,得到第三图像。
2.根据权利要求1所述的方法,其特征在于,所述通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过所述摄像设备的第二摄像头在补光条件下抓拍所述目标对象的第二图像,包括:
接收所述摄像设备发送的所述第一监控视频流和第二监控视频流,所述第二监控视频流为所述第二摄像头抓拍图像得到的视频流;
从所述第二监控视频流中抽取所述第二摄像头在补光条件下抓拍的第二图像,以及根据所述第二图像在所述第二监控视频流中的时间戳,从所述第一监控视频流中抽取所述第一图像,所述第一图像为所述第二图像之前的一帧图像或者为所述第二图像之后的一帧图像。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第二图像在所述第二监控视频流中的时间戳,从所述第一监控视频流中抽取所述第一图像,包括:
根据所述第二图像在所述第二监控视频流中的时间戳,在所述第一监控视频流中抽取所述第二图像之前指定时长或者之后指定时长的一帧图像,将抽取的一帧图像作为所述第一图像,所述指定时长不小于补光条件下的一个补光时长。
4.根据权利要求1或2所述的方法,其特征在于,所述第二图像的第一曝光时长不小于所述第一图像的第二曝光时长的一半,且所述第一曝光时长不大于所述第二曝光时长。
5.根据权利要求1或2所述的方法,其特征在于,所述第二摄像头抓拍的所述第二图像的分辨率大于或等于所述第一摄像头采集的所述第一图像的分辨率。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射处理,得到第三图像,包括:
基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息;
基于所述第二目标区域中反射区域去反射后的区域信息,对所述第二目标区域进行图像重建,得到所述第三图像。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息之前,所述方法还包括:
确定所述第一目标区域中反射区域在指定频率下对应的第一频域信息;
将所述第一频域信息作为所述第一目标区域的反射区域信息。
8.根据权利要求6所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息之前,所述方法还包括:
提取所述第一目标区域中反射区域的结构信息和纹理信息;
将所述结构信息和所述纹理信息作为所述第一目标区域的反射区域信息。
9.根据权利要求6所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息之前,所述方法还包括:
基于反射样本图像和无反射样本图像进行模型训练,得到深度学习网络模型;
基于所述深度学习网络模型的网络参数,提取所述第一目标区域的反射区域信息。
10.根据权利要求6所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息之前,所述方法还包括:
确定所述第一目标区域中反射区域的第一梯度信息;
将所述第一梯度信息作为所述第一目标区域的反射区域信息。
11.根据权利要求10所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息,包括:
确定所述第二目标区域中反射区域的第二梯度信息;
根据所述第一梯度信息,对所述第二梯度信息进行去反射处理,得到第三梯度信息;
将所述第三梯度信息作为所述第二目标区域中反射区域去反射后的区域信息。
12.根据权利要求11所述的方法,其特征在于,所述根据所述第一梯度信息,对所述第二梯度信息进行去反射处理,得到第三梯度信息,包括:
根据所述第一梯度信息中的第一水平梯度和第一垂直梯度,确定所述第一目标区域中反射区域的每个第一像素点的第一结构张量;
根据所述第二梯度信息中的第二水平梯度和第二垂直梯度,确定所述第二目标区域中的每个第二像素点的第二结构张量;
基于所述每个第一像素点的第一结构张量和所述每个第二像素点的第二结构张量,确定所述第一目标区域中反射区域的交叉扩散矩阵;
基于所述交叉扩散矩阵,对所述第二水平梯度和所述第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息;
根据所述第四梯度信息,对所述第二梯度信息进行去反射处理,得到所述第三梯度信息。
13.根据权利要求12所述的方法,其特征在于,所述基于所述交叉扩散矩阵,对所述第二水平梯度和所述第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息,包括:
通过所述交叉扩散矩阵,对所述第二水平梯度进行矩阵转换处理,得到所述第二目标区域的第四水平梯度;
通过所述交叉扩散矩阵,对所述第二垂直梯度进行矩阵转换处理,得到所述第二目标区域的第四垂直梯度;
将所述第四水平梯度和所述第四垂直梯度,组成所述第四梯度信息。
14.根据权利要求12所述的方法,其特征在于,所述根据所述第四梯度信息,对所述第二梯度信息进行去反射处理,得到所述第三梯度信息,包括:
确定所述第二水平梯度与所述第四梯度信息中的第四水平梯度的差值,得到第三水平梯度;
确定所述第二垂直梯度与所述第四梯度信息中的第四垂直梯度的差值,得到第三垂直梯度;
将所述第三水平梯度和所述第三垂直梯度,组成所述第三梯度信息。
15.根据权利要求11所述的方法,其特征在于,所述基于所述第二目标区域中反射区域去反射后的区域信息,对所述第二目标区域进行图像重建,得到所述第三图像,包括:
基于所述第三梯度信息,对所述第二目标区域进行图像重建,得到第四图像;
在所述第四图像中确定所述指定区域对应的第三目标区域;
根据所述第一梯度信息,对所述第四图像中的所述第三目标区域进行去反射处理,得到所述第三图像。
16.根据权利要求1所述的方法,其特征在于,所述目标对象为车辆,所述指定区域为所述车辆的车窗区域。
17.根据权利要求16所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射,得到第三图像之前,所述方法还包括:
确定所述第一目标区域和所述第二目标区域之间的配准矩阵;
通过所述配准矩阵,将所述第一目标区域和所述第二目标区域进行配准。
18.根据权利要求17所述的方法,其特征在于,所述确定所述第一目标区域和所述第二目标区域之间的配准矩阵,包括:
对所述第一目标区域和所述第二目标区域进行车窗检测,分别得到第一车窗图像坐标和第二车窗图像坐标;
通过特征点算法,选择所述第一车窗图像坐标中的多个第一特征点,以及所述第二车窗图像坐标中的多个第二特征点;
将所述多个第一特征点和所述多个第二特征点进行配对,得到多个特征点对;
根据所述多个特征点对,确定所述配准矩阵。
19.根据权利要求1或17所述的方法,其特征在于,所述基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射,得到第三图像之后,所述方法还包括:
对所述第三图像进行图像增强处理和/或锐化降噪处理。
20.根据权利要求19所述的方法,其特征在于,所述方法还包括:
对所述第一目标区域进行图像预处理,以及对所述第二目标区域进行图像预处理;或者,
对配准后的第一目标区域进行图像预处理,以及对配准后的第二目标区域进行图像预处理。
21.一种获取图像的装置,其特征在于,所述装置包括:
采集模块,用于在视频监控过程中,通过摄像设备的第一摄像头采集目标对象的第一图像,以及通过所述摄像设备的第二摄像头在补光条件下抓拍所述目标对象的第二图像,所述第一图像为从所述第一摄像头采集图像得到的第一监控视频流中抽取的一帧图像或所述第一摄像头抓拍的一帧图像,所述摄像设备具有两个摄像头,每个摄像头包括镜头和图像传感器;
第一确定模块,用于在所述第一图像中确定所述目标对象的指定区域对应的第一目标区域,以及在所述第二图像中确定所述指定区域对应的第二目标区域;
去反射模块,用于基于所述第一目标区域的反射区域信息对所述第二图像中的第二目标区域进行去反射处理,得到第三图像。
22.根据权利要求21所述的装置,其特征在于,所述采集模块,还用于接收所述摄像设备发送的所述第一监控视频流和第二监控视频流,所述第二监控视频流为所述第二摄像头抓拍图像得到的视频流;从所述第二监控视频流中抽取所述第二摄像头在补光条件下抓拍的第二图像,以及根据所述第二图像在所述第二监控视频流中的时间戳,从所述第一监控视频流中抽取所述第一图像,所述第一图像为所述第二图像之前的一帧图像或者为所述第二图像之后的一帧图像。
23.根据权利要求21或22所述的装置,其特征在于,所述采集模块,还用于根据所述第二图像在所述第二监控视频流中的时间戳,在所述监控视频流中抽取所述第二图像之前指定时长或者之后指定时长的一帧图像,将抽取的一帧图像作为所述第一图像,所述指定时长不小于补光条件下的一个补光时长。
24.根据权利要求21或22所述的装置,其特征在于,所述第二图像的第一曝光时长不小于所述第一图像的第二曝光时长的一半,且所述第一曝光时长不大于所述第二曝光时长。
25.根据权利要求21或22所述的装置,其特征在于,所述第二摄像头抓拍的所述第二图像的分辨率大于或等于所述第一摄像头采集的所述第一图像的分辨率。
26.根据权利要求21所述的装置,其特征在于,所述去反射模块,基于所述第一目标区域的反射区域信息,对所述第二目标区域进行去反射处理,得到所述第二目标区域中反射区域去反射后的区域信息;基于所述第二目标区域中反射区域去反射后的区域信息,对所述第二目标区域进行图像重建,得到所述第三图像。
27.根据权利要求26所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于确定所述第一目标区域中反射区域在指定频率下对应的第一频域信息;将所述第一频域信息作为所述第一目标区域的反射区域信息。
28.根据权利要求26所述的装置,其特征在于,所述装置还包括:
提取模块,用于提取所述第一目标区域中反射区域的结构信息和纹理信息;将所述结构信息和所述纹理信息作为所述第一目标区域的反射区域信息。
29.根据权利要求26所述的装置,其特征在于,所述装置还包括:
训练模块,用于基于反射样本图像和无反射样本图像进行模型训练,得到深度学习网络模型;基于所述深度学习网络模型的网络参数,提取所述第一目标区域的反射区域信息。
30.根据权利要求26所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于确定所述第一目标区域中反射区域的第一梯度信息;将所述第一梯度信息作为所述第一目标区域的反射区域信息。
31.根据权利要求30所述的装置,其特征在于,所述去反射模块,还用于确定所述第二目标区域中反射区域的第二梯度信息;根据所述第一梯度信息,对所述第二梯度信息进行去反射处理,得到第三梯度信息;将所述第三梯度信息作为所述第二目标区域中反射区域去反射后的区域信息。
32.根据权利要求31所述的装置,其特征在于,所述去反射模块,还用于根据所述第一梯度信息中的第一水平梯度和第一垂直梯度,确定所述第一目标区域中反射区域的每个第一像素点的第一结构张量;根据所述第二梯度信息中的第二水平梯度和第二垂直梯度,确定所述第二目标区域中的每个第二像素点的第二结构张量;基于所述每个第一像素点的第一结构张量和所述每个第二像素点的第二结构张量,确定所述第一目标区域中反射区域的交叉扩散矩阵;基于所述交叉扩散矩阵,对所述第二水平梯度和所述第二垂直梯度进行矩阵转换,得到反射光线对应的第四梯度信息;根据所述第四梯度信息,对所述第二梯度信息进行去反射处理,得到所述第三梯度信息。
33.根据权利要求32所述的装置,其特征在于,所述去反射模块,还用于通过所述交叉扩散矩阵,对所述第二水平梯度进行矩阵转换处理,得到所述第二目标区域的第四水平梯度;通过所述交叉扩散矩阵,对所述第二垂直梯度进行矩阵转换处理,得到所述第二目标区域的第四垂直梯度;将所述第四水平梯度和所述第四垂直梯度,组成所述第四梯度信息。
34.根据权利要求32所述的装置,其特征在于,所述去反射模块,还用于确定所述第二水平梯度与所述第四梯度信息中的第四水平梯度的差值,得到第三水平梯度;确定所述第二垂直梯度与所述第四梯度信息中的第四垂直梯度的差值,得到第三垂直梯度;将所述第三水平梯度和所述第三垂直梯度,组成所述第三梯度信息。
35.根据权利要求31所述的装置,其特征在于,所述去反射模块,还用于基于所述第三梯度信息,对所述第二目标区域进行图像重建,得到第四图像;在所述第四图像中确定所述指定区域对应的第三目标区域;根据所述第一梯度信息,对所述第四图像中的所述第三目标区域进行去反射处理,得到所述第三图像。
36.根据权利要求21所述的装置,其特征在于,所述目标对象为车辆,所述指定区域为所述车辆的车窗区域。
37.根据权利要求36所述的装置,其特征在于,所述装置还包括:
第四确定模块,用于确定所述第一目标区域和所述第二目标区域之间的配准矩阵;
配准模块,用于通过所述配准矩阵,将所述第一目标区域和所述第二目标区域进行配准。
38.根据权利要求37所述的装置,其特征在于,所述第四确定模块,还用于对所述第一目标区域和所述第二目标区域进行车窗检测,分别得到第一车窗图像坐标和第二车窗图像坐标;通过特征点算法,选择所述第一车窗图像坐标中的多个第一特征点,以及所述第二车窗图像坐标中的多个第二特征点;将所述多个第一特征点和所述多个第二特征点进行配对,得到多个特征点对;根据所述多个特征点对,确定所述配准矩阵。
39.根据权利要求21或37所述的装置,其特征在于,所述装置还包括:
处理模块,用于对所述第三图像进行图像增强处理和/或锐化降噪处理。
40.根据权利要求39所述的装置,其特征在于,所述装置还包括:
预处理模块,用于对所述第一目标区域进行图像预处理,以及对所述第二目标区域进行图像预处理;或者,对配准后的第一目标区域进行图像预处理,以及对配准后的第二目标区域进行图像预处理。
41.一种计算机设备,其特征在于,所述计算机设备包括:
处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现权利要求1-20任一项所述的获取图像的方法。
42.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现权利要求1-20任一项所述的获取图像的方法。
CN201911135731.6A 2019-11-19 2019-11-19 获取图像的方法、装置、计算机设备和存储介质 Active CN112907701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911135731.6A CN112907701B (zh) 2019-11-19 2019-11-19 获取图像的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135731.6A CN112907701B (zh) 2019-11-19 2019-11-19 获取图像的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112907701A true CN112907701A (zh) 2021-06-04
CN112907701B CN112907701B (zh) 2022-08-05

Family

ID=76104215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911135731.6A Active CN112907701B (zh) 2019-11-19 2019-11-19 获取图像的方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112907701B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134678A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
CN103116885A (zh) * 2013-01-24 2013-05-22 天津大学 一种使用闪光灯图像的前景区域提取方法
JP2017129950A (ja) * 2016-01-19 2017-07-27 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
CN107464227A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
CN109194873A (zh) * 2018-10-29 2019-01-11 浙江大华技术股份有限公司 一种图像处理方法及装置
CN109788207A (zh) * 2019-01-30 2019-05-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
US20190236796A1 (en) * 2016-10-18 2019-08-01 Photonic Sensors & Algorithms, S.L. Device and method for obtaining distance information from views
CN110213501A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN110443766A (zh) * 2019-08-06 2019-11-12 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134678A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
CN103116885A (zh) * 2013-01-24 2013-05-22 天津大学 一种使用闪光灯图像的前景区域提取方法
JP2017129950A (ja) * 2016-01-19 2017-07-27 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US20190236796A1 (en) * 2016-10-18 2019-08-01 Photonic Sensors & Algorithms, S.L. Device and method for obtaining distance information from views
CN107464227A (zh) * 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
CN109194873A (zh) * 2018-10-29 2019-01-11 浙江大华技术股份有限公司 一种图像处理方法及装置
CN109788207A (zh) * 2019-01-30 2019-05-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN110213501A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN110443766A (zh) * 2019-08-06 2019-11-12 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIT AGRAWAL: "Removing Photography Artifacts using Gradient Projection and Flash-Exposure Sampling", 《ACM TRANSACTIONS ON GRAPHICS》 *
BYEONG-JU HAN等: "Glass Reflection Removal Using Co-Saliency-Based Image Alignment and Low-Rank Matrix Completion in Gradient Domain", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
SHENGFENG HE: "Saliency detection with flash or no-flash image pairs", 《ECCV2014》 *
刘林: "环保抓拍系统让开车再无爆闪光污染", 《人工智能》 *

Also Published As

Publication number Publication date
CN112907701B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
WO2020259118A1 (en) Method and device for image processing, method and device for training object detection model
CN111741211B (zh) 图像显示方法和设备
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2022042049A1 (zh) 图像融合方法、图像融合模型的训练方法和装置
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN111080724A (zh) 一种红外和可见光的融合方法
CN111402146A (zh) 图像处理方法以及图像处理装置
CN108055452A (zh) 图像处理方法、装置及设备
CN112396562A (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN206249426U (zh) 一种图像复原系统
Asmare et al. Image enhancement by fusion in contourlet transform
Junwu et al. An infrared and visible image fusion algorithm based on LSWT-NSST
Zhang et al. Image dehazing based on dark channel prior and brightness enhancement for agricultural remote sensing images from consumer-grade cameras
CN113781421A (zh) 基于水下的目标识别方法、装置及系统
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置
CN113936252A (zh) 基于视频监控的电瓶车智能管理系统及方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
CN112907454B (zh) 获取图像的方法、装置、计算机设备和存储介质
CN113067980A (zh) 图像采集方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant