CN104918019A - 一种能全天候同时看清车牌和车内人员的双目摄像机 - Google Patents

Abstract

本发明公开了一种能全天候同时看清车牌和车内人员的双目摄像机，涉及智能交通道路监控领域。本方法是：①接收来自两个图像传感器的两路数据；②分别计算接收到的两路图像的平均亮度，以此对两个图像传感器单独进行曝光控制；③将接收到的两路数据拼接成一路数据后输出给ARM/DSP；④在接收到来自车辆检测器的触发信号后判断是否需要开启闪光灯，若需要则给出闪光灯的触发信号，同时将两个图像传感器的曝光量设置成预设值，实现曝光控制。本发明杜绝了两路数据在ARM/DSP中的同步问题，解决了两个图像传感器与闪光灯的同步问题，解决了两个图像传感器的曝光与闪光灯的配合问题。

Description

一种能全天候同时看清车牌和车内人员的双目摄像机

技术领域

    本发明涉及智能交通道路监控领域，尤其涉及一种能全天候同时看清车牌和车内人员的双目摄像机。

背景技术

在智能交通道路监控中，我们不仅希望能看清车牌，而且还希望能看清车内人员的情况，这样就能够把车辆和人对应起来，同时能知道车内人员的行为，这对驾驶过程中可能出现的一些违规行为会有明显的监督和约束作用，也能在发生交通事故后更好地认定责任及杜绝顶包现象。但是，目前已有的监控设备和技术并不能很好地满足这一需求，大多是看清了车牌而看不清车内的人员。

目前，针对双目摄像机已经有了大量的研究。研究中所涉及的双目摄像机，有的是一台摄像机上带有两个镜头和两个图像传感器，有的则是单独的两台摄像机，应用方向主要集中在三维成像、测距、测速和机器人视觉等，并没有应用在同时看清车牌和车内人员这一方向上。

针对带有两个镜头和两个图像传感器的双目摄像机，来自两个图像传感器的两路数据一般是直接进入ARM或DSP等处理器中进行处理的，两路数据在ARM或DSP中的同步问题成了一个很大的挑战。

针对闪光灯与摄像机的曝光同步问题，即闪光同步问题，也已经有了不少的研究，但主要研究的是一台摄像机（一个图像传感器）与一个闪光灯或多个闪光灯的同步问题，而未涉及闪光灯与两个图像传感器的曝光同步问题。

发明内容

本发明的目的就在于克服现有设备和技术存在的缺点和不足，提供一种能全天候同时看清车牌和车内人员的双目摄像机。

本发明的技术方案是：

①采用焦距不同的两个镜头和两个图像传感器的组合，短焦距镜头用来看清包括车牌在内的较大区域，长焦距镜头用来看清包括车内人员在内的较小区域，这里的具体应用是来看清车牌和车内人员，但并不仅限于此，用来同时看清较大区域和较大区域内的某个局部区域的情况都属于该应用范围；

两个图像传感器可以同为CCD，同为CMOS，或者一个为CCD另一个为CMOS，分辨率也可以不同；

③两个图像传感器对应的感兴趣区域不同，因此对两个图像传感器的曝光控制也是相互独立的，曝光控制采用依据图像平均亮度来调整图像传感器曝光量的策略，当图像平均亮度低于目标值时，增加图像传感器的曝光量，以达到合适的亮度值，当图像平均亮度高于目标值时，适当降低图像传感器的曝光量，当图像平均亮度接近或等于目标值时，保持图像传感器的曝光量，闪光灯开启时的曝光控制特殊处理；

配合使用闪光灯，保证闪光灯与两个图像传感器的曝光保持同步，以实现全天候监控，具体实现方式：当有车辆到来时，首先判断车内图像的平均亮度是否小于目标值且相应的图像传感器的曝光量是否到达预设范围，若车内图像的平均亮度小于目标值且相应的图像传感器的曝光量已经为预设范围，则给出闪光灯的触发信号，触发信号经一定延时后即开启闪光灯进行辅光操作，否则不给出闪光灯的触发信号，整个判断过程在视频的场同步信号的下降沿完成，在接收到闪光灯的触发信号后，两个图像传感器的曝光量被固定为预设值，接着通过控制闪光灯的开启时间（触发信号的延时时间）和两个图像传感器的曝光开始时间就可以分别控制两路图像的亮度，特别地，当图像传感器为CMOS时，还需要进行全局复位操作，让每一行图像同时开始曝光，并要保证在任意一行图像曝光结束前闪光灯已经关闭，这样可以保证每一行图像接收到的来自闪光灯的光照量是相同的，虽然每一行图像曝光的结束时间不同，但因为此时闪光灯已经关闭且场景照度低，所以对亮度的影响很小；

将来自两个图像传感器的两路数据在FPGA中拼接成一路数据后再进入到ARM/DSP中处理，杜绝了两路数据在ARM/DSP中的同步问题；

在FPGA中解决了来自两个图像传感器的两路数据的同步问题，包括两个图像传感器为不同规格的图像传感器的情况和两个图像传感器为相同规格的图像传感器的情况。

具体地说：

一、双目摄像机

本双目摄像机包括短焦距镜头、长焦距镜头、短焦距图像传感器、长焦距图像传感器、FPGA、ARM/DSP、车辆检测器和闪光灯；

其连接关系是：

短焦距镜头和短焦距图像传感器前后连接，长焦距镜头和长焦距图像传感器前后连接；

短焦距图像传感器、长焦距图像传感器、ARM/DSP、车辆检测器和闪光灯分别与FPGA连接。

二、双目摄像方法

本双目摄像方法包括下列步骤：

①FPGA接收来自两个图像传感器的两路数据；

②FPGA分别计算接收到的两路图像的平均亮度，以此对两个图像传感器单独进行曝光控制；

③FPGA将接收到的两路数据拼接成一路数据后输出给ARM/DSP；

④FPGA在接收到来自车辆检测器的触发信号后判断是否需要开启闪光灯，若需要则给出闪光灯的触发信号，同时将两个图像传感器的曝光量设置成预设值，实现曝光控制。

本发明具有下列优点和积极效果：

①将双目摄像机应用在智能交通领域并用于同时看清车牌和车内人员，创造性地满足了道路监控中的实际需求；

②将来自两个图像传感器的两路数据在FPGA中拼接成一路数据后再进入到ARM/DSP中处理，杜绝了两路数据在ARM/DSP中的同步问题；

③解决了两个图像传感器与闪光灯的同步问题，保证两个图像传感器在低照度场景下均能获得合适的曝光，以实现全天候监控；

两个图像传感器可以同为CCD或同为CMOS，或者一个为CCD另一个为CMOS，分辨率也可以不同；

在FPGA中解决了来自两个图像传感器的两路数据的同步问题，包括两个图像传感器为不同规格的图像传感器的情况和两个图像传感器为相同规格的图像传感器的情况；

两个图像传感器所对应的场景是不同的，因此对两个图像传感器的曝光控制也需要是相互独立的，针对闪光灯开启的情况，更需要分别考虑两个图像传感器的曝光与闪光灯的配合问题，本发明提出了相应的解决方法。

附图说明

图1是双目摄像机的结构方框图；

图中：

10—短焦距镜头；

11—长焦距镜头；

20—短焦距图像传感器；

21—长焦距图像传感器；

3—FPGA（Field－Programmable Gate Array，现场可编程门阵列）；

4—ARM/DSP（微处理器/数字信号处理器）；

5—车辆检测器；

6—闪光灯。

图2是本方法步骤②的工作流程图；

图3是本方法步骤④闪光灯开启的工作流程图；

图4是本方法步骤④闪光灯与两个图像传感器的曝光同步坐标图。

具体实施方式

下面结合附图和实施例详细说明：

一、双目摄像机的结构

1、总体

如图1，双目摄像机包括短焦距镜头10、长焦距镜头11、短焦距图像传感器20、长焦距图像传感器21、FPGA3、ARM/DSP4、车辆检测器5和闪光灯6；

其连接关系是：

短焦距镜头10和短焦距图像传感器20前后连接，长焦距镜头11和长焦距图像传感器21前后连接；

短焦距图像传感器20、长焦距图像传感器21、ARM/DSP4、车辆检测器5和闪光灯6分别与FPGA3连接。

其工作原理：

短焦距图像传感器20和长焦距图像传感器21感光，产生光电效应后生成模拟信号，模拟信号经内部模数转换后输出数字信号；

FPGA3接收来自短焦距图像传感器20和长焦距图像传感器21的数字信号，将两路数据拼接成一路数据后输出给ARM/DSP4，同时FPGA3还分别控制短焦距图像传感器20和长焦距图像传感器21的曝光，并在接收到车辆检测器5的触发信号后判断是否给出闪光灯6的触发信号。

2、功能部件

1）短焦距镜头10和长焦距镜头11

镜头是一种由透镜组成的光学装置，用来将物体的光像聚焦于摄像机的靶面上，以得到清晰的图像。

镜头需要根据靶面尺寸、靶面分辨率、拍摄距离、视场角范围和光圈大小等因素来选择；本系统中选用的短焦距镜头10和长焦距镜头11主要是突出焦距上的不同，短焦距镜头10用来看清包括车牌在内的较大区域，长焦距镜头11用来看清包括车内人员在内的较小区域，而镜头具体型号的选择可根据其它方面的要求来确定。

2）短焦距图像传感器20和长焦距图像传感器21

图像传感器是一种能感受光学图像信息并转换成可用输出信号的传感器，主要分为CCD和CMOS两大类。

本系统中短焦距图像传感器20用于短焦距镜头10监控区域的成像，长焦距图像传感器21用于长焦距镜头11监控区域的成像，对短焦距图像传感器20和长焦距图像传感器21的型号没有特别要求，可以同为CCD，同为CMOS，或一个为CCD另一个为CMOS，分辨率也可以不同，一般来说，用于监控较小区域的长焦距图像传感器21的分辨率可以小一些，以节省成本。

3）FPGA3

FPGA3是一种现场可编程门阵列。

其功能是：

①接收来自短焦距图像传感器20的短焦距图像和来自长焦距图像传感器21的长焦距图像，并将短焦距图像和长焦距图像拼接成一路图像后再输出到ARM/DSP4中处理，短焦距图像传感器20和长焦距图像传感器21可以同为CCD，同为CMOS，或一个为CCD另一个为CMOS，分辨率也可以不同；一般来说，监控较小区域的长焦距图像传感器21的分辨率可以小一些，以节省成本；

②对短焦距图像传感器20和长焦距图像传感器21的曝光进行单独控制，

如图2，曝光控制采用依据图像平均亮度来调整图像传感器曝光量的策略-201；

当图像平均亮度接近或等于目标值时-202，保持图像传感器的曝光量-204；

当图像平均亮度低于目标值时-203，增加图像传感器的曝光量-205，以达到合适的亮度值；当图像平均亮度高于目标值时，适当降低图像传感器的曝光量-206；

③闪光灯6开启时的曝光控制特殊处理；

接收车辆检测器5的触发信号，接着判断是否需要开启闪光灯6并给出触发信号，开启闪光灯6后还需要对两个图像传感器的曝光进行特殊处理：

若未开启闪光灯6，则两个图像传感器的曝光正常处理，如图3、图4，具体实现方式：

当有车辆到来时，首先判断长焦距图像传感器21对应的车内图像的平均亮度是否小于目标值-301且长焦距图像传感器21的曝光量是否到达预设范围-302，若车内图像的平均亮度小于目标值且长焦距图像传感器21的曝光量已经为预设范围，则给出闪光灯6的触发信号-304，触发信号经延时t1后即开启闪光灯6进行辅光操作，否则不给出闪光灯6的触发信号-303，整个判断过程在视频的场同步信号的下降沿完成，在接收到闪光灯6的触发信号后，两个图像传感器的曝光量被固定为预设值，接着通过控制闪光灯6的开启时间（与延时时间t1相关）和两个图像传感器的曝光开始时间（与延时时间t2、t3相关）就可以分别控制两路图像的亮度，延时时间t1、t2和t3通过计算多幅抓拍图像的亮度值来自适应设置，特别地，当图像传感器为CMOS（互补图像传感器）时，还需要进行全局复位操作，让每一行图像同时开始曝光，并要保证在任意一行图像曝光结束前闪光灯6已经关闭，这样可以保证每一行图像接收到的来自闪光灯6的光照量是相同的，虽然每一行图像曝光的结束时间不同，但因为此时闪光灯6已经关闭且场景照度低，所以对亮度的影响很小。

4）ARM/DSP4

ARM/DSP4是一种微处理器/数字信号处理器。

其功能是：

①接收从FPGA3输出的拼接后的一路图像数据，并进行后续的图像处理操作，所需要的图像处理操作与实际应用相关，比如白平衡、色彩插值、去雾和边缘锐化等，而且相关的图像处理操作也可以根据需要放在FPGA3上进行；

②与FPGA3进行通信；

③输出图像。

5）车辆检测器5

车辆检测器5是一种应用在道路交通上用来检测是否有车辆到来的设备。

其功能是在检测到有车辆到来时给出一个触发信号给FPGA3。

6）闪光灯6

闪光灯6是一种补光设备，当拍摄环境光线不足时用来照亮被拍摄物体。

其功能是在接收到FPGA3给出的触发信号后开启，用来补充光线。

二、方法

1、步骤②的工作流程

步骤②的工作流程是：

A、统计图像平均亮度-201；

B、判断图像平均亮度是否接近或等于目标值-202，是则保持图像传感器曝光度-204，否则进入下一步骤；

C、判断图像平均亮度是否小于目标值-203，是则增加图像传感器曝光度-205，否则降低图像传感器曝光度-206。

2、步骤④闪光灯开启的工作流程

以长焦距图像传感器21为例：

0、车辆检测器5触发信号-300；

a、判断长焦距图像传感器21的平均亮度是否小于目标值-301，是则进入下一步骤，否则闪光灯6不开启-303；

b、判断长焦距图像传感器21的曝光量是否到达预设范围-302，是则闪光灯6开启-304，否则闪光灯6不开启-303。

3、步骤④闪光灯与两个图像传感器的曝光同步

如图4，闪光灯6与短焦距图像传感器20和长焦距图像传感器21的曝光同步实现方式为：

在接收到闪光灯6的触发信号后，两个图像传感器的曝光量被固定为预设值，接着通过控制闪光灯6的开启时间（与延时时间t1相关）和两个图像传感器的曝光开始时间（与延时时间t2、t3相关）就可以分别控制两路图像的亮度。

延时时间t1、t2和t3通过计算多幅抓拍图像的亮度值来自适应设置，特别地，当图像传感器为CMOS时，还需要进行全局复位操作，让每一行图像同时开始曝光，并要保证在任意一行图像曝光结束前闪光灯6已经关闭，这样可以保证每一行图像接收到的来自闪光灯6的光照量是相同的，虽然每一行图像曝光的结束时间不同，但因为此时闪光灯6已经关闭且场景照度低，所以对亮度的影响很小。

Claims (5)

1.一种能全天候同时看清车牌和车内人员的双目摄像机，其特征在于：

包括短焦距镜头（10）、长焦距镜头（11）、短焦距图像传感器（20）、长焦距图像传感器（21）、FPGA（3）、ARM/DSP（4）、车辆检测器（5）和闪光灯（6）；

短焦距镜头（10）和短焦距图像传感器（20）前后连接，长焦距镜头（11）和长焦距图像传感器（21）前后连接；

短焦距图像传感器（20）、长焦距图像传感器（21）、ARM/DSP（4）、车辆检测器（5）和闪光灯（6）分别与FPGA（3）连接。

2.按权利要求1所述双目摄像机的双目摄像方法，其特征在于包括下列步骤：

①FPGA（3）接收来自两个图像传感器的两路数据；

②FPGA（3）分别计算接收到的两路图像的平均亮度，以此对两个图像传感器单独进行曝光控制；

③FPGA（3）将接收到的两路数据拼接成一路数据后输出给ARM/DSP（4）；

④FPGA（3）在接收到来自车辆检测器(5)的触发信号后判断是否需要开启闪光灯（6），若需要则给出闪光灯（6）的触发信号，同时将两个图像传感器的曝光量设置成预设值，实现曝光控制。

3.按权利要求2所述的双目摄像方法，其特征在于所述步骤②的工作流程是：

A、统计图像平均亮度（201）；

B、判断图像平均亮度是否接近或等于目标值（202），是则保持图像传感器曝光度（204），否则进入下一步骤；

C、判断图像平均亮度是否小于目标值（203），是则增加图像传感器曝光度（205），否则降低图像传感器曝光度（206）。

4.按权利要求2所述的双目摄像方法，其特征在于步骤④闪光灯开启的工作流程：

0、车辆检测器（5）触发信号（300）；

a、判断长焦距图像传感器（21）的平均亮度是否小于目标值（301），是则进入下一步骤，否则闪光灯（6）不开启（303）；

b、判断长焦距图像传感器（21）的曝光量是否到达预设范围（302），是则闪光灯（6）开启（304），否则闪光灯（6）不开启（303）。

5.按权利要求2所述的双目摄像方法，其特征在于步骤④闪光灯与两个图像传感器的曝光同步是：

在接收到闪光灯（6）的触发信号后，两个图像传感器的曝光量被固定为预设值，接着通过控制闪光灯（6）的开启时间就可以分别控制两路图像的亮度。