CN103795909A

CN103795909A - 拍摄优化装置、摄像装置及拍摄优化方法

Info

Publication number: CN103795909A
Application number: CN201210420841.9A
Authority: CN
Inventors: 吕越峰; 王瑾娟
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2014-05-14

Abstract

本发明提供一种使道路交通监控的图像拍摄优化的拍摄优化装置、摄像装置及拍摄优化方法。该拍摄优化装置控制用于道路交通监控且具有变焦镜头的摄像装置，具有图像序列预测器、第一存储器和拍摄控制器。根据已拍摄的图像中车辆的过去位置信息和当前图像中车辆的位置信息，预测未来图像中车辆的预测位置信息，根据预测位置信息以及变焦镜头的镜头信息，计算摄像装置的最佳拍摄参数。由此，能够预先确定具有变焦镜头的摄像装置的最佳拍摄参数，充分利用变焦摄像机完整焦段覆盖尽可能大的距离范围，实现清晰拍摄，并且避免拍摄空白图像同时避免对快速车辆的漏拍。而且，能够减少变焦镜头的变焦、对焦次数和动作时间，延长镜头寿命。

Description

拍摄优化装置、摄像装置及拍摄优化方法

技术领域

本发明涉及道路交通监控领域，尤其涉及使道路交通监控的图像拍摄优化的拍摄优化装置、摄像装置及拍摄优化方法。

背景技术

在道路交通监控领域中，道路监控摄像机可以分为固定焦距和变焦这两种类型。

传统的道路监控摄像机都是固定焦距的，且多数都是固定焦点的。即使是使用变焦镜头，在无人控制的情况下，也多不改变其焦距和焦点。

近年来，逐渐开始使用变焦镜头的道路监控摄像机。变焦即改变焦距（zoom）是改变视野的范围，焦距越长，画面覆盖的真实物体面积越小。另外，对焦即改变焦点（focal）是改变视野中清晰成像部分与镜头的距离，但不改变视野的范围或者极微小的改变。变焦镜头相对定焦镜头的优势在于，可以移动有效景深到不同的距离，使得可以拍摄的距离大大增加。而且，变焦镜头相对定焦镜头的优势还在于，有利于清晰地识别关注对象。

另外，道路交通监控的基本输出包括两种：视频和照片。视频拍摄是不间断的，通常以15帧/秒至30帧/秒不同的频率记录所有视野内的动态影像。照片是在离散的时间点上拍摄的，往往清晰度远高于视频画面，但也比单帧的视频图像需要大得多（往往数十倍）的存储空间。拍摄的时刻也会连同照片一起保存。由于清晰度的优势，通常在道路监控中，识别车牌等确定车辆身份的应用只能由照片记录作为证据。

在道路交通监控中，大量部署的道路监控摄像机不能依赖有人值守，而应该自动长时间运行。在自动运行中，如果采用固定时间间隔拍摄照片，在车辆稀少的时候，会产生大量空白照片，而对于快速通过车辆还可能漏拍。因此，自动拍摄车辆照片需要适当触发。触发包括两种：基于固定位置的线圈信号和基于图像识别。前者将一个能够感应车辆经过或压过的线圈埋设在摄像机拍摄的视野内对焦位置，有车经过的电信号被送往摄像机触发拍摄。但部署施工过程复杂，系统体积大，并且高清晰度范围只能覆盖事先确定好位置。如果经过的车辆密集，同时出现在清晰范围内，就会有很多张照片重复拍摄同一群车辆。是对存储空间的浪费。另一方面，基于图像识别的触发拍摄由安装分析图像和控制摄像机的软、硬件来实现，能够基于已拍摄的图像来自动决定之后的拍摄。

因此，在道路交通监控领域中，使用变焦镜头的道路监控摄像机基于图像识别来自动拍摄道路交通监控图像特别是照片，在效果和成本方面都是实现道路交通监控目的的有效手段，具有广阔的应用前景。

现有的基于图像识别的道路监控照片拍摄方法通过识别车辆行驶到特定位置而触发拍摄。例如在专利文献1中，公开了“越、压黄线的车辆检测跟踪和车辆信息抓拍装置及其方法”，利用识别车辆与路面标记的相对位置（压黄线）作为触发拍摄的事件。

专利文献1：CN101789177A

但是，在以专利文献1为代表的现有技术中，仍然存在以下技术问题，对道路交通监控领域中使用变焦镜头的道路监控摄像机造成障碍。

首先，在专利文献1中，公开了根据运动车辆当前的位置信息和运动趋势信息，控制安装有摄像机的云台去跟踪运动车辆。但是，仅仅通过控制云台去跟踪运动车辆，难以确定最佳的拍摄时刻，尤其难以预先确定最佳的拍摄时刻。特别是，对变焦镜头的道路监控摄像机而言，变焦和对焦过程不是瞬时完成的，需要镜头内部部件的机械运动实现。最长端之间的变焦最快通常在几百毫秒上下，对焦通常在几十毫秒左右。因此，在以专利文献1为代表的现有技术中，由于无法预先确定最佳的拍摄时刻，存在来不及变焦、对焦拍摄的情况。

此外，对变焦镜头的道路监控摄像机而言，每次变焦和对焦都会产生磨损。因此依靠变焦镜头频繁在识别、跟踪到的车辆位置间频繁切换焦距、焦点是对镜头寿命的极大考验。

而且，在专利文献1中，根据单一车辆的位置信息和运动趋势信息来进行拍摄，无法适用于同时拍摄多车辆的情况，而只能分别拍摄多车辆。如上所述，对变焦镜头的道路监控摄像机而言，变焦和对焦过程不是瞬时完成的。因此，在以专利文献1为代表的现有技术中，由于无法综合考虑多车辆来预先确定最佳的拍摄时刻，因此对于复杂的多车辆监控摄像而言，很可能来不及对每辆车变焦、对焦拍摄。

以上这些都是在道路交通监控领域中使用变焦和自动对焦镜头的道路监控摄像机的主要障碍。而在以对比文件1为代表的现有技术中，没有对以上技术问题提出有效的解决方案，无法克服以上障碍。

发明内容

本发明针对以上技术问题，其目的在于，提供一种使道路交通监控的图像拍摄优化的拍摄优化装置、摄像装置及拍摄优化方法。

为了解决以上技术问题，本发明涉及一种拍摄优化装置，控制用于道路交通监控且具有变焦镜头的摄像装置，其特征在于，具有：图像序列预测器，从所述摄像装置接收由该摄像装置拍摄的当前帧的图像，获得所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；第一存储器，存储由所述图像序列预测器获得的车辆的位置信息、以及由所述图像序列预测器预测的预测位置信息；以及拍摄控制器，根据第一存储器中存储的预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给所述摄像装置；所述图像序列预测器在预测所述预测位置信息时，从所述第一存储器中，读取所述当前帧之前过去N个帧的图像中车辆的位置信息作为过去位置信息，其中N为正整数，根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述预测位置信息。

另外，本发明还涉及一种摄像装置，用于道路交通监控，其特征在于，具有：变焦镜头；拍摄单元，接收来自所述变焦镜头的信号并转换为图像；图像序列预测器，从所述拍摄单元接收当前帧的图像，获得所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；第一存储器，存储由所述图像序列预测器获得的车辆的位置信息、以及由所述图像序列预测器预测的预测位置信息；拍摄控制器，根据第一存储器中存储的预测位置信息以及所述变焦镜头的镜头信息，计算最佳拍摄参数；镜头控制器，从拍摄控制器接收所述最佳拍摄参数，并向所述变焦镜头输出控制信号；以及输出单元，输出按照所述控制信号拍摄的图像；所述图像序列预测器在预测所述预测位置信息时，从所述第一存储器中，读取所述当前帧之前过去N个帧的图像中车辆的位置信息作为过去位置信息，其中N为正整数，根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述预测位置信息。

另外，本发明还涉及一种拍摄优化方法，控制用于道路交通监控且具有变焦镜头的摄像装置，其特征在于，包括以下步骤：从所述摄像装置接收由该摄像装置拍摄的当前帧的图像，获得所述当前帧的图像中车辆的位置信息；读取所述当前帧之前过去N个帧的图像中车辆的位置信息作为过去位置信息，其中N为正整数；根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；根据所述预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给所述摄像装置。

根据本发明涉及的拍摄优化装置、摄像装置及拍摄优化方法，通过用于/利用具有变焦镜头的摄像装置，根据已拍摄的图像中车辆的过去位置信息和当前图像中车辆的位置信息，预测未来图像中车辆的预测位置信息，根据预测的未来图像中车辆的预测位置信息以及变焦镜头的镜头信息，计算摄像装置的最佳拍摄参数。由此，能够预先确定具有变焦镜头的摄像装置的最佳拍摄参数，充分利用变焦摄像机完整焦段覆盖尽可能大的距离范围，实现清晰拍摄，并且避免拍摄空白图像同时避免对快速车辆的漏拍。而且，能够减少变焦镜头的变焦、对焦次数和动作时间，延长镜头寿命。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器还针对所述当前帧的图像中的车辆，赋予用于识别车辆的标记信息；所述第一存储器将车辆的位置信息、预测位置信息与该车辆的标记信息相对应地存储。

根据上述拍摄优化装置，通过赋予用于识别车辆的标记信息并将其与车辆的位置信息、预测位置信息相对应地存储，能够对拍摄的车辆进行识别。

在本发明的拍摄优化装置中，也可以是，还具有：第二存储器，存储已经拍摄的车辆的标记信息；所述拍摄控制器在计算最佳拍摄参数时，从所述第二存储器读取已经拍摄的车辆的标记信息，并排除所述已经拍摄的车辆。

根据上述拍摄优化装置，通过存储已经拍摄的车辆的标记信息，并在之后计算最佳拍摄参数时排除已经拍摄的车辆，能够避免重复拍摄车辆。在多车辆同时通过摄像装置的监视范围的情况下，能够最大程度减少图像数据量，减少拍摄图像所占据的存储空间。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器在预测出所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息之后，还根据所述预测位置信息和标记信息，判断在预测的所述当前帧之后未来M个帧的图像中是否发生车辆遮挡；在判断为发生车辆遮挡的情况下，所述图像序列预测器用预测的所述当前帧之后到发生车辆遮挡之前的各帧中车辆的位置信息作为新的预测位置信息，所述第一存储器存储所述新的预测位置信息。

根据上述拍摄优化装置，通过根据预测位置信息和标记信息来预测未来的图像中是否发生车辆遮挡，并在计算最佳拍摄参数时排除掉可能发生遮挡的位置，即使在摄像装置的监视范围中存在车辆发生遮挡的情况，也能够自动避开发生遮挡的位置，拍摄有效的道路交通监控图像。

在本发明的拍摄优化装置中，也可以是，所述最佳拍摄参数至少包括最佳拍摄时刻；所述拍摄控制器在计算最佳拍摄参数时，还根据所述预测位置信息和标记信息，判断在预测的所述当前帧之后未来M个帧的图像中是否发生事故；在判断为发生事故的情况下，所述拍摄控制器优先在发生事故的时刻附近设定最佳拍摄时刻。

根据上述拍摄优化装置，通过根据预测位置信息和标记信息来预测未来的图像中是否发生事故，并在计算最佳拍摄参数时优先考虑发生事故的时刻，能够自动优先拍摄事故现场的图像，拍摄更加有效的道路交通监控图像。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述当前帧的图像中的全部车辆都离开所述摄像装置的监控范围的时刻作为预测离开时刻，根据所述当前帧被拍摄的时刻、所述预测离开时刻以及所述摄像装置的拍摄帧率，计算预测的帧数M。

根据上述拍摄优化装置，通过预测全部车辆都离开摄像装置的监控范围之前的各图像中车辆的位置信息，能够在全部车辆都离开摄像装置的监控范围之前的范围中决定最佳拍摄参数，从而使道路交通监控的图像拍摄进一步优化。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器从所述第一存储器中，读取从所述当前帧的图像中的车辆最早出现的帧开始到所述当前帧之前的全部帧的图像中车辆的位置信息，作为所述当前帧之前过去N个帧的图像中车辆的位置信息即过去位置信息。

根据上述拍摄优化装置，通过从当前图像中的车辆最早出现的图像开始，作为预测未来的图像中车辆的位置信息的依据，能够获取用于预测未来的图像中车辆位置信息的充分的信息量，同时尽量减少作为预测依据的图像数量，从而减小预测所需的运算量和存储量。

在本发明的拍摄优化装置中，也可以是，所述最佳拍摄参数至少包括最佳拍摄时刻和最佳拍摄焦点位置；所述拍摄控制器根据以下因素中的至少一个来计算最佳拍摄参数：（a）所述摄像装置的变焦镜头的焦点移动的方向；（b）拍摄所述当前帧的图像中的全部车辆所需要的拍摄次数。

根据上述拍摄优化装置，具体给出了最佳拍摄参数和决定最佳拍摄参数的标准。由此，能够兼顾摄像装置的变焦镜头的移动和拍摄次数的最小化，减少变焦镜头的变焦、对焦次数和动作时间，延长镜头寿命，同时最大程度减少图像数据量，减少拍摄图像所占据的存储空间。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器还获得所述当前帧的图像中车辆的大小信息；所述第一存储器还存储由所述图像序列预测器获得的车辆的大小信息；所述拍摄控制器根据第一存储器中存储的车辆的大小信息、预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数。

根据上述拍摄优化装置，通过获得并存储图像中车辆的大小信息，能够在计算最佳拍摄参数时进一步考虑车辆的大小，使道路交通监控的图像拍摄进一步优化。

在本发明的拍摄优化装置中，也可以是，所述图像序列预测器从所述摄像装置接收的图像，是由所述摄像装置同时拍摄两个以上的车道而得到的图像。

根据上述拍摄优化装置，通过对同时拍摄多车道的摄像装置的拍摄进行优化，能够使本发明的上述优点更加明显。

另外，本发明的上述拍摄优化装置的附加技术特征也可以作为摄像装置和拍摄优化方法的特征实现，并获得同样的技术效果，在此不做赘述。

附图说明

图1示出道路监控摄像画面的示意图和摄像头景深与视野中不同部分清晰度的关系。

图2示出根据本发明的第一实施方式的拍摄优化装置的示意性框图。

图3示出根据本发明的第一实施方式的拍摄优化方法的流程图。

图4示出根据本发明的第一实施方式的图像序列预测器的流程图。

图5示出根据本发明的第一实施方式的拍摄控制器的流程图。

图6示出摄像机视野中投影坐标系和真实空间俯视的笛卡尔二维坐标系的对照关系。

图7示出通过曲线拟合预测未来时刻车辆位置的效果图。

图8示出本发明的第一实施方式的拍摄优化方法的确定最佳拍摄参数的示意图。

图9示出根据本发明的第一实施方式的第一变形例的拍摄优化装置的示意性框图。

图10示出根据本发明的第一实施方式的第二变形例的拍摄优化方法中图像序列预测器的流程图。

图11示出图像序列预测器预测车辆可能发生碰撞意外的情形。

图12示出根据本发明的第一实施方式的第三变形例的拍摄优化方法中图像序列预测器的流程图。

图13示出根据本发明的第二实施方式的摄像装置的示意性结构框图。

具体实施方式

首先，在说明本发明的具体实施方式之前，先介绍摄像头景深与视野中不同部分清晰度的关系。

如上所述，变焦即改变焦距（zoom）是改变视野的范围，焦距越长，画面覆盖的真实物体面积越小。另外，对焦即改变焦点（focal）是改变视野中清晰成像部分与镜头的距离，但不改变视野的范围或者极微小的改变。

图1示出道路监控摄像画面的示意图和摄像头景深与视野中不同部分清晰度的关系。在画面中越远的道路景物在画面的更上方。与其对应，画面的清晰程度可以从右面的清晰度曲线看出。由于光学技术的限制，无论定焦还是变焦镜头，其成像清晰度在任意时刻都是随这距离而变化的。对于交通监控应用而言，可以接受的清晰度取决于应用目的，应用目的以清晰度从低到高的顺序包括：识别车的存在；识别车的外部特征，如颜色、车型、是否起火、冒烟；识别车牌；识别驾驶员；等等。对于某种应用的监控可用清晰度一旦确定，镜头可以在该清晰度以上成像所覆盖的距离就可以确定，称作有效景深。

有效的交通监控就是指能够达成既定应用目的，可以在有效景深内拍摄到符合监控可用清晰度的影像画面。变焦镜头相对定焦镜头的一个优势在于，可以移动有效景深到不同的距离，使得可以拍摄的距离大大增加。因此，使用变焦镜头的道路监控摄像机是道路交通监控领域的发展方向，本发明正是对使用变焦镜头的道路监控技术进行了改进。

以下结合附图说明本发明的各实施方式。其中，各实施方式仅用于说明实现本发明的优选形态，而不作为对本发明的限定。

（第一实施方式）

首先，结合图2、图3、图4和图5说明根据本发明的第一实施方式涉及的拍摄优化装置及拍摄优化方法。其中，图2示出本发明的第一实施方式的图像拍摄优化装置的示意性结构框图，图3、图4和图5以流程图示出本发明的第一实施方式的拍摄优化方法的方法步骤。

如图2所示，本发明的第一实施方式的拍摄优化装置包括图像序列预测器、第一存储器和拍摄控制器。该拍摄优化装置例如通过有线连接或无线传输，能够与监控摄像机进行数据通信。摄像机具有变焦镜头，还包括拍摄单元、镜头控制器、视频输出单元、图像输出单元。该拍摄优化装置优化摄像机的图像拍摄输出。

以下，首先说明作为本发明的第一实施方式的拍摄优化装置的优化对象的摄像机的结构。如上所述，摄像机具有变焦镜头、拍摄单元、镜头控制器、视频输出单元、图像输出单元。

在摄像机中，变焦镜头可以变焦和对焦，通过感光器件的曝光将光信号转换为电信号，提供给拍摄单元。同时可以将镜头信息等数据提供给镜头控制器，作为镜头信息，例如包括镜头的焦距，焦点移动方向等。

拍摄单元即原始图像拍摄单元，接收来自变焦镜头的信号并转换为图像。具体而言，接收来自镜头的电信号作为输入，将其转换为承载每个像素亮度值和色度值的数字化的信号。例如对于高清摄像机，会捕捉1920x1080个像素的彩色数值信号。

镜头控制器从拍摄优化装置的拍摄控制器接收最佳拍摄参数，并向变焦镜头输出控制信息。关于最佳拍摄参数，将在下文中详细说明。具体而言，镜头控制器接收拍摄控制器的控制信号并输出控制信号给镜头驱动镜头进行变焦、对焦和快门动作（拍摄）。接收的控制信号包括目标焦点距离和拍摄指令。同时镜头控制器还可以把镜头的镜头信息等当前状态参数提供给拍摄控制器，包括镜头当前焦点距离和镜头焦点移动的方向。其中镜头焦点距离可以从镜头提供的焦距计算得到。镜头焦点距离是镜头焦点离镜头的物理距离，即清晰度最高的距离。

视频输出单元接收来自拍摄单元的未经处理的图像序列数据，并根据输出视频的格式要求进行处理，例如按照H.264视频格式进行压缩。该单元在摄像机开始运转后不停顿的工作，不断将视频数据输出。

图像输出单元从拍摄优化装置的拍摄控制器接收控制信号，并根据该控制信号，对当前帧照片进行预先设定的处理、例如JPEG格式压缩，然后输出。其中，图像输出单元对应于本发明的输出单元。

以下，具体说明本发明的第一实施方式的拍摄优化装置的结构。如上所述，拍摄优化装置包括图像序列预测器、第一存储器和拍摄控制器。

图像序列预测器从摄像装置接收由该摄像装置拍摄的当前帧的图像，获得所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M（M为正整数）个帧的图像中车辆的位置信息作为预测位置信息。具体而言，图像序列预测器接收来自摄像装置的拍摄单元的未经处理的每一帧图像数据，识别出该帧图像中所有车辆的位置信息。对于连续图像序列，通过位置的变化可以计算出车的速度，然后预测出每辆车在未来帧中车所在的位置，输出这些位置信息给第一存储器。另外，图像序列预测器也可以还获得所述当前帧的图像中车辆的大小信息和标记信息。

第一存储器存储由图像序列预测器获得的车辆的位置信息、以及由图像序列预测器预测的预测位置信息。另外，第一存储器也可以还存储车辆的大小信息和标记信息。

拍摄控制器根据第一存储器中存储的预测位置信息以及从摄像装置获得的变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给摄像装置。具体而言，拍摄控制器从摄像装置的镜头控制器获得镜头信息，并将最佳拍摄参数输出给摄像装置的镜头控制器。另外，拍摄控制器也可以在预测位置信息和镜头信息的基础上，还根据车辆的大小信息和/或标记信息，来计算最佳拍摄参数。

其中，图像序列预测器在预测预测位置信息时，从第一存储器中，读取当前帧之前过去N（N为正整数）个帧的图像中车辆的位置信息作为过去位置信息，根据过去位置信息和当前帧的图像中车辆的位置信息，预测预测位置信息。

图3示出根据本发明的第一实施方式的拍摄优化方法的流程图。以下对照图3，阐述借助在图2中示出的拍摄优化装置对摄像机进行拍摄优化的过程。在摄像机每次拍摄一帧图像后，都会进行这一过程。另外，在接收到停止命令时，停止该过程。这对于图4、图5所示的流程也是同样的。

在步骤S11中，判断是否从摄像装置接收了新的一帧当前帧。一般而言，在摄像机的镜头拍摄了新的一帧时，拍摄单元接收镜头的感光器件采集的信号，并处理为原始图像数据，输出给视频输出单元和拍摄优化装置的图像序列预测器。

在步骤S12中，拍摄优化装置的图像序列预测器根据从摄像装置接收的当前帧的图像，获得当前帧的图像中车辆的位置信息。

在步骤S13中，拍摄优化装置的图像序列预测器读取当前帧之前过去N（N为正整数）个帧的图像中车辆的位置信息作为过去位置信息。

在步骤S14中，拍摄优化装置的图像序列预测器根据过去位置信息和当前帧的图像中车辆的位置信息，预测当前帧之后未来M（M为正整数）个帧的图像中车辆的位置信息作为预测位置信息。

步骤S12～S14的详细过程参照图4，在下面详细介绍。

在步骤S15中，拍摄优化装置的拍摄控制器根据预测位置信息以及从摄像装置获得的变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给摄像装置。

步骤S15的详细过程参照图5，在下面详细介绍。

图4示出根据本发明的第一实施方式的图像序列预测器的流程图，对应于图3的步骤S12～S14的处理。以下对照图4，详细阐述借助在图2示出的图像序列预测器进行图像序列预测的过程。

在步骤S21中，从摄像装置的拍摄单元接收新的一帧图像I(i)。

在步骤S22中，识别出该帧图像中所有车辆的位置信息P(i)。这里的坐标系选择为真实空间物理坐标系，即俯视的笛卡尔二维坐标系。

P(i)={(x_ij,y_ij),j∈J_i}

上式中，J_i表示出现在当前画面中的车辆个数。信息P(i)的每个元素都是坐标对(x_ij,y_ij)，共有J_i个。

另外，也可以还识别出当前画面中的各车辆的大小信息S(i)。

S(i)={(w_ij,h_ij),j∈J_i}

信息S(i)的每个元素都是宽和高的数据对(w_ij,h_ij),，共有J_i个。

识别车辆通常应用模式识别技术得以实现。以上位置和大小针对坐标系的不同而异。在摄像机视野中，所有物体以近大远小且消失于无穷远处地平线的透视比例呈现，与真实空间物理坐标系中的转换通常应用图像标定相关技术得以实现。两个坐标系的对照如图6所示。

在步骤S23中，从第一存储器读入之前存储的N帧图像对应的车的位置信息P(k)。另外，也可以还读入大小信息S(k)和车辆的标记信息L(k)。

P(k)={(x_kj,y_kj),j∈ΣJ_k,k∈[i-N,i-1])}

S(k)={(w_ij,h_ij),j∈ΣJ_k,k∈[i-N,i-1])}

P(k)和S(k)都由ΣJ_k个元素构成。ΣJ_k表示之前N帧中出现的所有车辆的位置和大小。

然后，标记当前帧中的车辆标记。模式识别技术提供在不同帧内同一车辆的跟踪信息，即在所有帧中出现的同一辆车都会被打上相同的标记信息L(k)。

其中，N的大小可以是：回溯到当前图像中的车辆之中第一辆驶入摄像机的监控范围的车辆开始出现的图像的帧数。即，将从当前帧的图像中的车辆最早出现的帧开始到当前帧之前的全部帧的图像中车辆的位置信息，作为当前帧之前过去N个帧的图像中车辆的位置信息。

在步骤S24中，预测当前帧之后（未来）M个帧的时间上所有车辆的位置信息P(m)。M的确定通过查找通过监视视野范围车辆中历时最久的一辆车所经过的时间，然后用该时间与帧率的乘积得到。即，预测当前帧的图像中的全部车辆都离开摄像装置的监控范围的时刻作为预测离开时刻，根据当前帧被拍摄的时刻、所述预测离开时刻以及所述摄像装置的拍摄帧率，计算预测的帧数M。

车辆的预测位置基于车辆过往移动轨迹和速度，通常可以用曲线拟合技术实现，例如样条函数拟合，可以得到多次曲线下的最可能预测。

图7示出了通过曲线拟合预测未来时刻车辆位置的效果图。图中，车1向图右侧转弯，并且逐渐减慢，根据前4帧图像中的位置预测出之后三帧的位置（虚线框表示）；车2直线加速，根据前4帧图像中的位置预测出之后一帧的位置（再下一帧车2离开视野）。

在步骤S25中，用新的位置信息P(m)，m∈[i+1,M]替换第一存储器中的预测数据。在还识别车辆的大小信息和标记信息的情况下，还与位置信息P(m)一起用大小信息S(m)和标记信息L(m)替换第一存储器中的预测数据。另外，用当前实际准确位置信息P(i)替换第一存储器中对i帧时刻的预测数据。在还识别车辆的大小信息和标记信息的情况下，还与位置信息P(i)一起用大小信息S(i)和标记信息L(i)替换第一存储器中对i帧时刻的预测数据。

图5示出根据本发明的第一实施方式的拍摄控制器的流程图，对应于图3的步骤S15的处理。以下对照图5，详细阐述借助在图2示出的拍摄控制器进行拍摄控制的过程。

在步骤S31中，从镜头控制器读入当前镜头的镜头信息，例如焦点位置和移动方向、速度。

在步骤S32中，从第一存储器读入未来M帧预测的所有车辆位置信息P(m),m∈[i+1,M]。在还识别车辆的大小信息和标记信息的情况下，还与位置信息一起读入车辆的大小信息S(m)和标记信息L(m)。

在步骤S33中，计算最佳拍摄参数，例如包括最佳拍摄时刻和最佳拍摄焦点位置。最佳拍摄时刻的计算可以由多重算法实现。最优的标准也不尽相同。标准包括：当前镜头焦点移动的方向，覆盖所有车辆的最少拍摄次数，等等。可以通过给每个要素设定不同的权重实现，也可以通过优先考虑特定要素实现。例如，可以优先选择镜头对焦移动磨损因素。为了减小镜头磨损和延长镜头寿命。优先选择在镜头焦点移动方向上选择拍摄最佳焦点距离。其次再用有效景深所围住的图像范围在不同帧的图像内移动，遍历每帧的由近及远的所有范围，在M帧中，统计出覆盖全部车辆需要拍摄的次数A，该次数的最小值所对应的焦点位置F_a和时刻T_a就是最佳拍摄参数。记录下这些拍摄的时刻和焦点位置。

下面参照图8说明本发明的第一实施方式的拍摄优化方法的确定最佳拍摄参数的过程。本例中说明最基本的情况，假设M=4，即有4帧预测，第5帧的时候，当前拍摄帧（M-4帧）中所有出现的车辆就将离开画面，所以M为4。当前焦点移动方向为从图像的远方移向近处，也就是从地平线（车辆出现在画面的地方）向下方移动。由于镜头焦点移动和对焦的速度不是无穷大，因此需要时间完成焦点移动和对焦，其速度都是镜头已知参数，因此移动焦点，即同时移动有效景深范围的速度是已知数据。如果需要焦点向反方向移动，就需要更长的时间，容纳镜头运动机构停止和反响运转的延时。根据这个数据判断景深在连续两帧之间能够移动的距离。要避免计算出有效景深不能按时抵达的位置。景深如图所示。本例假定景深移动的方向上可以抵达图示的每帧中的所示位置。景深在焦点远近不同位置可以由些许不同，但对于一个镜头而言都是已知参数。在M帧中，不断移动有效景深所围住的图像范围，直到能够用最少的拍摄次数覆盖住全部车辆。本例中，在M-2帧中，有效景深可以覆盖住所有车辆，因此只需要拍摄一帧图像即可，因此A=1。F_a在图像中的位置如图所示。该焦点位置根据图1所示的对照关系，就可以转换为焦点距离，进而转换为焦距。

在步骤S34中，拍摄控制器判断对焦时刻是否到来，该时刻依赖于镜头焦点移动速度参数S、最佳拍摄焦点距离所对应的焦距与当前焦距的距离之差D、以及最佳拍摄时刻与当前时刻之差T。要确保D/T≤S。如果到了对焦时刻，则应该驱动镜头进行对焦，前进至步骤S35。如果未到对焦时刻，则前进至步骤S36。

在步骤S35中，拍摄控制器发指令给镜头控制器开始对焦。另外，有时不需要对焦，此时步骤S34、S35可以省略。

在步骤S36中，拍摄控制器判断最佳拍摄时刻是否到来。如果到了最佳拍摄时刻，则前进至步骤S37。如果未到最佳拍摄时刻，则返回步骤S31。

在步骤S37中，拍摄控制器发指令给图像输出单元输出当前帧图像。

以上，详细说明了本发明的第一实施方式的拍摄优化装置及拍摄优化方法。根据本发明的第一实施方式的拍摄优化装置及拍摄优化方法，通过用于/利用具有变焦镜头的摄像装置，根据已拍摄的图像中车辆的过去位置信息和当前图像中车辆的位置信息，预测未来图像中车辆的预测位置信息，根据预测的未来图像中车辆的预测位置信息以及变焦镜头的镜头信息，计算摄像装置的最佳拍摄参数。由此，能够预先确定具有变焦镜头的摄像装置的最佳拍摄参数，充分利用变焦摄像机完整焦段覆盖尽可能大的距离范围，实现清晰拍摄，并且避免拍摄空白图像同时避免对快速车辆的漏拍。而且，能够减少变焦镜头的变焦、对焦次数和动作时间，延长镜头寿命。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，图像序列预测器还针对当前帧的图像中的车辆，赋予用于识别车辆的标记信息；第一存储器将车辆的位置信息、预测位置信息与该车辆的标记信息相对应地存储。由此，能够对拍摄的车辆进行识别。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，图像序列预测器根据过去位置信息和当前帧的图像中车辆的位置信息，预测当前帧的图像中的全部车辆都离开摄像装置的监控范围的时刻作为预测离开时刻，根据当前帧被拍摄的时刻、预测离开时刻以及摄像装置的拍摄帧率，计算预测的帧数M。由此，能够在全部车辆都离开摄像装置的监控范围之前的范围中决定最佳拍摄参数，从而使道路交通监控的图像拍摄进一步优化。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，图像序列预测器从第一存储器中，读取从当前帧的图像中的车辆最早出现的帧开始到当前帧之前的全部帧的图像中车辆的位置信息，作为当前帧之前过去N个帧的图像中车辆的位置信息即过去位置信息。由此，能够获取用于预测未来的图像中车辆位置信息的充分的信息量，同时尽量减少作为预测依据的图像数量，从而减小预测所需的运算量和存储量。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，最佳拍摄参数至少包括最佳拍摄时刻和最佳拍摄焦点位置；拍摄控制器根据以下因素中的至少一个来计算最佳拍摄参数：（a）摄像装置的变焦镜头的焦点移动的方向；（b）拍摄当前帧的图像中的全部车辆所需要的拍摄次数。由此，能够兼顾摄像装置的变焦镜头的移动和拍摄次数的最小化，减少变焦镜头的变焦、对焦次数和动作时间，延长镜头寿命，同时最大程度减少图像数据量，减少拍摄图像所占据的存储空间。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，图像序列预测器还获得当前帧的图像中车辆的大小信息；第一存储器还存储由图像序列预测器获得的车辆的大小信息；拍摄控制器根据第一存储器中存储的车辆的大小信息、预测位置信息以及从摄像装置获得的变焦镜头的镜头信息，计算最佳拍摄参数。由此，能够在计算最佳拍摄参数时进一步考虑车辆的大小，使道路交通监控的图像拍摄进一步优化。

另外，在第一实施方式的拍摄优化装置中，作为优选的方式，图像序列预测器从摄像装置接收的图像，是由摄像装置同时拍摄两个以上的车道而得到的图像。由此，通过对同时拍摄多车道的摄像装置的拍摄进行优化，能够使第一实施方式的拍摄优化装置的上述优点更加明显。

以下，说明本发明的第一实施方式的几个变形例。其中，本发明的第一实施方式的上述优选方式也可以应用于以下变形例中，并获得相应的效果。

（第一变形例）

图9示出根据本发明的第一实施方式的第一变形例的拍摄优化装置的示意性框图。如图9所示，第一实施方式的第一变形例的拍摄优化装置与第一实施方式的拍摄优化装置的不同点在于还具有第二存储器。

第二存储器存储已经拍摄的车辆的记录例如标记信息。拍摄控制器能够从第二存储器中读取数据，或向第二存储器写入数据。拍摄控制器在计算最佳拍摄参数时，从第二存储器读取已经拍摄的车辆的记录例如标记信息，并排除已经拍摄的车辆。另外，拍摄控制器在最佳拍摄时刻发指令给图像输出单元输出当前帧图像时，根据该输出的当前帧图像中拍摄的车辆，同时更新第二存储器中已经拍摄的车辆的记录。

本发明的第一实施方式的第一变形例的拍摄优化方法与第一实施方式的拍摄优化方法的不同点在于，在图3的步骤S15中，除了预测位置信息和镜头信息之外，还根据从第二存储器中读取的已经拍摄车辆的记录来计算最佳拍摄参数。另外，根据输出的当前帧图像中拍摄的车辆，更新第二存储器中已经拍摄的车辆的记录。

根据本发明的第一实施方式的第一变形例的拍摄优化装置及拍摄优化方法，能够避免重复拍摄车辆。在多车辆同时通过摄像装置的监视范围的情况下，能够最大程度减少图像数据量，减少拍摄图像所占据的存储空间。

（第二变形例）

本发明的第一实施方式的第二变形例的拍摄优化装置与第一实施方式相同，而拍摄优化方法不同。由于车辆在投影坐标系下，会因为车辆的立体空间产生遮挡。遮挡的程度由车辆大小和车辆的相对位置影响。因此需要在拍摄控制器寻找最佳拍摄参数时，排除掉所有遮挡的可能位置。

图10示出根据本发明的第一实施方式的第二变形例的拍摄优化方法中图像序列预测器的流程图。简明起见，在此不再赘述与根据第一实施方式的详细过程的相同之处。不同之处在于拍摄优化方法中图像序列预测器预测未来帧中车辆位置和存入更新数据的过程。即，如图10所示，在步骤S24之后追加了步骤S26，根据步骤S26的判断结果，分别执行原来的步骤S25和新追加的步骤S25'。以下详细说明。

即，在完成与第一实施方式相同的读入和处理新的一帧图像，预测当前帧之后（未来）M个帧的所有车辆的位置信息P(m)之后，在步骤S26中，从第i+1帧开始，逐帧判断第N个时间点上（i<N<M），是否存在位置信息P(N)相近而不同的车辆。如果不存在，则判断为不遮挡，执行原来的步骤S25。如果存在，则判断为遮挡，执行步骤S25'。

在步骤S25'中，用遮挡发生前的所有帧m∈[i+1,N]中的位置信息P(m)替换第一存储器中的数据。由此，在拍摄控制器计算最佳拍摄参数时，以遮挡发生前的所有帧作为选择对象。

在本变形例中，图像序列预测器在预测出当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息之后，还根据预测位置信息和车辆的记录例如标记信息，判断在预测的当前帧之后未来M个帧的图像中是否发生车辆遮挡；在判断为发生车辆遮挡的情况下，图像序列预测器用预测的当前帧之后到发生车辆遮挡之前的各帧中车辆的位置信息作为新的预测位置信息，第一存储器存储新的预测位置信息。由此，即使在摄像装置的监视范围中存在车辆发生遮挡的情况，也能够自动避开发生遮挡的位置，拍摄有效的道路交通监控图像。

而且，如上所述，遮挡的程度还由车辆大小影响。因此，在本变形例中，优选获得并使用车辆的大小信息S(m)。

（第三变形例）

本发明的第一实施方式的第二变形例的拍摄优化装置与第一实施方式相同，而拍摄优化方法不同。道路监控中，车辆意外是拍摄的关键时刻，因此当预测的M帧中，出现可能的车辆轨迹交叉，就可能在该交叉点附近出现车祸意外。因此需要优先在该时刻附近设定最佳拍摄时刻。例如图11所示的情形，在预测的第4帧的位置，车1和车2可能碰撞，因此第4帧优先选择为最佳拍摄时刻。

图12示出根据本发明的第一实施方式的第三变形例的拍摄优化方法中图像序列预测器的流程图。简明起见，在此不再赘述与根据第一实施方式的详细过程的相同之处。不同之处在于拍摄优化方法中图像序列预测器预测未来帧中车辆位置和存入更新数据的过程。即，如图12所示，在步骤S24之后追加了步骤S27，根据步骤S27的判断结果，分别执行原来的步骤S25或在执行新追加的步骤S28之后执行原来的步骤S25。以下详细说明。

即，在完成与第一实施方式相同的读入和处理新的一帧图像，预测当前帧之后（未来）M个帧的所有车辆的位置信息P(m)之后，在步骤S27中，从第i+1帧开始，逐帧判断第N个时间点上（i<N<M），是否存在位置信息P(N)相近而不同的车辆，如果存在，继续判断第N个时间点上车辆L(N)速度是否为0，如果速度为0，标记L(N)为车辆意外。其中，判断事故的方法不限于此，也可以根据情况进行各种变更。在步骤S28中，标记L(N)为优先拍摄。在检测到优先拍摄标记时，拍摄控制器在计算最佳拍摄参数时在该时刻附近设定最佳拍摄时刻。

在本变形例中，最佳拍摄参数至少包括最佳拍摄时刻；拍摄控制器在计算最佳拍摄参数时，还根据预测位置信息和标记信息，判断在预测的当前帧之后未来M个帧的图像中是否发生事故；在判断为发生事故的情况下，拍摄控制器优先在发生事故的时刻附近设定最佳拍摄时刻。由此，能够自动优先拍摄事故现场的图像，拍摄更加有效的道路交通监控图像。

而且，事故是否发生还由车辆大小影响。因此，在本变形例中，优选获得并使用车辆的大小信息S(m)。

（第二实施方式）

图13示出根据本发明的第二实施方式的摄像装置的示意性结构框图。如图13所示，第二实施方式的摄像装置是将第一实施方式的拍摄优化装置内置在摄像机之中而构成的。该摄像装置的各个结构与第一实施方式中说明的相同，在此不做赘述。

根据第二实施方式的摄像装置，显然也能够获得与第一实施方式相同的技术效果。而且，第一实施方式的各种优选方式和变形例也能够适用于第二实施方式的摄像装置，并获得相应的效果。

以上对本发明的一些具体实施方式进行了说明。但本发明不限于上述具体实施方式，也可以在不脱离本发明的主旨和范围的条件下进行各种变形，或对实施方式进行组合。

例如，在上述各实施方式和变形例中，说明了由图像输出单元根据拍摄控制器的最佳拍摄参数输出图像的例子。但是，也可以由视频输出单元根据拍摄控制器的最佳拍摄参数输出视频帧。由此，也能够获得类似的效果。在此，视频输出单元相当于本发明中的输出单元。

例如，在上述各实施方式和变形例中，说明了摄像机/摄像装置具备图像输出单元和视频输出单元双方的例子。但是，摄像机/摄像装置也可以仅具备图像输出单元和视频输出单元中的某一方作为输出单元。即，在利用图像输出单元输出照片的情况下，摄像机/摄像装置可以仅具备图像输出单元作为输出单元；在利用视频输出单元输出视频帧的情况下，摄像机/摄像装置可以仅具备视频输出单元作为输出单元。

例如，在上述各实施方式和变形例中，着重说明了将本发明应用于同时监控多车道的交通监控的例子。但是，本发明显然也能够适用于监控单车道的交通监控，并获得相应的效果。

Claims

1.一种拍摄优化装置，控制用于道路交通监控且具有变焦镜头的摄像装置，其特征在于，具有：

图像序列预测器，从所述摄像装置接收由该摄像装置拍摄的当前帧的图像，获得所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；

第一存储器，存储由所述图像序列预测器获得的车辆的位置信息、以及由所述图像序列预测器预测的预测位置信息；以及

拍摄控制器，根据第一存储器中存储的预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给所述摄像装置；

所述图像序列预测器在预测所述预测位置信息时，从所述第一存储器中，读取所述当前帧之前过去N个帧的图像中车辆的位置信息作为过去位置信息，其中N为正整数，根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述预测位置信息。

2.如权利要求1所述的拍摄优化装置，其特征在于，

所述图像序列预测器还针对所述当前帧的图像中的车辆，赋予用于识别车辆的标记信息；

所述第一存储器将车辆的位置信息、预测位置信息与该车辆的标记信息相对应地存储。

3.如权利要求2所述的拍摄优化装置，其特征在于，还具有：

第二存储器，存储已经拍摄的车辆的标记信息；

所述拍摄控制器在计算最佳拍摄参数时，从所述第二存储器读取已经拍摄的车辆的标记信息，并排除所述已经拍摄的车辆。

4.如权利要求2所述的拍摄优化装置，其特征在于，

所述图像序列预测器在预测出所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息之后，还根据所述预测位置信息和标记信息，判断在预测的所述当前帧之后未来M个帧的图像中是否发生车辆遮挡；

在判断为发生车辆遮挡的情况下，所述图像序列预测器用预测的所述当前帧之后到发生车辆遮挡之前的各帧中车辆的位置信息作为新的预测位置信息，所述第一存储器存储所述新的预测位置信息。

5.如权利要求2所述的拍摄优化装置，其特征在于，

所述最佳拍摄参数至少包括最佳拍摄时刻；

所述拍摄控制器在计算最佳拍摄参数时，还根据所述预测位置信息和标记信息，判断在预测的所述当前帧之后未来M个帧的图像中是否发生事故；

在判断为发生事故的情况下，所述拍摄控制器优先在发生事故的时刻附近设定最佳拍摄时刻。

6.如权利要求1所述的拍摄优化装置，其特征在于，

所述图像序列预测器根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述当前帧的图像中的全部车辆都离开所述摄像装置的监控范围的时刻作为预测离开时刻，根据所述当前帧被拍摄的时刻、所述预测离开时刻以及所述摄像装置的拍摄帧率，计算预测的帧数M。

7.如权利要求1所述的拍摄优化装置，其特征在于，

所述图像序列预测器从所述第一存储器中，读取从所述当前帧的图像中的车辆最早出现的帧开始到所述当前帧之前的全部帧的图像中车辆的位置信息，作为所述当前帧之前过去N个帧的图像中车辆的位置信息即过去位置信息。

8.如权利要求1所述的拍摄优化装置，其特征在于，

所述最佳拍摄参数至少包括最佳拍摄时刻和最佳拍摄焦点位置；

所述拍摄控制器根据以下因素中的至少一个来计算最佳拍摄参数：

（a）所述摄像装置的变焦镜头的焦点移动的方向；

（b）拍摄所述当前帧的图像中的全部车辆所需要的拍摄次数。

9.如权利要求1所述的拍摄优化装置，其特征在于，

所述图像序列预测器还获得所述当前帧的图像中车辆的大小信息；

所述第一存储器还存储由所述图像序列预测器获得的车辆的大小信息；

所述拍摄控制器根据第一存储器中存储的车辆的大小信息、预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数。

10.如权利要求1～9中任一项所述的拍摄优化装置，其特征在于，

所述图像序列预测器从所述摄像装置接收的图像，是由所述摄像装置同时拍摄两个以上的车道而得到的图像。

11.一种摄像装置，用于道路交通监控，其特征在于，具有：

变焦镜头；

拍摄单元，接收来自所述变焦镜头的信号并转换为图像；

图像序列预测器，从所述拍摄单元接收当前帧的图像，获得所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；

第一存储器，存储由所述图像序列预测器获得的车辆的位置信息、以及由所述图像序列预测器预测的预测位置信息；

拍摄控制器，根据第一存储器中存储的预测位置信息以及所述变焦镜头的镜头信息，计算最佳拍摄参数；

镜头控制器，从拍摄控制器接收所述最佳拍摄参数，并向所述变焦镜头输出控制信号；以及

输出单元，输出按照所述控制信号拍摄的图像；

12.一种拍摄优化方法，控制用于道路交通监控且具有变焦镜头的摄像装置，其特征在于，包括以下步骤：

从所述摄像装置接收由该摄像装置拍摄的当前帧的图像，获得所述当前帧的图像中车辆的位置信息；

读取所述当前帧之前过去N个帧的图像中车辆的位置信息作为过去位置信息，其中N为正整数；

根据所述过去位置信息和所述当前帧的图像中车辆的位置信息，预测所述当前帧之后未来M个帧的图像中车辆的位置信息作为预测位置信息，其中M为正整数；

根据所述预测位置信息以及从所述摄像装置获得的所述变焦镜头的镜头信息，计算最佳拍摄参数，并将该最佳拍摄参数输出给所述摄像装置。