CN106375706B

CN106375706B - 利用双摄像头进行运动物体测速的方法、装置及移动终端

Info

Publication number: CN106375706B
Application number: CN201510433892.9A
Authority: CN
Inventors: 张旭
Original assignee: Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Current assignee: Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date: 2015-07-22
Filing date: 2015-07-22
Publication date: 2019-12-10
Anticipated expiration: 2035-07-22
Also published as: CN106375706A

Abstract

本发明提出了一种利用双摄像头进行运动物体测速的方法、装置及移动终端，该方法包括：对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面；基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，并采集所述运动目标的三维坐标方向上的运动速度；根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度。本发明可以在移动终端处于运动状态时，对双摄像头所拍摄的运动物体进行跟踪测速，本发明还能自动计算出移动终端移动的速度，从而消除了传统技术中由于摄像头随移动终端移动而造成的速度检测错误；根据需要对超过阈值设定速度的运动物体进行超速标记。

Description

利用双摄像头进行运动物体测速的方法、装置及移动终端

技术领域

本发明涉及图像跟踪测速技术领域，尤其涉及一种利用双摄像头进行运动物体测速的方法、装置及移动终端。

背景技术

目前，配置双摄像头的技术方案能够有效提升智能手机相机拍摄效果，为人们的生活带来了许多便利。但是，就目前来看，除了对拍照画质提升等有一定帮助外，该技术更大的意义是能够结合软件来提高后期智能手机相机的娱乐性。例如，通过具有双摄像头的智能手机相机来测量运动物体的速度。

现有技术方案中，通过智能手机相机来对移动物体测速的方案主要有基于单摄像头技术和基于双摄像头技术的。这些方法的共同点都是利用摄像头来从不同角度拍物体，再根据相似三角形原理来计算物体在空间中的三维坐标，然后通过距离和时间的比值来确定物体移动的平均速度。

现有技术方案仍然存在以下不足之处：

1.计算的物体运动速度仅能对进行直线运动或者近似直线运动的物体的速度进行测量，而对于进行曲线运动的物体的平均速度的测量会存在误差；

2.当智能手机相机处于运动状态时，无法对镜头中的运动物体的速度进行有效地测量，甚至会出现测量数据错误。

因此，现有的智能手机相机在运动物体测速方面的实用性和用户体验都较差。

发明内容

本发明要解决的技术问题是，提供一种利用双摄像头进行运动物体测速的方法、装置及移动终端，能够对双摄像头所拍摄的进行曲线运动物体的速度进行有效地测量。

本发明采用的技术方案是，所述利用双摄像头进行运动物体测速的方法，包括：

对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面；

基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，并采集所述运动目标的三维坐标方向上的运动速度；

根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度。

进一步的，所述对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面，包括：

针对位于移动终端同一侧的双摄像头同时各自所拍摄的画面，根据图像融合算法首先在所述双摄像头同时所拍摄的画面中寻找相似的特征点，然后基于所述相似的特征点将所述双摄像头同时所拍摄的画面进行合成，得到预览画面。

进一步的，所述基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，包括：

根据目标跟踪算法执行以下步骤：基于先后两个不同时刻的所述预览画面，将疑似运动目标区域从背景中区分出来；

根据运动目标的动静态特性在所述疑似运动目标区域中确定出运动目标，并对确定出的运动目标进行跟踪。

进一步的，采集所述运动目标的三维坐标方向上的运动速度，包括：

设三维坐标方向包括：水平方向x、竖直方向y和景深方向z；

针对运动目标的水平方向x和竖直方向y上的运动速度的采集方式如下：根据所述运动目标在先后两个不同时刻的所述预览画面中的x方向和y方向上的位移以及所述两个不同时刻之间的间隔计算出运动目标的水平方向x和竖直方向y上的运动速度；

针对运动目标的景深方向z上的运动速度的采集方式如下：分别基于先后两个不同时刻的所述预览画面确定出所述运动目标在z方向上的第一位置和第二位置，根据所述运动目标在z方向上的第一位置和第二位置以及所述两个不同时刻之间的间隔计算出运动目标的景深方向z上的运动速度。

进一步的，所述分别基于先后两个不同时刻的所述预览画面确定出所述运动目标在z方向上的第一位置和第二位置，包括：

设先后两个不同时刻的所述预览画面分别为第一时刻预览画面和第二时刻预览画面，第一时刻预览画面由双摄像头在第一时刻各自所拍摄的画面合成得到，第二时刻预览画面由双摄像头在第二时刻各自所拍摄的画面合成得到；

根据双摄像头在第一时刻各自所拍摄的画面，找到所述运动目标在z方向上的第一位置；根据双摄像头在第二时刻各自所拍摄的画面，找到所述运动目标在z方向上的第二位置。

进一步的，所述根据双摄像头在第一时刻各自所拍摄的画面，找到所述运动目标在z方向上的第一位置，包括：

设双摄像头为左摄像头和右摄像头，在第一时刻：所述运动目标在左摄像头的像面中的成像位置距该左摄像头像面左侧边缘的距离为XR，所述运动目标在右摄像头的像面中的成像位置距该右摄像头像面左侧边缘的距离为XL，则所述运动目标在双摄像头像面中视差为|XR-XL|；

所述运动目标在z方向上的第一位置Za＝bf/|XR-XL|，其中，b是左摄像头光心与右摄像头光心之间的距离，f为左摄像头到左摄像头的像面之间的距离，这里设左摄像头到左摄像头的像面之间的距离与右摄像头到右摄像头的像面之间的距离相等。

进一步的，在移动终端处于静止的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

将所述运动目标的三维坐标方向上的运动速度的平方和进行开方得到所述运动目标的绝对运动速度。

进一步的，在移动终端处于运动状态的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

在先后两个不同时刻的所述预览画面的基础上，利用运动估计算法得到全局运动矢量，所述全局运动矢量即代表移动终端自身的运动速度；

将所述运动目标的三维坐标方向上的运动速度的平方和进行开方得到所述运动目标的测量运动速度；

用测量运动速度减去所述移动终端自身的运动速度得到所述运动目标的绝对运动速度。

进一步的，所述方法，还包括：

设置一个速度阈值，若所述运动目标的绝对运动速度大于等于所述速度阈值，则对所述运动目标进行超速标记。

本发明还提供一种利用双摄像头进行运动物体测速的装置，包括：

画面合成模块，用于对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面；

跟踪采集模块，用于基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，并采集所述运动目标的三维坐标方向上的运动速度；

测速计算模块，用于根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度。

本发明还提供一种移动终端，包括上述利用双摄像头进行运动物体测速的装置。

采用上述技术方案，本发明至少具有下列优点：

本发明所述利用双摄像头进行运动物体测速的方法、装置及移动终端，可以在移动终端处于运动状态时，对双摄像头所拍摄的运动物体进行跟踪测速，本发明还能自动计算出移动终端移动的速度，从而消除了传统技术中由于摄像头随移动终端移动而造成的速度检测错误。根据需要对超过阈值设定速度的运动物体进行超速标记。因此，有效地提升了用户体验。

附图说明

图1为本发明第一实施例的利用双摄像头进行运动物体测速的方法流程图；

图2为本发明第二实施例的利用双摄像头进行运动物体测速的方法流程图；

图3为本发明第三实施例的利用双摄像头进行运动物体测速的装置组成结构示意图；

图4为本发明第四实施例的利用双摄像头进行运动物体测速的装置组成结构示意图；

图5为本发明第六实施例利用双摄像头进行运动物体跟踪测速的智能手机相机应用的组成示意图；

图6为本发明第六实施例的双目相机的拍摄成像模型示意图；

图7(a)、(b)分别为本发明第六实施例参考图像和当前图像上目标的位置示意图；

图8为本发明第六实施例的利用该应用进行运动物体超速预警的流程图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

本发明第一实施例，一种利用双摄像头进行运动物体测速的方法，如图1所示，包括以下具体步骤：

步骤S101，对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面；

具体的，步骤S101包括：

针对位于移动终端同一侧的双摄像头同时各自所拍摄的画面，根据图像融合算法首先在所述双摄像头同时所拍摄的画面中寻找相似的特征点，然后基于所述相似的特征点将所述双摄像头同时所拍摄的画面进行合成，得到预览画面。在本领域中，位于移动终端同一侧的双摄像头也叫做双目摄像头。

步骤S102，基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，并采集所述运动目标的三维坐标方向上的运动速度；

具体的，在步骤S102中，基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，包括：

根据目标跟踪算法执行以下步骤：基于先后两个不同时刻的所述预览画面，采用帧差法或者光流法将疑似运动目标区域从背景中区分出来；

根据运动目标的动静态特性在所述疑似运动目标区域中排除噪声干扰，从而确定出运动目标，并对确定出的运动目标进行跟踪。疑似运动目标区域中有些可能是目标，而有些则可能仅仅是一些噪声干扰。由于运动目标具有明显的静态及运动特性，而噪声的干扰是随机的，噪声的静态特性和运动特性一般不具有规律性。因此，可以根据运动目标的动静态特性在所述疑似运动目标区域中排除噪声干扰从而确定出真正的运动目标。

在步骤S102中，采集所述运动目标的三维坐标方向上的运动速度，包括：

设三维坐标方向包括：水平方向x、竖直方向y和景深方向z；

更进一步的，所述根据双摄像头在第一时刻各自所拍摄的画面，找到所述运动目标在z方向上的第一位置，包括：

所述运动目标在z方向上的第一位置Za＝bf/|XR-XL|。其中，b是左摄像头光心与右摄像头光心之间的距离，f为左摄像头到左摄像头的像面之间的距离，这里设左摄像头到左摄像头的像面之间的距离与右摄像头到右摄像头的像面之间的距离相等。

同理，可以计算得出所述运动目标在z方向上的第二位置Zb。

步骤S103，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度。

具体的，步骤S103基于移动终端的不同状态分为以下两种情况：

第一种：在移动终端处于静止的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

第二种：在移动终端处于运动状态的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

A1：在先后两个不同时刻的所述预览画面的基础上，利用运动估计算法得到全局运动矢量和局部运动矢量，所述全局运动矢量即代表移动终端自身的运动速度；

进一步的，全局运动矢量估计，是指利用图像处理中的运动估计算法来计算帧间图像的背景移动速度。全局的意思就是整体的意思，在图像中代表背景的移动速度，该速度最小值为0，即静止。利用运动估计算法可以获得帧间图像的全局运动矢量和局部运动矢量，而采用全局运动矢量来代表移动终端摄像头的移动速度，也就是图像背景的移动速度。

A2：将所述运动目标的三维坐标方向上的运动速度的平方和进行开方得到所述运动目标的测量运动速度；

A3：用测量运动速度减去所述移动终端自身的运动速度得到所述运动目标的绝对运动速度。

本发明第二实施例，一种利用双摄像头进行运动物体测速的方法，本实施例所述方法与第一实施例大致相同，区别在于，如图2所示，本实施例的所述方法，还包括：

步骤S204，设置一个速度阈值，若所述运动目标的绝对运动速度大于等于所述速度阈值，则对所述运动目标进行超速标记。

本发明第三实施例，与第一实施例对应，本实施例介绍一种利用双摄像头进行运动物体测速的装置，如图3所示，包括以下组成部分：

画面合成模块301，用于对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面；

跟踪采集模块302，用于基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，并采集所述运动目标的三维坐标方向上的运动速度；

测速计算模块303，用于根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度。

本发明第四实施例，与第二实施例对应的介绍一种利用双摄像头进行运动物体测速的装置，本实施例所述方法与第三实施例大致相同，区别在于，如图4所示，本实施例的所述装置，还包括：

超速标记模块404，用于当所述运动目标的绝对运动速度大于等于设定的速度阈值时，对所述运动目标进行超速标记。

本发明第五实施例，本实施例是在第三、四实施例的基础上，介绍一种移动终端，包含第三实施例或第四实施例中的利用双摄像头进行运动物体测速的装置。本实施例的终端可以当作实体装置来理解。

本发明第六实施例，本实施例是在上述实施例的基础上，结合附图5～8介绍一个本发明的应用实例。

本发明实施例介绍一种利用双摄像头进行运动物体跟踪测速的智能手机相机应用，将该应用安装于智能手机中，用户可以通过智能手机相机来进行拍照，而在拍照过程中可以通过屏幕来实时跟踪预览画面中的运动物体，并对运动物体进行实时跟踪测速。当用户按下快门后，预览界面中的实时画面将会保存到手机相册中；该技术方案会事先测量出智能手机的移动速度，并根据相对运动原理，来估算出运动物体在世界坐标系中真实的运动速度，使得测速功能在镜头不必固定的情况下也可准确工作；该技术方案还具有一个功能：用户事先设置一个阈值，例如120km/h，当预览画面中出现的运动物体速度超过该值时，手机相机会实时检测并自动保存该画面，该功能可以帮助用户对超速车辆的监督和取证。

如图5所示，本发明实施例的利用双摄像头进行运动物体跟踪测速的智能手机相机应用，包括以下组成模块：设置模块、实时测速模块以及输出模块，图5中阴影部分代表方案中的重要模块。其中，设置模块，主要是实现智能手机相机中测速功能和预警功能的开启和闭合。如果智能测速功能被开启，则系统框架中的实时测速模块功能将被激活，预览界面中的运动物体将会被实时标记出，其速度值也将被实时显示出；如果智能测速功能被关闭，则取消测速功能；如果超速预警开关被开启，则在输出模块中激活超速预警功能，当预览界面中运动物体实时速度超出给定阈值时，系统将会自动记录实时画面；如果超速预警开关被关闭，则取消预警功能。实时测速模块是通过具体算法来对预览界面中运动物体进行自动跟踪测速，其中，利用目标跟踪算法可以实时跟踪画面中运动的物体，并对其进行标记，如有多个运动物体，则用不同的符号来标记；双目测量过程中，利用标定后的双摄像头来采集已标记出的运动物体中心点的三维坐标；智能测速过程中，通过参考帧和当前帧之间运动物体的三维坐标来计算出位移，再除以两帧间隔的时间来获得预判速度，最后通过相对位移关系计算出运动物体真实的速度，其中，摄像头的移动可由画面的整体位移来表示。输出模块是对通过用户手动拍照的方式或者系统根据超速预警机制自动记录的方式来记录预览界面的图像。

空间物体的三维数据包括高度、宽度和深度。通常，智能手机相机能够获取到的二维图像都是三维世界的投影图像。因此，二维图像不可避免的丢失了具有重要意义的深度信息，而深度信息在目标跟踪、智能测速等应用领域具有重要作用。

图6为双目相机的拍摄成像模型，OL和OR是左右相机的的光心，长为L的两条线段(端点为八角星的线段)表示的是左右相机的像面。则光心到像面的最短距离就是焦距长度f。若P是世界坐标系中的一个运动目标，它在左右像面上的成像点是PL和PR。PL和PR距各自像面的左边缘的距离是XL和XR。视差就是XR-XL或者是XL-XR。摄像头经过标定后，f、b、R、XL都能够得到，那么物体的景深Z如下：

其中，X_R-X_L称为视差，即目标点在左右两幅视图上成像的横向坐标直接存在的差异。利用图像匹配和视差原理即可获得景物的空间三维坐标(X,Y,Z)。

图7(a)、(b)分别为参考图像和当前图像上目标的位置。其中，两幅图像都是由双摄像头采集到的画面合成的，且参考图像与当前图像相差的时间间隔很小。通过对参考图像和当前图像的匹配分析，结合现有的跟踪算法，即可获得图像中的运动目标，如图7(b)中的方框标记所示；接着，根据双目测距原理，获得当前图像中运动目标和参考图像中对应目标的空间三维坐标。如图所示，图7(a)中(x_a,y_a,z_a)，(x_b,y_b,z_b)和(x_c,y_c,z_c)分别代表目标A,B,C的空间三维坐标，图7(b)中(x_a',y_a',z_a')，(x_b',y_b',z_b')和(x_c',y_c',z_c')分别代表目标A’,B’,C’的空间三维坐标；然后，结合空间欧式几何知识，运动目标A,B,C到A’,B’,C’的位移sⁱ可由下面公式计算得出：

那么，运动物体A’,B’,C’在当前图像的测量速度为：

其中，t代表参考图像和当前图像之间的时间间隔，v代表镜头的移动速度。运动物体A’,B’,C’在当前图像的测量速度减去v即可消除镜头移动对运动目标速度测量带来的错误影响。v的测量方法一般可采用图像全局运动估计算法来获得。具体方法为：利用数字图像处理技术检测参考图像和当前图像之间的全局运动矢量，用信号处理的方法分离出载体的主体运动。

图8为利用该应用进行运动物体超速预警的流程图。由图8可知，当系统启动双摄像头之后，会先判断电子智能测速功能是否开启(默认为开启)，若是关闭状态则在正常拍摄之后结束，否则将继续执行主体程序。

在主体程序中，首先通过双摄像头在短时间间隔内获取两幅具有三维信息的图像，并按先后顺序将其确定为参考图像和当前图像；再利用目标跟踪算法提取并标记出运动目标；接着，根据立体视觉原理，计算出运动目标在参考图像和当前图像中的空间三维坐标；然后，通过计算镜头移动速度和目标速度的差值，可获得目标最终的运动速度。最后，判断超速预警开关设置是否开启，若开启则进行超速预警并记录，否则直接记录并结束程序。

本发明实施例实现了一种利用双摄像头进行运动物体跟踪测速的智能手机相机应用，可以快速准确的对场景中运动物体进行跟踪测速，还可以对超过阈值设定速度的运动物体进行超速预警和记录。另外，还能自动计算出摄像头移动的速度，从而消除了传统技术中由于摄像头移动而造成的速度检测错误，有效地提高了用户体验。

本发明实施例还提供了一种移动终端，包括本发明实施例提供的利用双摄像头进行运动物体测速的装置。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims

1.一种利用双摄像头进行运动物体测速的方法，其特征在于，包括：

根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度；

所述采集所述运动目标的三维坐标方向上的运动速度，包括：

设三维坐标方向包括：水平方向x、竖直方向y和景深方向z；

针对运动目标的景深方向z上的运动速度的采集方式如下：分别基于先后两个不同时刻的所述预览画面确定出所述运动目标在z方向上的第一位置和第二位置，根据所述运动目标在z方向上的第一位置和第二位置以及所述两个不同时刻之间的间隔计算出运动目标的景深方向z上的运动速度；

所述分别基于先后两个不同时刻的所述预览画面确定出所述运动目标在z方向上的第一位置和第二位置，包括：

根据双摄像头在第一时刻各自所拍摄的画面，找到所述运动目标在z方向上的第一位置；根据双摄像头在第二时刻各自所拍摄的画面，找到所述运动目标在z方向上的第二位置；

所述根据双摄像头在第一时刻各自所拍摄的画面，找到所述运动目标在z方向上的第一位置，包括：

2.根据权利要求1所述的利用双摄像头进行运动物体测速的方法，其特征在于，所述对位于移动终端同一侧的双摄像头同时所拍摄的画面进行合成得到预览画面，包括：

3.根据权利要求1所述的利用双摄像头进行运动物体测速的方法，其特征在于，所述基于先后两个不同时刻的所述预览画面，利用目标跟踪算法从所述预览画面中提取出运动目标并进行跟踪，包括：

4.根据权利要求1所述的利用双摄像头进行运动物体测速的方法，其特征在于，在移动终端处于静止的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

5.根据权利要求1所述的利用双摄像头进行运动物体测速的方法，其特征在于，在移动终端处于运动状态的情况下，根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度，包括：

用所述测量运动速度减去所述移动终端自身的运动速度得到所述运动目标的绝对运动速度。

6.根据权利要求1～5中任一项所述的利用双摄像头进行运动物体测速的方法，其特征在于，所述方法，还包括：

7.一种利用双摄像头进行运动物体测速的装置，其特征在于，包括：

测速计算模块，用于根据所述运动目标的三维坐标方向上的运动速度确定所述运动目标的绝对运动速度；

跟踪采集模块，用于：

设三维坐标方向包括：水平方向x、竖直方向y和景深方向z；

8.一种移动终端，其特征在于，包括如权利要求7所述的利用双摄像头进行运动物体测速的装置。