CN108957024A - 一种速度测量的方法、装置以及电子设备 - Google Patents
一种速度测量的方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN108957024A CN108957024A CN201710364557.7A CN201710364557A CN108957024A CN 108957024 A CN108957024 A CN 108957024A CN 201710364557 A CN201710364557 A CN 201710364557A CN 108957024 A CN108957024 A CN 108957024A
- Authority
- CN
- China
- Prior art keywords
- moving objects
- image frame
- described image
- mapping relations
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000033001 locomotion Effects 0.000 claims abstract description 202
- 238000013507 mapping Methods 0.000 claims abstract description 103
- 230000002123 temporal effect Effects 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000012806 monitoring device Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000012423 maintenance Methods 0.000 abstract description 5
- 230000004044 response Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 241000406668 Loxodonta cyclotis Species 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种速度测量的方法、装置以及电子设备。其中,所述速度测量的方法,包括:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取运动对象的速度。所述技术方案自适应图像帧集合中像素对应的实际距离,响应速度快,检测的信息量大,容易实现,降低设置测速设备的成本,易于安装调试,维护容易。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种速度测量的方法。本申请同时涉及一种速度测量的装置、一种电子设备、一种用于速度测量的存储设备、一种速度测量的方法以及一种计算设备。
背景技术
在智能交通领域,根据测量原理的不同,目前车辆测速的主要方法可区分为雷达测速、激光测速以及地感线圈测速。其中,雷达测速是利用多普勒原理实现测速,当车辆相对雷达测速系统存在相对运动时,雷达回波产生多普勒频率变化,再根据雷达系统与车辆行驶方向夹角关系利用多普勒频率与速度公式计算得到车辆行驶速度,如车速超过设定值,则指令相机拍摄,晚间同时触发闪光灯,雷达测速的主要缺点是响应速度慢,需要一定时间才能完成对车辆的测速,而且当路面上车辆很多时难以完成测速任务,并且成本较高,难以广泛应用;激光测速是基于激光测距的基础而实现的,需要人工标定道路区域和距离,其通过对被测车辆发射激光光束,并接收该激光光束的反射波,通过对车辆进行多次测距,与测量时间之比得到车辆行驶速度,该方法当存在测量偏差角度时,测量准确度随测量偏差角度的变大而下降,因此难以满足实际车辆测速需求;地感线圈测速是通过检测车辆通过两个传感器的时间差来求速度,该传感器可以是埋设在路面上的两个线圈,其是利用电磁感应原理来感知车辆,地感线圈测速需要在地下埋设线圈,对路面损伤较大且维护成本较高。
由此可见,现有技术的测速方法,需要事先通过人工标定道路区域和标定道路距离,人工工作量巨大,且往往仅支持对单个车辆目标,车辆检测率较低,跟踪效果较差,易丢失目标,精度不够;此外,在进行测速时还需要与测速设备相结合,测速设备需要额外安装复杂且成本高。
发明内容
本申请提供一种速度测量的方法,以解决现有技术中的上述问题。本申请同时涉及一种速度测量的装置、一种电子设备、一种用于速度测量的存储设备、一种速度测量的方法以及一种计算设备。
本申请提供一种速度测量的方法,所述速度测量的方法,包括:
从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;
在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;
对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;
根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
可选的,所述图像帧集合,包括:视频帧以及序列图像帧。
可选的,所述从图像帧集合中识别运动对象,包括:
从所述图像帧集合中,识别以深度学习技术预先训练的运动对象。
可选的,在所述从图像帧集合中识别运动对象的步骤之后,包括:
对所述运动对象进行3D建模。
可选的,所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系,包括:
在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离;
获取水平以及垂直方向上所占的像素距离,与所述尺寸属性信息间的映射关系。
可选的,在所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系的步骤之后,包括:
对所述图像帧集合中识别出的每一运动对象的所述映射关系,进行记录;
获取已记录的映射关系的平均值。
可选的,所述获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息,包括:
以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹;
以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
可选的,所述对识别出的所述运动对象进行跟踪,包括:
在所述图像帧集合中,通过计算机视觉技术对识别出的所述运动对象进行跟踪。
可选的,所述根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离,包括:
将所述运动轨迹所占的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
可选的,所述运动对象,包括:车辆;
相应的,所述运动对象具有的属性信息,至少包括:车辆颜色、车型、车牌号码、车辆品牌以及车辆尺寸。
相应的,本申请实施例还提供了一种速度测量的装置,所述速度测量的装置,包括:
识别单元,用于从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;
映射关系确定单元,用于在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;
跟踪单元,用于对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
距离映射单元,用于根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;
速度获取单元,用于根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
可选的,所述映射关系确定单元,包括:
像素距离确定子单元,用于在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离;
映射关系确定子单元,用于获取水平以及垂直方向上所占的像素距离,与所述尺寸属性信息间的映射关系。
可选的,所述跟踪单元,包括:
运动轨迹获取子单元,用于以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹;
时间帧获取子单元,用于以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
可选的,所述距离映射单元,具体用于将所述运动轨迹所占的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
此外,本申请实施例还提供了一种电子设备,包括:
处理器;
存储器,用于存储速度测量程序,所述程序在被所述处理器读取执行时,执行如下操作:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
此外,本申请实施例还提供了一种用于速度测量的存储设备,包括:存储有指令,所述指令能够被处理器加载并执行以下步骤:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
此外,本申请实施例还提供了一种速度测量的方法,所述速度测量的方法,包括:
从图像帧集合中识别运动对象;
对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
根据所述运动对象在所述图像帧集合中所占的像素距离,将所述运动轨迹映射为所述运动对象的真实运动距离;
根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
此外,本申请实施例还提供了一种计算设备,所述计算设备,包括:
图像采集设备,用于捕获图像帧集合;
处理器,连接到所述图像采集设备,用于根据权利要求1-9中任意一项所述的方法,确定所述图像帧集合中的运动对象的速度。
可选的,所述计算设备是如下之一:
移动设备;
监控摄像机;
飞行监控设备;或
地面移动监控设备。
与现有技术相比,本申请具有以下优点:
本申请提供的一种速度测量的方法、装置以及电子设备,通过从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。所述技术方案通过深度学习技术对运动对象进行实时检测和识别,并将图像帧集合中识别出的运动对象所占的像素与实际运动对象的尺寸建立映射关系,并根据在图像帧集合中对运动对象的运动轨迹进行跟踪,而得到的真实运动距离计算该运动对象的速度。这种测速方法自适应图像帧集合中像素对应的实际距离,响应速度快,检测的信息量大,容易实现,降低设置测速设备的成本,易于安装调试,维护容易。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1示出了根据本申请的实施例提供的速度测量的方法的流程图;
图2示出了根据本申请的实施例提供的速度测量的示意图;
图3示出了根据本申请的实施例提供的速度测量的装置的示意图;
图4示出了根据本申请的实施例提供的电子设备的示意图;
图5示出了根据本申请的实施例提供的另一种速度测量的方法的流程图;
图6示出了根据本申请的实施例提供的计算设备的示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是,本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此,本申请不受下面公开的具体实施的限制。
本申请的实施例提供了一种速度测量的方法;本申请同时涉及一种速度测量的装置、一种电子设备、一种用于速度测量的存储设备、一种速度测量的方法以及一种计算设备。在下面的实施例中逐一进行详细说明。
目前,在智能交通领域,根据测量原理的不同,车辆测速的主要方法可区分为雷达测速、激光测速以及地感线圈测速。而雷达测速是响应速度慢,需要一定时间才能完成对车辆的测速,而且当路面上车辆很多时难以完成测速任务,并且成本较高,难以广泛应用;通过激光测速时,若存在测量偏差角度时,测量准确度随测量偏差角度的变大而下降,因此难以满足实际车辆测速需求;地感线圈测速需要在地下埋设线圈,对路面损伤较大且维护成本较高。由此可见,现有技术的测速方法,需要事先通过人工标定道路区域和标定道路距离,人工工作量巨大,且往往仅支持对单个车辆目标,车辆检测率较低,跟踪效果较差,易丢失目标,精度不够;此外,在进行测速时还需要与测速设备相结合,测速设备需要额外安装复杂且成本高。针对这一问题,所述技术方案通过深度学习技术对运动对象进行实时检测和识别,并将图像帧集合中识别出的运动对象所占的像素与实际运动对象的尺寸建立映射关系,并根据在图像帧集合中对运动对象的运动轨迹进行跟踪,而得到的真实运动距离计算该运动对象的速度。这种测速方法自适应图像帧集合中像素对应的实际距离,响应速度快,检测的信息量大,容易实现,降低设置测速设备的成本,易易于安装调试,维护容易。
在详细描述本实施例的具体步骤之前,先对本技术方案涉及的计算机学习过程以及视觉技术作简要说明。
深度学习(Deep Learning):深度学习是机器学习拉出的分支,它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中表征学习方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的矢量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是将用非监督式或半监督式的特征学习和分层特征提取的高效算法来替代手工获取特征。
计算机视觉(Computer Vision):计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一门科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取「信息」的人工智能系统。
3D模型和3D建模:3D模型是三维的、立体的模型,3D建模是指构造3D模型的过程(例如:将二维图像转变为三维图像的过程)。3D建模的方法有很多,如通过三维软件构造、通过扫描仪器扫描或者通过图像视频来建模等。
本申请的实施例提供了一种速度测量的方法,所述速度测量的方法将图像帧集合中像素与实际距离相映射,实现了通过图像帧集合对运动对象的速度测量。所述速度测量的方法实施例如下:
请参考图1,其示出了根据本申请的实施例提供的速度测量的方法的流程图。
所述速度测量的方法,包括:
步骤S101,从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息。
在本实施例中,所述从图像帧集合中识别运动对象,可以采用如下方式实现:从图像帧集合中识别发生位移的运动对象(运动物体),并识别出所述运动对象的类型(例如:车辆、行人)以及对应所述运动对象的尺寸属性信息(例如:宽高信息)。
例如:可以通过背景差分法获取所述图像帧集合中的像素点,然后使用区域分析的方法处理所述像素点,区分所述图像帧集合中的运动像素点,将区分出的所述运动像素点作为运动对象的识别结果。
需要说明的是,所述运动对象是指:在图像帧集合中发生位移的运动的物体的统称,例如:车辆、行人、动物等能够进行运动的物体都可称为运动对象。
在本实施例中,所述图像帧集合,包括:视频帧以及序列图像帧。其中,所述序列图像帧是指:在时间上具有连续性的图像帧;所述视频帧是指:组成视频的图像帧。
可以理解的,所述运动对象可以从视频信息中进行识别,是由于视频都是由静止的画面组成的,而些静止的画面被称为帧,所以在视频中识别运动对象,其实质为从大量连续的视频帧中识别运动对象,视频的帧数较高(一般为25帧每秒);同样的,所述运动对象还可以从在时间上具有连续性的图像中进行识别,而序列图像帧的帧数相对较低(每秒低于25张图像,一般为每秒16张图像即可达到具有连续性的效果)。
需要说明的是,所述图像帧集合为视频帧集合时,可以通过摄像机拍摄运动对象的运动过程来获得。例如:以双目相机安装在道路旁(交通信号灯上);或者利用视觉传感器采集自车辆行进方向上的图像信息,该视觉传感器可以为CCD摄像机。
在具体实施时,所述从图像帧集合中识别运动对象,可以通过深度学习技术,在所述图像帧集合中,识别以深度学习技术预先训练的运动对象。
需要说明的是,在使用深度学习技术对所述图像帧集合进行识别时,需要先以预设的运动对象(运动物体)进行训练。例如:以各种类型车辆进行训练。在训练后,所述深度学习技术就可以从所述图像帧集合中识别出已经过训练的运动对象(已训练的各种类型车辆)。
在本实施例中,所述运动对象的类型为车辆时,所述运动对象具有的属性信息,可以包括:车辆颜色、车型、车牌号码、车辆品牌以及车辆尺寸
例如:在执行所述速度测量的方法时,以车辆作为运动对象,并以SUV、黑色、宝马、品牌(2016款XXX型号XXX)、车牌(京XXXXX)以及长*宽*高(4909*1938*1772),作为所述运动对象的属性信息,进行训练。在以上述训练样本进行训练之后,采用基于深度学习技术的运动对象识别技术,对图像帧集合(交通视频)的中路口、道路、公共场所的中的车辆进行检测和分类,就可以识别出与上述训练样本的属性信息相同的车辆,并输出识别出的输出车辆在视频图像中的位置和车辆的属性信息。
在本实施例中,由于从所述图像帧集合中识别出的运动对象都是二维图像,而在所述图像帧集合中的真实的运动对象都是三维的、立体的,为了在后续的速度测量过程中提高测量精度,本申请实施例的技术方案提供了一种的优选实施方式,在优选方式下,从所述图像帧集合中识别出运动对象后,还需要对所述运动对象进行3D建模,将识别出的二维图像,转换为三维立体的模型。
例如:三维软件构造、通过扫描仪器扫描来对识别出的运动对象进行建模等。
需要说明的是,在执行步骤S101从图像帧集合中识别运动对象后,识别出的所述运动对象的尺寸属性信息是具有宽度和高度的二维尺寸;而在对所述运动对象进行训练时,是采用的所述运动对象的长*宽*高作为尺寸属性信息进行训练的,所以在对运动对象进行3D建模,将识别出的二维图像,转换为三维立体的模型后,识别出的所述运动对象具有的尺寸属性信息,就是具有长度,宽度和高度的三维尺寸。
步骤S103,在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系。
在本实施例中,所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系,可以采用如下方式实现:在所述图像帧集合中,确定识别出的所述运动对象所占的像素距离,并获取所述像素距离,与所述运动对象的宽高信息,建立映射关系,获取每个像素距离对应的所述运动对象在真实环境中的实际距离。
需要说明的是,所述图像帧集合是由一定数量的像素点组成,所以从所述图像帧集合中识别出的运动对象,同样由一定数目的像素点组成。可以理解的,所述像素点中文全称为图像元素。像素仅仅只是分辨率的尺寸单位,从定义上来看,像素是构成数码影像的基本单元,通常以像素每英寸PPI(pixels per inch)为单位来表示影像分辨率的大小。例如:300x300PPI分辨率,即表示水平方向与垂直方向上每英寸长度上的像素数都是300,也可表示为一平方英寸内有9万(300x300)像素。
在具体实施,所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系,是在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离后,获取所述运动对象在水平方向上所占的像素距离,与所述运动对象的宽度确定映射关系;同样的道理,获取所述运动对象在垂直方向上所占的像素距离,与所述运动对象的高度确定映射关系,并将水平映射关系与垂直映射关系作为所述运动对象的映射关系。
可以理解的,所述运动对象在现实的坐标系中是(x,y,z)三维立体的形态而存在的,而所述图像帧集合中所记录的像素点是将三维坐标系在摄像设备中进行投影而形成的二维坐标系(x,y),因此将所述图像帧集合中识别出的运动对象所占用的像素距离可以与所述运动对象的属性信息中的长*宽*高信息建立映射关系。
所述映射关系是利用投影几何学的基本原理,通过摄像机标定技术确定出。在投影几何学中,三维立体的物体投影到二维平面上形成图像,该图像中任意一点的像素坐标与该像素在三维空间中的坐标之间存在一定的映射关系。
需要说明的是,在所述图像帧集合中,任意一个像素点是通过像素点的坐标(x,y)进行区分的(即像素点都是二维的),而实际的运动对象都是三维的、立体的,为了提高在本步骤中获取的映射关系的精度,本申请实施例的技术方案提供了一种的优选实施方式,在优选方式下,是以对识别出的所述运动对象进行3D建模后的3D模型所占用的像素距离,与所述运动对象的尺寸属性信息中的长宽高信息,建立映射关系。
例如:当运动对象为车辆时,在步骤S101中识别出的车辆的尺寸属性信息为4909*1938*1772,而当识别出的该车辆在所述图像帧集合中,在水平方向上所占的像素距离为75PPI;在垂直方向上所占的像素距离为40PPI时,将水平方向上所占的像素距离75PPI与该车辆的属性信息中的长4909mm建立映射关系,获取在水平方向上每像素点对应65.5mm;同样的,将垂直方向上所占用的像素距离40PPI与该车辆的属性信息中的高1772mm建立映射关系,获取在垂直方向上每像素点对应44.3mm,上述例子中的数值仅仅是示意性的。
在本实施例中,由于在对所述识别出的所述运动对象进行3D建模后的3D模型,所占用的像素距离,与所述运动对象的尺寸属性信息中的长宽高信息,建立映射关系时,以单一3D建模后的所述运动对象建立的映射关系,由于投影角度的问题,可能造成误差相对较大的问题,且由于在所述图像帧集合中识别出的所述运动对象往往大于一,所以本申请实施例的技术方案提供了一种的优选实施方式,在优选方式下,在所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系的步骤之后,需要对所述图像帧集合中识别出的每一运动对象的映射关系,进行记录,并获取已记录的映射关系的平均值。
可以理解的,在后续的速度测量过程中,采用已记录的所述映射关系的平均值,进行速度的测量过程可以提高速度的测量精度。
步骤S105,对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息。
在本实施例中,所述对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息,可以采用如下方式实现:根据目标跟踪算法对所述图像帧集合中识别出的所述运动对象进行跟踪,根据对所述运动对象进行跟踪的结果,将所述运动对象在所述图像帧集合中连续的每一图像帧中的位置信息连接起来,获取所述运动对象的运动轨迹,以及根据所述运动轨迹的起始点以及终止点对应的图像帧的时间戳,确定对应的时间信息。
例如:对识别出的所述运动对象进行跟踪,获取到所述运动对象在所述图像帧集合中的运动轨迹为水平方向上5000PPI;垂直方向上0PPI;获取到所述运动对象在所述图像帧集合中的起始点的图像帧的时间戳为9:30:15,获取到所述运动对象在所述图像帧集合中的终止点的图像帧的时间戳为9:30:55,则所述运动对象在所述图像帧集合中的时间信息为40s。
需要说明的是,由于识别出的所述运动对象占用若干数量的像素点,所以在以所述运动对象进行跟踪时,需要从所述运动对象所占用像素点中选取一个进行跟踪时的相对位置,所以在本步骤中,所述获取所述运动对象在所述图像帧集合中的运动轨迹,是以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹。
所述获取所述运动对象在所述图像帧集合中的时间信息,是以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
可以理解的,由于图像帧集合在时间上具有连续性,且每一图像帧集合均带有当前时刻的时间信息,所以通过所述运动对象起始运动时的图像帧,至所述运动对象终止运动时的图像帧,两个端点的图像帧就可以获取所述运动对象在所述图像帧集合中运动的时间信息。
在具体实施时,所述对识别出的所述运动对象进行跟踪,可以通过计算机视觉技术中的目标跟踪算法对识别出的所述运动对象进行跟踪。
需要说明的是,由于本申请中所采用的计算机视觉技术中的目标跟踪算法为本领域常规算法,这里不再对其具体实现进行赘述。
步骤S107,根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离。
在本实施例中,所述根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离,可以采用如下方式实现:将在步骤S105中获取的所述运动对象在所述图像帧集合中的运动轨迹,根据所述运动轨迹所占用的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
具体的,所述根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离,包括:将在步骤S105中获取的所述运动对象在所述图像帧集合中的运动轨迹,根据所述运动轨迹所占用的像素距离,与像素点映射至所述运动对象的尺寸属性信息间的映射关系,获取所述运动轨迹在真实环境中的真实运动距离。
需要说明的是,本申请利用所述运动对象在所述图像帧集合中所占的像素距离,与所述运动对象的属性信息间的映射关系,获取运动对象在所述图像帧集合中所占的像素距离,然后根据所述映射关系计算出运动对象在真实环境中的真实运动距离,进而获取所述运动对象的运动速度。
例如:当运动对象为车辆时,且该车辆在水平方向上每像素点对应40.9mm的映射关系时,若该车辆进行行驶时,在水平方向上的运动轨迹为5000PPI,则该车辆在水平方向上的真实运动距离为204500mm。
需要说明的是,当所述运动对象在多个方向上均跟踪获取到所述运动轨迹时,则分别映射每个方向上的真实运动距离。
步骤S109,根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
在本实施例中,所述根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度,可以采用如下方式实现:将在步骤S107中获取的所述真实运动距离,除以在步骤S105中获取的所述运动对象的时间信息,获取所述运动对象在当此运动过程中的运动速度。
例如:当运动对象为车辆时,且该车辆在水平方向上的真实运动距离为204500mm,获取到的所述车辆在所述图像帧集合中的时间信息为40s,从而计算出该车辆的运动速度为5112.5mm/s。
需要说明的是,当所述运动对象在多个方向上均跟踪获取到所述运动轨迹时,并映射出每个方向上的真实运动距离时,则分别获取所述运动对象在每个方向上的速度后,再获取所述运动对象的合速度,以所述合速度作为所述运动对象的速度。
可以理解的,在本步骤中获取到的所述运动对象的速度是具有方向的矢量信息,而在实际使用是可以仅获取所述运动对象的速率(即:所述运动对象的速度的数值)。
下面通过一个具体的例子说明所述速度测量的方法的实现过程。
请参考图2,其示出了根据本申请的从图像帧集合中识别运动对象的示意图。
在执行所述速度测量的方法时,若是要对车辆的速度进行测量时,则需要先以车辆作为运动对象,并以车辆颜色、车型、车牌号码、车辆品牌以及车辆尺寸为属性信息的车辆,作为训练样本进行训练。例如:以SUV、黑色、宝马、品牌(2016款XXX型号XXX)、车牌(京XXXXX)以及长*宽*高(4909*1938*1772),作为所述运动对象的属性信息,进行训练。
由图2可知(图中车辆的外观仅仅是示意性的),所述视频图像的分辨率为300x300PPI,在以上述训练样本进行训练之后,执行步骤101从图像帧集合中识别运动对象,采用基于深度学习技术的运动对象识别技术,对图像帧集合(交通视频)的中路口、道路、公共场所的中的车辆进行检测和分类,就可以识别出与上述训练样本的属性信息相同的车辆,并输出识别出的输出车辆在视频图像中的位置和车辆的属性信息,例如:图中的SUV:black。
在识别出车辆后,除了在图2中显示的属性信息SUV:black之外,还获取到所述车辆的尺寸属性信息长*宽*高4909*1938*1772。
可以理解的,在识别出已训练的所述运动对象后,就可以获取到所述运动对象在训练时使用的全部属性信息,即所述车辆的尺寸属性信息,以及车牌号码、车辆品牌等。
执行完步骤S101从图像帧集合中识别运动对象后,再执行步骤S103在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系,下面说明步骤S103在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系的实现过程。
在300x300PPI的所述视频图像中识别出所述车辆后,从所述视频图像中,确定所述车辆在水平方向上所占的像素距离为75PPI,在垂直方向上所占的像素距离为40PPI,并将已获取到的所述车辆的尺寸属性信息中的长4909mm与水平方向上所占的像素距离75PPI建立映射关系,获取在水平方向上每像素点对应65.5mm;同样的并将已获取到的所述车辆的尺寸属性信息中的高1772mm与垂直方向上所占的像素距离40PPI建立映射关系,获取在垂直方向上每像素点对应44.3mm,上述例子中的数值仅仅是示意性的。
下面说明执行完步骤S103后,执行的步骤S105对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息的实现过程。
在所述视频图像中对识别出的所述车辆进行跟踪,在追踪过程中,获取到所述车辆在所述视频图像中,从起始运动至结束运动时的运动轨迹为水平方向上5000PPI;垂直方向上0PPI;获取到所述车辆在所述视频图像中的起始点的图像帧的时间戳为9:30:15,获取到所述车辆在所述视频图像中的终止点的图像帧的时间戳为9:30:55,则所述车辆在所述视频图像中的时间信息为40s。
下面说明执行完步骤S105后,执行的步骤S107根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离的实现过程。
在对识别出的所述车辆进行跟踪时,所述车辆在水平方向上的运动轨迹为5000PPI,在垂直方向上的运动轨迹为0PPI,则根据该车辆在水平方向上每像素点对应65.5mm的映射关系,该车辆在水平方向上的真实运动距离为327500mm;同样的,该车辆在垂直方向上的运动轨迹为0PPI,则根据该车辆在垂直方向上每像素点对应44.3mm的映射关系,该车辆在垂直方向上的真实运动距离为0mm。
下面说明执行完步骤S107后,执行的步骤S107根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度的实现过程。
在水平方向上的所述真实运动距离为327500mm,在垂直方向上的所述真实运动距离为0mm时,对所述车辆进行矢量求和计算,获取到所述车辆的位移为327500mm,并根据获取到的所述车辆在所述视频图像中运动的时间信息为40s,从而计算出该车辆的,运动速度为8187.5mm/s。
在上述的实施例中,提供了一种速度测量的方法,与上述速度测量的方法相对应的,本申请还提供了一种速度测量的装置。由于装置的实施例基本相似于方法的实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。所述速度测量的装置实施例如下:
请参考图3,其示出了根据本申请的实施例提供的速度测量的装置的示意图。
所述速度测量的装置,包括:识别单元301、映射关系确定单元303、跟踪单元305、距离映射单元307以及速度获取单元309;
所述识别单元301,用于从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;
所述映射关系确定单元303,用于在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;
所述跟踪单元305,用于对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
所述距离映射单元307,用于根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;
所述速度获取单元309,用于根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
可选的,所述识别单元301,具体用于从视频帧以及序列图像帧中识别运动对象。
可选的,所述识别单元301,具体用于从所述图像帧集合中,识别以深度学习技术预先训练的运动对象。
可选的,所述的速度测量的装置,还包括:建模单元;
所述建模单元,用于在所述从图像帧集合中识别运动对象之后,对所述运动对象进行3D建模。
可选的,所述映射关系确定单元303,包括:像素距离确定子单元以及映射关系确定子单元;
所述像素距离确定子单元,用于在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离;
所述映射关系确定子单元,用于获取水平以及垂直方向上所占的像素距离,与所述尺寸属性信息间的映射关系。
可选的,所述的速度测量的装置,还包括:记录单元以及平均计算单元;
所述记录单元,用于在所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系之后,对所述图像帧集合中识别出的每一运动对象的映射关系,进行记录;
所述平均计算单元,用于获取已记录的映射关系的平均值。
可选的,所述跟踪单元305,包括:运动轨迹获取子单元以及时间帧获取子单元;
所述运动轨迹获取子单元,用于以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹;
所述时间帧获取子单元,用于以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
可选的,所述跟踪单元305,具体用于在所述图像帧集合中,通过计算机视觉技术对识别出的所述运动对象进行跟踪。
可选的,所述距离映射单元307,具体用于将所述运动轨迹所占的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
可选的,所述识别单元301,用于从图像帧集合中识别车辆;
相应的,所述运动对象的属性信息,至少包括:车辆颜色、车型、车牌号码、车辆品牌以及车辆尺寸。
在上述的实施例中,提供了一种速度测量的方法以及一种速度测量的装置,此外,本申请还提供了一种电子设备;所述电子设备实施例如下:
请参考图4,其示出了根据本申请的实施例提供的电子设备的示意图。
所述电子设备,包括:处理器401;存储器403;
所述存储器403,用于存储速度测量程序,所述程序在被所述处理器读取执行时,执行如下操作:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
例如,所述电子设备为一台计算机,所述计算机从图像帧集合中识别运动对象;并在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;再对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;之后根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;最后根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。由于本电子设备使用上述速度测量的方法,相关之处请参见上述速度测量的方法的实施例说明,此处不再赘述。
在上述的实施例中,提供了一种速度测量方法、一种速度测量装置以及一种电子设备,此外,本申请还提供了一种用于速度测量的存储设备;所述用于速度测量的存储设备实施例如下:
所述用于速度测量的存储设备,存储有指令,所述指令能够被处理器加载并执行以下步骤:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
在本实施例中,所述用于速度测量的存储设备,还存储并执行上述速度测量的方法,相关之处请参见上述速度测量的方法的实施例说明,此处不再赘述。
在上述的实施例中,提供了一种速度测量方法、一种速度测量装置、一种电子设备以及一种用于速度测量的存储设备,此外,本申请还提供了另一种速度测量的方法;所述速度测量的方法实施例如下:
请参考图5,其示出了根据本申请的实施例提供的另一种速度测量的方法的流程图。
所述另一种速度测量的方法,包括:
步骤S501,从图像帧集合中识别运动对象。
在本实施例中,所述从图像帧集合中识别运动对象,可以采用如下方式实现:从图像帧集合中识别发生位移的运动对象(运动物体)。
例如:可以通过背景差分法获取所述图像帧集合中的像素点,然后使用区域分析的方法处理所述像素点,区分所述图像帧集合中的运动像素点,将区分出的所述运动像素点作为运动对象的识别结果。
需要说明的是,所述运动对象是指:在图像帧集合中发生位移的运动的物体的统称,例如:车辆、行人、动物等能够进行运动的物体都可称为运动对象。
在本实施例中,所述图像帧集合,包括:视频帧以及序列图像帧。其中,所述序列图像帧是指:在时间上具有连续性的图像帧;所述视频帧是指:组成视频的图像帧。
需要说明的是,所述图像帧集合为视频帧集合时,可以通过摄像机拍摄运动对象的运动过程来获得。例如:以双目相机安装在道路旁(交通信号灯上);或者利用视觉传感器采集自车辆行进方向上的图像信息,该视觉传感器可以为CCD摄像机。
步骤S503,对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息。
在本实施例中,所述对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息,可以采用如下方式实现:根据目标跟踪算法对所述图像帧集合中识别出的所述运动对象进行跟踪,根据对所述运动对象进行跟踪的结果,将所述运动对象在所述图像帧集合中连续的每一图像帧中的位置信息连接起来,获取所述运动对象的运动轨迹,以及根据所述运动轨迹的起始点以及终止点对应的图像帧的时间戳,确定对应的时间信息。
例如:对识别出的所述运动对象进行跟踪,获取到所述运动对象在所述图像帧集合中的运动轨迹为水平方向上5000PPI;垂直方向上0PPI;获取到所述运动对象在所述图像帧集合中的起始点的图像帧的时间戳为9:30:15,获取到所述运动对象在所述图像帧集合中的终止点的图像帧的时间戳为9:30:55,则所述运动对象在所述图像帧集合中的时间信息为40s。
需要说明的是,由于识别出的所述运动对象占用若干数量的像素点,所以在以所述运动对象进行跟踪时,需要从所述运动对象所占用像素点中选取一个进行跟踪时的相对位置,所以在本步骤中,所述获取所述运动对象在所述图像帧集合中的运动轨迹,是以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹。
所述获取所述运动对象在所述图像帧集合中的时间信息,是以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
在具体实施时,所述对识别出的所述运动对象进行跟踪,可以通过计算机视觉技术中的目标跟踪算法对识别出的所述运动对象进行跟踪。
步骤S505,根据所述运动对象在所述图像帧集合中所占的像素距离,将所述运动轨迹映射为所述运动对象的真实运动距离。
在本实施例中,所述根据所述运动对象在所述图像帧集合中所占的像素距离,将所述运动轨迹映射为所述运动对象的真实运动距离,可以采用如下方式实现:在所述图像帧集合中,确定识别出的所述运动对象所占的像素距离,并获取所述像素距离,确定所述像素距离与所述运动对象的真实尺寸间的映射关系,通过所述映射关系将所述运动轨迹映射为所述运动对象的真实运动距离。
需要说明的是,可以以所述运动对象对应类型的平均尺寸,作为所述运动对象的真实尺寸。例如:所述运动对象为车辆,而大部分的车辆的高度以及长度都相对类似,所以可以使用车辆的平均高度以及长度作为识别出的所述运动对象的真实尺寸。
在本实施例中,所述在所述图像帧集合中,确定识别出的所述运动对象所占的像素距离,并获取所述像素距离,确定所述像素距离与所述运动对象的真实尺寸间的映射关系,可以采用如下方式实现:在所述图像帧集合中,确定识别出的所述运动对象所占的像素距离,并获取所述像素距离,与所述运动对象的真实尺寸,建立映射关系,获取每个像素距离对应的所述运动对象在真实环境中的实际距离。
需要说明的是,本申请利用所述运动对象在所述图像帧集合中所占的像素距离,与所述运动对象的真实尺寸间的映射关系,获取运动对象在所述图像帧集合中所占的像素距离,然后根据所述映射关系计算出运动对象在真实环境中的真实运动距离。
步骤S507,根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
在本实施例中,所述根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度,可以采用如下方式实现:将在步骤S505中获取的所述真实运动距离,除以在步骤S503中获取的所述运动对象的时间信息,获取所述运动对象在当此运动过程中的运动速度。
需要说明的是,当所述运动对象在多个方向上均跟踪获取到所述运动轨迹时,并映射出每个方向上的真实运动距离时,则分别获取所述运动对象在每个方向上的速度后,再获取所述运动对象的合速度,以所述合速度作为所述运动对象的速度。
可以理解的,在本步骤中获取到的所述运动对象的速度是具有方向的矢量信息,而在实际使用是可以仅获取所述运动对象的速率(即:所述运动对象的速度的数值)。
在上述的实施例中,提供了一种速度测量方法、一种速度测量装置、一种电子设备、一种用于速度测量的存储设备以及另一种速度测量方法,此外,本申请还提供了一种计算设备;所述计算设备的方法实施例如下:
请参考图6,其示出了根据本申请的实施例提供的一种计算设备的示意图图。
所述计算设备,包括:图像采集设备601以及处理器603;
所述图像采集设备601,用于捕获图像帧集合;
所述处理器603,连接到所述图像采集设备,用于使用上述速度测量的方法,确定所述图像帧集合中的运动对象的速度。
需要说明的是,所述处理器603可以与所述图像采集设备601在同一设备内部连接,所述处理器603接收所述图像采集设备601,捕获的图像帧集合,并使用上述速度测量的方法,确定所述图像帧集合中的运动对象的速度,相关之处请参见上述速度测量的方法的实施例说明,此处不再赘述。
在本实施例中,所述计算设备可以是如下之一:
移动设备;
监控摄像机;
飞行监控设备;或
地面移动监控设备。
可以理解的,所述通过移动设备的摄像装置捕获图像帧集合,并通过所述移动设备的内部处理器确定所述图像帧集合中的运动对象的速度;同样的,所述监控摄像机、飞行监控设备以及地面移动监控设备均具有摄像装置,可以用于捕获图像帧集合,在通过内部处理器确定所述图像帧集合中的运动对象的速度。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (19)
1.一种速度测量的方法,其特征在于,包括:
从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;
在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;
对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;
根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
2.根据权利要求1所述的速度测量的方法,其特征在于,所述图像帧集合,包括:视频帧以及序列图像帧。
3.根据权利要求1所述的速度测量的方法,其特征在于,所述从图像帧集合中识别运动对象,包括:
从所述图像帧集合中,识别以深度学习技术预先训练的运动对象。
4.根据权利要求1所述的速度测量的方法,其特征在于,在所述从图像帧集合中识别运动对象的步骤之后,包括:
对所述运动对象进行3D建模。
5.根据权利要求1所述的速度测量的方法,其特征在于,所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系,包括:
在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离;
获取水平以及垂直方向上所占的像素距离,与所述尺寸属性信息间的映射关系。
6.根据权利要求5所述的速度测量的方法,其特征在于,在所述在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系的步骤之后,包括:
对所述图像帧集合中识别出的每一运动对象的所述映射关系,进行记录;
获取已记录的映射关系的平均值。
7.根据权利要求1所述的速度测量的方法,其特征在于,所述获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息,包括:
以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹;
以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
8.根据权利要求7所述的速度测量的方法,其特征在于,所述对识别出的所述运动对象进行跟踪,包括:
在所述图像帧集合中,通过计算机视觉技术对识别出的所述运动对象进行跟踪。
9.根据权利要求1所述的速度测量的方法,其特征在于,所述根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离,包括:
将所述运动轨迹所占的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
10.根据权利要求1-9任意一项所述的速度测量的方法,其特征在于,所述运动对象,包括:车辆;
相应的,所述运动对象具有的属性信息,至少包括:车辆颜色、车型、车牌号码、车辆品牌以及车辆尺寸。
11.一种速度测量的装置,其特征在于,包括:
识别单元,用于从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;
映射关系确定单元,用于在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;
跟踪单元,用于对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
距离映射单元,用于根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;
速度获取单元,用于根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
12.根据权利要求11所述的速度测量的装置,其特征在于,所述映射关系确定单元,包括:
像素距离确定子单元,用于在所述图像帧集合中,确定所述运动对象在水平以及垂直方向上所占的像素距离;
映射关系确定子单元,用于获取水平以及垂直方向上所占的像素距离,与所述尺寸属性信息间的映射关系。
13.根据权利要求11所述的速度测量的装置,其特征在于,所述跟踪单元,包括:
运动轨迹获取子单元,用于以所述运动对象的几何中心,在所述图像帧集合中的运动轨迹,作为所述运动对象的运动轨迹;
时间帧获取子单元,用于以所述运动对象起始运动时的图像帧的时间戳,至所述运动对象终止运动时的图像帧的时间戳,作为所述运动对象的时间信息。
14.根据权利要求11所述的速度测量的装置,其特征在于,所述距离映射单元,具体用于将所述运动轨迹所占的像素距离,根据所述映射关系,映射为所述运动对象的真实运动距离。
15.一种电子设备,其特征在于,所述电子设备,包括:
处理器;
存储器,用于存储速度测量程序,所述程序在被所述处理器读取执行时,执行如下操作:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
16.一种用于速度测量的存储设备,其特征在于,存储有指令,所述指令能够被处理器加载并执行以下步骤:从图像帧集合中识别运动对象;所述运动对象,具有对象类型以及尺寸属性信息;在所述图像帧集合中,确定所述运动对象所占的像素距离,并获取所述像素距离与所述尺寸属性信息间的映射关系;对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;根据所述映射关系,将所述运动轨迹映射为所述运动对象的真实运动距离;根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
17.一种速度测量的方法,其特征在于,包括:
从图像帧集合中识别运动对象;
对识别出的所述运动对象进行跟踪,获取所述运动对象在所述图像帧集合中的运动轨迹以及时间信息;
根据所述运动对象在所述图像帧集合中所占的像素距离,将所述运动轨迹映射为所述运动对象的真实运动距离;
根据所述真实运动距离以及所述时间信息,获取所述运动对象的速度。
18.一种计算设备,包括:
图像采集设备,用于捕获图像帧集合;
处理器,连接到所述图像采集设备,用于根据权利要求1-9中任意一项所述的方法,确定所述图像帧集合中的运动对象的速度。
19.根据权利要求18所述的计算设备,所述计算设备是如下之一:
移动设备;
监控摄像机;
飞行监控设备;或
地面移动监控设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710364557.7A CN108957024A (zh) | 2017-05-22 | 2017-05-22 | 一种速度测量的方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710364557.7A CN108957024A (zh) | 2017-05-22 | 2017-05-22 | 一种速度测量的方法、装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108957024A true CN108957024A (zh) | 2018-12-07 |
Family
ID=64462343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710364557.7A Pending CN108957024A (zh) | 2017-05-22 | 2017-05-22 | 一种速度测量的方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108957024A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110556003A (zh) * | 2019-08-27 | 2019-12-10 | 精英数智科技股份有限公司 | 无轨胶轮车速度的监控方法、装置、设备和存储介质 |
CN111739098A (zh) * | 2020-06-30 | 2020-10-02 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
CN111985266A (zh) * | 2019-05-21 | 2020-11-24 | 顺丰科技有限公司 | 尺度图确定方法、装置、设备及存储介质 |
CN112683228A (zh) * | 2020-11-26 | 2021-04-20 | 深兰人工智能(深圳)有限公司 | 单目相机测距方法及装置 |
CN112733678A (zh) * | 2020-12-31 | 2021-04-30 | 深兰人工智能(深圳)有限公司 | 测距方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101187671A (zh) * | 2007-12-27 | 2008-05-28 | 北京中星微电子有限公司 | 一种确定汽车行驶速度的方法及装置 |
CN101604448A (zh) * | 2009-03-16 | 2009-12-16 | 北京中星微电子有限公司 | 一种运动目标的测速方法和系统 |
US8213685B2 (en) * | 2007-01-05 | 2012-07-03 | American Traffic Solutions, Inc. | Video speed detection system |
CN105486234A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与参考目标的关系来测量物体长度的方法 |
CN105574550A (zh) * | 2016-02-02 | 2016-05-11 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN105654066A (zh) * | 2016-02-02 | 2016-06-08 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN106127248A (zh) * | 2016-06-24 | 2016-11-16 | 平安科技(深圳)有限公司 | 基于深度学习的车牌分类方法及系统 |
-
2017
- 2017-05-22 CN CN201710364557.7A patent/CN108957024A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213685B2 (en) * | 2007-01-05 | 2012-07-03 | American Traffic Solutions, Inc. | Video speed detection system |
CN101187671A (zh) * | 2007-12-27 | 2008-05-28 | 北京中星微电子有限公司 | 一种确定汽车行驶速度的方法及装置 |
CN101604448A (zh) * | 2009-03-16 | 2009-12-16 | 北京中星微电子有限公司 | 一种运动目标的测速方法和系统 |
CN105486234A (zh) * | 2015-11-11 | 2016-04-13 | 丁克金 | 利用相机像素与参考目标的关系来测量物体长度的方法 |
CN105574550A (zh) * | 2016-02-02 | 2016-05-11 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN105654066A (zh) * | 2016-02-02 | 2016-06-08 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN106127248A (zh) * | 2016-06-24 | 2016-11-16 | 平安科技(深圳)有限公司 | 基于深度学习的车牌分类方法及系统 |
Non-Patent Citations (2)
Title |
---|
王茜等: "《机动车车型智能识别技术探究》", 《软件导刊》 * |
黎光旭等: "《交通事故中的车速鉴定方法》", 《交通世界》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985266A (zh) * | 2019-05-21 | 2020-11-24 | 顺丰科技有限公司 | 尺度图确定方法、装置、设备及存储介质 |
CN111985266B (zh) * | 2019-05-21 | 2024-06-07 | 顺丰科技有限公司 | 尺度图确定方法、装置、设备及存储介质 |
CN110556003A (zh) * | 2019-08-27 | 2019-12-10 | 精英数智科技股份有限公司 | 无轨胶轮车速度的监控方法、装置、设备和存储介质 |
CN111739098A (zh) * | 2020-06-30 | 2020-10-02 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
WO2022000856A1 (zh) * | 2020-06-30 | 2022-01-06 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
CN111739098B (zh) * | 2020-06-30 | 2024-05-24 | 上海商汤智能科技有限公司 | 测速方法及装置、电子设备及存储介质 |
CN112683228A (zh) * | 2020-11-26 | 2021-04-20 | 深兰人工智能(深圳)有限公司 | 单目相机测距方法及装置 |
CN112733678A (zh) * | 2020-12-31 | 2021-04-30 | 深兰人工智能(深圳)有限公司 | 测距方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108957024A (zh) | 一种速度测量的方法、装置以及电子设备 | |
CN106225678B (zh) | 基于3d相机的动态物体定位与体积测量方法 | |
CN105874350B (zh) | 校准装置、校准方法及校准程序 | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN105760846B (zh) | 基于深度数据的目标检测与定位方法及系统 | |
CN103424112B (zh) | 一种基于激光平面辅助的运动载体视觉导航方法 | |
CN109190508A (zh) | 一种基于空间坐标系的多摄像头数据融合方法 | |
KR101787542B1 (ko) | 3차원 지형 모델과 토질 분류를 이용한 비탈면 안정성 평가 시스템 및 방법 | |
CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
CN110472553A (zh) | 图像和激光点云融合的目标追踪方法、计算装置和介质 | |
CN108898676A (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
CN107808123A (zh) | 图像可行域检测方法、电子设备、存储介质、检测系统 | |
CN107924461A (zh) | 用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关计算机可执行代码 | |
CN109145803A (zh) | 手势识别方法及装置、电子设备、计算机可读存储介质 | |
CN106228570B (zh) | 一种真值数据确定方法和装置 | |
CN106033601A (zh) | 检测异常情形的方法和装置 | |
Fang et al. | A point cloud-vision hybrid approach for 3D location tracking of mobile construction assets | |
CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
WO2022095514A1 (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN112562005A (zh) | 一种空间标定方法和系统 | |
CN109977829A (zh) | 基于图像识别分析技术的流速检测方法及装置 | |
CN110222579A (zh) | 一种结合运动规律和目标检测的视频对象计数方法 | |
CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
CN115797408A (zh) | 融合多视角图像和三维点云的目标跟踪方法及装置 | |
CN110136186B (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
RJ01 | Rejection of invention patent application after publication |