CN111401114A - 一种基于受限光流场的横穿物体检测装置及方法 - Google Patents

一种基于受限光流场的横穿物体检测装置及方法 Download PDF

Info

Publication number
CN111401114A
CN111401114A CN201910111015.8A CN201910111015A CN111401114A CN 111401114 A CN111401114 A CN 111401114A CN 201910111015 A CN201910111015 A CN 201910111015A CN 111401114 A CN111401114 A CN 111401114A
Authority
CN
China
Prior art keywords
optical flow
detection
fisheye camera
minimum
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910111015.8A
Other languages
English (en)
Other versions
CN111401114B (zh
Inventor
徐琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Iwaysense Intelligent Co ltd
Original Assignee
Shenzhen Iwaysense Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Iwaysense Intelligent Co ltd filed Critical Shenzhen Iwaysense Intelligent Co ltd
Priority to CN201910111015.8A priority Critical patent/CN111401114B/zh
Publication of CN111401114A publication Critical patent/CN111401114A/zh
Application granted granted Critical
Publication of CN111401114B publication Critical patent/CN111401114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于受限光流场的横穿物体检测装置及方法，包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元，控制单元能有效检测横穿物体是否进入车辆尾部安全区域进而发出警报一保证其车辆的正常驾驶，可广泛应用于电子检测领域。

Description

一种基于受限光流场的横穿物体检测装置及方法
技术领域
本发明涉及电子检测领域。更具体地说，本发明涉及一种基于受限光流场的横穿物体检测装置及方法。
背景技术
在现有倒车横穿物体检测装置中，其将基于毫米波雷达的CTA与基于视觉检测的CTA分开设置，且安装要求高，需要对后保险杠进行拆卸，需要将体积较大的雷达固定在车辆后方并对车体进行改造，同时该方案基本用于车厂原装，配与高端车型需要通过OBD获得车辆的速度以及转角信息，其检测方法较为繁琐，所以，针对现有技术缺陷，有必要发明一种解决现有技术缺陷的技术方案以解决现有技术问题。
发明内容
本发明的目的是提供一种检测方法简单、成本低的基于受限光流场的横穿物体检测装置及方法。
为了实现根据本发明的这些目的和其它优点，提供了一种基于受限光流场的横穿物体检测装置，其包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元。
一种基于受限光流场的横穿物体检测发方法，其包括：
第一步：设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
第二步：设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
第三步：计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值。每个点都被分配不同的阈值；
第四步：检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步：通过阈值筛选横穿物体。
优选地，包括：所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集。
优选地，所述第二步当中，通过两帧图像之间的时间差来确定需要检测的最小速度，同时计算出下一帧的边界。
本发明至少包括以下有益效果：
1、装置制造成本低，其视觉方案本身成本较低，本产品进一步省略的读取车辆运动信息的部分，更加节省了成本。
2、安装方便，由于少了部分结构安装也会容易很多，可以达到消费者在看说明的情况下自己安装的程度。
3、能准确测量车辆后方盲角的横穿物体。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的基于受限光流场的横穿物体检测发方法的流程图；
图2为本发明所述的车体基于X、Y、Z轴的空间检测方向示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明型提供为了实现根据本发明的这些目的和其它优点，提供了一种基于受限光流场的横穿物体检测装置，其包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元。
一种基于受限光流场的横穿物体检测发方法，其包括：
第一步：设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
第二步：设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
第三步：计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值。每个点都被分配不同的阈值，“检测空间”中所有点的集合的光流阈值所构成的“场”称为“受限光流场”；
第四步：检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步：通过阈值筛选横穿物体。
在上述技术方案中：
我们以
Figure RE-DEST_PATH_IMAGE002
坐标系设定我们的检测范围（就是在这个范围内我们检测横穿的物体），我们将这个空间称为“检测空间”这个空间是3维的。我们以一定的步长step遍历整个“检测空间”Ω，就会得到一个真实坐标系下的点的集合，我们成为“检测空间点集”Pw，将Pw通过
Figure RE-DEST_PATH_IMAGE004
映射到图像坐标系中会得到“检测图像点集”PI。
Step2:我们的检测空间分为“左右”两个，分别记为ΩL和ΩR。在左侧的检测空间中我们检测向右运动的目标，在右侧检测区域我们检测向左侧运动的目标。
我们设定一个我们需要检测的最小速度（如果比这个速度慢那我们就不检测了）v，而我们已知视频采集的帧率fps进而合计计算两帧图像间的时间差△t。有了△t和v我们可以预估Pw中任意一点
Figure RE-DEST_PATH_IMAGE006
在下一帧的位置边界进而得到Pw。计算公式如下:
Figure RE-DEST_PATH_IMAGE008
Figure RE-DEST_PATH_IMAGE010
其中Pw表示PwR或者PwL中的一个点，
Figure RE-DEST_PATH_IMAGE012
表示Pw的x坐标值，
Figure RE-DEST_PATH_IMAGE014
表示计算偏移以后的x坐标值,计算偏移后的点集合为
Figure RE-DEST_PATH_IMAGE016
，
Figure RE-DEST_PATH_IMAGE018
。
Step3:将
Figure 55950DEST_PATH_IMAGE036
和
Figure 60815DEST_PATH_IMAGE036
通过
Figure DEST_PATH_IMAGE037
映射到图像中会得到
Figure DEST_PATH_IMAGE039
和
Figure DEST_PATH_IMAGE041
，计算
Figure DEST_PATH_IMAGE043
(D表是计算点移动的长度)，
Figure DEST_PATH_IMAGE045
(A表示计算向量的夹角))就会得到两帧间的最小光流长度以及标准光流角度。A,D的计算公式如下：
Figure DEST_PATH_IMAGE047
Step4:我们使用LK方法在两帧图像间以
Figure DEST_PATH_IMAGE049
和
Figure DEST_PATH_IMAGE051
为候选点，跟踪光流。只有满足
Figure DEST_PATH_IMAGE053
(i表示
Figure 866792DEST_PATH_IMAGE051
和
Figure 287409DEST_PATH_IMAGE049
中的序号)同时
Figure DEST_PATH_IMAGE055
，
Figure DEST_PATH_IMAGE057
是一个角度偏差的阈值，可以设定为但不限于0.1，0.15。
对满足上述的上述要求的点集合
Figure RE-DEST_PATH_IMAGE046
计算其外接矩形，W是宽度H是高度，如果W*H>confthreshold，confthreshold为一个阈值。则认为当时存在横穿物体。
优选地，包括：所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集。
优选地，所述第二步当中，通过两帧图像之间的时间差来确定需要检测的最小速度，同时计算出下一帧的边界。
本方法通过相机采集的图像检测横穿物体。简单讲，图像是现实世界的投影，当相机安装在车辆后方以后通过标定相机。我们就可以建立一个映射关系
Figure RE-DEST_PATH_IMAGE004AA
，这个映射关系
Figure RE-DEST_PATH_IMAGE004AAA
可以将真实世界的某个点
Figure RE-DEST_PATH_IMAGE048
映射到图像当中的
Figure RE-DEST_PATH_IMAGE050
中
Figure RE-DEST_PATH_IMAGE052
(1)
Figure RE-DEST_PATH_IMAGE054
是真实坐标系也称世界坐标系用
Figure RE-DEST_PATH_IMAGE056
表示，这里我们规定摄像机安装的位置为
Figure RE-DEST_PATH_IMAGE058
的坐标原点。坐标轴方向如下图所示，Y为高度方向，X为横向，Z为纵深方向。
摄像头的安装如图2所示，绕x,y,z旋转角分别称为Rx，Ry，Rz符合“右手定则“。摄像头安装在拍照上方的平面上，测量安装位置到车辆中心在x方向的偏移计为tx，测量相机到地面的距离计为ty。Rx的安装角度控制在10°左右，Ry，Rz控制在0°左右，测量Rx，Ry，Rz。将tx，ty，Rx，Ry，Rz。通过触摸屏输入这5个参数。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (4)

1.一种基于受限光流场的横穿物体检测装置，其特征在于，包括：
一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元。
2.一种基于受限光流场的横穿物体检测发方法，其特征在于，包括：
第一步：设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
第二步：设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
第三步：计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值，每个点都被分配不同的阈值；
第四步：检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步：通过阈值筛选横穿物体。
3.根据权利要求2所述的一种基于受限光流场的横穿物体检测发方法，其特征在于，包括：所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集。
4.根据权利要求2所述的一种基于受限光流场的横穿物体检测发方法，其特征在于，所述第二步当中，通过两帧图像之间的时间差再结合最小检测是否有存在横穿物体。
CN201910111015.8A 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法 Active CN111401114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910111015.8A CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910111015.8A CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Publications (2)

Publication Number Publication Date
CN111401114A true CN111401114A (zh) 2020-07-10
CN111401114B CN111401114B (zh) 2023-09-19

Family

ID=71430272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910111015.8A Active CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Country Status (1)

Country Link
CN (1) CN111401114B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
US20160104047A1 (en) * 2014-10-10 2016-04-14 Application Solutions (Electronics and Vision) Ltd. Image recognition system for a vehicle and corresponding method
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN106573576A (zh) * 2014-09-18 2017-04-19 英特尔公司 在碗形成像系统内跟踪对象
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108162858A (zh) * 2016-12-07 2018-06-15 杭州海康威视数字技术股份有限公司 车载监控装置及其方法
CN108280445A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种车辆周围运动物体和凸起障碍物的检测方法
CN108944668A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于车载360度环视输入的辅助驾驶预警方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN106573576A (zh) * 2014-09-18 2017-04-19 英特尔公司 在碗形成像系统内跟踪对象
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera
US20160104047A1 (en) * 2014-10-10 2016-04-14 Application Solutions (Electronics and Vision) Ltd. Image recognition system for a vehicle and corresponding method
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108162858A (zh) * 2016-12-07 2018-06-15 杭州海康威视数字技术股份有限公司 车载监控装置及其方法
CN108280445A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种车辆周围运动物体和凸起障碍物的检测方法
CN108944668A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于车载360度环视输入的辅助驾驶预警方法

Also Published As

Publication number Publication date
CN111401114B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN108352056B (zh) 用于校正错误深度信息的系统和方法
US10262466B2 (en) Systems and methods for adjusting a combined image visualization based on depth information
EP3792660B1 (en) Method, apparatus and system for measuring distance
WO2018177026A1 (zh) 确定道路边沿的装置和方法
JP4919036B2 (ja) 移動物体認識装置
CN109031346A (zh) 一种基于3d激光雷达的周边泊车位辅助检测方法
CN111025283B (zh) 雷达与球机联动的方法及装置
CN109212377B (zh) 一种高压线路障碍物识别方法、装置、巡检机器人
CN109094669A (zh) 用于评估铰接角度的方法和设备
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN109263637A (zh) 一种碰撞预测的方法及装置
CN108592885A (zh) 一种单双目融合定位测距算法
CN108710127B (zh) 低空及海面环境下的目标检测识别方法及系统
CN108844538B (zh) 一种基于视觉/惯导的无人机避障航点生成方法
CN107145825A (zh) 地平面拟合、摄像头标定方法及系统、车载终端
US8675047B2 (en) Detection device of planar area and stereo camera system
CN105069784A (zh) 一种双摄像机目标定位互验证非参数方法
CN110457803B (zh) 一种无人驾驶协同探测方法
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Klappstein et al. Monocular motion detection using spatial constraints in a unified manner
CN104501928A (zh) 基于车牌照的车辆精确定位的汽车衡称重方法及系统
CN104156973A (zh) 基于立体匹配的实时三维视频监控方法
CN111401114A (zh) 一种基于受限光流场的横穿物体检测装置及方法
CN111144415A (zh) 一种微小行人目标的检测方法
CN112580402B (zh) 一种单目视觉行人测距方法及其系统、车辆、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant