CN111401114B - 一种基于受限光流场横穿物体检测装置的横穿物体检测方法 - Google Patents

一种基于受限光流场横穿物体检测装置的横穿物体检测方法 Download PDF

Info

Publication number
CN111401114B
CN111401114B CN201910111015.8A CN201910111015A CN111401114B CN 111401114 B CN111401114 B CN 111401114B CN 201910111015 A CN201910111015 A CN 201910111015A CN 111401114 B CN111401114 B CN 111401114B
Authority
CN
China
Prior art keywords
detection
optical flow
threshold value
minimum
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910111015.8A
Other languages
English (en)
Other versions
CN111401114A (zh
Inventor
徐琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Iwaysense Intelligent Co ltd
Original Assignee
Shenzhen Iwaysense Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Iwaysense Intelligent Co ltd filed Critical Shenzhen Iwaysense Intelligent Co ltd
Priority to CN201910111015.8A priority Critical patent/CN111401114B/zh
Publication of CN111401114A publication Critical patent/CN111401114A/zh
Application granted granted Critical
Publication of CN111401114B publication Critical patent/CN111401114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于受限光流场的横穿物体检测装置及方法，包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元，控制单元能有效检测横穿物体是否进入车辆尾部安全区域进而发出警报一保证其车辆的正常驾驶，可广泛应用于电子检测领域。

Description

一种基于受限光流场横穿物体检测装置的横穿物体检测方法
技术领域
本发明涉及电子检测领域。更具体地说，本发明涉及一种基于受限光流场的横穿物体检测装置及方法。
背景技术
在现有倒车横穿物体检测装置中，其将基于毫米波雷达的CTA与基于视觉检测的CTA分开设置，且安装要求高，需要对后保险杠进行拆卸，需要将体积较大的雷达固定在车辆后方并对车体进行改造，同时该方案基本用于车厂原装，配与高端车型需要通过OBD获得车辆的速度以及转角信息，其检测方法较为繁琐，所以，针对现有技术缺陷，有必要发明一种解决现有技术缺陷的技术方案以解决现有技术问题。。
发明内容
本发明的目的是提供一种检测方法简单、成本低的基于受限光流场的横穿物体检测装置及方法。
为了实现根据本发明的这些目的和其它优点，提供了一种基于受限光流场的横穿物体检测装置，其包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元。
一种基于受限光流场的横穿物体检测发方法，其包括：
第一步：设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
第二步：设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
第三步：计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值。每个点都被分配不同的阈值；
第四步：检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步：通过阈值筛选横穿物体。
优选地，包括：所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集。
优选地，所述第二步当中，通过两帧图像之间的时间差来确定需要检测的最小速度，同时计算出下一帧的边界。
本发明至少包括以下有益效果：
1、装置制造成本低，其视觉方案本身成本较低，本产品进一步省略的读取车辆运动信息的部分，更加节省了成本。
2、安装方便，由于少了部分结构安装也会容易很多，可以达到消费者在看说明的情况下自己安装的程度。
3、能准确测量车辆后方盲角的横穿物体。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的基于受限光流场的横穿物体检测发方法的流程图；
图2为本发明所述的车体基于X、Y、Z轴的空间检测方向示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明型提供为了实现根据本发明的这些目的和其它优点，提供了一种基于受限光流场的横穿物体检测装置，其包括：一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元。
一种基于受限光流场的横穿物体检测发方法，其包括：
第一步：设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
第二步：设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
第三步：计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值。每个点都被分配不同的阈值，“检测空间”中所有点的集合的光流阈值所构成的“场”称为“受限光流场”；
第四步：检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步：通过阈值筛选横穿物体。
在上述技术方案中：
以step坐标系设定我们的检测范围(就是在这个范围内我们检测横穿的物体)，我们将这个空间称为“检测空间”这个空间是3维的。我们以一定的步长step遍历整个“检测空间”Ω，就会得到一个真实坐标系下的点的集合，我们成为“检测空间点集”Pw，将Pw通过f映射到图像坐标系中会得到“检测图像点集”PI。
Step2:我们的检测空间分为“左右”两个，分别记为ΩL和ΩR。在左侧的检测空间中我们检测向右运动的目标，在右侧检测区域我们检测向左侧运动的目标。
我们设定一个我们需要检测的最小速度(如果比这个速度慢那我们就不检测了)v，而我们已知视频采集的帧率fps进而合计计算两帧图像间的时间差△t。有了△t和v我们可以预估Pw中任意一点在下一帧的位置边界进而得到Pw。计算公式如下:
其中Pw表示PwR或者PwL中的一个点，Xpw表示Pw的x坐标值，Xp'w表示计算偏移以后的x坐标值,计算偏移后的点集合为P'wL，P'wR。
Step3:将P'wL和P'wR通过f映射到图像中会得到P'IL和P'IR，计算D(PIR-P'IR)，D表是计算点移动的长度，A(PIR-P'IR)A表示计算向量的夹角，就会得到两帧间的最小光流长度以及标准光流角度。A,D的计算公式如下：
Step4:我们使用LK方法在两帧图像间以PIR和PIL为候选点，跟踪光流。只有满足Dlk＞D(i)，i表示PIL和PIR中的序号，同时|Alk-A(i)|＜α，α是一个角度偏差的阈值，可以设定为但不限于0.1，0.15。
对满足上述的上述要求的点集合Presult计算其外接矩形，W是宽度H是高度，如果W*H>confthreshold，confthreshold为一个阈值。则认为当时存在横穿物体。
优选地，包括：所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集。
优选地，所述第二步当中，通过两帧图像之间的时间差来确定需要检测的最小速度，同时计算出下一帧的边界。
本方法通过相机采集的图像检测横穿物体。简单讲，图像是现实世界的投影，当相机安装在车辆后方以后通过标定相机。我们就可以建立一个映射关系f，这个映射关系f可以将真实世界的某个点Pworld映射到图像当中的Pimage中
Pworld是真实坐标系也称世界坐标系用表示，这里我们规定摄像机安装的位置为/>的坐标原点。坐标轴方向如下图所示，Y为高度方向，X为横向，Z为纵深方向。
摄像头的安装如图2所示，绕x,y,z旋转角分别称为Rx，Ry，Rz符合“右手定则“。摄像头安装在拍照上方的平面上，测量安装位置到车辆中心在x方向的偏移计为tx，测量相机到地面的距离计为ty。Rx的安装角度控制在10°左右，Ry，Rz控制在0°左右，测量Rx，Ry，Rz。将tx，ty，Rx，Ry，Rz。通过触摸屏输入这5个参数。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (1)

1.一种基于受限光流场横穿物体检测装置的横穿物体检测方法，其特征在于：所述横穿物体检测装置包括一个鱼眼摄像头，其可拆卸安装在车体尾部，且所述鱼眼摄像头检测视角覆盖住车体正后方，所述鱼眼摄像头通过一连接线连通一控制单元，所述鱼眼摄像头用于将采集图像传递至所述控制单元；所述横穿物体检测方法包括：
第一步、设定检测空间；
以所述鱼眼摄像头安装位置为原点，建立X、Y、Z轴空间坐标系，作为第一检测空间，以X、Z各坐标轴的相反方向设置-X、-Z轴的第二检测区域；
所述第一步当中，通过鱼眼摄像头抓取的每帧图像在所述第一检测区域以及第二检测区域空间坐标当中的不同坐标标定不同的点的集合，形成检测空间点集；
第二步、设定最小检测速度；
设定一个需要检测的最小速度v，速度低于v的目标物系统无法检测；
所述第二步当中，通过两帧图像之间的时间差再结合最小检测是否有存在横穿物体；
第三步、计算光流长度阈值以及角度阈值；
根据”最小检测速度”计算两帧间移动的最小距离d，进而计算检测区域内点在图像上光流的长度阈值以及角度阈值，每个点都被分配不同的阈值；
第四步、检测光流；
根据最小流光长度和标准角度阈值判断被检测对象的速度和位移，当被检测对象在图像中的光流超过光流的长度阈值并处于光流标准角度阈值以内时，则判定存在横穿物体；
第五步、通过阈值筛选横穿物体；
所述鱼眼摄像头检测视角覆盖住车体正后方时，设定三维的检测空间；按照设定的步长step遍历整个检测空间Ω，得到一个真实坐标系下的点的集合，作为检测空间点集Pw，将Pw通过映射函数f映射到图像坐标系中会得到检测图像点集PI；将检测空间分为左检测空间和右检测空间两个，分别记为ΩL和ΩR；在左检测空间中检测向右运动的目标，在右侧检测空间中检测向左运动的目标；设定一个检测最小速度v，基于视频采集的帧率fps，计算两帧图像间的时间差Δt；基于时间差和检测最小速度v预估Pw中任意一点，其表达式为：
在下一帧的位置边界得到Pw，所述预估的计算公式使用如下公式进行表示：
其中p w表示PwR或者PwL中的一个点，Xp w表示p w的x坐标值，”'Xpw表示计算偏移以后的x坐标值,计算偏移后的点集合为PwL，PwR；将P'wR和P'wR通过f映射到图像中会得到P'IL和P'IR，计算D(P IR-P'IR)，D表示计算点移动的长度，A(P IR-P'IR)得到两帧间的最小光流长度以及标准光流角度；其中，A,D的计算公式如下：
使用LK方法在两帧图像间以P IR和P IL为候选点，跟踪光流；须满足Dlk＞D(i)，i表示PIL和P IR中的序号，同时|Alk-A(i)|＜α，α是一个角度偏差的阈值，取值包括：0.1，0.15；
对满足上述要求的点集合Presult计算其外接矩形，W是宽度H是高度，如果W*H>confthreshold，confthreshold为一个阈值，则认为当时存在横穿物体。
CN201910111015.8A 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法 Active CN111401114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910111015.8A CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910111015.8A CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Publications (2)

Publication Number Publication Date
CN111401114A CN111401114A (zh) 2020-07-10
CN111401114B true CN111401114B (zh) 2023-09-19

Family

ID=71430272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910111015.8A Active CN111401114B (zh) 2019-02-12 2019-02-12 一种基于受限光流场横穿物体检测装置的横穿物体检测方法

Country Status (1)

Country Link
CN (1) CN111401114B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN106573576A (zh) * 2014-09-18 2017-04-19 英特尔公司 在碗形成像系统内跟踪对象
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108162858A (zh) * 2016-12-07 2018-06-15 杭州海康威视数字技术股份有限公司 车载监控装置及其方法
CN108280445A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种车辆周围运动物体和凸起障碍物的检测方法
CN108944668A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于车载360度环视输入的辅助驾驶预警方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799883A (zh) * 2012-06-29 2012-11-28 广州中国科学院先进技术研究所 一种从视频图像中提取运动目标的方法及装置
CN106573576A (zh) * 2014-09-18 2017-04-19 英特尔公司 在碗形成像系统内跟踪对象
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN105059190A (zh) * 2015-08-17 2015-11-18 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
WO2017078213A1 (ko) * 2015-11-05 2017-05-11 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
CN108162858A (zh) * 2016-12-07 2018-06-15 杭州海康威视数字技术股份有限公司 车载监控装置及其方法
CN108280445A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种车辆周围运动物体和凸起障碍物的检测方法
CN108944668A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于车载360度环视输入的辅助驾驶预警方法

Also Published As

Publication number Publication date
CN111401114A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN108352056B (zh) 用于校正错误深度信息的系统和方法
KR100909741B1 (ko) 감시장치, 감시방법
US10630962B2 (en) Systems and methods for object location
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
US9151626B1 (en) Vehicle position estimation system
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
EP3792660B1 (en) Method, apparatus and system for measuring distance
JP4919036B2 (ja) 移動物体認識装置
CN109263637B (zh) 一种碰撞预测的方法及装置
US20140267415A1 (en) Road marking illuminattion system and method
US20170030722A1 (en) Vehicle localization system
WO2010032523A1 (ja) 道路境界検出判断装置
WO2017138216A1 (ja) キャリブレーションシステム、キャリブレーション装置
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP6708730B2 (ja) 移動体
CN108592885A (zh) 一种单双目融合定位测距算法
JP6035095B2 (ja) 車両の衝突判定装置
CN113850102A (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
WO2019058582A1 (ja) 距離推定装置及び方法
US11677931B2 (en) Automated real-time calibration
CN111401114B (zh) 一种基于受限光流场横穿物体检测装置的横穿物体检测方法
US10249056B2 (en) Vehicle position estimation system
JP6704307B2 (ja) 移動量算出装置および移動量算出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant