CN105869109B - 基于不同高度逆投影面的停车和抛落物区分方法 - Google Patents

基于不同高度逆投影面的停车和抛落物区分方法 Download PDF

Info

Publication number
CN105869109B
CN105869109B CN201610182258.7A CN201610182258A CN105869109B CN 105869109 B CN105869109 B CN 105869109B CN 201610182258 A CN201610182258 A CN 201610182258A CN 105869109 B CN105869109 B CN 105869109B
Authority
CN
China
Prior art keywords
dimensional
height
inverse projection
long
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610182258.7A
Other languages
English (en)
Other versions
CN105869109A (zh
Inventor
宋焕生
孙丽婷
崔华
关琦
王璇
闻江
刘瑞芝
孙士杰
严腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Dewei Shitong Intelligent Technology Co ltd
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610182258.7A priority Critical patent/CN105869109B/zh
Publication of CN105869109A publication Critical patent/CN105869109A/zh
Application granted granted Critical
Publication of CN105869109B publication Critical patent/CN105869109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于不同高度逆投影面的停车和抛落物区分方法，该方法在检测到道路上由运动到静止目标的前提下，通过摄像机标定的方法，建立三维世界坐标与二维世界坐标之间的转换关系，然后通过建立不同高度逆投影面的方法，获得目标在三维世界中的长、宽、高信息，利用获得到的目标三维信息进行静止目标的区分，大大提高了区分精度，而且计算量很小，满足实时性的需求，适合多数环境下的停车和抛落物的区分。

Description

基于不同高度逆投影面的停车和抛落物区分方法
技术领域
本发明属于视频检测领域，具体涉及一种基于不同高度逆投影面的停车和抛落物区分方法。
背景技术
近年来，随着交通量的不断增加，交通事故变得越来越频繁，其中由于停车事件和抛落物事件具有偶发性和随机性，不利于及时发现和处理，是造成交通事故的一个很重要的原因，而且非法停车和抛落物还会占用车辆通行路面、影响道路交通安全秩序、引发道路交通堵塞，给人民的生命、财产、安全带来不必要的损失，所以对非法停车和抛落物做到早发现、早处理是十分必要的。停车和抛落物都属于交通场景中暂时静止的目标，通常很多的方法都着重于进行的是对该类静止目标的检测，在检测到路面上静止目标以后再利用目标的面积、平均距离、运动方向变化率等特征进行区分。但是这些特性都是目标体现在二维图像或视频中的，由于摄像机成像的过程是一个目标从三维到二维的降维过程，丢失了事物在三维世界中的一些信息，事物会发生非常明显的尺度变化和几何形变，所以仅仅利用目标体现在二维图像或视频中的特性进行停车和抛落物的区分必然有其局限性。
发明内容
针对上述现有技术中存在的问题或缺陷，本发明的目的在于，提供一种基于不同高度逆投影面的停车和抛落物区分方法。
为了实现上述目的，本发明采用如下技术方案：
基于不同高度逆投影面的停车和抛落物区分方法，包括以下步骤：
步骤一，利用摄像机拍摄路面的视频图像，并构建保存有车型信息的模型库；
步骤二，建立视频图像的二维世界坐标与三维世界坐标的转换关系，求取透视投影矩阵C；
步骤三，确定步骤一中的视频图像中存在的多个目标区域，针对每个目标区域设置一个计数器CN；
步骤四，针对一个目标区域，建立高度为0的逆投影面A0，利用透视投影矩阵C建立逆投影图B0，对逆投影图B0进行二值化，得到二值化图I0；
步骤五，针对步骤四中的目标区域建立高度为h的逆投影面Ah，并利用透视投影矩阵C建立逆投影图Bh，对逆投影图Bh进行二值化，得到二值化图Ih；
步骤六，将二值化图I0和二值化图Ih进行面积与运算，求出相与区域B；求出相与区域B的外接矩形，并求出外接矩形的三维长Lh和三维宽Wh，记录下逆投影面Ah的高度h；
步骤七，将逆投影面Ah的高度h增加一个定值，重复步骤五和步骤六，得到多组三维长Lh、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八；
步骤八，将步骤七得到的每组三维长Lh、三维宽Wh和高度h，分别与模型库中保存的各种车型的长x、宽y和高z的值进行比较，若存在n组三维长Lh、三维宽Wh和高度h的值与模型库中的某一种车型相匹配，则将该目标区域的计数器加n；
步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并针对步骤八中与某一种车型相匹配的n组三维长Lh、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H；若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束；
步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。
进一步地，所述步骤九中若计数器CN的值大于零，则所述方法还包括以下步骤：
步骤十一，将步骤九中求出的平均长L、平均宽W和平均高H分别与模型库中各种车型的长x、宽y和高z的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型相匹配，则认为目标区域中的停车为此种车型。
进一步地，所述步骤八中的三维长Lh、三维宽Wh和高度h与模型库中的某一种车型相匹配的判断公式是：
|Lh-x|＜1/10,|Wh-y|＜1/15,|h-z|＜0.03
如果上述三个不等式均成立，则车型相匹配。
进一步地，所述步骤十一中的平均长L、平均宽W和平均高H与模型库中的某一种车型相匹配的判断公式是：
|L-x|＜0.05,|W-y|＜0.03,|H-z|＜0.01
如果上述三个不等式均成立，则车型相匹配。
与现有技术相比，本发明具有以下技术效果：
1、本发明在已经检测到道路上静止目标的前提下，通过摄像机标定的方法，建立三维世界与二维图像之间的转换关系，然后通过建立不同高度逆投影面的方法，获得目标在三维世界中的长、宽、高信息，利用获得到的目标三维信息进行静止目标的区分，大大提高了区分精度。
2、本发明在对停车和抛落物进行区分后，进一步对停车类型进行判断，具有广阔的应用前景。
下面结合附图和具体实施方式对本发明的方法做进一步地说明。
附图说明
图1为重庆某路段的视频图像，黑色方框内表示停下来的车辆；
图2为不同高度(0m和1m)逆投影面的示意图；
图3为基于不同高度逆投影面恢复出的逆投影图；其中，图3a为0m逆投影面恢复出的逆投影图，图3b为1m逆投影面恢复出的逆投影图；
图4为对不同高度的逆投影图进行二值化得到的二值化图；其中，图4a为0m逆投影图进行二值化处理得到的二值化图，图4b为1m逆投影图进行二值化处理得到的二值化图；
图5表示高度为1m的逆投影图与高度为0的逆投影图进行与运算的结果图；
图6为求得的所有的三维长Lh、三维宽Wh和高度h；
图7为求得的均长L、平均宽W和平均高H以及停车事件类型；
图8为一个抛落物场景的视频图像；
图9为图8抛落物在各个高度求出的三维长Lh、三维宽Wh和高度h；
图10表示抛落物事件类型。
具体实施方式
本发明的基于不同高度逆投影面的停车和抛落物区分方法，利用不同高度逆投影面求出三维世界中目标的长、宽、高信息，利用求得的尺寸信息进行停车和抛落物的区分。本发明的方法具体包括以下步骤：
步骤一，在道路架设摄像机，对路面连续进行拍摄得到视频图像；统计各种车型的长、宽、高信息，并将这些信息进行保存，构建车型信息模型库。
步骤二，利用灭点的方法建立视频图像的二维世界坐标与三维世界坐标的转换关系，求得透视投影矩阵C，逆投影矩阵C为一个3*4的矩阵。由于摄像机的安装位置是固定的，摄像机的图像视频始终获取的是二维图像；摄像机在三维世界中的坐标是已知的，因此可以得到摄像机拍摄的二维图像所在实际位置与三维世界坐标之间的关系。三维世界坐标是在二维世界坐标的基础上根据右手定则增加z轴而形成的。
步骤三，对摄像机拍摄得到的视频图像采用双向跟踪的方法进行处理，确定视频图像中的多个目标区域；其中，双向跟踪的方法参考文献“一种基于双向跟踪的停车事件检测方法”，目标区域，指的是，视频图像中存在停车或者抛落物的区域。针对多个目标区域中的每个目标区域分别设置一个计数器CN，计数器CN初始化为零。
步骤四，选取一个目标区域，针对该目标区域建立高度为0的沿水平方向的逆投影面A0，并利用步骤二中得到的透视投影矩阵C建立相对应的逆投影图B0，对逆投影图B0进行二值化，得到相对应的二值化图I0；其中，水平逆投影面A0大小为5m*20m。
步骤五，针对步骤四中的目标区域建立高度为h，初始h为0.1m，沿水平方向的逆投影面Ah，并利用步骤二中得到的透视投影矩阵C建立相对应的逆投影图Bh，对逆投影图Bh进行二值化，得到相对应的二值化图Ih；其中，逆投影面Ah的大小为5m*20m。
步骤六，将二值化图I0和二值化图Ih进行面积与运算，求出相与区域B；求出相与区域B的外接矩形；利用外接矩形的像素长和像素宽，求出外接矩形的三维长Lh和三维宽Wh，并记录下此时的逆投影面Ah的高度h。
步骤七，将逆投影面Ah的高度h增加0.1m，重复步骤五和步骤六，得到多个外接矩形，每个外接矩形求得一组三维长Lh、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八。
步骤八，将步骤七得到的每组三维长Lh、三维宽Wh和高度h，分别与模型库中保存的各种车型长(x)、宽(y)、高(z)的值进行比较，若某组的三维长Lh、三维宽Wh和高度h与模型库中的某一种车型满足如下关系：|Lh-x|＜1/10,|Wh-y|＜1/15,|h-z|＜0.03，则将该目标区域的计数器加1，即若有n组的三维长Lh、三维宽Wh和高度h满足上述条件，则该目标区域的计数器CN加n；
步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并对满足步骤八所述条件的所有的三维长Lh、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H，即该目标区域在三维世界中的尺寸信息，转步骤十；若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束。
步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。
步骤十一，将步骤九中求出的平均长L、平均宽W和平均高H的值分别与模型库中各种车型的长(x)、宽(y)、高(z)的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型的满足如下关系：
|L-x|＜0.05,|W-y|＜0.03,|H-z|＜0.01
则认为目标区域中的停车为此种车型。
实施例：
参照图1，该图是重庆市某路段的实时路况视频图像，该视频的采样频率是25帧每秒，图像大小为720*288；
图5表示高度为1m的逆投影图与高度为0的逆投影图进行与运算的结果图；图6中标注的两组数值为满足步骤八所述条件的三维长Lh、三维宽Wh和高度h；根据图6中的两组数值得到该目标区域中存在停车，如图7所示；根据图9中数值，其中并没有符合实际车辆尺寸的信息，所以该目标区域中存在抛落物，如图10。

Claims (4)

1.基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，包括以下步骤：
步骤一，利用摄像机拍摄路面的视频图像，并构建保存有车型信息的模型库；
步骤二，建立视频图像的二维世界坐标与三维世界坐标的转换关系，求取透视投影矩阵C；
步骤三，确定步骤一中的视频图像中存在的多个目标区域，针对每个目标区域设置一个计数器CN，所述计数器CN初始化为零；
步骤四，针对一个目标区域，建立高度为0的逆投影面A0，利用透视投影矩阵C建立逆投影图B0，对逆投影图B0进行二值化，得到二值化图I0；
步骤五，针对步骤四中的目标区域建立高度为h的逆投影面Ah，并利用透视投影矩阵C建立逆投影图Bh，对逆投影图Bh进行二值化，得到二值化图Ih；
步骤六，将二值化图I0和二值化图Ih进行面积与运算，求出相与区域B；求出相与区域B的外接矩形，并求出外接矩形的三维长Lh和三维宽Wh，记录下逆投影面Ah的高度h；
步骤七，将逆投影面Ah的高度h增加一个定值，重复步骤五和步骤六，得到多组三维长Lh、三维宽Wh和对应的逆投影面Ah的高度h，直至求得的相与面积B为空时，转步骤八；
步骤八，将步骤七得到的每组三维长Lh、三维宽Wh和高度h，分别与模型库中保存的各种车型的长x、宽y和高z的值进行比较，若存在n组三维长Lh、三维宽Wh和高度h的值与模型库中的某一种车型相匹配，则将该目标区域的计数器加n；
步骤九，若计数器CN的值大于零，则该目标区域中存在停车，并针对步骤八中与某一种车型相匹配的n组三维长Lh、三维宽Wh和高度h，求其平均值，得到平均长L、平均宽W和平均高H；若计数器CN的值等于零，则该目标区域中存在的是抛落物，判断结束；
步骤十，针对每个目标区域，重复步骤四到步骤九，实现对每个目标区域中停车和抛落物的区分。
2.如权利要求1所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤九中若计数器CN的值大于零，则所述方法还包括以下步骤：
步骤十一，将步骤九中求出的平均长L、平均宽W和平均高H分别与模型库中各种车型的长x、宽y和高z的值进行比较，若平均长L、平均宽W和平均高H的值与某一车型相匹配，则认为目标区域中的停车为此种车型。
3.如权利要求1所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤八中的三维长Lh、三维宽Wh和高度h与模型库中的某一种车型相匹配的判断公式是：
|Lh-x|<1/10,|Wh-y|<1/15,|h-z|<0.03
如果上述三个不等式均成立，则车型相匹配。
4.如权利要求2所述的基于不同高度逆投影面的停车和抛落物区分方法，其特征在于，所述步骤十一中的平均长L、平均宽W和平均高H与模型库中的某一种车型相匹配的判断公式是：
|L-x|<0.05,|W-y|<0.03,|H-z|<0.01
如果上述三个不等式均成立，则车型相匹配。
CN201610182258.7A 2016-03-28 2016-03-28 基于不同高度逆投影面的停车和抛落物区分方法 Active CN105869109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610182258.7A CN105869109B (zh) 2016-03-28 2016-03-28 基于不同高度逆投影面的停车和抛落物区分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610182258.7A CN105869109B (zh) 2016-03-28 2016-03-28 基于不同高度逆投影面的停车和抛落物区分方法

Publications (2)

Publication Number Publication Date
CN105869109A CN105869109A (zh) 2016-08-17
CN105869109B true CN105869109B (zh) 2018-12-07

Family

ID=56626108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610182258.7A Active CN105869109B (zh) 2016-03-28 2016-03-28 基于不同高度逆投影面的停车和抛落物区分方法

Country Status (1)

Country Link
CN (1) CN105869109B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519666B1 (ko) 2018-10-15 2023-04-07 삼성전자주식회사 이미지 변환 장치 및 방법
CN111767843B (zh) * 2020-06-29 2024-01-02 阿波罗智联(北京)科技有限公司 三维位置预测方法、装置、设备以及存储介质
CN111767904B (zh) * 2020-09-01 2021-02-02 深圳市城市交通规划设计研究中心股份有限公司 一种交通事件检测方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法
CN102637361A (zh) * 2012-04-01 2012-08-15 长安大学 一种基于视频的车型判别方法
CN104504730A (zh) * 2014-12-19 2015-04-08 长安大学 一种对停放车辆及抛落物的区分方法
CN104504912A (zh) * 2014-12-31 2015-04-08 长安大学 一种基于三维水平逆投影面的车速检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822468B2 (ja) * 2001-07-18 2006-09-20 株式会社東芝 画像処理装置及びその方法
JP5423764B2 (ja) * 2011-10-20 2014-02-19 住友電気工業株式会社 移動体検出装置、コンピュータプログラム及び移動体検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法
CN102637361A (zh) * 2012-04-01 2012-08-15 长安大学 一种基于视频的车型判别方法
CN104504730A (zh) * 2014-12-19 2015-04-08 长安大学 一种对停放车辆及抛落物的区分方法
CN104504912A (zh) * 2014-12-31 2015-04-08 长安大学 一种基于三维水平逆投影面的车速检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
事件检测中的停车及抛落物识别算法研究;李洁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150215(第02期);第I138-1030页 *
基于稳定状态差异的停车及抛落物检测算法;孙丽婷，宋焕生，关绮，闻江;《电视技术》;20151231;第39卷(第15期);第115-119页 *

Also Published As

Publication number Publication date
CN105869109A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103826102B (zh) 一种运动目标的识别方法、装置
CN104008371B (zh) 一种基于多摄像机的区域可疑目标跟踪与识别方法
CN103473554B (zh) 人流统计系统及方法
CN109844762A (zh) 车载用图像处理装置
CN103279791B (zh) 基于多特征的行人计算方法
CN105913454B (zh) 一种视频图像中运动目标的像素坐标轨迹预测方法
CN105869109B (zh) 基于不同高度逆投影面的停车和抛落物区分方法
CN104575003B (zh) 一种基于道路监控视频的车辆速度检测方法
Pan et al. Traffic surveillance system for vehicle flow detection
CN110718061B (zh) 交通路口车流量统计方法、装置、存储介质及电子设备
CN107644528A (zh) 一种基于车辆跟踪的车辆排队长度检测方法
El Bouziady et al. Vehicle speed estimation using extracted SURF features from stereo images
CN104966062A (zh) 视频监视方法和装置
CN103425764A (zh) 一种基于视频的车辆匹配方法
Luo et al. Multiple lane detection via combining complementary structural constraints
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN112270253A (zh) 一种高空抛物的检测方法及装置
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
Shukla et al. Speed determination of moving vehicles using Lucas-Kanade algorithm
CN114998317B (zh) 镜头遮挡检测方法、装置、摄像装置和存储介质
CN105761507B (zh) 一种基于三维轨迹聚类的车辆计数方法
CN111062971A (zh) 一种基于深度学习多模态的跨摄像头泥头车追踪方法
Lu et al. Vision-based structural displacement measurement under ambient-light changes via deep learning and digital image processing
CN103150550B (zh) 一种基于运动轨迹分析的道路行人事件检测方法
Anandhalli et al. Vehicle detection and tracking based on color feature

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211230

Address after: 710000 room d4405, 4th floor, free trade bonded building, No. 1, free trade Avenue, airport new town, Xixian new area, Xi'an, Shaanxi a44

Patentee after: Xi'an Dewei Shitong Intelligent Transportation Co.,Ltd.

Address before: 710064 No. 126 central section of South Ring Road, Yanta District, Xi'an, Shaanxi

Patentee before: CHANG'AN University

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 710000 room d4405, 4th floor, free trade bonded building, No. 1, free trade Avenue, airport new town, Xixian new area, Xi'an, Shaanxi a44

Patentee after: Xi'an Dewei Shitong Intelligent Technology Co.,Ltd.

Address before: 710000 room d4405, 4th floor, free trade bonded building, No. 1, free trade Avenue, airport new town, Xixian new area, Xi'an, Shaanxi a44

Patentee before: Xi'an Dewei Shitong Intelligent Transportation Co.,Ltd.

CP01 Change in the name or title of a patent holder