CN110503597B - 一种基于2d结构模型的车辆视点规范化方法 - Google Patents

一种基于2d结构模型的车辆视点规范化方法 Download PDF

Info

Publication number
CN110503597B
CN110503597B CN201910616670.9A CN201910616670A CN110503597B CN 110503597 B CN110503597 B CN 110503597B CN 201910616670 A CN201910616670 A CN 201910616670A CN 110503597 B CN110503597 B CN 110503597B
Authority
CN
China
Prior art keywords
vehicle
image
straight line
determined
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910616670.9A
Other languages
English (en)
Other versions
CN110503597A (zh
Inventor
刘远超
吴宗林
夏路
何伟荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haoteng Electron Technology Co ltd
Original Assignee
Zhejiang Haoteng Electron Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haoteng Electron Technology Co ltd filed Critical Zhejiang Haoteng Electron Technology Co ltd
Priority to CN201910616670.9A priority Critical patent/CN110503597B/zh
Publication of CN110503597A publication Critical patent/CN110503597A/zh
Application granted granted Critical
Publication of CN110503597B publication Critical patent/CN110503597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于2D结构模型的车辆视点规范化方法，步骤如下：步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR；步骤2：根据公式计算出车辆偏转角度θCar；步骤3：根据θCar确定车辆偏转方向：步骤4：车辆2D结构模型由有限个关键点确定，步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像；步骤7：经过步骤6处理后的图像进行拼接，得到最终的视点归范化图像。本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。

Description

一种基于2D结构模型的车辆视点规范化方法
技术领域
本发明涉及数字图像处理领域，是一种车辆视点规范化方法，具体是一种基于2D结构模型的车辆视点规范化方法。
背景技术
车辆视点规范化的目标是实现不同视角车辆的视点统一，降低图像布局差异造成特征描述的难度，从而改善车辆特征表达的精准度，对车辆分类、识别等任务有重要意义。
已有的车辆视点规范化方法大多都是基于3D结构模型的，比如Jakub等人(BoxCars:Improving Fine-Grained Recognition of Vehicles using 3-D BoundingBoxes in Traffic Surveillance[J].2017,1-12)提出了一种基于车辆3D结构模型的车辆视点规范化方法，他通过展开车辆的3D结构模型的实现车辆视点规范，其3D结构模型构建的是基于KLT跟踪算法和背景建模算法实现的，作者通过实验证明了视点规范化方法可以显著改善车辆分类、识别任务的性能，但方法仍存在算法复杂、视点规范化效果不佳、适用场景有限的不足。
因此针对现有基于车辆3D结构模型视点规范化方法的不足，本发明提出了一种基于2D结构模型的视点规范化方法。该方法在车辆车窗精准定位结果基础上进行车辆2D结构模型的建模，然后基于2D结构模型确定车辆图像的车脸、车窗、车顶、车身4个子区域，进而通过区域重组实现图像视点规范。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于2D结构模型的车辆视点规范化方法。
本发明的技术方案如下：
一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure GDA0004103047190000021
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。
附图说明
图1是车辆偏转角度示意图；
图2是直行车辆2D结构模型示意图；
图3是右朝向车辆2D结构模型示意图；
图4是直行车辆视点规范化图像；
图5是右朝向车辆直行车辆视点规范化图像。
具体实施方式
下面结合具体实例，对一种基于车辆2D结构模型的车辆视点规范化方法实施的过程进行详细的说明。
基于2D结构模型的车辆视点规范化方法，具体步骤如下：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure GDA0004103047190000041
车辆偏转角度θCar的示意图如图1所示；
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
在本实例中，根据步骤4构建的直行车辆和右朝向车辆2D结构模型如图2，图3所示；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
在本实例中，根据步骤5-7得到的直行车辆和右朝向车辆对应的视点规范化图像如图4、图5所示。

Claims (2)

1.一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lWL、lWR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
Figure FDA0004109469840000011
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定；
所述步骤4具体为：对于直行车辆，模型关键点根据如下策略(A)确定；对于右朝向车辆，采用策略(B)确定模型关键点；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
2.根据权利要求1所述的一种基于2D结构模型的车辆视点规范化方法，其特征在于，所述步骤5具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112。
CN201910616670.9A 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法 Active CN110503597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Publications (2)

Publication Number Publication Date
CN110503597A CN110503597A (zh) 2019-11-26
CN110503597B true CN110503597B (zh) 2023-05-16

Family

ID=68585609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616670.9A Active CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Country Status (1)

Country Link
CN (1) CN110503597B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2015507386A (ja) * 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ ３ｄ車両周辺映像生成方法および装置
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep manta：A coarse-to-fine many task network for joint 2d and 3d vehicle analysis from monocular image;F Chabot;《CVPR 2017 open access》;20171231;全文 *
基于图论的复杂交通环境下车辆检测方法;苏帅等;《北京交通大学学报》;20171015(第05期);全文 *
基于改进SIFT算法的汽车车型自动识别;刘灵等;《山东师范大学学报(自然科学版)》;20170315(第01期);全文 *

Also Published As

Publication number Publication date
CN110503597A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN109993783B (zh) 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
JP6785620B2 (ja) ステレオカメラセンサを用いた車両用の予測的サスペンション制御
CN109435942A (zh) 一种基于信息融合的车位线车位识别方法及装置
US20160307052A1 (en) Device and method for recognizing obstacle and parking slot to support unmanned autonomous parking function
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
US20150339533A1 (en) Method and apparatus for detecting target object in blind area of vehicle
CN106558080A (zh) 一种单目相机外参在线标定系统及方法
CN103231708A (zh) 一种基于双目视觉的智能车辆避障方法
CN109671110B (zh) 一种局部几何结构约束的城区宽基线影像特征点匹配方法
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
CN112613378A (zh) 3d目标检测方法、系统、介质及终端
EP3985575A1 (en) Three-dimensional information processing method and apparatus
CN111178150A (zh) 车道线检测方法、系统及存储介质
CN109492599A (zh) 一种多轴电客车自导向方法
CN108305278A (zh) 一种orb-slam算法中图像匹配相关性改进方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
CN107705256B (zh) 一种基于接触网语义的前向车载视频图像增强方法
Wang et al. Lane boundary detection based on parabola model
CN111413689A (zh) 一种基于rviz实现多激光雷达点云对齐的高效静态标定方法
CN110503597B (zh) 一种基于2d结构模型的车辆视点规范化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant