CN110503597A - 一种基于2d结构模型的车辆视点规范化方法 - Google Patents

一种基于2d结构模型的车辆视点规范化方法 Download PDF

Info

Publication number
CN110503597A
CN110503597A CN201910616670.9A CN201910616670A CN110503597A CN 110503597 A CN110503597 A CN 110503597A CN 201910616670 A CN201910616670 A CN 201910616670A CN 110503597 A CN110503597 A CN 110503597A
Authority
CN
China
Prior art keywords
vehicle
straight line
image
determined
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910616670.9A
Other languages
English (en)
Other versions
CN110503597B (zh
Inventor
刘远超
吴宗林
夏路
何伟荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Haoteng Electronics Polytron Technologies Inc
Original Assignee
Zhejiang Haoteng Electronics Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Haoteng Electronics Polytron Technologies Inc filed Critical Zhejiang Haoteng Electronics Polytron Technologies Inc
Priority to CN201910616670.9A priority Critical patent/CN110503597B/zh
Publication of CN110503597A publication Critical patent/CN110503597A/zh
Application granted granted Critical
Publication of CN110503597B publication Critical patent/CN110503597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

基于2D结构模型的车辆视点规范化方法，步骤如下：步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lL、lR的对应角度θL、θR；步骤2：根据公式计算出车辆偏转角度θCar；步骤3：根据θCar确定车辆偏转方向：步骤4：车辆2D结构模型由有限个关键点确定，步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像；步骤7：经过步骤6处理后的图像进行拼接，得到最终的视点归范化图像。本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。

Description

一种基于2D结构模型的车辆视点规范化方法
技术领域
本发明涉及数字图像处理领域，是一种车辆视点规范化方法，具体是一种基于2D结构模型的车辆视点规范化方法。
背景技术
车辆视点规范化的目标是实现不同视角车辆的视点统一，降低图像布局差异造成特征描述的难度，从而改善车辆特征表达的精准度，对车辆分类、识别等任务有重要意义。
已有的车辆视点规范化方法大多都是基于3D结构模型的，比如Jakub等人(BoxCars:Improving Fine-Grained Recognition of Vehicles using 3-D BoundingBoxes in Traffic Surveillance[J].2017,1-12)提出了一种基于车辆3D结构模型的车辆视点规范化方法，他通过展开车辆的3D结构模型的实现车辆视点规范，其3D结构模型构建的是基于KLT跟踪算法和背景建模算法实现的，作者通过实验证明了视点规范化方法可以显著改善车辆分类、识别任务的性能，但方法仍存在算法复杂、视点规范化效果不佳、适用场景有限的不足。
因此针对现有基于车辆3D结构模型视点规范化方法的不足，本发明提出了一种基于2D结构模型的视点规范化方法。该方法在车辆车窗精准定位结果基础上进行车辆2D结构模型的建模，然后基于2D结构模型确定车辆图像的车脸、车窗、车顶、车身4个子区域，进而通过区域重组实现图像视点规范。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于2D结构模型的车辆视点规范化方法。
本发明的技术方案如下：
一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lL、lR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆和右朝向车辆，模型关键点根据如下策略(A)确定；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
本发明的有益效果是：本发明可以达到更好的视点规范效果，本发明直接根据车辆图像进行结构检测，不依赖于视频流，适用范围更广。
附图说明
图1是车辆偏转角度示意图；
图2是直行车辆2D结构模型示意图；
图3是右朝向车辆2D结构模型示意图；
图4是直行车辆视点规范化图像；
图5是右朝向车辆直行车辆视点规范化图像。
具体实施方式
下面结合具体实例，对一种基于车辆2D结构模型的车辆视点规范化方法实施的过程进行详细的说明。
基于2D结构模型的车辆视点规范化方法，具体步骤如下：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lL、lR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
车辆偏转角度θCar的示意图如图1所示；
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定，具体为：对于直行车辆和右朝向车辆，模型关键点根据如下策略(A)确定；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点；
在本实例中，根据步骤4构建的直行车辆和右朝向车辆2D结构模型如图2，图3所示；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域，具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
在本实例中，根据步骤5-7得到的直行车辆和右朝向车辆对应的视点规范化图像如图4、图5所示。

Claims (3)

1.一种基于2D结构模型的车辆视点规范化方法，其特征在于，包括如下步骤：
步骤1：已知车辆图像I，车窗四个顶点位置WUL、WUR、WDL、WDR，车窗上下左右四条边线lWT、lWB、lWL、lWR，车窗左右边线lL、lR的对应角度θL、θR，其中，θL、θR分别为水平线到车窗左右边线的逆时针夹角；
步骤2：根据公式(1)计算出车辆偏转角度θCar；
步骤3：根据θCar确定车辆偏转方向：若80°≤θCar≤100°，则确定车辆I为直行车辆；若θCar＜80°，则确定车辆I为左朝向车辆；若θCar>100°，则确定车辆I为右朝向车辆；
步骤4：车辆2D结构模型由有限个关键点确定；
步骤5：根据车辆2D结构模型确定车脸、车窗、车顶、车身区域；
步骤6：根据关键点链从图像I中得到车脸、车窗、车顶、车身区域对应的子图像，并分别统一缩放到200px*200px大小，对于直行车辆，车身图像用一个200px*200px大小的全白图像代替；
步骤7：经过步骤6处理后的车脸、车窗、车顶和车身子图像按照左上、右上、左下、右下布局进行拼接，得到最终的视点归范化图像。
2.根据权利要求1所述的一种基于2D结构模型的车辆视点规范化方法，其特征在于，所述步骤4具体为：对于直行车辆和右朝向车辆，模型关键点根据如下策略(A)确定；对于左朝向车辆，先通过水平翻转将其转化成右朝向车辆，车窗相关数据进行相应变化后，采用策略(B)确定模型关键点；
策略(A)：直行车辆的2D结构模型共由12个关键点确定，即P11,P21,…,P121，确定这12关键点的方法如下：
P11,P21,P31,P41分别确定为WUL、WDL、WDR和WUR；
P51确定为直线lWL和图像I左边界的交点；
P61和P71分别确定为图像I左下、右下顶点；
P81确定为直线lWR和图像I右边界的交点；
P91确定为直线l1和直线lWT的交点，直线l1为平行于图像I左边界且经过点WDL的直线；
P101确定为直线l2和直线lWT的交点，直线l2为平行于图像I左边界且经过点WDR的直线；
P111确定为直线l2和图像I上边界的交点；
P121确定为直线l1和图像I上边界的交点；
策略(B)：右朝向车辆的2D结构模型共由13个关键点确定，即P12,P22,…,P132，确定这13关键点的方法如下：
P12,P22,P32,P42分别确定为WUL、WDL、WDR和WUR；
P52确定为直线lWL和图像I下边界的交点；
P62确定为直线lWR和图像I右边界的交点；
P72确定为直线lWR和图像I上边界的交点；
P82确定为直线l3和图像I上边界的交点，直线l3为平行于直线lWR且经过点WDL的直线；
P92确定为直线l3和直线lWT的交点；
P102确定为直线lWL和图像I上边界的交点；
P112,P122和P132分别确定为图像I左上、左下、右下顶点。
3.根据权利要求2所述的一种基于2D结构模型的车辆视点规范化方法，其特征在于，所述步骤5具体为：对于直行车辆，忽略车身区域，车脸区域的关键点链为P21-P31-P81-P71-P61-P51-P21，车窗区域的关键点链为P11-P21-P31-P41-P11，车顶区域的关键点链为P121-P111-P101-P91-P121；对于右朝向车辆，车脸区域的关键点链为P22-P32-P62-P132-P52-P22，车窗区域的关键点链为P12-P22-P32-P42-P12，车顶区域的关键点链为P82-P72-P42-P92-P82，车身区域的关键点链为P112-P122-P52-P82-P112。
CN201910616670.9A 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法 Active CN110503597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910616670.9A CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Publications (2)

Publication Number Publication Date
CN110503597A true CN110503597A (zh) 2019-11-26
CN110503597B CN110503597B (zh) 2023-05-16

Family

ID=68585609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910616670.9A Active CN110503597B (zh) 2019-07-09 2019-07-09 一种基于2d结构模型的车辆视点规范化方法

Country Status (1)

Country Link
CN (1) CN110503597B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
WO2013081287A1 (ko) * 2011-11-30 2013-06-06 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2015507386A (ja) * 2011-11-30 2015-03-05 イメージネクスト シーオー エルティディ ３ｄ車両周辺映像生成方法および装置
JP2013225903A (ja) * 2013-06-19 2013-10-31 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
US20180246515A1 (en) * 2017-02-28 2018-08-30 Mitsubishi Electric Research Laboratories, Inc. Vehicle Automated Parking System and Method
CN108563976A (zh) * 2017-11-29 2018-09-21 浙江工业大学 一种基于车窗位置的多方向车辆颜色识别方法
CN109165689A (zh) * 2018-08-29 2019-01-08 浙江工业大学 一种车辆车窗精准定位方法
CN109255052A (zh) * 2018-08-29 2019-01-22 浙江工业大学 一种基于多特征的三阶段车辆检索方法
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术（北京）有限公司 车载图像传感器的控制方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F CHABOT: "Deep manta：A coarse-to-fine many task network for joint 2d and 3d vehicle analysis from monocular image", 《CVPR 2017 OPEN ACCESS》 *
刘灵等: "基于改进SIFT算法的汽车车型自动识别", 《山东师范大学学报(自然科学版)》 *
苏帅等: "基于图论的复杂交通环境下车辆检测方法", 《北京交通大学学报》 *

Also Published As

Publication number Publication date
CN110503597B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
CN104463914B (zh) 一种改进的Camshift目标跟踪方法
US20160307052A1 (en) Device and method for recognizing obstacle and parking slot to support unmanned autonomous parking function
CN112368741B (zh) 传感器校准
CN110211176A (zh) 一种相机外参数校正系统与方法
CN105005771A (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN103731652A (zh) 移动面分界线认知装置和方法、以及移动体设备控制系统
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
CN109492599A (zh) 一种多轴电客车自导向方法
Liu et al. A novel multi-sensor fusion based object detection and recognition algorithm for intelligent assisted driving
CN105205805A (zh) 基于视觉的智能车辆横向控制方法
CN115222731A (zh) 一种基于二维图像到点云映射的列车紧固件异常检测方法
CN116359873A (zh) 结合鱼眼相机实现车端4d毫米波雷达slam处理的方法、装置、处理器及其存储介质
Wang et al. Lane detection based on two-stage noise features filtering and clustering
JP2010224918A (ja) 環境認識装置
CN109842761B (zh) 前向运动视频的快速高清全景成像方法及装置
Yang et al. MonoGAE: Roadside monocular 3D object detection with ground-aware embeddings
CN101383051B (zh) 一种基于图像重投影的视图合成方法
Ma et al. RoLM: Radar on LiDAR map localization
JP2008059323A (ja) 壁検出装置
Zheng et al. A robust strategy for roadside cooperative perception based on multi-sensor fusion
CN110503597A (zh) 一种基于2d结构模型的车辆视点规范化方法
CN116189150B (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
JP3945919B2 (ja) 走行路検出装置、車両走行制御装置および記録媒体
Fu et al. Multi-lanes detection based on panoramic camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant