CN110060298B - 一种基于图像的车辆位置和姿态确定系统以及相应的方法 - Google Patents

一种基于图像的车辆位置和姿态确定系统以及相应的方法 Download PDF

Info

Publication number
CN110060298B
CN110060298B CN201910217385.XA CN201910217385A CN110060298B CN 110060298 B CN110060298 B CN 110060298B CN 201910217385 A CN201910217385 A CN 201910217385A CN 110060298 B CN110060298 B CN 110060298B
Authority
CN
China
Prior art keywords
vehicle
information
vehicle position
cone
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910217385.XA
Other languages
English (en)
Other versions
CN110060298A (zh
Inventor
王华飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Roadefend Vision Technology Shanghai Co ltd
Original Assignee
Roadefend Vision Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Roadefend Vision Technology Shanghai Co ltd filed Critical Roadefend Vision Technology Shanghai Co ltd
Priority to CN201910217385.XA priority Critical patent/CN110060298B/zh
Publication of CN110060298A publication Critical patent/CN110060298A/zh
Application granted granted Critical
Publication of CN110060298B publication Critical patent/CN110060298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像的车辆位置和姿态确定系统以及相应的方法。所述基于图像的车辆位置和姿态确定系统包括：车辆图像采集模块，所述车辆图像采集模块用于采集车辆图像，其中，所述车辆图像采集模块包括相机和相机参数获取模块；二维边界框检测模块，所述二维边界框检测模块用于从所述车辆图像中检测和获取所述车辆的二维边界框信息；关键特征点检测模块，所述关键特征点检测模块用于从所述车辆图像中检测和获取车辆关键特征点信息；锥体定位模块，所述锥体定位模块用于计算出所述车辆在相机坐标系中所对应的锥体信息；以及车辆位置和姿态回归模块，所述车辆位置和姿态回归模块用于获得所述车辆位置和姿态信息。

Description

一种基于图像的车辆位置和姿态确定系统以及相应的方法
技术领域
本发明涉及车辆领域，特别是车辆自动驾驶领域，尤其是车辆识别领域。具体地说，本发明涉及一种基于图像的车辆位置和姿态确定系统以及相应的方法。对本领域技术人员而言，显而易见的是，本发明亦可应用于其它领域。
背景技术
当前，我国正处于经济高速发展时期，道路交通发展迅速，机动车数量不断增加。为了解决地面交通迅速发展所引起的各种问题，智能交通系统应运而生，成为解决各种问题的有效途径。智能交通系统是以信息技术为代表的高新技术在道路交通运输中的集成应用，是先进的信息技术、数据传输技术、控制技术及计算机处理技术等技术结合应用的综合管理系统，使人、车、路与环境和谐结合，受到世界各国高度重视，发展极为迅速。
车辆识别作为智能交通系统中的一个重要组成部分，受到越来越多的重视。它从运动图像序列中检测、识别、跟踪车辆。基于图像和视频的智能交通系统可以检测很多交通参数，包括车辆的有无、车流量、车型、车长、车速、道路饱和度等。在这些测量中，需要从摄像头获取的图像信息出发，计算实际世界场景中的几何信息，并由此重建和识别物体。
图像中对应点之间的相互关系是由摄像头成像的几何模型决定的，这些几何模型参数就是摄像机参数或相机参数。在大多数条件下，这些参数必须通过实验和计算才能得到。
在现有的一些基于图像的车辆位置和姿态识别技术中，在判断车辆位置时，主要通过图像分析方法来识别前方车辆宽度和车辆类别，从而通过前方车辆宽度和车辆类别进一步判断前方车辆与本方车辆之间的距离。这种方法的主要缺点在于：(1)缺失了车辆的位置信息，只有一维距离信息；(2)测量不准确，因为获取前方车辆宽度的时候，需要准确获取前方车辆头部或者尾部宽度，如果将一部分的车辆侧面宽度包含进去，就会影响车辆宽度的准确度，进而影响距离测量的准确度。
另外，在一些其他的现有技术中，在判断车辆姿态时，主要通过车辆的运动方向、几何主轴和车型等信息直接进行判断，缺乏车辆在某个坐标系中的姿态信息，也没有将车辆姿态信息与车辆位置信息相互关联，因而无法实现车辆姿态信息与车辆位置信息的相互校准、匹配和融合，无法获得更加准确的判断结果。
发明内容
针对现有技术中的上述缺点，本发明提供一种基于图像的车辆位置和姿态确定系统以及相应的方法，该车辆位置和姿态确定系统以及相应的方法以图像信息和相机参数作为输入，并且结合神经网络和几何建模(例如包括相机坐标系的使用、坐标转换等等)，能够准确地确定前方车辆的位置和姿态。
本发明的大致思路是，从相机的摄像头采集的车辆图像中识别出车辆的二维边界框(bounding box)信息，将所述二维边界框信息通过相机参数映射到三维空间中，所述二维边界框信息会在三维空间中映射出一个锥体。在确定所述锥体的位置之后，将识别出的车辆类别信息和车辆关键特征点(landmark点，例如车灯和车轮)与所述锥体的位置结合，通过神经网络回归出车辆位置和姿态。
根据本发明的车辆位置和姿态确定系统和方法是基于纯图像的，也就是说，它们仅仅基于图像就能够确定车辆的位置和姿态。根据本发明的车辆位置和姿态确定系统和方法在仅有纯图像和相机内外参数做输入的情况下，就能够对前方车辆的位置和姿态进行评估。所述车辆的位置和姿态至少包括车辆在相机坐标系中的x、y、z轴位置、车辆类别信息、车辆水平方向(偏航角的值)。
根据本发明的一个方面，提供了一种基于图像的车辆位置和姿态确定系统，其包括：车辆图像采集模块，所述车辆图像采集模块用于采集车辆图像，其中，所述车辆图像采集模块包括相机和相机参数获取模块；二维边界框检测模块，所述二维边界框检测模块用于从所述车辆图像中检测和获取所述车辆的二维边界框信息；关键特征点检测模块，所述关键特征点检测模块用于从所述车辆图像中检测和获取车辆关键特征点信息；锥体定位模块，所述锥体定位模块用于计算出所述车辆在相机坐标系中所对应的锥体信息；以及车辆位置和姿态回归模块，所述车辆位置和姿态回归模块用于获得所述车辆位置和姿态信息。
在本发明的一种实施方式中，所述车辆位置和姿态确定系统还包括车辆信息校准和匹配模块，所述车辆信息校准和匹配模块用于对所述车辆的二维边界框信息和所述车辆关键特征点信息进行校准和匹配。所述车辆信息校准和匹配模块能够进一步提高车辆图像识别的准确率。
根据本发明的另一个方面，提供了一种基于图像的车辆位置和姿态确定方法，所述车辆位置和姿态确定方法包括以下步骤：(1)利用相机采集车辆图像信息；(2)获取车辆的二维边界框信息和关键特征点信息；(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息；以及(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息。
在本发明的一种实施方式中，所述车辆位置和姿态确定方法还包括：在步骤(2)获取车辆的二维边界框信息和关键特征点信息之后，对所述车辆的二维边界框信息和所述关键特征点信息进行校准和匹配。上述校准和匹配能够进一步提高车辆图像识别的准确率。
与现有技术相比，根据本发明的基于图像的车辆位置和姿态确定系统以及相应的方法至少具有以下优点：
(1)根据本发明的车辆位置和姿态确定系统至少融合了车辆图像采集模块(包括相机)、车辆二维边界框检测模块、车辆关键特征点检测模块和车辆模板匹配模块，能够更准确地回归出车辆在三维空间中的位置和姿态。
(2)根据本发明的车辆位置和姿态确定系统将相机参数信息添加到车辆识别系统和方法中，避免了雷达的使用，有效降低了前方车辆检测的成本。
具体而言，本发明的一些方面可以阐述如下：
1.一种基于图像的车辆位置和姿态确定系统(100、200、300)，所述车辆位置和姿态确定系统(100、200、300)包括：
车辆图像采集模块(101、201、301)，所述车辆图像采集模块(101、201、301)用于采集车辆图像，其中，所述车辆图像采集模块(101、201、301)包括相机和相机参数获取模块(1101、2011、3011)；
二维边界框检测模块(102、202、302)，所述二维边界框检测模块(102、202、302)用于从所述车辆图像中检测和获取所述车辆的二维边界框信息；
关键特征点检测模块(103、203、303)，所述关键特征点检测模块(103、203、303)用于从所述车辆图像中检测和获取车辆关键特征点信息；
锥体定位模块(104、204、304)，所述锥体定位模块(104、204、304)用于计算出所述车辆在相机坐标系中所对应的锥体信息；以及
车辆位置和姿态回归模块(105、205、305)，所述车辆位置和姿态回归模块(105、205、305)用于获得所述车辆位置和姿态信息。
2.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态确定系统(100、200、300)还包括车辆信息校准和匹配模块(2023、3023)，所述车辆信息校准和匹配模块(2023、3023)用于对所述车辆的二维边界框信息和所述车辆关键特征点信息进行校准和匹配。
3.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述二维边界框检测模块(102、202、302)还用于检测和获取车辆类别信息、车辆头部信息、车辆尾部信息。
4.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆关键特征点信息至少包括车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点。
5.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述相机参数获取模块(1101、2011、3011)用于获取相机参数，所述相机参数包括相机内部参数和相机外部参数，其中，所述相机内部参数包括fx，fy，u0，v0，其中，fx和fy是所述相机的摄像头的焦距参数，u0和v0分别是所述车辆图像的中心点像素坐标与所述车辆图像的原点像素坐标之间相差的横向像素数和纵向像素数。
6.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述锥体定位模块(104、204、304)被配置成基于所述二维边界框信息和所述相机参数计算出所述车辆在相机坐标系中所对应的锥体信息。
7.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和所述车辆关键特征点信息获得所述车辆位置和姿态信息。
8.根据条款3所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息、所述车辆类别信息和所述车辆关键特征点信息获得所述车辆位置和姿态信息。
9.根据条款1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和所述车辆关键特征点信息利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
10.根据条款2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述二维边界框检测模块(102、202、302)和所述关键特征点检测模块(103、203、303)分别与所述车辆信息校准和匹配模块(2023、3023)双向通信连接。
11.根据条款2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述锥体定位模块(104、204、304)被配置成基于经过校准和匹配的二维边界框信息和所述相机参数计算出所述车辆在相机坐标系中所对应的锥体信息。
12.根据条款2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和经过校准和匹配的车辆关键特征点信息获得所述车辆位置和姿态信息。
13.根据条款2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和经过校准和匹配的车辆关键特征点信息利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
14.一种基于图像的车辆位置和姿态确定方法，所述车辆位置和姿态确定方法包括以下步骤：
(1)利用相机采集车辆图像信息；
(2)获取车辆的二维边界框信息和关键特征点信息；
(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息；以及
(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息。
15.根据条款14所述的车辆位置和姿态确定方法，其特征在于，所述车辆位置和姿态确定方法还包括：在步骤(2)获取车辆的二维边界框信息和关键特征点信息之后，对所述车辆的二维边界框信息和所述关键特征点信息进行校准和匹配。
16.根据条款14所述的车辆位置和姿态确定方法，其特征在于，所述二维边界框信息由二维边界框检测模块从所述车辆图像信息获取，所述二维边界框检测模块还能够检测和获取车辆类别信息、车辆头部信息、车辆尾部信息。
17.根据条款14所述的车辆位置和姿态确定方法，其特征在于，所述车辆关键特征点信息至少包括车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点。
18.根据条款14所述的车辆位置和姿态确定方法，其特征在于，所述相机参数由相机参数获取模块来获取，所述相机参数包括相机内部参数和相机外部参数，其中，所述相机内部参数包括fx，fy，u0，v0，其中，fx和fy是所述相机的摄像头的焦距参数，u0和v0分别是所述车辆图像的中心点像素坐标与所述车辆图像的原点像素坐标之间相差的横向像素数和纵向像素数。
19.根据条款16所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息、所述车辆类别信息和所述车辆关键特征点信息，获得所述车辆位置和姿态信息。
20.根据条款14所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和所述车辆关键特征点信息，利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
21.根据条款15所述的车辆位置和姿态确定方法，其特征在于，步骤(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息包括：基于经过校准和匹配的二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。
22.根据条款15所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和经过校准和匹配的车辆关键特征点信息，获得所述车辆位置和姿态信息。
23.根据条款15所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和经过校准和匹配的车辆关键特征点信息，利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
附图说明
下面参考附图通过举例的方式(但并不限于此)阐述本发明，其中：
图1示例性示出第一种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构。
图2示例性示出第二种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构。
图3示例性示出第三种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构。
图4示例性示出第一种根据本发明的基于图像的车辆位置和姿态确定方法的流程图。
图5示例性示出第二种根据本发明的基于图像的车辆位置和姿态确定方法的流程图。
具体实施方式
现在参考附图中所示的实施例来详细描述本发明的实施方式。在下面的说明书中，许多具体细节都是用来提供对具体实施方式的完全理解。但是，对本领域技术人员来说显而易见的是，所述实施方式能够以不带有一些或全部具体细节的方式实施。在其他实施例中，公知的步骤和/或结构并未进行详细阐述，以免不必要地造成具体实施方式难于理解。本领域技术人员能理解的是，本次讨论仅仅是对示例性实施方式的描述，其用意并不在于限制本发明在示例性步骤和/或结构中具体实施的较宽范围。
图1示例性示出第一种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构图。根据本发明的所述车辆位置和姿态确定系统是基于纯图像的，也就是说，它仅仅基于图像就能够确定车辆的位置和姿态。如图1示意性所示，所述基于图像的车辆位置和姿态确定系统100至少包括车辆图像采集模块101、二维边界框(bounding box)检测模块102、关键特征点检测模块103、锥体定位模块104和车辆位置和姿态回归模块105。所述车辆图像采集模块101至少包括相机和相机参数获取模块1011，所述相机包括摄像头。
下面参考图1，对所述车辆位置和姿态确定系统100的工作原理进行描述。
在根据本发明的车辆位置和姿态确定系统100中，车辆图像采集模块101采集大量的车辆图像信息，例如彩色图片。从所述大量的车辆图像信息中，所述车辆图像采集模块101能够根据需要来获取符合要求的车辆图像或图片。这些要求例如包括清晰度高、遮挡少、拍摄角度佳、等等。
在图1所示的根据本发明的车辆位置和姿态确定系统100中，所述车辆图像采集模块101被分别连接至所述二维边界框检测模块102和所述关键特征点检测模块103。当所述车辆位置和姿态确定系统100工作时，所采集的车辆图像从所述车辆图像采集模块101被分别传输至所述二维边界框检测模块102和所述关键特征点检测模块103。
在所述二维边界框检测模块102和所述关键特征点检测模块103中，分别对所述车辆图像进行图像预处理。例如，在根据本发明的一种实施例中，所述二维边界框检测模块102至少检测并且获取所述车辆图像中所述车辆的二维边界框信息。此外，所述二维边界框检测模块102还用于检测并且获取车辆类别信息、车辆头部信息、车辆尾部信息、等等。所述关键特征点检测模块103检测并且获取车辆关键特征点信息，其中，所述车辆关键特征点至少包括车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点、等等。
关于车辆类别，一般情况下，将机动车分为如下几类：大型汽车(指总质量大于4500千克，或车长大于等于6米，或乘坐人数大于等于20人的各种汽车)、小型汽车(指总质量在4500千克以下，车长在6米以下，或乘坐人员不足20人的汽车)、专用汽车(指专门设备且有专项用途的汽车包括扫地汽车、仪器车、邮政汽车、汽车吊车等)、特种车(指有特殊专门用途的紧急用车辆包括消防汽车、救护汽车、工程车抢险车、警备车、交通事故勘查车等)、以及其他车辆。在车辆识别领域中，一般将车辆分为轿车、SUV、MPV、卡车、公交车、救护车、消防车等等。具体的车辆类别可以根据不同的样本分类而改变分类标准，在此不再赘述。
回到图1，所述相机参数获取模块1011和所述二维边界框检测模块102被连接至所述锥体定位模块104。所述相机参数获取模块1011被包含在所述车辆图像采集模块101中，并且能够获取相机参数。所述相机参数包括相机内部参数和相机外部参数。例如，所述相机内部参数包括fx，fy，u0，v0，其中，fx和fy是所述相机的摄像头的焦距参数(fx和fy是在相机标定中整体计算的)，u0和v0分别是所述图像的中心点像素坐标与所述图像的原点像素坐标之间相差的横向像素数和纵向像素数，换句话说，(u0，v0)是所述图像的中心点像素在所述图像的图像坐标系(成像平面内的坐标系)中的横向坐标和纵向坐标。所述相机外部参数例如包括ω，δ，θ，Tx，Ty，Tz，其中，ω，δ，θ分别是相机坐标系三个轴的旋转参数，Tx，Ty，Tz分别是相机坐标系三个轴的平移参数。
关于成像过程中的四种坐标系(即世界坐标系、相机坐标系、图像物理坐标系、图像像素坐标系)之间的变换关系，本领域技术人员能够从现有技术中获知，本申请在此不再赘述。
再次回到图1，所述相机参数获取模块1011将所述相机参数传输给所述锥体定位模块104。同时，所述二维边界框检测模块102也将所述二维边界框信息传输给所述锥体定位模块104。在所述锥体定位模块104中，基于所述二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。车辆图像中的每一个矩形都可以在三维空间中映射出一个锥体(更确切地说，是平截锥体)。将车辆图像上的每个点投影到三维空间中就是一条射线，矩形的四个点可以投影出四条射线，从而组成一个锥体。所述锥体信息包括所述锥体的空间位置和尺寸。
在图1中可以进一步看出，所述锥体定位模块104和所述关键特征点检测模块103又被连接至所述车辆位置和姿态回归模块105。所述锥体定位模块104将计算得到的所述锥体信息传输给所述车辆位置和姿态回归模块105。同时，所述关键特征点检测模块103也将车辆关键特征点信息传输给所述车辆位置和姿态回归模块105。在所述车辆位置和姿态回归模块105中，基于所述锥体信息和所述车辆关键特征点信息，例如利用卷积神经网络(CNN)，例如通过车辆模板匹配和三维空间回归的方法，获得所述车辆位置和姿态信息。在根据本发明的一种实施例中，所述车辆位置和姿态回归模块105基于所述锥体信息、所述车辆类别信息和所述车辆关键特征点信息，利用卷积神经网络，通过车辆模板匹配和三维空间回归的方法，获得所述车辆位置和姿态信息。所述车辆位置和姿态回归模块106具有自己的数据库，在所述数据库中存储有大量的车辆模板数据。所述车辆模板数据包含各个车辆类别的车辆的空间尺寸数据和关键特征点数据，以便所述卷积神经网络进行分类匹配。所述关键特征点数据至少包括所述车辆的各个关键特征点的空间位置和相对距离。
神经网络的本质就是通过参数与激活函数来拟合特征与目标之间的真实函数关系。在使用所述神经网络之前，首先需要让所述神经网络学习。使用人工驾驶模式获取机器学习所需的训练数据，并且对训练数据进行预处理以符合机器学习的格式，每组训练数据可以包括：N个输入数据作为输入数组[X]，一个输出数据作为结果样本[Y]，其中，N为输入数据的个数。将准备好的训练数据按组输入神经网络，对神经网络进行训练，在一定量的训练后，神经网络会产生自己的判断逻辑。具体神经网络的算法公式在此不再赘述。
卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，卷积神经网络就具有输入输出对之间的映射能力。卷积神经网络执行的是有导师训练，所以其样本集是由形如：(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于神经网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。
回到本发明的具体实施方式中，在使用所述卷积神经网络(CNN)时，例如以所述锥体信息和所述车辆关键特征点信息组成多维向量，作为输入，并且例如选择修正线性单元函数(ReLU函数)作为激活函数，输出所述车辆位置和姿态信息。例如，在根据本发明的一种实施例中，所述锥体信息为15维向量，所述车辆关键特征点信息为3*n维向量，其中，n为所述车辆关键特征点的个数，激活函数为ReLU函数。
图2示例性示出第二种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构图。根据本发明的所述车辆位置和姿态确定系统是基于纯图像的，也就是说，它仅仅基于图像就能够确定车辆的位置和姿态。如图2示意性所示，所述基于图像的车辆位置和姿态确定系统200至少包括车辆图像采集模块201、二维边界框检测模块202、关键特征点检测模块203、锥体定位模块204和车辆位置和姿态回归模块205。所述车辆图像采集模块201至少包括相机和相机参数获取模块2011，所述相机包括摄像头。
图2中所示的所述车辆位置和姿态确定系统200与图1中所示的所述车辆位置和姿态确定系统100的区别在于，图2中所示的所述车辆位置和姿态确定系统200还包括车辆信息校准和匹配模块2023。
所述车辆信息校准和匹配模块2023有助于提高车辆图像识别的准确率。例如，来自所述二维边界框检测模块202的图像信息和来自所述关键特征点检测模块203的图像信息能够在所述车辆信息校准和匹配模块2023中进行相互校准和匹配。此外，所述车辆图像信息还能够与其他数据库中的数据信息或者通过其他途径获得的数据信息进行校准和匹配，以便使得这些数据相互之间进行验证、校准、纠错、匹配和确认，从而进一步提高车辆图像识别的准确率。因此，相应地，图2中所示的所述车辆位置和姿态确定系统200与图1中所示的所述车辆位置和姿态确定系统100在技术效果上的区别在于，图2中所示的所述车辆位置和姿态确定系统200具有更高的准确率。在此，对于本领域人员来说，易于理解的是，无论是否包含车辆信息校准和匹配模块这一模块，本发明均能实现一种基于纯图像的车辆位置和姿态确定系统。
下面参考图2，对所述车辆位置和姿态确定系统200的工作原理进行描述。鉴于所述车辆位置和姿态确定系统200与图1中所示的车辆位置和姿态确定系统100相似，故对所述车辆位置和姿态确定系统200的描述进行了适当的简化。
在所述车辆位置和姿态确定系统200中，所述车辆图像采集模块201采集车辆图像信息，并且能够根据需要获取符合要求的车辆图像。所述车辆图像采集模块201被分别连接至所述二维边界框检测模块202和所述关键特征点检测模块203。当所述车辆位置和姿态确定系统200工作时，所采集的车辆图像从所述车辆图像采集模块201被分别传输至所述二维边界框检测模块202和所述关键特征点检测模块203。
在所述二维边界框检测模块202和所述关键特征点检测模块203中，分别对所述车辆图像进行图像预处理。例如，所述二维边界框检测模块202至少检测并且获取所述车辆图像中所述车辆的二维边界框信息。所述关键特征点检测模块203检测并且获取车辆关键特征点信息。
如图2所示，在所述车辆位置和姿态确定系统200中，所述二维边界框检测模块202和所述关键特征点检测模块203又分别被连接至所述车辆信息校准和匹配模块2023。所述二维边界框检测模块202与所述车辆信息校准和匹配模块2023之间的连接是双向通信连接。同样地，所述关键特征点检测模块203与所述车辆信息校准和匹配模块2023之间的连接也是双向通信连接。所述车辆信息校准和匹配模块2023能够对所述二维边界框检测模块202和所述关键特征点检测模块203检测出的图像数据进行相互校准和匹配，进一步图像数据处理的准确性和精度。在根据本发明的一种实施例中，所述车辆信息校准和匹配模块2023不仅具有自己独立的数据库和存储空间，而且能够与所述车辆图像采集模块201的数据库连接，甚至能连接互联网，从而能够基于所述数据库中的大规模的数据样本和互联网上的数据对所述二维边界框检测模块202和所述关键特征点检测模块203检测出的所述车辆图像信息进行校准和匹配。由此可见，所述车辆信息校准和匹配模块2023能够根据数据库存储的或者互联网上搜索到的样本信息对接收到的车辆图像信息进行分析、校准和配对，以便对所述二维边界框检测模块202和所述关键特征点检测模块203检测出的信息和数据进行验证、校准、纠错、匹配和确认，从而排除明显的错误，增加数据处理的维度，提高车辆图像识别的准确率。
在完成对所述二维边界框检测模块202和所述关键特征点检测模块203检测出的所述车辆图像信息进行校准和匹配之后，所述车辆信息校准和匹配模块2023将经过校准和匹配的车辆图像信息分别传回给所述二维边界框检测模块202和所述关键特征点检测模块203。具体地说，所述车辆信息校准和匹配模块2023将经过校准和匹配的二维边界框信息、车辆类别信息、车辆头部信息、车辆尾部信息等等传回给所述二维边界框检测模块202，并且将经过校准和匹配的车辆关键特征点信息传回给所述关键特征点检测模块203。所述二维边界框检测模块202将经过校准和匹配的二维边界框信息、车辆类别信息、车辆头部信息、车辆尾部信息等等存储在自己的存储器中，以备后续使用。同样，所述关键特征点检测模块203也将经过校准和匹配的车辆关键特征点信息存储在自己的存储器中，以备后续使用。
从图2中可以看出，所述相机参数获取模块2011和所述二维边界框检测模块202被连接至所述锥体定位模块204。所述相机参数获取模块2011被包含在所述车辆图像采集模块201中，并且能够获取所述相机的参数。
所述相机参数获取模块2011将所述相机参数传输给所述锥体定位模块204。在所述图像预处理完成之后，所述二维边界框检测模块202也将经过校准和匹配的二维边界框信息传输给所述锥体定位模块204。在所述锥体定位模块204中，基于所述经过校准和匹配的二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。
在图2中可以进一步看出，所述锥体定位模块204和所述关键特征点检测模块203被连接至所述车辆位置和姿态回归模块205。所述锥体定位模块204将计算得到的所述锥体信息传输给所述车辆位置和姿态回归模块205。同时，所述关键特征点检测模块203也将经过校准和匹配的车辆关键特征点信息传输给所述车辆位置和姿态回归模块205。在所述车辆位置和姿态回归模块205中，基于所述锥体信息和所述经过校准和匹配的车辆关键特征点信息，利用卷积神经网络(CNN)，通过车辆模板匹配和三维空间回归的方法，获得所述车辆位置和姿态信息。
图3示例性示出第三种根据本发明的基于图像的车辆位置和姿态确定系统的示意性结构图。如图3示意性所示，所述基于图像的车辆位置和姿态确定系统300至少包括车辆图像采集模块301、二维边界框检测模块302、关键特征点检测模块303、锥体定位模块304和车辆位置和姿态回归模块305。所述车辆图像采集模块301至少包括相机和相机参数获取模块3011，所述相机包括摄像头。
图3中所示的所述车辆位置和姿态确定系统300与图1中所示的所述车辆位置和姿态确定系统100的区别在于，图3中所示的所述车辆位置和姿态确定系统300还包括车辆信息校准和匹配模块3023。
图3中所示的车辆信息校准和匹配模块3023与图2中所示的车辆信息校准和匹配模块2023在功能上基本相同。图3中所示的车辆信息校准和匹配模块3023与图2中所示的车辆信息校准和匹配模块2023的区别在于，在完成对所述二维边界框检测模块302和所述关键特征点检测模块303检测出的所述车辆图像信息进行校准和匹配之后，所述车辆信息校准和匹配模块3023不再将经过校准和匹配的车辆图像信息分别传回给所述二维边界框检测模块302和所述关键特征点检测模块303，而是将其存储在自己的存储器中或者将其直接传输给所述锥体定位模块304或者所述车辆位置和姿态回归模块305。例如，所述车辆信息校准和匹配模块3023将经过校准和匹配的二维边界框信息传输给所述锥体定位模块304。随后，在所述锥体定位模块304中，基于所述经过校准和匹配的二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。所述车辆信息校准和匹配模块3023也将经过校准和匹配的车辆关键特征点信息传输给所述车辆位置和姿态回归模块305。随后，在所述车辆位置和姿态回归模块305中，基于所述锥体信息和所述经过校准和匹配的车辆关键特征点信息，利用卷积神经网络(CNN)，通过车辆模板匹配和三维空间回归的方法，获得所述车辆位置和姿态信息。
与图2中所示的车辆信息校准和匹配模块2023一样，图3中所示的车辆信息校准和匹配模块3023也有助于提高车辆图像识别的准确率。例如，来自所述二维边界框检测模块302的图像信息和来自所述关键特征点检测模块303的图像信息能够在所述车辆信息校准和匹配模块3023中进行相互校准和匹配。此外，所述车辆图像信息还能够与其他数据库中的数据信息或者通过其他途径获得的数据信息进行校准和匹配，以便使得这些数据相互之间进行验证、校准、纠错、匹配和确认，从而进一步提高车辆图像识别的准确率。
鉴于图3中所示的车辆位置和姿态确定系统300与图2中所示的车辆位置和姿态确定系统200非常相似，并且在上文中已经对两者的区别之处进行了描述，故在此无需再对所述车辆位置和姿态确定系统300的其他模块以及它的工作原理进行多余的描述。
图4示例性示出第一种根据本发明的基于图像的车辆位置和姿态确定方法的流程图。根据本发明的车辆位置和姿态确定方法是基于纯图像的，也就是说，它仅仅基于图像就能够确定车辆的位置和姿态。如图4所示，根据本发明的基于图像的车辆位置和姿态确定方法400包括多个步骤。
在步骤401中，采集车辆图像信息。在根据本发明的一种实施例中，由车辆图像采集模块来采集车辆图像信息。所述车辆图像采集模块至少包括相机和相机参数获取模块，所述相机包括摄像头。更确切地说，所述车辆图像信息是由所述摄像头采集的。
在步骤402中，获取所述车辆的二维边界框信息和关键特征点信息。在根据本发明的一种实施例中，将所述车辆图像信息分别传输给二维边界框检测模块和关键特征点检测模块。由二维边界框检测模块来检测和获取所述车辆图像信息中所述车辆的二维边界框信息。在根据本发明的一种实施例中，所述二维边界框检测模块还检测和获取车辆类别信息、车辆头部信息、车辆尾部信息、等等。由所述关键特征点检测模块来检测和获取车辆关键特征点信息，其中，所述车辆关键特征点至少包括车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点、等等。
在根据本发明的一种实施例中，所述相机参数获取模块和所述二维边界框检测模块分别与锥体定位模块连接。所述相机参数获取模块能够获取所述相机的参数。所述相机参数获取模块将所述相机参数传输给所述锥体定位模块。所述二维边界框检测模块也将所述二维边界框信息传输给所述锥体定位模块。
在步骤403中，基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。所述步骤403由所述锥体定位模块来完成。在计算得到所述锥体信息之后，所述锥体定位模块将计算得到的所述锥体信息传输给车辆位置和姿态回归模块。同时，所述关键特征点检测模块也将车辆关键特征点信息传输给所述车辆位置和姿态回归模块。
在步骤404中，基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息。所述步骤404利用卷积神经网络通过车辆模板匹配和三维空间回归的方法来实现。在根据本发明的一种实施例中，基于所述锥体信息、所述车辆类别信息和所述关键特征点信息，来获得车辆位置和姿态信息。
图5示例性示出第二种根据本发明的基于图像的车辆位置和姿态确定方法的流程图。如图5所示，根据本发明的基于图像的车辆位置和姿态确定方法500包括多个步骤。
图5中所示的所述车辆位置和姿态确定方法500与图4中所示的所述车辆位置和姿态确定方法400的区别在于，图5中所示的所述车辆位置和姿态确定方法500增加了一个步骤：对所述车辆的二维边界框信息和关键特征点信息进行校准和匹配。
由针对图2的描述可知，对所述车辆的二维边界框信息和关键特征点信息进行校准和匹配的步骤有助于提高车辆图像识别的准确率。因此，相应地，图5中所示的所述车辆位置和姿态确定方法500与图4中所示的所述车辆位置和姿态确定方法400在技术效果上的区别可能在于，图5中所示的所述车辆位置和姿态确定方法500具有更高的准确率。在此，对于本领域人员来说，易于理解的是，无论是否包含“对所述车辆的二维边界框信息和关键特征点信息进行校准和匹配”这一步骤，本发明均能实现一种基于纯图像的车辆位置和姿态确定方法。
下面参考图5，对所述车辆位置和姿态确定方法500的流程图进行描述。鉴于所述车辆位置和姿态确定方法500与图4中所示的车辆位置和姿态确定方法400非常相似，故对所述车辆位置和姿态确定方法500的描述进行了适当的简化。
在步骤501中，采集车辆图像信息。在根据本发明的一种实施例中，由车辆图像采集模块来采集车辆图像信息。所述车辆图像采集模块至少包括相机和相机参数获取模块，所述相机包括摄像头。
在步骤502中，获取所述车辆的二维边界框信息和关键特征点信息。在根据本发明的一种实施例中，将所述车辆图像信息分别传输给二维边界框检测模块和关键特征点检测模块。由二维边界框检测模块来检测和获取所述车辆图像信息中所述车辆的二维边界框信息。由所述关键特征点检测模块来检测和获取车辆关键特征点信息。
在步骤503中，对所述车辆的二维边界框信息和关键特征点信息进行校准和匹配。在根据本发明的一种实施例中，由车辆信息校准和匹配模块对所述车辆的二维边界框信息和关键特征点信息进行校准和匹配。
在根据本发明的一种实施例中，所述相机参数获取模块和所述车辆信息校准和匹配模块分别与锥体定位模块连接。所述相机参数获取模块能够获取相机参数。所述相机参数获取模块将所述相机参数传输给所述锥体定位模块。所述车辆信息校准和匹配模块也将经过校准和匹配的二维边界框信息传输给所述锥体定位模块。
在步骤504中，基于所述经过校准和匹配的二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。所述步骤504由所述锥体定位模块来完成。在计算得到所述锥体信息之后，所述锥体定位模块将计算得到的所述锥体信息传输给车辆位置和姿态回归模块。同时，所述车辆信息校准和匹配模块也将经过校准和匹配的车辆关键特征点信息传输给所述车辆位置和姿态回归模块。
在步骤505中，基于所述锥体信息和所述经过校准和匹配的关键特征点信息，获得车辆位置和姿态信息。所述步骤505利用卷积神经网络通过车辆模板匹配和三维空间回归的方法来实现。
对本领域技术人员来说，显而易见的是，可以针对这里所描述的实施方式实现大量的改进方案和变形方案，而它们并未离开要求保护的主题的实质和范围。因此，本说明书的用意在于，涵盖这里所描述的不同实施方式的改进方案和变形方案，只要所述改进方案和变形方案处于附加的权利要求和它们的等效方案的范围之内。

Claims (19)

1.一种基于图像的车辆位置和姿态确定系统(100、200、300)，所述车辆位置和姿态确定系统(100、200、300)包括：
车辆图像采集模块(101、201、301)，所述车辆图像采集模块(101、201、301)用于采集车辆图像，其中，所述车辆图像采集模块(101、201、301)包括相机和相机参数获取模块(1011、2011、3011)；
二维边界框检测模块(102、202、302)，所述二维边界框检测模块(102、202、302)用于从所述车辆图像中检测和获取所述车辆的二维边界框信息；
关键特征点检测模块(103、203、303)，所述关键特征点检测模块(103、203、303)用于从所述车辆图像中检测和获取车辆关键特征点信息；
锥体定位模块(104、204、304)，所述锥体定位模块(104、204、304)用于计算出所述车辆在相机坐标系中所对应的锥体信息，其中，所述锥体定位模块(104、204、304)被配置成基于所述二维边界框信息和所述相机参数计算出所述车辆在相机坐标系中所对应的锥体信息，其中，所述车辆图像中的每一个矩形在三维空间中映射出一个锥体，将所述车辆图像上的每个点投影到三维空间中就是一条射线，矩形的四个点投影出四条射线，从而组成一个锥体，所述锥体信息包括所述锥体的空间位置和尺寸；以及
车辆位置和姿态回归模块(105、205、305)，所述车辆位置和姿态回归模块(105、205、305)用于获得所述车辆位置和姿态信息，其中，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和所述车辆关键特征点信息利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
2.根据权利要求1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态确定系统(100、200、300)还包括车辆信息校准和匹配模块(2023、3023)，所述车辆信息校准和匹配模块(2023、3023)用于对所述车辆的二维边界框信息和所述车辆关键特征点信息进行校准和匹配。
3.根据权利要求1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述二维边界框检测模块(102、202、302)还用于检测和获取车辆类别信息、车辆头部信息、车辆尾部信息。
4.根据权利要求1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆关键特征点信息至少包括以下信息中的一种：车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点。
5.根据权利要求1所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述相机参数获取模块(1011、2011、3011)用于获取相机参数，所述相机参数包括相机内部参数和相机外部参数，其中，所述相机内部参数包括fx，fy，u0，v0，其中，fx和fy是所述相机的摄像头的焦距参数，u0和v0分别是所述车辆图像的中心点像素坐标与所述车辆图像的原点像素坐标之间相差的横向像素数和纵向像素数。
6.根据权利要求3所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息、所述车辆类别信息和所述车辆关键特征点信息获得所述车辆位置和姿态信息。
7.根据权利要求2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述二维边界框检测模块(102、202、302)和所述关键特征点检测模块(103、203、303)分别与所述车辆信息校准和匹配模块(2023、3023)双向通信连接。
8.根据权利要求2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述锥体定位模块(104、204、304)被配置成基于经过校准和匹配的二维边界框信息和所述相机参数计算出所述车辆在相机坐标系中所对应的锥体信息。
9.根据权利要求2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和经过校准和匹配的车辆关键特征点信息获得所述车辆位置和姿态信息。
10.根据权利要求2所述的车辆位置和姿态确定系统(100、200、300)，其特征在于，所述车辆位置和姿态回归模块(105、205、305)配置成基于所述锥体信息和经过校准和匹配的车辆关键特征点信息利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
11.一种基于图像的车辆位置和姿态确定方法，所述车辆位置和姿态确定方法包括以下步骤：
(1)利用相机采集车辆图像信息；
(2)获取车辆的二维边界框信息和关键特征点信息；
(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息；以及
(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息；
其中，步骤(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息包括：基于所述二维边界框信息和所述相机参数计算出所述车辆在相机坐标系中所对应的锥体信息，其中，所述车辆图像中的每一个矩形在三维空间中映射出一个锥体，将所述车辆图像上的每个点投影到三维空间中就是一条射线，矩形的四个点投影出四条射线，从而组成一个锥体，所述锥体信息包括所述锥体的空间位置和尺寸；
其中，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和所述车辆关键特征点信息，利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
12.根据权利要求11所述的车辆位置和姿态确定方法，其特征在于，所述车辆位置和姿态确定方法还包括：在步骤(2)获取车辆的二维边界框信息和关键特征点信息之后，对所述车辆的二维边界框信息和所述关键特征点信息进行校准和匹配。
13.根据权利要求11所述的车辆位置和姿态确定方法，其特征在于，所述二维边界框信息由二维边界框检测模块从所述车辆图像信息获取，所述二维边界框检测模块还能够检测和获取车辆类别信息、车辆头部信息、车辆尾部信息。
14.根据权利要求11所述的车辆位置和姿态确定方法，其特征在于，所述车辆关键特征点信息至少包括以下信息中的一种：车辆轮胎、车灯、反光镜、保险杠、车牌号码、车辆上的品牌标志、车辆轮廓线拐点。
15.根据权利要求11所述的车辆位置和姿态确定方法，其特征在于，所述相机参数由相机参数获取模块来获取，所述相机参数包括相机内部参数和相机外部参数，其中，所述相机内部参数包括fx，fy，u0，v0，其中，fx和fy是所述相机的摄像头的焦距参数，u0和v0分别是所述车辆图像的中心点像素坐标与所述车辆图像的原点像素坐标之间相差的横向像素数和纵向像素数。
16.根据权利要求13所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息、所述车辆类别信息和所述车辆关键特征点信息，获得所述车辆位置和姿态信息。
17.根据权利要求12所述的车辆位置和姿态确定方法，其特征在于，步骤(3)基于所述车辆的二维边界框信息和相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息包括：基于经过校准和匹配的二维边界框信息和所述相机参数，计算出所述车辆在相机坐标系中所对应的锥体信息。
18.根据权利要求12所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和经过校准和匹配的车辆关键特征点信息，获得所述车辆位置和姿态信息。
19.根据权利要求12所述的车辆位置和姿态确定方法，其特征在于，步骤(4)基于所述锥体信息和所述关键特征点信息，获得车辆位置和姿态信息包括：基于所述锥体信息和经过校准和匹配的车辆关键特征点信息，利用卷积神经网络通过车辆模板匹配和三维空间回归的方法获得所述车辆位置和姿态信息。
CN201910217385.XA 2019-03-21 2019-03-21 一种基于图像的车辆位置和姿态确定系统以及相应的方法 Active CN110060298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910217385.XA CN110060298B (zh) 2019-03-21 2019-03-21 一种基于图像的车辆位置和姿态确定系统以及相应的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910217385.XA CN110060298B (zh) 2019-03-21 2019-03-21 一种基于图像的车辆位置和姿态确定系统以及相应的方法

Publications (2)

Publication Number Publication Date
CN110060298A CN110060298A (zh) 2019-07-26
CN110060298B true CN110060298B (zh) 2023-06-20

Family

ID=67316318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910217385.XA Active CN110060298B (zh) 2019-03-21 2019-03-21 一种基于图像的车辆位置和姿态确定系统以及相应的方法

Country Status (1)

Country Link
CN (1) CN110060298B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111102987B (zh) * 2019-12-12 2022-03-29 杭州鲁尔物联科技有限公司 一种救援车辆跟踪方法、装置、服务器和介质
CN111915898B (zh) * 2020-07-24 2022-07-08 杭州金通科技集团股份有限公司 一种停车监控ai电子驿站
CN112016532B (zh) * 2020-10-22 2021-02-05 腾讯科技（深圳）有限公司 一种车辆检测方法和装置
CN112802341B (zh) * 2020-12-30 2022-07-01 中山联合汽车技术有限公司 前车位置和姿态测量方法
CN113436262A (zh) * 2021-07-08 2021-09-24 北京理工大学 一种基于视觉的车辆目标位置和姿态角度的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093447A (ja) * 2007-10-10 2009-04-30 Toyota Motor Corp 設計支援装置、設計支援方法、及び設計支援プログラム
CN107972662A (zh) * 2017-10-16 2018-05-01 华南理工大学 一种基于深度学习的车辆前向碰撞预警方法
CN108759667A (zh) * 2018-05-29 2018-11-06 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
WO2018211930A1 (ja) * 2017-05-17 2018-11-22 株式会社デンソー 物体検出装置、物体検出方法、及び、コンピュータが読取可能な記録媒体
CN109102702A (zh) * 2018-08-24 2018-12-28 南京理工大学 基于视频车辆检测和雷达信号融合的车辆测速方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9316502B2 (en) * 2014-07-22 2016-04-19 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US10318822B2 (en) * 2017-04-06 2019-06-11 GM Global Technology Operations LLC Object tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093447A (ja) * 2007-10-10 2009-04-30 Toyota Motor Corp 設計支援装置、設計支援方法、及び設計支援プログラム
WO2018211930A1 (ja) * 2017-05-17 2018-11-22 株式会社デンソー 物体検出装置、物体検出方法、及び、コンピュータが読取可能な記録媒体
CN107972662A (zh) * 2017-10-16 2018-05-01 华南理工大学 一种基于深度学习的车辆前向碰撞预警方法
CN108759667A (zh) * 2018-05-29 2018-11-06 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
CN109102702A (zh) * 2018-08-24 2018-12-28 南京理工大学 基于视频车辆检测和雷达信号融合的车辆测速方法

Also Published As

Publication number Publication date
CN110060298A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110060298B (zh) 一种基于图像的车辆位置和姿态确定系统以及相应的方法
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
JP3895238B2 (ja) 障害物検出装置及びその方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
US9454816B2 (en) Enhanced stereo imaging-based metrology
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
CN111291676A (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN110378202B (zh) 一种基于鱼眼镜头的全方位行人碰撞预警方法
CN110873879A (zh) 一种多源异构传感器特征深度融合的装置及方法
CN112567264A (zh) 用于获取坐标变换信息的装置和方法
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
US11341604B2 (en) Processing device for object identification
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN106909929A (zh) 行人距离检测方法和装置
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
KR20210122101A (ko) 객체를 분류하는 레이더 장치 및 방법
CN115564865A (zh) 一种众包高精地图的构建方法、系统、电子设备及车辆
US20230097584A1 (en) Object pose estimation
US20240103132A1 (en) Radar apparatus and method for classifying object
CN113064415A (zh) 轨迹规划的方法、装置、控制器和智能车
CN110677491B (zh) 用于车辆的旁车位置估计方法
CN114926729A (zh) 一种基于行车视频的高风险路段鉴别系统及方法
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant