CN110659548A - 车辆及其目标检测方法、装置 - Google Patents

车辆及其目标检测方法、装置 Download PDF

Info

Publication number
CN110659548A
CN110659548A CN201810714094.7A CN201810714094A CN110659548A CN 110659548 A CN110659548 A CN 110659548A CN 201810714094 A CN201810714094 A CN 201810714094A CN 110659548 A CN110659548 A CN 110659548A
Authority
CN
China
Prior art keywords
vehicle
wheel
position information
image
area image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810714094.7A
Other languages
English (en)
Other versions
CN110659548B (zh
Inventor
万超
刘效飞
李杨
白军明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201810714094.7A priority Critical patent/CN110659548B/zh
Publication of CN110659548A publication Critical patent/CN110659548A/zh
Application granted granted Critical
Publication of CN110659548B publication Critical patent/CN110659548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆及其目标检测方法装置,其中,目标检测方法包括以下步骤:实时采集第一车辆周围的环境图像;对环境图像进行划分,以获取多个区域图像;对区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息;根据车轮的类型信息和车轮的第一位置信息,确定第二车辆在环境图像中的第二位置信息。该目标检测方法能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程中的计算量小,检测时间短,对硬件要求低,从而有助于降低经济成本。

Description

车辆及其目标检测方法、装置
技术领域
本发明涉及目标检测技术领域,特别涉及一种车辆的目标检测方法、一种车辆的目标检测装置和一种车辆。
背景技术
随着汽车技术的发展,智能驾驶技术开始慢慢进入,作为智能驾驶技术的核心之一的环境感知,越来越受到重视。目前,环境感知技术中主要用到摄像头、毫米波雷达、激光雷达等传感器进行障碍物感知。对于采用摄像头的环境感知方法,相关技术中,公开了采用多层深度学习神经网络对摄像头采集到的图像进行识别,以检测出车辆周围的目标的方法。
然而,由于车辆周围环境中目标较多,干扰较大,在图像中所需识别的特征量多,浅层深度学习模型不能够满足目标识别的特征量,从而无法很好的在图像中识别出车辆,而加深了模型后所需的训练数据量也会更大,训练时间也会更长,对硬件要求更高,成本升高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种车辆的目标检测方法,该检测方法能够检测出第一车辆周围环境中的第二车辆,且检测过程中的计算量小,检测时间短,对硬件要求低,从而有助于降低经济成本。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种包括上述计算机设备的车辆。
本发明的第五个目的在于提出一种车辆的目标检测装置。
本发明的第六个目的在于提出一种包括上述车辆的目标检测装置的车辆。
为达到上述目的,本发明第一方面实施例提出了一种车辆目标检测方法,包括以下步骤:实时采集第一车辆周围的环境图像;对所述环境图像进行划分,以获取多个区域图像;对所述区域图像进行图像识别,以得到所述区域图像中第二车辆的车轮的类型信息和所述车轮在所述区域图像中的第一位置信息;根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述第二车辆在所述环境图像中的第二位置信息。
根据本发明实施例的车辆的检测方法,首先实时采集第一车辆周围的环境图像,然后对环境图像进行划分,以获取多个区域图像,对区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息,进而根据车轮的类型信息和车轮的第一位置信息,确定第二车辆在环境图像中的第二位置信息。该方法能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程中的计算量小,检测时间短,对硬件要求低,从而有助于降低经济成本。
为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例的车辆目标检测方法。
根据本发明实施例的计算机可读存储介质,在其上存储的与上述车辆的目标检测方法对应的计算机程序被处理器执行时,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
为达到上述目的,本发明第三方面实施例提出了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行该程序时,实现上述实施例的车辆目标检测方法。
根据本发明实施例的计算机设备,在其存储器上存储的与上述车辆的目标检测方法对应的计算机程序被处理器执行时,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
为达到上述目的,本发明第四方面实施例提出了一种车辆,包括上述实施例的计算机设备。
根据本发明实施例的车辆,采用上述实施例的计算机设备,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
为达到上述目的,本发明第五方面实施例提出了一种车辆目标检测装置,包括:采集模块,用于实时采集第一车辆周围的环境图像;划分模块,用于对所述环境图像进行划分,以获取多个区域图像;识别模块,用于对所述区域图像进行图像识别,以得到所述区域图像中第二车辆的车轮的类型信息和所述车轮在所述区域图像中的第一位置信息;确定模块,用于根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述第二车辆在所述环境图像中的第二位置信息。
根据本发明实施例的车辆的检测装置,首先通过采集模块实时采集第一车辆周围的环境图像,然后通过划分模块对环境图像进行划分,以获取多个区域图像,通过识别模块对区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息,进而通过确定模块根据车轮的类型信息和车轮的第一位置信息,确定第二车辆在环境图像中的第二位置信息。该装置能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程中的计算量小,检测时间短,对硬件要求低,从而有助于降低经济成本。
为达到上述目的,本发明第六方面实施例提出了一种车辆,包括上述实施例的车辆的目标检测装置。
根据本发明实施例的车辆,采用上述实施例的车辆的目标检测装置,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,且检测过程计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是根据本发明实施例的车辆测目标检测方法的流程图;
图2是图1中步骤S4的流程图;
图3是根据本发明一个具体实施例的车辆测目标检测方法的流程图;
图4是图3中步骤S103的处理流程图;
图5是图3中步骤S105的处理流程图;
图6是根据本发明一个实施例的车辆的结构框图;
图7是根据本发明实施例的车辆的目标检测装置的结构框图;
图8是根据本发明一个实施例的车辆的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的车辆及其目标检测方法、装置,以及计算机可读存储介质和计算机设备。
图1是根据本发明实施例的车辆目标检测方法的流程图。
如图1所示,该车辆目标检测方法包括以下步骤:
S1,实时采集第一车辆周围的环境图像。
具体地,可在第一车辆上(如车顶、左侧或右侧车身上等)设置摄像装置,如车载CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)摄像头,以实时采集第一车辆周围的环境图像。
S2,对环境图像进行划分,以获取多个区域图像。
具体地,可对环境图像进行ROI(Region of Interest,感兴趣区域)划分,例如,可将环境图像划分成2000个区域图像,该2000个区域图像大小可任意设定(即可相同也可不同),各区域图像之间可重叠,且划分出的所有区域图像包含环境图像中的所有信息。
S3,对区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息。
其中,车轮的类型信息可以是车轮为前轮还是后轮,对于包括四个车轮的汽车而言,车轮的类型信息还可以是左前轮、右前轮、左后轮、右后轮。车轮在区域图像中的第一位置信息,可以是车轮的某一特定位置在区域图像中的坐标,如车轮的中心点在区域图像中的坐标。例如,当摄像装置安装在车顶上,用以拍摄第一车辆车身两侧的环境图像时,如果环境图像中存在第二车辆,则可判断该第二车辆在第一车辆的侧方,此时可以获取第二车辆的车轮的类型信息为左前轮、左后轮或者右前轮、右后轮,并可进一步得到对应车轮的中心点的坐标(即第一位置信息)。
具体地,可以将区域图像输入到预先训练好的目标神经网络模型如卷积神经网络模型中,通过目标神经网络模型,对区域图像进行特征提取,根据提取的特征识别出车轮的类型信息和第一位置信息。需要说明的是,区域图像中可能并不存在车辆,此时,目标神经网络模型输出为无目标。
在一个实施例中,可采用如下方式对构建的初始神经网络模型进行训练:首先,获取车辆样本图像和车辆样本图像的标注数据,其中,标注数据中包括车轮的类型和车辆的位置信息;然后,将车辆样本图像输入初始神经网络模型中进行训练,直到训练后的神经网络模型收敛,得到训练好的目标神经网络模型。其中,车辆的位置信息可通过同侧车轮的位置信息表示,如左前轮与左后轮之间的轮间距,或者,右前轮与右后轮之间的轮间距。
具体地,可通过第一车辆上的车载摄像头采集环境图像,从大量环境图像中获取包含车辆的N个车辆样本图像,其中,N为大于1的整数,具体取值可根据需要进行标定。由于每个车辆样本图像中不仅包括车辆,还包括第一车辆周围环境中的所有信息,因此需要对每个车辆样本图像中的车辆进行标注处理,包括标注车辆样本图像中的车轮的类型和车轮在图像中的位置信息。将包含标注的车辆样本图像输入初始神经网络模型中进行参数训练,例如,将车辆样本图像批量进行卷积神经网络运算,通过卷积神经网络中的反向传播,梯度下降算法调节模型中的参数。通过对基础学习速率的调节控制模型参数变化的程度,使其能够更平稳的达到最优,进而根据设定的输出准确率来判断训练得到的参数模型是否达到要求,如准确率是否达到90%,如果是,则得到所需的参数模型,即目标神经网络模型。
应当理解,在训练目标神经网络模型时,即设定输出车轮的类型信息和车轮在车辆样本图像中的坐标信息,因此,区域图像在通过目标神经网络模型后即输出车轮的类型信息和车轮的第一位置信息。
S4,根据车轮的类型信息和车轮的第一位置信息,确定第二车辆在环境图像中的第二位置信息。
具体地,在第一车辆行驶过程中,设置在第一车辆上的摄像装置可实时采集第一车辆周围的环境图像,然后可通过一与摄像装置相连的图像处理器对环境图像进行划分,以获取多个区域图像,进而对每个区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息,由此,根据车轮的类型信息和车轮的第一位置信息,即可确定第二车辆在环境图像中的第二位置信息。由于该检测过程是通过车轮的识别检测环境图像中的第二车辆,因此该检测过程计算量小,检测时间短,对硬件要求低,从而有助于降低经济成本。
在本发明的一个实施例中,如图2所示,上述步骤S4进一步包括如下步骤:
S41,根据车轮的类型信息和车轮的第一位置信息,确定车轮在区域图像内的第一轮间距。
例如,在确定一车辆的前轮在区域图像中的坐标(x1,y1)和后轮在区域图像中的坐标(x2,y2)后,可计算区域图像内前后轮之间的距离
Figure BDA0001717189770000051
即第一轮间距。其中,坐标(x1,y1)和(x2,y2)可分别是前轮和后轮中心点的坐标。
应当理解,当识别出区域图像中的前轮和后轮后,如果该前轮和后轮是同一车辆的,则前轮和后轮应在车辆的同一侧,即如果前轮是左前轮,则后轮是左后轮,如果前轮是右前轮,则后轮是右后轮,此时,第一轮间距即为车辆的前后轮之间的距离。
需要说明的是,如果识别出的前轮和后轮在不同的区域图像P1、P2中,则可将区域图像P1、P2映射至环境图像中,以得到前轮和后轮在环境图像中的位置信息,进而根据该位置信息可确定车轮在环境图像中的轮间距。当然,在识别出车轮的类型和车轮在区域图像中的第一位置信息后,可直接将识别出的车轮所在区域图像映射至环境图像,并将车轮位置在环境图像中标出,然后可确定车轮在环境图像中的轮间距。
S42,根据车轮之间的第一轮间距,确定第二车辆的车型信息。
具体地,可预先存储第一轮间距与车型信息之间的对应关系,进而在获得第一轮间距后,即可根据第一轮间距查询到对应的车型信息。
S43,根据车型信息和第一轮间距,确定第二车辆在区域图像内的第一车身大小。
应当理解,由于每个区域图像是从环境图像中划出的一部分,且未经放大、压缩等的处理,所以同一第二车辆的车轮在区域图像内的第一轮间距与车轮在环境图像中的轮间距取值是相同的,第二车辆在区域图像内的第一车身大小与第二车辆在环境图像内的车身大小取值也是相同的。
具体地,可根据车型信息获取车轮实际的第二轮间距和第二车辆实际的第二车身大小;获取第一轮间距和第二轮间距的比例关系;按照比例关系,对第二车辆的第二车身大小进行等比映射,得到第一车身大小。需要说明的是,一般可根据轴距(即车轮实际的第二轮间距)、车身大小来分类车辆,例如,轴距2~3.5m、车长4~6m为小型车。
其中,可预先存储车型信息与第二轮间距、第二车身大小之间的对应关系,进而在获的车型信息后,即可根据车型信息查询得到车轮实际的第二轮间距和车辆实际的车身大小。
S44,根据车轮的第一位置信息和第一车身大小,获取第二车辆在区域图像内的第三位置信息。
具体地,根据车轮的第一位置信息和第一轮间距,确定出第二车辆的中心点,以中心点为基准点,按照第一车身大小,在区域图像内标记第二车辆,以得到第三位置信息。
例如,如果一车辆的前轮在区域图像中的坐标为(x1,y1),后轮在区域图像中的坐标为(x2,y2),第一轮间距为
Figure BDA0001717189770000061
则可确定出第二车辆的中心点坐标为进而可以该坐标为基准点,按照第一车身大小,在区域图像内标记出第二车辆,如以矩形框的形式标记出第二车辆,此时第三位置信息可以是矩形框四个顶点的坐标。需要说明的是,摄像装置拍摄的环境图像只能包含第一车辆一侧的环境信息,即拍摄到的环境图像中主要包含第二车辆一侧的信息,而且车身大小一般通过前后轮间距判断即可,因此只需确定第二车辆一侧的中心点即可。
可选地,第三位置信息还可以包括中心点的坐标、中心点到车头和/或车尾的距离、中心点到车顶和/或地面的距离。当然,还可以是其它可标示出区域图像中第二车辆所在区域的位置信息(包括点的坐标、两点间的距离等)。
S45,根据第二车辆在区域图像内的第三位置信息、区域图像与环境图像的位置关系,得到第二车辆在环境图像中的第二位置信息。
其中,第二车辆在环境图像中的第二位置信息可以是环境图像中包含第二车辆的(最小)矩形框四个顶点的坐标;也可以是第二车辆在环境图像中的中心点坐标、中心点到车头和/或车尾的距离、中心点到车顶和/或地面的距离。当然,还可以是其它可标示出环境图像中第二车辆所在区域的位置信息(包括点的坐标、两点间的距离等)。
具体地,在获取到第二车辆在区域图像内的第三位置信息后,可将该区域图像映射至环境图像中,即可得到第二车辆在环境图像中的第二位置信息。
进一步地,在确定第二车辆在环境图像中的第二位置信息之后,还根据第二位置信息,确定出与第二位置信息匹配的标定数据,其中,标定数据包括在不同摄像距离下每个车型在图像中的车身大小;根据车型信息和第一车身大小,从标定数据中获取第二车辆的摄像距离;根据摄像距离和第一车辆上摄像装置的安装位置,获取到第二车辆与第一车辆之间的距离,即实际道路上或环境中,第二车辆与第一车辆之间的相对距离。由此,可根据该距离对第一车辆进行相应控制,如第二车辆在第一车辆的右前方,且该距离小于一定值时,如果第一车辆需要向右转向或者变道,则可控制第一车辆减速,以保证行车安全。
下面结合图3-图5描述本发明一个具体实施例的车辆的目标检测方法:
如图3所示,车辆的目标识别方法包括如下步骤:
S101,通过第一车辆的车载摄像头采集第一车辆的环境图像。
S102,将环境图像进行ROI划分。
S103,将划分后的所有区域图像依次输入训练好的卷积神经网络。
S104,通过目标神经网络输出车轮的类型信息和车轮在区域图像中的第一位置信息。模型识别得到的是车轮,整个过程是卷积神经网络模型加车轮转化车辆两个步骤,卷积神经网络模型输出的是车轮的信息,后把车轮信息转化为车辆信息作为实际的输出。
S105,根据车轮的类型信息与车轮在区域图像中的第一位置信息获取第二车辆的类型信息和第二车辆与第一车辆之间的距离。
参照图4,区域图像输入目标神经网络模型后,具体执行如下步骤:
S201,对每个区域图像进行预处理。
具体地,可采用线性插值法将不同尺寸的区域图像转化为大小相同的图像,即使得输入到卷积神经网络的图像尺寸统一,以便于目标神经网络模型的计算识别。
S202,将预处理后的区域图像输入卷积神经网络进行卷积处理,以得到多个特征图。
S203,对特征图进行激活处理。
具体地,可选取的激活函数Relu对特征图进行激活处理,即将输入值小于0的以0输出,输入值大于0的直接输出该输入值。
S204,对激活处理后的特征图进行最大池化处理。
具体地,可采用3×3的模板对激活处理后的特征图进行最大池化处理。
S205,将池化处理后输出的数据再进行两次卷积-激活-池化处理后,进行全连接处理,以输出特征集。
S206,将特征集进行分类处理,以得到区域图像中车轮的类型信息和车轮在区域图像中的第一位置信息。
具体地,可采用Softmax对特征集进行分类处理。
也就是说,参照图4,训练好的目标神经网络模型可为卷积神经网络,该卷积神经网络包括:三个卷积层、三个激活层、三个池化层、两个全连接层和一个分类,其中,一个卷积层+激活层+池化层可作为一个网络深度,该卷积神经网络共有三个深度,且各卷积层的卷积核可不同,各池化层可采用相同的池化核,各激活层科采用相同的激活函数。
进一步地,图3中在得到区域图像中车轮的类型信息和车轮在区域图像中的第一位置信息后,参照图5,可通过如下步骤得到环境图像中第二车辆的车型信息和第二车辆与第一车辆之间的距离;
S301,根据区域图像中车轮的类型信息和车轮在区域图像中的第一位置信息获取区域图像内的第一车身大小。
S302,根据车轮的第一位置信息和第一车身大小,获取第二车辆的类型信息和在区域图像内的第三位置信息。
S303,根据第二车辆在区域图像内的第三位置信息和区域图像与环境图像的位置关系,得到第二车辆在环境图像中的第二位置信息。
S304,根据第二车辆在环境图像中的第二位置信息和车载摄像头的安装位置,获取第二车辆与第一车辆之间的距离。
综上所述,根据本发明实施例的车辆的目标检测方法,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
进一步地,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例的车辆目标检测方法。
根据本发明实施例的计算机可读存储介质,在其上存储的与上述车辆的目标检测方法对应的计算机程序被处理器执行时,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
进一步地,本发明还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现上述实施例的车辆目标检测方法。
根据本发明实施例的计算机设备,在其存储器上存储的与上述车辆的目标检测方法对应的计算机程序被处理器执行时,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
基于上述实施例的计算机设备,本发明提出一种车辆1000。
图6是根据本发明一个实施例的车辆的结构框图。如图6所示,该车辆1000包括上述实施例的计算机设备100。
根据本发明实施例的车辆,采用上述计算机设备,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
图7是根据本发明实施例的车辆目标检测装置的结构框图。如图7所示,该车辆目标检测装置200包括:采集模块10、划分模块20、识别模块30和确定模块40。
其中,采集模块10用于实时采集第一车辆周围的环境图像;划分模块20用于对环境图像进行划分,以获取多个区域图像;识别模块30用于对区域图像进行图像识别,以得到区域图像中第二车辆的车轮的类型信息和车轮在区域图像中的第一位置信息;确定模块40用于根据车轮的类型信息和车轮的第一位置信息,确定第二车辆在环境图像中的第二位置信息。
在本发明的一个实施例中,识别模块30具体用于将区域图像输入到预先训练好的目标神经网络模型中,通过目标神经网络模型,对区域图像进行特征提取,根据提取的特征识别出车轮的类型信息和第一位置信息。
其中,上述目标神经网络模型的获取过程如下:首先,构建初始神经网络模型;然后,获取车辆样本图像和车辆样本图像的标注数据,其中,标注数据中包括车轮的类型和车辆的位置信息;最后,将车辆样本图像输入初始神经网络模型中进行训练,直到训练后的神经网络模型收敛,得到训练好的目标神经网络模型。
在本发明的一个实施例中,确定模块40具体用于:根据车轮的类型信息和车轮的第一位置信息,确定车轮在区域图像内的第一轮间距;根据车轮之间的第一轮间距,确定第二车辆的车型信息;根据车型信息和第一轮间距,确定第二车辆在区域图像内的第一车身大小;根据车轮的第一位置信息和第一车身大小,获取第二车辆在区域图像内的第三位置信息;根据第二车辆在区域图像内的第三位置信息、区域图像与环境图像的位置关系,得到第二车辆在环境图像中的第二位置信息。
其中,确定模块40在根据车型信息和第一轮间距,确定第二车辆在区域图像内的第一车身大小时,具体用于:根据车型信息,获取车轮实际的第二轮间距和第二车辆实际的第二车身大小;获取第一轮间距和第二轮间距的比例关系;按照比例关系,对第二车辆的第二车身大小进行等比映射,得到第一车身大小。
确定模块40在根据车轮的第一位置信息和第一车身大小,获取第二车辆在区域图像内的第三位置信息时,具体用于:根据车轮的第一位置信息和第一轮间距,确定出第二车辆的中心点,以中心点为基准点,按照第一车身大小,在区域图像内标记第二车辆,以得到第三位置信息。
进一步地,在本发明的一个实施例中,确定模块40在确定第二车辆在环境图像中的第二位置信息之后,还用于根据第二位置信息,确定出与第二位置信息匹配的标定数据,其中,标定数据包括在不同摄像距离下每个车型在图像中的车身大小;根据车型信息和第一车身大小,从标定数据中获取第二车辆的摄像距离;根据摄像距离和第一车辆上摄像装置的安装位置,获取到第二车辆与第一车辆之间的距离。
需要说明的是,本发明实施例的车辆的目标检测装置的其它具体实施方式可参见本发明上述实施例的车辆的目标检测方法的具体实施方式。
根据本发明实施例的车辆的目标检测装置,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
图8是根据本发明另一个实施例的车辆的结构框图。
如图8所示,该车辆1000包括上述车辆的目标检测装置200。
根据本发明实施例的车辆,采用上述车辆的目标检测装置,能够有效检测出第二车辆在第一车辆的环境图像中的位置信息,并能够计算得到第一车辆和第二车辆之间的距离,以便于第一车辆的控制,且计算量小,所花费时间短,对硬件要求低,从而有助于降低经济成本。
另外,需要说明的是,本发明实施例的车辆的其它构成及其作用对本领域的技术人员而言是已知的,为减少冗余,此处不做赘述。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
另外,在本发明的描述中,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种车辆目标检测方法,其特征在于,包括以下步骤:
实时采集第一车辆周围的环境图像;
对所述环境图像进行划分,以获取多个区域图像;
对所述区域图像进行图像识别,以得到所述区域图像中第二车辆的车轮的类型信息和所述车轮在所述区域图像中的第一位置信息;
根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述第二车辆在所述环境图像中的第二位置信息。
2.根据权利要求1所述的车辆目标检测方法,其特征在于,所述根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述第二车辆在所述环境图像中的第二位置信息,包括:
根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述车轮在所述区域图像内的第一轮间距;
根据所述车轮之间的第一轮间距,确定所述第二车辆的车型信息;
根据所述车型信息和所述第一轮间距,确定所述第二车辆在所述区域图像内的第一车身大小;
根据所述车轮的第一位置信息和所述第一车身大小,获取所述第二车辆在所述区域图像内的第三位置信息;
根据所述第二车辆在所述区域图像内的第三位置信息和所述区域图像与所述环境图像的位置关系,得到所述第二车辆在所述环境图像中的所述第二位置信息。
3.根据权利要求2所述的车辆目标检测方法,其特征在于,所述根据所述车型信息和所述第一轮间距,确定所述第二车辆在所述区域图像内的第一车身大小,包括:
根据所述车型信息,获取所述车轮实际的第二轮间距和所述第二车辆实际的第二车身大小;
获取所述第一轮间距和所述第二轮间距的比例关系;
按照所述比例关系,对所述第二车辆的所述第二车身大小进行等比映射,得到所述第一车身大小。
4.根据权利要求2所述的车辆目标检测方法,其特征在于,所述根据所述车轮的第一位置信息和所述第一车身大小,获取所述第二车辆在所述区域图像内的第三位置信息,包括:
根据所述车轮的第一位置信息和所述第一轮间距,确定出所述第二车辆的中心点,以所述中心点为基准点,按照所述第一车身大小,在所述区域图像内标记所述第二车辆,以得到所述第三位置信息。
5.根据权利要求2-4中任一项所述的车辆目标检测方法,其特征在于,所述确定所述第二车辆在所述环境图像中的第二位置信息之后,还包括:
根据所述第二位置信息,确定出与所述第二位置信息匹配的标定数据,其中,所述标定数据包括在不同摄像距离下每个车型在图像中的车身大小;
根据所述车型信息和所述第一车身大小,从所述标定数据中获取所述第二车辆的摄像距离;
根据所述摄像距离和所述第一车辆上摄像装置的安装位置,获取到所述第二车辆与所述第一车辆之间的距离。
6.根据权利要求1所述的车辆目标检测方法,其特征在于,所述对所述区域图像进行图像识别,以得到所述区域图像中第二车辆的车轮的类型信息和所述车轮在所述区域图像中的第一位置信息,包括:
将所述区域图像输入到预先训练好的目标神经网络模型中,通过所述目标神经网络模型,对所述区域图像进行特征提取,根据提取的特征识别出所述车轮的类型信息和第一位置信息。
7.根据权利要求6所述的车辆目标检测方法,其特征在于,采用如下方式对构建的初始神经网络模型进行训练:
获取车辆样本图像和所述车辆样本图像的标注数据,其中,所述标注数据中包括车轮的类型和车辆的位置信息;
将所述车辆样本图像输入所述初始神经网络模型中进行训练,直到训练后的神经网络模型收敛,得到训练好的所述目标神经网络模型。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的车辆目标检测方法。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时,实现如权利要求1-7中任一项所述的车辆目标检测方法。
10.一种车辆,其特征在于,包括如权利要求9所述的计算机设备。
11.一种车辆目标检测装置,其特征在于,包括:
采集模块,用于实时采集第一车辆周围的环境图像;
划分模块,用于对所述环境图像进行划分,以获取多个区域图像;
识别模块,用于对所述区域图像进行图像识别,以得到所述区域图像中第二车辆的车轮的类型信息和所述车轮在所述区域图像中的第一位置信息;
确定模块,用于根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述第二车辆在所述环境图像中的第二位置信息。
12.根据权利要求11所述的车辆目标检测装置,其特征在于,所述确定模块,具体用于:
根据所述车轮的类型信息和所述车轮的第一位置信息,确定所述车轮在所述区域图像内的第一轮间距;
根据所述车轮之间的第一轮间距,确定所述第二车辆的车型信息;
根据所述车型信息和所述第一轮间距,确定所述第二车辆在所述区域图像内的第一车身大小;
根据所述车轮的第一位置信息和所述第一车身大小,获取所述第二车辆在所述区域图像内的第三位置信息;
根据所述第二车辆在所述区域图像内的第三位置信息和所述区域图像与所述环境图像的位置关系,得到所述第二车辆在所述环境图像中的所述第二位置信息。
13.一种车辆,其特征在于,包括如权利要求11或12所述的车辆目标检测装置。
CN201810714094.7A 2018-06-29 2018-06-29 车辆及其目标检测方法、装置 Active CN110659548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810714094.7A CN110659548B (zh) 2018-06-29 2018-06-29 车辆及其目标检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810714094.7A CN110659548B (zh) 2018-06-29 2018-06-29 车辆及其目标检测方法、装置

Publications (2)

Publication Number Publication Date
CN110659548A true CN110659548A (zh) 2020-01-07
CN110659548B CN110659548B (zh) 2023-08-11

Family

ID=69027094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810714094.7A Active CN110659548B (zh) 2018-06-29 2018-06-29 车辆及其目标检测方法、装置

Country Status (1)

Country Link
CN (1) CN110659548B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN112686147A (zh) * 2020-12-30 2021-04-20 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN113052098A (zh) * 2021-03-31 2021-06-29 深圳酷派技术有限公司 车辆防刮预警方法、相关装置及计算机存储介质
CN113108807A (zh) * 2021-06-16 2021-07-13 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质
WO2022056924A1 (zh) * 2020-09-21 2022-03-24 西门子(中国)有限公司 一种目标定位方法、装置和计算机可读介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2000977A1 (fr) * 2007-06-08 2008-12-10 Valeo Vision Procédé de détection d'un véhicule
JP2013057992A (ja) * 2011-09-07 2013-03-28 Clarion Co Ltd 車間距離算出装置およびそれを用いた車両制御システム
CN105303889A (zh) * 2015-10-20 2016-02-03 广东欧珀移动通信有限公司 车辆距离检测方法和装置
CN105787431A (zh) * 2015-01-13 2016-07-20 现代摩比斯株式会社 用于车辆安全驾驶的装置
CN106372666A (zh) * 2016-08-31 2017-02-01 同观科技(深圳)有限公司 一种目标识别方法及装置
US20170030716A1 (en) * 2015-07-29 2017-02-02 Invensense, Inc. Method and apparatus for user and moving vehicle detection
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及系统
CN107292291A (zh) * 2017-07-19 2017-10-24 北京智芯原动科技有限公司 一种车辆识别方法和系统
CN107577988A (zh) * 2017-08-03 2018-01-12 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN107924466A (zh) * 2015-08-28 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN108171203A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 用于识别车辆的方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2000977A1 (fr) * 2007-06-08 2008-12-10 Valeo Vision Procédé de détection d'un véhicule
JP2013057992A (ja) * 2011-09-07 2013-03-28 Clarion Co Ltd 車間距離算出装置およびそれを用いた車両制御システム
CN105787431A (zh) * 2015-01-13 2016-07-20 现代摩比斯株式会社 用于车辆安全驾驶的装置
US20170030716A1 (en) * 2015-07-29 2017-02-02 Invensense, Inc. Method and apparatus for user and moving vehicle detection
CN107924466A (zh) * 2015-08-28 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN105303889A (zh) * 2015-10-20 2016-02-03 广东欧珀移动通信有限公司 车辆距离检测方法和装置
CN106372666A (zh) * 2016-08-31 2017-02-01 同观科技(深圳)有限公司 一种目标识别方法及装置
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及系统
CN107292291A (zh) * 2017-07-19 2017-10-24 北京智芯原动科技有限公司 一种车辆识别方法和系统
CN107577988A (zh) * 2017-08-03 2018-01-12 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN108171203A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 用于识别车辆的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
WO2022056924A1 (zh) * 2020-09-21 2022-03-24 西门子(中国)有限公司 一种目标定位方法、装置和计算机可读介质
CN112686147A (zh) * 2020-12-30 2021-04-20 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN112686147B (zh) * 2020-12-30 2024-05-28 北京纵目安驰智能科技有限公司 车辆与车轮从属关系预测方法、系统、存储介质及终端
CN113052098A (zh) * 2021-03-31 2021-06-29 深圳酷派技术有限公司 车辆防刮预警方法、相关装置及计算机存储介质
CN113052098B (zh) * 2021-03-31 2024-02-23 深圳酷派技术有限公司 车辆防刮预警方法、相关装置及计算机存储介质
CN113108807A (zh) * 2021-06-16 2021-07-13 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质
CN113108807B (zh) * 2021-06-16 2021-08-31 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质

Also Published As

Publication number Publication date
CN110659548B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110659548B (zh) 车辆及其目标检测方法、装置
CN106952308B (zh) 运动物体的位置确定方法及系统
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US9042639B2 (en) Method for representing surroundings
US8233663B2 (en) Method for object formation
WO2015104898A1 (ja) 車両用外界認識装置
JP5922257B2 (ja) 車両周辺監視装置
CN104204726A (zh) 移动物体位置姿态估计装置和移动物体位置姿态估计方法
CN107609483A (zh) 面向驾驶辅助系统的危险目标检测方法、装置
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
CN112654998B (zh) 一种车道线检测方法和装置
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
KR20210082518A (ko) 교차로 검출, 신경망 훈련 및 스마트 주행 방법, 장치 및 기기
JP2007011994A (ja) 道路認識装置
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
KR20170106823A (ko) 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치
US11899101B2 (en) Predicting the course of a road on the basis of radar data
CN113536867B (zh) 物体识别的方法、装置及系统
CN112529011A (zh) 目标检测方法及相关装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
JP2015001966A (ja) 物体検出装置
CN112747757A (zh) 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质
CN114902278A (zh) 信息处理装置、感测装置、移动体、信息处理方法以及信息处理系统
CN111539243B (zh) 用于感兴趣对象的探测中的持续改进的自动数据收集

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant