CN107577988A - 实现侧方车辆定位的方法、装置及存储介质、程序产品 - Google Patents

实现侧方车辆定位的方法、装置及存储介质、程序产品 Download PDF

Info

Publication number
CN107577988A
CN107577988A CN201710657698.8A CN201710657698A CN107577988A CN 107577988 A CN107577988 A CN 107577988A CN 201710657698 A CN201710657698 A CN 201710657698A CN 107577988 A CN107577988 A CN 107577988A
Authority
CN
China
Prior art keywords
correction chart
chart picture
image
coordinate system
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710657698.8A
Other languages
English (en)
Other versions
CN107577988B (zh
Inventor
陈君
陈一君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shanghai Co Ltd
Original Assignee
Neusoft Technology (shanghai) Co Ltd
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Technology (shanghai) Co Ltd, Neusoft Corp filed Critical Neusoft Technology (shanghai) Co Ltd
Priority to CN201710657698.8A priority Critical patent/CN107577988B/zh
Priority to US15/710,817 priority patent/US10495754B2/en
Priority to DE102017123515.9A priority patent/DE102017123515B4/de
Priority to JP2017197902A priority patent/JP6522076B2/ja
Publication of CN107577988A publication Critical patent/CN107577988A/zh
Application granted granted Critical
Publication of CN107577988B publication Critical patent/CN107577988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

本申请公开了一种实现侧方车辆定位的方法及装置，用于对侧方车辆进行精确定位，该方法包括：将原始图像转换为校正图像，原始图像为图像采集设备拍摄的图像，校正图像为原始图像在虚拟相机视角下对应的图像；在校正图像的检测区域内检测车轮特征，获得包括车轮特征的子图像在校正图像中的位置；在包括车轮特征的子图像内检测圆形特征，获得圆形检测结果，圆形检测结果包括圆形特征的圆心在校正图像中的位置以及圆形特征的半径；根据圆形检测结果获得侧方车辆的定位信息。

Description

实现侧方车辆定位的方法、装置及存储介质、程序产品
技术领域
本申请涉及车辆控制技术领域，具体涉及一种实现侧方车辆定位的方法、装置以及存储介质、计算机程序产品。
背景技术
在很多驾驶员辅助系统中侧方车辆的精确定位是能否正确报警的关键。例如在盲区检测系统中可以实时探测侧方盲区中车辆位置，当盲区中存在车辆同时开启相应转向灯时，系统将以光、声、振动等形式警告驾驶员，以保证行驶安全。又例如在前方防碰撞系统中，两侧车辆变线切入，这时准确判断切入车辆是否占据的自车前方区域是决定是否报警的关键。以上功能都需要得到两侧车辆与自车的相对位置关系。
在现有技术中实现侧方车辆定位的方法大致可以分为两类：一类是双摄像头方法，即在车辆前方或后方同时安装两个摄像头，使得两个摄像头的光心平行。利用相同特征点在两幅图像中的位置关系可以计算出该点的三维位置进而完成对侧方车辆的定位。但是此方法对两个摄像头的装配精度很高导致成本很高。另一类是单摄像头方法，例如利用在车辆前方或后方安装一个鱼眼摄像头，使用车辆特征识别车辆大概位置。该方法成本较低，但是该方法对他车的定位精度较低。
发明内容
有鉴于此，本申请提供一种实现侧方车辆定位的方法、装置以及存储介质、计算机程序产品，以解决现有技术中利用单摄像头进行侧方他车定位精度较低的技术问题。
为解决上述问题，本申请提供的技术方案如下：
一种实现侧方车辆定位的方法，所述方法包括：
将原始图像转换为校正图像，所述原始图像为图像采集设备拍摄的图像，所述校正图像为所述原始图像在虚拟相机视角下对应的图像；
在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置；
在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，所述圆形检测结果包括所述圆形特征的圆心在所述校正图像中的位置以及所述圆形特征的半径；
根据所述圆形检测结果获得侧方车辆的定位信息。
相应的，所述方法还包括：
根据多帧所述原始图像分别获得所述侧方车辆的定位信息，根据所述侧方车辆的定位信息对侧方车辆进行跟踪，获得当前车辆与所述侧方车辆之间的相对速度。
相应的，所述将原始图像转换为校正图像，包括：
建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系；
根据所述映射关系将所述原始图像映射为所述校正图像。
相应的，所述图像采集设备为鱼眼摄像头，所述建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系，包括：
根据校正图像所使用的图像坐标系与所述虚拟相机所处坐标系之间的映射关系，计算校正图像中像素点位置在所述虚拟相机所处坐标系下的第一映射点位置；
根据所述第一映射点位置以及所述虚拟相机所处坐标系与世界坐标系之间的映射关系，计算所述校正图像中像素点位置在世界坐标系下的第二映射点位置；
根据所述第二映射点位置以及所述世界坐标系与所述鱼眼摄像头所处坐标系之间的映射关系，计算所述校正图像中像素点位置在所述鱼眼摄像头所处坐标系下的第三映射点位置；
根据所述第三映射点位置以及所述鱼眼摄像头的畸变参数，计算所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置；
根据所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。
相应的，所述在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置，包括：
将侧方车道预设区域的位置映射到所述校正图像中，获得所述校正图像的检测区域；
在所述校正图像的检测区域内移动检测框，利用预先训练得到的车轮分类器在各个所述检测框内检测车轮特征，将包括所述车轮特征的检测框图像作为包括所述车轮特征的子图像；
获得包括所述车轮特征的子图像在所述校正图像中的位置。
相应的，所述在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，包括：
将所述包括所述车轮特征的子图像转换为灰度图像后进行sobel滤波，获得所述灰度图像在横坐标方向的梯度值以及纵坐标方向的梯度值；
在所述灰度图像中获得所述横坐标方向的梯度值以及所述纵坐标方向的梯度值满足预设条件的坐标点，计算所述坐标点的梯度方向；
沿各个满足所述预设条件的坐标点的梯度方向，分别计算不同预设半径对应的投影圆心坐标；
选取出现次数最多的投影圆心坐标转换为圆形特征的圆心在所述校正图像中的位置，将出现次数最多的投影圆心坐标对应的预设半径作为所述圆形特征的半径。
相应的，所述根据所述圆形检测结果获得侧方车辆的定位信息，包括：
将多个所述圆形检测结果进行合并，将合并后的圆形检测结果中圆形特征的圆心在所述校正图像中的位置映射到世界坐标系中，获得侧方车辆的定位信息。
一种实现侧方车辆定位的装置，所述装置包括：
转换单元，用于将原始图像转换为校正图像，所述原始图像为图像采集设备拍摄的图像，所述校正图像为所述原始图像在虚拟相机视角下对应的图像；
第一检测单元，用于在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置；
第二检测单元，用于在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，所述圆形检测结果包括所述圆形特征的圆心在所述校正图像中的位置以及所述圆形特征的半径；
获得单元，用于根据所述圆形检测结果获得侧方车辆的定位信息。
相应的，所述装置还包括：
跟踪单元，用于根据多帧所述原始图像分别获得所述侧方车辆的定位信息，根据所述侧方车辆的定位信息对侧方车辆进行跟踪，获得当前车辆与所述侧方车辆之间的相对速度。
相应的，所述转换单元包括：
第一建立子单元，用于建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系；
第一映射子单元，用于根据所述映射关系将所述原始图像映射为所述校正图像。
相应的，所述图像采集设备为鱼眼摄像头，所述第一建立子单元包括：
第一计算子单元，用于根据校正图像所使用的图像坐标系与所述虚拟相机所处坐标系之间的映射关系，计算校正图像中像素点位置在所述虚拟相机所处坐标系下的第一映射点位置；
第二计算子单元，用于根据所述第一映射点位置以及所述虚拟相机所处坐标系与世界坐标系之间的映射关系，计算所述校正图像中像素点位置在世界坐标系下的第二映射点位置；
第三计算子单元，用于根据所述第二映射点位置以及所述世界坐标系与所述鱼眼摄像头所处坐标系之间的映射关系，计算所述校正图像中像素点位置在所述鱼眼摄像头所处坐标系下的第三映射点位置；
第四计算子单元，用于根据所述第三映射点位置以及所述鱼眼摄像头的畸变参数，计算所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置；
第二建立子单元，用于根据所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。
相应的，所述第一检测单元包括：
第二映射子单元，用于将侧方车道预设区域的位置映射到所述校正图像中，获得所述校正图像的检测区域；
检测子单元，用于在所述校正图像的检测区域内移动检测框，利用预先训练得到的车轮分类器在各个所述检测框内检测车轮特征，将包括所述车轮特征的检测框图像作为包括所述车轮特征的子图像；
获得子单元，用于获得包括所述车轮特征的子图像在所述校正图像中的位置。
相应的，所述第二检测单元包括：
转换子单元，用于将所述包括所述车轮特征的子图像转换为灰度图像后进行sobel滤波，获得所述灰度图像在横坐标方向的梯度值以及纵坐标方向的梯度值；
第五计算子单元，用于在所述灰度图像中获得所述横坐标方向的梯度值以及所述纵坐标方向的梯度值满足预设条件的坐标点，计算所述坐标点的梯度方向；
第六计算子单元，用于沿各个满足所述预设条件的坐标点的梯度方向，分别计算不同预设半径对应的投影圆心坐标；
选取子单元，用于选取出现次数最多的投影圆心坐标转换为圆形特征的圆心在所述校正图像中的位置，将出现次数最多的投影圆心坐标对应的预设半径作为所述圆形特征的半径。
相应的，所述获得单元具体用于：
将多个所述圆形检测结果进行合并，将合并后的圆形检测结果中圆形特征的圆心在所述校正图像中的位置映射到世界坐标系中，获得侧方车辆的定位信息。
一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备上述的实现侧方车辆定位的方法。
一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述的实现侧方车辆定位的方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例首先将图像采集设备拍摄的原始图像转换为平面的校正图像，转换后的校正图像中车轮接近正圆，可以通过在校正图中检测车轮特征，再在车轮特征中的检测圆形特征，通过对较为明确的圆形特征的检测精确定位侧方他车的位置，从而提高利用单摄像头进行侧方他车定位的精度。
附图说明
图1为本申请实施例中提供的实现侧方车辆定位的方法的流程图；
图2(a)为本申请实施例中虚拟相机视角的示意图；
图2(b)为本申请实施例中虚拟相机视角的示意图；
图3为本申请实施例中世界坐标系的示意图；
图4为本申请实施例中像素坐标系的示意图；
图5为本申请实施例中图像坐标系的示意图；
图6为本申请实施例中相机坐标系的示意图；
图7为本申请实施例中相机坐标系与世界坐标系之间关系的示意图；
图8(a)为本申请实施例中原始图像的示意图；
图8(b)为本申请实施例中校正图像的示意图；
图9(a)为本申请实施例中原始图像中的车轮部分的示意图；
图9(b)为本申请实施例中校正图像中的车轮部分的示意图；
图10为本申请实施例中侧方车道预设区域的示意图；
图11为本申请实施例中车轮特征检测结果的示意图；
图12为本申请实施例中包括车轮特征的子图像的示意图；
图13为本申请实施例中圆形梯度方向呈对称性的示意图；
图14为本申请实施例中圆心投影的示意图；
图15为本申请实施例中圆形检测结果的示意图；
图16为本申请实施例中侧方车辆定位结果的示意图；
图17为本申请实施例中提供的实现侧方车辆定位的装置的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
在现有技术中利用单摄像头(例如鱼眼摄像头)进行侧方他车定位，仅能使用车辆特征检测到他车的大概位置，由于无法对精确特征进行检测导致对侧方他车定位精度较低。为此本申请实施例首先采用虚拟相机技术将图像采集设备采集的原始图像转换成校正图像，校正图像可以理解为左侧和/或右侧的平面图像。通过在校正图像中识别车轮特征检测车轮的大概位置，通过圆形检测在已经定位的车轮范围内精确定位车轮的位置，从而对侧方他车位置进行计算。另外还可以通过对圆形特征跟踪的方式去除误识别。本申请实施例提供的实现侧方车辆定位的方法可以通过对精确特征的识别较准确地获得侧方他车与自车的位置关系。
参见图1所示，示出了本申请实施例中提供的实现侧方车辆定位的方法实施例的流程图，本实施例可以包括以下步骤：
步骤101：将原始图像转换为校正图像，原始图像为图像采集设备拍摄的图像，校正图像为原始图像在虚拟相机视角下对应的图像。
车辆上可以安装有图像采集设备，由图像采集设备拍摄车辆前方或者后方的图像，图像采集设备拍摄的图像可以作为原始图像，原始图像可以用于进行本申请中对侧方车辆进行定位，也可以用于实现车辆上其他的检测功能，本申请对此并不限定。图像采集设备可以为鱼眼摄像头等广角图像采集设备，也可以为其他类型的图像采集设备。
由于图像采集设备广角拍摄的图像可能存在畸变，导致拍摄到的侧方车辆在原始图像中存在一定的变形，无法直接对原始图像中某些特定特征进行检测，因此需要将原始图像转换为校正图像。校正图像可以为原始图像在虚拟相机视角下对应的图像。
虚拟相机视角参见图2所示，图2(a)为左侧虚拟相机视角，图2(b)为右侧虚拟相机视角。假设图像采集设备的视角固定为拍摄车辆的前方或者后方，则虚拟相机的视角可以理解为将图像采集设备的视角虚拟为拍摄车辆的一侧，即左侧虚拟相机视角可以理解为将图像采集设备的视角虚拟为利用虚拟相机拍摄车辆的左侧，右侧虚拟相机视角可以理解为将图像采集设备的视角虚拟为利用虚拟相机拍摄车辆的右侧。
将原始图像转换为校正图像的过程可以理解为利用虚拟相机技术将广角拍摄车辆前方或后方的原始图像转换为拍摄车辆某一侧的平面图像。
在实际应用中，可以将原始图像转换为车辆左侧的校正图像以及车辆右侧的校正图像，也可以将原始图像转换为车辆任一侧的校正图像，转换的过程可以根据虚拟相机的设置进行。
步骤102：在校正图像的检测区域内检测车轮特征，获得包括车轮特征的子图像在校正图像中的位置。
车辆侧前方和车辆侧后方是检测侧方是否存在车辆的重点区域，可以将侧方车道预设区域的位置映射到校正图像中，获得校正图像中的检测区域；侧方车道预设区域可以有多个，则校正图像中的检测区域也可以有多个。
在实际应用中可以在各个检测区域内按照预设步长移动检测框，检测框的大小也可以预先设置。然后利用训练得到的车轮分类器可以检测检测框内是否包括车轮特征，从而获得包括车轮特征的检测框图像作为包括车轮特征的子图像，同时获得包括车轮特征的子图像在所述校正图像中的位置。
步骤103：在包括车轮特征的子图像内检测圆形特征，获得圆形检测结果，圆形检测结果包括圆形特征的圆心在校正图像中的位置以及圆形特征的半径。
在车轮特征中进一步检测圆形特征，从而可以通过圆形特征的圆心位置和半径精确确定侧方车辆的位置。
步骤104：根据圆形检测结果获得侧方车辆的定位信息。
在本实施例中，在每个车轮特征的子图像中均检测圆形特征，则可能获得检测同一圆形的多个圆形检测结果，从而可以将多个圆形检测结果进行合并，合并后的圆形检测结果中的圆形特征即为最终用于侧方车辆定位的圆形特征。在本申请一些可能的实现方式中，可以将合并后的圆形检测结果中圆形特征的圆心在校正图像中的位置映射到世界坐标系中，获得侧方车辆的定位信息。
以上各个步骤的具体实现过程还会在后续实施例中展开说明。
这样，本申请实施例首先将鱼眼摄像头拍摄的存在畸变的原始图像转换为平面的校正图像，转换后的校正图像中车轮接近正圆，可以通过在校正图中检测车轮特征，再在车轮特征中的检测圆形特征，通过对较为明确的圆形特征的检测精确定位侧方他车的位置，从而提高利用单摄像头进行侧方他车定位的精度。
以下对步骤101的实现过程进行说明。为了便于后续说明，首先对本申请实施例中涉及的像素坐标系、图像坐标系、相机坐标系、世界坐标系以及各个坐标系之间的转换关系进行介绍。在本实施例中，以图像采集设备为鱼眼摄像头为例进行说明。
鱼眼摄像头在车体的安装位置以及世界坐标系如图3所示。对应相机成像的集合关系，可以建立世界坐标系(O，X，Y，Z)以及像素坐标系(u，v)。
在实际应用中，世界坐标系的原点O可以建立在鱼眼摄像头的垂直中心线与地面的交点，X坐标轴可以指向车辆纵轴的前方，Y坐标轴可以指向垂直于车辆纵轴的右方，Z坐标轴可以指向垂直于车辆的上方。可以通过在世界坐标系中的坐标位置标识物体在世界坐标系中的位置，世界坐标系的单位可以为米，在进行后续各个坐标系之间的转换计算时，可以将世界坐标系中坐标的单位由米转换为毫米再进行后续计算。世界坐标系的建立可以根据实际情况进行，本申请对世界坐标系原点位置以及各个坐标轴的方向并不进行限定。
参见图4所示，像素坐标系(u，v)的原点Oo可以建立在图像左上角，横坐标u和纵坐标v可以分别对应图像所在的行和列。像素坐标系可以代表摄像头感光元件中的物理位置，像素坐标系的单位可以为毫米。
参见图5所示，图像坐标系(x，y)的原点O1可以为像素坐标的中点，横坐标x和纵坐标y可以分别对应图像所在的行和列。图像坐标系可以对应图像上的像素点位置，单位可以为像素。
假设(u0，v0)代表图像坐标系原点O1在像素坐标系下的坐标，则dx和dy分别表示每个像素在横坐标轴x和纵坐标轴y的物理尺寸，则图像坐标系和像素坐标系的关系如下：其中，(u0，v0)是摄像头感光元件中的物理中心。假设像素坐标系中的单位为毫米，那么dx的单位为毫米/像素。那么x/dx的单位就是像素了，即和像素坐标系的单位一致。
根据上述公式，可以得到图像坐标系中的坐标(x，y)与像素坐标系中的坐标(u，v)的转换关系：
根据上述公式1的逆过程，可以得到像素坐标系中的坐标(u，v)与图像坐标系中的坐标(x，y)的转换关系：
参见图6所示，示出了相机坐标系的示意图，相机坐标系的原点C为相机光心，Zc为相机的光轴，和图像平面垂直，O-O1为相机焦距。在本实施例中相机可以指鱼眼摄像头或者虚拟相机等图像采集设备，鱼眼摄像头和虚拟相机可以分别处于各自的相机坐标系中。
相机坐标系与图像坐标系的关系可以为：其中f为焦距。
根据上述公式，可以得到相机坐标系中的坐标(Xc，Yc，Zc)与像素坐标系中的坐标(x，y)的转换关系：
根据上述公式3的逆过程，可以得到图像坐标系中的坐标(x，y)与相机坐标系中的坐标(Xc，Yc，Zc)的转换关系：
世界坐标系是为了描述相机的位置而被引入的，参见图7所示，可以通过将相机坐标系进行旋转和平移映射到世界坐标系中，任何维的旋转可以表示为坐标向量与合适的方阵的乘积。在世界坐标系下，有两个参数：旋转矩阵R和平移向量T。例如如果一个坐标系A可以通过另一个坐标系B的旋转和平移的到，那么坐标系中B中的坐标可以通过其在坐标系A中的坐标乘上旋转矩阵R再加上平移矩阵T得到。平移向量T可以是两个坐标系原点之间的偏移量。
则世界坐标系中的坐标(Xw，Yw，Zw)与相机坐标系的坐标(Xc，Yc，Zc)之间的转换关系为：
具体的，设空间中一点在相机坐标系下坐标为Pc(Xc，Yc，Zc)，在世界坐标系下为P0(Xw，Yw，Zw)，又设世界坐标系是由相机坐标系绕X轴旋转θ1，绕Y轴旋转θ2，绕Z轴旋转θ3，再平移T(Xo，Yo，Zo)得到的。
那么通过空间几何可以得到，相机坐标系的坐标(Xc，Yc，Zc)与世界坐标系中的坐标(Xw，Yw，Zw)之间的转换关系为：
根据上述公式6的逆过程，可以得到世界坐标系中的坐标(Xw，Yw，Zw)与相机坐标系的坐标(Xc，Yc，Zc)之间的转换关系：
以上为对像素坐标系、图像坐标系、相机坐标系、世界坐标系以及各个坐标系之间的转换关系的说明，之后结合以上说明再对步骤101的具体实现过程进行说明。步骤101的实现过程可以包括：建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系；根据映射关系将原始图像映射为校正图像。
而建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系的实现过程可以包括：
根据校正图像所使用的图像坐标系与虚拟相机所处坐标系之间的映射关系，计算校正图像中像素点位置在虚拟相机所处坐标系下的第一映射点位置；
根据第一映射点位置以及虚拟相机所处坐标系与世界坐标系之间的映射关系，计算校正图像中像素点位置在世界坐标系下的第二映射点位置；
根据第二映射点位置以及世界坐标系与鱼眼摄像头所处坐标系之间的映射关系，计算校正图像中像素点位置在鱼眼摄像头所处坐标系下的第三映射点位置；
根据第三映射点位置以及鱼眼摄像头的畸变参数，计算校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置；
根据校正图像中像素点位置以及第四映射点位置建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。
也就是说，设原始图像上的某点坐标为P’(X’，Y’)，校正图像上的某点坐标为P(x，y)，又假设虚拟相机的焦距f＝1,Zc＝1。则上述公式4可以作为校正图像所使用的图像坐标系与虚拟相机所处坐标系(相机坐标系)之间的映射关系，利用公式4可以计算出校正图像中像素点位置P(x，y)在虚拟相机所处坐标系下的第一映射点位置Pc(Xc，Yc，Zc)。
又已知的虚拟相机的外参(θ1，θ2，θ3，Xo，Yo，Zo)，则上述公式6可以作为虚拟相机所处坐标系(相机坐标系)与世界坐标系之间的映射关系，利用公式6可以进一步计算出校正图像中像素点位置P(x，y)在世界坐标系下的第二映射点位置Pw(Xw，Yw，Zw)。虚拟相机的外参设置了相机坐标系转换为世界坐标系时的旋转矩阵和平移矩阵。
已知的鱼眼摄像头外参θ1f，θ2f，θ3f，Xf，Yf，Zf，则上述公式7可以作为世界坐标系与鱼眼摄像头所处坐标系(相机坐标系)之间的映射关系，利用公式7可以进一步计算出校正图像中像素点位置P(x，y)在鱼眼摄像头所处坐标系下的第三映射点位置Pfc(Xfc，Yfc，Zfc)。类似的，鱼眼摄像头的外参设置了相机坐标系转换为世界坐标系时的旋转矩阵和平移矩阵，即可以将鱼眼摄像头外参θ1f，θ2f，θ3f，Xf，Yf，Zf带入到公式7中作为公式7中的θ1，θ2，θ3，Xo，Yo，Zo进行计算。
由于鱼眼摄像头存在畸变，通过如下方法可以进一步计算出校正图像中像素点位置P(x，y)在原始图像所使用的图像坐标系下的第四映射点位置P’(X’，Y’)。已知鱼眼摄像头的畸变参数为K1，K2，K3，K4，K5：
r＝K1*t+K2*t3+K3*t5+K4*t7+K5*t9 (公式9)；
θ＝atan(Yfc/Xfc) (公式10)；
公式11中，(u0，v0)是摄像头感光元件中的物理中心。假设像素坐标系中的单位为毫米，那么dx的单位为毫米/像素，则dy的单位也为毫米/像素，dx和dy是为了进行像素坐标系与图像坐标系单位转换的参数。
由以上各个计算步骤可以获得校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。即根据校正图像中的每个像素点位置(x，y)可以得到原始图像中对应的像素点位置(X，Y)。
再根据上述校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系，可以将原始图像映射为校正图像。参见图8所示，可以将图8(a)所示的原始图像映射为图8(b)所示的校正图像。可以看出，原始图像存在畸变，校正图像中侧方车辆基本不存在畸变，可以用于后续的特征检测。
参见图9所示，原始图像中的车轮特征呈椭圆形，不能用于圆形检测，而校正图像中的车轮特征接近正圆可以进行圆形检测。
以下对步骤102的实现过程进行说明。
参见图10所示，在实际应用中车辆左前方、右前方、左后方以及右后方4个区域是检测侧方是否存在车辆的重点区域，例如这4个区域均为3m*3m大小。以右后方区域为例，按照与车辆平行方向将右后方区域划分为距离车辆0.5m、1.0m、1.5m、2.0m、2.5m、3.0m的6个区间，将这6个与地面垂直平面中的预设区域作为需要检测的侧方车道预设区域，将侧方车道预设区域在世界坐标系中的位置映射到校正图像的图像坐标系中，映射的过程可以利用上述各个坐标系之间的转换关系。
再在校正图像的检测区域内移动检测框，利用预先训练得到的车轮分类器在各个检测框内检测车轮特征，将包括车轮特征的检测框图像作为包括车轮特征的子图像；获得包括车轮特征的子图像在校正图像中的位置。
参见图11所示，为校正图像中包括车轮特征的子图像的示意图。在实际应用中，可以将得到的车辆检测结果储存在一个WheelList(车轮列表)中，车辆检测结果为包括车轮特征的子图像在校正图像中的位置。由于是在检测区域内划窗检测，则可以有多个检测框内检测到车轮特征，则WheelList中可以有多个车轮检测结果，则每个车轮检测结果对应一个rect(x,y,width,height)，其中width、height可以分别代表包括车轮特征的子图像的宽和高，x,y可以代表包括车轮特征的子图像中某一点(例如左上角)在校正图像中的位置坐标，在实际应用中可以将校正图像的左上角设为(x,y)＝(0,0)。
以下对步骤103的实现过程进行说明。
在本申请实施例一些可能的实现方式中，在校正图像的检测区域内检测车轮特征，获得包括车轮特征的子图像在校正图像中的位置的具体实现可以包括：
将包括车轮特征的子图像转换为灰度图像后进行sobel滤波，获得灰度图像在横坐标方向的梯度值以及纵坐标方向的梯度值；
在灰度图像中获得横坐标方向的梯度值以及纵坐标方向的梯度值满足预设条件的坐标点，计算坐标点的梯度方向；
沿各个满足预设条件的坐标点的梯度方向，分别计算不同预设半径对应的投影圆心坐标；
选取出现次数最多的投影圆心坐标转换为圆形特征的圆心在校正图像中的位置，将出现次数最多的投影圆心坐标对应的预设半径作为圆形特征的半径。
参见图12所示，首先将包括车轮特征的子图像转换为灰度图像，再对灰度图像进行sobel滤波。使用sobel滤波的模板与对灰度图像进行卷积分别得到，灰度图像在横坐标方向的梯度值GradX以及灰度图像在纵坐标方向的梯度值GradY，完成sobel滤波。
获得灰度图像中每个(Thred为梯度阈值)的像素点的坐标(x,y)以及梯度方向θ＝atan(GradY/RradX)。
参见图13所示，以正圆为例，可以根据图13左侧的正圆图像生成图13右侧的梯度方向图，不同梯度方向可以用不同颜色表示。由该图可知，圆形内边缘上某点的梯度方向与成180度方向上的外边缘对应点的梯度方向相同，即圆的梯度方向呈现对称性。
根据圆的梯度方向呈现对称性的特点，可以在满足梯度阈值条件的各个坐标点的梯度方向上进行圆心投影。
某一个满足梯度阈值的点a(x，y)，设梯度方向为θ，预设半径为Ri。以不同的预设半径(Ri＝R1、R2、……、Rn)分别计算该点a沿其梯度方向θ以Ri为半径的投影圆心o(x0,y0)。其中，x0＝x+Ri*cos(θ)；y0＝y+Ri*sin(θ)。
这样可以计算出各个满足梯度阈值条件的坐标点沿梯度方向上不同预设半径对应的投影圆心坐标，该坐标可以为灰度图像中的坐标。
参见图14所示，图14(a)-(d)分别对应R1、R2、R3、R4四个预设半径对应的投影圆心结果，采用定半径对圆心投影的方式，将投影空间从3维降低到2维，有效减小了计算复杂度。
最后可以将选取出现次数最多的投影圆心坐标作为投票选出的圆心坐标。出现次数N还需要满足N＞2πR*0.45则认为存在圆形。
由于记录有包括车轮特征的子图像在校正图像中的位置，上述灰度图像又是由包括车轮特征的子图像在校正图像转换得到的，则可以将在灰度图像中圆心坐标转换到校正图像中，获得圆形特征的圆心在校正图像中的位置。同时也可以将出现次数最多的投影圆心坐标对应的预设半径作为圆形特征的半径。
最后再对步骤104的实现过程进行说明。
由于会获得检测同一圆形的多个圆形检测结果，从而可以将多个圆形检测结果进行合并。在实际应用中，可以将圆形检测结果记录到circleList(圆形列表)中，通过搜索circleList对圆形检测结果进行匹配，将圆心距离小于预设阈值的圆形检测结果进行合并，合并后的圆形检测结果可以记录在resultList(结果列表)中，resultList中的圆形特征即可以认为是最终用于侧方车辆定位的圆形特征。参见图16所示，示出了本申请实施例对侧方车辆定位结果的示意图。
另外，在本申请实施例中还可以根据多帧原始图像分别获得侧方车辆的定位信息，根据侧方车辆的定位信息对侧方车辆进行跟踪，获得当前车辆与侧方车辆之间的相对速度。
即在本申请实施例中还可以连续采集多帧原始图像，分别对每帧原始图像应用本申请实施例中的上述方法确定侧方车辆的定位信息，则根据采集间隔以及同一圆形特征在世界坐标系中的位置变化，可以获得侧方车辆的速度以及当前车辆与侧方车辆之间的相对速度。
参见图17所示，示出了本申请实施例中提供的一种实现侧方车辆定位的装置实施例，可以包括：
转换单元1701，用于将原始图像转换为校正图像，原始图像为图像采集设备拍摄的图像，校正图像为原始图像在虚拟相机视角下对应的图像。
第一检测单元1702，用于在校正图像的检测区域内检测车轮特征，获得包括车轮特征的子图像在校正图像中的位置。
第二检测单元1703，用于在包括车轮特征的子图像内检测圆形特征，获得圆形检测结果，圆形检测结果包括圆形特征的圆心在校正图像中的位置以及圆形特征的半径。
获得单元1704，用于根据圆形检测结果获得侧方车辆的定位信息。
在本申请实施例的一些可能的实现方式中，本申请实施例中提供的一种实现侧方车辆定位的装置实施例还可以包括：
跟踪单元，用于根据多帧原始图像分别获得侧方车辆的定位信息，根据侧方车辆的定位信息对侧方车辆进行跟踪，获得当前车辆与侧方车辆之间的相对速度。
在本申请实施例的一些可能的实现方式中，转换单元可以包括：
第一建立子单元，用于建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系；
第一映射子单元，用于根据映射关系将原始图像映射为校正图像。
在本申请实施例的一些可能的实现方式中，图像采集设备可以为鱼眼摄像头，第一建立子单元可以包括：
第一计算子单元，用于根据校正图像所使用的图像坐标系与虚拟相机所处坐标系之间的映射关系，计算校正图像中像素点位置在虚拟相机所处坐标系下的第一映射点位置；
第二计算子单元，用于根据第一映射点位置以及虚拟相机所处坐标系与世界坐标系之间的映射关系，计算校正图像中像素点位置在世界坐标系下的第二映射点位置；
第三计算子单元，用于根据第二映射点位置以及世界坐标系与鱼眼摄像头所处坐标系之间的映射关系，计算校正图像中像素点位置在鱼眼摄像头所处坐标系下的第三映射点位置；
第四计算子单元，用于根据第三映射点位置以及鱼眼摄像头的畸变参数，计算校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置；
第二建立子单元，用于根据校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。
在本申请实施例的一些可能的实现方式中，第一检测单元可以包括：
第二映射子单元，用于将侧方车道预设区域的位置映射到校正图像中，获得校正图像的检测区域；
检测子单元，用于在校正图像的检测区域内移动检测框，利用预先训练得到的车轮分类器在各个检测框内检测车轮特征，将包括车轮特征的检测框图像作为包括车轮特征的子图像；
获得子单元，用于获得包括车轮特征的子图像在校正图像中的位置。
在本申请实施例的一些可能的实现方式中，第二检测单元可以包括：
转换子单元，用于将包括车轮特征的子图像转换为灰度图像后进行sobel滤波，获得灰度图像在横坐标方向的梯度值以及纵坐标方向的梯度值；
第五计算子单元，用于在灰度图像中获得横坐标方向的梯度值以及纵坐标方向的梯度值满足预设条件的坐标点，计算坐标点的梯度方向；
第六计算子单元，用于沿各个满足预设条件的坐标点的梯度方向，分别计算不同预设半径对应的投影圆心坐标；
选取子单元，用于选取出现次数最多的投影圆心坐标转换为圆形特征的圆心在校正图像中的位置，将出现次数最多的投影圆心坐标对应的预设半径作为圆形特征的半径。
在本申请实施例的一些可能的实现方式中，获得单元可以具体用于：
将多个圆形检测结果进行合并，将合并后的圆形检测结果中圆形特征的圆心在校正图像中的位置映射到世界坐标系中，获得侧方车辆的定位信息。
另外，本申请实施例中还提供一种计算机可读存储介质实施例，该机算机可读存储介质中可以存储有指令，当该指令在终端设备上运行时，使得终端设备执行本申请实施例中提供的实现侧方车辆定位的方法。
本申请实施例中还提供一种计算机程序产品，该计算机程序产品在终端设备上运行时，可以使得终端设备执行本申请实施例中提供的实现侧方车辆定位的方法。
这样，本申请实施例首先将图像采集设备拍摄的原始图像转换为平面的校正图像，转换后的校正图像中车轮接近正圆，可以通过在校正图中检测车轮特征，再在车轮特征中的检测圆形特征，通过对较为明确的圆形特征的检测精确定位侧方他车的位置，从而提高利用单摄像头进行侧方他车定位的精度。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实现侧方车辆定位的方法，其特征在于，所述方法包括：
将原始图像转换为校正图像，所述原始图像为图像采集设备拍摄的图像，所述校正图像为所述原始图像在虚拟相机视角下对应的图像；
在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置；
在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，所述圆形检测结果包括所述圆形特征的圆心在所述校正图像中的位置以及所述圆形特征的半径；
根据所述圆形检测结果获得侧方车辆的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据多帧所述原始图像分别获得所述侧方车辆的定位信息，根据所述侧方车辆的定位信息对侧方车辆进行跟踪，获得当前车辆与所述侧方车辆之间的相对速度。
3.根据权利要求1所述的方法，其特征在于，所述将原始图像转换为校正图像，包括：
建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系；
根据所述映射关系将所述原始图像映射为所述校正图像。
4.根据权利要求3所述的方法，其特征在于，所述图像采集设备为鱼眼摄像头，所述建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系，包括：
根据校正图像所使用的图像坐标系与所述虚拟相机所处坐标系之间的映射关系，计算校正图像中像素点位置在所述虚拟相机所处坐标系下的第一映射点位置；
根据所述第一映射点位置以及所述虚拟相机所处坐标系与世界坐标系之间的映射关系，计算所述校正图像中像素点位置在世界坐标系下的第二映射点位置；
根据所述第二映射点位置以及所述世界坐标系与所述鱼眼摄像头所处坐标系之间的映射关系，计算所述校正图像中像素点位置在所述鱼眼摄像头所处坐标系下的第三映射点位置；
根据所述第三映射点位置以及所述鱼眼摄像头的畸变参数，计算所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置；
根据所述校正图像中像素点位置在原始图像所使用的图像坐标系下的第四映射点位置建立校正图像中各个像素点位置与原始图像中各个像素点位置的一一映射关系。
5.根据权利要求1所述的方法，其特征在于，所述在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置，包括：
将侧方车道预设区域的位置映射到所述校正图像中，获得所述校正图像的检测区域；
在所述校正图像的检测区域内移动检测框，利用预先训练得到的车轮分类器在各个所述检测框内检测车轮特征，将包括所述车轮特征的检测框图像作为包括所述车轮特征的子图像；
获得包括所述车轮特征的子图像在所述校正图像中的位置。
6.根据权利要求1所述的方法，其特征在于，所述在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，包括：
将所述包括所述车轮特征的子图像转换为灰度图像后进行sobel滤波，获得所述灰度图像在横坐标方向的梯度值以及纵坐标方向的梯度值；
在所述灰度图像中获得所述横坐标方向的梯度值以及所述纵坐标方向的梯度值满足预设条件的坐标点，计算所述坐标点的梯度方向；
沿各个满足所述预设条件的坐标点的梯度方向，分别计算不同预设半径对应的投影圆心坐标；
选取出现次数最多的投影圆心坐标转换为圆形特征的圆心在所述校正图像中的位置，将出现次数最多的投影圆心坐标对应的预设半径作为所述圆形特征的半径。
7.根据权利要求1所述的方法，其特征在于，所述根据所述圆形检测结果获得侧方车辆的定位信息，包括：将多个所述圆形检测结果进行合并，将合并后的圆形检测结果中圆形特征的圆心在所述校正图像中的位置映射到世界坐标系中，获得侧方车辆的定位信息。
8.一种实现侧方车辆定位的装置，其特征在于，所述装置包括：
转换单元，用于将原始图像转换为校正图像，所述原始图像为图像采集设备拍摄的图像，所述校正图像为所述原始图像在虚拟相机视角下对应的图像；
第一检测单元，用于在所述校正图像的检测区域内检测车轮特征，获得包括所述车轮特征的子图像在所述校正图像中的位置；
第二检测单元，用于在所述包括所述车轮特征的子图像内检测圆形特征，获得圆形检测结果，所述圆形检测结果包括所述圆形特征的圆心在所述校正图像中的位置以及所述圆形特征的半径；
获得单元，用于根据所述圆形检测结果获得侧方车辆的定位信息。
9.一种计算机可读存储介质，其特征在于，所述机算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-8任一项所述的实现侧方车辆定位的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行权利要求1-8任一项所述的实现侧方车辆定位的方法。
CN201710657698.8A 2017-08-03 2017-08-03 实现侧方车辆定位的方法、装置及存储介质、程序产品 Active CN107577988B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710657698.8A CN107577988B (zh) 2017-08-03 2017-08-03 实现侧方车辆定位的方法、装置及存储介质、程序产品
US15/710,817 US10495754B2 (en) 2017-08-03 2017-09-20 Method, apparatus, storage medium and program product for side vehicle positioning
DE102017123515.9A DE102017123515B4 (de) 2017-08-03 2017-10-10 Verfahren, Vorrichtung, Speichermedium und Programmprodukt zur seitlichen Fahrzeugpositionsbestimmung
JP2017197902A JP6522076B2 (ja) 2017-08-03 2017-10-11 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710657698.8A CN107577988B (zh) 2017-08-03 2017-08-03 实现侧方车辆定位的方法、装置及存储介质、程序产品

Publications (2)

Publication Number Publication Date
CN107577988A true CN107577988A (zh) 2018-01-12
CN107577988B CN107577988B (zh) 2020-05-26

Family

ID=61035142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710657698.8A Active CN107577988B (zh) 2017-08-03 2017-08-03 实现侧方车辆定位的方法、装置及存储介质、程序产品

Country Status (4)

Country Link
US (1) US10495754B2 (zh)
JP (1) JP6522076B2 (zh)
CN (1) CN107577988B (zh)
DE (1) DE102017123515B4 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647638A (zh) * 2018-05-09 2018-10-12 东软集团股份有限公司 一种车辆位置检测方法及装置
CN110659548A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆及其目标检测方法、装置
CN110962844A (zh) * 2019-10-28 2020-04-07 纵目科技（上海）股份有限公司 一种车辆航向角修正方法及系统、存储介质及终端
CN111161542A (zh) * 2018-11-08 2020-05-15 杭州海康威视数字技术股份有限公司 车辆识别方法及装置
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111626080A (zh) * 2019-02-27 2020-09-04 初速度（苏州）科技有限公司 车辆检测方法及车载终端
CN111837163A (zh) * 2018-03-09 2020-10-27 图森有限公司 用于车辆车轮检测的系统和方法
CN112102396A (zh) * 2020-08-31 2020-12-18 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN112215048A (zh) * 2019-07-12 2021-01-12 中国移动通信有限公司研究院 一种3d目标检测方法、装置和计算机可读存储介质
CN114705121A (zh) * 2022-03-29 2022-07-05 智道网联科技(北京)有限公司 车辆位姿测量方法、装置及电子设备、存储介质
US11501513B2 (en) 2017-03-10 2022-11-15 Tusimple, Inc. System and method for vehicle wheel detection
CN114705121B (zh) * 2022-03-29 2024-05-14 智道网联科技(北京)有限公司 车辆位姿测量方法、装置及电子设备、存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
JP6927238B2 (ja) 2019-02-21 2021-08-25 株式会社デンソー バルブタイミング調整装置
CN111833399A (zh) * 2019-04-17 2020-10-27 富华科精密工业（深圳）有限公司 基于鱼眼图像的目标检测方法及相关设备
CN112669377B (zh) * 2019-10-15 2023-09-05 杭州海康威视数字技术股份有限公司 一种车位检测方法、装置、电子设备及存储介质
CN112698717B (zh) * 2019-10-23 2023-07-25 杭州海康威视数字技术股份有限公司 一种局部图像的处理方法及装置、车载系统、存储介质
CN110991232B (zh) * 2019-10-28 2024-02-13 纵目科技（上海）股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN111210297B (zh) * 2019-12-23 2022-05-17 南京领行科技股份有限公司 一种上车点的划分方法及装置
CN113132643B (zh) * 2019-12-30 2023-02-07 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN111429516A (zh) * 2020-03-23 2020-07-17 上海眼控科技股份有限公司 车架号的角点定位方法、装置、计算机设备及存储介质
CN112648976B (zh) * 2020-12-23 2022-11-01 北京恒达时讯科技股份有限公司 实景影像测量方法、装置、电子设备及存储介质
DE102021207180B3 (de) 2021-07-07 2022-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Lokalisieren eines Fahrzeugs in einem Umfeld
CN113705403B (zh) * 2021-08-18 2023-08-08 广州敏视数码科技有限公司 一种与全景成像系统融合的前方目标车辆碰撞预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN103413300A (zh) * 2013-07-26 2013-11-27 西安交通大学 一种采用稀疏存储结构的圆形检测方法
CN103832380A (zh) * 2012-11-23 2014-06-04 深圳华一汽车科技有限公司 一种基于机器视觉的盲区车辆检测及警告系统及方法
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法
CN105711501A (zh) * 2016-04-19 2016-06-29 深圳市航盛电子股份有限公司 一种基于汽车环视相机的盲区中车辆监测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2009126270A (ja) 2007-11-21 2009-06-11 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両
US10318823B2 (en) * 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
DE102014109062A1 (de) 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102014012285A1 (de) 2014-08-22 2016-02-25 Jenoptik Robot Gmbh Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
JP2016062285A (ja) 2014-09-18 2016-04-25 アルパイン株式会社 後側方車両検知警報装置
DE102016104021A1 (de) 2016-03-07 2017-09-07 Connaught Electronics Ltd. Verfahren zum Verfolgen eines Zielfahrzeugs anhand einer eine Radgeometrie des Zielfahrzeugs charakterisierenden Referenzgeometrie, Kamerasystem und Kraftfahrzeug
KR101786352B1 (ko) * 2016-05-27 2017-11-15 현대자동차주식회사 우선순위 고려 차선 변경 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103832380A (zh) * 2012-11-23 2014-06-04 深圳华一汽车科技有限公司 一种基于机器视觉的盲区车辆检测及警告系统及方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN103413300A (zh) * 2013-07-26 2013-11-27 西安交通大学 一种采用稀疏存储结构的圆形检测方法
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法
CN105711501A (zh) * 2016-04-19 2016-06-29 深圳市航盛电子股份有限公司 一种基于汽车环视相机的盲区中车辆监测方法及系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11967140B2 (en) 2017-03-10 2024-04-23 Tusimple, Inc. System and method for vehicle wheel detection
US11501513B2 (en) 2017-03-10 2022-11-15 Tusimple, Inc. System and method for vehicle wheel detection
EP3762903A4 (en) * 2018-03-09 2021-12-08 TuSimple, Inc. VEHICLE WHEEL DETECTION SYSTEM AND METHOD
CN111837163A (zh) * 2018-03-09 2020-10-27 图森有限公司 用于车辆车轮检测的系统和方法
CN108647638A (zh) * 2018-05-09 2018-10-12 东软集团股份有限公司 一种车辆位置检测方法及装置
EP3566903A1 (en) * 2018-05-09 2019-11-13 Neusoft Corporation Method and apparatus for vehicle position detection
CN108647638B (zh) * 2018-05-09 2021-10-12 东软睿驰汽车技术（上海）有限公司 一种车辆位置检测方法及装置
US10783657B2 (en) 2018-05-09 2020-09-22 Neusoft Corporation Method and apparatus for vehicle position detection
CN110659548A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆及其目标检测方法、装置
CN111161542B (zh) * 2018-11-08 2021-09-28 杭州海康威视数字技术股份有限公司 车辆识别方法及装置
CN111161542A (zh) * 2018-11-08 2020-05-15 杭州海康威视数字技术股份有限公司 车辆识别方法及装置
CN111626080B (zh) * 2019-02-27 2022-06-24 魔门塔(苏州)科技有限公司 车辆检测方法及车载终端
CN111626080A (zh) * 2019-02-27 2020-09-04 初速度（苏州）科技有限公司 车辆检测方法及车载终端
CN111532257B (zh) * 2019-04-22 2021-11-16 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN111532257A (zh) * 2019-04-22 2020-08-14 长城汽车股份有限公司 用于补偿交通工具校准误差的方法和系统
CN112215048A (zh) * 2019-07-12 2021-01-12 中国移动通信有限公司研究院 一种3d目标检测方法、装置和计算机可读存储介质
CN112215048B (zh) * 2019-07-12 2024-03-22 中国移动通信有限公司研究院 一种3d目标检测方法、装置和计算机可读存储介质
CN110962844A (zh) * 2019-10-28 2020-04-07 纵目科技（上海）股份有限公司 一种车辆航向角修正方法及系统、存储介质及终端
CN112102396A (zh) * 2020-08-31 2020-12-18 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN112102396B (zh) * 2020-08-31 2023-09-22 杭州飞步科技有限公司 桥吊下的车辆定位方法、装置、设备及存储介质
CN112132874A (zh) * 2020-09-23 2020-12-25 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN112132874B (zh) * 2020-09-23 2023-12-05 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN114705121A (zh) * 2022-03-29 2022-07-05 智道网联科技(北京)有限公司 车辆位姿测量方法、装置及电子设备、存储介质
CN114705121B (zh) * 2022-03-29 2024-05-14 智道网联科技(北京)有限公司 车辆位姿测量方法、装置及电子设备、存储介质

Also Published As

Publication number Publication date
DE102017123515A1 (de) 2019-02-07
JP6522076B2 (ja) 2019-05-29
CN107577988B (zh) 2020-05-26
DE102017123515B4 (de) 2019-08-14
US10495754B2 (en) 2019-12-03
US20190041513A1 (en) 2019-02-07
JP2019028967A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
CN107577988A (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
US20220092797A1 (en) Intelligent Vehicle Trajectory Measurement Method Based on Binocular Stereo Vision System
CN110322702B (zh) 一种基于双目立体视觉系统的车辆智能测速方法
US11120531B2 (en) Method and device for image processing, vehicle head-up display system and vehicle
Kilicarslan et al. Predict vehicle collision by TTC from motion using a single video camera
López et al. Robust lane markings detection and road geometry computation
Kong et al. Generalizing Laplacian of Gaussian filters for vanishing-point detection
CN108638999A (zh) 一种基于360度环视输入的防碰撞预警系统及方法
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
CN109017570A (zh) 车辆周围场景呈现方法和装置、车辆
CN105574552A (zh) 一种基于单目视觉的车辆测距与碰撞预警方法
CN108647638A (zh) 一种车辆位置检测方法及装置
CN110203210A (zh) 一种车道偏离预警方法、终端设备及存储介质
CN108257137A (zh) 一种基于视觉光斑自动判读的角度测量方法及系统
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
US10235576B2 (en) Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof
CN111340877A (zh) 一种车辆定位方法及装置
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN107844761A (zh) 交通标志的检测方法及装置
CN108629225A (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
CN111881752B (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
CN108376384A (zh) 视差图的矫正方法、装置及存储介质
CN207115438U (zh) 用于车载鱼眼相机的图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200927

Address after: 201805 room 1703, No. 888, South Moyu Road, Anting Town, Jiading District, Shanghai

Patentee after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2

Patentee before: NEUSOFT Corp.

Patentee before: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right