CN113705403A - 一种与全景成像系统融合的前方目标车辆碰撞预警方法 - Google Patents

一种与全景成像系统融合的前方目标车辆碰撞预警方法 Download PDF

Info

Publication number
CN113705403A
CN113705403A CN202110951101.7A CN202110951101A CN113705403A CN 113705403 A CN113705403 A CN 113705403A CN 202110951101 A CN202110951101 A CN 202110951101A CN 113705403 A CN113705403 A CN 113705403A
Authority
CN
China
Prior art keywords
vehicle
coordinates
camera
pixel
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110951101.7A
Other languages
English (en)
Other versions
CN113705403B (zh
Inventor
王彦之
陈佳国
陈锦涛
石锡敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharpvision Co ltd
Original Assignee
Sharpvision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharpvision Co ltd filed Critical Sharpvision Co ltd
Priority to CN202110951101.7A priority Critical patent/CN113705403B/zh
Publication of CN113705403A publication Critical patent/CN113705403A/zh
Application granted granted Critical
Publication of CN113705403B publication Critical patent/CN113705403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种与全景成像系统融合的前方目标车辆碰撞预警方法，包括在车辆前进方向上预设的距离处建立垂直于地面且同时垂直于车辆前进方向的投影面；预设投影面的宽度、高度，以及投影面的中心点的世界坐标,可以在全景成像系统中融合前车碰撞预警的方法，可复用全景的前视鱼眼摄像头以及其相关的所有标定数据，在对碰撞预警，目标检测时无需再进行额外安装一个专用的摄像头并进行额外的标定，从而达到降低整体安装成本，以及整体的硬件成本，并且有效提升了车辆识别的准确率。

Description

一种与全景成像系统融合的前方目标车辆碰撞预警方法
技术领域
本发明涉及车辆目标检测领域，具体为一种与全景成像系统融合的前方目标车辆碰撞预警方法。
背景技术
车辆行驶过程中，由于司机精神不集中等，会产生与目标车辆碰撞的交通事故，为了避免与目标车辆发生碰撞，则需要对目标车辆进行检测预警，目前在基于目标车辆进行检测预警系统中，由于算力等硬件条件制约，通常需要将获取到的检测画面需要进行一定比例的缩放后才传输至目标检测单元，进行计算，所以需要在进行全图目标搜索的时候，将目标车辆在摄像头的画面中，所占的比例尽量大，以确保缩放后的目标车辆或行人画面能清晰可见，达到准确预警的效果，因而传统的基于前车检测的碰撞预警系统均采用FCW功能的窄角摄像头进行目标车辆的目标检测。
目前的技术方案，多采用全景系统和前车检测完全分离的方案，在这个方案中，我们需要额外多安装一个用于前车碰撞检测的摄像头，且这个摄像头为了完成测距，也要进行额外的标定；以上需求会额外增加硬件成本，以及摄像头的安装成本。
若要复用全景系统的前视摄像头，则面临的困难是：当前全景成像系统均需要对各个摄像头回传的图像数据进行全景拼接，每个摄像头需要较大的视野，因此摄像头多半为大角度(超过180)鱼眼摄像头，所以目标车辆在摄像头中所占比例较小，若同样进行上述的缩放操作，远距离车辆缩放后，车辆可能非常小并且模糊，甚至肉眼无法观察，更无法进行准确的识别。
另外，由于全景的摄像头采用的是鱼眼摄像头且是俯视安装，导致车辆正前方较远处的目标，将有可能出现在鱼眼摄像头成像的边缘区域，在成像的时候产生较大程度的鱼眼畸变。而传统的人工智能的数据集，并没有包含如此巨大畸变的样本。这会导致给予普通样本训练获得的车辆识别网络模型，再边缘区域识别的准确率下降。
发明内容
本发明的目的在于提供一种无需再次标定的与全景成像系统融合的前方目标车辆碰撞预警方法。
本发明所述的与全景成像系统融合的前方目标车辆碰撞预警方法，包括以下步骤：
S1、在车辆前进方向上预设的距离处建立垂直于地面且同时垂直于车辆前进方向的投影面；预设投影面的宽度、高度，以及投影面的中心点的世界坐标；
S2、用若干个像素点，对投影面进行描述，使每个像素点对应投影面内的一小块区域；通过计算，获得每个像素对应的区域的中心点位置的世界坐标；通过该世界坐标，以及全景系统标定完成后获得的每个摄像头的内外参数据，计算出世界坐标系与对应摄像头捕获的画面的具体像素坐标的映射关系；
S3、根据前视摄像头实时获取的图像，以及步骤S2获得映射关系，将前视摄像头的图像，投影到投影面中，利用深度学习技术对投影面上图像进行车辆的识别，以获取车辆投影面中的区域和位置；
S4、根据前文获得映射关系，将步骤S3获得的车辆区域底部的中点对应的坐标，反向映射回前摄像头的像素坐标系，获得对应的像素坐标；
S5、根据步骤S4获得的车辆区域底部的重点像素坐标，以及前摄像头内参，外参，以及车辆底部与大地平面接触为依据，解算获得该像素坐标对应的世界坐标值；并根据该坐标值，以及摄像头的外参数据，计算前方车辆距离前摄像头的距离；并根据通过该距离以及本车当前的车速或者该距离随时间的变化，进行碰撞预警。
本发明所述的与全景成像系统融合的前方目标车辆碰撞预警方法，通过在车辆前进方向上预设的距离处建立垂直于地面且同时垂直于车辆前进方向的投影面，可以在全景成像系统中融合前车碰撞预警的方法，可复用全景的前视鱼眼摄像头以及其相关的所有标定数据，在对碰撞预警，目标检测时无需再进行额外安装一个专用的摄像头并进行额外的标定，从而达到降低整体安装成本，以及整体的硬件成本，并且有效提升了车辆识别的准确率。
附图说明
图1为本发明与全景成像系统融合的前方目标车辆碰撞预警方法的流程示意图。
具体实施方式
如图1所示，一种与全景成像系统融合的前方目标车辆碰撞预警方法，包括：
S1、在车辆前进方向上预设的距离处建立垂直于地面且同时垂直于车辆前进方向的投影面；预设投影面的宽度、高度，以及投影面的中心点的世界坐标；
S2、用若干个像素点，对投影面进行描述，使每个像素点对应投影面内的一小块区域；通过计算，获得每个像素对应的区域的中心点位置的世界坐标；通过该世界坐标，以及全景系统标定完成后获得的每个摄像头的内外参数据，计算出世界坐标系与对应摄像头捕获的画面的具体像素坐标的映射关系；
S3、根据前视摄像头实时获取的图像，以及步骤S2获得映射关系，将前视摄像头的图像，投影到投影面中，利用深度学习技术对投影面上图像进行车辆的识别，以获取车辆投影面中的区域和位置；
S4、根据前文获得映射关系，将步骤S3获得的车辆区域底部的中点对应的坐标，反向映射回前摄像头的像素坐标系，获得对应的像素坐标；
S5、根据步骤S4获得的车辆区域底部的重点像素坐标，以及前摄像头内参，外参，以及车辆底部与大地平面接触为依据，解算获得该像素坐标对应的世界坐标值；并根据该坐标值，以及摄像头的外参数据，计算前方车辆距离前摄像头的距离；并根据通过该距离以及本车当前的车速或者该距离随时间的变化，进行碰撞预警。
步骤S1中的投影面宽度大于或等于能覆盖住常见车道的宽度，且高度大于或者等于各种类常见车辆的高度，并穿过地表向下延伸一定的深度。上述设置地上高度的余量，以及宽度的余量，以及穿过地表向下延伸一定的深度，是为了适应目标车辆不正好处于投影面的情况，这种情况下，车辆最终在投影面的投影，会略大于或者小于我们的预期。
步骤S2中获得投影面像素坐标，到摄像头捕获的画面的像素坐标系的像素坐标之间的映射关系，其映射关系，以二维数组的方式，进行保存；使用投影面的像素坐标为该二维数组索引值，二维数组内保存的数据为该投影面内每个像素对应在摄像头成像面上的位置，也就是该位置在摄像头像素坐标系下的坐标值。
在全景系统标定时，预设全景系统的世界坐标X轴和Y轴处在的平面平行于大地平面，且Y轴与车辆前进的正方向平行，Z轴垂直于大地平面，世界坐标的原点位于车辆的底部的中心点。
投影面设置为一个或者多个，每一个投影面根据预设距离进行建立；在进行车辆识别的时候，将前摄像头的画面，投影到一个或者多个投影面，然后使用机器视觉或者相关的方法，进行识别。
所述步骤S5包括以下步骤：
S6-1、根据投影面的具体像素坐标，到前摄像头捕捉到的画面像素坐标系映射关系，以及在投影面上找到的车辆区域底部中点的坐标，计算出前摄像头实际捕捉到的画面的像素坐标系中，车辆区域底部中点的坐标；
S6-2、并根据该坐标，以及全景系统标定获得的前摄像头的内参，获得车辆底部中点，在前摄像头归一化平面的坐标；
S6-3、将归一化平面的坐标，换算成普通透视投影下，归一化平面中对应的坐标；
S6-4、然后使用全景系统标定获得的外参数据，以及车辆的区域的底部中点，位于大地平面上，计算该底部中点实际在世界坐标中对应的世界坐标；
S6-5、根据前摄像头的外参数据，计算出前摄像头在世界坐标系当中的世界坐标，并通过比较前摄像头的世界坐标，以及车辆底部中点在世界坐标系下的坐标，由于全景系统的世界坐标Y轴为车辆的前进方向，则前摄像头世界坐标系下的坐标的Y轴的值，与车辆底部中点在世界坐标系下的坐标的Y轴值之间的差的绝对值，该绝对值为车辆到前方车辆的距离，并根据通过该距离以及该距离随时间的变化，或者本车当前的车速，进行碰撞预警。
包括利用对投影图像进行识别所获得的车辆区域像素坐标信息，以及世界坐标的原点位于当前车辆底部中心点的条件，计算所捕获的目标车辆底部的最左侧以及最右侧的实际世界坐标，并判断它们是否在当前本车辆中心点未来的预期轨迹的一定的距离范围内，从而判断在当前车辆不改变行进方向的情况下，是否有发生碰撞的可能，若无发生碰撞的可能，则忽略掉所捕获的目标，不进行报警处理。
可以通过在车辆前进方向上的10m或20m等距离处构建垂直于车辆中轴线的投影面。例如，利用于进行前方车辆检测的深度学习网络的输入层的分辨率是128x128，在世界坐标当中建立的投影面的大小为5m*5m。
以车辆前进方向上的10m上设置的投影面为例，其在世界坐标中左上角的坐标为(-2.5,10,4),右下角的坐标为(2.5,10,-1)，投影面的中心坐标为(0,10,1.5)。将投影面上设置128*128个像素点，计算每个像素对应区域的中心点，位于世界坐标中的位置。投影面像素坐标系中，u在[0,127]之间，v在[0,127]之间，投影面的左上角u和v为0，对应的世界坐标为(-2.5,10,4)，投影面右下角u和v为127，对应的世界坐标为(2.5,10,-1)，其他的像素坐标对应世界坐标按照左上角以及右下角之间128等分的步长以此类推。
同理，对于车辆前进方向上的20m上设置的投影面，也可以获得其面上的像素点所对应的世界坐标。
根据投影面上的点，所对应的世界坐标，计算它在前视摄像头当中的像素坐标。具体可以采用opencv的API(如cv::fisheye::projectPoints)，也可以自己根据原理编自己实现利用摄像头的内参和外参，将世界坐标，投影获得其对应的鱼眼投影的像素坐标的过程。具体流程为，由世界坐标通过外参，转摄像头坐标，摄像头坐标转透视投影下归一化平面坐标，然后根据透视投影下归一化平面坐标，根据鱼眼的投影规则方式，转化为鱼眼投影中的归一化平面的坐标，再由鱼眼投影中归一化平面的坐标转化为像素平面的坐标。由此可以获得每个投影面像素坐标到前视摄像头的像素坐标的映射关系，该映射关系为：
Figure BDA0003218488270000071
在投影面建立的时候，建立的二维映射矩阵内每个元素下标序号索引对应的是投影面内的像素坐标Xp Yp。而每个元素内部保存的是前文计算出的投影面像素坐标对应的前摄像像素坐标系下的坐标u v。根据该二维矩阵，可以快速索引到投影面X Y坐标对应前视摄像头UV的坐标，从而可以得到投影面上的坐标到uv坐标的映射关系
Figure BDA0003218488270000072
根据该映射关系，可以快速利用真实的前摄像头捕捉到的画面，一一填充投影面的像素，完成从前摄像头的画面到前摄像头的投影过程。完成投影后，则可以直接利用深度学习的网络，直接再投影面上进行车辆识别。
完成识别后，可获得投影面中车辆所呈现的区域，然后取出其区域底部的中点，并认为其于大地平面是相互接触的。
根据映射关系
Figure BDA0003218488270000073
可以获得底部中点，在前摄像头画面中的像素坐标，再根据前摄像头的像素坐标，计算其在大地面上的真实世界坐标。
世界坐标到鱼眼摄像头的像素坐标变换较为复杂，先进行介绍和陈述:摄像头坐标系与以车辆中心为原点的世界坐标系的映射如下(R代表旋转矩阵，T代表平移)：
Figure BDA0003218488270000081
在透视投影中，具体的像素点坐标系到摄像头坐标系的映射关系如下：
Figure BDA0003218488270000082
化简该式子为：
Figure BDA0003218488270000083
K为摄像头的内参，定义
Figure BDA0003218488270000084
为1m处的摄像头透视投影的归一化平面的坐标，重新定义其为[Pxt,Pyt,1]T。
由于全景的摄像头实际为鱼眼投影所以需要在上述归一化平面坐标系下，根据鱼眼的成像规则，将其转为鱼眼投影下的归一化平面[Pxfish,Pyfish,1]T，然后同样通过内参K，获得实际鱼眼成像面的像素坐标如下所示：[ufish,vfish,1]T＝K[Pxfish,Pyfish,1]T
本实施例当中，所面临的是通过鱼眼投影中的像素坐标反向推算世界坐标，需要根据已知车辆底部中点在鱼眼摄像头的像素坐标，并根据已知车辆底部中点与大地平面相互接触这个条件，计算车辆底部中点的世界坐标。
第一步，利用鱼眼像素坐标系下，捕捉到的车辆底部中点的像素坐标，反向计算[Pxfish,Pyfish,1]T，反向计算公式为[Pxfish,Pyfish,1]T＝K-1[ufish,vfish,1]T。
第二步，需要将鱼眼的归一化坐标系的坐标，转为透视投影的归一化坐标系的坐标[Pxt,Pyt,1]T详细过程如下：
归一化平面f为1，利用鱼眼投影关系：
Figure BDA0003218488270000091
rfish＝fθ
Figure BDA0003218488270000092
Figure BDA0003218488270000093
Figure BDA0003218488270000094
Figure BDA0003218488270000095
第三步，获得透视投影下归一化坐标后，可以根据系列公式组织方程：
Figure BDA0003218488270000096
[Xc,Yc,Zc]T＝Zc[Pxt,Pyt,1]T＝R[Xw,Yw,Zw]T+T
，Xw Yw Zw为世界坐标，Xw Yw未知，Zc为未知，[Pxt,Pyt,1]T前文已经求出，由于车辆底部中点在大地上，Zw＝0，R和T分别为摄像头的旋转矩阵，以及平移矩阵，为摄像头安装的外参，在全景系统当中，标定后自然获得。根据以上表达形式，一共三个未知数，三个方程，可以求出Xw Yw以及Zc，即获得车辆底部中点，在大地坐标中的实际位置。获得车辆底部的世界坐标[Xw,Yw,Zw]T
第四步，需要计算前摄像头在世界坐标中的位置：
[Xcc,Ycc,Zcc]T＝R[Xwc,Ywc,Zwc]T+T
[Xwc,Ywc,Zwc]T＝R-1([Xcc,Ycc,Zcc]T-T)，摄像头坐标系中，摄像头位于其原点，所前摄像头的世界坐标是，[Xwc,Ywc,Zwc]T＝R-1([0,0,0]T-T)，车辆的前进方向平行于Y轴，所以摄像头的世界坐标Y轴坐标Ywc车辆底部中点在世界坐标Y轴坐标Yw的绝对值的差，就是前方车辆距离前摄像头的距离。
依靠上述方式，可以对在车辆前进方向上的10m或20m等构建垂直于车辆轴心的投影面，利用前摄像头捕获的画面，以及内参以及外参数据，在投影面上进行图像投影；并完成投影面的投影面，利用深度学习网络，进行计算，获取投影面中车辆的位置。在将投影面中，利用车辆底部中点像素坐标，以及之前获得投影面于摄像头像素坐标的映射关系，获取车辆底部中点，在前摄像头的像素坐标系中的像素坐标。再根据该像素坐标，以及前摄像头的内外参数据，以及底部中点在大地平面上这个条件，计算得到车辆底部中点的位置。然后根据前摄像头的内外参，计算前摄像头在世界坐标系中的位置。最终计算前摄像头于目标车辆在车辆前进方向上的距离，然后结合当前由GPS获得车速，假定前方的车辆是静止不动的，可以计算可能发生碰撞的时间。根据该时间，若其低于某个预设的阈值，则进行报警。
同理，也可以根据，距离前方目标车辆距离的变化，计算我们之间的相对车速，根据车速的值，以及前方车辆距离前摄像头的距离，计算可能发生碰撞的时间，从而进行预警。
在上文的说明书中，分别在10m和20m建立了两个投影面，在计算力充足的情况下，则对于同一帧同时计算生成两个面的投影，并进行后续的深度学习推理运算，并对其计算得到的最近的车辆进行预警相关的判断。在算力不充沛的情况下，对于所捕获的图像，可以利用以下的规则进行计算。
若当前距离投影面检查到检测的目标车辆，则下一帧依旧计算在当前距离的投影面；若当前距离的投影面无法检测到目标车辆，则切换投影面进行尝试。
为了防止对无关的不可能对本车辆造成威胁的车辆进行预警，则可以对找到目标车辆进行一定程度的过滤。根据预设的位于车辆底部中心点的世界坐标原点，且车辆绝大部分情况沿直线前进。认为车辆底部中心点的预期轨迹与世界坐标的Y轴重合。且通过深度学习，可以获得车辆底部区域的最左侧，以及最右侧的在投影面像素坐标。利用前文提到的流程，可以获得其对应的世界坐标。则所捕获的车辆底部最左侧和最右侧与当前车辆中心的预期前进轨迹偏差的距离，就是车辆底部最左侧和最右侧的世界坐标x轴值得绝对值。若车辆底部最左侧或者最右侧世界坐标x轴的绝对值有一个小于预设的阀值，则认为目标车辆在预期的轨迹附近，有发生碰撞的可能，满足条件的情况下，需要进行报警。反之则发生碰撞可能性较小，不进行报警，过滤该目标。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，包括以下步骤：
S1、在车辆前进方向上预设的距离处建立垂直于地面且同时垂直于车辆前进方向的投影面；预设投影面的宽度、高度，以及投影面的中心点的世界坐标;
S2、用若干个像素点，对投影面进行描述，使每个像素点对应投影面内的一小块区域；通过计算，获得每个像素对应的区域的中心点位置的世界坐标；通过该世界坐标，以及全景系统标定完成后获得的每个摄像头的内外参数据，计算出世界坐标系与对应摄像头捕获的画面的具体像素坐标的映射关系;
S3、根据前视摄像头实时获取的图像，以及步骤S2获得映射关系，将前视摄像头的图像，投影到投影面中，利用深度学习技术对投影面上图像进行车辆的识别，以获取车辆在投影面中的区域和位置;
S4、根据前文获得映射关系，将步骤S3获得的车辆区域底部的中点对应的坐标，反向映射回前摄像头的像素坐标系，获得对应的像素坐标;
S5、根据步骤S4获得的车辆区域底部的中点像素坐标，以及前摄像头内参，外参，以及车辆底部与大地平面接触为依据，解算获得该像素坐标对应的世界坐标值；并根据该坐标值，以及摄像头的外参数据，计算前方车辆距离前摄像头的距离；并根据通过该距离以及本车当前的车速或者该距离随时间的变化，进行碰撞预警。
2.根据权利要求1所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，所述投影面的宽度大于或等于能覆盖住常见车道的宽度，且高度大于或者等于各种类常见车辆的高度，并穿过地表向下延伸一定的深度。
3.根据权利要求1所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，步骤S2中获得投影面像素坐标，到摄像头捕获的画面的像素坐标系的像素坐标之间的映射关系，其映射关系，以二维数组的方式，进行保存；使用投影面的像素坐标为该二维数组索引值，二维数组内保存的数据为该投影面内每个像素对应在摄像头成像面上的位置，也就是该位置在摄像头像素坐标系下的坐标值。
4.根据权利要求1所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，投影面设置为一个或者多个，每一个投影面根据预设距离进行建立；在进行车辆识别的时候，将前摄像头的画面，投影到一个或者多个投影面，然后使用机器视觉或者相关的方法，进行识别。
5.根据权利要求1所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，在全景系统标定时，预设全景系统的世界坐标 X 轴和 Y 轴处在的平面平行于大地平面，且 Y 轴与车辆前进的正方向平行，Z 轴垂直于大地平面，世界坐标的原点位于车辆的底部的中心点。
6.根据权利要求1所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，所述步骤S5包括以下步骤：
S6-1、根据投影面的具体像素坐标，到前摄像头捕捉到的画面像素坐标系映射关系，以及在投影面上找到的车辆区域底部中点的坐标，计算出前摄像头实际捕捉到的画面的像素坐标系中，车辆区域底部中点的坐标；
S6-2、并根据该坐标，以及全景系统标定获得的前摄像头的内参，获得车辆底部中点，在前摄像头归一化的坐标；
S6-3、将归一化平面的坐标，换算成普通透视投影下，归一化平面中对应的坐标；
S6-4、然后使用全景系统标定获得的外参数据，以及车辆的区域的底部中点，位于大地平面上，计算该底部中点实际在世界坐标中对应的世界坐标；
S6-5、根据前摄像头的外参数据，计算出前摄像头在世界坐标系当中的世界坐标，并通过比较前摄像头的世界坐标，以及车辆底部中点在世界坐标系下的坐标，由于全景系统的世界坐标 Y 轴为车辆的前进方向，则前摄像头世界坐标系下的坐标的Y轴的值，与车辆底部中点在世界坐标系下的坐标的 Y轴值之间的差的绝对值，该绝对值为车辆到前方车辆的距离，并根据该距离以及本车当前的车速，或者该距离随时间的变化，进行碰撞预警。
7.根据权利要求1-6任一项所述的与全景成像系统融合的前方目标车辆碰撞预警方法，其特征在于，包括利用对投影图像进行识别所获得的车辆区域像素坐标信息，以及世界坐标的原点位于当前车辆底部中心点的条件，计算所捕获的目标车辆底部的最左侧以及最右侧的实际世界坐标，并判断它们是否在当前本车辆中心点未来的预期轨迹的一定的距离范围内，从而判断在当前车辆不改变行进方向的情况下，是否有发生碰撞的可能，若无发生碰撞的可能，则忽略掉所捕获的目标，不进行报警处理。
CN202110951101.7A 2021-08-18 2021-08-18 一种与全景成像系统融合的前方目标车辆碰撞预警方法 Active CN113705403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110951101.7A CN113705403B (zh) 2021-08-18 2021-08-18 一种与全景成像系统融合的前方目标车辆碰撞预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110951101.7A CN113705403B (zh) 2021-08-18 2021-08-18 一种与全景成像系统融合的前方目标车辆碰撞预警方法

Publications (2)

Publication Number Publication Date
CN113705403A true CN113705403A (zh) 2021-11-26
CN113705403B CN113705403B (zh) 2023-08-08

Family

ID=78653315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110951101.7A Active CN113705403B (zh) 2021-08-18 2021-08-18 一种与全景成像系统融合的前方目标车辆碰撞预警方法

Country Status (1)

Country Link
CN (1) CN113705403B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN110378202A (zh) * 2019-06-05 2019-10-25 魔视智能科技(上海)有限公司 一种基于鱼眼镜头的全方位行人碰撞预警方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法
CN112801880A (zh) * 2021-03-08 2021-05-14 广州敏视数码科技有限公司 一种车载全景图像成像与目标检测融合显示的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190041513A1 (en) * 2017-08-03 2019-02-07 Neusoft Corporation Method, apparatus, storage medium and program product for side vehicle positioning
CN110378202A (zh) * 2019-06-05 2019-10-25 魔视智能科技(上海)有限公司 一种基于鱼眼镜头的全方位行人碰撞预警方法
CN112224132A (zh) * 2020-10-28 2021-01-15 武汉极目智能技术有限公司 一种车用全景环视障碍物预警方法
CN112801880A (zh) * 2021-03-08 2021-05-14 广州敏视数码科技有限公司 一种车载全景图像成像与目标检测融合显示的方法

Also Published As

Publication number Publication date
CN113705403B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
JP4956452B2 (ja) 車両用環境認識装置
US9378553B2 (en) Stereo image processing device for vehicle
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109263637B (zh) 一种碰撞预测的方法及装置
CN104636724B (zh) 一种基于目标一致性的车载相机快速行人车辆检测方法
JP2004086779A (ja) 障害物検出装置及びその方法
US11410334B2 (en) Vehicular vision system with camera calibration using calibration target
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
JP5188429B2 (ja) 環境認識装置
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN107886544A (zh) 用于车辆标定的图像采集控制方法和装置
CN115877347A (zh) 一种矿区障碍检测方法、系统、电子设备及可读存储介质
JP5073700B2 (ja) 物体検出装置
CN110197104B (zh) 基于车辆的测距方法及装置
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN111862210B (zh) 一种基于环视相机的目标物检测定位方法及装置
JP5091897B2 (ja) 停止線検出装置
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
CN113705403B (zh) 一种与全景成像系统融合的前方目标车辆碰撞预警方法
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
CN115792912A (zh) 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A collision warning method for forward target vehicles integrated with panoramic imaging systems

Granted publication date: 20230808

Pledgee: Bank of China Limited by Share Ltd. Guangzhou Tianhe branch

Pledgor: SHARPVISION CO.,LTD.

Registration number: Y2024980012293