CN110648360B - 一种基于车载摄像头避让他方车辆的方法及系统 - Google Patents

一种基于车载摄像头避让他方车辆的方法及系统 Download PDF

Info

Publication number
CN110648360B
CN110648360B CN201910939952.2A CN201910939952A CN110648360B CN 110648360 B CN110648360 B CN 110648360B CN 201910939952 A CN201910939952 A CN 201910939952A CN 110648360 B CN110648360 B CN 110648360B
Authority
CN
China
Prior art keywords
module
vehicle
judging
processing module
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910939952.2A
Other languages
English (en)
Other versions
CN110648360A (zh
Inventor
马科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN201910939952.2A priority Critical patent/CN110648360B/zh
Publication of CN110648360A publication Critical patent/CN110648360A/zh
Application granted granted Critical
Publication of CN110648360B publication Critical patent/CN110648360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车载摄像头避让他方车辆的方法及系统，包括以下步骤，采集模块实时采集我方车辆周围视频信息，并传输给编码模块；通过编码方案将视频转换为图像并传输给处理模块；处理模块识别出图像中的他方车辆的前后轮，并打标输出前后轮点的像素坐标；计算机视觉模块将像素坐标转换成世界坐标，并画出参考线以及我方车辆的中轴线，得到参考线与中轴线夹角α；判断模块根据夹角α进行判断碰撞风险，并根据碰撞风险做出相应的策略。有益效果：本发明提升了检测的准确性和鲁棒性，同时节省了传感器成本，使该技术便于向中低端车型普及。

Description

一种基于车载摄像头避让他方车辆的方法及系统
技术领域
本发明涉及计算机视觉的技术领域，尤其涉及一种基于车载摄像头避让他方车辆的方法及系统。
背景技术
当前，自动驾驶中自动避让技术主要使用摄像头+毫米波雷达融合的方案，摄像头主要用于检测车道线、道路边缘和车辆前方的汽车、行人、自行车、摩托车和大型动物等障碍物，这种基于摄像头和毫米波雷达的方案存在较大的误差，例如摄像头存在2～3s的延迟，延迟较大时面对高速场景车辆和驾驶员会来不及反应；而毫米波雷达主要是利用电磁波进行探测，对道路上的井盖、路桩会存在误识别，影响检测的准确性。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种基于车载摄像头避让他方车辆的方法，降低检测的延迟，提升预判结果的准确性和鲁棒性。
为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头避让他方车辆的方法，包括以下步骤，采集模块实时采集我方车辆周围视频信息，并传输给编码模块；所述编码模块通过编码方案将视频转换为图像并传输给处理模块；所述处理模块识别出图像中的他方车辆的前后轮，并打标输出前后轮点的像素坐标，像素坐标传输给计算机视觉模块；计算机视觉模块将所述像素坐标转换成世界坐标，并依据他方车辆前后轮的坐标画出参考线以及我方车辆的中轴线，得到参考线与中轴线夹角α；判断模块根据夹角α进行判断碰撞风险，并根据碰撞风险做出相应的策略。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述编码模块采用的编码方案为H.265视频编码方案，能够实现利用1～2Mbps的传输速度传送分辨率为1280*720的普通高清视频。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述编码模块将图像传输给处理模块采用的传输协议为实时流传输协议。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述处理模块部署于车载计算终端内，还包括以下步骤，采集模块采集图像作为训练样本；基于所述训练样本对处理模块进行训练；利用训练后的处理模块识别编码模块输出的图像中他方车辆的前后轮，并输出前后轮点的像素坐标。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述训练还包括以下步骤，使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像；利用所述处理模块对训练样本进行识别，识别出训练样本中的汽车前、后车轮四个角点位置，并计算前、后车轮边框下边框中心点坐标；反复训练直至训练充分，将训练后的处理模块投入实际使用。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述计算还包括以下步骤，根据处理模块得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述计算机视觉模块将所述像素坐标转换成世界坐标利用相机标定原理进行，连接他方车辆的前、后轮的下边框中心点，其所在的直线为参考线，根据我方车辆行驶的方向得到中轴线。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述判断模块判断的碰撞风险包括以下类别，当夹角α＜5°，判断不会发生碰撞；当5°＜α＜10°，判断存在碰撞风险；当10°＜α＜15°，判断会发生碰撞且立即刹车可以避免；当夹角α＞15°，判断会发生碰撞且立即刹车无法避免。
作为本发明所述的基于车载摄像头避让他方车辆的方法的一种优选方案，其中：所述根据碰撞风险做出的策略包括以下类别，判断不会发生碰撞时，我方车辆继续正常行驶；判断存在碰撞风险时，我方车辆的中控模块发出提醒；判断会发生碰撞且立即刹车可以避免时，我方车辆立即进行自动刹车；判断会发生碰撞且立即刹车无法避免，我方车辆立即向侧方避让并刹车。
本发明解决的另一个技术问题是：提供一种基于车载摄像头避让他方车辆的系统，上述基于车载摄像头避让他方车辆的方法能够依托于本系统实现。
为解决上述技术问题，本发明提供如下技术方案：一种基于车载摄像头避让他方车辆的系统，包括，采集模块，所述采集模块能够采集图像或视频信息；编码模块，所述编码模块能将采集到的视频转换为图像；处理模块，所述处理模块用于识别图像中车辆的前后轮以及得到其像素坐标；计算机视觉模块，所述计算机视觉模块能够进行坐标转换和画线；判断模块，所述判断模块用于进行碰撞风险的判断；车载计算终端，所述编码模块、处理模块、计算机视觉模块和判断模块均部署于所述车载计算终端内；中控模块，所述中控模块能够根据判断模块的判断结果显示提示信息。
本发明的有益效果：本发明通过编码方案和实时流传输协议降低摄像头的延迟，采用深度学习进行判断，提升了检测的准确性和鲁棒性，便于我方车辆采取策略及时避让，同时无需使用毫米波雷达，节省了传感器成本，使该技术便于向中低端车型普及。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于车载摄像头避让他方车辆的方法的整体流程示意图；
图2为本发明第一种实施例中所述中控模块的提醒示意图；
图3为本发明第一种实施例中所述判断会发生碰撞且立即刹车无法避免时，我方车辆立即向侧方避让并刹车的示意图；
图4为本发明第二种实施例所述基于车载摄像头避让他方车辆的系统的整体结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
在汽车驾驶领域中，检测我方车辆之外的其它车辆、并根据实际情况执行相应的避让策略是一项重要的技术。目前该技术中主要使用的摄像头和毫米波雷达融合进行周围坏境数据采集的方案，其中摄像头用来检测障碍物，如我方车辆周围的他方车辆，毫米波雷达用来测距，二者结合判断当前情况并根据情况进行避让，此方法的缺点包括通常情况下摄像头的延迟较大导致在高速、紧急场景下来不及反应，毫米波雷达主要是利用电磁波探测，对井盖、路桩会存在误识别等。
参照图1的示意，本实施例提出一种基于车载摄像头避让他方车辆的方法，该方法无需使用毫米波雷达，且能够降低摄像头的延迟，并且基于opencv原理进行图像测距，采用深度学习进行行为预判，提升了检测的准确性和鲁棒性。具体的，该方法包括以下步骤，
S1：采集模块100实时采集我方车辆周围视频信息，并传输给编码模块200；其中，采集模块100为摄像头，一般具有视频摄像、传播和静态图像捕捉等基本功能，本实施例中使用的摄像头参数是每秒9帧，即110ms拍摄一次，也可以使用帧数更高的摄像头进行数据采集。采集后的视频信息借由并行端口或USB连接等方式输入编码模块200中进行处理。
S2：编码模块200通过编码方案将视频转换为图像并传输给处理模块300；具体的，编码模块200采用的编码方案为H.265视频编码方案，能够实现利用1～2Mbps的传输速度传送分辨率为1280*720的普通高清视频，H.265是一种视频压缩技术，可将视频压缩更小，有利于提高传输速率，接受端使用相同的解码方案解压。
编码模块200将图像传输给处理模块300采用的传输协议为实时流传输协议，本实施例中采用的实时流传输协议(RTSP)具体为RFC2326，该协议是TCP/IP协议体系中的一个应用层协议，
该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP使用TCP或UDP完成数据传输。使用RTSP进行传输时，客户机和服务器都可以发出请求，即RTSP可以是双向的。RTSP是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制，传输时所用的网络通讯协定并不在其定义的范围内，服务器端可以自行选择使用TCP或UDP来传送串流内容，它的语法和运作跟HTTP 1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。
S3：处理模块300识别出图像中的他方车辆的前后轮，并打标输出前后轮点的像素坐标，像素坐标传输给计算机视觉模块400；其中，处理模块300部署于车载计算终端600内，其识别采用深度学习的方式，基于yolo3_darknet模型进行，在模型投入实际使用前需要进行训练，具体还包括以下步骤，
S3-1：采集模块100采集图像作为训练样本；采集包含汽车以及车轮的图像作为训练样本，为了充分考虑实际车辆行驶的环境，训练样本应在不同环境下采集，包括白天、雨天、阴天、上午、下午等各种光照和阴影环境。
S3-2：基于所述训练样本对处理模块300进行训练；其中，训练过程还包括以下步骤，
使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像；
处理模块300对训练样本进行识别，识别出训练样本中的汽车前、后车轮四个角点位置，并计算前、后车轮边框下边框中心点坐标；
反复训练直至训练充分，将训练后的处理模块300投入实际使用。其中，本领域技术人员应当理解的是，可以通过对比处理模块300的识别计算结果和打标工具输出的标注图像计算训练误差，或设置一定的训练次数，如500次以上，从而判断训练是否充分。
S3-3：利用训练后的处理模块300识别编码模块200输出的图像中他方车辆的前后轮，并打标输出前后轮点的像素坐标。
其中，计算前、后车轮边框下边框中心点坐标还包括以下步骤，根据处理模块300得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc,yc)为车轮下边框中心点的像素坐标，(xleft,yleft)和(xright,yright)分别为车轮边框左上角和右下角点的坐标。
基于以上计算方法，即可得到图像中他方车辆前后车轮点的像素坐标。
S4：计算机视觉模块400将所述像素坐标转换成世界坐标，并依据他方车辆前后轮的坐标画出参考线以及我方车辆的中轴线，得到参考线与中轴线夹角α；其中，处理模块300将得到他方车辆前后车轮点的像素坐标输入计算机视觉模块400，计算机视觉模块400利用相机标定原理将像素坐标转换成世界坐标，并通过连接他方车辆的前、后轮的下边框中心点，得到的连线所在的直线为参考线，并根据我方车辆行驶的方向得到中轴线，向方车辆行驶的方向延长中轴线，并延长参考线使二者相交，得到的夹角为夹角α。
S5：判断模块500根据夹角α进行判断碰撞风险，并根据碰撞风险做出相应的策略。具体的，碰撞风险包括以下类别，
当夹角α<5°，判断不会发生碰撞；
当5°<α<10°，判断存在碰撞风险；
当10°<α<15°，判断会发生碰撞且立即刹车可以避免；
当夹角α＞15°，判断会发生碰撞且立即刹车无法避免。
根据碰撞风险做出的策略包括以下类别，
判断不会发生碰撞时，我方车辆继续正常行驶；
判断存在碰撞风险时，我方车辆的中控模块700发出提醒；其中，中控模块700可以是安装在我方车辆上的显示屏，参照图2，存在碰撞风险时，可以通过显示屏显示周围存在碰撞可能的车辆，从而提醒驾驶员注意。
判断会发生碰撞且立即刹车可以避免时，我方车辆立即进行自动刹车；
判断会发生碰撞且立即刹车无法避免，参照图3，我方车辆立即向侧方避让并刹车。
场景一：
为了验证本发明提供的方法在判断碰撞风险时的优势，本实施例中以假设限速60公里每小时、长度2公里的一条道路为例，该道路选择为本司地址旁天元西路地铁站1号口至胜太西路4号口的路段，该路段为行程为2公里的直线段，在一辆汽车上以本发明提供的基于车载摄像头避让他方车辆的方法进行碰撞风险的判断和避让，并对比传统方法中使用摄像头和毫米波雷达融合的方法进行避让时，二者对他方存在碰撞风险的车辆是否能准确检测出来，以及检测所需要的时间。
需要说明的是，为了使检测结果更可靠，每种方法分别测试50次，取平均结果作为平均检测时间，实际存在碰撞风险的他方车辆数指通过监控和计算发现，行驶过程中我方车辆实际应当做出避让反应的他方车辆数。
测试结果如下：
表1：本发明和传统方案在相同路况下的检测结果
根据检测后的分析，传统方案中使用摄像头和毫米波雷达融合的方法进行检测避让造成的5次误检测为道路旁井盖造成的干扰，误识别为一个目标造成的，而本发明提供的方法准确性更高；同时，在实际成本上本发明采集模块的成本远低于传统方案的采集模块成本，在应用中能够大大降低制造商和消费者的开支，对于中低端车型更加友好，有益于技术的普及。
实施例2
参照图4的示意，示意为本实施例提出的一种基于车载摄像头避让他方车辆的系统，上述基于车载摄像头避让他方车辆的方法能够依托于本系统实现。具体的，该系统包括采集模块100、编码模块200、处理模块300、计算机视觉模块400、判断模块500、车载计算终端600和中控模块700。其中，采集模块100用于采集图像或视频信息；编码模块200能将采集到的视频转换为图像；处理模块300用于识别图像中车辆的前后轮以及得到其像素坐标；计算机视觉模块400能够进行坐标转换和画线；判断模块500用于进行碰撞风险的判断；编码模块200、处理模块300、计算机视觉模块400和判断模块500均部署于车载计算终端600内；中控模块700能够根据判断模块500的判断结果显示提示信息。
还需要说明的是，采集模块100为摄像头，具有视频摄像、传播和静态图像捕捉等基本功能。采集模块100通过接口与车载计算终端600相连，将采集到的视频或图像信息传输给编码模块200或处理模块300，编码模块200采用的是H.265视频编码标准。编码模块200与处理模块300之间的传输采用RTSP网络传输协议，处理模块300采用的是基于深度学习的识别方式对图像进行识别处理，判断模块500根据计算机视觉模块400得到的夹角α进行碰撞风险的判断，并根据碰撞风险采取不同的对应策略。中控模块700为汽车的中控系统，本实施例中可以包括车载中控屏，在屏幕上显示可能发生碰撞的提醒。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于车载摄像头避让他方车辆的方法，其特征在于：包括以下步骤，
采集模块(100)实时采集我方车辆周围视频信息，并传输给编码模块(200)；
所述编码模块(200)通过编码方案将视频转换为图像并传输给处理模块(300)；
所述处理模块(300)识别出图像中的他方车辆的前后轮，并打标输出前后轮点的像素坐标，像素坐标传输给计算机视觉模块(400)；
计算机视觉模块(400)将所述像素坐标转换成世界坐标，并依据他方车辆前后轮的坐标画出参考线以及我方车辆的中轴线，得到参考线与中轴线夹角α；
判断模块(500)根据夹角α进行判断碰撞风险，并根据碰撞风险做出相应的策略；
所述编码模块(200)采用的编码方案为H.265视频编码方案，能够实现利用1～2Mbps的传输速度传送分辨率为1280*720的普通高清视频；
所述编码模块(200)将图像传输给处理模块(300)采用的传输协议为实时流传输协议；
所述处理模块(300)部署于车载计算终端(600)内，还包括以下步骤，
采集模块(100)采集图像作为训练样本；
基于所述训练样本对处理模块(300)进行训练；
利用训练后的处理模块(300)识别编码模块(200)输出的图像中他方车辆的前后轮，并输出前后轮点的像素坐标；
所述训练还包括以下步骤，
使用打标工具对训练样本进行打标并标注出车轮四个角点位置，输出标注图像；
利用所述处理模块(300)对训练样本进行识别，识别出训练样本中的汽车前、后车轮四个角点位置，并计算前、后车轮边框下边框中心点坐标；
反复训练直至训练充分，将训练后的处理模块(300)投入实际使用；
所述计算还包括以下步骤，
根据处理模块(300)得到的车轮位置坐标，计算出车轮下边框中心点坐标，计算公式如下：
yc＝yright
其中，(xc，yc)为车轮下边框中心点的像素坐标，(xleft，yleft)和(xright，yright)分别为车轮边框左上角和右下角点的坐标；
所述计算机视觉模块(400)将所述像素坐标转换成世界坐标利用相机标定原理进行，连接他方车辆的前、后轮的下边框中心点，其所在的直线为参考线，根据我方车辆行驶的方向得到中轴线；
所述判断模块(500)判断的碰撞风险包括以下类别，
当夹角α＜5°，判断不会发生碰撞；
当5°＜α＜10°，判断存在碰撞风险；
当10°＜α＜15°，判断会发生碰撞且立即刹车可以避免；
当夹角α＞15°，判断会发生碰撞且立即刹车无法避免；
所述根据碰撞风险做出的策略包括以下类别，
判断不会发生碰撞时，我方车辆继续正常行驶；
判断存在碰撞风险时，我方车辆的中控模块(700)发出提醒；
判断会发生碰撞且立即刹车可以避免时，我方车辆立即进行自动刹车；
判断会发生碰撞且立即刹车无法避免，我方车辆立即向侧方避让并刹车。
2.一种采用权利要求1所述的基于车载摄像头避让他方车辆方法的系统，
其特征在于：包括，
采集模块(100)，所述采集模块(100)能够采集图像或视频信息；
编码模块(200)，所述编码模块(200)能将采集到的视频转换为图像；
处理模块(300)，所述处理模块(300)用于识别图像中车辆的前后轮以及得到其像素坐标；
计算机视觉模块(400)，所述计算机视觉模块(400)能够进行坐标转换和画线；
判断模块(500)，所述判断模块(500)用于进行碰撞风险的判断；
车载计算终端(600)，所述编码模块(200)、处理模块(300)、计算机视觉模块(400)和判断模块(500)均部署于所述车载计算终端(600)内；
中控模块(700)，所述中控模块(700)能够根据判断模块(500)的判断结果显示提示信息。
CN201910939952.2A 2019-09-30 2019-09-30 一种基于车载摄像头避让他方车辆的方法及系统 Active CN110648360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910939952.2A CN110648360B (zh) 2019-09-30 2019-09-30 一种基于车载摄像头避让他方车辆的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910939952.2A CN110648360B (zh) 2019-09-30 2019-09-30 一种基于车载摄像头避让他方车辆的方法及系统

Publications (2)

Publication Number Publication Date
CN110648360A CN110648360A (zh) 2020-01-03
CN110648360B true CN110648360B (zh) 2023-08-01

Family

ID=69012154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910939952.2A Active CN110648360B (zh) 2019-09-30 2019-09-30 一种基于车载摄像头避让他方车辆的方法及系统

Country Status (1)

Country Link
CN (1) CN110648360B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN116277029B (zh) * 2023-04-26 2024-04-09 北京朴津智能科技有限公司 一种全方位防碰撞装置及移动机器人

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101721442B1 (ko) * 2015-05-12 2017-03-30 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
CN106845547B (zh) * 2017-01-23 2018-08-14 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN110065494B (zh) * 2019-04-09 2020-07-31 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN110264783B (zh) * 2019-06-19 2022-02-15 华设设计集团股份有限公司 基于车路协同的车辆防碰撞预警系统及方法

Also Published As

Publication number Publication date
CN110648360A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
US11747809B1 (en) System and method for evaluating the perception system of an autonomous vehicle
US10565458B2 (en) Simulation system, simulation program and simulation method
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及系统
US7925050B2 (en) Vehicle environment monitoring apparatus
CN102059978B (zh) 驾驶辅助方法与系统
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
US20160065944A1 (en) Image display apparatus and image display method
CN110648360B (zh) 一种基于车载摄像头避让他方车辆的方法及系统
CN107097794B (zh) 道路车道线的侦测系统及其方法
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
US11586843B1 (en) Generating training data for speed bump detection
CN111856417B (zh) 车载毫米波雷达的性能分析方法、装置、终端及存储介质
CN108973918B (zh) 一种实现车辆盲区监测的装置及方法
CN113903012A (zh) 碰撞预警方法及装置、车载设备及存储介质
JP4848644B2 (ja) 障害物認識システム
CN111332306A (zh) 一种基于机器视觉的交通道路感知辅助驾驶预警装置
CN108394416B (zh) 一种车位显示辅助方法及系统
Olaverri-Monreal et al. Tailigator: Cooperative system for safety distance observance
TWI621073B (zh) Road lane detection system and method thereof
JP4404047B2 (ja) 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム
CN106627149B (zh) 一种汽车仪表盘及控制方法
CN110347043B (zh) 一种智能驾驶控制方法及装置
KR20130045658A (ko) 차량 그림자를 이용한 차간 거리 검출방법 및 시스템
CN111332305A (zh) 一种主动预警型交通道路感知辅助驾驶预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant