CN111316337A - 车载成像装置的安装参数的确定与驾驶控制方法及设备 - Google Patents

车载成像装置的安装参数的确定与驾驶控制方法及设备 Download PDF

Info

Publication number
CN111316337A
CN111316337A CN201880072126.6A CN201880072126A CN111316337A CN 111316337 A CN111316337 A CN 111316337A CN 201880072126 A CN201880072126 A CN 201880072126A CN 111316337 A CN111316337 A CN 111316337A
Authority
CN
China
Prior art keywords
road
imaging device
vehicle
routes
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880072126.6A
Other languages
English (en)
Inventor
苏坤岳
叶长春
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111316337A publication Critical patent/CN111316337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供一种车载成像装置的安装参数的确定与驾驶控制方法及设备，基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，其中N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，准确确定所述成像装置的安装参数。在智能驾驶过程中，可以根据准确确定的成像装置的安装参数，将检测到的道路线准确投影到鸟瞰视角下，基于该准确投影的道路线进行智能驾驶时，可以提高智能驾驶的安全性和可靠性。

Description

车载成像装置的安装参数的确定与驾驶控制方法及设备
技术领域
本发明实施例涉及智能驾驶技术领域，尤其涉及一种车载成像装置的安装参数的确定与驾驶控制方法及设备。
背景技术
随着智能驾驶的发展，在道路行驶中，为了提高智能驾驶的安全性，则需要对道路上的车道线进行检测。车道线检查主要用于视觉导航系统，从成像装置拍摄的道路图中检测出车道线，并将检测到的车道线投影到鸟瞰视角(birdview)下，便于检测出车辆与车道线的偏离程度。
将检测到的车道线投影到鸟瞰视角下，目前常见的方法是将地平面作为投影幕平面，根据地平面与成像装置之间的俯仰角，以及车身高度，将检测到的车道线投影到鸟瞰视角下。
通常的做法是将成像装置默认为水平，或者在出厂、安装时进行一次校正或标定来获取俯仰角并据此进行后续计算。但是，由于在车辆运行过程中的震动或者固定安装组件松动等，成像装置的俯仰角会因此发生变化，会导致如果继续使用初始的俯仰角的话无法准确地将检测到的车道线准确投影到鸟瞰视角下，从而影响后续的进一步计算。
发明内容
本发明实施例提供一种车载成像装置的安装参数的确定与驾驶控制方法及设备，以实现对成像装置的安装参数的准确确定。
第一方面，本发明实施例提供一种车载成像装置的安装参数的确定方法，包括：
基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；
确定所述N条道路线的消失点；
基于所述消失点，确定所述成像装置的安装参数。
第二方面，本发明实施例提供一种驾驶控制方法，包括：
基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；
确定所述N条道路线的消失点；
基于所述消失点，确定所述成像装置的安装参数；
基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；
基于所述道路线的俯视图，控制所述车辆智能驾驶。
第三方面，本发明实施例提供一种电子设备，包括：
成像装置，用于采集道路图，所述成像装置安装在车辆上；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，具体用于基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数。
第四方面，本发明实施例提供一种驾驶控制设备，包括：
成像装置，用于采集道路图，所述成像装置安装在车辆上；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，具体用于基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数；基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；基于所述道路线的俯视图，控制所述车辆智能驾驶。
第五方面，本发明实施例提供一种车辆，包括：车身，所述车身上安装有如第三方面所述的电子设备，或者，所述车身上安装有如第四方面所述的驾驶控制设备。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行本发明实施例第一方面所述的车载成像装置的安装参数的确定方法，或者，执行本发明实施例第二方面所述的驾驶控制方法。
第七方面，本发明实施例提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现本发明实施例第一方面所述的车载成像装置的安装参数的确定方法或第二方面所述的驾驶控制方法。
本发明实施例提供的车载成像装置的安装参数的确定与驾驶控制方法及设备，基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，其中N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，准确确定所述成像装置的安装参数。在智能驾驶过程中，可以根据准确确定的成像装置的安装参数，将检测到的道路线准确投影到鸟瞰视角下，基于该准确投影的道路线进行智能驾驶时，可以提高智能驾驶的安全性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例涉及的道路图；
图2为本发明实施例涉及的鸟瞰视角下的道路图；
图3为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图；
图4为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图；
图5为本发明实施例涉及的平面投影图；
图6为本发明实施例涉及的直方图；
图7为图6所示的直方图的变化趋势示意图；
图8为本发明实施例涉及多条道路线相交示意图；
图9为本发明实施例涉及的成像装置的第一位置示意图；
图10为成像装置在第一位置时光心与消失点的示意图；
图11为本发明实施例涉及的成像装置的第二位置示意图；
图12为成像装置在第二位置时光心与消失点的示意图；
图13为本发明实施例涉及的成像装置的第三位置示意图；
图14为成像装置在第三位置时光心与消失点的示意图；
图15为本发明实施例涉及的成像装置的第四位置示意图；
图16为成像装置在第四位置时光心与消失点的示意图；
图17为本发明实施例涉及的成像装置的成像原理示意图；
图18为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图；
图19为本发明实施例提供的驾驶控制方法的流程示意图；
图20为本发明实施例提供的电子设备的结构示意图；
图21为本发明实施例提供的驾驶控制设备的结构示意图；
图22为本发明实施例提供的车辆的结构示意图；
图23为本发明实施例提供的车辆的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的方法适用于计算机视觉、智能驾驶等需要获得成像装置的安装参数的领域。
示例性的，本发明实施例的方法可以应用于智能驾驶领域，其中智能驾驶包括自动驾驶和辅助驾驶。如图1所示，在智能驾驶中需要对道路上的道路线进行检查，例如，对道路上的车道线进行检测，并根据检测到的车道线进行控制车辆驾驶，或者根据检测到的车道线进行车道线偏离预警，以提高智能驾驶的安全性和可靠性。
在根据检测到的车道线进行智能驾驶时，需要将检测到的车道线投影到鸟瞰视角下，如图2所示。具体是，将地面作为地平面，根据成像装置与地平面之间的俯仰角，以及车身的高度，将检测到的车道线投影到地平面上，根据车道线在地平面上的投影，快速、准确地检测出车辆与车道线之间的偏离程度。
但是，由于成像装置在初始安装时的误差，和/或在后期的使用过程中，由于震动使得固定成像装置的安装组件松动等原因，成像装置与地平面之间的俯仰角等安装参数会产生一些变化，此时，根据成像装置的初始俯仰角无法将车道线准确投影到地面平上。
为了解决上述技术问题，本发明实施例的方法，通过动态实时地预估成像装置的当前安装参数，实现对成像装置的安装参数的准确确定的。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图，如图3所示，本发明实施例的方法可以包括：
S101、基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
其中，所述N为大于等于2的正整数。
本发明实施例的车载成像装置为安装在车辆上的成像装置，该成像装置对车辆行驶的道路进行拍摄获得道路图。道路图指的是当车辆行驶在道路上时成像装置拍摄所获取的包含道路的图像。可以理解的是，道路图可以不包括当车辆行驶在非道路区域，例如在草地、沙地等无明显地面特征的区域行驶时所获取的图像。
该道路图中包括至少两条道路线，即N大于等于2。
本发明实施例的道路线为道路图中的纵向平行线，例如为车道线、路肩线、栅栏线或者是其他的在纵向上平行线。例如，道路图中的N条道路线可以均为车道线，也可以包括车道线和路肩线，或者是其他的纵向平行线的组合，此处并不作限制。
本发明实施例的执行主体为电子设备，该电子设备可以但不限于是智能手机、计算机、车载设备、车载系统等。本实施例的执行主体具体为上述电子设备中的处理器。
可选的，本实施例的电子设备与成像装置电连接或通信连接。该成像装置可以拍摄车辆运行前方(或四周)的场景的道路图。其中，该道路图可以为单帧图像，也可为拍摄的视频流中的帧图像。
可选的，本发明实施例的电子设备与成像装置为一个整体，即本申请的电子设备为成像装置，该成像装置不仅可以拍摄道路图，还可以对道路图进行处理，检测出道路图中的N条道路线。
可选的，本发明实施例的电子设备可以是行车记录仪，车载装置、辅助驾驶装置或自动驾驶装置等。
可选的，本实施例可以采用边缘检测法，对道路图中的道路线进行检测。
可选的，本实施例可以采用支持向量机法，对道路图中的道路线进行检测。
可选的，本实施例还可以采用其他的道路线检测方法，对道路图对道路图中的道路线进行检测。
S102、确定所述N条道路线的消失点。
道路线在真实世界的3D空间中是平行的，但基于常用相机的透视成像原理，它们在相机的二维图像中最终会相交于一点，将该交点称为道路线的消失点(Vanishingpoint)。
这样，基于上述检测出N条道路线，可以确定出N条道路线的消失点。
S103、基于所述消失点，确定所述成像装置的安装参数。
在理想状态下，即成像装置的安装位置水平，道路线的消失点与成像装置的光心重合。
当成像装置的安装位置发生变化时，即不处于水平位置时，上述确定的消失点与成像装置的光心不重合，
基于上述理由，可以基于上述确定的消失点，确定出成像装置当前时刻的安装参数，进而实现对成像装置的安装参数的准确实时确定的。
可选的，成像装置的安装参数可以包括实际俯仰角和实际偏航角中的至少一个。
本发明实施例提供的车载成像装置的安装参数的确定方法，基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，其中N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，准确确定所述成像装置的安装参数。在智能驾驶过程中，可以根据准确确定的成像装置的安装参数，将检测到的道路线准确投影到鸟瞰视角下，基于该准确投影的道路线进行智能驾驶时，可以提高智能驾驶的安全性和可靠性。
图4为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图，在上述实施例的基础上，本发明实施例的方法可以包括：
S201、基于深度神经网络，确定所述道路图上道路线的候选区域。
本发明实施例的深度神经网络可以是FCN(Fully Convolutional Networks，全卷积网络)、ResNet(Residual Network，残差网络)或卷积神经网络等。
可选的，本实施例的深度神经网络包括7个卷积层，分别为：第一个卷积层的参数为145*169*16，第二个卷积层的参数为73*85*32，第三个卷积层的参数为37*43*64，第四个卷积层的参数为19*22*128，第五个卷积层的参数为73*85*32，第六个卷积层的参数为145*169*16，第七个卷积层的参数为289*337*5。
本发明实施例的深度神经网络可以为事先训练好，将成像装置采集的道路图输入到该神经网络时，该深度神经网络输出道路图中道路线的候选区域。
S202、统计所述候选区域中属于道路线的纵向像素点的个数。
S203、若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线。
在根据上述步骤进行道路线检测时，可能检测出错误的道路线，或者是在转弯的时候，道路线并不会交于消失点，对于这些道路线需要过滤掉，从中选择出纵向为直线的道路线。
具体是，针对上述获得的多个道路线的候选区域中的每个候选区域，对该候选区域中属于道路线的纵向像素点的个数进行统计。若候选区域对应的纵向像素点的个数大于预设值，则确定该候选区域为道路线。
在一种示例中，为了便于像素点的统计，上述S202可以包括：利用成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；统计所述平面投影图中属于道路线的纵向像素点的个数。
具体的，将候选区域投影至地平面上，获得所述候选区域的平面投影图，例如如图5所示，统计平面投影图中每个候选区域中属于道路线的纵向像素点的个数。若候选区域对应的纵向像素点的个数大于预设值，则确定该候选区域为道路线。
可选的，对图5所示的平面投影图中每个候选区域中属于道路线的纵向像素点的个数进行统计，获得如图6所示的直方图，这样可以根据直方图的变化趋势，确定道路线。例如，若图6所示的直方图的变化趋势如图7所示，即波峰与相邻的波谷之间的差值大于预设值，则可以确定车辆在道路上直线行驶，此时，可以确定波峰所对应的候选区域为道路线。若波峰与相邻的波谷之间的差值小于预设值，则可以确定车辆在道路进行转弯或掉头，舍弃这些道路线的候选区域。
S204、将所述道路线拟合成直线。
根据上述步骤，确定出道路线后，将道路线拟合成直线，例如，使用直线方程：ax+by＝c，将道路线对应的像素点拟合成直线，进而使得获得的道路线均为直线，为后续消失点的确定奠定基础。
S205、确定所述N条道路线的消失点。
在一种示例中，若N为2，则上述S205确定所述N条道路线的消失点，可以包括：将两条道路线的交点作为两条道路线的消失点。
若N大于2，若道路线检测准确，N条道路线可以相交于一个消失点，此时，确定N条道路线的消失点，可以是将N条道路线的交点作为N条道路线的消失点。
在实际应用中，若N大于2，由于图像采集误差、道路线检测误差等，如图8所示，可能使得N条道路线中两两相交的消失点都不相同。
在另一种示例中，若N大于2，则上述S205确定所述N条道路线的消失点，包括：将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
具体的，假设N条道路线的消失点为P＝(x0，y0)，通过下式(1)寻找一个最优解对应的(x0，y0)，可以得到消失点P。
Figure BDA0002480727790000081
在另一种示例中，上述将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点，可以包括：过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
可选的，基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
举例说明，假设N为4，从中任选两条道路线，记为道路线1和道路线2，将道路线1与道路线2的交点记为消失点1，计算消失点1与道路线3的距离为距离1，消失点1与道路线4的距离为距离2，若距离1与距离2之和大于预设误差要求a，则确定道路线1与道路线2中至少有一条道路线存在问题。将道路线1、道路线3和道路线4分为第一组，将道路线2、道路线3和道路线4分为第二组。在第一组中，确定道路线1与道路线3的交点距离道路线4的距离3，若距离3大于预设误差要求值，确定道路线1存在问题，删除掉道路线1。可选的，在第一组中，还可以确定道路线1与道路线4的交点距离道路线3的距离4，若距离4大于预设误差要求，确定道路线1存在问题，删除掉道路线1。同理，对于第二组，确定道路线2与道路线3的交点距离道路线4的距离5，若距离5大于预设误差要求，确定道路线2存在问题，删除掉道路线2。可选的，在第二组中，还可以确定道路线2与道路线4的交点距离道路线3的距离6，若距离6大于预设误差要求，确定道路线2存在问题，删除掉道路线2。
参照上述例子，基于随机抽样一致RANSAC算法，过滤掉N条道路线中不满足预设误差要求的误差道路线，获得M条满足预设误差要求的道路线。接着，将M条道路线带入如下式(2)，
Figure BDA0002480727790000082
确定与M条道路线的距离之和最小的点，将该点作为N条道路线的消失点。
S206、基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
将成像装置绕x轴的旋转记为roll偏转，将成像装置绕y轴的旋转记为pitch偏转，将成像装置绕z轴的旋转记为yaw偏转。
在实际应用中，成像装置的位置通常包括如下4种情况：
情况1，如图9所示，当成像装置的像平面垂直于地面平且垂直与道路线的时候(理想情况下，一条直路，车身水平，成像装置也安装水平)，即成像装置在x轴、y轴和z轴方向均没有偏转，此时，如图10所示，消失点会在像平面的中心点O。此时，成像装置的安装参数即为初始安装参数。
情况2，如图11所示，当成像装置的像平面和地面平不垂直的时候，例如成像装置安装的时候向下或向上，即成像装置沿着y轴旋转，有个俯仰角度(下面用χ表示，称为pitch角)，如图12所示，消失点会在像平面上沿着直线x＝cx移动，即消失点相对于成像装置的光心具有竖直位移，此时，可以基于消失点、光心和成像参数，确定成像装置当前时刻的俯仰角，将该俯仰角记为成像装置的实际俯仰角。
情况3，如图13所示，当成像装置的像平面和路面不垂直，例如，车辆行驶过程中变道，此时，成像装置绕z轴旋转，有个偏航角度(下面用φ表示，称为yaw角)，如图14所示，此时，消失点会在像平面上沿着直线c＝cy移动，即消失点相对于成像装置的光心具有水平位移，此时，可以基于消失点、光心和成像参数，确定成像装置当前时刻的偏航角度，将该偏航角度记为成像装置的实际偏航角。
情况4，如图15所示，当成像装置沿着x轴旋转时，有个横滚角度(下面用ψ表示，称为roll角)，即成像装置安装的时候不水平，一高一低，此时，如图16所示，光心不会变化，与消失点重合。
以上可知，消失点在像平面中的位置，与pitch角χ和yaw角φ有关。如图17所示，经过光心O，并平行于道路线的向量OV，也会与道路线交汇于消失点，令V＝(1,0,0)，消失点在像平面上坐标记为(u,v)。
射线OV上任一点记为P，O点在空间中坐标为X0(x0,y0,z0)，则P的坐标可以写成P＝X0+λV，λ是变量，确定λ可以得到确定的P，根据相机小孔成像模型投影公式(3)：
Figure BDA0002480727790000091
Figure BDA0002480727790000101
其中，αx＝fmx,αy＝fmy,f为焦距，mx和my为x、y方向上，单位距离的像素数。γ为x、y轴之间的畸变参数(例如，CCD相机，像素不为正方形)。μ0，v0为光心位置。矩阵R为旋转矩阵，矩阵T为位移矩阵，R和T为相机的外参，表达的是三维空间中，世界坐标系到相机坐标系的旋转与位移变换。
将P点的坐标带入上述公式(3)，得到公式(4)
Figure BDA0002480727790000102
当P为无穷远点，即λ无穷大时，上式(4)可以忽略X0，得到公式(4)的近似公式(5)
Figure BDA0002480727790000103
将V＝(1,0,0)带入公式(5)，得到公式(6)
Figure BDA0002480727790000104
将旋转矩阵R带入公式(6)
Figure BDA0002480727790000105
得到公式(7)
Figure BDA0002480727790000106
将上述步骤确定的消失点带入公式(7)，求取实际俯仰角即χ和实际偏航角即φ。
可选的，通过低通滤波器对上述获得的实际俯仰角和实际偏航角进行噪声滤除，平滑检测结果，例如，使用通过巴待沃思滤波器(Butterworth filter),契比雪夫滤波器(Chebyshev filter)，高斯滤波器(Gaussian filter)等进行滤波。
本发明实施例提供的车载成像装置的安装参数的确定方法，基于深度神经网络，确定所述道路图上道路线的候选区域，并统计候选区域中属于道路线的纵向像素点的个数；若纵向像素点的个数大于预设值，则确定候选区域为道路线；将道路线拟合成直线，进而保证获得的道路线均为直线。同时，针对不同的情况，使用不同的方法确定消失点，实现对消失点的准确确定。进一步的，通过对成像装置的安装情况进行分析，准确确定出成像装置的安装参数。
图18为本发明实施例提供的车载成像装置的安装参数的确定方法的流程图，在上述实施例的基础上，本发明实施例的方法包括：
S301、确定车辆的行驶状态。
本发明实施例的车辆为安装所述成像装置的车辆。
本发明实施例在基于车载成像装置拍摄的道路图，检测道路线之前，首先需要确定车辆的行驶状态，其中，车辆的行驶状态可以包括直线行驶、转弯、变道或掉头等。在确定的行驶状态为直线行驶时，才执行后续道路线的检测过程。
在一种示例中，上述S301包括步骤A和步骤B；
步骤A，获取所述车辆当前采样时刻的IMU(Inertial Measurement Unit，惯性测量单元)数据。
本发明实施例的IMU数据包括车辆的加速度和陀螺仪数据，如果IMU的采集频率为400Hz，获得当前采样时刻的IMU数据为400个数据，
步骤B，根据所述IMU数据，确定所述车辆的行驶状态。
接着，根据上述采集的IMU数据，确定车辆的行驶状态，例如，IMU数据为车辆的加速度，当车辆沿着直线行驶时，加速度通常保持不变或递增，当车辆转弯、变道或掉头时，车辆的加速度会显著降低，这样，可以根据车辆的加速度，确定出车辆的行驶状态。
可选的，上述步骤B中根据所述IMU数据，确定所述车辆的行驶状态，可以包括：确定所述IMU数据的平均值和方差；若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
具体的，根据公式(8)，确定IMU数据的平均值x，
Figure BDA0002480727790000111
其中，xi为第i个IMU数据，n为IMU数据的总数量。
根据公式(9)，确定IMU数据的方差σ
Figure BDA0002480727790000121
平均值x小于预设平均值xt，且所述方差σ小于预设方差σt，则确定所述车辆直线行驶。其中，预设平均值和预设方差为工程经验值，可以根据实际情况进行修改。
在另一种示例中，上述S301可以包括：获取所述车辆的方向盘的旋转角度；根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
具体的，在直线行驶时，车辆的方向盘的旋转角度为0度，若方向盘的旋转角度大于0度，则确定车辆在转弯、变道或掉头。基于此，可以根据方向盘的旋转角度，确定车辆的行驶状态。
S302、若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
上述S302中基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线可以参照上述S202至S205的步骤，具体参照上述描述，在此不再赘述。
S303、确定所述N条道路线的消失点。
S304、基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
上述S303和S304可以参照上述S205和S206的步骤执行，具体参照上述实施例，在此不再赘述。
本发明实施例提供的车载成像装置的安装参数的确定方法，在进行道路线的检测之前，首先确定车辆的行驶状态，当车辆的行驶状态为直线行驶时，进行检测道路图中的道路线等后续流程，进而避免了成像装置的安装参数确定的盲目性，提高了成像装置的安装参数确定的有效性和准确性。
图19为本发明实施例提供的驾驶控制方法的流程示意图，在上述实施例的基础上，本发明实施例还提供一种驾驶控制方法，包括：
S401、基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数。
S402、确定所述N条道路线的消失点。
S403、基于所述消失点，确定所述成像装置的安装参数。
上述S401至S403的步骤可以参照上述实施例的步骤，在此不再赘述。
S404、基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图。
S405、基于所述道路线的俯视图，控制所述车辆智能驾驶。
本实施例的执行主体是驾驶控制设备，本实施例的驾驶控制设备和上述实施例所述的电子设备可以是同一设备，也可以单独的设备。
可选的，本发明实施例的驾驶控制设备与成像装置通信连接，可以获得成像装置采集的道路图。
可选的，本发明实施例的驾驶控制设备包括成像装置，例如该驾驶控制设备上设置有摄像头，该摄像头构成本发明实施例的成像装置。
具体的，驾驶控制设备根据上述实施例的方法，确定出成像装置的安装参数，以及检测出道路图中的道路线，具体过程参照上述实施例的描述，在此不再赘述。接着，驾驶控制设备根据成像装置的安装参数，将检测到的道路线投影到地平面上，获得道路线的俯视图，进而基于该俯视图进行车辆的智能加速，例如，输出提示信息和/或对车辆进行智能驾驶控制。
其中，提示信息可以包括车道线偏离预警提示，或者，进行车道线保持提示等。
本实施例的智能驾驶包括辅助驾驶和/或自动驾驶。
上述智能驾驶控制可以包括：制动、改变行驶速度、改变行驶方向、车道线保持、改变车灯状态、驾驶模式切换等，其中，驾驶模式切换可以是辅助驾驶与自动驾驶之间的切换，例如，将辅助驾驶切换为自动驾驶。
本实施例提供的驾驶控制方法，驾驶控制设备通过基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数；基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；基于所述道路线的俯视图，控制所述车辆智能驾驶，进而提高了智能驾驶的安全性和可靠性。
图20为本发明实施例提供的电子设备的结构示意图，如图20所示，本实施例的电子设备30包括：
成像装置31，用于采集道路图，所述成像装置安装在车辆上。
可选的，该成像装置31可以是摄像头或CCD(Charge-coupled Device，电荷耦合元件)。
存储器32，用于存储计算机程序；
处理器33，用于执行所述计算机程序，具体用于：
基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数。
可选的，本发明实施例的电子设备可以是行车记录仪，车载装置、辅助驾驶装置或自动驾驶装置等。
本发明实施例的电子设备，可以用于执行上述所示车载成像装置的安装参数的确定方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一种实现方式中，所述处理器33，具体用于基于深度神经网络，确定所述道路图上道路线的候选区域；统计所述候选区域中属于道路线的纵向像素点的个数；若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；将所述道路线拟合成直线。
在另一种实现方式中，所述处理器33，具体用于利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；统计所述平面投影图中属于道路线的纵向像素点的个数。
在另一种实现方式中，所述处理器33用于基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还用于：确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述处理器33，具体用于若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
在另一种实现方式中，所述处理器33，具体用于获取所述车辆当前采样时刻的惯性测量单元IMU数据；根据所述IMU数据，确定所述车辆的行驶状态。
在另一种实现方式中，所述处理器33，具体用于确定所述IMU数据的平均值和方差；若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
在另一种实现方式中，所述处理器33，具体用于获取所述车辆的方向盘的旋转角度；根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
可选的，所述道路线包括所述道路图上的纵向平行线。
在另一种实现方式中，所述N为2，所述处理器33，具体用于将两条道路线的交点作为所述两条道路线的消失点。
在另一种实现方式中，所述N大于2，所述处理器33，具体用于将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
在另一种实现方式中，所述处理器33，具体用于过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
在另一种实现方式中，所述处理器33，具体用于基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
可选的，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
在另一种实现方式中，所述处理器33，具体用于基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
在另一种实现方式中，所述处理器33，具体用于若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
在另一种实现方式中，所述处理器33，具体用于若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
本发明实施例的电子设备，可以用于执行上述所示车载成像装置的安装参数的确定方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图21为本发明实施例提供的驾驶控制设备的结构示意图，如图21所示，本实施例的驾驶控制设备40包括：
成像装置41，用于采集道路图，所述成像装置安装在车辆上。
该成像装置41可以是摄像头或CCD(Charge-coupled Device，电荷耦合元件)。
存储器42，用于存储计算机程序；
处理器43，用于执行所述计算机程序，具体用于：
基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数；基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；基于所述道路线的俯视图，控制所述车辆智能驾驶。
本发明实施例的驾驶控制设备，可以用于执行上述所示驾驶控制方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一种实现方式中，所述处理器43，具体用于基于深度神经网络，确定所述道路图上道路线的候选区域；统计所述候选区域中属于道路线的纵向像素点的个数；若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；将所述道路线拟合成直线。
在另一种实现方式中，所述处理器43，具体用于利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；统计所述平面投影图中属于道路线的纵向像素点的个数。
在另一种实现方式中，所述处理器43用于基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还用于：确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述处理器43，具体用于若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
在另一种实现方式中，所述处理器43，具体用于获取所述车辆当前采样时刻的惯性测量单元IMU数据；根据所述IMU数据，确定所述车辆的行驶状态。
在另一种实现方式中，所述处理器43，具体用于确定所述IMU数据的平均值和方差；若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
在另一种实现方式中，所述处理器43，具体用于获取所述车辆的方向盘的旋转角度；根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
可选的，所述道路线包括所述道路图上的纵向平行线。
在另一种实现方式中，所述N为2，所述处理器43，具体用于将两条道路线的交点作为所述两条道路线的消失点。
在另一种实现方式中，所述N大于2，所述处理器43，具体用于将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
在另一种实现方式中，所述处理器43，具体用于过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
在另一种实现方式中，所述处理器43，具体用于基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
可选的，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
在另一种实现方式中，所述处理器43，具体用于基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
在另一种实现方式中，所述处理器43，具体用于若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
在另一种实现方式中，所述处理器43，具体用于若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
本发明实施例的驾驶控制设备，可以用于执行上述所示驾驶控制方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图22为本发明实施例提供的车辆的结构示意图，如图22所示，本实施例的车辆50包括：车身51和安装在车身51上的电子设备52。
其中，电子设备52为图21所示的电子设备，该电子设备52用于确定成像装置的安装参数。
可选的，电子设备52安装在车身51的车顶，电子设备52中的成像装置可以朝向车辆的前方或后方，用于采集道路图。
可选的，电子设备52安装在车身51的前挡风玻璃上，或者，电子设备52安装在车身51的后挡风玻璃上。
可选的，电子设备52安装在车身51的车头上，或者，所述电子设备52安装在车身51的车尾上。
本发明实施例对电子设备52在车身51上的安装位置不限制，具体根据实际需要确定，其中电子设备52中的成像装置可以采集到道路图。
本发明实施例的车辆，可以用于执行上述所示车载成像装置的安装参数的确定方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图23为本发明实施例提供的车辆的结构示意图，如图23所示，本实施例的车辆60包括：车身61和安装在车身61上的驾驶控制设备62。
其中，驾驶控制设备62为图22所示的驾驶控制设备，该驾驶控制设备52用于控制车辆驾驶。
可选的，驾驶控制设备62安装在车身61的车顶，驾驶控制设备62中的成像装置可以朝向车辆的前方或后方，用于采集道路图。
可选的，驾驶控制设备62安装在车身51的前挡风玻璃上，或者，驾驶控制设备62安装在车身61的后挡风玻璃上。
可选的，驾驶控制设备62安装在车身61的车头上，或者，所述驾驶控制设备62安装在车身61的车尾上。
本发明实施例对驾驶控制设备62在车身61上的安装位置不限制，具体根据实际需要确定，其中驾驶控制设备62中的成像装置可以采集到道路图。
本发明实施例的车辆，可以用于执行上述所示驾驶控制方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例中还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括上述各实施例中的成像装置的安装参数的方法的部分或全部步骤，或者，所述程序执行时可包括上述各实施例中的驾驶控制方法的部分或全部步骤。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (66)

1.一种车载成像装置的安装参数的确定方法，其特征在于，包括：
基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；
确定所述N条道路线的消失点；
基于所述消失点，确定所述成像装置的安装参数。
2.根据权利要求1所述的方法，其特征在于，所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，包括：
基于深度神经网络，确定所述道路图上道路线的候选区域；
统计所述候选区域中属于道路线的纵向像素点的个数；
若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；
将所述道路线拟合成直线。
3.根据权利要求2所述的方法，其特征在于，所述统计所述候选区域中属于道路线的纵向像素点的个数，包括：
利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；
统计所述平面投影图中属于道路线的纵向像素点的个数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还包括：
确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，包括：
若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
5.根据权利要求4所述的方法，其特征在于，所述确定车辆的行驶状态，包括：
获取所述车辆当前采样时刻的惯性测量单元IMU数据；
根据所述IMU数据，确定所述车辆的行驶状态。
6.根据权利要求5所述的方法，其特征在于，所述根据所述IMU数据，确定所述车辆的行驶状态，包括：
确定所述IMU数据的平均值和方差；
若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
7.根据权利要求4所述的方法，其特征在于，所述确定车辆的行驶状态，包括：
获取所述车辆的方向盘的旋转角度；
根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述道路线包括所述道路图上的纵向平行线。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述N为2，所述确定所述N条道路线的消失点，包括：
将两条道路线的交点作为所述两条道路线的消失点。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述N大于2，所述确定所述N条道路线的消失点，包括：
将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
11.根据权利要求10所述的方法，其特征在于，所述将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点，包括：
过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；
将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
12.根据权利要求11所述的方法，其特征在于，所述过滤掉所述N条道路线中不满足预设误差要求的误差道路线，包括：
基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
14.根据权利要求13所述的方法，其特征在于，所述基于所述消失点，确定所述成像装置的安装参数，包括：
基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
15.根据权利要求14所述的方法，其特征在于，所述基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数，包括：
若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
16.根据权利要求14所述的方法，其特征在于，所述基于所述消失点和所述成像装置和光心，确定所述成像装置的安装参数，包括：
若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
17.一种驾驶控制方法，其特征在于，包括：
基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；
确定所述N条道路线的消失点；
基于所述消失点，确定所述成像装置的安装参数；
基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；
基于所述道路线的俯视图，控制所述车辆智能驾驶。
18.根据权利要求16所述的方法，其特征在于，所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，包括：
基于深度神经网络，确定所述道路图上道路线的候选区域；
统计所述候选区域中属于道路线的纵向像素点的个数；
若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；
将所述道路线拟合成直线。
19.根据权利要求18所述的方法，其特征在于，所述统计所述候选区域中属于道路线的纵向像素点的个数，包括：
利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；
统计所述平面投影图中属于道路线的纵向像素点的个数。
20.根据权利要求17-19任一项所述的方法，其特征在于，所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还包括：
确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线，包括：
若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
21.根据权利要求20所述的方法，其特征在于，所述确定车辆的行驶状态，包括：
获取所述车辆当前采样时刻的惯性测量单元IMU数据；
根据所述IMU数据，确定所述车辆的行驶状态。
22.根据权利要求21所述的方法，其特征在于，所述根据所述IMU数据，确定所述车辆的行驶状态，包括：
确定所述IMU数据的平均值和方差；
若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
23.根据权利要求20所述的方法，其特征在于，所述确定车辆的行驶状态，包括：
获取所述车辆的方向盘的旋转角度；
根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
24.根据权利要求17-23任一项所述的方法，其特征在于，所述道路线包括所述道路图上的纵向平行线。
25.根据权利要求17-24任一项所述的方法，其特征在于，所述N为2，所述确定所述N条道路线的消失点，包括：
将两条道路线的交点作为所述两条道路线的消失点。
26.根据权利要求17-24任一项所述的方法，其特征在于，所述N大于2，所述确定所述N条道路线的消失点，包括：
将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
27.根据权利要求26所述的方法，其特征在于，所述将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点，包括：
过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；
将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
28.根据权利要求27所述的方法，其特征在于，所述过滤掉所述N条道路线中不满足预设误差要求的误差道路线，包括：
基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
29.根据权利要求17-28任一项所述的方法，其特征在于，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
30.根据权利要求29所述的方法，其特征在于，所述基于所述消失点，确定所述成像装置的安装参数，包括：
基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
31.根据权利要求30所述的方法，其特征在于，所述基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数，包括：
若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
32.根据权利要求30所述的方法，其特征在于，所述基于所述消失点和所述成像装置和光心，确定所述成像装置的安装参数，包括：
若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
33.一种电子设备，其特征在于，包括：
成像装置，用于采集道路图，所述成像装置安装在车辆上；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，具体用于基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数。
34.根据权利要求33所述的电子设备，其特征在于，所述处理器，具体用于基于深度神经网络，确定所述道路图上道路线的候选区域；统计所述候选区域中属于道路线的纵向像素点的个数；若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；将所述道路线拟合成直线。
35.根据权利要求34所述的电子设备，其特征在于，所述处理器，具体用于利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；统计所述平面投影图中属于道路线的纵向像素点的个数。
36.根据权利要求33-35任一项所述的电子设备，其特征在于，所述处理器用于基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还用于：确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述处理器，具体用于若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
37.根据权利要求36所述的电子设备，其特征在于，所述处理器，具体用于获取所述车辆当前采样时刻的惯性测量单元IMU数据；根据所述IMU数据，确定所述车辆的行驶状态。
38.根据权利要求37所述的电子设备，其特征在于，所述处理器，具体用于确定所述IMU数据的平均值和方差；若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
39.根据权利要求36所述的电子设备，其特征在于，所述处理器，具体用于获取所述车辆的方向盘的旋转角度；根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
40.根据权利要求33-39任一项所述的电子设备，其特征在于，所述道路线包括所述道路图上的纵向平行线。
41.根据权利要求33-40任一项所述的电子设备，其特征在于，所述N为2，所述处理器，具体用于将两条道路线的交点作为所述两条道路线的消失点。
42.根据权利要求33-40任一项所述的电子设备，其特征在于，所述N大于2，所述处理器，具体用于将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
43.根据权利要求42所述的电子设备，其特征在于，所述处理器，具体用于过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
44.根据权利要求43所述的电子设备，其特征在于，所述处理器，具体用于基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
45.根据权利要求33-44任一项所述的电子设备，其特征在于，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
46.根据权利要求45所述的电子设备，其特征在于，所述处理器，具体用于基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
47.根据权利要求46所述的电子设备，其特征在于，所述处理器，具体用于若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
48.根据权利要求46所述的电子设备，其特征在于，所述处理器，具体用于若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
49.一种驾驶控制设备，其特征在于，包括：
成像装置，用于采集道路图，所述成像装置安装在车辆上；
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，具体用于基于所述成像装置拍摄的道路图，检测出所述道路图中的N条道路线，所述N为大于等于2的正整数；确定所述N条道路线的消失点；基于所述消失点，确定所述成像装置的安装参数；基于所述成像装置的安装参数和检测到的所述道路线，确定所述道路线的俯视图；基于所述道路线的俯视图，控制所述车辆智能驾驶。
50.根据权利要求49所述的驾驶控制设备，其特征在于，所述处理器，具体用于基于深度神经网络，确定所述道路图上道路线的候选区域；统计所述候选区域中属于道路线的纵向像素点的个数；若所述纵向像素点的个数大于预设值，则确定所述候选区域为道路线；将所述道路线拟合成直线。
51.根据权利要求50所述的驾驶控制设备，其特征在于，所述处理器，具体用于利用所述成像装置的初始俯仰角将所述候选区域投影至地平面上，获得所述候选区域的平面投影图；统计所述平面投影图中属于道路线的纵向像素点的个数。
52.根据权利要求49-51任一项所述的驾驶控制设备，其特征在于，所述处理器用于基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线之前，还用于：确定车辆的行驶状态，其中所述车辆为安装所述成像装置的车辆；
所述处理器，具体用于若确定所述车辆的行驶状态为直线行驶，则基于车载成像装置拍摄的道路图，检测出所述道路图中的N条道路线。
53.根据权利要求52所述的驾驶控制设备，其特征在于，所述处理器，具体用于获取所述车辆当前采样时刻的惯性测量单元IMU数据；根据所述IMU数据，确定所述车辆的行驶状态。
54.根据权利要求53所述的驾驶控制设备，其特征在于，所述处理器，具体用于确定所述IMU数据的平均值和方差；若所述平均值小于预设平均值，且所述方差小于预设方差，则确定所述车辆直线行驶。
55.根据权利要求52所述的驾驶控制设备，其特征在于，所述处理器，具体用于获取所述车辆的方向盘的旋转角度；根据所述方向盘的旋转角度，确定所述车辆的行驶状态。
56.根据权利要求49-55任一项所述的驾驶控制设备，其特征在于，所述道路线包括所述道路图上的纵向平行线。
57.根据权利要求40-56任一项所述的驾驶控制设备，其特征在于，所述N为2，所述处理器，具体用于将两条道路线的交点作为所述两条道路线的消失点。
58.根据权利要求40-56任一项所述的驾驶控制设备，其特征在于，所述N大于2，所述处理器，具体用于将与所述N条道路线的距离之和最小的点，作为所述N条道路线的消失点。
59.根据权利要求58所述的驾驶控制设备，其特征在于，所述处理器，具体用于过滤掉所述N条道路线中不满足预设误差要求的误差道路线，获得满足所述预设误差要求的M条道路线；将与所述M条道路线的距离之和最小的点，作为所述N条道路线的消失点。
60.根据权利要求59所述的驾驶控制设备，其特征在于，所述处理器，具体用于基于随机抽样一致RANSAC算法，过滤掉所述N条道路线中不满足所述预设误差要求的误差道路线。
61.根据权利要求49-60任一项所述的驾驶控制设备，其特征在于，所述成像装置的安装参数包括所述成像装置的实际俯仰角和实际偏航角中的至少一个。
62.根据权利要求61所述的驾驶控制设备，其特征在于，所述处理器，具体用于基于所述消失点、所述成像装置的光心和所述成像装置的成像参数，确定所述成像装置的安装参数。
63.根据权利要求62所述的驾驶控制设备，其特征在于，所述处理器，具体用于若所述消失点相对于所述光心具有竖直位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际俯仰角。
64.根据权利要求62所述的驾驶控制设备，其特征在于，所述处理器，具体用于若所述消失点相对于所述光心具有水平位移，则基于所述消失点、所述光心和所述成像参数，确定所述成像装置的实际偏航角。
65.一种车辆，其特征在于，包括：车身，所述车身上安装有如权利要求33-48任一项所述的电子设备，或者，所述车身上安装有如权利要求49-64任一项所述的驾驶控制设备。
66.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-16中任一项所述的车载成像装置的安装参数的确定方法，以及实现如权利要求17所述的驾驶控制方法。
CN201880072126.6A 2018-12-26 2018-12-26 车载成像装置的安装参数的确定与驾驶控制方法及设备 Pending CN111316337A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123991 WO2020132965A1 (zh) 2018-12-26 2018-12-26 车载成像装置的安装参数的确定与驾驶控制方法及设备

Publications (1)

Publication Number Publication Date
CN111316337A true CN111316337A (zh) 2020-06-19

Family

ID=71126110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072126.6A Pending CN111316337A (zh) 2018-12-26 2018-12-26 车载成像装置的安装参数的确定与驾驶控制方法及设备

Country Status (2)

Country Link
CN (1) CN111316337A (zh)
WO (1) WO2020132965A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215214A (zh) * 2020-12-11 2021-01-12 智道网联科技(北京)有限公司 调整智能车载终端的摄像头偏移的方法及系统
CN113642406A (zh) * 2021-07-14 2021-11-12 广州市玄武无线科技股份有限公司 密集悬挂纸片的清点系统、方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537749A (zh) * 2003-10-22 2004-10-20 西安交通大学 一种车载摄像机外部参数三线标定方法
US20080309763A1 (en) * 2007-04-18 2008-12-18 Sanyo Electric Co., Ltd. Driving Support System And Vehicle
CN102013099A (zh) * 2010-11-26 2011-04-13 中国人民解放军国防科学技术大学 车载摄像机外参数交互式标定方法
CN103699899A (zh) * 2013-12-23 2014-04-02 北京理工大学 基于等距曲线模型的车道线检测方法
CN105564335A (zh) * 2016-01-29 2016-05-11 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置
CN106127787A (zh) * 2016-07-01 2016-11-16 北京美讯美通信息科技有限公司 一种基于逆投影变换的相机标定方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107253467A (zh) * 2017-06-30 2017-10-17 成都西华升腾科技有限公司 使用imu的车道偏移判断系统
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108875603A (zh) * 2018-05-31 2018-11-23 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN108932472A (zh) * 2018-05-23 2018-12-04 中国汽车技术研究中心有限公司 一种基于车道线检测的自动驾驶行驶区域判别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537749A (zh) * 2003-10-22 2004-10-20 西安交通大学 一种车载摄像机外部参数三线标定方法
US20080309763A1 (en) * 2007-04-18 2008-12-18 Sanyo Electric Co., Ltd. Driving Support System And Vehicle
CN102013099A (zh) * 2010-11-26 2011-04-13 中国人民解放军国防科学技术大学 车载摄像机外参数交互式标定方法
CN103699899A (zh) * 2013-12-23 2014-04-02 北京理工大学 基于等距曲线模型的车道线检测方法
CN105564335A (zh) * 2016-01-29 2016-05-11 深圳市美好幸福生活安全系统有限公司 车辆摄像头的矫正方法及装置
CN106127787A (zh) * 2016-07-01 2016-11-16 北京美讯美通信息科技有限公司 一种基于逆投影变换的相机标定方法
CN106529493A (zh) * 2016-11-22 2017-03-22 北京联合大学 一种基于透视图的鲁棒性多车道线检测方法
CN107253467A (zh) * 2017-06-30 2017-10-17 成都西华升腾科技有限公司 使用imu的车道偏移判断系统
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN108932472A (zh) * 2018-05-23 2018-12-04 中国汽车技术研究中心有限公司 一种基于车道线检测的自动驾驶行驶区域判别方法
CN108875603A (zh) * 2018-05-31 2018-11-23 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215214A (zh) * 2020-12-11 2021-01-12 智道网联科技(北京)有限公司 调整智能车载终端的摄像头偏移的方法及系统
CN113642406A (zh) * 2021-07-14 2021-11-12 广州市玄武无线科技股份有限公司 密集悬挂纸片的清点系统、方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2020132965A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN107229908B (zh) 一种车道线检测方法
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
CN111336951B (zh) 用于校准图像传感器的外部参数的方法和设备
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
CN104854637B (zh) 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
US11340071B2 (en) Calibration system and calibration apparatus
JP6995188B2 (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
CN102646343B (zh) 车辆检测装置
JP5966747B2 (ja) 車両走行制御装置及びその方法
US9275458B2 (en) Apparatus and method for providing vehicle camera calibration
Lee et al. AVM/LiDAR sensor based lane marking detection method for automated driving on complex urban roads
CN107284455B (zh) 一种基于图像处理的adas系统
CN104204726A (zh) 移动物体位置姿态估计装置和移动物体位置姿态估计方法
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN111164648B (zh) 移动体的位置推断装置及位置推断方法
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
EP3935560A1 (en) Method for training and using a neural network to detect ego part position
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN111316337A (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN109883432B (zh) 位置确定方法、装置、设备及计算机可读存储介质
US20200193184A1 (en) Image processing device and image processing method
CN116358486A (zh) 基于单目相机的目标测距方法、装置及介质
CN117746357A (zh) 一种车道线识别方法、装置及电子设备
CN112215214A (zh) 调整智能车载终端的摄像头偏移的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200619

WD01 Invention patent application deemed withdrawn after publication