CN116767226A - 用于电动汽车的信息采集与监测管理系统及方法 - Google Patents

用于电动汽车的信息采集与监测管理系统及方法 Download PDF

Info

Publication number
CN116767226A
CN116767226A CN202310932932.9A CN202310932932A CN116767226A CN 116767226 A CN116767226 A CN 116767226A CN 202310932932 A CN202310932932 A CN 202310932932A CN 116767226 A CN116767226 A CN 116767226A
Authority
CN
China
Prior art keywords
monocular camera
target
representing
vanishing point
point coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310932932.9A
Other languages
English (en)
Inventor
李卓
何荣
许新桢
王伟民
冉洁
冯亮
王井
代晓红
柏松
张根海
黄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Qingyi Microsystem Technology Co ltd
Chongqing Qingyi Microsystem Research Institute
Original Assignee
Chongqing Qingyi Microsystem Technology Co ltd
Chongqing Qingyi Microsystem Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Qingyi Microsystem Technology Co ltd, Chongqing Qingyi Microsystem Research Institute filed Critical Chongqing Qingyi Microsystem Technology Co ltd
Priority to CN202310932932.9A priority Critical patent/CN116767226A/zh
Publication of CN116767226A publication Critical patent/CN116767226A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00Output or target parameters relating to objects
    • B60W2754/10Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及电动汽车数据采集领域,具体涉及用于电动汽车的信息采集与监测管理系统及方法。系统包括:单目摄像头,用于获取当前车辆所在路面上的待测目标的目标图像;车载陀螺仪,用于获取单目摄像头的位姿数据;数据处理模块,用于根据单目摄像头的位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息;车辆控制模块,用于根据当前车辆与待测目标之间的目标距离信息控制当前车辆的行驶状态。本发明通过单目摄像头实现电动汽车的距离信息检测,并且能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度,从而兼顾电动汽车信息采集与监测管理的成本和有效性。

Description

用于电动汽车的信息采集与监测管理系统及方法
技术领域
本发明涉及电动汽车数据采集技术领域,具体涉及用于电动汽车的信息采集与监测管理系统及方法。
背景技术
近年来,电动汽车在全球市场的销量呈现稳健增长趋势,电动汽车市场成长速度超过预期。车企加大了对电动汽车产品的投放,车型更加丰富,技术进步带动续航提升、辅助驾驶功能等产品力提升,规模扩大有利于生产成本的降低。新能源消费景气度持续保持高位,电动汽车销售进入了市场化竞争阶段。
随着社会的不断发展,电动汽车能够逐渐实现辅助驾驶。辅助驾驶汽车相较于传统汽车最核心的不同在于,辅助驾驶系统是一个由环境感知模块、控制决策模块等多种功能模块组成的综合系统,其涉及到计算机相关技术、传感器技术、信息融合、无线通信、自动控制理论以及近期比较火的机器学习等技术,是对多领域知识的综合运用体,辅助驾驶汽车的技术研究主要致力于提高汽车的安全性。
为了保证电动汽车辅助驾驶的安全性,对电动汽车行驶过程中的信息进行采集与监测是十分有必要的。其中采集电车汽车与路面其他目标的动态距离信息是一项很重要的工作。现有的动态距离测量方法主要是基于图像(视频)视觉的测量方法,根据系统所要求的图像采集镜头的数量,可分为基于多目观测的测量方式和基于单目观测的测量方式。基于多目观测的测量方式又称为基于立体像对的目标测量,是动态目标测量研究中最为成熟的方法之一,其缺点是设备昂贵且应用限制较大。
基于单目摄像头的距离检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制。然而,基于单目摄像头的距离检测方法在实际应用时,难以适应不平整路面、倾斜路面和车身震动等复杂应用场景,导致其距离信息检测的准确性不足,难以满足电动汽车辅助驾驶的要求。因此,如何提高单目摄像头检测距离信息的准确性是亟需解决的技术问题。
发明内容
针对上述现有技术的不足,本发明所要解决的技术问题是:如何提供一种用于电动汽车的信息采集与监测管理系统,通过单目摄像头实现电动汽车的距离信息检测,并且能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度,从而兼顾电动汽车信息采集与监测管理的成本和有效性,并为电动汽车的辅助驾驶提供有效的数据基础。
为了解决上述技术问题,本发明采用了如下的技术方案:
用于电动汽车的信息采集与监测管理系统,包括:
单目摄像头,用于获取当前车辆所在路面上的待测目标的目标图像;
车载陀螺仪,用于获取单目摄像头的位姿数据;
数据处理模块,用于根据单目摄像头的位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息;
车辆控制模块,用于根据当前车辆与待测目标之间的目标距离信息控制当前车辆的行驶状态。
优选的,数据处理模块首先获取单目摄像头的参考消失点坐标;然后通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;随后检测目标图像中待测目标的触地点位置;最后根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
优选的,首先将装载有单目摄像头和车载陀螺仪的当前车辆置于路面上;然后通过单目摄像头获取图像,并标记该图像中的路面消失点;最后计算该图像中路面消失点的坐标值作为单目摄像头的参考消失点坐标。
优选的,通过如下公式计算实时消失点坐标
其中,
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
优选的,通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:dis tan ce表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示单目摄像头的实时消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;表示单目摄像头所获取图像在y方向上的像素数量;height表示单目摄像头传感器的高度;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
本发明还公开了用于电动汽车的信息采集与监测管理方法,基于本发明中用于电动汽车的信息采集与监测管理系统实施,包括:
S1:通过单目摄像头获取当前车辆所在路面上的待测目标的目标图像;
S2:获取单目摄像头位姿数据;
S3:获取单目摄像头的参考消失点坐标;
S4:通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;
S5:检测目标图像中待测目标的触地点位置;
S6:根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
优选的,通过如下公式计算实时消失点坐标
其中,
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
优选的,通过FOE方法根据目标图像计算得到FOE坐标,进而通过FOE坐标修正实时消失点坐标,得到修正消失点坐标;
步骤S6中,根据修正消失点坐标结合目标图像以及单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
优选的,通过如下公式计算修正消失点坐标
式中:(cx,cy)表示单目摄像头的参考消失点坐标;表示单目摄像头的实时消失点坐标;表示FOE坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;ε表示设置的修正阈值。
优选的,通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:distance表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示修正消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;height表示单目摄像头传感器的高度;表示单目摄像头所获取图像在y方向上的像素数量;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
本发明中用于电动汽车的信息采集与监测管理系统及方法与现有技术相比,具有如下有益效果:
本发明通过信息采集与监测管理系统在车辆行驶过程中采集包含待测目标的目标图像以及单目摄像头的位姿数据,并根据位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息,进而根据目标距离信息控制车辆的行驶状态,即能够为电动汽车的辅助驾驶提供有效的数据基础。
本发明基于单目摄像头获取的目标图像计算当前车辆与待测目标之间的目标距离信息,即能够通过单目摄像头实现电动汽车目标距离信息的检测,而基于单目摄像头的距离信息检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制,从而能够降低电动汽车信息采集与监测管理的成本。
针对基于单目摄像头的距离信息检测方法在实际应用时难以适应不平整路面、倾斜路面和车身震动等复杂应用场景的问题。本发明通过单目摄像头的位姿数据更新其参考消失点坐标,能够在每次基于消失点和待测目标的触地点计算目标距离信息时更新消失点坐标,而单目摄像头位姿数据的变化能够有效反映单目摄像头在不平整路面、倾斜路面和车身震动等复杂应用场景下的状态,使得基于单目摄像头位姿数据更新后的消失点能够适应各种复杂应用场景,即能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度,从而提高电动汽车信息采集与监测管理的有效性。
附图说明
为了使发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1为用于电动汽车的信息采集与监测管理系统的逻辑框图;
图2为下坡路面应用场景的示意图;
图3为包含待测目标的目标图像;
图4为用于电动汽车的信息采集与监测管理方法的逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。此外,术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂,而是可以稍微倾斜。例如“水平”仅是指其方向相对“竖直”而言更加水平,并不是表示该结构一定要完全水平,而是可以稍微倾斜。在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面通过具体实施方式进一步详细的说明:
实施例一:
本实施例中公开了一种用于电动汽车的信息采集与监测管理系统。
如图1所示,用于电动汽车的信息采集与监测管理系统,包括:
单目摄像头,用于获取当前车辆所在路面上的待测目标的目标图像;
车载陀螺仪,用于获取单目摄像头的位姿数据;
数据处理模块,用于根据单目摄像头的位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息;数据处理模块首先获取单目摄像头的参考消失点坐标;然后通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;随后检测目标图像中待测目标的触地点位置;最后根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
其中,标定数据包括:单目摄像头所获取图像的每个像素在x和y方向上的度数DPPx和DPPy,t时刻单目摄像头所获取图像在x和y方向上的角速度数据单目摄像头在一个图像周期内位姿数据的数据量ng,单目摄像头所获取图像的每个像素在x和y方向上的长度LPPx和LPPy,单目摄像头感知单元的分辨率Nx×Ny,单目摄像头传感器的宽度和高度width和height,单目摄像头在x和y方向的焦距参数fx、fy,单目摄像头所获取图像的分辨率
车辆控制模块,用于根据当前车辆与待测目标之间的目标距离信息控制当前车辆的行驶状态。如当前车辆与待测目标之间的距离过近时,车辆控制模块可控制当前车辆执行制动(刹车)操作。
需要说明的是,本发明所述的消失点是一个现有成熟概念。单目摄像头所采集的图像中包含消失点(vanishing point),其是指平行线在远处相交所形成的点。消失点可以用来表示透视效果,帮助确定远近距离和物体的位置关系。
本发明通过信息采集与监测管理系统在车辆行驶过程中采集包含待测目标的目标图像以及单目摄像头的位姿数据,并根据位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息,进而根据目标距离信息控制车辆的行驶状态,即能够为电动汽车的辅助驾驶提供有效的数据基础。
本发明基于单目摄像头获取的目标图像计算当前车辆与待测目标之间的目标距离信息,即能够通过单目摄像头实现电动汽车目标距离信息的检测,而基于单目摄像头的距离信息检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制,从而能够降低电动汽车信息采集与监测管理的成本。
针对基于单目摄像头的距离信息检测方法在实际应用时难以适应不平整路面、倾斜路面和车身震动等复杂应用场景的问题。本发明通过单目摄像头的位姿数据更新其参考消失点坐标,能够在每次基于消失点和待测目标的触地点计算目标距离信息时更新消失点坐标,而单目摄像头位姿数据的变化能够有效反映单目摄像头在不平整路面、倾斜路面和车身震动等复杂应用场景下的状态,使得基于单目摄像头位姿数据更新后的消失点能够适应各种复杂应用场景,即能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度,从而提高电动汽车信息采集与监测管理的有效性。
具体实施过程中,首先将装载有单目摄像头和车载陀螺仪的当前车辆置于水平路面上;然后通过单目摄像头获取图像,并标记该图像中的路面消失点;最后计算该图像中路面消失点的坐标值作为单目摄像头的参考消失点坐标(vanishing point)。
在实际道路上,不平整路面、倾斜路面和车身震动等复杂应用场景会导致单目摄像头的位姿发生变化,进而影响参考消失点的准确性,这对距离信息的估算影响较大。通过实际分析发现影响距离计算准确性的关键因素为自身车身抖动和前方道路的路面状况,例如前面路面有一定角度的倾斜等,因此需要从这两个方面对消失点进行改进。
1)针对不平整路面和车身震动等复杂应用场景,本发明通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标。
在工程上可以保证摄像头传感器生成的图像数据和陀螺仪传感器生成的角速度数据(位姿数据)是一一对应的。t时刻通过车载陀螺仪传感器采集到的原始数据记为Gt,其物理意义为角度,单位为弧度。一幅图像对应的位姿数据为图像生成周期时间内的所有角速度数据之和。具体通过如下公式计算实时消失点坐标
本实施例中,使用现有的张正友标定方法对摄像头进行标定,可以得到标定后的x和y方向上的摄像头的焦距参数fx、fy,其单位是毫米。同时,基于摄像头传感器(camerasensor)的宽度、高度和像素大小可以计算得到LPP(length per pixel,每个像素的长度,单位为毫米/像素)和DPP(degree per pixel,每个像素的度数,单位为度/像素)。公式描述如下:
此外,可通过光流法+车载陀螺仪采集的位姿数据对DPP进行校验。
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据(位姿数据);ng表示单目摄像头在一个图像周期内位姿数据的数据量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
本发明通过单目摄像头的位姿数据更新其参考消失点坐标,能够在每次基于消失点和待测目标的触地点计算目标距离信息时更新消失点坐标,而单目摄像头位姿数据的变化能够有效反映单目摄像头在不平整路面、倾斜路面和车身震动等复杂应用场景下的状态,使得基于单目摄像头位姿数据更新后的消失点能够适应各种复杂应用场景,进而能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度。同时,本发明公开的实时消失点坐标计算公式,能够很好的实现基于位姿数据更新单目摄像头的参考消失点坐标,从而提高消失点的更新效果。
2)针对倾斜路面等复杂应用场景,本发明通过FOE方法根据目标图像计算得到FOE坐标;然后通过FOE坐标修正实时消失点坐标,得到修正消失点坐标。
车辆行驶过程中,根据前后两幅图像之间的变化,计算FOE(focus ofexpansion)。通过理论和实际道路的数据知道FOE与消失点基本是吻合的,因此当行驶在非平整道路时,可以基于FOE来更新消失点。通过光流追踪t时刻和t+1时刻两幅图之间的变化情况,由于知晓相机位姿参数,因此可以基于位姿参数对光流进行修正从而得到更精确的光流跟踪信息。
基于FOE(Focus of Expansion)的方法是一种常用的消失点估计方法。FOE是指在图像中所有的运动线条的延伸轨迹都会汇聚在一点上,这个点就是FOE。在单目摄像头中,FOE通常对应着图像中的消失点。基于FOE的消失点估计算法的一般步骤包括:
1、特征提取:从图像中提取线条和角点等特征。可以使用边缘检测、角点检测或其他特征提取算法。
2、运动检测:通过比较不同图像帧之间的特征点位置,可以检测到场景中的运动线条。
3、FOE估计:通过运动线条的延伸轨迹的交点来估计FOE。常用的方法是基于RANSAC算法,通过拟合一条直线来找到多个线条的交点。
4、消失点估计:在FOE估计的基础上,可以通过直线和角点与FOE的关系,估计图像中的消失点。
具体的,通过如下公式计算修正消失点坐标
式中:(cx,cy)表示单目摄像头的参考消失点坐标;表示单目摄像头的实时消失点坐标;表示FOE坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据(位姿数据);ng表示单目摄像头在一个图像周期内位姿数据的数据量;ε表示设置的修正阈值(可根据需求进行设置)。
针对倾斜路面等复杂应用场景。本发明通过FOE方法根据目标图像计算得到FOE坐标,进而通过FOE坐标修正实时消失点坐标得到修正消失点坐标。申请人通过理论和实际道路的数据发现FOE与消失点基本是吻合的,因此当行驶在非平整道路时基于FOE能够有效修正消失点坐标,进而能够在倾斜路面等复杂应用场景下保证目标距离检测精度,从而提高电动汽车信息采集与监测管理的准确性。同时,本发明公开的FOE坐标计算方式和修正消失点坐标计算公式,能够很好的实现FOE坐标的计算和基于FOE坐标修正消失点坐标,从而进一步提高单目摄像头消失点的生成效果。
具体实施过程中,待测目标的触地点位置是指,在目标图像中待测目标与路面接触的位置。对于待测目标触地点位置的检测,通过现有成熟手段实现,如可通过SSD(SingleShot MultiBox Detector)目标检测算法对待测目标(包括车辆和行人等目标)进行检测。SSD目标检测算法是一种用于目标检测的深度学习算法。它是基于卷积神经网络(CNN)的实时目标检测方法,可以同时进行目标的位置和类别的检测。
SSD目标检测算法的主要思想是将不同尺度的特征图与多个预定义的锚框(anchor boxes)相结合,来检测不同大小的目标。具体而言,SSD算法在网络的不同层级中提取特征,并在每个特征图的位置上预测多个边界框的位置和类别。SSD目标检测算法的主要步骤:
特征提取:使用一个卷积神经网络(通常是VGG或ResNet等)从输入图像中提取特征。通过逐层卷积操作,可以在不同尺度上获取不同层级的特征图。
特征融合:将不同层级的特征图进行融合,以获得多尺度的特征表示。这可以通过使用适当的卷积和池化层来实现。
锚框生成:在每个融合后的特征图的每个位置上,生成多个大小和宽高比不同的锚框。这些锚框用于对图像中的目标位置进行回归预测。
类别和位置预测:对于每个锚框,使用分类器来预测目标的类别。同时,使用回归器来调整锚框的位置,以更精确地匹配目标的边界框。
非极大值抑制(NMS):对于重叠度较高的候选框,采用非极大值抑制方法来选择最佳的目标框,以避免重复检测。
其中,对SSD目标检测算法进行训练时,训练数据需对待测目标(包括车辆和行人等目标)最下方与路面接触的位置进行标注。
结合图2和图3所示,本实施例以向下倾斜的路面(下坡路面)为例进行说明。
结合图2可以直观的看出,D1、L3和h之间形成的三角形区域与D2、L31和D3之间形成的三角形区域是相似的,那么在已知单目摄像头安装高度h的情况下,基于下坡路面对应的参考消失点计算D2的长度,进而结合单目摄像头安装高度h能够计算待测目标与当前车辆(单目摄像头)之间的待测距离。
但与水平路面相比,下坡路面的参考消失点在图像上发生了变化(相对更靠上),因此需要对下坡路面的参考消失点进行计算和更新。
基于参考消失点、目标图像平面以及其空间立体几何关系可以得到如下的关系,即通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:dis tan ce表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示单目摄像头的实时消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;表示单目摄像头所获取图像在y方向上的像素数量;height表示单目摄像头传感器的高度;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
本发明通过上述公式计算当前车辆与待测目标之间的目标距离信息,实现了通过单目摄像头检测电动汽车的目标距离信息,而基于单目摄像头的距离信息检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制,从而能够降低电动汽车信息采集与监测管理的成本。
实施例二:
本实施例中公开了用于电动汽车的信息采集与监测管理方法,基于实施例一中用于电动汽车的信息采集与监测管理系统实施。
结合图4所示,用于电动汽车的信息采集与监测管理方法,包括:
S1:通过单目摄像头获取当前车辆所在路面上的待测目标的目标图像;
S2:获取单目摄像头位姿数据;
S3:获取单目摄像头的参考消失点坐标;
具体的,首先将装载有单目摄像头和车载陀螺仪的当前车辆置于水平路面上;然后通过单目摄像头获取图像,并标记该图像中的路面消失点;最后计算该图像中路面消失点的坐标值作为单目摄像头的参考消失点坐标。
S4:通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;
S5:检测目标图像中待测目标的触地点位置;
S6:根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
其中,标定数据包括:单目摄像头所获取图像的每个像素在x和y方向上的度数DPPx和DPPy,t时刻单目摄像头所获取图像在x和y方向上的角速度数据单目摄像头在一个图像周期内位姿数据的数据量ng,单目摄像头所获取图像的每个像素在x和y方向上的长度LPPx和LPPy,单目摄像头感知单元的分辨率Nx×Ny,单目摄像头传感器的宽度和高度width和height,单目摄像头在x和y方向的焦距参数fx、fy,单目摄像头所获取图像的分辨率
本发明基于单目摄像头获取的目标图像计算当前车辆与待测目标之间的目标距离信息,即能够通过单目摄像头实现电动汽车目标距离信息的检测,而基于单目摄像头的距离信息检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制,从而能够降低电动汽车信息采集与监测管理的成本。
针对基于单目摄像头的距离信息检测方法在实际应用时难以适应不平整路面、倾斜路面和车身震动等复杂应用场景的问题。本发明通过单目摄像头的位姿数据更新其参考消失点坐标,能够在每次基于消失点和待测目标的触地点计算目标距离信息时更新消失点坐标,而单目摄像头位姿数据的变化能够有效反映单目摄像头在不平整路面、倾斜路面和车身震动等复杂应用场景下的状态,使得基于单目摄像头位姿数据更新后的消失点能够适应各种复杂应用场景,即能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度,从而提高电动汽车信息采集与监测管理的有效性。
在实际道路上,由于路面的不平整和车身自身的震动,会导致单目摄像头的位姿发生变化,进而影响参考消失点的准确性,这对距离的估算影响较大。通过实际分析发现影响距离计算准确性的关键因素为自身车身抖动和前方道路的路面状况,例如前面路面有一定角度的倾斜等,因此需要从这两个方面对消失点进行改进。
1)针对不平整路面和车身震动等复杂应用场景,本发明通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标。
在工程上可以保证摄像头传感器生成的图像数据和陀螺仪传感器生成的角速度数据(位姿数据)是一一对应的。t时刻通过车载陀螺仪传感器采集到的原始数据记为Gt,其物理意义为角度,单位为弧度。一幅图像对应的位姿数据为图像生成周期时间内的所有角速度数据之和。具体通过如下公式计算实时消失点坐标
本实施例中,使用现有的张正友标定方法对摄像头进行标定,可以得到标定后的x和y方向上的摄像头的焦距参数fx、fy,其单位是毫米。同时,基于摄像头传感器(camerasensor)的宽度、高度和像素大小可以计算得到LPP(length per pixel,每个像素的长度,单位为毫米/像素)和DPP(degree per pixel,每个像素的度数,单位为度/像素)。公式描述如下:
其中,
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据(位姿数据);ng表示单目摄像头在一个图像周期内位姿数据的数据量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
本发明通过单目摄像头的位姿数据更新其参考消失点坐标,能够在每次基于消失点和待测目标的触地点计算目标距离信息时更新消失点坐标,而单目摄像头位姿数据的变化能够有效反映单目摄像头在不平整路面、倾斜路面和车身震动等复杂应用场景下的状态,使得基于单目摄像头位姿数据更新后的消失点能够适应各种复杂应用场景,进而能够在不平整路面、倾斜路面和车身震动等复杂应用场景下保证距离信息的检测精度。同时,本发明公开的实时消失点坐标计算公式,能够很好的实现基于位姿数据更新单目摄像头的参考消失点坐标,从而提高消失点的更新效果。
2)针对倾斜路面等复杂应用场景,本发明通过FOE方法根据目标图像计算得到FOE坐标;然后通过FOE坐标修正实时消失点坐标,得到修正消失点坐标。
车辆行驶过程中,根据前后两幅图像之间的变化,计算FOE(focus ofexpansion)。通过理论和实际道路的数据知道FOE与消失点基本是吻合的,因此当行驶在非平整道路时,可以基于FOE来更新消失点。通过光流追踪t时刻和t+1时刻两幅图之间的变化情况,由于知晓相机位姿参数,因此可以基于位姿参数对光流进行修正从而得到更精确的光流跟踪信息。
基于FOE(Focus of Expansion)的方法是一种常用的消失点估计方法。FOE是指在图像中所有的运动线条的延伸轨迹都会汇聚在一点上,这个点就是FOE。在单目摄像头中,FOE通常对应着图像中的消失点。基于FOE的消失点估计算法的一般步骤包括:
1、特征提取:从图像中提取线条和角点等特征。可以使用边缘检测、角点检测或其他特征提取算法。
2、运动检测:通过比较不同图像帧之间的特征点位置,可以检测到场景中的运动线条。
3、FOE估计:通过运动线条的延伸轨迹的交点来估计FOE。常用的方法是基于RANSAC算法,通过拟合一条直线来找到多个线条的交点。
4、消失点估计:在FOE估计的基础上,可以通过直线和角点与FOE的关系,估计图像中的消失点。
在其他优选实施例中,还可通过如下方式计算FOE坐标;
1、对单目摄像头所获取图像进行FAST角点计算;
2、采用稀疏光流算法计算t和t+2时刻所对应图像的光流;
3、通过单目摄像头的位姿数据修正光流,并设置阈值来滤除长度相对较小的光流,得到光流集合其中,p和q分别表示光流的起始位置点;
4、通过单目摄像头的FOE求解模型计算FOE坐标(xF,yF),并对FOE坐标(xF,yF)进行卡尔曼滤波,以得到FOE坐标
其中,单目摄像头的FOE求解模型表示为:
具体的,通过如下步骤对FOE坐标(xF,yF)进行卡尔曼滤波:
1)令t时刻的观测状态为zt,上一时刻即t-1时刻的修正状态为mt-1,用φ和H表示状态转移矩阵和观测矩阵,Qt和Rt表示t时刻的过程噪声矩阵和观测噪声矩阵;
2)预测过程:
预测状态值mt|t-1=φmt-1
预测最小均方误差Pt|t-1=φPt-1φT+Qt
3)修正过程:
卡尔曼增益Kt=Pt|t-1HT(H·Pt|t-1·HT+Rt)-1
修正状态值mt=mt|t-1+Kt(zt-H·mt|t-1);
修正最小均方误差Pt=(I-Kt·H)Pt|t-1
的取值为mt第一维和第二维的值,即
具体的,通过如下公式计算修正消失点坐标
式中:(cx,cy)表示单目摄像头的参考消失点坐标;表示单目摄像头的实时消失点坐标;表示FOE坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据(位姿数据);ng表示单目摄像头在一个图像周期内位姿数据的数据量;ε表示设置的修正阈值。
针对倾斜路面等复杂应用场景。本发明通过FOE方法根据目标图像计算得到FOE坐标,进而通过FOE坐标修正实时消失点坐标得到修正消失点坐标。申请人通过理论和实际道路的数据发现FOE与消失点基本是吻合的,因此当行驶在非平整道路时基于FOE能够有效修正消失点坐标,进而能够在倾斜路面等复杂应用场景下保证目标距离检测精度,从而提高电动汽车信息采集与监测管理的准确性。同时,本发明公开的FOE坐标计算方式和修正消失点坐标计算公式,能够很好的实现FOE坐标的计算和基于FOE坐标修正消失点坐标,从而进一步提高单目摄像头消失点的生成效果。
具体实施过程中,待测目标的触地点位置是指,在目标图像中待测目标与路面接触的位置。对于待测目标触地点位置的检测,通过现有成熟手段实现,如可通过SSD(SingleShot MultiBox Detector)目标检测算法对待测目标(包括车辆和行人等目标)进行检测。SSD目标检测算法是一种用于目标检测的深度学习算法。它是基于卷积神经网络(CNN)的实时目标检测方法,可以同时进行目标的位置和类别的检测。
SSD目标检测算法的主要思想是将不同尺度的特征图与多个预定义的锚框(anchor boxes)相结合,来检测不同大小的目标。具体而言,SSD算法在网络的不同层级中提取特征,并在每个特征图的位置上预测多个边界框的位置和类别。SSD目标检测算法的主要步骤:
特征提取:使用一个卷积神经网络(通常是VGG或ResNet等)从输入图像中提取特征。通过逐层卷积操作,可以在不同尺度上获取不同层级的特征图。
特征融合:将不同层级的特征图进行融合,以获得多尺度的特征表示。这可以通过使用适当的卷积和池化层来实现。
锚框生成:在每个融合后的特征图的每个位置上,生成多个大小和宽高比不同的锚框。这些锚框用于对图像中的目标位置进行回归预测。
类别和位置预测:对于每个锚框,使用分类器来预测目标的类别。同时,使用回归器来调整锚框的位置,以更精确地匹配目标的边界框。
非极大值抑制(NMS):对于重叠度较高的候选框,采用非极大值抑制方法来选择最佳的目标框,以避免重复检测。
其中,对SSD目标检测算法进行训练时,训练数据需对待测目标(包括车辆和行人等目标)最下方与路面接触的位置进行标注。
结合图2和图3所示,本实施例以向下倾斜的路面(下坡路面)为例进行说明。
结合图2可以直观的看出,D1、L3和h之间形成的三角形区域与D2、L31和D3之间形成的三角形区域是相似的,那么在已知单目摄像头安装高度h的情况下,基于下坡路面对应的参考消失点计算D2的长度,进而结合单目摄像头安装高度h能够计算待测目标与当前车辆(单目摄像头)之间的待测距离。
但与水平路面相比,下坡路面的参考消失点在图像上发生了变化(相对更靠上),因此需要对下坡路面的参考消失点进行计算和更新。
基于参考消失点、目标图像平面以及其空间立体几何关系可以得到如下的关系,即通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:distance表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示修正消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;表示单目摄像头所获取图像在y方向上的像素数量;height表示单目摄像头传感器的高度;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
本发明通过上述公式计算当前车辆与待测目标之间的目标距离信息,实现了通过单目摄像头检测电动汽车的目标距离信息,而基于单目摄像头的距离信息检测方法对成像设备的要求更低,并且无需增设专业立体成像设备,也不存在立体成像设备的基线要求限制,从而能够降低电动汽车信息采集与监测管理的成本。
最后需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制技术方案,本领域的普通技术人员应当理解,那些对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.用于电动汽车的信息采集与监测管理系统,其特征在于,包括:
单目摄像头,用于获取当前车辆所在路面上的待测目标的目标图像;
车载陀螺仪,用于获取单目摄像头的位姿数据;
数据处理模块,用于根据单目摄像头的位姿数据结合目标图像计算当前车辆与待测目标之间的目标距离信息;
车辆控制模块,用于根据当前车辆与待测目标之间的目标距离信息控制当前车辆的行驶状态。
2.如权利要求1所述的用于电动汽车的信息采集与监测管理系统,其特征在于:数据处理模块首先获取单目摄像头的参考消失点坐标;然后通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;随后检测目标图像中待测目标的触地点位置;最后根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
3.如权利要求2所述的用于电动汽车的信息采集与监测管理系统,其特征在于:首先将装载有单目摄像头和车载陀螺仪的当前车辆置于路面上;然后通过单目摄像头获取图像,并标记该图像中的路面消失点;最后计算该图像中路面消失点的坐标值作为单目摄像头的参考消失点坐标。
4.如权利要求2所述的用于电动汽车的信息采集与监测管理系统,其特征在于,通过如下公式计算实时消失点坐标
其中,
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
5.如权利要求2所述的用于电动汽车的信息采集与监测管理系统,其特征在于,通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:distance表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示单目摄像头的实时消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;表示单目摄像头所获取图像在y方向上的像素数量;height表示单目摄像头传感器的高度;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
6.用于电动汽车的信息采集与监测管理方法,其特征在于,基于权利要求1中所述的用于电动汽车的信息采集与监测管理系统实施,包括:
S1:通过单目摄像头获取当前车辆所在路面上的待测目标的目标图像;
S2:获取单目摄像头位姿数据;
S3:获取单目摄像头的参考消失点坐标;
S4:通过单目摄像头的位姿数据更新参考消失点坐标,得到实时消失点坐标;
S5:检测目标图像中待测目标的触地点位置;
S6:根据实时消失点坐标和触地点坐标结合单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
7.如权利要求6所述的用于电动汽车的信息采集与监测管理方法,其特征在于,步骤S4中,通过如下公式计算实时消失点坐标
其中,
式中:(cx,cy)表示单目摄像头的参考消失点坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;Nx×Ny表示单目摄像头感知单元的分辨率,即单目摄像头传感器感知单元在x和y方向上的像素数量;LPPx、LPPy表示单目摄像头所获取图像的每个像素在x和y方向上的长度;width、height表示单目摄像头传感器的宽度和高度;fx、fy表示单目摄像头在x和y方向的焦距参数;表示单目摄像头所获取图像的分辨率,即单目摄像头所获取图像在x和y方向上的像素数量。
8.如权利要求7所述的用于电动汽车的信息采集与监测管理方法,其特征在于:步骤S4中,通过FOE方法根据目标图像计算得到FOE坐标,进而通过FOE坐标修正实时消失点坐标,得到修正消失点坐标;
步骤S6中,根据修正消失点坐标结合目标图像以及单目摄像头的标定数据计算当前车辆与待测目标之间的目标距离信息。
9.如权利要求8所述的用于电动汽车的信息采集与监测管理方法,其特征在于,通过如下公式计算修正消失点坐标
式中:(cx,cy)表示单目摄像头的参考消失点坐标;表示单目摄像头的实时消失点坐标;表示FOE坐标;DPPx、DPPy表示单目摄像头所获取图像的每个像素在x和y方向上的度数;表示t时刻单目摄像头所获取图像在x和y方向上的角速度数据;ng表示单目摄像头在一个图像周期内位姿数据的数据量;ε表示设置的修正阈值。
10.如权利要求9所述的用于电动汽车的信息采集与监测管理方法,其特征在于:通过如下公式计算当前车辆与待测目标之间的目标距离信息:
其中,
式中:distance表示当前车辆与待测目标之间的目标距离信息;h表示单目摄像头的安装高度;fy表示单目摄像头在y方向的焦距参数;Py表示待测目标在目标图像中的触地点在y方向的像素位置;表示修正消失点坐标;LPPy表示单目摄像头所获取图像的每个像素在y方向上的长度;height表示单目摄像头传感器的高度;表示单目摄像头所获取图像在y方向上的像素数量;Ny表示单目摄像头传感器感知单元在y方向上的像素数量。
CN202310932932.9A 2023-07-27 2023-07-27 用于电动汽车的信息采集与监测管理系统及方法 Pending CN116767226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310932932.9A CN116767226A (zh) 2023-07-27 2023-07-27 用于电动汽车的信息采集与监测管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310932932.9A CN116767226A (zh) 2023-07-27 2023-07-27 用于电动汽车的信息采集与监测管理系统及方法

Publications (1)

Publication Number Publication Date
CN116767226A true CN116767226A (zh) 2023-09-19

Family

ID=88013499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310932932.9A Pending CN116767226A (zh) 2023-07-27 2023-07-27 用于电动汽车的信息采集与监测管理系统及方法

Country Status (1)

Country Link
CN (1) CN116767226A (zh)

Similar Documents

Publication Publication Date Title
CN105835880B (zh) 车道追踪系统
JP4914234B2 (ja) 先行車両検出装置
CN111448478A (zh) 用于基于障碍物检测校正高清地图的系统和方法
US20050015201A1 (en) Method and apparatus for detecting obstacles
WO2011039989A1 (ja) 車両周囲監視装置
CN111829484B (zh) 基于视觉的目标距离测算方法
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
CN104854637A (zh) 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
WO2004106856A1 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
CN112698302A (zh) 一种颠簸路况下的传感器融合目标检测方法
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN114550042B (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
JP2008033750A (ja) 物体傾き検出装置
US11721028B2 (en) Motion segmentation in video from non-stationary cameras
CN109753841B (zh) 车道线识别方法和装置
CN104427255A (zh) 车载相机的图像处理方法和使用该方法的图像处理设备
JP2008158640A (ja) 移動物体検出装置
CN108645375A (zh) 一种用于车载双目系统快速车辆测距优化方法
CN112509054A (zh) 一种相机外参动态标定方法
CN113103957A (zh) 一种盲区监测方法、装置、电子设备及存储介质
US9098774B2 (en) Method for detection of targets in stereoscopic images
JP2016143364A (ja) 位置同定装置、位置同定方法、及びプログラム
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2011113330A (ja) 物体検出装置および運転支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination