CN113246858B - 车辆行驶状态图像生成方法、设备和系统 - Google Patents

车辆行驶状态图像生成方法、设备和系统 Download PDF

Info

Publication number
CN113246858B
CN113246858B CN202110513234.6A CN202110513234A CN113246858B CN 113246858 B CN113246858 B CN 113246858B CN 202110513234 A CN202110513234 A CN 202110513234A CN 113246858 B CN113246858 B CN 113246858B
Authority
CN
China
Prior art keywords
image
running
vehicle
information
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110513234.6A
Other languages
English (en)
Other versions
CN113246858A (zh
Inventor
霍建宇
饶思粤
宫博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110513234.6A priority Critical patent/CN113246858B/zh
Publication of CN113246858A publication Critical patent/CN113246858A/zh
Application granted granted Critical
Publication of CN113246858B publication Critical patent/CN113246858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Abstract

本发明提出一种车辆行驶状态图像生成方法、设备和系统，其中，方法包括：从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；从第二图像采集设备接收所述车辆的第二行驶图像；根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像。本发明能够有利于将车辆驾驶过程中的行驶状态进行直观呈现；车辆控制器的行驶环境信息与第二行驶图像直观比对，方便了调试人员发现问题。

Description

车辆行驶状态图像生成方法、设备和系统
本申请是申请日为2019年02月27日、申请号为201910145641.9、发明名称为“车辆行驶状态显示方法、设备和系统”的分案申请。
技术领域
本发明涉及汽车驾驶领域，尤其涉及一种车辆行驶状态图像生成方法、设备和系统。
背景技术
目前车辆驾驶的图像解析的方案为利用智能摄像头读取自身所感知后的环境信息，例如车道线的方程和障碍物的坐标，再利用低性能处理器根据该环境信息做后续的决策规划以及控制汽车。但发明人在实施上述现有技术发现，低性能处理器缺乏图形渲染能力，调试人员无法直观获取行驶环境信息，无法实现可视化验证，增大了研发人员的调试难度。
发明内容
本发明实施例提供一种车辆行驶状态图像生成方法、设备和系统，以至少解决现有技术中的以上技术问题。
第一方面，本发明实施例提供了一种车辆行驶状态图像生成方法，包括：
从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；
从第二图像采集设备接收所述车辆的第二行驶图像；
根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；
显示所述行驶状态图像。
在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；
所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。
在一种实施方式中，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；
所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。
在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；
所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。
在一种实施方式中，还包括：
利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频；
在接收到回放指令的情况下，回放已录制的行驶状态视频。
第二方面，本发明实施例提供了一种车辆行驶状态图像生成设备，包括：
行驶环境信息获取模块，用于从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；
第二行驶图像获取模块，用于从第二图像采集设备接收所述车辆的第二行驶图像；
行驶状态图像生成模块，用于根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；
显示模块，用于显示所述行驶状态图像。
在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；
所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。
在一种实施方式中，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；
所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。
在一种实施方式中，所述行驶状态图像生成模块包括：
时间对齐子模块，用于将所述行驶环境信息和所述第二行驶图像进行时间对齐；
生成子模块，用于根据时间对齐后的所述行驶环境信息和所述第二行驶图像，生成所述行驶状态图像，所述行驶状态图像的设定区域包括时间对齐后的所述行驶环境信息。
在一种实施方式中，还包括：
录制模块，用于利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频；
回放模块，用于在接收到回放指令的情况下，回放已录制的行驶状态视频。
第三方面，本发明实施例提供了一种车辆行驶状态图像生成设备，所述车辆行驶状态图像生成设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述车辆行驶状态图像生成设备的结构中包括处理器和存储器，所述存储器用于存储支持所述车辆行驶状态图像生成设备执行上述第一方面中所述车辆行驶状态图像生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述车辆行驶状态图像生成设备还可以包括通信接口，用于所述车辆行驶状态图像生成设备与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种车辆行驶状态图像生成系统，所述系统包括计算设备、车辆控制器、第一图像采集设备和第二图像采集设备；其中，
所述计算设备包括如上述任一实施例所述的车辆行驶状态图像生成设备；
所述第一图像采集设备连接车辆控制器，所述第二图像采集设备和所述车辆控制器分别连接所述计算设备；
所述第一图像采集设备用于所述第一图像采集设备用于采集车辆的第一行驶图像，将根据所述第一行驶图像得到的信息发送至所述车辆控制器；
所述第二图像采集设备用于采集车辆的第二行驶图像，并向所述计算设备发送第二行驶图像；
所述车辆控制器用于从所述第一图像采集设备接收到的信息生成所述行驶环境信息，并向所述计算设备发送所述行驶环境信息。
在一种实施方式中，所述第一图像采集设备还用于对所述第一行驶图像进行处理得到数字信息，向所述车辆控制器发送所述数字信息；
所述车辆控制器还用于利用所述数字信息进行车辆路线规划得到控制信息，向所述计算设备发送包括所述数字信息和所述控制信息的所述行驶环境信息。
第五方面，本发明实施例还提供一种计算机可读存储介质，用于存储所述车辆行驶状态图像生成设备所用的计算机软件指令，其包括用于执行上述车辆行驶状态显示方法所涉及的程序。
第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现如上所述的方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：直观呈现车辆驾驶过程中的行驶状态进行直观呈现；车辆控制器的行驶环境信息和第二行驶图像进行比对，方便了调试人员发现问题。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例的一种车辆行驶状态图像生成方法的流程图；
图2为本发明实施例的一种车辆行驶状态图像生成方法中所显示的行驶状态图像的一种示例图；
图3为本发明实施例的一种车辆行驶状态图像生成方法中步骤S3的流程图；
图4为本发明实施例的一种车辆行驶状态图像生成设备的模块连接图；
图5为本发明实施例的一种车辆行驶状态图像生成设备的结构图；
图6为本发明实施例的一种车辆行驶状态图像生成系统的结构图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例主要提供了一种车辆行驶状态图像生成方法、设备和系统，下面分别通过以下实施例进行技术方案的展开描述。
本发明实施例提供了一种车辆行驶状态图像生成方法，参见图1，图1为本实施例的流程图，包括：
S1、从车辆控制器接收车辆的行驶环境信息，行驶环境信息包括车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；
S2、从第二图像采集设备接收车辆的第二行驶图像；
S3、根据第二行驶图像与行驶环境信息，生成车辆的行驶状态图像；
S4、显示行驶状态图像。
本实施例可以适用于计算设备的执行，如个人计算机(PC，personal computer)。在车辆驾驶调试的过程中，调试人员可以直接将计算设备例如PC通过通信总线连接车辆的车辆控制器和第二图像采集设备，车辆控制器连接第一图像采集设备，参考图6。
在本实施例中，PC具备显示功能，可以按时间来录制通信总线数据并具备回放功能。通信总线包括但不仅限于消息队列遥测传输(MQTT，Message Queuing TelemetryTransport)、通用串行总线(USB，Universal Serial Bus)、用户数据报协议(UDP，UserDatagram Protocol)等。车辆控制器可以包括没有图像渲染能力的低性能处理器，包括但不限于微控制单元(MCU，Microcontroller Unit)和现场可编程门阵列(FPGA，Field－Programmable Gate Array)。
第一图像采集设备和第二图像采集设备分别可以包括设置在车辆上的一个或多个摄像头。第一图像采集设备所包括的摄像头可以拍摄包括车辆外部的行驶环境的第一行驶图像，并进行处理得到相应的信息发给PC；第二图像采集设备所包括的摄像头可以拍摄包括车辆外部的行驶环境的第二行驶图像，并将第二行驶图像发送给PC；第一行驶图像和第二行驶图像中可能包括车辆所处的道路、道路上的障碍物、车道线、指示灯、指示牌等。其中，障碍物包括但不限于行人、动物、其他车辆等。
在一种实施方式中，行驶环境信息包括第一图像采集设备对车辆的第一行驶图像进行处理得到的数字信息；
行驶环境信息还包括车辆控制器利用数字信息进行车辆路线规划得到的控制信息。
在一种示例中，第一图像采集设备包括的摄像头可以为智能摄像头，第二图像采集设备包括的摄像头可以为普通摄像头。通常，智能摄像头采集第二行驶图像后，处理生成并输出数字信息，该数字信息可以包括但不限于：车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；普通摄像头可以采集并输出第二行驶图像。
在一种示例中，智能摄像头得到数字信息的方法包括：从第一行驶图像中识别车辆行驶环境包括的各种环境元素，例如车道线、障碍物、指示灯和指示牌。然后基于车辆行驶环境的建模，将图像信息表示为数字信息，例如车道线信息可以通过车道线方程(y＝ax^3+bx^2+cx+d)来表示，该方程指以车身为原点，正前方为x轴的车道线的方程，a、b、c和d为通过未知参数，未知参数通过算法求解；障碍物信息可以通过坐标位置(x,y)来表示。
智能摄像头可以将这些数字信息发送给车辆控制器。车辆控制器利用收到的数字信息进行车辆路线规划得到控制信息。控制信息可以包括但不限于油门、刹车、转向、档位和灯光中的至少一项。
然后，车辆控制器可以向PC发送包括数字信息和控制信息的行驶环境信息。利用PC的图形渲染能力，可以将车辆的行驶环境信息与第二行驶图像合成，并通过PC的显示器将合成后的行驶状态图像显示出来。
在一种示例中，车辆控制器也可以先对收到的数字信息进行一些处理例如去噪、纠错、数据格式转换等，可以得到处理后的数字信息，以便利用处理后的数字信息进行车辆路线规划，实现更精准的驾驶控制。此时，行驶环境信息还可以包括车辆控制器基于从第一图像采集设备获取的数字信息得到的最终数字信息。如图2所示，图2左上角以图像呈现数字信息，除了包括由图像采集设备处理得到的第一车道线21和第一障碍物22，还包括了车辆控制器在图像采集设备输出的信息的基础上进一步处理得到的第二车道线23和第二障碍物24。
通常第一图像采集设备所采用的算法由摄像头厂商所制定，一般不对外公布，而车辆控制器的算法可以由车辆研发人员所设计。
在一种示例中，车辆控制器将从第一图像采集设备获取的数字信息按照指定格式存储为报文；将车辆控制器自身处理信息的过程中产生的所有信息，包括处理后的数字信息和进行车辆路线规划产生的控制信息，按照指定格式存储为日志；并将报文和日志发送至执行计算设备。
在本发明实施例中，无需车辆控制器具备图像渲染能力，可以利用PC的图形渲染能力将车辆驾驶过程中的行驶状态进行直观地呈现。而且，将车辆控制器的算法结果如行驶环境信息，与第二行驶图像进行比对，便于调试人员发现车辆行驶问题，有利于提高自动驾驶等场景的安全性。
在一种实施方式中，本实施例可以应用到自动驾驶的备份系统中，作为与自动驾驶的主系统方案不同的备份系统。采用图像采集设备、车辆控制器、计算设备结合的方案，直观呈现行驶状态，便于调试。同时设计备份系统可以满足自动驾驶功能安全的要求。
在一种实施方式中，参见图3，步骤S3包括：
S31、将行驶环境信息和第二行驶图像进行时间对齐；
S32、根据时间对齐后的行驶环境信息和第二行驶图像，生成行驶状态图像，行驶状态图像的设定区域包括时间对齐后的行驶环境信息。
在一种实施方式中，可以参考图2的行驶状态图像的示例图，步骤S32中，将第二行驶图像的画入行驶状态图像的背景区域202，将行驶环境信息画入第二行驶图像的设定区域201上，从而得到行驶状态图像。
具体地，步骤S32的画入过程可以包括将行驶环境信息和第二行驶图像的数据写入缓冲区。步骤S4中，在屏幕上显示行驶状态图像包括：渲染已写入缓冲区中的行驶状态图像。
在一种实施方式中，本实施例还包括下述步骤：
S5、利用时间对齐后的行驶环境信息和第二行驶图像进行录制，得到行驶状态视频；
S6、在接收到回放指令的情况下，回放已录制的行驶状态视频。
本实施例提供录制和回放的功能，能够体现当时算法的处理结果，在研发人员遇到问题时可以进行复现。而且，本实施例所适用的计算设备通过通信总线分别连接图像采集设备和车辆控制器。将不同的通信总线封装成约定的协议，图像采集设备和车辆控制器可以采用该协议向计算设备传输数据。本实施例录制所采用的数据可以直接实现回放，无需考虑格式转换问题，降低了调试难度。
参见图4，本发明实施例提供了一种车辆行驶状态图像生成设备，包括：
行驶环境信息获取模块41，用于从车辆控制器接收车辆的行驶环境信息，行驶环境信息包括车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；
第二行驶图像获取模块42，用于从第二图像采集设备接收车辆的第二行驶图像；
行驶状态图像生成模块43，用于根据第二行驶图像与行驶环境信息，生成车辆的行驶状态图像；
显示模块44，用于显示行驶状态图像。
在一种实施方式中，行驶环境信息包括第一图像采集设备对车辆的第一行驶图像进行处理得到的数字信息；
行驶环境信息还包括车辆控制器利用数字信息进行车辆路线规划得到的控制信息。
在一种实施方式中，数字信息包括：车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；
控制信息包括油门、刹车、转向、档位和灯光中的至少一项。
在一种实施方式中，行驶状态图像生成模块43包括：
时间对齐子模块，用于将行驶环境信息和第二行驶图像进行时间对齐；
生成子模块，用于根据时间对齐后的行驶环境信息和第二行驶图像，生成行驶状态图像，行驶状态图像的设定区域包括时间对齐后的行驶环境信息。
在一种实施方式中，还包括：
录制模块，用于利用时间对齐后的行驶环境信息和第二行驶图像进行录制，得到行驶状态视频；
回放模块，用于在接收到回放指令的情况下，回放已录制的行驶状态视频。
本发明实施例中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
参见图5，本发明实施例还提供一种车辆行驶状态图像生成设备，包括：
存储器11和处理器12，存储器11存储有可在处理器12上运行的计算机程序。处理器12执行计算机程序时实现上述实施例中账户分类模型训练方法或账户分类方法。存储器11和处理器12的数量可以为一个或多个。
车辆行驶状态图像生成设备还可以包括：
通信接口13，用于与外界设备进行通信，进行数据交换传输。
存储器11可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
如果存储器11、处理器12和通信接口13独立实现，则存储器11、处理器12和通信接口13可以通过总线相互连接并完成相互之间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线，外部设备互连(PCI，Peripheral ComponentInterconnect)总线或扩展工业标准体系结构(EISA，Extended Industry StandardArchitecture)等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器11、处理器12和通信接口13集成在一块芯片上，则存储器11、处理器12和通信接口13可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述的方法。
本发明实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上任一实施例所述的方法。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
参见图6，本发明实施例提供了一种车辆行驶状态图像生成系统，系统包括计算设备61、车辆控制器62、第一图像采集设备631和第二图像采集设备632；其中，
计算设备61包括上述任一实施例提供的车辆行驶状态图像生成设备；
第一图像采集设备631连接车辆控制器62，第二图像采集设备632和车辆控制器62分别连接计算设备61；
第一图像采集设备631用于采集车辆的第一行驶图像，将根据第一行驶图像得到的信息发送至车辆控制器62；
第二图像采集设备632用于采集车辆的第二行驶图像，并向计算设备61发送第二行驶图像；
车辆控制器62用于从第一图像采集设备631接收到的信息生成行驶环境信息，并向计算设备61发送行驶环境信息。
在一种实施例中，第一图像采集设备631还用于对第一行驶图像进行处理得到数字信息，向车辆控制器62发送数字信息；
车辆控制器62还用于利用数字信息进行车辆路线规划得到控制信息，向计算设备61发送包括数字信息和控制信息的行驶环境信息。
本发明实施例中未详尽叙述之处可以参见本发明实施例提供的车辆行驶状态图像生成方法和设备中的对应描述，在此不再赘述。
综上所述，本发明实施例提出的车辆行驶状态图像生成方法、设备和系统；在车辆驾驶调试的过程中，无需车辆控制器具备图像渲染能力，则可以将车辆驾驶过程中的行驶状态进行直观呈现；而且，车辆控制器的行驶环境信息，以及第二行驶图像进行比对，方便了调试人员发现问题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种车辆行驶状态图像生成方法，其特征在于，包括：
从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息，所述第一行驶图像由第一图像采集设备采集得到；
从第二图像采集设备接收所述车辆的第二行驶图像；
根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；
其中，根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像，包括：将所述行驶环境信息和所述第二行驶图像进行时间对齐；根据时间对齐后的所述行驶环境信息和所述第二行驶图像，生成所述行驶状态图像；
所述方法还包括：利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频。
2.根据权利要求1所述的方法，其特征在于，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；
所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。
3.根据权利要求2所述的方法，其特征在于，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；
所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。
4.根据权利要求1所述的方法，其特征在于，所述行驶状态图像的设定区域包括时间对齐后的所述行驶环境信息。
5.根据权利要求4所述的方法，其特征在于，还包括：在接收到回放指令的情况下，回放已录制的行驶状态视频。
6.一种车辆行驶状态图像生成设备，其特征在于，包括：
行驶环境信息获取模块，用于从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息，所述第一行驶图像由第一图像采集设备采集得到；
第二行驶图像获取模块，用于从第二图像采集设备接收所述车辆的第二行驶图像；
行驶状态图像生成模块，用于根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；
所述行驶状态图像生成模块包括：
时间对齐子模块，用于将所述行驶环境信息和所述第二行驶图像进行时间对齐；
生成子模块，用于根据时间对齐后的所述行驶环境信息和所述第二行驶图像，生成所述行驶状态图像；
所述设备还包括：录制模块，用于利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频。
7.根据权利要求6所述的设备，其特征在于，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；
所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。
8.根据权利要求7所述的设备，其特征在于，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；
所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。
9.根据权利要求6所述的设备，其特征在于，所述行驶状态图像的设定区域包括时间对齐后的所述行驶环境信息。
10.根据权利要求9所述的设备，其特征在于，还包括：
回放模块，用于在接收到回放指令的情况下，回放已录制的行驶状态视频。
11.一种车辆行驶状态图像生成设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种车辆行驶状态图像生成系统，其特征在于，所述系统包括计算设备、车辆控制器、第一图像采集设备和第二图像采集设备；其中，
所述计算设备包括如权利要求6-11中任一所述的车辆行驶状态图像生成设备；
所述第一图像采集设备连接车辆控制器，所述第二图像采集设备和所述车辆控制器分别连接所述计算设备；
所述第一图像采集设备用于采集车辆的第一行驶图像，将根据所述第一行驶图像得到的信息发送至所述车辆控制器；
所述第二图像采集设备用于采集车辆的第二行驶图像，并向所述计算设备发送第二行驶图像；
所述车辆控制器用于从所述第一图像采集设备接收到的信息生成所述行驶环境信息，并向所述计算设备发送所述行驶环境信息。
13.根据权利要求12所述的系统，其特征在于，所述第一图像采集设备还用于对所述第一行驶图像进行处理得到数字信息，向所述车辆控制器发送所述数字信息；
所述车辆控制器还用于利用所述数字信息进行车辆路线规划得到控制信息，向所述计算设备发送包括所述数字信息和所述控制信息的所述行驶环境信息。
14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202110513234.6A 2019-02-27 2019-02-27 车辆行驶状态图像生成方法、设备和系统 Active CN113246858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110513234.6A CN113246858B (zh) 2019-02-27 2019-02-27 车辆行驶状态图像生成方法、设备和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110513234.6A CN113246858B (zh) 2019-02-27 2019-02-27 车辆行驶状态图像生成方法、设备和系统
CN201910145641.9A CN109733285B (zh) 2019-02-27 2019-02-27 车辆行驶状态显示方法、设备和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910145641.9A Division CN109733285B (zh) 2019-02-27 2019-02-27 车辆行驶状态显示方法、设备和系统

Publications (2)

Publication Number Publication Date
CN113246858A CN113246858A (zh) 2021-08-13
CN113246858B true CN113246858B (zh) 2023-05-19

Family

ID=66368547

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910145641.9A Active CN109733285B (zh) 2019-02-27 2019-02-27 车辆行驶状态显示方法、设备和系统
CN202110513234.6A Active CN113246858B (zh) 2019-02-27 2019-02-27 车辆行驶状态图像生成方法、设备和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910145641.9A Active CN109733285B (zh) 2019-02-27 2019-02-27 车辆行驶状态显示方法、设备和系统

Country Status (1)

Country Link
CN (2) CN109733285B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673609A (zh) * 2019-10-10 2020-01-10 北京小马慧行科技有限公司 车辆行驶的控制方法、装置及系统
CN111611709B (zh) * 2020-05-20 2023-09-15 阿波罗智能技术(北京)有限公司 用于控制仿真车辆的方法、装置、电子设备和存储介质
WO2023272454A1 (zh) * 2021-06-28 2023-01-05 华为技术有限公司 车载显示控制方法、控制装置、车载显示系统和车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004352065A (ja) * 2003-05-28 2004-12-16 Toyota Motor Corp 駐車支援装置
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和系统
CN106427784A (zh) * 2016-11-28 2017-02-22 奇瑞汽车股份有限公司 一种车辆用全景显示系统及其全景显示方法
WO2018077308A1 (zh) * 2016-10-26 2018-05-03 纳恩博（北京）科技有限公司 一种电子设备的控制方法、电子设备和计算机存储介质
CN109085837A (zh) * 2018-08-30 2018-12-25 百度在线网络技术（北京）有限公司 车辆控制方法、装置、计算机设备及存储介质
US10163018B1 (en) * 2016-06-14 2018-12-25 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for inferring a driving enviroment based on vehicle occupant actions
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP4622544B2 (ja) * 2005-01-27 2011-02-02 アイシン精機株式会社 車両の運転支援装置
JP4633538B2 (ja) * 2005-05-23 2011-02-16 三菱電機株式会社 画像表示装置及び大型画像表示装置
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
DE102013103953B4 (de) * 2012-05-02 2020-07-09 GM Global Technology Operations LLC Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
CN104112363B (zh) * 2014-07-04 2016-05-25 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN106097480A (zh) * 2016-06-08 2016-11-09 南京航空航天大学 车辆行驶数据记录系统
CN110832348B (zh) * 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
CN106845547B (zh) * 2017-01-23 2018-08-14 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US11067995B2 (en) * 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
JP6499226B2 (ja) * 2017-06-02 2019-04-10 株式会社Ｓｕｂａｒｕ 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
WO2019030963A1 (ja) * 2017-08-10 2019-02-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用停止位置判定装置、車両用表示制御システム、車両用表示制御方法およびプログラム
US10527443B2 (en) * 2017-08-16 2020-01-07 International Business Machines Corporation Generating navigation instructions
CN207557973U (zh) * 2017-10-25 2018-06-29 北京中科慧眼科技有限公司 一种汽车、其自动驾驶系统及其视觉感知设备
CN109084794B (zh) * 2018-08-09 2021-05-07 北京智行者科技有限公司 一种路径规划方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004352065A (ja) * 2003-05-28 2004-12-16 Toyota Motor Corp 駐車支援装置
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和系统
US10163018B1 (en) * 2016-06-14 2018-12-25 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for inferring a driving enviroment based on vehicle occupant actions
WO2018077308A1 (zh) * 2016-10-26 2018-05-03 纳恩博（北京）科技有限公司 一种电子设备的控制方法、电子设备和计算机存储介质
CN106427784A (zh) * 2016-11-28 2017-02-22 奇瑞汽车股份有限公司 一种车辆用全景显示系统及其全景显示方法
CN109085837A (zh) * 2018-08-30 2018-12-25 百度在线网络技术（北京）有限公司 车辆控制方法、装置、计算机设备及存储介质
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆

Also Published As

Publication number Publication date
CN109733285A (zh) 2019-05-10
CN109733285B (zh) 2021-05-07
CN113246858A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US11092966B2 (en) Building an artificial-intelligence system for an autonomous vehicle
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN113246858B (zh) 车辆行驶状态图像生成方法、设备和系统
CN109492507B (zh) 红绿灯状态的识别方法及装置、计算机设备及可读介质
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
US20230215187A1 (en) Target detection method based on monocular image
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
US20200125831A1 (en) Focusing method, device and computer apparatus for realizing clear human face
CN113561963B (zh) 一种泊车方法、装置及车辆
CN111695497B (zh) 基于运动信息的行人识别方法、介质、终端和装置
Komorkiewicz et al. FPGA-based hardware-in-the-loop environment using video injection concept for camera-based systems in automotive applications
CN109300322B (zh) 引导线绘制方法、装置、设备和介质
CN112613469B (zh) 目标对象的运动控制方法及相关设备
CN109766799B (zh) 车位识别模型训练方法及装置和车位识别方法及装置
CN115493614B (zh) 航迹线的显示方法、装置、存储介质及电子设备
CN112896151A (zh) 一种泊车方式的确定方法、装置、电子设备及存储介质
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
US20220315033A1 (en) Apparatus and method for providing extended function to vehicle
CN115082565A (zh) 相机标定方法、装置、服务器及介质
CN111123734A (zh) 用于无人车的复杂场景测试方法、装置及存储介质
CN116664955A (zh) 一种点云标注类型转换方法、装置、终端设备及存储介质
CN111791801B (zh) 实时校准动态倒车辅助线显示位置的方法、装置及电子设备
CN117894095A (zh) 用于记录车辆数据的方法和数据记录系统
CN117275277A (zh) 车位检测显示方法、电子设备及存储介质
CN115497195A (zh) 实现行车记录的数据控制系统、方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant