CN108594818A - 智能驾驶控制方法、智能车载设备和系统 - Google Patents
智能驾驶控制方法、智能车载设备和系统 Download PDFInfo
- Publication number
- CN108594818A CN108594818A CN201810408927.7A CN201810408927A CN108594818A CN 108594818 A CN108594818 A CN 108594818A CN 201810408927 A CN201810408927 A CN 201810408927A CN 108594818 A CN108594818 A CN 108594818A
- Authority
- CN
- China
- Prior art keywords
- image
- processor
- memory
- fpga
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000008569 process Effects 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 abstract description 8
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 29
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 29
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种智能驾驶控制方法、智能车载设备和系统。该设备包括：现场可编程门阵列(Field‑Programmable Gate ArrayField‑Programmable Gate Array，FPGA)、存储器和处理器；存储器分别与FPGA和处理器连接；其中，FPGA用于对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器；处理器用于从存储器中读取图像，并根据读取到的图像进行智能驾驶控制。本发明实施例提供的智能驾驶控制方法、智能车载设备和系统延迟少。
Description
技术领域
本发明涉及智能驾驶技术，尤其涉及一种智能驾驶控制方法、智能车载设备和系统。
背景技术
高级驾驶辅助系统(Advanced Driver Assistant System，ADAS)是利用安装在车辆(汽车、电动车、火车等)上的各式各样传感器，在车辆行驶过程中随时来感应周围的环境，从而辅助驾驶者操控车辆以及向驾驶者预警可能发生的危险，提高驾驶者在车辆行驶过程中的安全性以及舒适性。
发明内容
本发明实施例提供一种智能驾驶控制方法、智能车载设备和系统。
第一方面，本发明实施例提供一种智能车载设备，包括：FPGA、存储器和处理器；所述存储器分别与所述FPGA和所述处理器连接；其中
所述FPGA用于对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至所述存储器；
所述处理器用于从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制。
在第一方面的一种可行的实施方式中，所述处理器具体用于从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第一方面的一种可行的实施方式中，所述处理器还与所述FPGA连接；
所述处理器具体用于从所述FPGA中获取所述FPGA向所述存储器中最后存储的图像的地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第一方面的一种可行的实施方式中，所述处理器还与所述FPGA连接；
所述处理器还用于向所述FPGA发送地址获取指令；
所述FPGA还用于在接收到所述处理器发送的地址获取指令时，确定所述FPGA向所述存储器中最后存储的图像的地址，并将所述地址存储至预设寄存器中，向所述处理器发送中断请求；
所述处理器具体用于，在接收到所述中断请求时，中断所述处理器中运行的进程，从所述预设寄存器中读取所述地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第一方面的一种可行的实施方式中，所述FPGA具体用于：
对所述采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至所述存储器。
在第一方面的一种可行的实施方式中，所述FPGA还用于：
在将预处理过的图像存储至所述存储器之前，对所述预处理过的图像进行缩放处理。
在第一方面的一种可行的实施方式中，所述FPGA具体用于，
对车载摄像头采集到的图像中的多个像素点并行进行预处理；
在将预处理后的图像存储至所述存储器时，若检测到所述存储器已存满，则将待存储的图像存储至所述存储器中最先存储的图像所在位置处。
在第一方面的一种可行的实施方式中，所述存储器为DDR存储器。
在第一方面的一种可行的实施方式中，所述智能车载设备还包括FPGA电路板；其中
所述FPGA、所述存储器和所述处理器集成在所述FPGA电路板上。
在第一方面的一种可行的实施方式中，所述处理器嵌入在所述FPGA中。
第二方面，本发明实施例还提供一种智能驾驶控制方法，应用于上述第一方面中任一种可行的实施方式中的智能车载设备，所述智能驾驶控制方法包括：
FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器；
处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制。
在第二方面的一种可行的实施方式中，所述处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制，包括：
所述处理器从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第二方面的一种可行的实施方式中，所述处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制，包括：
所述处理器从所述FPGA中获取所述FPGA向所述存储器中最后存储的图像的地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第二方面的一种可行的实施方式中，所述处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制，包括：
所述处理器向所述FPGA发送地址获取指令；
所述FPGA在接收到所述处理器发送的地址获取指令时，确定所述FPGA向所述存储器中最后存储的图像的地址，并将所述地址存储至预设寄存器中，向所述处理器发送中断请求；
所述处理器在接收到所述中断请求时，中断所述处理器中运行的进程，从所述预设寄存器中读取所述地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
在第二方面的一种可行的实施方式中，所述FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器，包括：
所述FPGA对所述采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至所述存储器。
在第二方面的一种可行的实施方式中，所述将预处理过的图像存储至存储器之前，所述方法还包括：
所述FPGA对所述预处理过的图像进行缩放处理。
在第二方面的一种可行的实施方式中，所述将预处理过的图像存储至存储器，包括：
所述FPGA在将预处理后的图像存储至所述存储器时，若检测到所述存储器已存满，则将待存储的图像存储至所述存储器中最先存储的图像所在位置处。
在第二方面的一种可行的实施方式中，所述存储器为DDR存储器。
在第二方面的一种可行的实施方式中，所述FPGA、所述存储器和所述处理器集成在FPGA电路板上。
在第二方面的一种可行的实施方式中，所述处理器嵌入在所述FPGA中。
第三方面，本发明实施例还提供一种智能车载系统，包括：上述第一方面中任一种可行的实施方式中的智能车载设备和至少一个车载摄像头；各所述车载摄像头与所述FPGA连接。
在第三方面的一种可行的实施方式中，所述智能车载系统还包括：显示屏、蜂鸣器和振动器中的至少一个，所述处理器分别与所述显示屏、所述蜂鸣器和所述振动器连接；
所述处理器还用于在检测到预警信息时，控制所述显示屏、所述蜂鸣器和所述振动器中的至少一个进行预警。
本发明实施例提供的智能驾驶控制方法、智能车载设备和系统，包括FPGA、处理器和存储器，FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，处理器根据预处理后的图像进行智能驾驶控制。本实施例通过将图像预处理过程在FPGA中执行，提高了图像预处理速度，同时避免了将图像处理过程全部由处理器执行，减少了处理器的占用率，提高了ADAS和/或自动驾驶系统中图像处理速度，进而提高了智能车载设备的整体性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的智能车载设备的结构示意图；
图2为本发明实施例二提供的智能车载设备的结构示意图；
图3为本发明实施例一提供的智能驾驶控制方法的流程示意图；
图4为本发明实施例二提供的智能驾驶控制方法的流程示意图；
图5为本发明实施例三提供的智能驾驶控制方法的流程示意图；
图6为本发明实施例一提供的智能车载系统的结构示意图；
图7为本发明实施例二提供的智能车载系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合具体实施例对本发明提供的技术方案进行示例性说明。
本发明实施例一方面提供一种智能车载设备。图1为本发明实施例一提供的智能车载设备的结构示意图。本实施例中，智能车载设备至少包括FPGA和处理器，FPGA和处理器分别对车载摄像头采集到的图像进行处理，避免了将图像处理的过程全部由处理器执行，减少了处理器的占用率，提高了图像处理速度，提高了智能车载设备的整体性能。如图1所示，智能车载设备100包括：FPGA101、存储器102和处理器103；存储器102分别与FPGA101和处理器103连接；其中
FPGA101用于对车载摄像头采集得到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器102；
处理器103用于从存储器102中读取图像，并根据读取到的图像进行智能驾驶控制。
示例性的，如图1所示，本发明实施例提供一种智能车载设备，该设备设置在车辆上，该设备包括FPGA101、存储器102和处理器103。
其中，FPGA101用于接收车载摄像头采集到的图像，并对车载摄像头采集到的图像中的多个像素点进行并行预处理，使得ADAS基于预处理后的图像进行工作时，处理速度较快且占用带宽较少，从而减少ADAS的图像处理延时，提高ADAS的整体性能。由于图像通常包括上百万个像素点，例如常见的像素为720p的图像包含的有效像素点个数为1280×720＝921600个，而有效像素点仅为图像中显示在显示屏上的像素点，图像除包含有效像素点外通常还包含多行和多列的边缘像素点。因而对一帧图像的处理过程，也因为图像所包含的像素点个数过多而变为多个进程。FPGA101由于相比处理器103具有更多个计算单元，因此FPGA101相比处理器103更适合并行度较高的处理过程。因此，当对图像进行处理的过程可以并行时，采用FPGA101实现可大幅提高图像处理速度。因此，本实施例中采用FPGA101进行图像预处理可提高智能车载设备中图像处理速度，减少延时。
处理器103用于从存储器102中读取图像，并根据读取到的图像，进行车辆和行人识别、车道监测以及交通标志识别等操作，从而辅助驾驶者操控车辆以及向驾驶者预警可能发生的危险，提高驾驶者在车辆行驶过程中的安全性以及舒适性。
可选的，处理器103具体用于从存储器102中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
示例性的，上述进程可以为ADAS的进程，也可以为自动驾驶系统的进程。
示例性的，处理器103中可以运行有ADAS的进程，ADAS是利用安装于车辆上的各式各样的传感器，实时收集车内外的环境数据，进行静、动态物体/人体的辨识、侦测与追踪等技术上的处理，从而辅助驾驶者操控车辆以及在最快的时间内向驾驶者预警可能发生的危险，提高驾驶者在车辆行驶过程中的安全性以及舒适性。为实现上述功能，ADAS中至少包括车道线检测算法、图像识别算法、光流算法等算法。处理器103中还可以运行有自动驾驶系统的进程，自动驾驶系统依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，实现在没有人类主动的操作下，自动安全地操作车辆。为实现上述功能，自动驾驶系统中同样至少包括车道线检测算法、图像识别算法、光流算法等算法。
处理器103接收FPGA101预处理过后的图像，并将图像提供给ADAS，使得ADAS根据摄像头采集到的图像辅助驾驶者操控车辆和/或向驾驶者预警可能发生的危险，提高驾驶者在车辆行驶过程中的安全性以及舒适性；或者处理器器103将图像提供给自动驾驶系统，使得自动驾驶系统实现无人操作下的自动驾驶。ADAS和自动驾驶系统中的图像处理进程，受处理器103性能以及处理器103可能运行的其他程序影响。由于FPGA101对图像进行了预处理，运行有ADAS和/或自动驾驶系统的处理器103无需再对图像进行预处理，降低了处理器103的占用率，因而可提高ADAS和/或自动驾驶系统的图像处理速度。
考虑到ADAS和/或自动驾驶系统中的图像处理进程，受处理器103性能以及处理器103可能运行的其他程序影响，也可能受图像处理算法本身的复杂度的影响。当处理器103较为忙碌时，可能存在ADAS和/或自动驾驶系统处理图像速度慢于FPGA101的图像预处理速度。因此，本实施例中的智能车载设备还包括存储器102，存储器102用于存储FPGA101预处理过后的图像，避免了因FPGA101和处理器103对图像处理速度不一致而可能导致的问题。
本发明实施例提供的智能车载设备包括FPGA、处理器和存储器，FPGA对车载摄像头拍摄得到的图像进行预处理，处理器根据预处理后的图像进行智能驾驶控制。本实施例通过将图像预处理过程在FPGA中执行，提高了图像预处理速度，同时避免了将图像处理过程全部由处理器执行，减少了处理器的占用率，提高了ADAS和/或自动驾驶系统中图像处理速度，进而提高了智能车载设备的整体性能。
可选的，在上述图1所示实施例的基础上，本发明实施例还提供一种智能车载设备。图2为本发明实施例二提供的智能车载设备的结构示意图。本实施例中处理器103与FPGA101连接，本实施例提供了处理器103从存储器102中读取图像的调度机制。如图2所示，处理器103还与FPGA101连接；
处理器103具体用于从FPGA中获取FPGA向存储器中最后存储的图像的地址，根据地址从存储器中读取图像，并执行用于根据读取到的图像进行智能驾驶控制的进程。
示例性的，车载摄像头以预设速度采集图像并发送给FPGA101，FPGA101由于并行处理能力较强，因而同样以预设速度对图像进行预处理，并以预设速度将图像存储至存储器102。
而处理器103对图像的处理速度并不稳定，因而FPGA101和处理器103之间的图像处理速度并不匹配。当处理器103对图像的处理速度慢于FPGA101的图像处理速度时，可能存在存储器102中缓存有多帧图像的情况，处理器103无法确定当前帧处理完之后，该读取存储器102中的哪一帧图像。
为避免该问题，本实施例提供一种存储器中的缓存图像的调度机制。调度机制具体包括：
FPGA101将预处理后的图像存储在存储器102中，存储器102中至少可以存储两帧图像。当处理器103处理完当前帧图像时，处理器103从FPGA101中获取FPGA101向存储器102中最新存储的一帧完整图像，并将完整图像的地址发送至处理器103。示例性的，FPGA101确定当前正在向存储器102中存储的图像的前一帧图像的地址。处理器103根据从FPGA101获取到的图像的地址，从存储器102中读取该图像，并执行用于根据读取到的图像进行智能驾驶控制的进程。
示例性的，当在某一段时间内，处理器103对图像的处理速度比FPGA101对图像的预处理速度更快时，处理器103多次向FPGA101获取最新图像的地址，获取到的地址为同一地址，因而根据地址获取到的图像也为重复的同一帧图像，直到FPGA101向存储器102中更新了一帧新的图像为止。
示例性的，当在某一段时间内，处理器103对图像的处理速度比FPGA101对图像的预处理速度更慢时，处理器103每次向FPGA101获取最新图像的地址时，获取到的图像地址均为FPGA101向存储器102中最新写入的图像的地址，处理器103的相邻两次地址获取所读取到的图像之间存在有车载摄像头拍摄得到的其他图像，存储器102中存储的部分图像不会被处理器103读取。通过读取存储器中最新的一帧图像，保证了ADAS和/或自动驾驶系统的实时性和准确性。
本发明实施例提供的智能车载设备，处理器从FPGA中获取FPGA向存储器中最新存储的一帧完整图像的地址，并根据接收到的完整图像的地址，从存储器中为ADAS和/或自动驾驶系统读取最新的完整图像，保证了ADAS和/或自动驾驶系统的实时性和准确性。
可选的，上述任一实施例的基础上，下面对处理器103从FPGA101获取图像地址的方式进行详细说明。示例性的，
处理器103还用于向FPGA101发送地址获取指令；
FPGA101还用于在接收到处理器103发送的地址获取指令时，确定FPGA101向存储器102中最后存储的图像的地址，并将地址存储至预设寄存器中，向处理器103发送中断请求；
处理器103具体用于，在接收到中断请求时，中断处理器103中运行的进程，从预设寄存器中读取地址，根据地址从存储器102中读取图像，并执行用于根据读取到的图像进行智能驾驶控制的进程。
示例性的，处理器103处理完当前帧图像或根据需求向FPGA101发送地址获取指令，当FPGA101接收到地址获取指令时，FPGA101确定FPGA101向存储器102中最新存储的一帧完整图像在存储器102中的地址，并将完整图像的地址存储至FPGA101中的预设寄存器中。示例性的，FPGA101确定当前正在向存储器102中存储的图像的前一帧图像的地址。处理器103从FPGA101中的预设寄存器中读取图像的地址，根据地址从存储器102中读取该图像，并执行用于根据读取到的图像进行智能驾驶控制的进程。
示例性的，FPGA101在将最后存储的图像的地址存储至预设寄存器之后，还向处理器103发送中断请求，处理器103在从FPGA101中的预设寄存器中读取图像地址时，处理器103采用中断的方式。即处理器103中断处理器103中正在运行的进程，然后从寄存器中读取图像的地址，根据读取到的地址从存储器102中获取图像。这样避免了处理器103通过查询状态的方式，从FPGA中读取图像地址，可提高处理器的处理效率。这是由于查询方式会一直占用处理器，在查询过程中处理器无法执行其他操作，而中断方式却不一样，处理器在接收到中断之前，可以执行其他操作，当处理器接收到中断后，处理器可以处理与中断相关的操作。
可选的，处理器根据地址从存储器中读取图像之后，恢复被中断的进程。
可选的，上述任一实施例的基础上，预处理包括图像格式转换和图像缩放中的至少一项。
具体的，FPGA101具体用于：对采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至存储器102。
可选的，FPGA102还用于：在将预处理过的图像存储至存储器102之前，对预处理过的图像进行缩放处理。
可选的，FPGA102还用于对预处理后的图像进行降噪、对比对增强等图像质量提升的处理。
示例性的，ADAS和/或自动驾驶系统需要对本车辆临近范围内的车辆和行人进行检测，确定临近车辆和行人的位置和速度。车载摄像头对对车辆周围环境进行拍摄，得到多帧图像，ADAS和/或自动驾驶系统可根据拍摄得到的图像实现行人和车辆追踪。现有的车载摄像头和FPGA101之间通常通过并行接口传送图像数据，车载摄像头输出的图像的格式通常为YUV422格式，并通过8比特位并行数据接口发送至FPGA101。示例性的，车载摄像头在向FPGA101发送图像数据时，通常还携带有图像的行场同步信号，行场同步信号可用于指示一帧图像以及一帧图像中每一行像素点的开始。
示例性的，车载摄像头和FGPA101之间还可采用低电压差分信号(Low-VoltageDifferential Signaling，LVDS)接口或移动产业处理器接口(Mobile IndustryProcessor Interface，MITI)接口传送图像数据。
考虑到ADAS和/或自动驾驶系统中的图像处理通常基于RGB格式，因此需要将YUV422格式的图像进行格式转换。具体的，FPGA101将图像从YUV422格式转换为YUV444格式，然后将YUV444格式的图像再进行颜色空间转换(YUV2RGB)，最终得到RGB格式的图像。由于图像格式转换过程中，各像素点的处理相互独立，因而图像的格式转换过程更适宜于在并行度较高的FPGA101上进行。
示例性的，随着摄像头技术的提升，车载摄像头的像素越来越高，一般可达到720p或1080p。但是，ADAS和/或自动驾驶系统中的图像检测和识别算法，为了节约系统带宽和算法鲁棒性，通常不需要过高的图像像素，且所需的图像的尺寸也并不是标准的图像尺寸(比如图像尺寸可以为1280x460)。因而，需要对输入ADAS和/或自动驾驶系统的图像进行缩放预处理。
具体的，图像缩放具体可采用双线性插值缩放算法。双线性插值缩放算法中，对图像的水平和垂直方向，可以进行任意比例的缩小或放大。同时，考虑到FPGA内部的资源占用率，以及ADAS和/或自动驾驶系统中图像识别等算法对缩放图像质量的要求，可采用两阶缩放算法，这样能够平衡FPGA逻辑面积和缩放效果。在采用双线性插值缩放算法时，缩放后的图像中的每一个像素，均由相邻两行和两列的四个像素点插值得到。同样的，由于图像缩放过程中，各像素点的处理相互独立，因而图像的缩放过程更适宜于在并行度较高的FPGA101上进行。若由处理器完成图像缩放过程，由于处理器相比FPGA并行度较低，将会导致图像缩放耗时较长，影响整个智能车载设备的反应时间。
示例性的，FPGA101与存储器102之间可采用AXI总线，FPGA101将缩放后的图像，通过AXI总线写入存储器102中。
本实施例中，智能车载设备将并行度较高的图像格式转换和图像缩放在FPGA中进行，提高了智能车载设备中图像处理的速度，提高了智能车载设备的性能。
可选的，FPGA101具体用于，获取车载摄像头采集到的图像，对车载摄像头采集到的图像中的多个像素点并行进行预处理；在将预处理后的图像存储至存储器102时，若检测到存储器已存满，则将待存储的图像存储至存储器102中最先存储的图像所在位置处。
示例性的，FPGA101在向存储器102中存储图像时，以帧为单位进行循环存储。例如，存储器102中可最多存储4帧图像，当FPGA101已经向存储器102中存储了图像1、图像2、图像3和图像4时，FPGA101将图像5存储在图像1所在的位置，替代原图像1。当FPGA101预处理完图像6时，FPGA101将图像6存储在图像2所在的位置，替代原图像2。从而使得存储器102中的图像一直为车载摄像头采集到的最新图像，保证了ADAS和/或自动驾驶系统的实时性和准确性。
可选的，存储器为DDR存储器。
示例性的，通过采用DDR存储器，保证了FPGA、处理器与存储器之间的读写速度。
可选的，智能车载设备还包括FPGA电路板，FPGA、存储器和处理器集成在FPGA电路板上。
示例性的，在实际应用中，FPGA、存储器和处理器可集成在一个FPGA电路板上。处理器示例性的可以为ARM处理器。
可选的，智能车载设备中的处理器还可嵌入在FPGA中。示例性的，FPGA为XilinxFPGA。
本发明实施例另一方面还一种智能驾驶控制方法，该方法可以应用于如图1或2所示的任一智能车载设备中。该方法具有与上述智能车载设备相同或相似的技术特征，其实现原理和技术效果类似，本发明对此不再赘述。
图3为本发明实施例一提供的智能驾驶控制方法的流程示意图。如图3所示，智能驾驶控制方法包括：
S301、FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器。
S302、处理器从存储器中读取图像，并根据读取到的图像进行智能驾驶控制。
可选的，在图3所示实施例的基础上，处理器根据读取到的图像进行智能驾驶控制的具体实现方式可以为：
处理器从存储器中读取图像，并执行用于根据读取到的图像进行智能驾驶控制的进程。
可选的，在上述任一实施例的基础上，图4为本申请实施例二提供的提供的智能驾驶控制方法的流程示意图。如图4所示，处理器从存储器中读取图像的具体实现方式可以为：
S401、处理器从FPGA中获取FPGA向存储器中最后存储的图像的地址。
示例性的，FPGA101将预处理后的图像存储在存储器102中，存储器102中至少可以存储两帧图像。当处理器103处理完当前帧图像时，处理器103从FPGA101中获取FPGA101向存储器102中最新存储的一帧完整图像，并将完整图像的地址发送至处理器103。
S402、处理器根据地址从存储器中读取图像。
本发明实施例提供的智能驾驶控制方法，处理器从FPGA中获取FPGA向存储器中最后存储的图像的地址，并根据接收到的图像的地址，从存储器中读取最新的图像，保证了ADAS和/或智能驾驶系统的实时性和准确性。
可选的，在上述任一实施例的基础上，本发明实施例还提供一种智能驾驶控制方法。图5为本发明实施例三提供的智能驾驶控制方法的流程示意图。本实施例对处理器从FPGA获取图像地址的过程进行了详细描述。如图5所示，智能驾驶控制方法包括：
S501、处理器向FPGA发送地址获取指令。
示例性的，处理器103处理完当前帧图像或根据需求向FPGA101发送地址获取指令。
S502、FPGA确定FPGA向存储器中最后存储的图像的地址，并将地址存储至预设寄存器中。
示例性的，当FPGA101接收到地址获取指令时，FPGA101确定FPGA101向存储器102中最新存储的一帧完整图像在存储器102中的地址，并将该图像的地址存储至FPGA101中的预设寄存器中。
S503、FPGA向处理器发送中断请求。
示例性的，FPGA101在更新了预设寄存器中的图像地址后，向处理器发送中断请求。
S504、处理器中断处理器中运行的进程。
示例性的，处理器在接收到中断请求后，中断处理器中运行的进程。
S505、处理器从预设寄存器中读取地址。
S506、处理器根据地址从存储器中读取图像。
示例性的，处理器103中断处理器103中正在运行的进程，然后从预设寄存器中读取图像的地址，再根据读取到的地址从存储器102中获取图像。
本发明实施例中，处理器103采用中断的方式获取图像，避免了处理器103通过查询状态的方式，从FPGA中读取图像地址，可提高处理器的处理效率。这是由于查询方式会一直占用处理器，在查询过程中处理器无法执行其他操作，而中断方式却不一样，处理器在接收到中断之前，可以执行其他操作，当处理器接收到中断后，处理器可以处理与中断相关的操作。
可选的，处理器103在从存储器102中获取到图像之后，还恢复处理器103中被中断的进程。
可选的，在上述任一实施例的基础上，FPGA对车载摄像头采集到的图像进行预处理具体包括：
FPGA101对采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至存储器102。
可选的，在上述任一实施例的基础上，FPGA101将预处理过的图像存储至存储器102之前，FPGA101对预处理过的图像进行缩放处理。
可选的，在上述任一实施例的基础上，FPGA将预处理后的图像进行存储时，具体包括：
FPGA101在将预处理后的图像存储至存储器102时，若检测到存储器102已存满，则将待存储的图像存储至存储器102中最先存储的图像所在位置处。
可选的，在上述任一实施例的基础上，存储器102为DDR存储器。
可选的，在上述任一实施例的基础上，FPGA101、存储器102和处理器103集成在FPGA电路板上。
可选的，在上述任一实施例的基础上，处理器103嵌入在FPGA101中。
本发明实施例另一方面提供一种驾驶辅助系统。图6为本发明实施例一提供智能车载系统的结构示意图。如图6所示，智能车载系统600包括：至少一个车载摄像头601和智能车载设备602；车载摄像头601与FPGA101连接。
示例性的，智能车载设备602可以为图1或图2所示实施例中的智能车载设备。示例性的，车载摄像头601可以设置在车辆的前端。可选的，驾驶辅助系统还可包括设置车辆侧面和后端的车载摄像头。
可选的，在图6所示实施例的基础上，图7为本发明实施例二提供的智能车载系统的结构示意图。如图7所示，智能车载系统600还包括：显示屏603、蜂鸣器604和振动器605中的至少一个，处理器103分别与显示屏603、蜂鸣器604和振动器605连接；
处理器103还用于在检测到预警信息时，控制显示屏603、蜂鸣器604和振动器605中的至少一个进行预警。
示例性的，处理器103中执行的ADAS进程在生成预警信息时，控制显示屏603、蜂鸣器604和振动器605中的至少一个进行预警。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种智能车载设备，其特征在于，包括：现场可编程门阵列FPGA、存储器和处理器；所述存储器分别与所述FPGA和所述处理器连接；其中
所述FPGA用于对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至所述存储器；
所述处理器用于从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制。
2.根据权利要求1所述的智能车载设备，其特征在于，所述处理器还与所述FPGA连接；
所述处理器具体用于从所述FPGA中获取所述FPGA向所述存储器中最后存储的图像的地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
3.根据权利要求1所述的智能车载设备，其特征在于，所述处理器还与所述FPGA连接；
所述处理器还用于向所述FPGA发送地址获取指令；
所述FPGA还用于在接收到所述处理器发送的地址获取指令时，确定所述FPGA向所述存储器中最后存储的图像的地址，并将所述地址存储至预设寄存器中，向所述处理器发送中断请求；
所述处理器具体用于，在接收到所述中断请求时，中断所述处理器中运行的进程，从所述预设寄存器中读取所述地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
4.根据权利要求1至3中任一项所述的智能车载设备，其特征在于，所述FPGA具体用于：
对所述采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至所述存储器。
5.根据权利要求1至4任一项所述的智能车载设备，其特征在于，所述FPGA还用于：
在将预处理过的图像存储至所述存储器之前，对所述预处理过的图像进行缩放处理。
6.一种智能驾驶控制方法，其特征在于，包括：
FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器；
处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制。
7.根据权利要求6所述的方法，其特征在于，所述处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制，包括：
所述处理器从所述FPGA中获取所述FPGA向所述存储器中最后存储的图像的地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
8.根据权利要求6所述的方法，其特征在于，所述处理器从所述存储器中读取图像，并根据所述读取到的图像进行智能驾驶控制，包括：
所述处理器向所述FPGA发送地址获取指令；
所述FPGA在接收到所述处理器发送的地址获取指令时，确定所述FPGA向所述存储器中最后存储的图像的地址，并将所述地址存储至预设寄存器中，向所述处理器发送中断请求；
所述处理器在接收到所述中断请求时，中断所述处理器中运行的进程，从所述预设寄存器中读取所述地址，根据所述地址从所述存储器中读取图像，并执行用于根据所述读取到的图像进行智能驾驶控制的进程。
9.根据权利要求6至8中任一项所述的方法，其特征在于，所述FPGA对车载摄像头采集到的图像中的多个像素点并行进行预处理，并将预处理过的图像存储至存储器，包括：
所述FPGA对所述采集到的图像中的多个像素点并行进行图像格式转换处理，并将预处理过的图像存储至所述存储器。
10.一种智能车载系统，其特征在于，包括：如权利要求1至5中任一项所述的智能车载设备和至少一个车载摄像头；各所述车载摄像头与所述FPGA连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810408927.7A CN108594818A (zh) | 2018-04-27 | 2018-04-27 | 智能驾驶控制方法、智能车载设备和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810408927.7A CN108594818A (zh) | 2018-04-27 | 2018-04-27 | 智能驾驶控制方法、智能车载设备和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108594818A true CN108594818A (zh) | 2018-09-28 |
Family
ID=63620431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810408927.7A Pending CN108594818A (zh) | 2018-04-27 | 2018-04-27 | 智能驾驶控制方法、智能车载设备和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108594818A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853389A (zh) * | 2019-11-21 | 2020-02-28 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控系统 |
| CN111479082A (zh) * | 2020-03-31 | 2020-07-31 | 北京经纬恒润科技有限公司 | 一种摄像头信号采集回放设备及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2922304Y (zh) * | 2006-06-26 | 2007-07-11 | 株洲南车时代电气股份有限公司 | 基于tcn的多总线车辆通信控制模块 |
| WO2011047508A1 (en) * | 2009-10-22 | 2011-04-28 | Tianjin University Of Technology | Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens |
| CN105235615A (zh) * | 2015-10-27 | 2016-01-13 | 浙江吉利控股集团有限公司 | 一种基于人脸识别的车辆控制系统 |
| CN205281609U (zh) * | 2015-10-27 | 2016-06-01 | 乐山职业技术学院 | 一种基于双处理器的车辆行驶记录系统 |
| CN205430422U (zh) * | 2016-03-30 | 2016-08-03 | 四川信息职业技术学院 | 基于dsp的疲劳驾驶预警系统 |
| CN105857180A (zh) * | 2016-05-09 | 2016-08-17 | 广西大学 | 雾霾天车辆驾驶辅助系统及其方法 |
| WO2017165627A1 (en) * | 2016-03-23 | 2017-09-28 | Netradyne Inc. | Advanced path prediction |
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN206671565U (zh) * | 2017-04-12 | 2017-11-24 | 北京饮冰科技有限公司 | 一种利用激光传感器构建的前防撞预警和驾驶辅助系统 |
| CN206743276U (zh) * | 2017-06-02 | 2017-12-12 | 山西军跃迈科信息安全技术有限责任公司 | Mvb总线安全监测分析系统 |
| CN207140946U (zh) * | 2017-06-16 | 2018-03-27 | 上海赫千电子科技有限公司 | 一种车载辅助驾驶全景图像系统 |
| CN107885214A (zh) * | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的加速自动驾驶视觉感知的方法及装置 |
-
2018
- 2018-04-27 CN CN201810408927.7A patent/CN108594818A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2922304Y (zh) * | 2006-06-26 | 2007-07-11 | 株洲南车时代电气股份有限公司 | 基于tcn的多总线车辆通信控制模块 |
| WO2011047508A1 (en) * | 2009-10-22 | 2011-04-28 | Tianjin University Of Technology | Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens |
| CN105235615A (zh) * | 2015-10-27 | 2016-01-13 | 浙江吉利控股集团有限公司 | 一种基于人脸识别的车辆控制系统 |
| CN205281609U (zh) * | 2015-10-27 | 2016-06-01 | 乐山职业技术学院 | 一种基于双处理器的车辆行驶记录系统 |
| WO2017165627A1 (en) * | 2016-03-23 | 2017-09-28 | Netradyne Inc. | Advanced path prediction |
| CN205430422U (zh) * | 2016-03-30 | 2016-08-03 | 四川信息职业技术学院 | 基于dsp的疲劳驾驶预警系统 |
| CN105857180A (zh) * | 2016-05-09 | 2016-08-17 | 广西大学 | 雾霾天车辆驾驶辅助系统及其方法 |
| CN206671565U (zh) * | 2017-04-12 | 2017-11-24 | 北京饮冰科技有限公司 | 一种利用激光传感器构建的前防撞预警和驾驶辅助系统 |
| CN206743276U (zh) * | 2017-06-02 | 2017-12-12 | 山西军跃迈科信息安全技术有限责任公司 | Mvb总线安全监测分析系统 |
| CN207140946U (zh) * | 2017-06-16 | 2018-03-27 | 上海赫千电子科技有限公司 | 一种车载辅助驾驶全景图像系统 |
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN107885214A (zh) * | 2017-11-22 | 2018-04-06 | 济南浪潮高新科技投资发展有限公司 | 一种基于fpga的加速自动驾驶视觉感知的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853389A (zh) * | 2019-11-21 | 2020-02-28 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控系统 |
| CN110853389B (zh) * | 2019-11-21 | 2022-03-18 | 白犀牛智达(北京)科技有限公司 | 一种适用于无人物流车的路测监控系统 |
| CN111479082A (zh) * | 2020-03-31 | 2020-07-31 | 北京经纬恒润科技有限公司 | 一种摄像头信号采集回放设备及系统 |
| CN111479082B (zh) * | 2020-03-31 | 2022-11-22 | 北京经纬恒润科技股份有限公司 | 一种摄像头信号采集回放设备及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11704781B2 (en) | Enhanced high-dynamic-range imaging and tone mapping | |
| EP3144918B1 (en) | Computer system and method for monitoring a traffic system | |
| US8160297B2 (en) | System for processing an image of a surrounding of a vehicle | |
| WO2022134364A1 (zh) | 车辆的控制方法、装置、系统、设备及存储介质 | |
| CN107613262B (zh) | 一种视觉信息处理系统与方法 | |
| CN101673473A (zh) | 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法 | |
| CN110733444A (zh) | 一种基于mpsoc平台的adas驾驶辅助系统 | |
| CN108594818A (zh) | 智能驾驶控制方法、智能车载设备和系统 | |
| JP2023519405A (ja) | ハードウェアアクセラレータをスケジューリングするための方法およびタスクスケジューラ | |
| CN112550151A (zh) | 自动驾驶车辆的摄像头共用系统 | |
| CN113497926A (zh) | 视觉缺陷的智能校正 | |
| CN110855907B (zh) | 一种基于预测的低延时视频叠加帧缓存调度器 | |
| CN109733285B (zh) | 车辆行驶状态显示方法、设备和系统 | |
| CN115424598A (zh) | 显示屏亮度调整方法、装置及存储介质 | |
| CN112486684B (zh) | 行车影像显示方法、装置及平台、存储介质、嵌入式设备 | |
| CN109886229A (zh) | 基于fpga的车牌人脸识别系统及方法 | |
| US11780435B2 (en) | Reverse assist method and system, image processor and corresponding drive assist system | |
| CN110032118B (zh) | 一种基于可重构计算的边缘计算系统和方法 | |
| CN115061648A (zh) | 车载显示系统的操作方法和车载显示系统 | |
| WO2021124729A1 (ja) | 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム | |
| CN207449770U (zh) | 一种后方车况监测报警系统 | |
| US10037169B2 (en) | Image processing semiconductor device and image processing device | |
| CN112078486A (zh) | 一种基于hud显示的转向辅助装置及方法 | |
| CN104217598A (zh) | 一种车道方向提醒装置 | |
| JP2020140133A (ja) | 表示制御システム、表示システム、移動体、表示制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |
|
| RJ01 | Rejection of invention patent application after publication |