CN114755673A - 多传感器自动驾驶系统 - Google Patents

多传感器自动驾驶系统 Download PDF

Info

Publication number
CN114755673A
CN114755673A CN202011567732.0A CN202011567732A CN114755673A CN 114755673 A CN114755673 A CN 114755673A CN 202011567732 A CN202011567732 A CN 202011567732A CN 114755673 A CN114755673 A CN 114755673A
Authority
CN
China
Prior art keywords
information
sensor
image information
processing unit
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011567732.0A
Other languages
English (en)
Inventor
曾怡舜
张昇正
吴佾轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OTOBRITE ELECTRONICS Inc
Original Assignee
OTOBRITE ELECTRONICS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OTOBRITE ELECTRONICS Inc filed Critical OTOBRITE ELECTRONICS Inc
Priority to CN202011567732.0A priority Critical patent/CN114755673A/zh
Publication of CN114755673A publication Critical patent/CN114755673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种多传感器自动驾驶系统，包括影像信息接收模块，用来接收连续的影像信息，感测器信息接收模块，用来接收连续的感测信息，处理单元，将所述连续的影像信息或/及所述连续的感测信息进行分析，以判断是否包含识别目标，并于确认包含所述识别目标时，产生触发信息，其中所述处理单元根据所述触发信息标记对应的影像信息或/及感测信息。

Description

多传感器自动驾驶系统
技术领域
本发明涉及自动驾驶领域，尤其涉及一种多传感器自动驾驶系统。
背景技术
环境感知能力对于自动驾驶技术而言是十分重要的关键技术，一个稳健的自动驾驶系统需要搭配不同特性的传感器，经由人工智能判断下，才能掌握环境的动态。
而人工智能需通过不同传感器信息对于信息的大量搜集进行标记与学习，调校参数后才能得到系统的优化表现，以提升对于环境感知能力。因此在发展一个理想的自动驾驶系统时，信息收集效率更显得重要，而现今车载智能具备有摄影机、毫米波雷达、超声波雷达和光达(LiDAR)等不同功能的传感器，不同的信息量收集需要搭建一整合平台以实现有效率信息收集，如此可以作为信息同步及整合的功能，而传感器信息其中又以影像信息收集时占据庞大的储存空间，所以如何同时有效录制大量传感器信息进而分类、标记与学习，提升储存空间使用率，甚至对于后端信息处理前的分类筛选，将是自动驾驶技术开发时所必须解决的问题。此外，在验证开发的人工智能是否能有效实现自动驾驶所要求的功能，需要将开发的人工智能整合在一硬件平台，而硬件平台相关规格及设置，又是有别于信息收集的系统，并且硬件平台需要安装在实车上进行验证。
发明内容
为解决上述技术问题而提供了一种多传感器自动驾驶系统。
本发明的目的可以通过以下的技术方案来实现：
一种多传感器自动驾驶系统，包括影像信息接收模块，用来接收连续的影像信息，感测器信息接收模块，用来接收连续的感测信息，处理单元，将所述连续的影像信息或/及所述连续的感测信息进行分析，以判断是否包含识别目标，并于确认包含所述识别目标时，产生触发信息，其中所述处理单元根据所述触发信息标记对应的影像信息或/及感测信息。
还包括储存模块，所述处理单元将所述连续的影像信息或/及所述连续的感测信息储存于所述储存模块。
还包括储存模块，所述处理单元将已标记的所述影像信息或/及已标记的所述感测信息储存于所述储存模块。
所述识别目标可为多重条件的设定，并可以根据多重条件作交集或联集的方式设定。
所述影像信息为LVDS格式信息。
所述感测信息至少为超声波信息、光达信息、毫米波雷达信息、GPS信息、行车数据信息其中之一。
所述感测器信息接收模块还包括具有以太网络接口的传感器信息接收区块，用来接收所述光达信息。
所述处理单元对所述连续的影像信息及所述连续的感测信息进行时间同步。与现有技术相比，本发明具有以下优点：
1、本发明的多传感器自动驾驶系统经由设定识别目标及设定储存方式后，对于接收连续的影像信息及连续的感测器信息进行标记，最后储存后的信息经由本系统可产生分类标示，自动驾驶系统开发者可再针对收集到的影像信息或/及感测信息，进行有效的后端信息处理后，有利于开发车载人工智能；
2、通过本发明的系统设置，包括有影像信息接收模块及感测器信息接收模块，更包括有以太网络接口的传感器信息接收区块，用来接收所述光达信息。其中，影像信息为LVDS信息格式，传输的影像质量较佳，对于开发影像人工智能较为有利，此外本系统提供CAN总线的接口的传感器信息接收模块，可同时接收不同类型的传感器的感测信息，而针对光达信号也提供了快速以太网络接口作为传输，开发者在开发后的人工智能更可直接利用本发明的系统装载于车辆上，实现实车验证。
附图说明
图1是本发明一种多传感器自动驾驶系统的结构示意图。
图2是本发明的一种多传感器自动驾驶系统用于人工智能信息收集的流程的示意图。
附图标记说明：100-多传感器自动驾驶系统；101-影像信息接收模块；102-感测器信息接收模块；103-处理单元；104-储存模块；1020-以太网络接口的传感器信息接收区块。
具体实施方式
在本发明的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图与具体实施方式对本发明作进一步详细描述：
请参考图1，本发明公开了一种多传感器自动驾驶系统100包括影像信息接收模块101、感测器信息接收模块102、处理单元103与储存模块104。
影像信息接收模块101用来接收连续的影像信息，并具有图像处理单元(ISP,Image Signal Processor)，可处理如镜头矫正、像素矫正、颜色插值、Bayer噪声去除、白平衡矫正、色彩矫正、gamma矫正、色彩空间转换等功能。影像信息接收模块101一般可具有LVDS(Low Voltage Differential Signaling，低电压差分信号)或MIPI CSI传输接口。而影像信息来自一个或多个连接于车辆上的摄像头，摄像头通常安装在车辆的周围拍摄行车图像，为了能获取较好的影像质量，影像信息可以为LVDS格式信息。
感测器信息接收模块102，用来接收连续的感测信息，感测信息至少为超声波信息、光达信息、毫米波雷达信息(mmWave Radar)、GPS信息、行车数据信息其中之一。其中，超声波信息、毫米波雷达信息、GPS信息、行车数据信息(包括例如包括车速、引擎转速、转向角、加速度、文件位与其他传感器信息等)，可通过感测器信息接收模块102的CAN总线接口传输。所述感测器信息接收模块102还包括具有以太网络接口的传感器信息接收区块1020，用来接收所述光达信息，通过以太网络接口可实现高速光达信号传输。
处理单元103为本发明的系统主要运算单元，内置有优化后的人工智能，通常处理核心是DSP(digital signal processor，数字信号处理器)。DSP适合用来进行各种乘加运算(SOP：Sum of Products)，例如：有限脉冲响应滤波运算(FIR：Finite ImpulseResponse)、无限脉冲响应滤波运算(IIR：Infinite Impulse Response)、离散傅立叶变换(DFT：Discrete Fourier Transform)、离散余弦转换(DCT：Discrete Cosine Transform)、点积运算(Dot product)、卷积运算(Convolution)，以及矩阵多项式的求值运算等。处理单元103具有内存传输接口，可执行内存内置指令。处理单元103亦具有影像传输接口，与影像信息接收模块连接，运算自影像信息接收模块转换后的影像信息。处理单元103同时也包括有CAN总线接口，与传感器信息接收模块的CAN总线连接，运算感测信号如超声波信息、毫米波雷达信息、GPS信息、行车数据信息等。此外，处理单元103也具有高速传输接口，支持高速以太网络接口传输，主要是运算来自传感器信息接收模块的光达信息。
储存模块104主要功能是储存影像信息或/及各式感测信息。储存模块104可以是内建的集成电路的存储器，也可以是外接式的存储装置，如SSD或SD卡。储存档案是以帧数形式储存，在档案内的每一笔数据都要符合对应单元格式，举例可以为，字段辨识数据开头，字段数据格式，如Camera影像、Radar、LiDAR…，字段数据长度，字段同步当下的时间等格式。
请一并参考图1及图2根据本公开内容的由多传感器自动驾驶系统100用于人工智能信息收集的流程的实施方式。本发明的多传感器自动驾驶系统100安装于实车上有以下进行的步骤:
步骤S1，设定识别目标与储存模式。设定方式可经由通过一系统启动时的用户接口(user interface)(未标示)对于多传感器自动驾驶系统100进行操作，或是在系统启动时，预先将识别目标通过程序加载于系统中，加载的方式可通过实体传输装置，如USB插口、记忆卡等方式，亦可通过无线传输，如蓝牙、无线网络等方式加载。识别目标在设定上可为单一设定或多重条件的设定，并可以根据多重条件作交集或联集的方式设定，亦即可设定两种以上不同的识别目标，交集代表不同的识别目标同时存在，联集则表示任一识别目标存在即可。储存模式是依据识别目标作不同数据型态的储存，可依不同传感器信息、储存信息的格式、储存信息数据量的大小等决定，本发明在储存模式中，可设定当系统对于侦测到识别目标时，是否要储存具有该识别目标时的相关影像或是其他传感器信息，甚至设定储存的帧数可依据设定而有所调整，例如当系统侦测到识别目标时的前后帧数设定。相对的，本发明的系统可以设定储存不具有该识别目标时的相关影像或是其他传感器信息。
一般而言，识别目标可以包括特定对象、事件、操控等行为，特别是藉由人工智能判断影像为主的特定目标，也可以为需要人工智能判断其他感测信息的目标。特定对象举例可以包括行人、各式车辆、路牌标志、号志标志、电线杆、车道线、人行道、车道类型、坑洞、路沿石、停车格、地锁、限位挡杆等。特定事件举例可以包括环境中的雨、雾或雪的行驶天候，以及行车时的环境照度，甚至是道路塞车、车辆故障、车辆撞击、传感器失效或被遮蔽影响功能时等。特定操控举例可以是自动驾驶功能失效，如自动停车失效、自动换车道失效等失效行为，或是驾驶者行为介入，如紧急煞车、急速转向等行为。以上识别目标主要是以人工智能判断为主的目标，但本发明不限于此，当然也可以包括传感器信息，例如GPS设定范围、车速、环境温湿度、驾驶介入操控时间等。
步骤S2，接收影像信息或/及感测信息。当设定前述步骤设定完成后，随着车辆移动时，经由本发明的系统配置影像信息接收模块101，用来接收连续的影像信息，以及感测器信息接收模块102，用来接收连续的感测信息。所述连续的影像信息及连续的感测信息，在未进入本发明的系统的处理单元103分析判断是否有识别目标前，会暂时存取于系统内置的动态记忆体(未标示)的共享记忆体(share memory)区内，而此时处理单元103对存取于共享记忆体区内的所述连续的影像信息及所述连续的感测信息进行时间同步。
步骤S3，处理单元分析。本发明的多传感器自动驾驶系统100具有处理单元103，且所述处理单元103内已建置有人工智能，可针对识别目标进行辨识，也就是说，本发明的多传感器自动驾驶系统100具有的处理单元103已建置有优化后的人工智能，可针对系统既有的识别目标进行辨识，提升信息的收集效率或后续信息筛选处理方便性，藉以开发其他自动驾驶功能，而进行信息收集作业。所述处理单元103针S1步骤设定的识别目标，将所述连续的影像信息或/及所述连续的感测信息进行分析，以判断是否包含识别目标，并于确认包含所述识别目标时，产生触发信息。亦即本发明的处理单元103可根据S1步骤选定的识别目标特征，来选择分析的信息，若运算仅为影像信息的人工智能运算，则仅会对于影像信息作分析，而不分析其他感测信息，以节省系统的运算量。
所述触发信息是经由所述处理单元103运算后产生并且储存于本发明的系统内置的动态记忆体(未标示)中，而所述触发信息可包括处理单元103对于本发明的系统所实行的相关作动，如操控系统(或车辆)、停止系统(或车辆)等，或是对所述连续的影像信息或/及所述连续的感测信息进行标记、储存等信息处理。
步骤S4，标记储存。处理单元103对于前述步骤所产生的触发信息标记对应的所述连续的影像信息或/及所述连续的感测信息。标记主要根据S1步骤设定产生，其具体作法可以是处理单元103对于所述连续的影像信息或/及所述连续的感测信息产生文字数据、时间起始终止数据、识别目标的类型标记、识别目标的圈选标记、储存的帧数或每一帧数的信心指数等的至少一种。对于标记后的所述连续的影像信息或/及所述连续的感测信息，处理单元103便呼叫本发明的系统内置的动态记忆体的储存指令，将这些影像信息或/及感测信息储存于本发明的系统的储存模块104内。储存信息可根据S1步骤设定进行，可选择方式为:(1)处理单元103将所述连续的影像信息或/及所述连续的感测信息储存于所述储存模块104，亦即储存系统根据S1步骤设定启动后，开始储存影像信息或/及感测信息，但其中部份的所述连续的影像信息及部份的所述连续的感测信息已具有对应的标记信息。(2)处理单元103将已标记的所述影像信息或/及已标记的所述感测信息储存于所述储存模块104，亦即仅针对已标记的信息作储存，其他不具有标记的信息则不储存至储存模块104内。
通过S4步骤所得到的储存信息，本发明的系统对于储存后的信息分类标示，自动驾驶系统开发者可再针对收集到的影像信息或/及感测信息，通过信息的再标记、筛选、参数调整、算法改良等有关人工智能学习与训练，最后将经过训练后的人工智能可更新，进行脱机验证，或通过本发明的系统建置好的硬件平台进行人工智能的实车验证。信息收集可重复进行前述S1至S4的步骤，直到开发的自动驾驶功能达到优化为止。
现在，针对本发明的多传感器自动驾驶系统100作以下实施，并请一并参考图1及图2的说明。
多传感器自动驾驶系统100例如作为使用识别目标为车格的标记储存的实施说明。常见的自动驾驶系统对于自动停车功能实现时，会需要收集对应的车格信息，因此在通过本发明的系统在S1步骤时，需要设定识别目标与储存模式。在识别目标中，由于车格信息包括有车格线、车格号码、其他车辆、地面障碍物(如地锁、限位挡杆等)以及其他障碍物(如行人、动物等)，或是环境照度等。开发者可根据不同的识别目标，选定单一或是多重的条件，举例可为只选取车格线为双线时的单一识别目标，或是同时选定为车格线且环境照度为100LUX以下时的识别目标，甚至是为选取车格线为单线或双线的识别目标。储存模式可以设定储存具有该识别目标的信息类型，进一步地可选择仅储存影像信息而不储存其他传感器信息，或是同时储存影像信息及其他传感器信息。更进一步地，可设定储存影像信息的储存量大小，例如是当系统(处理单元103)侦测到识别目标起始时到侦测识别目标结束时的所有帧数。
当识别目标与储存模式设定完成后，由步骤S2开启影像信息接收模块101接收连续的影像信息，以及开启感测器信息接收模块102接收连续的感测信息。
接着处理单元103对于影像信息接收模块101接收连续的影像信息或/及感测器信息接收模块102接收连续的感测信息进行S3步骤的分析。由于本发明的多传感器自动驾驶系统100的处理单元103已具有人工智能，因此可依据步骤S1的设定进行信息的分辨。举例是选取车格线为双线时的单一识别目标且仅储存影像信息而不储存其他传感器信息时，处理单元103对人工智能的计算会根据车格线的特性，仅分析影像信息而不分析其他感测信息，如果处理单元103分析到影像信息具有步骤S1设定的识别目标时，便产生一触发信息，该触发信息依本例为储存指令时，则依此触发信息使信息储存于储存模块104，即进入S4步骤，而仅储存的是影像信息而不储存其他感测信息。
在S4步骤的储存信息内容，又可根据S1步骤的设定，对于信息作不同的储存方式，可选择方式为:(1)处理单元103将所述连续的影像信息或/及所述连续的感测信息储存于所述储存模块104，亦即在系统启动后，开始储存影像信息或/及感测信息，但其中部份的所述连续的影像信息及部份的所述连续的感测信息具有在S3步骤已完成的标记信息。(2)处理单元103将已标记的所述影像信息或/及已标记的所述感测信息储存于所述储存模块104，亦即仅针对已标记的信息作储存，其他不具有标记的信息则不储存至储存模块104内。特别说明的是，本发明的储存方式可以储存不具有该识别目标时的相关影像或是其他感测信息，举例来说，本发明的系统可以选择不储存处理单元103已经辨识到的车格为单线时的影像信息，而仅储存的是车格线为单线以外的其他系统预设的车格线影像信息。
以下是多传感器自动驾驶系统100例如作为使用识别目标为障碍物的标记储存的实施说明。自动驾驶功能开发中，障碍物的感测通常需要两种以上的传感器信息作为分析判断，通常传感器为摄像头及超声波传感器，其目的是通过接收不同的传感器的信息后，经由人工智能运算对于障碍物有更好的辨识结果，如掌握障碍物类型与障碍物距离，甚至对不同的传感器信息作融合。以开发自动泊车时的空间侦测为例，在步骤S1时，可设定多重障碍物类型作为信息收集的识别目标，如停于车格内的车辆、地锁、限位挡杆等，而这些多重的识别目标便是联集的方式选取。储存模式可以设定是仅储存当处理单元103经过识别目标分析后产生触发信息时的传感器信息，此处传感器信息包含所有的影像信息及超声波信息，并以侦测到识别目标起始时到侦测识别目标结束时的所有帧数为储存的方式。
当设定完成后，同样地，由步骤S2开启影像信息接收模块101接收连续的影像信息，以及开启感测器信息接收模块102接收连续的感测信息，而此例中，传感器信息至少包括超声波信息。
在步骤S3时，处理单元103对于影像信息接收模块101接收连续的影像信息或/及感测器信息接收模块102接收连续的感测信息进行分析。由于本发明的多传感器自动驾驶系统100的处理单元103具有人工智能，因此可依据步骤S1的障碍物设定状况，同时分析影像信息及超声波信息，如果处理单元103分析到影像信息具有步骤S1设定的识别目标时，便产生一触发信息(储存指令)，则依此触发信息则使信息储存于储存模块104，即进入S4步骤，根据步骤S1，此时储存的是影像信息及超声波信息。具体来说，当处理单元103对于识别目标(停于车格内的车辆、地锁、限位挡杆)产生触发信息后，此时收集到的信号除了影像信号的识别目标类型以及影像计算后的距离信息外，更包括有超声波信号对应的距离信息。因此对于障碍物的标记储存或是不同传产器信息融合前的信息收集，通过本发明的系统可有效将这些庞大的信息予以筛选、分类及储存。
对于开发者而言，除了通过本发明的系统对于传感器信息的收集更显得有效率之外，通过本发明的系统设置，包括有影像信息接收模块101及感测器信息接收模块102，更包括有以太网络接口的传感器信息接收区块1020，用来接收所述光达信息，开发者在开发后的人工智能更可直接利用本发明的系统装载于车辆上，实现实车验证。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种多传感器自动驾驶系统，其特征在于，包括:
影像信息接收模块，用来接收连续的影像信息，
感测器信息接收模块，用来接收连续的感测信息，
处理单元，将所述连续的影像信息或/及所述连续的感测信息进行分析，以判断是否包含识别目标，并于确认包含所述识别目标时，产生触发信息，
其中所述处理单元根据所述触发信息标记对应的影像信息或/及感测信息。
2.如权利要求1所述的多传感器自动驾驶系统，其特征在于，还包括储存模块，所述处理单元将所述连续的影像信息或/及所述连续的感测信息储存于所述储存模块。
3.如权利要求1所述的多传感器自动驾驶系统，其特征在于，还包括储存模块，所述处理单元将已标记的所述影像信息或/及已标记的所述感测信息储存于所述储存模块。
4.如权利要求1所述的多传感器自动驾驶系统，其特征在于，所述识别目标为多重条件的设定，并根据多重条件作交集或联集的方式设定。
5.如权利要求1所述的多传感器自动驾驶系统，其特征在于，所述影像信息为LVDS格式信息。
6.如权利要求1所述的多传感器自动驾驶系统，其特征在于，所述感测信息至少为超声波信息、光达信息、毫米波雷达信息、GPS信息、行车数据信息其中之一。
7.如权利要求6所述的多传感器自动驾驶系统，其特征在于，所述感测器信息接收模块还包括具有以太网络接口的传感器信息接收区块，用来接收所述光达信息。
8.如权利要求1所述的多传感器自动驾驶系统，其特征在于，所述处理单元对所述连续的影像信息及所述连续的感测信息进行时间同步。
CN202011567732.0A 2020-12-25 2020-12-25 多传感器自动驾驶系统 Pending CN114755673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011567732.0A CN114755673A (zh) 2020-12-25 2020-12-25 多传感器自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567732.0A CN114755673A (zh) 2020-12-25 2020-12-25 多传感器自动驾驶系统

Publications (1)

Publication Number Publication Date
CN114755673A true CN114755673A (zh) 2022-07-15

Family

ID=82324686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567732.0A Pending CN114755673A (zh) 2020-12-25 2020-12-25 多传感器自动驾驶系统

Country Status (1)

Country Link
CN (1) CN114755673A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052564A (zh) * 2017-12-06 2018-05-18 电子科技大学 一种建立无人驾驶数据库的方法及系统
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
CN109358614A (zh) * 2018-08-30 2019-02-19 深圳市易成自动驾驶技术有限公司 自动驾驶方法、系统、装置及可读存储介质
CN110377024A (zh) * 2018-04-13 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的自动数据标注
TW202004560A (zh) * 2018-05-18 2020-01-16 財團法人工業技術研究院 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN110715667A (zh) * 2019-09-29 2020-01-21 吴中红 实时预警导航装置、地图显示方法及终端设备
CN110914641A (zh) * 2017-06-14 2020-03-24 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
CN110991491A (zh) * 2019-11-12 2020-04-10 苏州智加科技有限公司 图像标注方法、装置、设备及存储介质
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
CN111125442A (zh) * 2019-12-11 2020-05-08 苏州智加科技有限公司 数据标注方法及装置
CN111666805A (zh) * 2019-03-08 2020-09-15 现代摩比斯株式会社 用于自动驾驶的类别标记系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
CN110914641A (zh) * 2017-06-14 2020-03-24 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
CN108052564A (zh) * 2017-12-06 2018-05-18 电子科技大学 一种建立无人驾驶数据库的方法及系统
CN110377024A (zh) * 2018-04-13 2019-10-25 百度（美国）有限责任公司 用于自动驾驶车辆的自动数据标注
TW202004560A (zh) * 2018-05-18 2020-01-16 財團法人工業技術研究院 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN109358614A (zh) * 2018-08-30 2019-02-19 深圳市易成自动驾驶技术有限公司 自动驾驶方法、系统、装置及可读存储介质
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
CN111666805A (zh) * 2019-03-08 2020-09-15 现代摩比斯株式会社 用于自动驾驶的类别标记系统
CN110715667A (zh) * 2019-09-29 2020-01-21 吴中红 实时预警导航装置、地图显示方法及终端设备
CN110991491A (zh) * 2019-11-12 2020-04-10 苏州智加科技有限公司 图像标注方法、装置、设备及存储介质
CN111125442A (zh) * 2019-12-11 2020-05-08 苏州智加科技有限公司 数据标注方法及装置

Similar Documents

Publication Publication Date Title
CN109949594B (zh) 实时的交通灯识别方法
CN110532896B (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN109863500B (zh) 事件驱动的感兴趣区域管理
CN110268413B (zh) 低电平传感器融合
US8452524B2 (en) Method and device for identifying traffic-relevant information
JP7183390B2 (ja) 自律型車両用のカメラ評価技術
CN113379805A (zh) 一种交通节点的多信息资源融合处理方法
CN111508260A (zh) 车辆停车位检测方法、装置和系统
CN111324120A (zh) 一种自动驾驶前车切入切出场景提取方法
CN110083099B (zh) 一种符合汽车功能安全标准自动驾驶架构系统和工作方法
CN112241004B (zh) 物体识别装置
JP2021149863A (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN112633120A (zh) 一种基于半监督学习的智能路侧感知系统及模型训练方法
CN117128979A (zh) 一种多传感器融合方法、装置、电子设备及存储介质
CN110648360A (zh) 一种基于车载摄像头避让他方车辆的方法及系统
CN114755673A (zh) 多传感器自动驾驶系统
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
TWI797526B (zh) 多感測器自動駕駛系統
CN115578716A (zh) 一种车载数据的处理方法、装置、设备及介质
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
TWI795752B (zh) 行車智能系統學習的開發裝置及其開發方法
CN115147786A (zh) 行车智能系统学习的开发装置及其开发方法
CN108447290A (zh) 基于车联网的智能避让系统
CN115294766B (zh) 虚拟红绿灯构建方法、装置、设备及存储介质
CN208027580U (zh) 基于车联网的智能避让系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination