CN113412506A - 车辆控制装置及电子控制系统 - Google Patents

车辆控制装置及电子控制系统 Download PDF

Info

Publication number
CN113412506A
CN113412506A CN202080006374.8A CN202080006374A CN113412506A CN 113412506 A CN113412506 A CN 113412506A CN 202080006374 A CN202080006374 A CN 202080006374A CN 113412506 A CN113412506 A CN 113412506A
Authority
CN
China
Prior art keywords
block
operation block
result
vehicle control
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080006374.8A
Other languages
English (en)
Other versions
CN113412506B (zh
Inventor
坂本英之
广津铁平
植田泰辅
山本英达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN113412506A publication Critical patent/CN113412506A/zh
Application granted granted Critical
Publication of CN113412506B publication Critical patent/CN113412506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

本发明提供一种车辆控制装置及电子控制系统，即使在车辆周围的传感器或处理传感器融合的运算块中发生动作异常的情况下，也能够安全地进行控制转移，可靠性高。车辆控制装置具备：第1运算块，其根据从多个外界传感器输出的原始数据进行传感器融合处理；第2运算块，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据进行传感器融合处理；以及第3运算块，其使用所述第1运算块的输出结果和所述第2运算块的输出结果，诊断所述第1运算块的输出结果。

Description

车辆控制装置及电子控制系统
技术领域
本发明涉及一种自动驾驶系统的车辆控制装置和电子控制系统。
背景技术
为了实现高级的自动驾驶系统，作为控制自动驾驶的上位的控制装置的自动驾驶ECU(Electronic Control Unit)，要求有如下的功能：搭载ECU内部的运算处理装置(以下称为微机)，通过进行传感器融合处理来探测车身周围的物体，并决定车辆的轨道以避免与周围物体接触。这里，所谓传感器融合处理，是通过综合处理检测原理不同的2个以上的传感器，例如摄像机的拍摄图像、雷达等的检测数据，实现从单一传感器不能得到的高级的识别功能的技术。而且，近年来，随着自动驾驶的高级化，要求提高外界识别的精度以及传感器侧处理的低延迟化。作为实现的对策，研究了通过将从传感器输出的原始数据输入到安装在自动驾驶ECU内的运算块中的神经网络来进行传感器融合处理，输出对象物数据的控制方法。另外，在实施上述方法时，要求针对集中处理得到的传感器融合输出结果的妥当性的诊断机构。
作为该技术，例如有专利文献1中记载的技术。
现有技术文献
专利文献
专利文献1：日本特表2017-513162号公报
发明内容
发明要解决的问题
专利文献1的技术将从各周围传感器输出的基于对象物的融合数据与由原始数据的融合产生的原始对象物数据相互比较，在其差异在错误容许范围外的情况下，实施数据的废弃以及再计算。
在此，在比较原始数据融合的结果和对象物数据融合的结果时，由于各自的数据处理方法不同，因此存在可探测对象物不同的情况。因此，根据场景，即使是相互正常的输出，探测到的对象物有时也会产生差分。因此，仅简单地比较原始数据融合的结果和对象物数据融合结果，难以诊断各数据的可靠性。但是，在专利文献1中没有考虑这一点。本发明是鉴于上述问题而完成的，其目的在于，高精度地诊断来自自动驾驶控制系统中的传感器或进行传感器融合处理的运算块的输出数据。
解决问题的技术手段
本发明具有用于解决上述课题的多个手段。例如，本发明的一方式采用以下的构成。
一种车辆控制装置，其特征在于，具备：第1运算块，其根据从多个外界传感器输出的原始数据进行传感器融合处理；第2运算块，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据进行传感器融合处理；以及第3运算块，其使用所述第1运算块的输出结果和所述第2运算块的输出结果，来诊断所述第1运算块的输出结果。
发明的效果
根据本发明的一方式，能够实现能够提高安全性的车辆控制装置以及电子控制系统。
附图说明
图1是表示实施例1中的车辆控制装置(第1ECU)11的内部构成、传感器以及执行器的连接的图。
图2是表示实施例1中的传感器融合结果的诊断方法的图。
图3是表示实施例1中的诊断以及基于诊断结果的控制流程的图。
图4是表示实施例2中的车辆控制装置(第1ECU)11的内部构成与传感器以及执行器的连接的图。
图5是表示实施例3中的车辆控制装置(第1ECU)11以及车辆控制装置(第2ECU)12的内部构成与传感器以及执行器的连接的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。本实施方式只不过是用于实现本发明的一个例子，并不限定本发明的技术范围。在各图中，对共同的构成标注相同的参照符号。
(自动驾驶系统的构成)
首先，对适用本发明的自动驾驶系统(车辆控制系统)的构成(未图示)进行说明。本发明的自动驾驶系统是基于从外界传感器得到的信息来控制车辆的行为的车辆控制装置。
在本发明中，外界传感器例如设想为摄像机或激光雷达、雷达、激光等，但也可以是其他传感器。另外，在本发明中，车辆控制系统与车辆所具备的执行器组连接，通过驱动执行器组来控制车辆。所谓执行器组，例如是制动控制、发动机控制、动力转向控制，但不限于此。
(实施例1)
以下，使用图1至图3对实施例1进行说明。
图1是表示实施例1中的车辆控制装置(第1ECU)11的内部构成、传感器以及执行器的连接的图。
如上所述，近年来为了实现自动驾驶，要求车辆控制装置通过输入精度更高且信息量更大的传感器数据并进行传感器融合，来进行高精度的轨道生成。
存在多个用于识别自身车辆的周边环境的传感器。例如是用于得到图像数据的摄像机、用于得到距离数据的激光雷达或雷达等。摄像机虽然路面标识等颜色识别具有高可靠性，但在雨、雾、强日照时，存在识别困难的问题。
另一方面，例如雷达存在的问题是，距离的探测是有用的，而分辨率低。各传感器存在长处、短处，仅用一个传感器不能进行周边环境识别。
这里，所谓传感器融合，是指通过综合处理2个以上的传感器、例如摄像机的拍摄图像、雷达等的检测数据，实现从单一传感器不能得到的高级的识别功能的技术。到目前为止，在实施传感器融合时，通过对各个传感器数据进行前处理(对象数据化)并进行传感器融合(对象数据融合)，确保了高可靠性。另一方面，近来，为了进行更高级的周边环境识别，对从各传感器得到的原始数据进行传感器融合的必要性提高。具体说明如下。
在本实施例的车辆控制装置11中，从各传感器输入未进行前处理的大量原始数据。并且，车辆控制装置11所具备的微机111根据从各传感器输入的原始数据，实施原始数据融合处理。具体地说，在微机111的运算块211中，通过对从各传感器得到的原始数据104、204、304进行数据融合处理，生成原始数据融合结果701。
除了原始数据之外，车辆控制装置11还从各个传感器输入对象数据。第1传感器1、第2传感器2、第3传感器3通过各传感器所具备的信息处理部102、202、302，分别生成各传感器数据的对象数据103、203、303。车辆控制装置11所具备的微机112根据从各传感器输入的对象数据，实施对象数据融合处理。
具体地说，在微机112的运算块212中，通过对从各传感器得到的对象数据103、203、303进行数据融合处理，生成对象数据融合结果702。作为例子，使用以下的传感器来说明融合的流程。
例如，摄像机1是内置传感器101和信息处理部102的传感器模块。从传感器101取得的原始数据被发送到信息处理部102和第1ECU中的运算块211。此外，信息处理部102基于从传感器101取得的原始数据生成对象数据。然后，对象数据103被发送到第1ECU中的运算块212。
雷达2是内置传感器201和信息处理部202的传感器模块。从传感器201取得的原始数据被发送到信息处理部202和第1ECU内的运算块211。此外，信息处理部202基于从传感器201取得的原始数据生成对象数据203。然后，对象数据203被发送到第1ECU中的运算块212。
激光器3是内置传感器301和信息处理部302的传感器模块。从传感器301取得的原始数据被发送到信息处理部302和第1ECU中的运算块211。此外，信息处理部302基于从传感器301取得的原始数据生成对象数据。然后，对象数据303被发送到第1ECU中的运算块212。作为信息处理部的例子，可以举出微机或FPGA(Field Programmable GateArray：现场可编程门阵列)。
如上所述，从各个传感器获得的原始数据被输入到运算块211。运算块211融合从各传感器输入的原始数据，生成作为周围的对象数据的原始数据融合结果701。因此，运算块211需要能够成批处理大量的数据。原始数据融合结果701通过机器学习输出。这里所说的机器学习是指，例如通过将来自各传感器的原始数据输入到设置在运算块211中的NN(Neural Network，神经网络)或DNN(Deep Neural Network，深度神经网络)，生成将原始数据传感器融合后的原始数据融合结果701。这里，通过以NN、DNN为例的机器学习而运算的原始数据融合结果701由于包含大量的数据，所以能够进行高精度的轨道生成。运算块211将生成的原始数据融合结果701发送到微机113。此外，微机111基于原始数据融合结果701进行自身车辆周围的物体的行为预测，基于行为预测的结果生成车辆的轨道数据711，并且将轨道数据711发送到轨道跟踪控制部214。
运算块212安装在搭载锁步(ロックステップ)功能的可靠性高的微机112中。在此，锁步微机112具备CPU和存储器，各系统的CPU子系统由二重化控制电路控制，以使其以时钟为单位完全同步地动作，因此可靠性高。
微机112处理由摄像机1、雷达2、激光器3分别进行了前处理的对象数据。
通过由摄像机1、雷达2、激光器3等各传感器中设置的信息处理部102、202、302进行前处理而得到的各对象数据103、203、303由运算块212进行对象数据融合，生成对象数据融合结果702。
然后，微机112将生成的对象数据融合结果702发送到微机113。此外，微机112基于对象数据融合结果702进行自身车辆周围的物体的行为预测，基于行为预测的结果生成自身车辆的轨道数据712，并且将轨道数据712发送到轨道跟踪控制部214。
在本实施例中，示出了具备安装有运算块211的第1微机111、安装有运算块212的第2微机112、安装有进行比较诊断的运算块213的第3微机113的车辆控制装置的例子。
在运算块211中进行传感器融合后的原始数据融合结果701和在运算块212中进行传感器融合后的对象数据融合结果702通过运算块213具有的比较诊断功能进行诊断。然后，根据运算块213的诊断结果进行轨道跟踪控制。具体的诊断将在后面叙述。
控制跟踪控制部214根据由微机111的轨道生成部或微机112的轨道生成部运算得到的轨道信息，生成轨道跟踪控制指令。作为比较诊断的结果，当运算块211正常时，轨道跟踪控制部214生成并发送控制指令到执行器控制ECU13、14和15，以使自身车辆基于由微机111生成的轨道数据711进行跟踪。
另外，在运算块211被诊断为异常的情况下，控制跟踪控制部214生成并发送控制指令到执行器控制ECU13、14、15，以使自身车辆跟踪由微机112生成的轨道数据712。
图2是表示实施例1中的传感器融合结果的诊断方法的图。
图2表示在自身车辆801的附近行驶有其他车辆802、803、在自身车辆801的远方行驶有其他车辆804的情况下的自身车辆801的传感器融合结果的例子。
图2左侧的图2-1a、图2-1b表示根据从各传感器得到的原始数据在运算块211中进行传感器融合而得到的原始数据融合结果701。图2右侧的图2-2a、图2-2b表示根据由各传感器的运算块处理后的数据而由运算块212进行融合后的对象数据融合结果702。
在此，图2的上段表示诊断结果为正常的情况，下段表示诊断结果为异常的情况。以下说明诊断的具体方式。
如上所述，从各传感器101、201、301得到的传感器数据由各传感器所具备的信息处理部102、202、302进行信息处理。通过上述信息处理得到的各传感器的对象数据103、203、303的信息被发送到运算块212。运算块212通过对所得到的各对象数据103、203、303进行融合，生成对象数据融合结果702。
由运算块212进行的传感器融合使用设置在传感器侧的运算块(处理器)或锁步微机来进行。此外，为了验证可靠性，优选地，锁步微机采取通过多数决来采用从各传感器输出的对象数据的措施。
但是，在对象数据融合结果702中，如图2-2a所示，对于在自身车辆周边行驶的其他车辆802、803的识别，可以期待可靠性高的输出。另一方面，由于为了确保可靠性而预先处理数据，所以有时难以识别在远方行驶的其他车辆(例如图2-2a的其他车辆804)。
这里，在运算块211中，直接得到从各传感器得到的数据(例如数据104、204、304)，进行原始数据融合处理，输出原始数据融合结果701。图2-1a表示输出的例子。由于运算块211处理来自各传感器的大量原始数据，因此可以识别的物体群的信息量增加。
在此，物体群是指存在于车辆周边的物体，例如是车辆或行人。因此，不仅能够识别在自身车辆附近行驶的其他车辆802、803，在图2-1a中，也能够识别在图2-2a中不能识别的、在远方行驶的其他车辆804。
基本上，在运算块212中通过传感器融合而生成的对象数据融合结果702与由被输入大量原始数据的运算块211输出的数据融合结果701相比，能够识别的周边的信息量少。这里，由运算块211生成的原始数据融合结果701，例如是LVDS通信电平，是10Mbps以上的数据量。另一方面，由运算块212生成的对象融合结果702例如小于CAN-FD通信电平的10Mbps。
若为了判断运算块211和运算块212的原始数据融合结果701、对象融合结果702的输出、识别的可靠性，而单纯地对照原始数据融合结果701、对象融合结果702，则如上所述，由于数据量或可识别的物体群总是产生差异，所以总是在诊断中判断为诊断结果：异常。
因此，在本实施例中，运算块212采用使用了多个处理器和锁步微机的流程，以附近的其他车辆的识别具有高可靠性为前提，诊断运算块211是否能够识别与由运算块212识别出的附近的外界信息的识别同样的外界信息识别。
具体地说，在由运算块212输出的对象融合结果702包含在由运算块211输出的原始数据融合结果701中的情况下，判定为诊断结果：正常。在由运算块212输出的原始数据融合结果702不包含在由运算块211输出的原始数据融合结果701中的情况下，运算块213判定为诊断结果：异常。
以下，以图2为例进行具体说明。
在图2的上部的图中，在运算块211的原始数据融合结果701中识别远方的其他车辆804(图2-1a)，与此相对，在运算块212中，不识别其他车辆804(图2-2a)，但对于在附近行驶的车辆，由于能够识别双方，所以设为诊断结果：正常。
另一方面，在图2的下部的图中，由运算块212识别附近的其他车辆802(图2-2b)，与此相对，运算块211不识别其他车辆802(图2-1b)。因此，在运算块212中生成的对象数据融合结果702不包含在运算块211中生成的原始数据融合结果701中的情况下，运算块213设为诊断结果：异常。在这种情况下，判断为原始数据融合结果701中存在错误，将从可靠性高的运算块212输出的对象融合结果702作为正确的。
在存在尽管通过运算块212中计算出的对象数据融合结果702能够识别、但通过在运算块211中计算出的原始数据融合结果701无法识别的物体的情况下，运算块213将诊断结果设为异常。另外，当通过运算块211中计算出的原始数据融合结果701能够识别通过运算块212中计算出的对象数据融合结果702能够识别的物体时，将诊断结果判断为正常。
在此，在运算块213将运算块211的诊断结果诊断为异常的情况下，具有传感器的故障或不良发生的可能性。
当探测到上述那样的不良发生的情况下，运算块213或211优选地禁止输出原始数据融合结果701。或者，运算块211停止原始数据融合结果的输出。按照从运算块212输出的车辆的轨道进行行驶。其理由是，关于运算块212的输出，由于通过多数决来判断多个传感器的数据的可靠性，所以即使一个传感器发生故障，依然能够得到可靠性高的输出。通过继续使用运算块212的输出结果，能够进行可靠性高的轨道跟踪控制。
另外，更优选地，也可以是，在微机112中生成回退轨道(縮退軌道)数据712，车辆选择回退动作。关于回退动作将在后面详细叙述。
在本诊断方法中，以由运算块212输出的传感器融合结果为正，诊断运算块211输出的传感器融合结果701。为了使运算块212的输出结果为正，优选车辆控制装置、系统具备如下的构成。
使用机器学习(例如DNN)的融合处理(运算块211)是通过经验匹配(経験·マッチング)而生成的，与此相对，优选运算块212的融合是通过基于规则的算法而生成的。使用机器学习的融合处理是基于实时变动的因果关系(例如DNN)的处理，运算块212的融合处理是基于预先确定的相关关系(例如锁步微机)的处理。因此，根据由独立于机器学习的融合处理的系统计算出的轨道，可以诊断原始数据融合结果。其结果，能够实现可靠性更高的原始数据融合结果的诊断。
运算块212优选由可靠性高的锁步微机执行。可以根据可靠性高的运算块212输出的对象融合结果702，诊断用于运算块211的轨道生成的原始数据融合结果701的可靠性。其结果，能够进行可靠性高的原始数据融合结果的诊断。
另外，运算块212优选基于来自多个传感器/电子控制处理器(使用与运算块211不同的原理/方式、算法)的输出来采取多数决。根据上述构成，运算块212能够使用可靠的数据进行运算，可靠性高。
运算块212需要使用与运算块211不同的电子控制处理器。即使在一个传感器或一个电子控制处理器发生故障的情况下，通过多数决，也能够有效利用其他的传感器、电子控制处理器，进行正确的判断。
向车辆控制装置11供给传感器数据的多个传感器优选从至少两个以上的电池供给电源。例如，摄像机1从电池A接受电源供给，雷达2从电池B接受电源供给。通过该构成，车辆控制装置11能够实现电源的冗余化，能够进行可靠性更高的车辆轨道生成。
图3是表示实施例1中的诊断以及基于诊断结果的控制流程的图。微机111所具备的运算块211的融合结果701和微机112所具备的运算块212的融合结果702通过微机113所具备的运算块213进行比较。
在此，在判定为正常的情况下，在微机111中采用传感器融合以及轨道生成所得的轨道数据712。为了基于在微机111中运算出的原始数据融合结果701的数据通过运算块214来执行轨道跟踪控制，用于轨道跟踪控制的执行器控制指令从车辆控制装置11发送到执行器侧。
另一方面，在由运算块211输出的传感器融合生成的原始数据融合结果701不包含在由运算块212输出的传感器融合生成的对象数据融合结果702中的情况下，诊断为异常。在此，在运算块213将运算块211的运算结果诊断为异常的情况下，在微机112中采用传感器融合以及轨道生成所得的轨道数据712，基于该数据，在运算块214中向执行器ECU发送用于轨道跟踪控制的执行器驱动指令(执行器控制指令)。
这里，在运算块213中，在诊断为由运算块211运算出的原始数据融合结果701的输出为异常的情况下，有可能产生各传感器异常。在这种状态下继续行驶的风险高。因此，在诊断结果被判断为异常的情况下，图示的微机112的生成轨道数据711能够生成回退轨道。在此，所谓回退，是指在驾驶中一个基干部件破损而陷入功能停止的情况下，进行功能不全回避用的紧急回避以使自动驾驶系统能够继续，或者即使在基干部件的破损引起的功能停止时，也使自动驾驶继续一定期间，以使得驾驶安全且平稳地移交给驾驶员的方式安全地退避。另外，回退轨道是指为了实现上述操作而生成的安全退避轨道和紧急退避轨道。通过具有上述那样的构成，在运算块213探测到传感器产生了不良情况的情况下，微机112生成回退轨道，因此能够安全地停车。
在本实施例中，运算块211和运算块212不间断地并行地分别通过不同的算法来实施用于轨道生成的运算。因此，即使在运算块213对于运算块211的原始数据融合结果701诊断为异常的情况下，也能够切换到运算块212中的对象数据融合结果702所生成的轨道，能够抑制时滞的发生。
另外，在运算块212中也进行在运算块211中进行的高级的运算处理的情况(完全冗余系统的情况)下，运算块211、运算块212双方需要是能够承受重的运算负荷的高级的处理器。但是，在进行回退轨道的生成的情况下，由于不要求那么高级的处理器，所以能够以低成本的处理器进行运算。因此，当运算块212仅生成回退轨道时，可以降低车辆控制装置的成本。
通过该构成，可以防止由传感器或设置在传感器上的各微机、各运算块的异常引起的不稳定的轨道跟踪控制。
本实施例具备：第1运算块(运算块211)，其根据从多个外界传感器输出的原始数据进行传感器融合处理；第2运算块(运算块212)，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据进行传感器融合处理；以及第3运算块(运算块213)，其使用所述第1运算块的输出结果和所述第2运算块的输出结果诊断所述第1运算块的输出结果。
假设运算块211的输出结果与运算块212的输出结果相比，信息量较多。但是，如果简单地比较运算块211和运算块212的输出结果，则由于它们的信息量的不同，即使是相互正常的输出，也会产生差分，因此有可能废弃大部分的输出。因此，本实施例通过具有上述那样的构成，能够根据运算块212的可靠性高的输出结果，判断信息量多的运算块211的输出结果。
优选在作为第2运算块(运算块212)的传感器融合结果而输出的车辆周边的物体群不包含在作为第1运算块(运算块211)的传感器融合结果而输出的车辆周边的物体群中的情况下，第3运算块(运算块213)将第1运算块(运算块211)判断为异常。另外，在作为第2运算块(运算块212)的传感器融合结果而输出的车辆周边的物体群包含在作为第1运算块(运算块211)的传感器融合结果而输出的车辆周边的物体群中的情况下，第3运算块(运算块213)将第1运算块(运算块211)判断为异常。通过具有上述的构成，能够根据由运算块212输出的可靠性高且信息量少的数据，诊断运算块211的输出，即使运算块211具有比运算块212大的信息，只要能够相互输出必要最小限度的信息，就能够诊断为正常。其结果，在确保可靠性的基础上，起到能够进行使用包含高精度信息的运算块211的信息的轨道生成的效果。
(实施例2)
图4是表示实施例1中的车辆控制装置(第1ECU)11的内部构成(特别是微机111、微机112)、传感器以及执行器的连接的图。
在本实施例中，与自动驾驶系统的轨道生成有关的运算与实施例1同样，全部在第1ECU内进行。在微机111的运算块211中进行原始数据融合，输出原始数据融合结果701。
这里，在本实施例中，与实施例1不同，在微机112内具备输出对象融合结果的运算块212和运算块213。
通过具有这样的构成，运算块211和运算块212可以用不同的算法进行运算。因此，运算块213能够与可靠性更高的传感器数据进行对照。因此，第1运算块能够使用可靠性高的数据生成轨道。通常，生成对象数据融合结果的微机112为了保证安全性，使用可靠性非常高的微机。因此，在运算块213中也能够期待可靠性的保证。另外，对与实施例1相同的构成省略说明。
(实施例3)
图5是表示实施例1中的车辆控制装置(第1ECU)11、车辆控制装置(第2ECU)12的内部构成、传感器以及执行器的连接的图。
在本实施例中，在第1ECU所具备的微机111的运算块211中算出原始数据融合结果701。第2ECU的微机112具备算出对象数据融合结果702的运算块212和运算块213。即，原始数据融合结果701和对象数据融合702的输出由不同的ECU实施。
通过该构成，电子控制装置具有能够进行电源等的冗余化以及可靠性高的诊断的效果。
在此，第1ECU和第2ECU也可以具有完全不同的功能。例如，第1ECU可以是自动驾驶的车辆控制用ECU，第2ECU可以是自动停车用或ADAS用ECU。另外，对与实施例1相同的构成省略说明。
如上所述，发明人以实施例1～3为例说明了本发明。搭载在图示的车辆上的传感器是能够应用于本发明的传感器的一例，并不限定能够应用本发明的车辆的传感器。
如上所述，根据本实施例，结果能够实现可靠性高的车辆控制装置和电子控制系统。
符号说明
1 摄像机
2 雷达
3 激光器
11 车辆控制装置
13 第3ECU
14 第4ECU
15 第5ECU
101 传感器1
201 传感器2
301 传感器3
102 传感器1的信息处理部
202 传感器2的信息处理部
302 传感器3的信息处理部
103 从第1传感器输出的对象数据
203 从第2传感器输出的对象数据
303 从第3传感器输出的对象数据
104 从第1传感器输出的原始数据
204 从第2传感器输出的原始数据
304 从第3传感器输出的原始数据
211 运算块1
212 运算块2
213 运算块3(诊断用块)
214 控制指令生成部
701 原始数据融合结果
702 对象数据融合结果
711 基于原始数据融合结果生成的轨道数据
712 基于对象数据融合结果生成的轨道数据。

Claims (19)

1.一种车辆控制装置，其特征在于，具备：
第1运算块，其根据从多个外界传感器输出的原始数据进行传感器融合处理；
第2运算块，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据，进行传感器融合处理；以及
第3运算块，其使用所述第1运算块的输出结果和所述第2运算块的输出结果来诊断所述第1运算块的输出结果。
2.根据权利要求1所述的车辆控制装置，其特征在于，
在作为所述第2运算块的传感器融合结果而输出的车辆周边的物体群不包含在作为所述第1运算块的传感器融合结果而输出的车辆周边的物体群中的情况下，所述第3运算块将所述第1运算块诊断为异常。
3.根据权利要求1所述的车辆控制装置，其特征在于，
所述第2运算块是根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据来进行传感器融合处理的运算块，
在作为所述第2运算块的传感器融合结果而输出的车辆周边的物体群包含在作为所述第1运算块的传感器融合结果而输出的车辆周边的物体群中的情况下，所述第3运算块将所述第1运算块诊断为正常。
4.根据权利要求1所述的车辆控制装置，其特征在于，
所述第1运算块上设置有机器学习部，该机器学习部输入从所述多个外界传感器输出的数据，
所述第1运算块通过向所述机器学习部输入所述原始数据来输出所述传感器融合结果，
在所述第2运算块中，输入分别处理从所述多个外界传感器输出的所述原始数据而得到的对象数据，通过对所述对象数据进行传感器融合处理，输出对象数据融合结果，
以所述对象数据融合结果为正，诊断所述原始数据融合结果。
5.根据权利要求1至4中任一项所述的车辆控制装置，其特征在于，
所述第2运算块使用锁步微机。
6.根据权利要求5所述的车辆控制装置，其特征在于，
所述锁步微机比较从所述多个外界传感器输出的数据，采取多数决，并基于所采用的数据进行对象数据融合处理。
7.根据权利要求1至4中任一项所述的车辆控制装置，其特征在于，
在所述第3运算块将所述第1运算块判断为异常的情况下，使用所述第2微机基于由所述第2运算块输出的传感器融合结果而生成的轨道，来进行车辆跟踪控制。
8.根据权利要求1至4中任一项所述的车辆控制装置，其特征在于，
由所述第2微机生成的轨道是回退轨道。
9.根据权利要求1所述的车辆控制装置，其特征在于，
所述第2运算块根据由所述外界传感器内的运算块进行了前处理的数据，来进行传感器融合处理。
10.根据权利要求1所述的车辆控制装置，其特征在于，
输入到所述第2运算块的数据是由所述外界传感器内的运算块生成的物体识别数据。
11.根据权利要求1所述的车辆控制装置，其特征在于，
所述车辆控制装置包括：
第1微机，其具有所述第1运算块；以及
第2微机，其具有所述第2运算块和所述第3运算块。
12.根据权利要求1所述的车辆控制装置，其特征在于，
所述车辆控制装置包括：
第1微机，其具有所述第1运算块；
第2微机，其具有所述第2运算块；以及
第3微机，其具有所述第3运算块。
13.根据权利要求1至4中任一项所述的车辆控制装置，其特征在于，
所述第1运算块和所述第2运算块的电源分别独立。
14.根据权利要求2至3中任一项所述的车辆控制装置，其特征在于，
所述第3运算块在将所述第1运算块诊断为异常的情况下，禁止输出由所述第1运算块运算出的所述传感器融合结果。
15.根据权利要求2至3中任一项所述的车辆控制装置，其特征在于，
在所述第3运算块将所述第1运算块诊断为异常的情况下，第1运算块停止输出由第1运算块运算出的所述传感器融合结果。
16.根据权利要求11或12所述的车辆控制装置，其特征在于，
所述第1微机和所述第2微机根据所述传感器融合结果分别生成车辆跟踪轨道。
17.根据权利要求11或12所述的车辆控制装置，其特征在于，
所述第1微机和所述第2微机根据所述传感器融合结果分别生成车辆跟踪轨道，
只要所述第3运算块将所述第1运算块诊断为正常，就根据所述第1微机输出的车辆跟踪轨道来控制车辆。
18.根据权利要求4所述的车辆控制装置，其特征在于，
所述机器学习部使用深度神经网络算法。
19.一种车辆控制系统，其特征在于，具备：
第1运算部，其根据从多个外界传感器输出的原始数据进行传感器融合处理；
第2运算部，其根据分别处理从所述多个外界传感器输出的所述原始数据而生成的对象数据，进行传感器融合处理；以及
第3运算部，其使用所述第1运算部的输出结果和所述第2运算部的输出结果，诊断所述第1运算部的输出结果。
CN202080006374.8A 2019-02-13 2020-01-15 车辆控制装置及电子控制系统 Active CN113412506B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019023118 2019-02-13
JP2019-023118 2019-02-13
PCT/JP2020/000947 WO2020166253A1 (ja) 2019-02-13 2020-01-15 車両制御装置および電子制御システム

Publications (2)

Publication Number Publication Date
CN113412506A true CN113412506A (zh) 2021-09-17
CN113412506B CN113412506B (zh) 2023-06-13

Family

ID=72045564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006374.8A Active CN113412506B (zh) 2019-02-13 2020-01-15 车辆控制装置及电子控制系统

Country Status (4)

Country Link
US (1) US20220089179A1 (zh)
JP (2) JP7078763B2 (zh)
CN (1) CN113412506B (zh)
WO (1) WO2020166253A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11476894B2 (en) 2019-12-10 2022-10-18 AR & NS Investment, LLC Edge communication system with cascaded repeater devices over wired medium
US11711126B2 (en) 2020-06-24 2023-07-25 AR & NS Investment, LLC Wireless communication system based on mmWave RF repeaters
US11283510B2 (en) 2020-06-24 2022-03-22 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
US11177872B1 (en) 2020-06-24 2021-11-16 AR & NS Investment, LLC Managing a network of radio frequency (RF) repeater devices
US20210405759A1 (en) * 2020-06-24 2021-12-30 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
KR20220052163A (ko) * 2020-10-20 2022-04-27 주식회사 에이치엘클레무브 전자 제어 장치 및 방법
US11789542B2 (en) * 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
CN112991735B (zh) * 2021-03-05 2022-10-14 北京百度网讯科技有限公司 交通流量监测系统的测试方法、装置及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207077A (ja) * 2001-01-09 2002-07-26 Hitachi Ltd 車載レーダ走行支援装置
CN101389977A (zh) * 2006-02-24 2009-03-18 丰田自动车株式会社 物体检测装置和检测物体的方法
JP2010020414A (ja) * 2008-07-08 2010-01-28 Fujitsu Ltd 物体検出装置、物体検出プログラム、および物体検出方法
JP2011076248A (ja) * 2009-09-29 2011-04-14 Honda Motor Co Ltd 走行区分線検出装置
WO2011118290A1 (ja) * 2010-03-24 2011-09-29 株式会社日立製作所 移動体異常判断支援システム
US20120290146A1 (en) * 2010-07-15 2012-11-15 Dedes George C GPS/IMU/Video/Radar absolute/relative positioning communication/computation sensor platform for automotive safety applications
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
CN106408940A (zh) * 2016-11-02 2017-02-15 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
CN108073170A (zh) * 2016-11-17 2018-05-25 通用汽车环球科技运作有限责任公司 用于自主车辆的自动化协同驾驶控制
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108447256A (zh) * 2018-03-22 2018-08-24 连云港杰瑞电子有限公司 基于电警和定点检测器数据融合的干道车辆轨迹重构方法
CN109212513A (zh) * 2018-09-29 2019-01-15 河北德冠隆电子科技有限公司 多目标在雷达间数据传递、数据融合及连续跟踪定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7249268B2 (en) * 2004-06-29 2007-07-24 Intel Corporation Method for performing performance optimization operations for a processor having a plurality of processor cores in response to a stall condition
JP6223504B1 (ja) * 2016-05-18 2017-11-01 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
JP6652477B2 (ja) * 2016-10-03 2020-02-26 日立オートモティブシステムズ株式会社 車載処理装置
JP6815925B2 (ja) * 2017-04-24 2021-01-20 日立オートモティブシステムズ株式会社 車両の電子制御装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207077A (ja) * 2001-01-09 2002-07-26 Hitachi Ltd 車載レーダ走行支援装置
CN101389977A (zh) * 2006-02-24 2009-03-18 丰田自动车株式会社 物体检测装置和检测物体的方法
JP2010020414A (ja) * 2008-07-08 2010-01-28 Fujitsu Ltd 物体検出装置、物体検出プログラム、および物体検出方法
JP2011076248A (ja) * 2009-09-29 2011-04-14 Honda Motor Co Ltd 走行区分線検出装置
WO2011118290A1 (ja) * 2010-03-24 2011-09-29 株式会社日立製作所 移動体異常判断支援システム
US20120290146A1 (en) * 2010-07-15 2012-11-15 Dedes George C GPS/IMU/Video/Radar absolute/relative positioning communication/computation sensor platform for automotive safety applications
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
CN106408940A (zh) * 2016-11-02 2017-02-15 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
CN108073170A (zh) * 2016-11-17 2018-05-25 通用汽车环球科技运作有限责任公司 用于自主车辆的自动化协同驾驶控制
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN108447256A (zh) * 2018-03-22 2018-08-24 连云港杰瑞电子有限公司 基于电警和定点检测器数据融合的干道车辆轨迹重构方法
CN109212513A (zh) * 2018-09-29 2019-01-15 河北德冠隆电子科技有限公司 多目标在雷达间数据传递、数据融合及连续跟踪定位方法

Also Published As

Publication number Publication date
WO2020166253A1 (ja) 2020-08-20
JP7078763B2 (ja) 2022-05-31
JP2022107660A (ja) 2022-07-22
CN113412506B (zh) 2023-06-13
US20220089179A1 (en) 2022-03-24
JPWO2020166253A1 (ja) 2021-10-14
JP7281000B2 (ja) 2023-05-24

Similar Documents

Publication Publication Date Title
CN113412506B (zh) 车辆控制装置及电子控制系统
US10946864B2 (en) Apparatus and method for fault diagnosis and back-up of advanced driver assistance system sensors based on deep learning
CN110709303B (zh) 车辆控制装置
CN109562764B (zh) 车辆控制装置
CN110271559B (zh) 用于自主控制机动车辆的改进控制系统和改进控制方法
JP6388871B2 (ja) ドライバー・アシスタント・アプリケーション用の方法
CN110650878B (zh) 异常判定装置、异常判定方法以及计算机可读存储介质
CN110494866B (zh) 用于对象识别的多个传感器的数据的融合
JP6381678B2 (ja) 車両の、少なくとも半自動化された走行機能を果たすシステムを監視するための方法、装置、監視システムおよびコンピュータプログラム
CN110035939B (zh) 车辆控制装置
CN107531250A (zh) 车辆安全电子控制系统
JP6923458B2 (ja) 電子制御装置
KR102452555B1 (ko) 차량 고장 처리 제어 장치 및 그 방법
CN110785742A (zh) 用以依赖于状态信号驱控车辆模块的设备和方法
CN110770707A (zh) 用于驱控车辆模块的设备和方法
CN111976623B (zh) 面向智能汽车的底盘域控制器、车辆的控制方法及车辆
JP2022107660A5 (ja) 車両制御方法および車両制御システム
JP6865572B2 (ja) 自動車のリスクベースの制御
US11498551B2 (en) Method and system for operating a vehicle
WO2021006262A1 (ja) 外界認識センサのセンシング性能評価診断システム、および、センシング性能評価診断方法
CN110893862B (zh) 用于确保自主行驶系统的故障安全功能的装置和方法
KR20100011872A (ko) 이중 제어부를 포함하는 자동 출입문 제어 시스템
Sari et al. Fail-operational safety architecture for ADAS systems considering domain ECUs
US20220032966A1 (en) On-vehicle control apparatus and on-vehicle control system
Barner et al. Low-Redundancy Realization of Safety-Critical Automotive Functions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant