CN118103270A - 信息处理设备、信息处理方法和程序 - Google Patents
信息处理设备、信息处理方法和程序 Download PDFInfo
- Publication number
- CN118103270A CN118103270A CN202280068116.1A CN202280068116A CN118103270A CN 118103270 A CN118103270 A CN 118103270A CN 202280068116 A CN202280068116 A CN 202280068116A CN 118103270 A CN118103270 A CN 118103270A
- Authority
- CN
- China
- Prior art keywords
- sensor
- subsystem
- sensing result
- unit
- sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 175
- 238000000034 method Methods 0.000 claims description 111
- 230000008569 process Effects 0.000 claims description 96
- 238000012546 transfer Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 51
- 238000010219 correlation analysis Methods 0.000 claims description 43
- 238000005259 measurement Methods 0.000 claims description 35
- 230000007257 malfunction Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 86
- 230000006854 communication Effects 0.000 abstract description 86
- 230000005856 abnormality Effects 0.000 abstract description 18
- 238000007726 management method Methods 0.000 description 223
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 238000001994 activation Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000010391 action planning Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/035—Bringing the control units into a predefined state, e.g. giving priority to particular actuators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/0215—Sensor drifts or sensor failures
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
Abstract
本公开涉及通过使得能够在使用多个传感器的自动驾驶控制中在特定传感器发生故障时适当地从另一传感器获取可替换感测结果而不增加没有传感器的异常的情况下的通信负载来提高自动驾驶控制的稳定性的信息处理设备、信息处理方法和程序。在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,使得包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。本公开可以被应用于执行自动驾驶的车辆的车辆控制系统。
Description
技术领域
本公开涉及信息处理设备、信息处理方法和程序,并且更具体地涉及能够提高使用多个传感器的自动驾驶控制的稳定性的信息处理设备、信息处理方法和程序。
背景技术
已经提出了通过基于多个传感器的感测结果由多个控制设备以分布式方式执行多个处理来实现自动驾驶的自动驾驶控制系统(参见专利文献1)。
在该自动驾驶控制系统中,在多个传感器的感测结果中,能够被共享和使用的感测结果附带着指示其能够被共享的标签地在多个控制设备之间分发。
多个控制设备中的每一个获取被通常使用并且对于其自身的处理必要的感测结果并且执行处理,并且还获取附带了以下标签的感测结果,该标签指示其不被通常使用但是可替换通常使用的感测结果,即,其能够被共享和使用。
因此,即使在供给通常使用的感测结果的特定传感器中发生故障(failure),控制设备中的每一个也可以通过使用附带了指示其能够被共享和使用的标签的、未发生故障的另一传感器的感测结果来维持正常操作。
引文列表
专利文献
专利文献1:日本专利申请特许公开No.10-243004
发明内容
发明要解决的问题
然而,在专利文献1中描述的技术中,多个传感器的感测结果被分发,使得即使在在传感器中不存在异常的情况下,也可以在多个控制设备之间获取附带了指示其能够被共享和使用的标签的感测结果。
出于该原因,通常,由于附带了指示除非在传感器中发生故障否则不被使用并且能够被共享和使用的标签的感测结果总是在自动驾驶控制系统中被分发,因此存在不必要的感测结果的通信负载增加并且整体操作变得不稳定的可能性。
本公开是鉴于这种情况而提出的,并且特别地提高使用多个传感器的自动驾驶控制中的操作的稳定性。
问题的解决方案
根据本公开的一个方面的信息处理设备和程序是这样的信息处理设备和程序:该信息处理设备和程序包括:多个子系统,每个子系统包括:检测与自动驾驶的控制相关的感测结果的传感器,以及基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵(malfunction)的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送(transfer)到第一子系统。
根据本公开的一个方面的信息处理方法是一种用于信息处理设备的信息处理方法,该信息处理设备包括:多个子系统,每个子系统包括:检测与自动驾驶的控制相关的感测结果的传感器,以及基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统,该信息处理方法包括:通过传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
在本公开的一个方面中,多个子系统,每个子系统包括:检测与自动驾驶的控制相关的感测结果的传感器,以及基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元,并且在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统,传感器的感测结果被转送到第一子系统。
附图说明
图1是示出分割型控制系统的配置示例的框图。
图2是示出集中式控制系统的配置示例的框图。
图3是示出本公开的控制系统的概念的示图。
图4是示出本公开的控制系统的概要的示图。
图5是示出本公开的控制系统的概要的示图。
图6是示出本公开的车辆控制系统的配置示例的框图。
图7是示出感测区域的示例的示图。
图8是示出传感器资源管理表的配置示例的示图。
图9是示出可替换图谱(substitutable map)的配置示例的示图。
图10是描述图6的车辆控制系统的激活处理的流程图。
图11是示出图6中的车辆控制系统的传感器资源管理处理的流程图。
图12是示出本公开的第一应用示例的概要的示图。
图13是示出本公开的车辆控制系统的第一应用示例的配置示例的框图。
图14是示出图13中的车辆控制系统的感测结果存储处理的流程图。
图15是描述图13中的车辆控制系统的相关分析处理的流程图。
图16是示出本公开的第二应用示例的概要的示图。
图17是示出本公开的车辆控制系统的第二应用示例的配置示例的框图。
图18是示出图17中的车辆控制系统的故障检测处理的流程图。
图19是示出通用计算机的配置示例的框图。
具体实施方式
以下,将参照附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有实质上相同的功能配置的构成要素由相同的附图标记表示,并且省略多余的解释。
以下,将描述用于实施本技术的模式。将按以下顺序进行描述。
1.优选实施例
2.第一应用示例
3.第二应用示例
4.通过软件执行的示例
<<1.优选实施例>>
<本公开的概要>
本公开通过使得能够在基于多个传感器的感测结果的自动驾驶控制中在特定传感器发生故障时适当地从另一传感器获取可替换的感测结果而不增加传感器中没有异常的情况下的通信负载,来提高整体操作的稳定性。
一般地,实现自动驾驶的控制的系统设置有多个传感器,并且基于多个传感器的感测结果实现自动驾驶所需的多个处理。
在这种情况下,自动驾驶所需的多个处理由多个子系统单独实现。
更具体地,自动驾驶所需的多个处理例如由如图1中所示的控制系统11实现。
控制系统11包括子系统21-1和21-2,并且实现自动驾驶所需的多个处理。以下,在不必区分子系统21-1和21-2的情况下,它们被简单地称为子系统21,并且这同样适用于其它配置。
注意,将描述在图1的控制系统11中在子系统21-1和21-2中的每一个中实现两个不同处理的示例。然而,实际上存在两个或更多个自动驾驶所需的处理,因此,假设在实际的子系统21中存在两个或更多个处理。
子系统21-1和21-2包括相应处理所需的传感器31-1和31-2以及处理单元32-1和32-2。然后,处理单元32-1使用传感器31-1的感测结果实现第一处理,并且类似地,处理单元32-2使用传感器31-2的感测结果实现第二处理。
控制系统11被配置为基于通过子系统21-1和21-2的第一处理结果和第二处理结果执行自动驾驶所需的各种类型的处理。这里,第一处理和第二处理以子系统21为单位被单独分割,并且被独立地执行。因此,控制系统11具有分割并执行多个处理的分割型配置。
在图1的控制系统11中,采用这种分割型配置,即使在传感器31-1和31-2中的任何一个发生故障的情况下,包括未发生故障的传感器31的子系统21-1和21-2中的处理单元32-1和32-2也可以独立地实现正常处理。
此外,关于控制系统11的操作核实测试,子系统21-1和21-2中的每一个可以被单独地执行,因此,关于控制系统11的操作核实测试,由于以子系统21为单位的分工是可能的,因此可以高效且早期地实现操作核实测试。
此外,因为子系统21-1和21-2中的每一个可以被单独地开发,所以容易关于控制系统11的开发构建以子系统21为单位的分工开发系统,并且因此可以高效地实现早期开发。
然而,在图1中所示的分割型控制系统11中,在可以基于传感器31-1和31-2的感测结果由处理单元32-1和32-2中的仅仅一个实现第一处理和第二处理两者的配置的情况下,虽然具有一个处理单元就足够了,但是设置了两个处理单元32,并且存在增加设备成本的风险。
此外,在传感器31-1和31-2中的任何一个中发生故障的情况下,对应的处理单元232-1和32-2不能执行处理,因此存在不能实现由控制系统11实现的整体处理中的正常处理的可能性。
因此,如图2中所示,提出了其中设置处理单元61的集中式控制系统51,该处理单元61使用传感器31-1和31-2的感测结果集成地实现上述处理单元32-1和32-2中的第一处理和第二处理。
在图2的控制系统51中,处理单元61是单个的,并且诸如图1的处理单元32-1和32-2之类的两件硬件可以被集成为一件,使得可以降低硬件的成本。
然而,在图2中的控制系统51中,在处理单元61发生故障的情况下,第一处理和第二处理都不能被正常执行。
此外,在图2的控制系统51的情况下,当执行安全性测试时,需要验证整个控制系统51,并且与如图1的控制系统11中那样使用子系统21-1和21-2中的每一个作为单位执行安全性测试的处理相比,验证的规模增加并且变得复杂。
此外,在图1的控制系统11中,可以单独开发子系统21-1和21-2中的每一个,并且可以形成分工开发系统。然而,在图2的控制系统51中,由于需要整体开发,因此开发系统的构建变得复杂,并且难度增加。
鉴于以上情况,如果可以构建上面参照图1描述的分割型控制系统11和上面参照图2描述的集中式控制系统51两者的中间的控制系统以具有两者的有利配置并且消除两者的不利配置,则可以提高控制系统11的操作的稳定性。
例如,在图1中的控制系统11中,将考虑如果获取传感器31-1和31-2中的至少一个的感测结果,则构成子系统21-1和21-2的处理单元32-1和32-2可以分别实现第一处理和第二处理的情况。
在这种情况下,例如,当如图3中的叉形所示在传感器31-1中发生故障时,如虚线箭头所示,处理单元32-1可以通过获取可替换的传感器31-2的感测结果来使处理继续。
因此,在本公开中,为了实现如图3中所示的处理,提出图4中所示的控制系统,该控制系统具有分割型控制系统11和集中式控制系统51两者的有利配置。
更具体地,图4的控制系统101包括子系统121-1和121-2、传感器资源管理单元122、传感器资源管理表123和可替换图谱124。
在图4的控制系统101中,子系统121-1和121-2具有对应于图1的子系统21-1和21-2的配置,并且处理单元132-1和132-2具有对应图1的处理单元32-1和32-2的配置。即,处理单元132-1和132-2中的每一个基于传感器131-1和131-2的相应感测结果执行第一处理和第二处理。
控制系统101基于子系统121-1和121-2的第一处理结果和第二处理结果中的每一个实现自动驾驶所需的处理。
处理单元132-1和132-2执行处理单元32-1和32-2的处理,并且分别包括用于管理传感器资源的管理单元132a-1和132a-2。
例如,当自动驾驶被控制的车辆等被激活时,管理单元132a-1和132a-2将传感器131-1和131-2的传感器类型、数据类型、安装位置(感测区域)、测量特性和用作可替换条件的信息作为传感器资源信息供给到传感器资源管理单元122。
此外,管理单元132a-1和132a-2分别检测传感器131-1和131-2的故障或异常的发生,并且在检测到失灵的情况下请求传感器资源管理单元122从另一子系统121转送可替换的感测结果。注意,以下,包括传感器131的故障和异常的其它缺陷也被统称为失灵。
此外,基于来自传感器资源管理单元122的指令,管理单元132a-1和132a-2将分别获取的传感器131-1和131-2的感测结果转送到可以作为替换使用该感测结果的其它子系统121-1和121-2的管理单元132a-1和132a-2。
在获取从子系统121-1和121-2供给的传感器资源信息后,传感器资源管理单元122将传感器资源信息登记在传感器资源管理表123中。
注意,传感器资源管理表123与稍后描述的传感器资源管理表291类似,并且将在后面参照图8描述其细节。
此外,传感器资源管理单元122从传感器资源管理表123读取各传感器的传感器资源信息,在子系统121之间将用于检测可替换感测结果的传感器设定为传感器对,将作为传感器对的传感器131的信息图谱化,并且生成可替换图谱124。
注意,可替换图谱124将作为稍后描述的可替换图谱292在稍后参考图9详细描述。
然后,在存在来自子系统121的传感器131的故障的发生所引起的对可替换感测结果的转送请求的情况下,传感器资源管理单元122参照可替换图谱124,并且搜索能够将可替换感测结果转送到请求的子系统121中的另一子系统121。
传感器资源管理单元122使得搜索到的另一子系统121将感测结果转送到已经请求可替换感测结果的子系统121。
一系列处理的流程例如如图5中所示。注意,在图5中,将考虑如子系统121-1中的叉形所示的那样在传感器131-1中发生故障的情况。
在这种情况下,由于传感器131-1中已发生故障,因此子系统121-1中的处理单元132-1的管理单元132a-1向传感器资源管理单元122通知对另一可替换传感器131的感测结果的转送请求。
传感器资源管理单元122参照基于传感器资源管理表123生成的可替换图谱124,并且指定包括输出与已经做出请求的子系统121-1的传感器131-1的感测结果对应并且可以在处理单元132-1中被替换的感测结果的传感器131的子系统121。
这里,考虑包括输出在处理单元132-1中可替换并且与子系统121-1的传感器131-1的感测结果对应的感测结果的传感器131的子系统121是例如子系统121-2的情况。在这种情况下,传感器资源管理单元122向指定的子系统121-2中的处理单元132-2的管理单元132a-2发送将传感器131-2的感测结果转送到已做出转送请求的子系统121-1的转送指令。
在从传感器资源管理单元122获取转送指令后,如虚线箭头所示,管理单元132a-2将传感器131-2的感测结果转送到已经做出请求的子系统121-1。
利用上述配置,在传感器131-1中已经发生故障的子系统121-1中,从子系统121-2供给可替换传感器131-1的感测结果的传感器131-2的感测结果。
因此,即使在传感器131-1已发生故障的状态下,处理单元132-1也可以基于从子系统121-2转送的感测结果连续地执行第一处理。
注意,尽管上面已经描述了在传感器131-1中已经发生故障的示例,但是在在传感器131-2中已经发生故障的情况下,当传感器131-2的感测结果在子系统121-2中也可替换时,子系统121-1中的处理单元132-1的管理单元132a-1将传感器131-1的感测结果转送到子系统121-2。
因此,即使在传感器131-2已发生故障的状态下,处理单元132-2也可以基于从子系统121-1转送的感测结果连续地执行第二处理。
在任何情况下,作为结果,即使在控制系统101中的传感器131中发生故障,控制系统101也可以作为整体继续自动驾驶所需的处理。
此外,在在传感器131中没有发生故障的状态下,即,在正常状态下,感测结果不被转送到另一子系统121。因此,只要传感器131正常操作,不必要的感测结果的转送就不被转送并且不在控制系统101中分发,因此不增加与感测结果的转送相关的不必要负载。因此,不使得控制系统101的整体操作由于感测结果的转送的增加而变得不稳定。
注意,在图5中,已经描述了对两个子系统121设置一个传感器资源管理单元122的示例,但是可以设置三个或更多个子系统121。然而,在这种情况下,在子系统121的数量是10、20或更多的情况下,如果传感器资源管理单元122的数量是一个,那么如果在一个传感器资源管理单元122中发生失灵,则控制系统101的操作变得不能进行。
因此,可以对多个子系统121配置多个传感器资源管理单元122,以应对传感器资源管理单元122中的失灵。然而,如果对多个子系统121设置相同数量的传感器资源管理单元122则是过剩的,因此传感器资源管理单元122的数量需要对应于子系统121的数量。即,例如,对10个子系统121设置两个或三个传感器资源管理单元122。因此,当子系统121的数量例如为100时,可以以类似的比率(例如,约20至30)设置传感器资源管理单元122。
此外,子系统121的数量和传感器资源管理单元122的数量可以对应于由控制系统101实现的处理的重要性。
例如,当执行不要求严格的安全性等的处理时,可以在一定程度上牺牲精度,并且相对于子系统121的数量,传感器资源管理单元122的数量可以更少。在这种情况下,例如,可以对20个子系统设置约二至三个传感器资源管理单元122。
相反,当由控制系统101实现的处理的重要性高并且例如执行对安全性等具有严格要求的处理时,使得相对于子系统121的数量,传感器资源管理单元122的数量更多。在这种情况下,例如,可以对20个子系统设置约5至10个传感器资源管理单元122。
<车辆控制系统的配置示例>
图6是示出车辆控制系统211的配置示例的框图,该车辆控制系统211是应用本技术的移动设备控制系统的示例。
车辆控制系统211被设置在车辆201中,并且执行与车辆201的行驶辅助和自动驾驶相关的处理。
车辆控制系统211包括车辆控制电子控制单元(ECU)221、通信单元222、地图信息累积单元223、位置信息获取单元224、外部识别传感器225、车内传感器226、车辆传感器227、存储单元228、行驶辅助/自动驾驶控制单元229、驾驶员监视系统(DMS)230、人机接口(HMI)231、车辆控制单元232和传感器资源管理单元233。
车辆控制ECU 221、通信单元222、地图信息累积单元223、位置信息获取单元224、外部识别传感器225、车内传感器226、车辆传感器227、存储单元228、行驶辅助/自动驾驶控制单元229、驾驶员监视系统(DMS)230、人机接口(HMI)231和车辆控制单元232经由通信网络241彼此可通信地连接。通信网络241包括例如符合诸如控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)之类的数字双向通信标准的车载通信网络、总线等。可以根据要转送的数据的类型选择性地使用通信网络241。例如,CAN可以被应用于与车辆控制相关的数据,并且以太网可以被应用于大容量数据。注意,车辆控制系统211的单元可以在不使用通信网络241的情况下使用适于相对短距离的通信的无线通信(诸如近场通信(NFC)或蓝牙(注册商标))直接彼此连接。
注意,以下,在车辆控制系统211的各单元经由通信网络241执行通信的情况下,将省略对通信网络241的描述。例如,在车辆控制ECU 221和通信单元222经由通信网络241执行通信的情况下,将简单地描述车辆控制ECU 221和通信单元222执行通信。
例如,车辆控制ECU 221包括诸如中央处理单元(CPU)和微处理单元(MPU)之类的各种处理器。车辆控制ECU 221控制车辆控制系统211的功能中的全部或一些。
通信单元222与车辆内外的各种设备、另一车辆、服务器、基站等进行通信,并且发送和接收各种数据。此时,通信单元222可以使用多种通信方法执行通信。
将示意性地描述可由通信单元222执行的与车辆外部的通信。通信单元222通过例如诸如第五代移动通信系统(5G)、长期演进(LTE)、专用短程通信(DSRC)等的无线通信方法经由基站或接入点与存在于外部网络上的服务器(以下,称为外部服务器)等进行通信。通信单元222与其执行通信的外部网络的示例包括因特网、云网络或公司专用网络等。在通信单元222和外部网络之间执行的通信方法不限于作为能够在物体之间在相对于彼此的预定或更长距离上并且以预定速度或更高的通信速度进行数字双向通信的无线通信方法的任何特定方法。
此外,例如,通信单元222可以使用对等(P2P)技术与存在于主车辆附近的终端进行通信。存在于主车辆附近的终端是例如附接到以相对低速移动的移动体(诸如行人或自行车)的终端、固定地安装在商店等中的终端或者机器类型通信(MTC)终端。此外,通信单元222还可以执行V2X通信。V2X通信指的是例如主车辆和另一车辆之间的通信,诸如与另一车辆的车辆对车辆通信、与路边设备等的车辆对基础设施通信、车辆对家通信以及与由行人携带的终端等的车辆对行人通信。
例如,通信单元222可以从外部接收用于更新用于控制车辆控制系统211的操作的软件的程序(空中(Over The Air))。通信单元222还可以从外部接收地图信息、交通信息、关于车辆201的周围的信息等。此外,例如,通信单元222可以向外部发送关于车辆201的信息和关于车辆201的周围的信息等。由通信单元222发送到外部的关于车辆201的信息的示例包括指示车辆201的状态的数据、来自识别单元273的识别结果等。此外,例如,通信单元222执行与诸如eCall之类的车辆紧急呼叫系统对应的通信。
例如,通信单元222接收由诸如无线电波信标、光信标或FM多路广播之类的道路交通信息通信系统(车辆信息和通信系统(VICS)(注册商标))发送的电磁波。
将示意性地描述可由通信单元222执行的与车辆内部的通信。通信单元222可以使用例如无线通信与车辆内的各设备进行通信。通信单元222可以通过例如允许通过诸如无线LAN、蓝牙、NFC或无线USB(WUSB)之类的无线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方法,来与车辆内的设备执行无线通信。由通信单元222执行的通信不限于无线通信,并且通信单元222也可以使用有线通信与车辆内的各设备进行通信。例如,通信单元222可以经由连接到连接端子(未示出)的线缆通过有线通信与车辆内的各设备进行通信。通信单元222可以通过允许通过诸如通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)或移动高清晰度链路(MHL)之类的有线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方法,来与车辆内的各设备进行通信。
这里,车辆内的设备指的是例如车辆内没有连接到通信网络241的设备。作为车辆内的设备,例如,假设由诸如驾驶员等的乘员携带的移动设备或可穿戴设备、带入车辆中并临时安装的信息设备等。
地图信息累积单元223累积从外部获取的地图和由车辆201创建的地图中的一者或两者。例如,地图信息累积单元223累积三维高精度地图、精度比高精度地图低但覆盖更广区域的全球地图等。
高精度地图是例如动态地图、点云地图或矢量地图等。动态地图是例如包括动态信息、半动态信息、半静态信息和静态信息的四层的地图,并且从外部服务器等被提供给车辆201。点云地图是包括点云(点云数据)的地图。矢量地图是例如诸如车道和交通信号灯的位置之类的交通信息与点云地图相关联并且适于高级驾驶员辅助系统(ADAS)或自动驾驶(AD)的地图。
点云地图和矢量地图可以从例如外部服务器等被提供,或者可以在车辆201中被创建为用于基于相机251、雷达252、LiDAR 253等的感测结果执行与稍后要描述的局部地图的匹配的地图,并且可以被累积在地图信息累积单元223中。此外,在从外部服务器等提供高精度地图的情况下,为了减少通信容量,从外部服务器等获取关于车辆201将行驶的计划路线的例如几百平方米的地图数据。
位置信息获取单元224从全球导航卫星系统(GNSS)卫星接收GNSS信号,并且获取车辆201的位置信息。获取的位置信息被供给到行驶辅助/自动驾驶控制单元229。注意,位置信息获取单元224可以例如使用信标获取位置信息,而不限于使用GNSS信号的方法。
外部识别传感器225包括用于识别车辆201外部的状况的各种传感器,并且将来自各传感器的传感器数据供给到车辆控制系统211的各单元。可以根据需要确定包含于外部识别传感器225中的传感器的类型和数量。
例如,外部识别传感器225包括相机251、雷达252、光检测和测距或激光成像检测和测距传感器(LiDAR)253以及超声传感器254。不限于此,外部识别传感器225可以包括相机251、雷达252、LiDAR253和超声传感器254中的一种或多种类型的传感器。相机251、雷达252、LiDAR 253和超声传感器254的数量没有特别限制,只要它们可以被实际安装在车辆201中即可。此外,包含于外部识别传感器225中的传感器的类型不限于本示例,并且外部识别传感器225可以包括其它类型的传感器。将在后面描述包含于外部识别传感器225中的各传感器的感测区域的示例。
注意,相机251的成像方法没有特别限制。例如,作为能够进行距离测量的成像方法的各种成像方法的相机,诸如飞行时间(ToF)相机、立体相机、单目相机和红外相机,可以根据需要被应用于相机251。不限于此,并且相机251可以与距离测量无关地简单地获取捕获的图像。
此外,例如,外部识别传感器225可以包括用于检测针对车辆201的环境的环境传感器。环境传感器是用于检测诸如天气、气候或亮度之类的环境的传感器,并且例如可以包括诸如雨滴传感器、雾传感器、日照传感器、雪传感器和照度传感器之类的各种传感器。
此外,例如,外部识别传感器225包括用于检测车辆201周围的声音和声源的位置等的麦克风。
车内传感器226包括用于检测车辆内部的信息的各种传感器,并且将来自各传感器的传感器数据供给到车辆控制系统211的各单元。包含于车内传感器226中的各种传感器的类型和数量没有特别限制,只要它们是可以被实际安装在车辆201中的类型和数量即可。
例如,车内传感器226可以包括相机、雷达、就座传感器、方向盘传感器、麦克风和生物传感器中的一个或多个传感器。作为包含于车内传感器226中的相机,例如,可以使用能够测量距离的各种成像方法的相机,诸如ToF相机、立体相机、单目相机和红外相机。不限于此,并且包含于车内传感器226中的相机可以与距离测量无关地简单地获取捕获的图像。包含于车内传感器226中的生物传感器被设置在例如座椅或方向盘等上,并且检测关于诸如驾驶员之类的乘员的各种类型的生物信息。
车辆传感器227包括用于检测车辆201的状态的各种传感器,并且将来自各传感器的传感器数据供给到车辆控制系统211的各单元。包含于车辆传感器227中的各种传感器的类型和数量没有特别限制,只要它们是可以被实际安装在车辆201中的类型和数量即可。
例如,车辆传感器227包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和集成这些传感器的惯性测量单元(IMU)。例如,车辆传感器227包括检测方向盘的转向角的转向角传感器、横摆率传感器、检测加速踏板的操作量的油门传感器以及检测制动踏板的操作量的制动传感器。例如,车辆传感器227包括检测发动机或电动机的转数的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的滑移率的滑移率传感器以及检测车轮的转速的车轮速度传感器。例如,车辆传感器227包括检测电池的充电状态和温度的电池传感器以及检测外部冲击的冲击传感器。
存储单元228包括非易失性存储介质或易失性存储介质中的至少一个,并且存储数据和程序。存储单元228被用作例如电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM),并且诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光学存储设备和磁光存储设备可以被应用作为存储介质。存储单元228存储由车辆控制系统211的各单元使用的各种程序和数据。例如,存储单元228包括事件数据记录器(EDR)和用于自动驾驶的数据存储系统(DSSAD),并且在其中存储诸如事故之类的事件之前和之后的关于车辆201的信息以及由车内传感器226获取的信息。
此外,存储单元228存储传感器资源管理表291和可替换图谱292-1至292-x。传感器资源管理表291和可替换图谱292分别是与参照图4和图5描述的传感器资源管理表123和可替换图谱124对应的配置。注意,将在后面参照图8和图9详细描述传感器资源管理表291和可替换图谱292的细节。
行驶辅助/自动驾驶控制单元229控制车辆201的行驶辅助和自动驾驶。例如,行驶辅助/自动驾驶控制单元229包括管理单元260、分析单元261、行动计划单元262和操作控制单元263。
管理单元260是与参照图4和图5描述的管理单元132a-1对应的配置,并且将使得外部识别传感器225、车内传感器226和车辆传感器227中的由管理单元管理的子系统发挥作用所需的传感器的传感器资源信息供给到传感器资源管理单元233。
管理单元260检测在使得由行驶辅助/自动驾驶控制单元229实现的功能用作子系统时使用的外部识别传感器225、车内传感器226和车辆传感器227中的传感器的故障的有无。
在检测到要使用的传感器的故障的情况下,管理单元260请求传感器资源管理单元233从另一子系统转送可替换的感测结果。
以下,为了简化描述,假设行驶辅助/自动驾驶控制单元229和车辆控制单元232是分别与处理单元132-1和132-2对应的配置。然后,假设行驶辅助/自动驾驶控制单元229和车辆控制单元232分别用作处理单元132-1和132-2的子系统是图4和图5中的子系统121-1和121-2。
这里,在使得行驶辅助/自动驾驶控制单元229用作处理单元132-1的子系统121-1中,外部识别传感器225和车辆传感器227对应于传感器131-1。
此外,在使得车辆控制单元232用作处理单元132-2的子系统121-2中,车内传感器226对应于传感器131-2。
即,在使得行驶辅助/自动驾驶控制单元229用作处理单元132-1的子系统121-1中,行驶辅助/自动驾驶控制单元229基于与传感器131-1对应的外部识别传感器225和车辆传感器227的感测结果控制行驶辅助和自动驾驶。
此外,在使得车辆控制单元232用作处理单元132-2的子系统121-2中,车辆控制单元232基于与传感器131-2对应的车内传感器226的感测结果控制车辆201。
当使得行驶辅助/自动驾驶控制单元229用作子系统121-1的处理单元132-1时,管理单元260检测与传感器131-1对应的外部识别传感器225和车辆传感器227的故障的有无。
然后,在检测到外部识别传感器225和车辆传感器227的故障的情况下,管理单元260请求传感器资源管理单元233从另一子系统(这里,是与由车辆控制单元232实现的子系统121-2对应的子系统)转送可替换的感测结果。
响应于对传感器资源管理单元233的请求,管理单元260获取从构成另一子系统(这里,是与由车辆控制单元232实现的子系统121-2对应的子系统)的管理单元(这里,是与管理单元132a-2对应的管理单元280)供给的可替换感测结果,并且使得行驶辅助/自动驾驶控制单元229用作处理单元132-1。
响应于来自传感器资源管理单元233的转送指令,管理单元260使得构成另一子系统(这里,是由车辆控制单元232实现的子系统121-2)的管理单元(这里,是与管理单元132a-2对应的管理单元280)转送由自身获取的感测结果。
分析单元261执行车辆201和周围状况的分析处理。分析单元261包括自身位置估计单元271、传感器融合单元272和识别单元273。
自身位置估计单元271基于来自外部识别传感器225的传感器数据和累积在地图信息累积单元223中的高精度地图来估计车辆201的自身位置。例如,自身位置估计单元271基于来自外部识别传感器225的传感器数据生成局部地图,并且通过将局部地图与高精度地图相匹配来估计车辆201的自身位置。车辆201的位置基于例如后轮轴的中心。
局部地图是例如使用诸如同时定位与地图构建(SLAM)之类的技术创建的三维高精度地图、占据栅格地图等。三维高精度地图是例如上述的点云地图等。占据栅格地图是将车辆201周围的三维或二维空间划分为具有预定尺寸的栅格(格子)并且以栅格为单位表示物体的占据状态的地图。物体的占据状态由例如物体的有无或存在概率表示。例如,局部地图还被用于识别单元273对车辆201外部的状况的检测处理和识别处理。
注意,自身位置估计单元271可以基于由位置信息获取单元224获取的位置信息和来自车辆传感器227的传感器数据来估计车辆201的自身位置。
传感器融合单元272执行组合多种不同类型的传感器数据(例如,从相机251供给的图像数据和从雷达252供给的传感器数据)以获得新信息的传感器融合处理。用于组合不同类型的传感器数据的方法包括集成、融合、关联等。
识别单元273执行用于检测车辆201外部的状况的检测处理和用于识别车辆201外部的状况的识别处理。
例如,识别单元273基于来自外部识别传感器225的信息、来自自身位置估计单元271的信息、来自传感器融合单元272的信息等,来执行车辆201外部的状况的检测处理和识别处理。
具体地,例如,识别单元273执行车辆201周围的物体的检测处理和识别处理等。物体检测处理是例如用于检测物体的有无、大小、形状、位置、运动等的处理。物体识别处理是例如用于识别物体的诸如类型之类的属性或者识别特定物体的处理。然而,检测处理和识别处理不一定清楚地分开,并且可能重叠。
例如,识别单元273通过执行将基于雷达252或LiDAR 253等的传感器数据的点云分类为点云的簇的聚类,来检测车辆201周围的物体。因此,车辆201周围的物体的有无、大小、形状和位置被检测。
例如,识别单元273通过执行跟随通过聚类分类的点云的块的运动的跟踪,来检测车辆201周围的物体的运动。因此,车辆201周围的物体的速度和行进方向(移动矢量)被检测。
例如,识别单元273基于从相机251供给的图像数据检测或识别车辆、人、自行车、障碍物、构造物、道路、交通信号灯、交通标志、道路标志等。此外,识别单元273可以通过执行诸如语义分割之类的识别处理,来识别车辆201周围的物体的类型。
例如,识别单元273可以基于在地图信息累积单元223中累积的地图、自身位置估计单元271对自身位置的估计结果以及识别单元273对车辆201周围的物体的识别结果来执行车辆201周围的交通规则的识别处理。通过该处理,识别单元273可以识别交通信号灯的位置和状态、交通标志和道路标志的内容、交通规则的内容和可行驶车道等。
例如,识别单元273可以执行车辆201周围的环境的识别处理。作为要由识别单元273识别的周围环境,假设天气、温度、湿度、亮度和路面状况等。
行动计划单元262创建用于车辆201的行动计划。例如,行动计划单元262通过执行路径计划和路径跟随的处理来创建行动计划。
注意,全局路径计划(全局路径计划)是用于计划从起点到目标的粗略路径的处理。该路径计划包括执行被称为轨迹计划的轨迹生成(局部路径计划)的处理,该轨迹生成在计划路径中考虑到车辆201的运动特性而使得能够在车辆201附近安全且平稳地行驶。
路径跟随是计划用于在计划的时间内安全且准确地行进由路径计划计划的路径的操作的处理。例如,行动计划单元262可以基于路径跟随处理的结果计算车辆201的目标速度和目标角速度。
为了实现由行动计划单元262创建的行动计划,操作控制单元263控制车辆201的操作。
例如,操作控制单元263控制包含于后面描述的车辆控制单元232中的转向控制单元281、制动控制单元282和驱动控制单元283,并且执行加速/减速控制和方向控制,使得车辆201在由轨迹计划计算出的轨迹上行驶。例如,出于实现诸如碰撞避免或冲击减轻、跟随行驶、车速保持行驶、主车辆的碰撞警告、主车辆车道偏离警告等的ADAS的功能的目的,操作控制单元263执行协作控制。例如,出于车辆在不依赖于驾驶员的操作的情况下自主行驶的自动驾驶等的目的,操作控制单元263执行协作控制。
DMS230基于来自车内传感器226的传感器数据和输入到稍后要描述的HMI 231的输入数据等,来执行驾驶员的认证处理和驾驶员的状态的识别处理等。作为要识别的驾驶员的状态,例如,假设身体状况、警觉性水平、注意力水平、疲劳水平、视线方向、醉酒水平、驾驶操作、姿势等。
注意,DMS230可以执行驾驶员以外的乘员的认证处理和该乘员的状态的识别处理。此外,例如,DMS230可以基于来自车内传感器226的传感器数据执行车辆内部的状况的识别处理。作为要识别的车辆内的状况,例如,假设温度、湿度、亮度、气味等。
HMI 231输入各种数据和指令等,并且将各种数据呈现给驾驶员等。
将示意性地描述通过HMI 231的数据的输入。HMI 231包括供人输入数据的输入设备。HMI 231基于通过输入设备输入的数据或指令等生成输入信号,并且将输入信号供给到车辆控制系统211的各单元。HMI 231包括例如诸如触摸面板、按钮、开关和杆之类的操作元件作为输入设备。不限于此,并且HMI 231还可以包括能够通过手动操作以外的诸如语音或手势等的方法输入信息的输入设备。此外,HMI 231可以使用例如使用红外线或无线电波的远程控制设备或者适于车辆控制系统211的操作的诸如移动设备或可穿戴设备之类的外部连接设备作为输入设备。
将示意性地描述通过HMI 231的数据的呈现。HMI 231生成关于乘员或车辆外部的视觉信息、听觉信息和触觉信息。此外,HMI 231执行用于控制生成的各条信息的输出、输出内容、输出定时和输出方法等的输出控制。例如,HMI 231生成并且输出操作画面、车辆201的状态显示、警告显示、诸如指示车辆201周围的状况的监视器图像之类的图像以及由光指示的信息作为视觉信息。此外,例如,HMI 231生成并且输出由诸如语音引导、警告声音和警告消息之类的声音指示的信息作为听觉信息。此外,HMI 231生成并且输出例如通过力、振动、运动等给予乘员的触觉的信息作为触觉信息。
作为HMI 231输出视觉信息的输出设备,例如,可以应用通过由自身显示图像来呈现视觉信息的显示设备或者通过投影图像来呈现视觉信息的投影仪设备。注意,除了具有普通显示器的显示设备以外,例如,显示设备可以是在乘员的视野中显示视觉信息的设备,诸如平视显示器、透过显示器或者具有增强现实(AR)功能的可穿戴设备。此外,在HMI 231中,包含于设置在车辆201中的导航装置、仪表板、相机监视系统(CMS)、电子镜、灯等中的显示设备也可以被用作输出视觉信息的输出设备。
作为HMI 231输出听觉信息的输出设备,例如,可以应用音频扬声器、耳机或听筒。
作为HMI 231输出触觉信息的输出设备,例如,可以应用使用触觉技术的触觉元件。触觉元件例如被设置在车辆201的乘员要触摸的部分(诸如方向盘或座椅)处。
车辆控制单元232控制车辆201的各单元。车辆控制单元232包括管理单元280、转向控制单元281、制动控制单元282、驱动控制单元283、车身系统控制单元284、灯控制单元285和喇叭控制单元286。
管理单元280是与参照图4和图5描述的管理单元132a-2对应的配置,并且将外部识别传感器225、车内传感器226和车辆传感器227中的、在传感器自身实现功能的子系统中使用的传感器的传感器资源信息供给到传感器资源管理单元233。
管理单元280检测在使得由车辆控制单元232实现的功能用作子系统时使用的外部识别传感器225、车内传感器226和车辆传感器227中的传感器的故障的有无。
然后,在检测到要使用的传感器的故障的情况下,管理单元280请求传感器资源管理单元233从另一子系统转送可替换的感测结果。
当使得车辆控制单元232用作子系统121-2的处理单元132-2时,管理单元280检测与传感器131-2对应的车内传感器226的故障的有无。
然后,在检测到车内传感器226的故障的情况下,管理单元280请求传感器资源管理单元233从另一子系统(这里,是由行驶辅助/自动驾驶控制单元229实现的子系统121-1)转送可替换的感测结果。
响应于对传感器资源管理单元233的请求,管理单元280获取从构成另一子系统(这里,是由行驶辅助/自动驾驶控制单元229实现的子系统121-1)的管理单元(这里,是与管理单元132a-1对应的管理单元260)供给的可替换感测结果,并且使得车辆控制单元232用作处理单元132-2。
响应于来自传感器资源管理单元233的转送指令,管理单元280使得构成另一子系统(这里,是由行驶辅助/自动驾驶控制单元229实现的子系统121-1)的管理单元(这里,是与管理单元132a-1对应的管理单元260)转送由自身获取的感测结果。
转向控制单元281执行车辆201的转向系统的状态的检测和控制等。转向系统包括例如包括方向盘等的转向机构、电动助力转向等。转向控制单元281包括例如控制转向系统的转向ECU、驱动转向系统的致动器等。
制动控制单元282执行车辆201的制动系统的状态的检测和控制等。制动系统包括例如包括制动踏板等的制动机构、防抱死制动系统(ABS)、再生制动机构等。制动控制单元282包括例如控制制动系统的制动ECU、驱动制动系统的致动器等。
驱动控制单元283执行车辆201的驱动系统的状态的检测和控制等。驱动系统包括例如加速踏板、用于生成驱动力的驱动力生成设备(诸如内燃机或驱动电动机)、用于将驱动力传递到车轮的驱动力传递机构等。驱动控制单元283包括例如控制驱动系统的驱动ECU、驱动驱动系统的致动器等。
车身系统控制单元284执行车辆201的车身系统的状态的检测和控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、空调、安全气囊、安全带、换档杆等。车身系统控制单元284包括例如控制车身系统的车身系统ECU、驱动车身系统的致动器等。
灯控制单元285执行车辆201的各种灯的状态的检测和控制等。作为要控制的灯,例如,可以考虑前灯、后灯、雾灯、转向信号灯、制动灯、投影灯、保险杠指示器等。灯控制单元285包括控制灯的灯ECU、驱动灯的致动器等。
喇叭控制单元286执行车辆201的汽车喇叭的状态的检测和控制等。喇叭控制单元286包括例如控制汽车喇叭的喇叭ECU、驱动汽车喇叭的致动器等。
传感器资源管理单元233是与图4和图5中的传感器资源管理单元122对应的配置,获取供给要由构成子系统的管理单元260和280中的每一个使用的感测结果的传感器的传感器资源信息,生成传感器资源管理表291,并且将传感器资源信息存储在存储单元228中。
传感器资源管理单元233读取传感器资源管理表291,生成指示能够获取不同子系统之间的可替换感测结果的传感器的对(以下,也称为传感器对)的信息的可替换图谱292,并且针对每个传感器对将可替换图谱存储在存储单元228中。注意,存储单元228中的可替换图谱292-1至292-x指示针对每x个传感器对生成可替换图谱292。
传感器资源管理单元233在从构成子系统的管理单元260和280接收到由于在供给由自身使用的感测结果的传感器中发生了故障而从另一子系统转送可替换感测结果的请求后搜索可替换图谱292-1至292-x,并且搜索具有能够获取可替换已经发生故障的传感器的感测结果的感测结果的传感器的传感器对的可替换图谱292。
基于已经搜索到的可替换图谱292的信息,传感器资源管理单元233发送用于请求已获取可替换在已通知传感器已故障的子系统中使用的感测结果的感测结果的另一子系统向已发生故障的子系统转送获取的感测结果的转送请求,并且转送可替换的感测结果。
图7是描绘图6中的外部识别传感器225的相机251、雷达252、LiDAR 253和超声传感器254等的感测区域的示例的示图。注意,图7示意性地描绘了从上方查看的车辆201,其中左端侧是车辆201的前端(前)侧,并且右端侧是车辆201的后端(后)侧。
感测区域301F和301B示出超声传感器254的感测区域的示例。感测区域301F通过多个超声传感器254覆盖车辆201的前端的周边。感测区域301B通过多个超声传感器254覆盖车辆201的后端的周边。
感测区域301F和感测区域301B中的感测结果被用于例如车辆201的停车辅助等。
感测区域302F至302B示出用于短距离或中距离的雷达252的感测区域的示例。感测区域302F在车辆201的前方覆盖比感测区域301F更远的位置。感测区域302B在车辆201的后方覆盖比感测区域301B更远的位置。感测区域302L覆盖车辆201的左侧面的后方周边。感测区域302R覆盖车辆201的右侧面的后方周边。
感测区域302F中的感测结果例如被用于检测存在于车辆201的前方的车辆或行人等。感测区域302B中的感测结果被用于例如防止车辆201的后方的碰撞的功能等。感测区域302L和感测区域302R中的感测结果例如被用于检测车辆201的侧方的盲点中的物体。
感测区域303F至303B示出相机251的感测区域的示例。感测区域303F在车辆201的前方覆盖比感测区域302F更远的位置。感测区域303B在车辆201的后方覆盖比感测区域302B更远的位置。感测区域303L覆盖车辆201的左侧面的周边。感测区域303R覆盖车辆201的右侧面的周边。
感测区域303F中的感测结果可以被用于例如交通信号灯或交通标志的识别、车道偏离防止辅助系统和自动前灯控制系统。感测区域303B中的感测结果可以被用于例如停车辅助和环视系统等。感测区域303L和感测区域303R中的感测结果可以被用于例如环视系统。
感测区域304示出LiDAR 253的感测区域的示例。感测区域304在车辆201的前方覆盖比感测区域303F更远的位置。另一方面,感测区域304在左右方向上具有比感测区域303F更窄的范围。
感测区域304中的感测结果被用于例如诸如邻近车辆之类的物体的检测。
感测区域305示出长距离雷达252的感测区域的示例。感测区域305在车辆201的前方覆盖比感测区域304更远的位置。另一方面,感测区域305在左右方向上具有比感测区域304更窄的范围。
感测区域305中的感测结果被用于例如自适应巡航控制(ACC)、紧急制动、碰撞避免等。
注意,包含于外部识别传感器225中的相机251、雷达252、LiDAR 253和超声传感器254的各个传感器的感测区域可以具有图7中的配置以外的各种配置。具体地,超声传感器254也可以感测车辆201的侧方,或者LiDAR 253可以感测车辆201的后方。此外,各传感器的安装位置不限于上述的各示例。此外,传感器的数量可以是一个或多个。
<传感器资源管理表和可替换图谱的配置示例>
(传感器资源管理表)
接下来,将参照图8和图9描述传感器资源管理表291和可替换图谱292的配置示例。
这里,假设外部识别传感器225的LiDAR 253和车辆传感器227(的例如IMU)对应于图4的传感器131-1,行驶辅助/自动驾驶控制单元229对应于图4的处理单元132-1,并且包括它们的行驶辅助/自动驾驶控制子系统331(图9)是与图4的子系统121-1对应的配置。
即,行驶辅助/自动驾驶控制子系统331(图9)对应于子系统121-1,外部识别传感器225的LiDAR 253和车辆传感器227被设置为对应于传感器131-1的配置,并且行驶辅助/自动驾驶控制单元229被设置为对应于处理单元132-1的配置。
此外,假设外部识别传感器225的相机251对应于图4的传感器131-2,车辆控制单元232对应于图4的处理单元132-2,并且包括它们的车辆控制子系统332(图9)是与图4的子系统121-2对应的配置。注意,这里,假设与传感器131-2对应的外部识别传感器225的相机251特别是能够测量深度信息的深度相机。
即,车辆控制子系统332(图9)对应于子系统121-2,外部识别传感器225的相机251被设置为对应于传感器131-2的配置,并且车辆控制单元232被设置为对应于处理单元132-2的配置。
传感器资源管理单元233获取从与图4中的子系统121-1和121-2对应的行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的相应管理单元260和280供给的传感器资源信息,并且生成如图8中所示的传感器资源管理表291。
传感器资源信息包括传感器类型、数据类型、安装位置(感测区域)、测量特性和可替换条件等,并且对应的信息被登记在传感器资源管理表291中。
传感器类型是构成图4中的传感器131的具体类型的信息,并且在图8中,外部识别传感器225的LiDAR 253和车辆传感器227(IMU)被登记为包含于行驶辅助/自动驾驶控制子系统331中的传感器的类型。
此外,外部识别传感器225的相机251(深度相机)被登记为包含于车辆控制子系统332中的传感器的类型。
数据类型是指示由与图4中的传感器133对应的配置检测的感测结果的数据的格式的信息。
图8示出外部识别传感器225的LiDAR 253的数据类型是Point Cloud(点云),车辆传感器227(IMU)的数据类型是Analog(模拟),并且外部识别传感器225的相机251(深度相机)的数据类型是Point Cloud。
安装位置(感测区域)是指示与传感器131对应的配置被安装的位置和感测区域的信息。
在图8中,外部识别传感器225的LiDAR 253被描述为Front Body
(Front),并且被描述为被安装在车辆201的主体的前部(Front Body)中,并且感测区域是车辆201的前方(Front)。
此外,车辆传感器227(IMU)被描述为Front Body(Body Center),并且被描述为被安装在车辆201的主体的前部(Front Body)中,并且感测区域是主体中心位置(BodyCenter)。
此外,外部识别传感器225的相机251(深度相机)被描述为Front Body,RearBody,LRside Body(Front,Rear,LRside),并且被描述为被安装在车辆201的主体的前部(Front Body)、后部(Rear Body)以及左右侧部(LRside Body)中,并且感测区域是前方、后方和左右侧部(Front,Rear,LRside)。
测量精度是指示由与传感器131对应的配置测量的感测结果的特性的信息。
图8示出,对于外部识别传感器225的LiDAR 253,测量周期是周期T1,精度是精度A1,并且测量点数量是测量点数量P1。
关于车辆传感器227(IMU),示出测量周期是周期T2,并且精度是精度A2。
关于外部识别传感器225的相机251(深度相机),示出测量周期是周期T3,精度是精度A3,并且测量点数量是测量点数量P3。
可替换条件指示用于指定其感测结果可替换的传感器的条件,并且由例如通过and(逻辑积)/or(逻辑和)组合的诸如传感器类型、数据类型、安装位置和测量特性之类的传感器特性的组合条件来表达。
在图8中,对于外部识别传感器225的LiDAR 253,描述了“DataType:Point Cloudand Location:Front Body and周期>αand精度>βand测量点数量>γ”,从而指示,作为条件,数据类型是点云,安装位置是车辆201的主体的前部,周期大于α,精度大于β,并且测量点数量大于γ。
此外,对于车辆传感器227(IMU),描述了“SensorType:IMU and DataType:Analog”,从而指示,作为条件,传感器类型为IMU,并且数据类型是模拟。
此外,对于外部识别传感器225的相机251(深度相机),描述了“DataType:PointCloud and周期>α′”,从而指示,作为条件,数据类型是点云,并且周期大于α′。
(可替换图谱)
接下来,将参照图9描述可替换图谱292的配置示例。
基于传感器资源管理表291的信息,传感器资源管理单元233对于作为传感器类型登记的、与图4的传感器131对应的各配置搜索感测结果可替换的、与图4的传感器131对应的传感器,将已检索到的传感器视为可替换的传感器对,并且将传感器对的信息表达为可替换图谱292。这里,传感器对意味着已发生诸如故障之类的失灵的传感器(失灵传感器)和检测可替换已发生失灵的传感器的感测结果的感测结果的正常操作的传感器(正常传感器)的对。
在图8的传感器资源管理表291的情况下,登记在传感器资源管理表291中的传感器中的一个被设定为关注的传感器,并且基于数据类型、安装位置(感测区域)和测量特性的信息,通过传感器是否相同、相似或具有包含关系等,搜索可替换的、可以作为传感器对的关注的传感器以外的传感器。
例如,在外部识别传感器225的LiDAR 253是关注的传感器的情况下,通过以在关注的传感器的可替换条件中描述的数据类型、安装位置(感测区域)和测量特性作为基准比较另一传感器的数据类型、安装位置(感测区域)和测量特性,搜索检测可替换感测结果的传感器。
外部识别传感器225的LiDAR 253的可替换条件是,数据类型是点云,感测区域是前方(Front),并且具有等于或大于某一水平的周期、精度和测量点数量,但是对于外部识别传感器225的相机251(深度相机),假设数据类型是点云,前方(Front)包含于感测区域中,并且测量特性也满足准则。
因此,外部识别传感器225的LiDAR 253和相机251(深度相机)可以被认为是可以作为检测可替换感测结果的传感器对的传感器。
因此,传感器资源管理单元233将以这种方式检测可替换感测结果的外部识别传感器225的相机251(深度相机)视为可以是作为关注的传感器的外部识别传感器225的LiDAR 253的传感器对的传感器。
在这种情况下,传感器资源管理单元233例如生成如图9中所示的可替换图谱292作为指示外部识别传感器225的LiDAR 253已发生故障的情况下的可替换传感器对是外部识别传感器225的相机251(深度相机)的信息。
可替换图谱292是与作为传感器对的图4中的传感器131一起、描述具有各个传感器131的子系统121的信息的图类型(graph-type)数据。
即,在外部识别传感器225的相机251(深度相机)是外部识别传感器225的LiDAR253的传感器对的情况下,在图9的可替换图谱292中,描述了包括它们的与图4的子系统121对应的行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的配置。
即,在图9的可替换图谱292中,示出了包括作为关注的传感器的外部识别传感器225的LiDAR 253的行驶辅助/自动驾驶控制子系统331和包括作为关注的传感器的传感器对的外部识别传感器225的相机251(深度相机)的车辆控制子系统332的配置。
在图9的可替换图谱292中,对于行驶辅助/自动驾驶控制子系统331,从与图4的处理单元132对应的行驶辅助/自动驾驶控制单元229开始的两个箭头与外部识别传感器225的LiDAR 253和车辆传感器227(IMU)连接作为相应的终点。
即,这表达了行驶辅助/自动驾驶控制子系统331中的与图4中的处理单元132对应的行驶辅助/自动驾驶控制单元229从外部识别传感器225的LiDAR 253和车辆传感器227(IMU)获取执行处理所需的感测结果。
类似地,对于车辆控制子系统332,从与图4中的处理单元132对应的车辆控制单元232开始的一个箭头与外部识别传感器225的相机251(深度相机)连接作为终点。
即,这表达了车辆控制子系统332中的与图4中的处理单元132对应的车辆控制单元232从外部识别传感器225的相机251(深度相机)获取执行处理所需的感测结果。
此外,描写了从外部识别传感器225的相机251(深度相机)开始并终止于外部识别传感器225的LiDAR 253的虚线箭头,并且表达了在外部识别传感器225的LiDAR 253故障的情况下可替换的传感器对是外部识别传感器225的相机251(深度相机)。
在可替换图谱292中,虚线箭头指定了,在外部识别传感器225的LiDAR 253已故障的情况下,对于外部识别传感器225的LiDAR 253的感测结果,可替换感测结果的发送源是外部识别传感器225的相机251(深度相机),并且发送目的地是在它不处于故障状态时使用外部识别传感器225的LiDAR 253的感测结果的行驶辅助/自动驾驶控制单元229。
在外部识别传感器225的LiDAR 253的故障已发生的情况下,传感器资源管理单元233搜索如图9中所示的其中记录外部识别传感器225的LiDAR 253的传感器对的信息的可替换图谱292。
然后,基于图9中的可替换图谱292的信息,传感器资源管理单元233向车辆控制单元232的管理单元280供给转送指令,以将外部识别传感器225的相机251(深度相机)的感测结果作为故障的外部识别传感器225的LiDAR 253的可替换感测结果转送到行驶辅助/自动驾驶控制单元229的管理单元260。
基于该转送指令,车辆控制单元232的管理单元280将外部识别传感器225的相机251(深度相机)的感测结果转送到行驶辅助/自动驾驶控制单元229的管理单元260。
行驶辅助/自动驾驶控制单元229的管理单元260通过用从车辆控制单元232的管理单元280转送的外部识别传感器225的相机251(深度相机)的感测结果替换故障的外部识别传感器225的LiDAR 253的感测结果来执行其自身的处理。
通过这样的处理,即使在外部识别传感器225的LiDAR 253中发生故障,构成行驶辅助/自动驾驶控制子系统331的行驶辅助/自动驾驶控制单元229也可以使处理继续。
注意,上述的可替换条件是示例,可以设定其它可替换条件,并且对于可替换条件可以设想各种变化。例如,尽管上面已经描述了当外部识别传感器225的LiDAR 253是关注的传感器时配置的可替换图谱292的示例,但是例如在关注的传感器是外部识别传感器225的相机251(深度相机)的情况下,也可以设想不能形成图9中的虚线箭头的方向相反的可替换图谱292。
即,在图8的传感器资源管理表291中,假设关注的传感器是外部识别传感器225的相机251(深度相机),相机251(深度相机)的感测区域是前方、后方和左右侧面(Front,Rear,LRside),但是关于外部识别传感器225的LiDAR 253的感测区域,感测区域仅是车辆201的前方(Front)。
在外部识别传感器225的相机251(深度相机)故障的情况下,不可能仅利用外部识别传感器225的LiDAR 253的感测结果覆盖所有感测区域。
即,外部识别传感器225的LiDAR 253的感测结果中的感测区域是外部识别传感器225的相机251(深度相机)的感测结果的一部分,并且不覆盖整个范围。
相反地,外部识别传感器225的相机251(深度相机)的感测结果在感测区域中覆盖外部识别传感器225的LiDAR 253的感测结果的整个感测区域。
因此,即使传感器资源管理单元233针对数据类型、安装位置(感测区域)和测量特性中的每一个将作为关注的传感器的外部识别传感器225的相机251(深度相机)与外部识别传感器225的LiDAR 253进行比较,也可以设想传感器不能被识别为可替换的传感器,即传感器对。
如上所述,传感器之间的感测结果是否可替换可以被设定,使得即使数据类型、安装位置和测量特性等相同或相似,感测结果是否可替换也根据感测区域的包含关系而变化。
然而,可能存在这样的情况:仅使用从外部识别传感器225的LiDAR 253获得的车辆201的仅仅前方(Front)的感测结果执行车辆控制单元232的处理是更好的。
在这种情况下,外部识别传感器225的LiDAR 253可以被视为外部识别传感器225的相机251(深度相机)的传感器对,并且例如,可以生成图9中的虚线所示的箭头的起点和终点互换的可替换图谱292。
此外,在上述的示例中,当外部识别传感器225的LiDAR 253被设定为关注的传感器时,假设外部识别传感器225的相机251(深度相机)的测量特性相同或在预定范围内相似。
然而,在外部识别传感器225的LiDAR 253和相机251(深度相机)之间的测量特性的比较中,当相机251(深度相机)在周期、精度和测量点数量中的所有上具有更高的精度时,相机251(深度相机)可以被视为传感器对,但是当它们中的任何一个具有更低的精度时,可以认为相机251(深度相机)不能被视为传感器对。
具体地,原因是当外部识别传感器225LiDAR 253故障时,即使使用只能获得低精度感测结果的外部识别传感器225的相机251(深度相机)的感测结果作为替换,行驶辅助/自动驾驶控制子系统331中的处理精度也可能降低。
然而,可能存在这样的情况:通过使用外部识别传感器225的相机251(深度相机)的感测结果作为替换,而不是由于外部识别传感器225的LiDAR 253的故障而停止行驶辅助/自动驾驶控制子系统331的处理,即使以低精度执行处理也是更好的。
在这种情况下,外部识别传感器225的相机251(深度相机)可以被视为外部识别传感器225的LiDAR 253的传感器对,并且例如,可以生成图9中的虚线所示的箭头的起点和终点互换的可替换图谱292。如上所述,作为可替换条件,可以设想各种变化。
注意,图9中的可替换图谱292的配置示例是图类型数据的配置示例,但可以由图类型数据以外的数据表达,只要它是能够指示可替换感测结果的要作为转送源的子系统或传感器和要作为转送目的地的子系统或传感器的配置即可。
<激活处理>
接下来,将参照图10的流程图描述激活处理,该激活处理是生成传感器资源管理表291和可替换图谱292的激活时的处理。注意,在本示例中,将描述在激活时生成传感器资源管理表291和可替换图谱292的示例,但是它们可以在其它定时被执行。例如,在传感器被配置为可热插拔并且被配置为在任何定时可拆卸的情况下,可以以预定的时间间隔重复生成传感器资源管理表291和可替换图谱292的处理。
在步骤S31中,传感器资源管理单元233确定车辆201是否已经被激活,并且重复类似的处理,直到确定车辆已经被激活。然后,在在步骤S31中确定车辆已经被激活的情况下,处理进行到步骤S32。
在步骤S32中,传感器资源管理单元233向所有子系统的管理单元询问传感器资源信息。在图6的车辆201中,传感器资源管理单元233向分别构成行驶辅助/自动驾驶控制子系统331和车辆控制子系统332中的每一个的行驶辅助/自动驾驶控制子系统331的管理单元260和车辆控制子系统332的管理单元280询问传感器资源信息。
在步骤S51中,行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的管理单元260和280确定是否存在来自传感器资源管理单元233的关于传感器资源信息的询问,并且重复类似的处理,直到存在询问。
在步骤S51中,例如,在由于步骤S32中的处理而存在关于传感器资源信息的询问的情况下,处理进行到步骤S52。
在步骤S52中,管理单元260和280读取预先存储的、包含于行驶辅助/自动驾驶控制子系统331和车辆控制子系统332中的传感器的资源信息。
即,在图6的示例中,管理单元260读取预先存储的、作为构成行驶辅助/自动驾驶控制子系统331的外部识别传感器225的LiDAR 253和车辆传感器227(IMU)的传感器资源信息的数据类型、安装位置(感测区域)和测量特性。
此外,在图6的示例中,管理单元280读取预先存储的、作为构成车辆控制子系统332的外部识别传感器225的相机251(深度相机)的传感器资源信息的数据类型、安装位置(感测区域)和测量特性。
在步骤S53中,管理单元260和280将各条读取的传感器资源信息发送到传感器资源管理单元233。
在步骤S33中,传感器资源管理单元233从所有子系统获取传感器资源信息。即,在图6中,传感器资源管理单元233获取从分别构成行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的行驶辅助/自动驾驶控制单元229的管理单元260和车辆控制单元232的管理单元280供给的传感器资源信息。
在步骤S34中,传感器资源管理单元233基于获取的传感器资源信息生成参照图8描述的传感器资源管理表291,并且将传感器资源管理表291登记在存储单元228中。
在步骤S35中,传感器资源管理单元233从存储单元228读取登记的传感器资源管理表291,如上所述对于能够获取可替换感测结果的每个传感器对生成例如如图9中所示的可替换图谱292,并且将可替换图谱登记在存储单元228中。
通过上述的一系列处理,每当车辆201被激活时,获取构成所有子系统的传感器的传感器资源信息,并且生成传感器资源管理表291。此外,基于传感器资源管理表291的信息,对于将可替换的传感器作为对的每个传感器对生成可替换图谱292。
<传感器资源管理处理>
接下来,将参照图11的流程图,描述实现使用在存储单元228中登记的传感器资源管理表291和可替换图谱292在传感器故障发生时转送要作为传感器对的另一传感器的感测结果的处理的传感器资源管理处理。
这里,在描述子系统的处理时,作为具体示例,将描述在行驶辅助/自动驾驶控制子系统331中的外部识别传感器225的LiDAR 253中发生故障并且基于上述图9的可替换图谱292转送车辆控制单元232的外部识别传感器225的相机251(深度相机)的感测结果的情况下的处理。
然而,这描述代表性的传感器资源管理处理,并且即使在另一子系统中的另一传感器故障的情况下,也执行基本上类似的处理。
在步骤S71中,行驶辅助/自动驾驶控制子系统331中的行驶辅助/自动驾驶控制单元229的管理单元260确定是否已检测到在检测用于管理单元260自身的处理的感测结果的外部识别传感器225的LiDAR 253和车辆传感器227(IMU)中已发生故障(失灵)。
例如,在不存在从外部识别传感器225的LiDAR 253和车辆传感器227(IMU)中的任何一个输出的感测结果的情况下,检测到已发生故障。
此时,在其它子系统中也执行类似的处理,并且在车辆控制子系统332中,例如,车辆控制单元232的管理单元280确定是否在检测用于管理单元280自身的处理的感测结果的外部识别传感器225的相机251(深度相机)中已检测到故障。
在步骤S71中,例如,在检测到在外部识别传感器225的LiDAR 253中已发生故障的情况下,处理进行到步骤S72。
在步骤S72中,管理单元260向传感器资源管理单元233通知在外部识别传感器225的LiDAR 253中已发生故障,并且发送对来自另一子系统的可替换感测结果的转送请求。
在步骤S91中,传感器资源管理单元233从子系统中的任一个确定是否已存在对来自另一子系统的可替换感测结果的转送请求。
在步骤S91中,例如,在由于步骤S72中的处理而从行驶辅助/自动驾驶控制子系统331检测到外部识别传感器225的LiDAR 253的故障并且确定存在对来自另一子系统的可替换感测结果的转送请求的情况下,处理进行到步骤S92。
在步骤S92中,传感器资源管理单元233访问存储单元228,并且从可替换图谱292-1至292-x搜索包括故障的传感器的传感器对的信息(检测可替换故障的传感器的感测结果的感测结果的传感器的信息)的可替换图谱292。
在步骤S93中,传感器资源管理单元233确定是否已检索到包括故障的传感器的传感器对的可替换图谱292。
在步骤S93中,例如,当检索到包括与外部识别传感器225的LiDAR 253是传感器对的外部识别传感器225的相机251(深度相机)的信息的图9的可替换图谱292时,则认为检索到包括故障的传感器的传感器对的可替换图谱292,并且处理进行到步骤S94。
在步骤S94中,传感器资源管理单元233向传感器已故障并且已发送转送请求的子系统通知指示存在可替换传感器资源以及要从哪个子系统转送可替换感测结果的信息,并且处理进行到步骤S96。
在本情况下,由于行驶辅助/自动驾驶控制子系统331已经请求转送可替换外部识别传感器225的LiDAR 253的感测结果的感测结果,因此传感器资源管理单元233基于图9中的可替换图谱292向行驶辅助/自动驾驶控制子系统331的管理单元260通知外部识别传感器225的相机251(深度相机)的感测结果作为可替换感测结果从车辆控制子系统322被转送。
此外,在步骤S96中,传感器资源管理单元233通过基于搜索的可替换图谱292的信息分配包括可替换传感器资源的另一子系统以将对应的感测结果转送到传感器已经故障的子系统来请求转送。
在本示例中,由于基于图9中的可替换图谱292的信息确定可替换传感器资源是车辆控制子系统332的外部识别传感器225的相机251(深度相机),因此传感器资源管理单元233请求车辆控制子系统332中的车辆控制单元232的管理单元280将外部识别传感器225的相机251(深度相机)的感测结果转送到外部识别传感器225的LiDAR 253已经故障的行驶辅助/自动驾驶控制子系统331中的行驶辅助/自动驾驶控制单元229的管理单元260。
此外,在在步骤S93中不能检索到包括故障的传感器的传感器对的可替换图谱292的情况下,处理进行到步骤S95。
在步骤S95中,传感器资源管理单元233向作为已经发送对可替换感测结果的转送请求的子系统的行驶辅助/自动驾驶控制子系统331的管理单元260通知指示不存在可替换传感器资源的信息,并且处理进行到步骤S97。
在步骤S73中,行驶辅助/自动驾驶控制子系统331的管理单元260从传感器资源管理单元233获取通知,并且确定该通知是否为指示存在可替换传感器资源的通知。
在步骤S73中,例如,由于步骤S94中的处理,获取指示存在可替换传感器资源以及要从哪个子系统转送感测结果的信息,获取从另一子系统转送的感测结果,并且执行处理。
此外,在步骤S73中,例如,在由于步骤S95的处理而确定指示不存在可替换传感器资源的通知已被发送的情况下,处理进行到步骤S75。
在步骤S75中,管理单元260停止行驶辅助/自动驾驶控制单元229的处理,并且根据需要在HMI 230等上显示在传感器中已发生异常并且处理不可能。
此外,在在步骤S71中确定没有检测到传感器故障的情况下,跳过步骤S72至S75中的处理,并且处理进行到步骤S76。
在步骤S76中,确定将感测结果转送到另一子系统的转送请求是否已被发送。在本示例中,作为另一子系统的车辆控制子系统332中的车辆控制单元232的管理单元280确定是否已经由传感器资源管理单元233请求转送包含于其中的传感器的感测结果。
在步骤S76中,例如,在由于步骤S96中的处理而存在将外部识别传感器225的相机251(深度相机)的感测结果转送到外部识别传感器225的LiDAR 253已故障的行驶辅助/自动驾驶控制子系统331中的行驶辅助/自动驾驶控制单元229的管理单元260的请求的情况下,处理进行到步骤S77。
在步骤S77中,管理单元280将外部识别传感器225的相机251(深度相机)的感测结果转送到外部识别传感器225的LiDAR 253已故障的行驶辅助/自动驾驶控制子系统331中的行驶辅助/自动驾驶控制单元229的管理单元260。
注意,在在步骤S76中确定没有被请求转送包含于自身的子系统中的传感器的感测结果的情况下,跳过步骤S77的处理。
然后,在步骤S78和S97中,确定是否已经指示结束,并且在确定没有指示结束的情况下,处理返回到步骤S71和S91。即,在没有指示结束的情况下,重复步骤S71至S78和步骤S91至S97的处理。
然后,在在步骤S78和S97中确定已经给出结束处理的指示的情况下,处理结束。
通过以上处理,在在包含于作为单位的子系统中的每一个中的传感器中发生故障的情况下,基于通过上述处理生成的可替换图谱292检索包括可替换并且与故障的传感器形成传感器对的另一子系统的传感器的信息的可替换图谱292,并且基于检索到的可替换图谱292转送另一子系统的传感器的感测结果。
作为结果,在由诸如行驶辅助/自动驾驶控制子系统331和车辆控制子系统332之类的多个子系统构成的车辆控制系统211中,即使一个子系统的传感器故障,也转送可以替换的另一子系统的传感器的感测结果,使得可以提高车辆控制系统211的整体操作的稳定性,并且可以实现具有高安全性和稳定性的自动驾驶。
此时,只要在任何子系统中传感器没有故障,可替换感测结果就不被转送到其它子系统,使得与不必要的可替换感测结果的分发相关联的通信负载的增加被抑制。
此外,由于车辆控制系统211作为整体包括多个子系统,因此可以以子系统为单位执行操作测试等,使得可以简化操作测试。
此外,由于在开发车辆控制系统时可以以子系统为单位开发车辆控制系统211,因此可以以子系统为单位设定开发系统,降低与开发相关的成本,并且提高开发速度。
<<2.第一应用示例>>
在上文中,在创建可替换图谱292时,已经描述了基于每个传感器的传感器资源信息生成传感器资源管理表291并且基于登记在传感器资源管理表291中的信息生成可替换图谱292的示例。
然而,可以认为,如果在相互的感测结果之间存在相关性,则建立作为包含于可替换图谱292中的传感器的组合的传感器对。
因此,可以记录行驶期间的每个传感器的感测结果,并且可以在行驶结束并且车辆停止时获得传感器之间的感测结果的相关性,并且可以通过将具有高相关性的传感器视为传感器对来生成可替换图谱292。
更具体地,设想如图12中所示的可替换图谱生成块341。
图12中的可替换图谱生成块341包括传感器记录单元351、感测结果存储单元352和相关分析单元353,并且被并入车辆控制系统211中。
传感器记录单元351读取在车辆201行驶时的设置在车辆控制系统211中的各种传感器(诸如外部识别传感器225、车内传感器226和车辆传感器227)的感测结果,并且将感测结果存储在感测结果存储单元352中。
在车辆201完成行驶之后,相关分析单元353在车辆停止时计算例如相似度作为指示存储在感测结果存储单元352中的各种传感器的感测结果的传感器之间的相关性的指标。注意,作为指示相关性的指标,可以获得相似度以外的指标,只要该指标可以指示相互的相关性即可,并且例如可以使用相关系数等。
例如,当检测到被认为具有相似性和高相关性的传感器的组合时,诸如由图12中的传感器记录单元351的上部中所示的波形W1和W2指示的两个传感器的感测结果的波形,相关分析单元353将被认为在感测结果中具有高相关性的传感器设定为传感器对候选。
然后,相关分析单元353将具有高相关性的传感器对候选的信息输出到包括例如显示单元等的HMI 231的输出单元231a,并且将信息呈现给乘员、驾驶员或汽车系统管理员,从而促使关于作为传感器对候选的传感器是否被视为传感器对的确定。
响应于此,当HMI 231的包括操作按钮或触摸面板等的输入单元231b被操作并且允许作为呈现的传感器对候选的两个传感器被视为传感器对的信息被输入时,相关分析单元353例如向传感器资源管理单元233通知传感器被视为传感器对。
响应于该通知,传感器资源管理单元233将被设定为传感器对候选的传感器视为传感器对,对于对应传感器从传感器资源管理表291读取传感器资源信息,生成可替换图谱292′,并将可替换图谱存储在存储单元228中。
注意,基于根据感测结果的相关性设定的传感器对的可替换图谱被称为“可替换图谱292′”,其中附图标记附有“′”。可替换图谱292′是与可替换图谱292分开生成的,但是传感器发生故障(失灵)时的使用方法与可替换图谱292相似。此外,可替换图谱292和292′可以共存,或者可以仅使用它们中的一个。
利用这样的配置,即使在从传感器资源信息不能被视为在传感器中的任一个发生故障时可以从中获得可替换感测结果的传感器对的传感器中,对于感测结果具有高相关性的传感器也被视为传感器对,使得可以形成更多的可替换图谱292′。
作为结果,即使在传感器故障发生之后,也可以增加可替换的传感器资源,可以适当地处理传感器故障,并且可以实现安全性和稳定性提高的自动驾驶。
<并入可替换图谱生成块的车辆控制系统的配置示例>
接下来,将参照图13,描述在图12的可替换图谱生成块341被并入到图6的车辆控制系统211中的情况下的车辆控制系统211的配置示例。
注意,在图13的车辆控制系统211中,具有与图6的车辆控制系统211相同的功能的组件由相同的附图标记表示,并且将适当省略其描述。
图13的车辆控制系统211与图6的车辆控制系统211的不同之处在于,新设置了传感器记录单元371、感测结果存储单元372和相关分析单元373,并且上述的可替换图谱292′-1至292′-y被存储在存储单元228中。
传感器记录单元371是对应于图12中的传感器记录单元351的配置,并且在行驶期间从外部识别传感器225、车内传感器226和车辆传感器227获取各种感测结果,并且将感测结果存储在存储单元228的感测结果存储单元372中。
感测结果存储单元372是对应于图12中的感测结果存储单元352的配置,并且存储从传感器记录单元371供给的各种感测结果。
相关分析单元373是对应于图12中的相关分析单元353的配置,访问存储在存储单元228中的感测结果存储单元372,对于各种传感器的感测结果获得传感器之间的相关性,并且将具有相关性高于预定阈值的感测结果的传感器设定为传感器对候选。
相关分析单元373将指示作为传感器对候选的传感器和基于感测结果的相关性的信息呈现给HMI 231的包括显示单元等的输出单元231a,并且呈现用于询问乘员或驾驶员是否将它们假定为传感器对的信息。
响应于此,当HMI 231的包括操作单元等的输入单元231b被操作并且指示传感器对被接受的信息被输入时,相关分析单元373将已经被设定为传感器对候选的传感器的信息作为传感器对的信息供给到传感器资源管理单元233。
在获取到从相关分析单元373供给的要作为传感器对的传感器的信息后,传感器资源管理单元233访问传感器资源管理表291,通过上述方法生成可替换图谱292′,并且将该图谱作为可替换图谱292′-1至292′-y存储在存储单元228中。
注意,图13中所示的可替换图谱292′-1至292′-y表达了由与参照图12描述的可替换图谱生成块341对应的配置生成的y个可替换图谱292′被存储。
在这种情况下,当在传感器中的任一个中发生故障(失灵)时,传感器资源管理单元233搜索基于要与故障的传感器成为传感器对的信息生成的可替换图谱292和292′中的至少一个,并且指示将可替换感测结果转送到故障的传感器。
<感测结果存储处理>
接下来,将参照图14中的流程图,描述图13中的车辆控制系统211的感测结果存储处理。
在步骤S111中,传感器记录单元371确定是否已经开始行驶,并且重复类似的处理直到行驶开始。然后,在在步骤S111中确定已经开始行驶的情况下,处理进行到步骤S112。
在步骤S112中,传感器记录单元371获取诸如外部识别传感器225、车内传感器226和车辆传感器227之类的各种传感器的感测结果。
在步骤S113中,传感器记录单元371在感测结果存储单元372中存储获取的各种传感器的感测结果。
在步骤S114中,传感器记录单元371确定行驶是否已经结束,并且在行驶没有结束的情况下,处理返回到步骤S112。
即,从行驶开始到行驶结束重复步骤S112至S114的处理,并且传感器记录单元371继续将诸如外部识别传感器225、车内传感器226和车辆传感器227之类的各种传感器的感测结果存储在感测结果存储单元372中。
然后,在在步骤S114中确定行驶已经结束的情况下,处理结束。
通过以上处理,在行驶期间,诸如外部识别传感器225、车内传感器226和车辆传感器227之类的各种传感器的感测结果被持续地存储在感测结果存储单元372中。
<相关分析处理>
接下来,将参照图15中的流程图,描述图13中的车辆控制系统211的相关分析处理,在该相关分析处理中,获得存储在感测结果存储单元372中的各种传感器的感测结果的相关性,并且根据相关性登记可替换图谱。
在步骤S131中,相关分析单元373确定车辆201的行驶是否已经停止,并且重复类似的处理,直到确定行驶已经停止。
然后,在在步骤S131中确定车辆201的行驶已经停止的情况下,处理进行到步骤S132。
在步骤S132中,相关分析单元373将设置在车辆控制系统211中的诸如外部识别传感器225、车内传感器226和车辆传感器227之类的各种传感器中的未被设定为关注的传感器的传感器中的任一个设定为关注的传感器。
在步骤S133中,相关分析单元373访问存储在存储单元228中的感测结果存储单元372,并且读取关注的传感器的感测结果。
在步骤S134中,相关分析单元373将设置在车辆控制系统211中的除了关注的传感器以外的诸如外部识别传感器225、车内传感器226和车辆传感器227之类的各种传感器中的未被设定为要比较的传感器的传感器中的任一个设定为要比较的传感器。
在步骤S135中,相关分析单元373访问存储在存储单元228中的感测结果存储单元372,并且读取要比较的传感器的感测结果。
在步骤S136中,相关分析单元373计算指示关注的传感器与要比较的传感器的感测结果之间的相关性的指标。相关分析单元373计算例如关注的传感器和要比较的传感器的感测结果之间的相似度作为相关性的指标。
在步骤S137中,相关分析单元373基于相关性的指标确定关注的传感器和要比较的传感器之间的相关性(这里,是相似度)是否高于预定阈值。
在在步骤S137中确定关注的传感器和要比较的传感器之间的相关性高于预定阈值的情况下,处理进行到步骤S138。
在步骤S138中,相关分析单元373向HMI 231呈现指示关注的传感器和要比较的传感器之间的相关性高于预定阈值、关注的传感器的感测结果可以被要比较的传感器的感测结果替换并且传感器彼此是传感器对候选的信息以及询问是否通过将传感器视为传感器对来生成和登记可替换图谱292′的信息。
在步骤S139中,相关分析单元373在询问是否生成和登记可替换图谱292′之后的预定时间内确定HMI 231是否被操作并且被指示生成和登记可替换图谱292′。
在在步骤S139中确定HMI 231被操作并且被指示生成和登记可替换图谱292′的情况下,处理进行到步骤S140。
在步骤S140中,相关分析单元373将关注的传感器和要比较的传感器的信息供给到传感器资源管理单元233,并且请求生成和登记可替换图谱292′。响应于该请求,传感器资源管理单元233访问存储单元228的传感器资源管理表291,读取关注的传感器和要比较的传感器的传感器资源信息,生成关注的传感器和要比较的传感器的可替换图谱292′,并且将可替换图谱292′登记在存储单元228中。
注意,在在步骤S137中相关性低于预定阈值的情况下,或者在在步骤S139中确定在预定时间内没有被指示生成和登记可替换图谱292′的情况下,处理进行到步骤S141。
在步骤S141中,相关分析单元373确定在除了关注的传感器之外的传感器中是否存在任何未被设定为要比较的传感器的传感器,并且在确定存在任何未被设定为要比较的传感器的传感器的情况下,处理返回到步骤S134。
即,重复步骤S134至S141的处理,直到除了关注的传感器以外的所有传感器被设定为要比较的传感器。
然后,在步骤S141中,在确定在除了关注的传感器以外的传感器中不存在未被设定为要比较的传感器的传感器的情况下,即,在确定关注的传感器以外的所有传感器已被设定为要比较的传感器的情况下,处理进行到步骤S142。
在步骤S142中,相关分析单元373将所有传感器设定为未被设定为要比较的传感器的传感器。
在步骤S143中,相关分析单元373确定在所有传感器中是否存在未被设定为关注的传感器的传感器,并且在确定存在未被设定为关注的传感器的传感器的情况下,处理返回到步骤S132。
即,重复步骤S132至S143的处理,直到所有传感器被设定为关注的传感器并且在所有传感器之间检查了相关性。
然后,在步骤S143中,在所有传感器被设定为关注的传感器并且确定在所有传感器之间检查了相关性的情况下,处理进行到步骤S144。
在步骤S144中,相关分析单元373丢弃存储在感测结果存储单元372中的所有感测结果,并且处理结束。
通过以上处理,在存储在感测结果存储单元372中的所有传感器之间检查相关性,并且当相关性高于预定阈值时,将关注的传感器和要比较的传感器设定为传感器对候选,并且向乘员和驾驶员呈现询问是否作为传感器对生成并登记可替换图谱292′的信息。
然后,当响应于询问而指示可替换图谱292′的登记时,具有高相关性的关注的传感器和要比较的传感器被视为传感器对,并且可替换图谱292′被生成和登记。
因此,即使在没有从登记在传感器资源管理表291中的传感器资源信息被识别为传感器对的传感器之间,也可以通过将与感测结果具有相关性的传感器视为传感器对来登记可替换图谱292′。
作为结果,即使当传感器故障发生时,也可以增加可替换传感器资源,可以适当地对传感器故障进行响应,并且可以实现更安全和更稳定的自动驾驶。
注意,在参照图15的流程图描述的相关分析处理中,即使在关注的传感器和要比较的传感器具有高相关性并且被视为传感器对候选的情况下,当它们通过激活处理被视为传感器对并且已经被登记为可替换图谱292时,步骤S138至S140的处理可以被跳过。
此外,在以上示例中,已经描述了在车辆控制系统211中设置感测结果存储单元372和相关分析单元373的示例,但是感测结果存储单元372和相关分析单元373可以由经由通信单元222存在于通信网络上的服务器计算机或云计算来实现。
<<3.第二应用示例>>
在上面的描述中,已经描述了在行驶期间将各种传感器的感测结果存储在感测结果存储单元372中、获得传感器之间的相关性并且将具有高于预定阈值的相关性的传感器作为传感器对登记为可替换图谱292′的示例。
然而,可以在行驶期间将各种传感器的感测结果存储在感测结果存储单元372中,并且可以比较在登记的可替换图谱292和292′中包含于传感器对中的传感器之间的感测结果,以根据相关性是否低于预定阈值来确定传感器对的传感器中的任一个中的异常或故障(失灵)的有无。
更具体地,例如,可以设想设置如图16中所示的故障检测单元391。
即,图16中的故障检测单元391在行驶期间基于可替换图谱292读取传感器对,并且从感测结果存储单元352读取构成读取的传感器对的两个传感器的相应感测结果。然后,故障检测单元391获得读取的两个传感器的感测结果之间的相关性,并且将相关性与预定阈值进行比较。这里,根据是否在相关性低于预定阈值并且最初应当具有等于或高于预定阈值的相关性的传感器对的感测结果中不存在相关性,来确定是否已发生故障或异常。
在传感器对的两个感测结果的相关性例如如图16中的波形W11和W12所示的那样低于预定阈值并且在应当具有等于或高于预定阈值的相关性的传感器对的感测结果中不存在相关性的情况下,故障检测单元391确定在传感器对的传感器中的任一个中已发生异常或故障并且将故障通知给子系统401。
这里所指的子系统401是例如上述的行驶辅助/自动驾驶控制子系统331和车辆控制子系统332,并且当被通知传感器的异常或故障时,相应的管理单元260和280停止处理。
利用这样的配置,可以在早期发现传感器的异常或故障,并且可以通过抑制使用故障的感测结果的处理来提高自动驾驶中的安全性和稳定性。
<并入故障检测单元的车辆控制系统的配置示例>
接下来,将参照图17描述并入与图16中的故障检测单元391对应的配置的车辆控制系统211的配置示例。
注意,在图17的车辆控制系统211中,具有与图13的车辆控制系统211相同的功能的组件由相同的附图标记表示,并且将适当地省略其描述。
图17的车辆控制系统211与图13的车辆控制控制系统211的不同之处在于,新设置了故障检测单元411。
故障检测单元411是对应于图16中的故障检测单元391的配置,在行驶期间基于可替换图谱292和292′读取传感器对,并且从感测结果存储单元372读取构成读取的传感器对的两个传感器的感测结果。
然后,故障检测单元411获得构成读取的传感器对的两个传感器的感测结果之间的相关性的指标,并且根据是否在低于预定阈值并且原本应当具有等于或高于预定阈值的相关性的传感器对的感测结果中不存在相关性,来确定是否已发生故障或异常。相关性的指标是例如相似度或相关系数。
在传感器对的两个感测结果之间的相关性低于预定阈值并且在应当具有等于或高于预定阈值的相关性的传感器对的感测结果之间不存在相关性的情况下,故障检测单元411确定在传感器对的传感器中的任一个中已发生异常或故障,并且将该确定通知给子系统。更具体地,例如,故障检测单元411通知构成子系统的行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的行驶辅助/自动驾驶控制单元229和车辆控制单元232的管理单元260和280。
当被通知指示传感器的故障或异常的信息时,管理单元260和280停止行驶辅助/自动驾驶控制单元229和车辆控制单元232的处理。
利用这样的配置,可以在早期发现传感器的异常或故障,并且可以通过抑制使用故障的感测结果的处理来提高自动驾驶中的安全性和稳定性。
<故障检测处理>
接下来,将参照图18的流程图,描述图17的车辆控制系统211的故障检测处理。
在步骤S151中,故障检测单元411访问存储单元228,并且将可替换图谱292和292′中的未被设定为关注的可替换图谱292或292′的未处理的可替换图谱292和292′中的任一个设定为关注的可替换图谱292或292′。
在步骤S152中,故障检测单元411访问感测结果存储单元372,并且读取关注的可替换图谱292或292′的传感器对的两个传感器的感测结果。
在步骤S153中,故障检测单元411计算指示关注的可替换图谱292或292′中的两个传感器的感测结果之间的相关性的指标。故障检测单元411计算例如关注的传感器和要比较的传感器之间的感测结果的相似度作为相关性的指标。
在步骤S154中,故障检测单元411基于相关性的指标确定关注的可替换图谱292或292′的两个传感器之间的相关性是否低于预定阈值。
在在步骤S154中确定关注的可替换图谱292或292′的两个传感器之间的相关性低的情况下,处理进行到步骤S155。
在步骤S155中,故障检测单元411向HMI 231呈现指示关注的可替换图谱292或292′的两个传感器的感测结果之间的相关性低于预定阈值并且存在在传感器中的任一个中已发生异常或故障的可能性的信息。
在步骤S156中,故障检测单元411通知构成包括关注的可替换图谱292或292′的两个传感器的子系统的行驶辅助/自动驾驶控制子系统331和车辆控制子系统332的行驶辅助/自动驾驶控制单元229和车辆控制单元232的管理单元260和280。因此,包括具有已发生故障或异常的可能性的传感器的子系统的管理单元260和280停止行驶辅助/自动驾驶控制单元229和车辆控制单元232的处理。
注意,在在步骤S154中确定关注的可替换图谱292或292′的两个传感器之间的相关性不低即不存在传感器的异常或故障的可能性的情况下,跳过步骤S155和S156的处理。
在步骤S157中,故障检测单元411确定是否存在未被处理为关注的可替换图谱292或292′的可替换图谱292或292′,并且在存在未处理的可替换图谱292或292′的情况下,处理返回到步骤S151。
即,重复步骤S151至S157的处理,直到所有可替换图谱292或292′被设定为关注的可替换图谱292和292′,获得了传感器对的感测结果的相关性的指标,并且确定了故障的有无为止。
然后,在步骤S157中,在不存在未设定的可替换图谱292或292′、所有可替换图谱292或292′被设定为关注的可替换图谱292或292′、获得了传感器对的感测结果的相关性的指标并且确定了故障的存在的情况下,处理进行到步骤S158。
在步骤S158中,故障检测单元411确定操作的结束是否被指示,并且在没有指示结束的情况下,处理进行到步骤S159。
在步骤S159中,故障检测单元411将可替换图谱292或292′恢复到没有被设定为关注的可替换图谱292或292′的未处理的状态,并且处理返回到步骤S151。
即,直到车辆201的操作停止并且操作的结束被指示为止,获得所有可替换图谱292或292′的传感器对的感测结果的相关性,并且重复确定故障的有无的处理。
然后,当在步骤S159中车辆控制系统211的操作结束时,处理结束。
通过以上处理,可以在早期发现传感器的异常或故障,并且可以通过抑制使用故障的感测结果的处理来提高自动驾驶的安全性和稳定性。
注意,在以上示例中,已经描述了感测结果存储单元372、可替换图谱292和292′以及故障检测单元411被设置在车辆控制系统211中的示例,但是感测结果存储单元372、可替换图谱292和292′以及故障检测单元411可以由经由通信单元222存在于通信网络上的服务器计算机或云计算来实现。
<<4.通过软件执行的示例>>
顺便提及,上述的一系列处理可以由硬件执行,但也可以由软件执行。在通过软件执行一系列处理的情况下,将构成该软件的程序从记录介质安装到例如内置于专用硬件中的计算机或能够通过安装各种程序执行各种功能的通用计算机等中。
图19示出通用计算机的配置示例。该计算机包括中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。
对于输入/输出接口1005,连接了包括用户输入操作命令的诸如键盘和鼠标之类的输入设备的输入单元1006、向显示设备输出处理操作画面和处理结果的图像的输出单元1007、包括硬盘驱动器等并且存储程序和各种数据的存储单元1008以及包括局域网(LAN)适配器等并且经由由因特网表示的网络执行通信处理的通信单元1009。此外,连接了从诸如磁盘(包括软盘)、光盘(包括光盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器之类的可移除存储介质1011读取数据和向其写入数据的驱动器1010。
CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除存储介质1011读取、安装在存储单元1008中并且从存储单元1008加载到RAM 1003中的程序来执行各种处理。此外,RAM 1003还适当地存储CPU 1001执行各种处理所需的数据等。
在如上所述配置的计算机中,例如,CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中并且执行程序,以由此执行上述的一系列处理。
由计算机(CPU 1001)执行的程序例如可以通过被记录在作为封装介质等的可移除存储介质1011中而被提供。此外,可以通过诸如局域网、因特网和数字广播之类的有线或无线传输介质来提供程序。
在计算机中,可以通过将可移除存储介质1011安装到驱动器1010经由输入/输出接口1005将程序安装在存储单元1008中。此外,程序可以由通信单元1009经由有线或无线传输介质被接收并且被安装在存储单元1008中。此外,程序可以被预先安装在ROM 1002或存储单元1008中。
注意,由计算机执行的程序可以是以在本说明书中描述的顺序以时间序列方式执行处理的程序,或者可以是并行地或者在必要的定时(诸如当进行调用时)执行处理的程序。
注意,图19中的CPU 1001实现图6中的行驶辅助/自动驾驶控制单元229、车辆控制单元232和传感器资源管理单元233、图13中的传感器记录单元371和相关分析单元373以及图16中的故障检测单元411的功能。
此外,在本说明书中,系统旨在意味着多个组件(设备、模块(部件)等)的集合,并且所有组件是否在同一壳体中并不重要。因此,容纳于单独壳体中并且经由网络耦合的多个设备和多个模块容纳于一个壳体中的一个设备都是系统。
注意,本公开的实施例不限于上述的实施例,并且可以在不脱离本公开的范围的情况下提出各种修改。
例如,本公开可以具有一个功能由多个设备经由网络分担并且协同执行处理的云计算的配置。
此外,在上述流程图中描述的各步骤可以由一个设备执行,或者可以由多个设备以分担的方式执行。
此外,在在一个步骤中包括多个处理的情况下,包含于一个步骤中的多个处理可以由一个设备执行或由多个设备以分担的方式执行。
<1>一种信息处理设备,包括:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
<2>根据<1>所述的信息处理设备,其中
所述多个子系统中的处理单元向传感器资源管理单元通知设置在子系统中的各个传感器的传感器资源信息,以及
传感器资源管理单元基于所述多个子系统的传感器资源信息,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
<3>根据<2>所述的信息处理设备,其中
传感器资源管理单元基于传感器资源信息,在所述多个子系统的各个传感器之间,将感测结果可替换的传感器设定为传感器对,并且对于每个传感器对生成指示感测结果可替换的可替换图谱,以及
基于可替换图谱,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
<4>根据<3>所述的信息处理设备,其中
传感器资源信息包括每个传感器的传感器类型、数据类型、安装位置、感测区域和测量特性,以及
传感器资源管理单元基于传感器资源信息,根据传感器类型、数据类型、安装位置、感测区域和测量特性是否相同或相似,将感测结果可替换的传感器设定为传感器对,并且生成指示在设定的传感器对的传感器之间感测结果可替换的可替换图谱。
<5>根据<4>所述的信息处理设备,其中
传感器资源管理单元生成包括传感器资源信息中的传感器的传感器类型、数据类型、安装位置、感测区域和测量特性的传感器资源管理表,以及
基于传感器资源管理表设定传感器对,并且对于每个设定的传感器对生成可替换图谱。
<6>根据<5>所述的信息处理设备,其中
可替换图谱是指定要作为可替换的感测结果的转送源的传感器以及要作为使用从转送源转送的感测结果作为可替换的感测结果并且执行与自动驾驶相关的预定处理的转送目的地的处理单元的图类型数据。
<7>根据<1>至<6>中的任一项所述的信息处理设备,还包括:
感测结果存储单元,所述感测结果存储单元存储通过自动驾驶的行驶期间的所述多个子系统的各传感器的感测结果;以及
相关分析单元,所述相关分析单元分析存储在感测结果存储单元中的传感器之间的感测结果的相关性,其中
传感器资源管理单元基于作为相关分析单元的分析结果的相关性,将感测结果可替换的传感器设定为传感器对,并且对于每个设定的传感器对生成指示感测结果可替换的可替换图谱,以及
基于可替换图谱,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
<8>根据<7>所述的信息处理设备,其中
传感器资源管理单元将由相关分析单元分析出的相关性高于预定阈值的传感器设定为感测结果可替换的传感器对,并且对于每个设定的传感器对生成指示感测结果可替换的可替换图谱。
<9>根据<7>所述的信息处理设备,其中
相关分析单元基于存储在感测结果存储单元中的传感器之间的感测结果的相似度或相关系数来分析相关性。
<10>根据<7>所述的信息处理设备,还包括:
失灵检测单元,所述失灵检测单元分析在可替换图谱中感测结果可替换的传感器对的、存储在感测结果存储单元中的感测结果的相关性,并且基于作为分析结果的相关性来检测被设定为传感器对的传感器的失灵。
<11>根据<10>所述的信息处理设备,其中
失灵检测单元检测作为分析结果的相关性低于预定阈值的、被设定为传感器对的传感器中的至少一个的失灵。
<12>根据<10>所述的信息处理设备,其中
失灵检测单元基于在可替换图谱中感测结果可替换的传感器对的、存储在感测结果存储单元中的感测结果的相似度或相关系数来分析相关性,并且基于作为分析结果的相关性来检测被设定为传感器对的传感器的失灵。
<13>根据<1>至<12>中的任一项所述的信息处理设备,其中
当检测到传感器的失灵时,第一子系统中的处理单元请求传感器资源管理单元将与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统的传感器的感测结果转送到第一子系统,以及
传感器资源管理单元响应于来自第一子系统的处理单元的请求,使得第二子系统将传感器的感测结果转送到第一子系统。
<14>根据<13>所述的信息处理设备,其中
传感器资源管理单元响应于来自第一子系统的处理单元的请求,请求第二子系统将传感器的感测结果转送到第一子系统,以及
第二子系统中的处理单元响应于来自传感器资源管理单元的请求,将传感器的感测结果转送到第一子系统。
<15>一种用于信息处理设备的信息处理方法,所述信息处理设备包括:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统,所述信息处理方法包括:
通过传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
<16>一种程序,所述程序用于使计算机用作:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
附图标记列表
101控制系统
121、121-1、121-2子系统
122传感器资源管理单元
123传感器资源管理表
124可替换图谱
131、131-1、131-2传感器
132、132-1、132-2处理单元
132a、132a-1、132a-2管理单元
201车辆
211车辆控制系统
225外部识别传感器
226车内传感器
227车辆传感器
228存储单元
229行驶辅助/自动驾驶控制单元
231HMI
231a输出单元
231b输入单元
232车辆控制单元
233传感器资源管理单元
251相机
252雷达
253LiDAR
254超声传感器
260、280管理单元
291传感器资源管理表
292、292-1至292-x、292′、292′-1至292′-y可替换图谱
331行驶辅助/自动驾驶控制子系统
332车辆控制子系统
351传感器记录单元
352感测结果记录单元
353相关分析单元
371传感器记录单元
372感测结果记录单元
373相关分析单元
391故障检测单元
401子系统
411故障检测单元
Claims (16)
1.一种信息处理设备,包括:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
2.根据权利要求1所述的信息处理设备,其中
所述多个子系统中的处理单元向传感器资源管理单元通知设置在子系统中的各个传感器的传感器资源信息,以及
传感器资源管理单元基于所述多个子系统的传感器资源信息,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
3.根据权利要求2所述的信息处理设备,其中
传感器资源管理单元基于传感器资源信息,在所述多个子系统的各个传感器之间,将感测结果可替换的传感器设定为传感器对,并且对于每个传感器对生成指示感测结果可替换的可替换图谱,以及
基于可替换图谱,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
4.根据权利要求3所述的信息处理设备,其中
传感器资源信息包括每个传感器的传感器类型、数据类型、安装位置、感测区域和测量特性,以及
传感器资源管理单元基于传感器资源信息,根据传感器类型、数据类型、安装位置、感测区域和测量特性是否相同或相似,将感测结果可替换的传感器设定为传感器对,并且生成指示在设定的传感器对的传感器之间感测结果可替换的可替换图谱。
5.根据权利要求4所述的信息处理设备,其中
传感器资源管理单元生成包括传感器资源信息中的传感器的传感器类型、数据类型、安装位置、感测区域和测量特性的传感器资源管理表,以及
基于传感器资源管理表设定传感器对,并且对于每个设定的传感器对生成可替换图谱。
6.根据权利要求5所述的信息处理设备,其中
可替换图谱是指定要作为可替换的感测结果的转送源的传感器以及要作为使用从转送源转送的感测结果作为可替换的感测结果并且执行与自动驾驶相关的预定处理的转送目的地的处理单元的图类型数据。
7.根据权利要求1所述的信息处理设备,还包括:
感测结果存储单元,所述感测结果存储单元存储通过自动驾驶的行驶期间的所述多个子系统的各传感器的感测结果;以及
相关分析单元,所述相关分析单元分析存储在感测结果存储单元中的传感器之间的感测结果的相关性,其中
传感器资源管理单元基于作为相关分析单元的分析结果的相关性,将感测结果可替换的传感器设定为传感器对,并且对于每个设定的传感器对生成指示感测结果可替换的可替换图谱,以及
基于可替换图谱,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
8.根据权利要求7所述的信息处理设备,其中
传感器资源管理单元将由相关分析单元分析出的相关性高于预定阈值的传感器设定为感测结果可替换的传感器对,并且对于每个设定的传感器对生成指示感测结果可替换的可替换图谱。
9.根据权利要求7所述的信息处理设备,其中
相关分析单元基于存储在感测结果存储单元中的传感器之间的感测结果的相似度或相关系数来分析相关性。
10.根据权利要求7所述的信息处理设备,还包括:
失灵检测单元,所述失灵检测单元分析在可替换图谱中感测结果可替换的传感器对的、存储在感测结果存储单元中的感测结果的相关性,并且基于作为分析结果的相关性来检测被设定为传感器对的传感器的失灵。
11.根据权利要求10所述的信息处理设备,其中
失灵检测单元检测作为分析结果的相关性低于预定阈值的、被设定为传感器对的传感器中的至少一个的失灵。
12.根据权利要求10所述的信息处理设备,其中
失灵检测单元基于在可替换图谱中感测结果可替换的传感器对的、存储在感测结果存储单元中的感测结果的相似度或相关系数来分析相关性,并且基于作为分析结果的相关性来检测被设定为传感器对的传感器的失灵。
13.根据权利要求1所述的信息处理设备,其中
当检测到传感器的失灵时,第一子系统中的处理单元请求传感器资源管理单元将与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统的传感器的感测结果转送到第一子系统,以及
传感器资源管理单元响应于来自第一子系统的处理单元的请求,使得第二子系统将传感器的感测结果转送到第一子系统。
14.根据权利要求13所述的信息处理设备,其中
传感器资源管理单元响应于来自第一子系统的处理单元的请求,请求第二子系统将传感器的感测结果转送到第一子系统,以及
第二子系统中的处理单元响应于来自传感器资源管理单元的请求,将传感器的感测结果转送到第一子系统。
15.一种用于信息处理设备的信息处理方法,所述信息处理设备包括:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统,所述信息处理方法包括:
通过传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
16.一种程序,所述程序用于使计算机用作:
多个子系统,每个子系统包括:
检测与自动驾驶的控制相关的感测结果的传感器,以及
基于由传感器检测的感测结果执行与自动驾驶相关的预定处理的处理单元;以及
传感器资源管理单元,在在所述多个子系统中的第一子系统中检测到传感器的失灵的情况下,所述传感器资源管理单元使得与第一子系统不同并且包括检测可替换第一子系统的传感器的感测结果的感测结果的传感器的第二子系统将传感器的感测结果转送到第一子系统。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021169342 | 2021-10-15 | ||
JP2021-169342 | 2021-10-15 | ||
PCT/JP2022/037377 WO2023063199A1 (ja) | 2021-10-15 | 2022-10-06 | 情報処理装置、および情報処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118103270A true CN118103270A (zh) | 2024-05-28 |
Family
ID=85988643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280068116.1A Pending CN118103270A (zh) | 2021-10-15 | 2022-10-06 | 信息处理设备、信息处理方法和程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240326839A1 (zh) |
EP (1) | EP4418063A1 (zh) |
CN (1) | CN118103270A (zh) |
WO (1) | WO2023063199A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3898264B2 (ja) | 1997-02-21 | 2007-03-28 | 本田技研工業株式会社 | 車両用ネットワークシステム |
JP2011161956A (ja) * | 2010-02-04 | 2011-08-25 | Honda Motor Co Ltd | 中央制御装置 |
DE102016215213A1 (de) * | 2016-08-16 | 2018-02-22 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung, Steuergerät, Verfahren, Fahrzeug und Computerprogramm zum Bestimmen von Information über einen Ersatzwert für einen Sensorwert |
CN112437735B (zh) * | 2018-07-16 | 2024-06-18 | 日产自动车株式会社 | 驾驶辅助车辆的控制方法以及控制系统 |
JP7198056B2 (ja) * | 2018-11-19 | 2022-12-28 | 日立Astemo株式会社 | 車両制御装置及び車両制御方法 |
JP6838124B2 (ja) * | 2019-11-29 | 2021-03-03 | 株式会社日立製作所 | 自動運転制御システム |
-
2022
- 2022-10-06 US US18/699,384 patent/US20240326839A1/en active Pending
- 2022-10-06 CN CN202280068116.1A patent/CN118103270A/zh active Pending
- 2022-10-06 WO PCT/JP2022/037377 patent/WO2023063199A1/ja active Application Filing
- 2022-10-06 EP EP22880894.5A patent/EP4418063A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023063199A1 (ja) | 2023-04-20 |
US20240326839A1 (en) | 2024-10-03 |
EP4418063A1 (en) | 2024-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111201787B (zh) | 成像装置、图像处理装置和图像处理方法 | |
US20210027486A1 (en) | Controller, control method, and program | |
CN114424265B (zh) | 信号处理设备、信号处理方法、程序和移动设备 | |
US20230289980A1 (en) | Learning model generation method, information processing device, and information processing system | |
US20240054793A1 (en) | Information processing device, information processing method, and program | |
JP2022098397A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US12118450B2 (en) | Information processing apparatus, information processing method, and program | |
JP7548224B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20230418586A1 (en) | Information processing device, information processing method, and information processing system | |
US20230251846A1 (en) | Information processing apparatus, information processing method, information processing system, and program | |
CN118525258A (zh) | 信息处理装置、信息处理方法、信息处理程序和移动装置 | |
EP4418063A1 (en) | Information processing device, information processing method, and program | |
WO2022259621A1 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム | |
JP2022028989A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20240160467A1 (en) | Information processing system, information processing method, program, and cluster system | |
WO2022004446A1 (ja) | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム | |
WO2022004447A1 (ja) | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム | |
WO2022024569A1 (ja) | 情報処理装置と情報処理方法およびプログラム | |
WO2023074419A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
WO2023149089A1 (ja) | 学習装置、学習方法及び学習プログラム | |
WO2024024471A1 (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
CN117999587A (zh) | 识别处理设备、识别处理方法和识别处理系统 | |
CN117651981A (zh) | 信息处理装置、信息处理方法以及程序 | |
CN117980846A (zh) | 移动控制系统、移动控制方法、移动控制设备和信息处理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |