CN114746321A - 信息处理装置、信息处理系统、信息处理方法及程序 - Google Patents

信息处理装置、信息处理系统、信息处理方法及程序 Download PDF

Info

Publication number
CN114746321A
CN114746321A CN202080082626.5A CN202080082626A CN114746321A CN 114746321 A CN114746321 A CN 114746321A CN 202080082626 A CN202080082626 A CN 202080082626A CN 114746321 A CN114746321 A CN 114746321A
Authority
CN
China
Prior art keywords
information
roi
target object
sensor
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080082626.5A
Other languages
English (en)
Inventor
铃木祐介
小山隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114746321A publication Critical patent/CN114746321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

[问题]提供一种使得有可能快速且准确地识别对象物体的技术。[解决手段]根据本技术的信息处理装置包括控制部。控制部根据由基于事件的传感器检测到的事件信息来识别对象物体，并且将识别的结果发送到传感器装置，该传感器装置包括能够获取关于对象物体的信息的传感器部。

Description

信息处理装置、信息处理系统、信息处理方法及程序
技术领域
本技术涉及用于识别对象物体以例如控制自动驾驶的技术。
背景技术
汽车的自动驾驶的级别分为级别0至级别5这六个阶段，并且预期汽车从级别0的手动驾驶到级别5的全自动驾驶分阶段发展。直到级别2的部分自动驾驶的技术已经投入实际应用，并且下一阶段的级别3的有条件自动驾驶正在投入实际应用。
在自动驾驶控制中，需要识别本车周围的环境(诸如另一个车辆、人、交通灯和交通标志)。诸如相机、光检测和测距(激光雷达)、毫米波雷达和超声波传感器之类的各种传感器被用于对本车周围的环境执行感测。
以下所示的专利文献1公开了一种用于使用基于事件的(视觉)传感器来监视车辆打算在其上行驶的路面的技术。基于事件的传感器是可以检测每个像素的亮度改变的传感器。在一部分中发生亮度改变的定时，基于事件的传感器只能输出关于该部分的信息。
在此，以固定帧速率输出整体图像的普通图像传感器也被称为基于帧的传感器，与基于帧的传感器相比，上述类型的传感器被称为基于事件的传感器。基于事件的传感器将亮度的改变作为事件来捕获。
引文列表
专利文献
专利文献1：日本专利申请特许公开No.2013-79937
发明内容
技术问题
在这种领域中，需要使得有可能快速且准确地识别对象物体的技术。
鉴于上述情形，本技术的目的是提供一种使得有可能快速且准确地识别对象物体的技术。
问题的解决方案
根据本技术的信息处理装置包括控制器。
该控制器根据由基于事件的传感器检测到的事件信息来识别对象物体，并将识别的结果发送到传感器装置，该传感器装置包括能够获取关于对象物体的信息的传感器部。
因此，例如，通过从传感器装置获取关于与对象物体对应的部分的信息，可以快速且准确地识别使用事件信息识别出的对象物体。
在信息处理装置中，控制器可以识别对象物体，可以指定与对象物体对应的感兴趣区域(ROI)位置，并且可以将ROI位置作为识别的结果发送到传感器装置。
在信息处理装置中，传感器装置可以从由传感器部获取的信息中切出与ROI位置对应的ROI信息，并且可以将ROI信息发送到信息处理装置。
在信息处理装置中，控制器可以基于从传感器装置获取的ROI信息来识别对象物体。
在信息处理装置中，控制器可以基于关于基于ROI信息识别出的对象物体的信息来设计自动驾驶计划。
在信息处理装置中，控制器可以基于关于基于事件信息识别出的对象物体的信息来设计自动驾驶计划。
在信息处理装置中，控制器可以判定自动驾驶计划是否仅基于关于基于事件信息识别出的对象物体的信息是可设计的。
在信息处理装置中，当控制器已经判定自动驾驶计划不可设计时，控制器可以获取ROI信息，并且可以基于关于基于ROI信息识别出的对象物体的信息来设计自动驾驶计划。
在信息处理装置中，当控制器已经判定自动驾驶计划是可设计的时，控制器可以在不获取ROI信息的情况下基于关于基于事件信息识别出的对象物体的信息来设计自动驾驶计划。
在信息处理装置中，传感器部可以包括能够获取对象物体的图像的图像传感器，并且ROI信息可以是ROI图像。
在信息处理装置中，传感器部可以包括补充传感器，该补充传感器能够获取补充信息，补充信息是关于控制器使用事件信息未识别出的对象物体的信息。
在信息处理装置中，控制器可以从传感器装置获取补充信息，并且基于补充信息，控制器可以识别使用事件信息未识别出的对象物体。
在信息处理装置中，控制器可以基于关于基于补充信息识别出的对象物体的信息来设计自动驾驶计划。
在信息处理装置中，控制器可以获取关于移动体的移动的信息，该移动是自动驾驶计划的目标，并且基于关于移动的信息，控制器可以改变基于补充信息识别对象物体的周期。
在信息处理装置中，控制器可以使周期随着移动体的移动变得更慢而更短。
在信息处理装置中，传感器装置可以基于ROI信息中的对象物体的偏移量来修改ROI信息的切出位置。
根据本技术的信息处理系统包括信息处理装置和传感器装置。信息处理装置包括控制器。控制器基于由基于事件的传感器检测到的事件信息来识别对象物体，并且将识别的结果发送到传感器装置，该传感器装置包括能够获取关于对象物体的信息的传感器部。
根据本技术的信息处理方法包括基于由基于事件的传感器检测到的事件信息来识别对象物体；并将识别的结果发送到传感器装置，该传感器装置包括能够获取关于对象物体的信息的传感器部。
根据本技术的程序使计算机执行处理，包括基于由基于事件的传感器检测到的事件信息来识别对象物体；并将识别的结果发送到传感器装置，该传感器装置包括能够获取关于对象物体的信息的传感器部。
附图说明
图1图示了根据本技术的第一实施例的自动驾驶控制系统。
图2是图示自动驾驶控制系统的内部配置的框图。
图3图示了包括DVS的车辆在普通道路上行驶的状态。
图4图示了由DVS获取的关于前方车辆的边缘的信息。
图5图示了由图像传感器获取的前方车辆的图像。
图6是图示由自动驾驶控制装置的控制器执行的处理的流程图。
图7是图示由传感器装置的控制器执行的处理的流程图。
图8图示了生成识别模型的状态。
图9图示了自动驾驶控制系统中特定块配置的示例。
图10图示了自动驾驶控制系统中特定块配置的另一个示例。
具体实施方式
下面将参考附图描述根据本技术的实施例。
<<第一实施例>>
<整体配置和每个结构要素的配置>
图1图示了根据本技术的第一实施例的自动驾驶控制系统100。图2是图示自动驾驶控制系统100的内部配置的框图。
在第一实施例中描述自动驾驶控制系统100(信息处理系统)被包括在汽车中以控制汽车的驾驶的示例。注意的是，包括自动驾驶控制系统100的移动体(无论该移动体是有人操纵还是无人操纵)不限于汽车，并且可以是例如摩托车、火车、飞机或直升机。
如图1和2中所示，根据第一实施例的自动驾驶控制系统100包括动态视觉传感器(DVS)10、传感器装置40、自动驾驶控制装置(信息处理装置)30，以及自动驾驶执行装置20。自动驾驶控制装置30可以与DVS 10、传感器装置40、自动驾驶执行装置20有线或无线地通信。
[DVS]
DVS 10是基于事件的传感器。DVS 10可以针对每个像素检测入射光的亮度的改变。在与像素对应的部分中发生亮度改变的定时，DVS 10可以输出坐标信息和对应的时间信息，坐标信息是关于表示该部分的坐标的信息。DVS 10以微秒级生成包括与亮度改变相关的坐标信息的时序数据，并将该数据发送到自动驾驶控制装置30。注意的是，由DVS 10获取并包括与亮度改变相关的坐标信息的时序数据在下文中简称为事件信息。
由于DVS 10仅输出关于其中存在亮度改变的部分的信息，因此与基于帧的普通图像传感器的情况相比，数据量更小并且输出速度更高(微秒级)。另外，DVS 10执行对数标度输出，并具有宽动态范围。因此，DVS 10可以在背光的明亮状态下检测亮度的改变而不会发生高光溢出，反之，也可以适当地检测在黑暗状态下亮度的改变。
[从DVS获取的事件信息的示例]
(当本车行驶时)
在此，描述当DVS 10被包括在车辆中时从DVS 10获取什么样的事件信息。图3图示了包括DVS 10的车辆在普通道路上行驶的状态。
在图3中所示的示例中，包括DVS 10(自动驾驶控制系统100)的车辆1(下文中称为本车1)正在左车道行驶，而另一个车辆2(下文中称为前方车辆2)正在同一车道中在本车1的前方行驶。另外，在图3中所示的示例中，另一个车辆3(下文中称为对面车辆3)从本车1的前进方向朝着本车1在相反车道上行驶。另外，在图3中，例如有交通灯4、交通标志5、行人6、人行横道7、以及用于标记车道之间的边界的分区线8。
由于DVS 10可以检测亮度的改变，因此在本车1(DVS 10)和对象物体之间存在速度差的对象物体的边缘本质上可以被检测为事件信息。在图3中所示的示例中，本车1与前方车辆2、对面车辆3、交通灯4、交通标志5、行人6、人行横道7分别存在速度差。因此，这些对象物体的边缘被DVS 10检测为事件信息。
图4图示了由DVS 10获取的关于前方车辆2的边缘的信息。图5图示了由图像传感器获取的前方车辆2的图像的示例。
在图3中所示的示例中，图4中所示的前方车辆2的边缘，以及例如对面车辆3、交通灯4、交通标志5、行人6和人行横道7的边缘被DVS 10检测为事件信息。
另外，DVS 10可以检测其亮度由于例如光的发射而改变的对象物体，而不管本车1(DVS 10)与对象物体之间是否存在速度差。例如，在交通灯4中开启的灯部分4a在人无法识别闪烁的时段内持续闪烁。因此，DVS 10可以将在交通灯4中开启的灯部分4a检测为其中存在亮度改变的部分，而不管本车1与灯部分4a之间是否存在速度差。
另一方面，即使本车1(DVS 10)与对象物体之间存在速度差，也存在例外地不作为其中存在亮度改变的部分被捕获的对象物体。存在DVS 10可能无法检测到这种对象物体的可能性。
例如，当存在直线分区线8时，如图3中所示，以及当本车1与分区线8平行行驶时，分区线8的外观没有改变，因此，从本车1观察，分区线8的亮度没有改变。因此，在这种情况下，存在分区线8不会被DVS 10检测为其中存在亮度改变的部分的可能性。注意的是，当分区线8与本车1的行驶方向不平行时，DVS 10可以照常检测分区线8。
例如，即使本车1与分区线8之间存在速度差，也存在例如无法将分区线8检测为其中存在亮度改变的部分的可能性。因此，在第一实施例中，关于DVS 10未检测到的这种对象物体，基于由稍后描述的补充传感器获取的补充信息来执行补充。
(当本车停止时)
接下来，例如，在图3中假设本车1停止以等待交通灯改变。在这种情况下，本车1与对象物体之间存在速度差的对象物体(即，对面车辆3和行人6(当他/她正在移动时)的边缘)被DVS 10检测为事件信息。另外，无论本车1与灯部分4a之间是否存在速度差，DVS 10都将在交通灯4中开启的灯部分4a检测为事件信息。
另一方面，关于由于本车1停止而在本车1(DVS 10)与对象物体之间没有速度差的对象物体，存在不会检测到对象物体的边缘的可能性。例如，当与本车1类似地前方车辆2停止以等待交通灯改变的情况下，检测不到前方车辆2的边缘。另外，交通灯4和交通标志5的边缘也没有被检测到。
注意的是，在第一实施例中，基于由稍后描述的补充传感器获取的关于DVS 10未检测到的对象物体的补充信息来执行补充。
[自动驾驶控制装置30]
再次参考图2，自动驾驶控制装置30包括控制器31。控制器31基于存储在存储装置(未示出)中的各种程序执行各种计算，并且对自动驾驶控制装置30执行总体控制。该存储装置中存储自动驾驶控制装置30的控制器31执行的处理所必需的各种程序和各种数据。
自动驾驶控制装置30的控制器31通过硬件或者硬件和软件的组合来实现。硬件被配置为控制器31的一部分或全部，并且硬件的示例包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)，以及它们中的两个或更多个的组合。注意的是，这同样适用于稍后将描述的传感器装置40的控制器41。
例如，自动驾驶控制装置30的控制器31使用DVS 10执行识别对象物体的处理，执行指定与使用DVS 10识别出的对象物体对应的感兴趣区域(ROI)位置的处理，并请求获取与ROI位置对应的ROI图像。另外，例如，自动驾驶控制装置30的控制器31执行基于ROI图像识别对象物体的处理、基于基于ROI图像识别出的对象物体设计驾驶计划的处理，以及基于设计的驾驶计划生成操作控制数据的处理。
注意的是，由自动驾驶控制装置30的控制器31执行的处理将在稍后描述操作时详细描述。
[传感器装置40]
传感器装置40包括控制器41和传感器单元42(传感器部)。传感器单元42可以获取设计驾驶计划所必需的关于对象物体的信息。传感器单元42包括除DVS 10以外的传感器，并且具体而言，传感器单元42包括图像传感器43、激光雷达44、毫米波雷达45和超声传感器46。
传感器装置40的控制器41基于存储在存储装置(未示出)中的各种程序执行各种计算，并且对传感器装置40执行整体控制。存储装置中存储传感器装置40的控制器41执行的处理所必需的各种程序和各种数据。
例如，传感器装置40的控制器41执行从由图像传感器43获取的整体图像中切出与ROI位置对应的部分的ROI切出处理，以及修改ROI切出位置的修改处理。
注意的是，由传感器装置40的控制器41执行的处理将在稍后描述操作时详细描述。
图像传感器43包括诸如电荷耦合器件(CCD)传感器和补充金属氧化物半导体(CMOS)传感器之类的成像设备，以及诸如图像形成透镜之类的光学系统。图像传感器43是以特定帧速率输出整体图像的基于帧的传感器。
激光雷达44包括以脉冲的形式发射激光的光发射部，以及可以接收从对象物体反射的波的光接收部。激光雷达44测量从由光发射部发射激光到激光被对象物体反射以被光接收部接收的时间。相应地，激光雷达44例如可以检测到对象物体的距离和对象物体的朝向。激光雷达44可以以三维点组中的点的形式记录脉动激光的反射方向和距离，并且可以以三维点组的形式获取本车1周围的环境作为信息。
毫米波雷达45包括可以发射其波长是毫米级的毫米波(电磁波)的发射天线，以及可以接收从对象物体反射的波的接收天线。例如，毫米波雷达45可以基于由发射天线发射以由接收天线接收的毫米波与从对象物体反射的毫米波之间的差异来检测到对象物体的距离和对象物体的朝向。
超声传感器46包括可以发射超声波的发射器，以及可以接收从对象物体反射的波的接收器。超声传感器46测量从由发射器发射超声波到超声波从对象物体反射以被接收器接收的时间。相应地，超声传感器46可以例如检测到对象物体的距离和对象物体的朝向。
作为传感器单元42中的四个传感器43、44、45和46以及DVS 10这五个传感器使用例如诸如精确时间协议(PTP)之类的协议以微秒级彼此同步。
由图像传感器43捕获的整体图像被输出到传感器装置40的控制器41。另外，由图像传感器43捕获的整体图像作为传感器信息被发送到自动驾驶控制装置。同样，由激光雷达44、毫米波雷达45和超声传感器46获取的信息作为传感器信息被输出到自动驾驶控制装置30。
由四个传感器43、44、45和46中的每一个获取的传感器信息是用于识别使用由DVS10获取的事件信息未识别出的对象物体的信息。从这个意义上说，由每个传感器获取的传感器信息是补充信息。
在本文的描述中，获取ROI切出目标(ROI-cutout-target)信息的传感器被称为ROI目标传感器。另外，获取用于识别使用由DVS 10获取的事件信息未识别出的对象物体的信息(补充信息)的传感器被称为补充传感器。
在第一实施例中，图像传感器43是ROI目标传感器，因为图像传感器43获取与ROI切出目标对应的图像信息。另外，图像传感器43也是补充传感器，因为图像传感器43获取作为补充信息的图像信息。换句话说，图像传感器43用作ROI目标传感器和补充传感器。
另外，在第一实施例中，激光雷达44、毫米波雷达45和超声传感器46是补充传感器，因为激光雷达44、毫米波雷达45和超声传感器46各自获取作为补充信息的传感器信息。
注意的是，ROI目标传感器不限于图像传感器43。例如，代替图像传感器43，激光雷达44、毫米波雷达45或超声传感器46可以用作ROI目标传感器。在这种情况下，可以对由激光雷达44、毫米波雷达45或超声传感器46获取的信息执行ROI切出处理以获取ROI信息。
图像传感器43、激光雷达44、毫米波雷达45和超声传感器46这四个传感器中的至少两个可以用作ROI目标传感器。
在第一实施例中，图像传感器43、激光雷达44、毫米波雷达45和超声传感器46这四个传感器用作补充传感器，并且通常，如果四个传感器中的至少一个用作补充传感器就足够了。注意的是，四个传感器中的至少两个可以用作ROI目标传感器和补充传感器。
[自动驾驶执行装置20]
基于来自自动驾驶控制装置30的操作控制数据，自动驾驶执行装置20通过控制例如加速器机构、制动机构和转向机构来执行自动驾驶。
<操作的描述>
接下来，描述由自动驾驶控制装置30的控制器31执行的处理，以及由传感器装置40的控制器41执行的处理。图6是图示由自动驾驶控制装置30的控制器31执行的处理的流程图。图7是图示由传感器装置40的控制器41的处理的流程图。
参考图6，首先，自动驾驶控制装置30的控制器31从DVS 10获取事件信息(包括与亮度改变相关的坐标信息的时间序列数据：例如，关于图4中所示的边缘的信息)(步骤101)。接下来，自动驾驶控制装置30的控制器31基于事件信息来识别设计驾驶计划所必需的对象物体(步骤102)。设计驾驶计划所必需的对象物体的示例包括前方车辆2、对面车辆3、交通灯4(包括灯部分4a)、交通标志5、行人6、人行横道7和分区线8。
在此，例如，当本车1(DVS 10)与前方车辆2、对面车辆3、交通灯4、行人6、人行横道7、分区线8中的每一个之间存在速度差时，自动驾驶的控制器31实质上可以基于来自DVS的事件信息识别前方车辆2、对面车辆3、交通灯4、行人6、人行横道7和分区线8。另一方面，例如，存在即使本车1(DVS 10)与分区线8之间存在速度差，自动驾驶控制装置30的控制器31也例外地没有基于来自DVS 10的事件信息识别出分区线8的可能性。注意的是，自动驾驶控制装置30的控制器31可以基于来自DVS 10的事件信息识别在交通灯4中开启的灯部分4a，而不管本车1(DVS 10)与灯部分4a之间是否存在速度差。
在步骤102中，自动驾驶控制装置30的控制器31通过将对象物体与预先存储的第一识别模型进行比较来识别对象物体。图8图示了生成识别模型的状态。
如图8中所示，首先，提供用于设计驾驶计划所必需的对象物体的训练数据。基于当使用DVS 10捕获对象物体的图像时获得的事件信息的训练数据被用作用于对象物体的训练数据。例如，通过创建关于在时间轴上执行的移动的信息库获得的数据被用作训练数据，关于移动的信息被包括在包括与对象物体的亮度改变相关的坐标信息(诸如边缘)的时间序列数据中。使用训练数据，通过使用例如神经网络的机器学习来执行学习，并且生成第一识别模型。
在基于来自DVS 10的事件信息识别出设计驾驶计划所必需的对象物体之后，自动驾驶控制装置30的控制器31判定驾驶计划是否是可设计的，而不获取ROI图像，仅使用关于基于来自DVS 10的事件信息识别出的对象物体的信息(步骤103)。
例如，当在图2中前方车辆2由于突然制动而可能与本车1发生碰撞时，自动驾驶控制装置30的控制器31从事件信息中获知前方车辆2很可能与本车1发生碰撞(因为指示前方车辆2的边缘正在接近本车1)。
另外，例如，当图2中的行人6可能跑到本车1的前面时，自动驾驶控制装置30的控制器31可以从事件信息中获知行人6很可能跑到本车1的前面(因为指示行人6的边缘即将在本车1前面横穿)。
例如，在这样的紧急情况下，自动驾驶控制装置30的控制器31判定驾驶计划是可设计的，而无需获取ROI图像，仅使用关于基于来自DVS 10的事件信息识别出的对象物体的信息(步骤103中的“是”)
在这种情况下，自动驾驶控制装置30的控制器31不向传感器装置40发送ROI图像获取请求，并且仅使用关于由DVS 10识别出的对象物体的信息来设计自动驾驶计划(步骤110)。然后，自动驾驶控制装置30的控制器31基于自动驾驶计划生成与所设计的自动驾驶计划一致的操作控制数据(步骤111)，并将生成的操作控制数据发送到自动驾驶执行装置20(步骤112)。
在此，如上所述，事件信息由DVS 10以高速输出，并且事件信息的数据量小。因此，例如，与全局分析来自图像传感器43的整体图像以识别对象物体时相比，识别对象物体花费更短的时间。因此，例如在上述紧急情况下，通过仅使用关于基于事件信息识别出的对象物体的信息快速设计驾驶计划，可以避免紧急事件。
当在步骤103中已经判定自动驾驶计划不能仅使用关于基于来自DVS 10的事件信息识别出的对象物体的信息来设计时(步骤103中的“否”)，自动驾驶控制装置30的控制器31移动到步骤104，该步骤在步骤103之后。注意的是，除上述紧急情况外，通常判定自动驾驶计划是不可设计的。
在步骤104中，自动驾驶控制装置30的控制器31将来自DVS 10的事件信息中包括的坐标位置中并且与对象物体对应的特定区域指定为ROI位置。被指定为对应对象物体的ROI的数量可以是一个，或者是两个或更多个。例如，当存在一个基于来自DVS 10的事件信息识别出的对象物体时，与对象物体的数量对应地也存在一个ROI位置。当存在两个或更多个基于来自DVS 10的事件信息识别出的对象物体时，与对象物体的数量对应地也存在两个或更多个ROI位置。
接下来，自动驾驶控制装置30的控制器31向传感器装置40发送包括关于ROI位置的信息的ROI图像获取请求(步骤105)。
参考图7，传感器装置40的控制器41判定是否已经从自动驾驶控制装置30接收到ROI图像获取请求(步骤201)。当传感器装置40的控制器41判定没有接收到ROI图像获取请求时(步骤201中的“否”)，传感器装置40的控制器41再次判定是否已经从自动驾驶控制装置30接收到ROI图像获取请求。换句话说，传感器装置40的控制器41等待接收ROI图像获取请求。
当传感器装置40的控制器41已经判定已经从自动驾驶控制装置30接收到ROI图像获取请求时(步骤201中的“是”)，传感器装置40的控制器41获取来自图像传感器43的整体图像(步骤202)。接下来，传感器装置40的控制器41选择包括在ROI图像获取请求中的ROI位置之一(步骤203)。
接下来，传感器装置40的控制器41在整体图像中设置用于ROI图像的切出位置(步骤204)，并从整体图像中切出与ROI位置对应的ROI图像(步骤205)。
接下来，传感器装置40的控制器41分析ROI图像以判定对象物体在ROI图像中的偏移量(步骤206)。换句话说，传感器装置40的控制器41判定对象物体是否正确地位于ROI图像内。
接下来，传感器装置40的控制器41判定偏移量是否小于或等于指定阈值(步骤207)。当传感器装置40的控制器41判定偏移量大于指定阈值时(步骤207中的“否”)，传感器装置40的控制器根据偏移量修改ROI切出位置(步骤208)。然后，传感器装置40的控制器41与修改后的ROI切出位置对应地再次从整体图像中切出ROI图像。
当传感器装置40的控制器41在步骤207中判定偏移量小于或等于指定阈值时(步骤207中的“是”)，传感器装置40的控制器41判定是否还有尚未切出ROI图像的另一个ROI位置(步骤209)。当传感器装置40的控制器41已经判定还有另一个ROI位置时(步骤209中的“是”)，传感器装置40的控制器41返回到步骤203，选择剩余的ROI位置之一，并从整体图像中切出与所选择的ROI位置对应的ROI图像。
注意的是，如从本文的描述可以看出的，ROI图像(ROI信息)是从由图像传感器43获取的整体图像中作为与ROI位置对应的部分被切出的部分图像。
例如，假设当例如前方车辆2、对面车辆3、交通灯4(包括灯部分4a)、交通标志5、行人6、人行横道7和分区线8基于来自DVS 10的事件信息被识别为对象物体时，分别与对象物体对应的位置被判定为ROI位置。在这种情况下，分别与例如前方车辆2、对面车辆3、交通灯4(包括灯部分4a)、交通标志5、行人6、人行横道7和分区线8对应的部分从由图像传感器43获取的整体图像中被切出，并生成相应的ROI图像。注意的是，一个ROI图像与一个对象物体(一个ROI位置)对应。
注意的是，传感器装置40的控制器41不仅可以判定ROI图像中的对象物体的偏移量，而且还可以判定当通过图像传感器43捕获从其生成ROI图像的图像时执行的曝光的量。在这种情况下，传感器装置40的控制器41分析ROI图像以判定在捕获从其生成ROI图像的图像时执行的曝光的量是否在适当范围内。当传感器装置40的控制器41已经判定曝光量不在适当范围内时，传感器装置40的控制器41生成用于修改曝光量的关于曝光量的信息，并且调整关于图像传感器43执行的曝光的量。
当传感器装置40的控制器41在步骤209中判定分别与所有ROI位置对应的ROI图像都被切出时(步骤209中的“否”)，传感器装置40的控制器41判定是否存在多个生成的ROI图像(步骤210)。当传感器装置40的控制器41判定存在多个ROI图像时(步骤210中的“否”)，传感器装置40的控制器41生成ROI相关信息(步骤211)，并移动到步骤212，步骤212在步骤211之后。
描述ROI相关信息。当存在多个ROI图像时，将多个ROI图像的ROI图像组合以便以单个组合图像的形式发送到自动驾驶控制装置30。ROI相关信息是用于识别单个组合图像的哪些部分与哪些ROI图像对应的信息。
当传感器装置40的控制器41在步骤210中判定存在单个ROI图像时(步骤210中的“否”)，传感器装置40的控制器41不生成ROI相关数据，并且移动到步骤212。
在步骤212中，传感器装置40的控制器41对ROI图像执行图像处理。执行图像处理以使自动驾驶控制装置30的控制器31能够在稍后描述的步骤109中准确地识别对象物体(参见图6)。
图像处理的示例包括数字增益处理、白平衡、查找表(LUT)处理、颜色矩阵转换、缺陷校正、拍摄校正、去噪、伽马校正和去马赛克(例如，从由成像设备输出的拜耳布置返回到RGB布置)。
在对ROI图像执行图像处理之后，传感器装置40的控制器41将ROI图像信息发送到自动驾驶控制装置30(步骤213)。注意的是，当存在单个ROI图像时，传感器装置40的控制器41将单个ROI图像作为ROI图像信息发送到自动驾驶控制装置30。另一方面，当存在多个ROI图像时，传感器装置40的控制器41将多个ROI图像的ROI图像组合以获得单个组合图像，并将单个组合图像作为ROI图像信息发送给自动驾驶控制装置30。在这种情况下，ROI相关信息包括在ROI图像信息中。
当传感器装置40的控制器41将ROI图像信息发送到自动驾驶控制装置30时，传感器装置40的控制器41返回到步骤201，并判定是否已经从自动驾驶控制装置30接收到ROI图像获取请求。
再次参考图6，在向传感器装置40发送ROI图像获取请求之后，自动驾驶控制装置30的控制器31判定是否已经从传感器装置40接收到ROI图像信息(步骤106)。
当自动驾驶控制装置30的控制器31已经判定还没有接收到ROI图像信息时(步骤106中的“否”)，自动驾驶控制装置30的控制器31再次判定是否已经接收到ROI图像信息。换句话说，自动驾驶控制装置30的控制器31在作出ROI图像获取请求之后等待接收ROI图像信息。
当自动驾驶控制装置30的控制器31已经判定已经接收到ROI图像信息时(步骤106中的“是”)，自动驾驶控制装置30的控制器31判定接收到的ROI图像信息是否是通过组合多个ROI图像的ROI图像获得的组合图像(步骤107)。
当自动驾驶控制装置30的控制器31已经判定接收到的ROI图像信息是通过组合多个ROI图像的ROI图像获得的组合图像时(步骤107中的“是”)，自动驾驶控制装置30的控制器31基于RO移动到步骤109，步骤109在步骤108之后。另一方面，当自动驾驶控制装置30的控制器31已经判定接收到的ROI图像信息是单个ROI图像时(步骤107中的“否”)，自动驾驶控制装置30的控制器31不执行分离的处理，并且移动到步骤109。
在步骤109中，自动驾驶控制装置30的控制器31基于ROI图像识别设计驾驶计划所必需的对象物体。在这种情况下，通过将对象物体与预先存储的第二识别模型进行比较来执行识别对象物体的处理。
参考图8，第二识别模型本质上也是基于与第一识别模型的构思相似的构思而生成的。但是，在第一识别模型的情况下，基于当使用DVS 10捕获对象物体的图像时获得的事件信息的数据被用作训练数据，而在第二识别模型的情况下，基于当由图像传感器43捕获对象物体的图像时获得的图像信息的数据被用作训练数据，这与第一识别模型的情况不同。使用基于图像信息的上述训练数据，通过使用例如神经网络的机器学习来执行学习，并且生成第二识别模型。
当自动驾驶控制装置30的控制器31执行基于ROI图像识别对象物体的处理时，与基于事件信息识别对象物体时相比，这使得有可能更详细地识别对象物体。例如，控制器可以识别例如前方车辆2和对面车辆3中的每一个的车牌中的号码以及制动灯的颜色、交通灯4中的光部分4a的颜色、交通标志5上打出的字、行人6的面部的朝向，以及分区线8的颜色。
在基于ROI图像识别出对象物体之后，自动驾驶控制装置30的控制器31基于关于基于ROI图像识别出的对象物体的信息(以及关于基于事件信息识别出的对象物体的信息)设计自动驾驶计划(步骤110)。然后，自动驾驶控制装置30的控制器31基于自动驾驶计划生成与设计的自动驾驶计划一致的操作控制数据(步骤111)，并将生成的操作控制数据发送到自动驾驶执行装置20(步骤112)。
换句话说，本实施例采用通过基于来自DVS 10的事件信息指定与设计驾驶计划所必需的对象物体对应的ROI位置来获取ROI图像并基于获取的ROI图像识别对象物体的方法。
如上所述，代替整体图像，在本实施例中获取ROI图像以识别对象物体。因此，与每次获取整体图像的情况相比，本实施例具有数据量更小并且因此获取图像所花费的时间更短的优点。
另外，使用通过ROI处理减少数据量的ROI图像来识别对象物体。因此，与当全局分析整体图像以识别对象物体时相比，本实施例具有识别对象物体所花费的时间更短的优点。此外，本实施例还使得有可能准确地识别对象物体，因为对象物体是基于ROI图像识别的。换句话说，本实施例使得有可能快速且准确地识别对象物体。
在此，存在使用来自DVS 10的事件信息将无法识别本车1(DVS 10)与对象物体之间没有速度差的对象物体的可能性。因此，存在无法使用ROI图像识别这种对象物体的可能性。因此，在本实施例中，自动驾驶控制装置30的控制器31不仅基于ROI图像，而且还基于来自传感器装置40中的传感器单元42的补充信息来识别设计驾驶计划所必需的对象物体。
例如，与行驶中的本车1平行地延伸的分区线8，以及因本车1停止而不再作为其中存在亮度改变的部分被捕获的对象物体，基于来自传感器单元42的补充信息被自动驾驶控制装置30的控制器31识别出。
自动驾驶控制装置30的控制器31以指定的周期重复地执行一系列处理，包括指定事件信息中的ROI位置、获取ROI图像以及基于ROI图像识别设计驾驶计划所必需的对象物体，如上所述(图6的步骤101至109)。注意的是，这一系列处理在下文中被称为基于ROI图像的一系列识别处理。
另外，与基于ROI图像执行一系列识别处理并行，自动驾驶控制装置30的控制器31以指定周期重复地执行一系列处理，包括从传感器装置40获取补充信息，并基于补充信息识别设计驾驶计划所必需的对象物体。注意的是，这一系列处理在下文中被称为基于补充信息的一系列识别处理。
在基于补充信息的一系列识别处理中，自动驾驶控制装置30的控制器31通过全局分析来自传感器单元42中的四个传感器的相应补充信息来识别对象物体。因此，自动驾驶控制装置30的控制器31也可以适当地识别使用事件信息或ROI图像未识别出的对象物体。
在基于补充信息的一系列识别过程中，需要全局分析来自传感器的各条补充信息。因此，与分析ROI图像时相比，基于补充信息的一系列识别处理花费更长的时间。因此，以比执行基于ROI图像的一系列识别处理的周期长的周期来执行基于补充信息的一系列识别处理。以比执行基于ROI图像的一系列识别处理的周期长大约几倍的周期来执行基于补充信息的一系列识别处理。
例如，每次重复执行几次基于ROI图像的一系列识别处理时，执行一次基于补充信息的一系列识别处理。换句话说，当通过基于ROI图像的一系列识别处理(参见步骤109)基于ROI图像识别对象物体时，每次重复执行几次基于ROI图像的一系列识别处理时，基于补充信息识别一次对象物体。此时，使用关于基于ROI图像识别出的对象物体的信息和关于基于补充信息识别出的对象物体的信息(以及关于基于事件信息识别出的对象物体的信息)来设计自动驾驶计划(参见步骤110)。
在此，与本车1行驶时相比，当本车1停止时，本车1与对象物体之间没有速度差的情况更多。因此，与本车1行驶时相比，当本车1停止时，更难以在事件信息中识别对象物体。
因此，自动驾驶控制装置30的控制器31可以获取关于本车1的移动的信息，并且可以基于关于本车1的移动的信息来改变执行基于补充信息的一系列识别处理的周期。关于本车1的移动的信息可以关于速度计的信息和关于例如全球定位系统(GPS)的信息中获取。
在这种情况下，例如，可以使执行基于补充信息的一系列识别处理的周期随着本车1的移动变得更慢而变得更短。这使得例如有可能使用补充信息适当地将由于本车1的移动变慢而DVS 10未捕获的对象物体识别为其中存在亮度改变的部分。
注意的是，相反，执行基于补充信息的一系列识别处理的周期可以随着本车辆1的移动变得更快而变得更短。这是基于如果本车1移动得更快，那么将需要更准确地识别对象物体的构思。
<特定块配置：第一示例>
接下来，描述自动驾驶控制系统100中的特定块配置。图9图示了自动驾驶控制系统100中特定块配置的示例。
注意的是，在图9中，省略了图2中传感器单元42中的四个传感器中的激光雷达44、毫米波雷达45和超声传感器46，并且仅图示了图像传感器43。另外，在图9中，还省略了图2中传感器单元42中的传感器信息(补充信息)的流程，并且仅图示了ROI图像的流程。
如图9中所示，自动驾驶控制装置30包括对象物体识别部32、自动驾驶计划部33、操作控制器34、同步信号发生器35、图像数据接收器36和解码器37。
另外，传感器装置40包括传感器块47和信号处理块48。传感器块47包括图像传感器43、中央处理器49、ROI切出部50、ROI分析器51、编码器52和图像数据发送器53。信号处理块48包括中央处理器54、信息提取部55、ROI图像生成器56、图像分析器57、图像处理器58、图像数据接收器59、解码器60、编码器61和图像数据发送器62。
注意的是，图2中所示的自动驾驶控制装置30的控制器31与例如图9中所示的对象物体识别部32、自动驾驶计划部33、操作控制器34和同步信号发生器35对应。另外，图2中所示的传感器装置40的控制器41与例如图9中所示的传感器块47中的中央处理器49、ROI切出部50、ROI分析部51；以及图9中所示的信号处理块48中的中央处理器54、信息提取部55、ROI图像生成器56、图像分析器57和图像处理器58对应。
“自动驾驶控制装置”
首先，描述自动驾驶控制装置30。同步信号发生器35被配置为根据诸如精确时间协议(PTP)之类的协议生成同步信号，并将同步信号输出到DVS 10、图像传感器43、激光雷达44、毫米波雷达45和超声传感器46。相应地，包括DVS 10、图像传感器43、激光雷达44、毫米波雷达45和超声传感器46的五个传感器彼此同步，例如在微秒级。
对象物体识别部32被配置为从DVS 10获取事件信息，并基于事件信息识别设计驾驶计划所必需的对象物体(参考步骤101和102)。对象物体识别部32被配置为向自动驾驶计划部33输出关于基于事件信息识别出的对象物体的信息。
另外，对象物体识别部32被配置为在从传感器装置40接收到ROI图像信息之后判定ROI图像信息是否是组合图像，该组合图像是通过组合多个ROI图像的ROI图像获得的(参考步骤107)。对象物体识别部32被配置为在ROI图像信息是通过组合多个ROI图像的ROI图像而获得的组合图像时基于ROI相关信息将组合图像分离为相应的ROI图像(参考步骤108)。
另外，对象物体识别部32被配置为基于ROI图像识别设计自动驾驶计划所必需的对象物体(参考步骤109)。此外，对象物体识别部32被配置为向自动驾驶计划部33输出关于基于ROI图像识别出的对象物体的信息。
另外，对象物体识别部32被配置为基于由传感器装置40获取的补充信息识别设计自动驾驶计划所必需的对象物体。对象物体识别部32向自动驾驶计划部33输出关于基于补充信息识别出的对象物体的信息。
自动驾驶计划部33被配置为在获取关于基于事件信息识别出的对象物体的信息之后仅使用关于基于事件信息识别出的对象物体的信息来判定驾驶计划是否是可设计的，而无需获取ROI图像，关于基于事件信息识别出的对象物体的信息是从对象物体识别部32获取的(参考步骤103)。
自动驾驶计划部33被配置为当仅使用关于基于事件信息识别出的对象物体的信息可设计驾驶计划时仅使用这个信息设计自动驾驶计划(参考从步骤103中的“是”到步骤110的处理)。
另外，自动驾驶计划部33被配置为当仅使用这个信息不能设计驾驶计划时将特定区域指定为ROI位置，该特定区域来自包括在从DVS 10获取的事件信息中的坐标位置当中，并与对象物体对应(参考步骤104)。
另外，自动驾驶计划部33被配置为在指定ROI位置之后向传感器装置40发送ROI图像获取请求，该ROI图像获取请求包括关于ROI位置的信息(参考步骤105)。此外，自动驾驶计划部33被配置为向传感器装置40发送补充信息获取请求。
另外，自动驾驶计划部33被配置为在获取关于基于ROI图像识别出的对象物体的信息之后基于关于在ROI图像上识别出的对象物体的信息(和关于基于事件信息识别出的对象物体的信息)设计自动驾驶计划，关于基于ROI图像识别出的对象物体的信息是从对象物体识别部32获取的(参考步骤109和步骤110)。
另外，自动驾驶计划部33被配置为在获取关于基于补充信息识别出的对象物体的信息之后基于关于基于ROI图像识别出的对象物体的信息和关于基于补充信息识别出的对象物体的信息(以及关于基于事件信息识别出的对象物体的信息)来设计自动驾驶计划，关于基于补充信息识别出的对象物体的信息是从对象物体识别部32获取的。
另外，自动驾驶计划部33被配置为将设计好的自动驾驶计划输出到操作控制器34。
操作控制器34基于从自动驾驶计划部33获取的自动驾驶计划来生成与获取的自动驾驶计划一致的操作控制数据(步骤111)，并将生成的操作控制数据输出到自动驾驶执行装置20(步骤112)。
图像数据接收器被配置为接收从传感器装置40发送的ROI图像信息，并将接收到的信息输出到解码器。解码器被配置为对ROI图像信息进行解码，并将通过解码获得的信息输出到对象物体识别部32。
“传感器装置”
(传感器块)
接下来，描述传感器装置40的传感器块47。传感器块47的中央处理器49被配置为基于包括在从自动驾驶控制装置30发送的ROI获取请求中的关于ROI位置的信息来设置ROI切出位置(参考步骤204)。另外，传感器块47的中央处理器49被配置为将设定的ROI切出位置输出到ROI切出部分50。
另外，传感器块47的中央处理器49被配置为基于由信号处理块48的图像分析器57分析的ROI图像中的对象物体的偏移量来修改ROI切出位置(参考步骤207和208)。此外，传感器块47的中央处理器49被配置为将修改后的ROI切出位置输出到ROI切出部50。
另外，传感器块47的中央处理器49被配置为基于当捕获从其生成ROI图像的图像时所执行的曝光的量来调整关于图像传感器43执行的曝光的量，ROI图像是由信号处理块的图像分析器57分析的。
ROI切出部50被配置为从图像传感器43获取整体图像，并从整体图像中切出与ROI切出位置对应的部分以生成ROI图像(参考步骤205)。另外，ROI切出部分50被配置为将关于生成的ROI图像的信息输出到编码器52。
另外，ROI切出部50被配置为当从整体图像生成多个ROI图像时将多个ROI图像的ROI图像组合以生成组合图像，并将组合图像输出到编码器52作为ROI图像信息。ROI切出部50被配置为在此时时生成ROI相关信息(参考步骤211)，并将ROI相关信息输出到ROI分析器51。
ROI分析器51被配置为将从ROI切出部50获取的ROI相关信息转换成用于编码的ROI相关信息，并将用于编码的ROI相关信息输出到编码器52。
编码器52被配置为对ROI图像信息进行编码，并将编码的ROI图像信息输出到图像数据发送器53。另外，编码器52被配置为在存在用于编码的ROI相关信息时对用于编码的ROI相关信息进行编码，并将编码的用于编码的ROI相关信息包括在编码的ROI图像信息中，以的编码的用于编码的ROI图像信息输出到图像数据发送器53。
图像数据发送器53被配置为将编码的ROI图像信息发送到信号处理块48。
(信号处理块)
接下来，描述传感器装置40中的信号处理块48。图像数据接收器59被配置为接收编码的ROI图像信息，并将接收到的编码的ROI图像信息输出到解码器60。
解码器60被配置为对编码的ROI图像信息进行解码。另外，解码器60被配置为将通过解码获得的ROI图像信息输出到ROI图像生成器56。此外，解码器60被配置为当ROI相关信息包括在ROI图像信息中时(当ROI图像信息是通过组合多个ROI图像的ROI图像获得的组合图像时)生成用于解码的ROI相关信息，并将生成的用于解码的ROI相关信息输出到信息提取部55。
信息提取部55被配置为将用于解码的ROI相关信息转换成ROI相关信息，并将通过转换获得的ROI相关信息输出到ROI图像生成器56。ROI图像生成器56被配置为当ROI图像信息是通过组合多个ROI图像的ROI图像获得的合成图像时基于ROI相关信息将组合图像分离为相应的ROI图像。另外，ROI图像生成器56被配置为将ROI图像输出到图像分析器57。
图像分析器57被配置为分析ROI图像以判定对象物体在ROI图像中的偏移量(参考步骤206)，并将偏移量输出到中央处理器54。另外，图像分析器57被配置为分析ROI图像以判定在捕获从其生成ROI图像的图像时执行的曝光的量，并将曝光量输出到中央处理器54。此外，图像分析器57被配置为将ROI图像输出到图像处理器58。
图像处理器58被配置为基于来自中央处理器54的图像处理控制信息对ROI图像执行图像处理(参见步骤212)。另外，图像处理器58被配置为将ROI图像输出到编码器。
中央处理器54被配置为从自动驾驶控制装置30接收包括ROI位置的ROI获取请求，并且将ROI获取请求发送到传感器块47。另外，中央处理器54被配置为向传感器块47发送通过由图像分析器57执行的分析获得的关于对象物体的对准的信息和关于曝光量的信息。
另外，中央处理器54被配置为将图像处理控制信息输出到图像处理器58。例如，图像处理控制信息是用于使图像处理器58执行诸如数字增益处理、白平衡、查找表(LUT)处理、颜色矩阵转换、缺陷校正、拍摄校正、去噪、伽马校正和去马赛克之类的图像处理的信息。
另外，中央处理器54被配置为响应于来自自动驾驶控制装置30的补充信息获取请求而从传感器单元42获取补充信息，并将补充信息发送到自动驾驶控制装置30。
编码器61被配置为对ROI图像信息进行编码，并将编码的ROI图像信息输出到图像数据发送器62。另外，编码器61被配置为在存在用于编码的ROI相关信息时对用于编码的ROI相关信息进行编码，将编码的用于编码的ROI相关信息包括在编码的ROI图像信息中，以降编码的ROI图像信息输出到图像数据发送器62。
图像数据发送器62被配置为将编码的ROI图像信息发送到自动驾驶控制装置30。
<特定块配置：第二示例>
接下来，描述自动驾驶控制系统100中的特点块配置的另一个示例。图10图示了自动驾驶控制系统100中特定块配置的另一个示例。
在图10中所示的示例中，描述集中在与图9不同的点上。在图9中所示的示例中，ROI切出部分50和ROI分析器51被提供给传感器装置40的传感器块47，而在图10中所示的示例中，它们被提供给传感器装置40的信号处理块48。
另外，在图9中所示的示例中，信息提取部55、ROI图像生成器56、图像分析器57和图像处理器58被提供给传感器装置40的信号处理块48，而在图10中所示的示例中，那些被提供给自动驾驶控制装置30。
在此，图2中的自动驾驶控制装置30的控制器31与同步信号发生器35、对象物体识别部32、自动驾驶计划部33、操作控制器34、信息提取部55、ROI图像生成器56、图像分析器57和图像处理器58对应。另外，图2中的传感器装置40的控制器41与传感器块47的中央处理器49；以及图10中的信号处理块48的中央处理器49、ROI切出部50和ROI分析器51对应。
在图10中所示的示例中，图像分析器57和图像处理器58没有在传感器装置40侧提供，而是在自动驾驶控制装置30侧提供。因此，不在传感器侧执行ROI图像中对象物体的偏移量的判定、关于图像传感器43执行的曝光量的判定以及对ROI图像的图像处理，而是在自动驾驶控制装置30侧执行。换句话说，这些处理可以在传感器装置40侧执行，或者在自动驾驶控制装置30侧执行。
在图10中所示的示例中，ROI图像不是由传感器块47切出，而是由信号处理块48切出。因此，不是ROI图像，而是整体图像从传感器块47发送到信号处理块48。
信号处理块48被配置为从传感器块47接收整体图像，并且从整体图像生成与ROI位置对应的ROI图像。另外，信号处理块48被配置为将生成的ROI图像作为ROI图像信息输出到自动驾驶控制装置30。
另外，信号处理块48被配置为在从单个整体图像生成多个ROI图像时生成ROI相关信息和组合图像，组合图像是通过组合多个ROI图像的ROI图像获得的。在这种情况下，信号处理块48被配置为将组合图像用作ROI图像信息，并将ROI相关信息包括在ROI图像信息中以将ROI图像信息发送到自动驾驶控制装置30。
在图10中所示的示例中，由图9中所示的示例中的传感器块47的中央处理器49执行的处理的一部分由信号处理块48的中央处理器54执行。
换句话说，信号处理块48的中央处理器54被配置为基于关于包括在从自动驾驶控制设备发送的ROI获取请求中的ROI位置的信息来设置ROI切出位置30。另外，信号处理块48的中央处理器54被配置为将设定的ROI切出位置输出到ROI切出部50。
另外，信号处理块48的中央处理器54被配置为基于由自动驾驶控制装置30的图像分析器57分析的ROI图像中的对象物体的偏移量来修改ROI切出位置。然后，信号处理块48的中央处理器54被配置为将经修改的ROI切出位置输出到ROI切出部50。
在图10中所示的示例中，除添加了信息提取部55、ROI图像生成器56、图像分析器57和图像处理器58之外，自动驾驶控制装置30本质上类似于图9中所示的自动驾驶控制装置30。但是，在图10中所示的示例中，由图9中所示的示例中的传感器装置40中的信号处理块48的中央处理器54执行的处理的一部分由自动驾驶控制装置30的自动驾驶计划部33执行。
换句话说，自动驾驶计划部33被配置为向传感器装置40发送通过由图像分析器57执行的分析获得的关于对象物体的对准的信息和关于曝光量的信息。另外，自动驾驶计划部33被配置为将图像处理控制信息输出到图像处理器58。
<效果及其它>
如上所述，本实施例采用通过基于来自DVS 10的事件信息指定与设计驾驶计划所必需的对象物体对应的ROI位置来获取ROI图像并且基于获取的ROI图像识别对象物体的方法。
换句话说，在本实施例中，代替整体图像，获取ROI图像以识别对象物体。因此，与每次获取整体图像的情况相比，本实施例具有数据量更小并且因此获取图像所花费的时间更短的优点。
另外，使用通过ROI处理减少了数据量的ROI图像来识别对象物体。因此，与当全局分析整体图像以识别对象物体时相比，本实施例具有识别对象物体所花费的时间更短的优点。此外，本实施例还使得有可能准确地识别对象物体，因为对象物体是基于ROI图像来识别的。换句话说，本实施例使得有可能快速且准确地识别对象物体。
注意的是，在本实施例中添加了从DVS 10获取事件信息以指定ROI位置的处理，这与获取整体图像并全局分析整体图像以识别对象物体的情况不同。因此，为了比较这两种方法识别对象物体所花费的时间，需要考虑获取事件信息所花费的时间和指定ROI位置所花费的时间。但是，如上所述，由DVS 10以高速输出事件信息，并且事件信息的数据量小。因此，指定与对象物体对应的ROI位置也花费更短的时间。因此，即使考虑到上述各点，与获取整体图像并对整体图像进行分析以识别对象物体时相比，获取ROI图像并分析ROI图像以识别对象物体的本实施例都使得有可能减少识别对象物体所花费的时间。
另外，本实施例使得有可能基于关于基于ROI图像快速且准确地识别出的对象物体的信息来设计自动驾驶计划。这导致能够提高自动驾驶的安全性和可靠性。
另外，在本实施例中，基于来自DVS 10的事件信息来设置ROI位置。因此，可以在向左、向右、向上和向下方向上从每个整体图像中切出与对象物体对应的适当位置以生成ROI图像。
另外，在本实施例中，基于ROI图像中对象物体的偏移量来修改用于ROI图像的ROI切出位置。这使得有可能生成通过适当地切出对象物体而获得的ROI图像。
另外，在本实施例中，当自动驾驶计划无需获取ROI图像，仅使用关于基于来自DVS10的事件信息识别出的对象物体的信息即可设计时，仅使用这个信息设计自动驾驶计划。
在此，如上所述，事件信息由DVS 10高速输出，并且事件信息的数据量小。因此，例如，与当全局分析来自图像传感器43的整体图像以识别对象物体时相比，识别对象物体花费更短的时间。因此，例如，在诸如另一个车辆可能与本车1发生碰撞的情况、或者行人6可能跑到本车1的前方的情况之类的紧急情况下，紧急事件可以通过仅使用关于基于事件信息识别出的对象物体的信息快速设计驾驶计划来避免。
另外，在本实施例中，从补充传感器获取补充信息，并且基于补充信息识别对象物体。这也使得有可能适当地识别基于事件信息或ROI图像未识别出的对象物体(诸如与行驶中的本车1平行延伸的分区线8，或者由于本车1停止而不再被捕获为其中存在亮度改变的部分的对象物体)。
另外，本实施例使得有可能基于关于基于补充信息准确识别出的对象物体的信息来设计自动驾驶计划。这导致能够进一步提高自动驾驶的安全性和可靠性。
另外，在本实施例中，基于关于本车1的移动的信息来改变基于补充信息识别对象物体的周期。这使得有可能根据本车1的移动适当地改变周期。在这种情况下，当周期随着本车1的移动变得更慢而更短时，这使得例如有可能使用补充信息适当地识别由于本车1的移动变得更慢而未被DVS 10捕获为其中存在亮度改变的部分的对象物体。
<<各种修改>>
上面已经描述了根据本技术的对象物体识别技术用于在自动驾驶控制中识别对象物体的示例。另一方面，根据本技术的对象物体识别技术也可以用于自动驾驶控制目的以外的目的。例如，根据本技术的对象物体识别技术可以被用于检测在生产线上造成的产品缺陷，或者可以被用于在应用增强现实(AR)时识别作为叠加目标的对象物体。通常，根据本技术的对象物体识别技术可以应用于识别对象物体的任何目的。
本技术还可以采用以下配置。
(1)一种信息处理装置，包括
控制器，其
根据由基于事件的传感器检测到的事件信息来识别对象物体，以及
将识别结果发送到传感器装置，其包括能够获取关于对象物体的信息的传感器部。
(2)根据(1)所述的信息处理装置，其中
控制器
识别对象物体，
指定与对象物体对应的感兴趣区域(ROI)位置，以及
将ROI位置作为识别的结果发送到传感器装置。
(3)根据(2)所述的信息处理装置，其中
传感器装置
从由传感器部获取的信息中切出与ROI位置对应的ROI信息，
将ROI信息发送到信息处理装置。
(4)根据(3)所述的信息处理装置，其中
控制器基于从传感器装置获取的ROI信息来识别对象物体。
(5)根据(4)所述的信息处理装置，其中
控制器基于关于基于ROI信息识别出的对象物体的信息来设计自动驾驶计划。
(6)根据(5)所述的信息处理装置，其中
控制器根据关于基于事件信息识别出的对象物体的信息来设计自动驾驶计划。
(7)根据(6)所述的信息处理装置，其中
控制器判定是否能够仅根据关于基于事件信息识别出的对象物体的信息来设计自动驾驶计划。
(8)根据(7)所述的信息处理装置，其中
在无法设计自动驾驶计划的情况下，
控制器
获取ROI信息，以及
根据关于基于ROI信息识别出的对象物体的信息来设计自动驾驶计划。
(9)根据(7)或(9)所述的信息处理装置，其中
在能够设计自动驾驶计划的情况下，
控制器在不获取ROI信息的情况下根据关于基于事件信息识别出的对象物体的信息来设计自动驾驶计划。
(10)根据(3)至(9)中的任一项所述的信息处理装置，其中
传感器部包括能够获取对象物体的图像的图像传感器，以及
ROI信息是ROI图像。
(11)根据(5)至(10)中的任一项所述的信息处理装置，其中
传感器部包括补充传感器，该补充传感器能够获取补充信息，补充信息是关于控制器使用事件信息无法识别的对象物体的信息。
(12)根据(11)所述的信息处理装置，其中
控制器从传感器装置获取补充信息，以及
基于补充信息，控制器识别使用事件信息无法识别的对象物体。
(13)根据(12)所述的信息处理装置，其中
控制器根据关于基于补充信息识别出的对象物体的信息来设计自动驾驶计划。
(14)根据(13)所述的信息处理装置，其中
控制器获取成为自动驾驶计划的对象的移动体的移动的信息，以及
基于关于移动的信息，控制器改变基于补充信息的对象物体的识别的周期。
(15)根据(14)所述的信息处理装置，其中
控制器随着移动体的移动变得更慢而使周期更短。
(16)根据(3)至(15)中的任一项所述的信息处理装置，其中
传感器装置基于ROI信息中的对象物体的偏移量来修改ROI信息的切出位置。
(17)一种信息处理系统，包括：
信息处理装置，包括
控制器
根据由基于事件的传感器检测到的事件信息来识别对象物体，以及
将识别结果发送到传感器装置，其包括能够获取关于对象物体的信息的传感器部；以及
传感器装置。
(18)一种信息处理方法，包括：
根据由基于事件的传感器检测到的事件信息来识别对象物体；以及
将识别结果发送到传感器装置，其包括能够获取关于对象物体的信息的传感器部。
(19)一种使计算机执行以下处理的程序：
根据由基于事件的传感器检测到的事件信息来识别对象物体；以及
将识别结果发送到传感器装置，其包括能够获取关于对象物体的信息的传感器部。
附图标记列表
10 DVS
20 自动驾驶执行装置
30 自动驾驶控制装置
31 自动驾驶控制装置的控制器
40 传感器装置
41 传感器装置的控制器
42 传感器单元
43 图像传感器
44 激光雷达
45 毫米波雷达
46 超声传感器
100 自动驾驶控制系统

Claims (19)

1.一种信息处理装置，包括
控制器，所述控制器
根据由基于事件的传感器检测到的事件信息来识别对象物体，以及
将识别结果发送到传感器装置，所述传感器装置包括能够获取关于所述对象物体的信息的传感器部。
2.根据权利要求1所述的信息处理装置，其中
所述控制器
识别所述对象物体，
指定与所述对象物体对应的感兴趣区域ROI位置，以及
将所述ROI位置作为所述识别结果发送到所述传感器装置。
3.根据权利要求2所述的信息处理装置，其中
所述传感器装置
从由所述传感器部获取的信息中切出与所述ROI位置对应的ROI信息，
将所述ROI信息发送到信息处理装置。
4.根据权利要求3所述的信息处理装置，其中
所述控制器基于从所述传感器装置获取的ROI信息来识别所述对象物体。
5.根据权利要求4所述的信息处理装置，其中
所述控制器根据关于基于所述ROI信息识别出的对象物体的信息来设计自动驾驶计划。
6.根据权利要求5所述的信息处理装置，其中
所述控制器根据关于基于所述事件信息识别出的对象物体的信息来设计自动驾驶计划。
7.根据权利要求6所述的信息处理装置，其中
所述控制器判定是否能够仅根据关于基于所述事件信息识别出的对象物体的信息来设计自动驾驶计划。
8.根据权利要求7所述的信息处理装置，其中
在无法设计所述自动驾驶计划的情况下，
所述控制器
获取所述ROI信息，以及
根据关于基于所述ROI信息识别出的对象物体的信息来设计自动驾驶计划。
9.根据权利要求7所述的信息处理装置，其中
在能够设计所述自动驾驶计划的情况下，
所述控制器在不获取所述ROI信息的情况下根据关于基于所述事件信息识别出的对象物体的信息来设计自动驾驶计划。
10.根据权利要求3所述的信息处理装置，其中
所述传感器部包括能够获取所述对象物体的图像的图像传感器，以及
所述ROI信息是ROI图像。
11.根据权利要求5所述的信息处理装置，其中
所述传感器部包括补充传感器，所述补充传感器能够获取补充信息，所述补充信息是关于所述控制器使用所述事件信息无法识别的对象物体的信息。
12.根据权利要求11所述的信息处理装置，其中
所述控制器从所述传感器装置获取所述补充信息，以及
基于所述补充信息，所述控制器识别使用所述事件信息无法识别的对象物体。
13.根据权利要求12所述的信息处理装置，其中
所述控制器根据关于基于所述补充信息识别出的对象物体的信息来设计自动驾驶计划。
14.根据权利要求13所述的信息处理装置，其中
所述控制器获取成为所述自动驾驶计划的对象的移动体的移动的信息，以及
基于关于所述移动的信息，所述控制器改变基于所述补充信息的对象物体的识别的周期。
15.根据权利要求14所述的信息处理装置，其中
所述控制器随着所述移动体的移动变得更慢而使所述周期更短。
16.根据权利要求3所述的信息处理装置，其中
所述传感器装置基于所述ROI信息中的对象物体的偏移量来修改ROI信息的切出位置。
17.一种信息处理系统，包括：
信息处理装置，包括
控制器，所述控制器
根据由基于事件的传感器检测到的事件信息来识别对象物体，以及
将识别结果发送到传感器装置，所述传感器装置包括能够获取关于所述对象物体的信息的传感器部；以及
所述传感器装置。
18.一种信息处理方法，包括：
根据由基于事件的传感器检测到的事件信息来识别对象物体；以及
将识别结果发送到传感器装置，所述传感器装置包括能够获取关于所述对象物体的信息的传感器部。
19.一种使计算机执行处理的程序，所述处理包括：
根据由基于事件的传感器检测到的事件信息来识别对象物体；以及
将识别结果发送到传感器装置，所述传感器装置包括能够获取关于所述对象物体的信息的传感器部。
CN202080082626.5A 2019-12-05 2020-11-19 信息处理装置、信息处理系统、信息处理方法及程序 Pending CN114746321A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-220579 2019-12-05
JP2019220579 2019-12-05
PCT/JP2020/043215 WO2021111891A1 (ja) 2019-12-05 2020-11-19 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114746321A true CN114746321A (zh) 2022-07-12

Family

ID=76222131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080082626.5A Pending CN114746321A (zh) 2019-12-05 2020-11-19 信息处理装置、信息处理系统、信息处理方法及程序

Country Status (5)

Country Link
US (1) US20230009479A1 (zh)
JP (1) JPWO2021111891A1 (zh)
CN (1) CN114746321A (zh)
DE (1) DE112020005952T5 (zh)
WO (1) WO2021111891A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
CN113615161A (zh) * 2019-03-27 2021-11-05 索尼集团公司 对象检测装置、对象检测系统以及对象检测方法
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
WO2023188004A1 (ja) * 2022-03-29 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295846A (ja) * 2005-04-14 2006-10-26 Sharp Corp 複数の記録媒体ドライブを備えた監視装置
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
JPWO2020003776A1 (ja) * 2018-06-29 2021-08-19 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、コンピュータプログラム、情報処理システム、並びに移動体装置

Also Published As

Publication number Publication date
WO2021111891A1 (ja) 2021-06-10
DE112020005952T5 (de) 2022-11-17
JPWO2021111891A1 (zh) 2021-06-10
US20230009479A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
CN114746321A (zh) 信息处理装置、信息处理系统、信息处理方法及程序
US11748620B2 (en) Generating ground truth for machine learning from time series elements
US11288524B2 (en) Estimating object properties using visual image data
US20220107651A1 (en) Predicting three-dimensional features for autonomous driving
EP3872688A1 (en) Obstacle identification method and device, storage medium, and electronic device
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US10142595B2 (en) Driving assistance device and method of detecting vehicle adjacent thereto
US20090073258A1 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US20150243017A1 (en) Object recognition apparatus and object recognition method
US20120288156A1 (en) Environment recognition device and environment recognition method
JP2010224925A (ja) 環境認識装置
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
JP7140474B2 (ja) ステレオ三角測量のためのシステム
US11029150B2 (en) Object distance detection device
JP2016136321A (ja) 物体検出装置及び物体検出方法
CN114072699A (zh) 信息处理系统、传感器系统、信息处理方法以及程序
US11247647B2 (en) Vehicle and control method thereof
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system
JP2019152976A (ja) 画像認識制御装置、画像認識制御プログラム
US20240118394A1 (en) Light output control device, light output control method, and program
WO2021186960A1 (ja) 認識処理システム、認識処理装置及び認識処理方法
JP2022161700A (ja) 信号機認識装置
JP2024073621A (ja) 視覚画像データを用いたオブジェクト属性の推定
Baga Stereo cameras with applications to traffic scenarios, traffic lights detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination