CN113614782A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

信息处理装置包括输入设备和控制器。由相机捕获的捕获图像被输入到输入设备，捕获图像包括每个像素的距离信息。控制器生成通过基于相机或安装有相机的移动体的移动量变换捕获图像的各个像素的坐标对而获得的经变换捕获图像。另外，控制器将经变换捕获图像的像素的坐标对与相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联，并且控制器辨识在移动后捕获图像中包括的、与经变换捕获图像的像素不关联的未关联像素。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及被应用以识别捕获图像中的物体的信息处理装置、信息处理方法和程序。

背景技术

存在用于从图像中检测预定物体区域的技术。

以下指示的专利文献1公开了一种障碍物检测器，该障碍物检测器基于差异图像来检测位于移动车辆周围的障碍物，该差异图像基于车辆周围的帧图像当中的先前帧图像和参考帧图像之间的差异，参考帧图像是在参考时间点获取的，先前帧图像是在参考时间点之前的时间点获取的。

以下指示的专利文献2公开了一种物体检测器，该物体检测器使用多个捕获图像当中的至少一个参考图像和目标图像来检测目标图像的各部分的运动向量，基于多个捕获图像当中的两个图像之间的差异来计算差异图像，并基于运动向量和差异图像来检测其中存在物体的物体区域。

引用列表

专利文献

专利文献1：日本专利申请公开No.2018-97777

专利文献2：日本专利申请公开No.2015-138319

发明内容

技术问题

然而，在专利文献1和2中分别公开的技术中的每个中，基于图像整体之间的差异来检测物体，这导致计算量增加。另外，通常的情况是对与先前图像类似的图像执行处理，这导致执行冗余处理。

鉴于上述情况，本技术的目的是提供使得能够消除相对于在移动期间顺序获取的捕获图像执行的冗余处理并减少计算量的信息处理装置、信息处理方法和程序。

问题的解决方案

为了实现上述目的，根据本技术的实施例的一种信息处理装置包括输入设备和控制器。由相机捕获的捕获图像被输入到输入设备，捕获图像包括每个像素的距离信息。控制器生成通过基于相机或安装有相机的移动体的移动量变换捕获图像的各个像素的坐标对而获得的经变换捕获图像。另外，控制器将经变换捕获图像的像素的坐标对与相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联，并且控制器辨识在移动后捕获图像中包括的与经变换捕获图像的像素不关联的未关联像素。

因此，信息处理装置辨识移动后捕获图像的与捕获图像的像素不关联的像素，并且这使得不需要相对于关联像素执行新处理。这使得能够消除对移动期间顺序获取的捕获图像的冗余处理并减少计算量。

控制器可以执行识别移动后捕获图像中的未关联像素的属性的识别处理，并可以将识别处理的结果投影到移动后捕获图像中的关联像素上或包括关联像素的区域上，识别处理是相对于捕获图像中包括的与关联像素或包括关联像素的区域对应的像素执行的。

因此，相对于移动后的捕获图像的关联像素，信息处理装置可以将相对于移动前的捕获图像执行的识别处理的结果投影到移动后的捕获图像上。这使得能够省去对关联像素执行的识别处理，并减少计算量。

控制器可以生成通过将移动后捕获图像的像素的坐标对与捕获图像的像素的坐标对关联而获得的地图以便执行投影。

因此，信息处理装置可以通过使用所生成的地图，将相对于移动前的捕获图像执行的识别的结果容易地投影到移动后的捕获图像上。

控制器可以将捕获图像变换为基于每个像素的距离信息的三维点云数据，可以生成通过基于移动量相对于三维点云数据执行变换而获得的移动点云数据，并且可以将移动点云数据投影到图像平面上，以生成经变换捕获图像。

因此，信息处理装置基于距离信息将捕获图像变换为三维点云数据，并将三维点云数据变换为移动后的平面图像。因此，信息处理装置可以准确地辨识对应的像素。

控制器可以根据移动后捕获图像中的未关联像素的位置来设置执行识别处理的优先级。

因此，信息处理装置根据区域的位置来设置执行识别处理的频率，诸如，针对捕获图像中的中心部分的区域，将执行识别处理的频率设置得比针对捕获图像中的端部部分的区域更高。这使得能够减少计算量。

控制器可以根据移动后捕获图像中的未关联像素的位置并根据移动体的移动速度来设置针对每个未关联像素执行识别处理的优先级。

因此，信息处理装置可以应对由于移动速度的变化而引起的重要区域的变化，诸如，在高速移动期间，针对图像中的中心部分的区域，将执行识别处理的频率设置得比针对图像中的端部部分的区域更高，而在低速移动期间，针对图像中的中心部分的区域，将执行识别处理的频率设置得比针对图像中的端部部分的区域更低。

控制器可以根据未关联像素的距离信息来为每个未关联像素设置执行识别处理的优先级。

因此，信息处理装置根据距离来设置执行识别处理的频率，诸如，针对靠近相机的区域，将执行识别处理的频率设置得比针对位置远离相机的区域更高。这使得能够减少计算量。

根据本技术的另一实施例的一种图像处理方法包括：

获取由相机捕获的捕获图像，捕获图像包括每个像素的距离信息；

生成通过基于相机或安装有相机的移动体的移动量变换捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将经变换捕获图像的像素的坐标对与相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在移动后捕获图像中包括的与经变换捕获图像的像素不关联的未关联像素。

根据本技术的另一实施例的程序使信息处理装置执行包括以下步骤的处理：

获取由相机捕获的捕获图像，捕获图像包括每个像素的距离信息；

生成通过基于相机或安装有相机的移动体的移动量变换捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将经变换捕获图像的像素的坐标对与相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在移动后捕获图像中包括的与经变换捕获图像的像素不关联的未关联像素。

本发明的有利效果

如上所述，本技术使得能够消除相对于在移动期间顺序获取的捕获图像执行的冗余处理并减少计算量。然而，本技术不限于该效果。

附图说明

[图1]图1是描绘根据本技术的实施例的车辆控制系统的示意性配置的示例的框图。

[图2]图2是辅助说明车辆控制系统中所包括的车辆外部信息检测部和成像部的安装位置的示例的示图。

[图3]图3图示了车辆控制系统的集成控制单元中所包括的功能块的配置。

[图4]图4是图示由车辆控制系统执行的图像识别处理的流程的流程图。

[图5]图5是用于描述由集成控制单元中所包括的投影地图生成器和语义分割投影部执行的处理的示图。

[图6]图6是用于描述由集成控制单元中所包括的未观察区域设置部执行的处理的示图。

[图7]图7图示了由投影地图生成器执行的处理的细节。

[图8]图8是图示由投影地图生成器执行的处理的流程的流程图。

[图9]图9图示了由未观察区域设置部执行的处理的细节。

[图10]图10是图示由未观察区域设置部执行的处理的流程的流程图。

[图11]图11是用于描述由集成控制单元中所包括的区域属性关系确定部和更新优先级地图生成器执行的处理的示图。

[图12]图12是用于描述由更新优先级地图生成器执行的地图整合处理的示图。

[图13]图13是用于描述由集成控制单元中所包括的区域语义分割部执行的处理的示图。

[图14]图14图示了根据本技术的修改例的在由车辆控制系统执行的图像识别处理中设置更新频率和更新区域的示例。

[图15]图15图示了根据本技术的修改例的在由车辆控制系统执行的图像识别处理中设置更新频率和更新区域的示例。

[图16]图16图示了根据本技术的修改例的在由车辆控制系统执行的图像识别处理中设置更新频率和更新区域的示例。

[图17]图17图示了根据本技术的修改例的由车辆控制系统中的区域语义分割部执行的更新区域设置的示例。

[图18]图18是用于描述根据本技术的修改例的由车辆控制系统中的区域语义分割部执行的处理的示图。

具体实施方式

现在，以下将参考附图来描述本技术的实施例。

[车辆控制系统的配置]

图1是描绘作为可以应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电控制单元。在图1中描绘的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是与诸如控制器区域网络(CAN)、本地互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)等的任意标准兼容的车载通信网络。

控制单元中的每个包括：微型计算机，其根据各种程序执行算术处理；存储部，其存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制目标设备。控制单元中的每个还包括：网络接口(I/F)，其用于经由通信网络7010执行与其它控制单元的通信；以及通信I/F，其用于通过有线通信或无线电通信执行与车辆内和车辆外的设备、传感器等的通信。图1中图示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车辆内部设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于诸如内燃机、驱动电机等的产生车辆驱动力的驱动力产生设备、用于将驱动力传输到车轮的驱动力传输机构、用于调整车辆转向角的转向机构、用于产生车辆的制动力的制动设备等的控制设备。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。例如，车辆状态检测部7110包括检测车身的轴向旋转移动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮旋转速度等的传感器中的至少一种。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号来执行算术处理，并控制内燃机、驱动电机、电动转向设备、制动设备等。

车身系统控制单元7200根据各种程序控制提供给车身的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、制动灯、转向灯、雾灯等的各种灯的控制设备。在这种情况下，从替代钥匙的移动设备发送的无线电波或各种开关的信号可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序控制作为用于驱动电机的电力供应源的二次电池7310。例如，向电池控制单元7300供应来自包括二次电池7310的电池设备的关于电池温度、电池输出电压、电池中的剩余电量等的信息。电池控制单元7300使用这些信号执行算术处理，并执行用于调节二次电池7310的温度的控制或控制被提供给电池设备的冷却设备等。

车辆外部信息检测单元7400检测关于包括车辆控制系统7000的车辆的外部的信息。例如，车辆外部信息检测单元7400与成像部7410和车辆外部信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机中的至少一种。例如，车辆外部信息检测部7420包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制系统7000的车辆周边的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一种。

例如，环境传感器可以是检测雨的降雨传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器中的至少一种。周边信息检测传感器可以是超声传感器、雷达设备和LIDAR设备(光检测和测距设备、或激光成像检测和测距设备)中的至少一种。成像部7410和车辆外部信息检测部7420中的每个可以被设置为独立的传感器或设备，或者可以被设置为其中集成了多个传感器或设备的设备。

图2描绘了成像部7410和车辆外部信息检测部7420的安装位置的示例。例如，成像部7910、7912、7914、7916和7918设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置或车辆内部内的风挡的上部部分上的位置中的至少一种处。设置于前鼻的成像部7910和设置于车辆内部内的风挡的上部部分的成像部7918主要获得车辆7900前方的图像。设置于侧视镜的成像部7912和7914主要获得车辆7900侧面的图像。设置于后保险杠或后门的成像部7916主要获得车辆7900后方的图像。设置于车辆内部内的风挡的上部部分的成像部7918主要用于检测前车、行人、障碍物、信号、交通标志、车道等。

顺便提及，图2描绘了相应成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置于前鼻的成像部7910的成像范围。成像范围b和c分别表示设置于侧视镜的成像部7912和7914的成像范围。成像范围d表示设置于后保险杠或后门的成像部7916的成像范围。例如，可以通过叠加由成像部7910、7912、7914和7916成像的图像数据来获得如从上方观察到的车辆7900的鸟瞰图像。

设置于车辆7900的前部、后部、侧部和拐角以及车辆内部内的风挡的上部部分的车辆外部信息检测部7920、7922、7924、7926、7928和7930可以是例如超声传感器或雷达设备。例如，设置于车辆7900的前鼻、后保险杠、车辆7900的后门和车辆内部内的风挡的上部部分的车辆外部信息检测部7920、7926和7930可以是LIDAR设备。这些车辆外部信息检测部7920至7930主要用于检测前车、行人、障碍物等。

返回图1，将继续描述。车辆外部信息检测单元7400使成像部7410对车辆外部的图像进行成像，并接收成像的图像数据。此外，车辆外部信息检测单元7400从与车辆外部信息检测单元7400连接的车辆外部信息检测部7420接收检测信息。在车辆外部信息检测部7420是超声传感器、雷达设备或LIDAR设备的情况下，车辆外部信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。基于接收到的信息，车辆外部信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、路面上的字符等的物体的处理，或检测与其的距离的处理。车辆外部信息检测单元7400可以基于接收到的信息来执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于接收到的信息来计算与车辆外部的物体的距离。

另外，基于接收到的图像数据，车辆外部信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或检测与其的距离的处理。车辆外部信息检测单元7400可以使接收到的图像数据经历诸如失真校正、对准等的处理，并组合由多个不同的成像部7410成像的图像数据，以生成鸟瞰图像或全景图像。车辆外部信息检测单元7400可以使用由包括不同成像部分的成像部7410成像的图像数据执行视点转换处理。

车辆内部信息检测单元7500检测关于车辆内部的信息。例如，车辆内部信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部内的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等中，并检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车辆内部信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。车辆内部信息检测单元7500可以使通过收集声音而获得的音频信号经历诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的总体操作。集成控制单元7600与输入部7800连接。输入部7800由诸如(例如)触摸面板、按钮、麦克风、开关、杠杆等的能够供乘员进行输入操作的设备来实现。可以向集成控制单元7600供应借由通过麦克风的语音输入的语音识别而获得的数据。例如，输入部7800可以是使用红外线或其它无线电波的远程控制设备，或支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是例如相机。在该情况下，乘客可以通过手势来输入信息。可替换地，可以输入通过检测乘员佩戴的可穿戴设备的移动而获得的数据。另外，输入部7800可以例如包括基于由乘员等使用上述输入部7800输入的信息来生成输入信号并将所生成的输入信号输出到集成控制单元7600的输入控制电路等。乘员等通过操作输入部7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部7690可以由诸如硬盘驱动(HDD)等的磁存储设备、半导体存储设备、光学存储设备或磁-光学存储设备等来实现。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与外部环境7750中存在的各种装置的通信。通用通信I/F 7620可以实现诸如全球移动通信系统(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、高级LTE(LTE-A)等的蜂窝通信协议或诸如无线LAN(也被称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等的其它无线通信协议。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。另外，例如，通用通信I/F 7620可以使用端对端(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端或者机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为了在车辆中使用而开发的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，诸如(例如)是作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE 1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630典型地将V2X通信作为包括车辆与车辆之间的通信(车辆对车辆)、道路与车辆之间的通信(车辆对基础设施)、车辆与住宅之间的通信(车辆对住宅)以及行人与车辆之间的通信(车辆对行人)中的一种或多种的概念执行。

定位部7640例如通过从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，从全球定位系统(GPS)卫星接收GPS信号)来执行定位，并生成包括车辆的纬度、经度和海拔的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来辨识当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电站发送的无线电波或电磁波，由此获得关于当前位置、拥塞、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述的专用通信I/F 7630中。

车辆内部设备I/F 7660是调解微型计算机7610与车辆内存在的各种车辆内部设备7760之间的连接的通信接口。车辆内部设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外，车辆内部设备I/F 7660可以经由图中未描绘的连接端子(如有必要，以及电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等建立有线连接。例如，车辆内部设备7760可以包括携载到车辆中或附接到车辆的信息设备以及乘员拥有的移动设备和可穿戴设备中的至少一种。车辆内部设备7760还可以包括搜索通往任意目的地的路径的导航设备。车辆内部设备I/F 7660与这些车辆内部设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680遵照通信网络7010所支持的预定协议发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车辆内部设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息，按照各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并将控制命令输出到驱动系统控制单元7100。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，ADAS功能包括车辆的碰撞避免或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微型计算机7610可以执行旨在用于自动驾驶的协同控制，自动驾驶通过基于所获得的关于车辆周围的信息控制驱动力产生设备、转向机构、制动设备等，使车辆在不依赖于驾驶员操作等的情况下自主地行驶。

基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车辆内部设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息，微型计算机7610可以生成车辆与诸如周围结构、人等的物体之间的三维距离信息，并生成包括关于车辆当前位置的周围的信息的本地地图信息。另外，微型计算机7610可以基于所获得的信息来预测诸如车辆碰撞、行人等的接近、进入封闭道路等的危险，并生成警告信号。例如，警告信号可以是用于产生警告声或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到输出设备，该输出设备能够在视觉上或听觉上向车辆的乘员或车辆的外部通知信息。在图1的示例中，音频扬声器7710、显示部7720和仪表板7730被图示为输出设备。显示部7720可以例如包括车载显示器和抬头显示器中的至少一种。显示部7720可以具有增强现实(AR)显示功能。输出设备可以是除这些设备之外的设备，并且可以是诸如耳机、可穿戴设备(诸如，由乘员佩戴的眼镜型显示器等)、投影仪、灯等的另一设备。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格、图形等的各种形式可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并可听地输出模拟信号。

顺便提及，在图1中描绘的示例中经由通信网络7010彼此连接的至少两个控制单元可以被集成在一个控制单元中。可替换地，每个单独的控制单元可以包括多个控制单元。另外，车辆控制系统7000可以包括图中未描绘的另一控制单元。另外，可以将由以上描述中的控制单元之一执行的功能的部分或全部分配给另一控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由控制单元中的任意执行预定的算术处理。类似地，连接到控制单元之一的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

另外，在本实施例中，集成控制单元7600能够对由成像部7410捕获的图像的每个像素执行用于识别诸如路面、人行道、行人和建筑物的属性的语义分割。

[车辆控制系统的功能块的配置]

图3图示了在集成控制单元7600中实现的计算机程序的功能块的配置。计算机程序可以以其中存储计算机程序的计算机可读记录介质的形式提供。记录介质的示例包括磁盘、光盘、磁光盘和闪存存储器。另外，计算机程序可以例如在不使用记录介质的情况下经由网络来分布。

在本实施例中，相对于从成像部7410顺序获取的捕获图像，集成控制单元7600(微型计算机7610)能够对捕获图像的每个像素执行被应用以识别属性(诸如，路面、人行道、行人和建筑物)的语义分割。通过所执行的语义分割，对于捕获图像中所包括的每个被摄体区域识别属性。

基于该属性，集成控制单元7600可以设置执行识别处理的频率(更新频率)和作为识别处理的目标的区域。注意的是，在处理中，相对于一系列捕获图像当中的第一捕获图像的整体执行语义分割，并且针对后续捕获图像中的每个区域设置更新频率。

如图3中图示的，集成控制单元7600包括作为功能块的相对移动估计器11、投影地图生成器12、语义分割投影部13、未观察区域设置部14、区域属性关系确定部15、更新优先级地图生成器16、区域语义分割部17和语义分割整合部18。

基于由定位部7640(成像部7410)生成的关于车辆在时间(T-1)的位置的位置信息和关于车辆在时间(T)的位置的位置信息，相对移动估计器11生成车辆的相对移动量的数据(Rt)，并将所生成的数据输出到投影地图生成器12。

基于每个捕获图像坐标对的在时间(T-1)的车辆与被摄体之间距离的数据(z)(该距离是由车辆外部信息检测单元7400检测的)，并且基于从相对移动估计器11接收的相对移动量数据(Rt)，投影地图生成器12生成投影地图数据，并将所生成的数据输出到语义分割投影部13和未观察区域设置部14。

具体地，相对于每个捕获图像坐标对的距离数据(z)，投影地图生成器12将各个捕获图像坐标对的所有距离数据(z)的集合(深度图像数据)变换为三维点云数据，并使用相对移动量数据(Rt)对点云数据执行坐标变换。然后，投影地图生成器12生成通过将坐标变换后获得的点云数据投影到捕获图像平面上而获得的深度图像数据。基于深度图像数据中的时间(T-1)的距离数据(z)和的图像坐标，投影地图生成器12生成投影地图数据，该投影地图数据指示投影源的位置，并用于将指示相对于时间(T-1)的捕获图像的每个像素执行的图像识别(语义分割)结果的值投影到时间(T)的捕获图像上。

基于从投影地图生成器(12)接收的投影地图数据和时间(T-1)的语义分割结果，语义分割投影部13生成通过将语义分割结果投影到时间(T)的捕获图像上而获得的投影语义分割数据，并将所生成的数据输出到语义分割整合部18。

基于从投影地图生成器12接收的投影地图数据，未观察区域设置部14在时间(T)的捕获图像中检测其上未投影时间(T-1)的语义分割结果的区域(也就是说，其中未指示投影地图数据中的投影源的位置的未观察区域)，并将指示未观察区域的数据输出到更新优先级地图生成器16。

关于捕获图像中所包括的多个区域，区域属性关系确定部15确定通过所执行的语义分割而识别的属性之间的关系。例如，当人行道或路面的区域与行人或自行车的区域重叠时，区域属性关系确定部15确定人行道或路面上存在行人或自行车。

基于未观察区域设置部14检测到的未观察区域和由区域属性关系确定部15确定的区域属性之间的关系，更新优先级地图生成部16生成其中针对捕获图像的每个区域设置语义分割的更新优先级(更新频率)的更新优先级地图。

例如，更新优先级地图生成器16对未观察区域赋予高更新优先级，对人行道上的行人的区域赋予低更新优先级，并且对路面上的行人的区域赋予高更新优先级。

基于所生成的更新优先级地图，区域语义分割部17相对于时间(T)的捕获图像的每个区域执行语义分割，并将语义分割的结果输出到语义分割整合部18。

语义分割整合部18整合从语义分割投影部13接收的时间(T)的投影语义分割数据和从区域语义分割部17接收的时间(T)的区域语义分割数据，并输出相对于时间(T)的捕获图像的整体的语义分割结果的数据。

语义分割结果数据可以用于执行(例如)旨在实现ADAS的功能的协作控制或旨在实现(例如)自动驾驶的协作控制。

这些功能块(计算机程序)可以在车辆外部信息检测单元7400而非集成控制单元7600中实现。在这种情况下，由集成控制单元7600基于由车辆外部信息检测单元输出的语义分割结果数据来执行用于ADAS或自动驾驶的协同控制。

[车辆控制系统的操作]

接下来，描述具有上述配置的车辆控制系统的操作。该操作通过诸如集成控制单元7600的微型计算机7610、车载网络I/F 7680和专用通信I/F 7630的硬件和存储在例如存储部7690中的软件(图3中图示的相应功能块)协同工作来执行。

图4是图示由车辆控制系统执行的图像识别处理的流程的流程图。

如图中图示的，首先，相对移动估计器11获取关于车辆在时间(T-1)的位置的位置信息和关于车辆在时间(T)的位置的位置信息(步骤101)，并估计从时间(T-1)到时间(T)的车辆(成像部)的相对移动的距离(步骤102)。

随后，投影地图生成器12获取时间(T-1)的捕获图像中的车辆与被摄体之间距离的数据(步骤103)，并基于距离数据和相对移动距离的数据来生成投影地图数据(步骤104)。

随后，基于该投影地图数据，未观察区域设置部14计算未观察区域，该未观察区域被包括在时间(T)的捕获图像中并通过将时间(T)的捕获图像与时间(T-1)的捕获图像进行比较而获得，并生成其中为未观察区域赋予高更新优先级的更新优先级地图(步骤106)。

随后，基于投影地图数据，语义分割投影部13将时间(T-1)的语义分割结果投影到时间(T)的捕获图像上(步骤107)。

图5图示了使用投影地图数据的投影处理。在图的(B1)和(B2)中以及在后续的图中，由灰度不同的阴影表示的区域各自指示由所执行的语义分割执行的识别的结果。换句话说，这表明相对于以相同颜色表示的部分识别了相同属性。

假设，当在时间T＝0行进通过图的(A1)中指示的点的车辆在时间T＝1移动到图的(A2)中指示的点时，相对于时间T＝0的输入帧(B0)的所有像素，已经从位置信息和关于距离的信息中确定输入帧(B0)的像素对应于时间T＝1的输入帧的像素中的哪个，如图中图示地。

在这种情况下，相对于时间T＝1的输入帧的语义分割的结果(B1)被投影到时间T＝1的输入帧的整个区域上，如图的(B2)中图示的。因此，相对于时间T＝1的输入帧执行的语义分割的冗余处理减少，计算量减少，并且识别准确度(稳定性)提高。

图6图示了计算未观察区域的处理。当在T＝0行进通过图的(A1)中指示的点的车辆在时间T＝1移动到图的(A2)中指示的点时，在时间T＝1的输入帧中出现了相对于时间T＝0的输入帧(B0)的语义分割的结果(B1)未被投影到其上的未观察区域R，如图的(B2)中图示的。这与上述图5的情况不同。

如上所述，取决于由相机捕获的图像的构成，所有语义分割结果都可以被投影到下一帧上，或者在下一帧中出现语义分割结果的一部分未被投影到其上的未观察区域。

这里，详细地描述投影地图生成的处理和未观测区域设置的处理。

图7详细图示了投影地图生成处理，图8是图示投影地图生成处理流程的流程图。

如图7中图示的，投影地图生成器12包括点云变换部121、坐标变换部122、平面投影部123和地图生成器124作为功能块。

首先，点云变换部121从车辆外部信息检测单元7400获取深度图像数据D(包括每个像素的距离信息的捕获图像)。深度图像数据在其中存储有每对图像坐标(u,v)的距离数据(z)。

随后，点云变换部121将深度图像D的所有像素变换为基于每个像素坐标对的距离信息的三维点云数据P(图7的(A)以及图8的步骤201)。点云数据P在其中存储有每组点云坐标(x,y,z)的变换源图像坐标对(u,v)。

随后，相对于点云数据P中所包括的所有点云，坐标变换部122基于从相对移动估计器11获取的相对移动量数据(Rt)来对每个点云数据P执行坐标变换，相对移动量数据(Rt)是相机的相对移动量的数据(图7的(B)以及图8的步骤202)。通过坐标变换而获得的点云数据P’在其中存储有通过坐标变换获得的每组点云坐标(x,y,z)的变换源深度图像的图像坐标对(u,v)。

随后，相对于通过坐标变换获得的点云数据P'中所包括的所有点云，平面投影部123将点云数据P'投影到图像平面上(图7的(C)和图8的步骤203)。重复步骤202和203的过程，以生成在坐标变换之后的深度图像数据D'。对于每个图像坐标对(u,v)，坐标变换后的深度图像数据D'在其中存储有坐标变换后的距离数据(z)和变换源图像坐标对(u,v)。

接下来，相对于坐标变换后的深度图像D'的所有像素，地图生成器124将变换源帧的后一个(移动后的)帧中的像素的坐标对与(移动前的)变换源帧中的像素的坐标对关联，以生成投影地图数据M(图7的(D)和图8的步骤204)。

投影地图数据M在其中存储有针对移动后的帧的每个图像坐标对(u,v)的变换源帧的图像坐标对(u,v)。投影地图数据M指示对应关系，该对应关系指示当移动前的帧中的坐标对的语义分割结果被投影到移动后的帧中的坐标对上时移动前的帧中的哪个坐标对将与移动后的帧中的坐标对关联。

图9详细图示了未观察区域设置处理，图10是图示未观察区域设置处理的流程的流程图。

如图9中图示的，未观察区域设置部14包括未关联像素提取部141作为功能块。

相对于投影地图数据M中的各个像素的坐标对的所有，未关联像素提取部141执行以下处理：将坐标对与下一帧(T)中的像素的坐标对关联，以提取下一帧(T)中包括的与投影地图数据M中的像素不关联的未关联像素(或包括该未关联像素的区域)作为未观察区域R(步骤301)。

因此，相对于下一帧(T-1)中包括的并且由于关联处理而与投影地图数据M中的像素关联的像素(或包括该关联像素的区域)，由语义分割投影部13将相对于原始帧(T-1)的语义分割结果投影到关联像素(或包括该关联像素的区域)上。

另一方面，相对于下一帧(T-1)中包括的没有由于关联处理而与投影地图数据M中的像素关联的未观察区域R，执行生成更新优先级地图的处理，并且由区域语义分割部17新执行语义分割处理以识别未观察区域R的每个像素的属性。

返回图4，区域属性关系确定部15以基于投影地图数据的投影语义分割数据为基础来确定捕获图像中的多个区域的属性之间的关系(步骤108)。

随后，更新优先级地图生成器16基于所确定的区域属性之间的关系来生成更新优先级地图(步骤109)。

图11是用于描述确定区域属性关系的处理和生成更新优先级地图的处理的示图。

当在图的(A)中图示的时间(T-1)的语义分割结果被投影作为在图的(B)中图示的时间(T)的语义分割结果时，区域属性关系确定部15确定在捕获图像中行人的区域和人行道的区域在左侧重叠，并且还确定在捕获图像中行人的区域和路面在右侧重叠。

在这种情况下，人行道上的行人和自行车预计不会处于非常危险的状态。因此，更新优先级地图生成器16为人行道上的行人和自行车的区域赋予低更新优先级，如图的(C)中图示的。

另一方面，路面上的行人和自行车预计会处于危险状态。因此，更新优先级地图生成器16为路面上的行人和自行车的区域赋予高更新优先级。注意的是，在图的(C)中和在后续的图中图示的更新优先级地图中，越深的灰色指示越高的更新优先级。

此外，更新优先级地图生成器16可以为人行道或路面的区域与除其区域之外的区域之间的边界的区域赋予高更新优先级，因为边界区域可以是视线之外的位置，并且另一物体可能突然跑到边界区域之外。

另外，更新优先级地图生成器16不限于基于两个区域的属性之间的关系来生成更新优先级地图，并且可以基于三个或更多个区域的属性之间的关系来生成更新优先级地图。

例如，更新优先级地图生成器16可以为路面上的位于汽车的区域周围的行人和自行车的区域赋予高更新优先级。原因在于，汽车有可能将为了避开行人和自行车而改变其移动。

另外，更新优先级地图生成器16可以为其中路面上的行人和自行车彼此接近的区域赋予高更新优先级。原因在于，行人和自行车有可能将为了避开另一行人和另一自行车而改变它们的移动。

返回图4，更新优先级地图生成器16整合在上述步骤106中基于未观察区域生成的更新优先级地图与在上述步骤109中基于区域属性之间的关系生成的更新优先级地图(步骤110)。

图12图示了如何整合更新优先级地图。假设根据图中的(A)中图示的语义分割结果，基于未观察区域获得图的(B)中图示的更新优先级地图，并且基于区域属性之间的关系获得图的(C)中图示的更新优先级地图。

更新优先级地图生成器16整合这两个更新优先级地图，以生成如图的(D)中图示的整合更新优先级地图。整合的结果是，由于组合了各个更新优先级地图中的优先级的程度，为其中在两个更新优先级地图中分别设置的区域重叠的区域赋予高优先级。

这里，在基于未观察区域的更新优先级地图中，更新优先级地图生成器16可以在整合之前设置比检测到的未观察区域略大的区域，以便提高检测准确度。

另外，在基于区域属性之间的关系的更新优先级地图中，更新优先级地图生成器16可以在整合之前设置比其中例如检测到行人的区域大的区域，以便应对行人的移动。

返回图4，随后，区域语义分割部17基于通过整合获得的更新优先级地图，根据更新优先级(更新频率)相对于每个区域执行语义分割处理(步骤111)。

图13图示了基于通过整合获得的更新优先级地图执行的语义分割处理的示例。

例如，当获得了图的(A)中图示的更新优先级地图时，区域语义分割部17设置如图的(B)中图示的外接高优先级区域的矩形，并相对于外接矩形的区域执行语义分割。

如图的(C)中图示的，当区域语义分割部17考虑到计算资源确定了即使相对于所有外接矩形执行了处理也不会出现延迟时，区域语义分割部17相对于所设置的外接矩形的区域的所有执行语义分割。

另一方面，如图的(D)和(E)中图示的，当考虑到计算资源确定了如果相对于所有外接矩形执行处理将会出现延迟时，可以从语义分割目标中排除低更新优先级的区域。

返回图4，最后，语义分割整合部18整合通过投影获得的时间T的语义分割结果(步骤107)与相对于区域执行的语义分割的结果(步骤111)，并输出整合语义分割数据。然后，终止该一系列的语义分割处理(步骤112)。

如上所述，根据本实施例，车辆控制系统7000的集成控制单元7600并没有相对于每个获取的捕获图像(帧)等同地执行识别处理，而是基于图像中区域的属性来设置执行语义分割处理的频率。这使得能够消除冗余处理并减少计算量。

[修改形式]

本技术不限于上述实施例，并且可以在不脱离本技术的范围的情况下对其进行各种修改。

在上述实施例中，区域属性关系确定部15和更新优先级地图生成器16基于区域属性之间的关系来设置更新优先级，但也可以基于各区域本身的属性来设置更新优先级。例如，可以为信号或标志的区域赋予低更新优先级。考虑到移动速度，与行人的区域相比，可以为自行车的区域赋予更高的更新优先级，而与自行车的区域相比，可以为汽车的区域赋予更高的更新优先级。

另外，更新优先级地图生成器16整合基于未观察区域的更新优先级地图与基于区域属性之间的关系的更新优先级地图，以生成用于执行语义分割的更新优先级地图。作为两个更新优先级地图的补充或者作为两个更新优先级地图中的一个的替代，更新优先级地图生成器16可以整合利用另一参数生成的更新优先级地图。图14至图16是用于描述这样的更新优先级地图的示图。

更新优先级地图生成器16可以根据捕获图像中的区域位置来设置更新优先级。

例如，如图14中图示的，相对于图的(A)中图示的输入帧，更新优先级地图生成器16可以为与车辆行进方向对应的图像中的更靠近中心部分的区域赋予较高的更新优先级，可以为与车辆行进方向不对应的图像中的更靠近端部部分的区域赋予较低的更新优先级，并可以生成图的(B)中图示的更新优先级地图。

此外，例如，与图像的下部部分相比，更新优先级地图生成器16可以为图像的上部部分赋予更高的更新优先级。

另外，更新优先级地图生成器16可以根据车辆的移动(行进)速度并根据捕获图像中的区域的位置来设置更新优先级。

讨论在例如图15中所图示的其中获取了图的(A)中图示的输入帧的情况。当车辆正以高速移动(例如，以80km/h或更高的阈值速度行进)时，更新优先级地图生成器16为图像的中心部分的区域赋予高更新优先级，而为图像的端部部分赋予低更新优先级，如图的(B)中图示的。原因在于，在这种情况下，对于驾驶员而言，向前看通常比环顾周围的区域更重要。

另一方面，当车辆正以低速移动(例如，以30km/h或更低的阈值速度行进)时，更新优先级地图生成器16为图像的中心部分的区域赋予低更新优先级，而为图像的端部部分的区域赋予低更新优先级，如图的(C)中图示的。原因在于，在这种情况下，对于驾驶员而言，环顾周围的区域通常比向前看更重要。

另外，更新优先级地图生成器16可以根据捕获图像中的被摄体与车辆之间的距离(z)来设置更新优先级。

例如，如图16中图示的，当相对于图的(A)中图示的输入帧获得图的(B)中图示的深度图像数据时，更新优先级地图生成器16可以为包括关于较小距离的信息的像素的区域(位置更靠近车辆的被摄体的区域)赋予较高的更新优先级，并且可以为位置更远离车辆的被摄体的区域赋予较低的更新优先级，如图的(C)中图示的。

当图14至图16的更新优先级地图中的至少一个与基于未观察区域的更新优先级地图或基于区域属性之间的关系的更新优先级地图整合时，为其中整合的更新优先级地图的区域重叠的区域(诸如，其中未观察区域与图像中心区域重叠的区域以及其中未观察区域和包括关于小距离的信息的区域重叠的区域)赋予高更新优先级。

在上述实施例中，区域语义分割部17不相对于捕获图像的整体执行语义分割，而是仅相对于由更新优先级地图生成器16设置的区域执行语义分割。然而，区域语义分割部17可以周期性相对于捕获图像的所有区域执行语义分割。这使得周期性补充覆盖由针对每个区域执行的部分识别处理引起的误差。

图17图示了在这种情况下相对于所有区域执行语义分割(下文中被称为所有区域处理)的示例。图的(A)图示了当不执行上述实施例中的周期性全区域处理时执行的时间序列处理的示例。另一方面，当周期性执行全区域处理时，存在长延迟，但在执行全区域处理之后获得准确的识别结果，如图的(B)中图示的。

另外，区域语义分割部17可以周期性执行全区域处理，并且当相对于根据更新优先级选择的有限区域执行语义分割时可许可延迟，如图的(C)中图示的。这导致延迟，但当相对于有限区域执行语义分割时，可以相对于执行识别所必需的所有区域执行处理，而没有由于计算资源而省略处理。

这里，可料想到用于执行全区域处理的各种触发机制。

区域语义分割部17可以在一个未观察区域或多个未观察区域(其上未使用投影地图被执行投影的一个区域或多个区域)的面积的比例等于或大于预定比例时执行全区域处理。当一个未观察区域或多个未观察区域的面积大时，全区域处理和相对于有限区域执行的语义分割之间的计算量的差异小。因此，当区域语义分割部17执行全部区域处理时，这使得能够在抑制计算量增加的同时提高识别准确度。

区域语义分割部17可以在由车辆状态检测部7110检测到的车辆转向角等于或大于预定角度时执行全区域处理。可料想到，当检测到大转向角时，图像捕获目标场景中会有大变化并且未观察区域将增加。因此，当区域语义分割部17在这种情况下执行全区域处理时，这使得能够消除专门检测未观察区域所必需的计算量，并提高识别准确度。

区域语义分割部17可以在车辆正在移动通过预定点时执行全区域处理。由定位部7640获取的GPS信息和地图信息被用作位置信息。

例如，区域语义分割部17可以在区域语义分割部17检测到车辆正在行进上坡道或下坡道时执行全区域处理，该坡道的倾斜度表现为等于或大于预定值的值。可料想到，在陡峭倾斜的上坡道或下坡道上，图像捕获目标场景将有大变化并且未观察区域将增加。因此，当区域语义分割部17在这种情况下执行全区域处理时，这使得能够消除专门检测未观察区域所必需的计算量，并提高识别准确度。

此外，当车辆进入隧道或离开隧道时，区域语义分割部17可以执行全区域处理，因为在这种情况下图像捕获目标场景也将有大变化。

此外，在捕获图像中的其中通过所执行的语义分割而执行的属性识别的结果不太可靠的一个区域或多个区域的面积的比例等于或大于预定比例(例如，50％)时，或在捕获图像中的其属性没有通过所执行的语义分割被识别的一个区域或多个区域的面积的比例等于或大于预定比例(例如，50％)时，区域语义分割部17可以执行全区域处理。

在上述实施例中，区域语义分割部17设置如图13中图示的外接高优先级区域的矩形，并相对于外接矩形的区域执行语义分割。然而，用于设置语义分割目标区域的方法不限于此。例如，区域语义分割部17可以仅将被估计为在语义分割时执行计算所必需的像素的区域而非沿着外接矩形切出的区域设置为语义分割目标。

换句话说，如图18的(A)中图示的，当对输入图像执行多次卷积运算以获得最终语义分割结果(通过跟随上部部分中的箭头执行的处理)时，为了计算最终结果所必需的区域，通过跟随卷积运算的反向仅对必需的区域执行操作就足够了(通过跟随下部部分中的箭头执行的处理)。

因此，当获得了图的(B)中图示的更新优先级地图时，区域语义分割部17可以执行反向计算以获得要获得作为最终结果的由更新优先级地图指示的高优先级区域所必需的区域，可以如图的(C)中图示地设置语义分割目标区域，并可以相对于所设置的区域执行语义分割。

在这种情况下，区域语义分割部17还可以在考虑到计算资源确定将出现延迟时从语义分割目标中排除低优先级区域。

在上述实施例中，已经描述了其中车辆(汽车)是安装有用作信息处理装置的集成控制单元7600的移动体的示例。然而，安装有能够执行与由集成控制单元7600执行的信息处理类似的信息处理的信息处理装置的移动体不限于车辆。例如，信息处理装置可以被设置为安装在诸如摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、施工机械或农用机械(拖拉机)之类的任何类型的移动体上的装置。在这种情况下，根据移动体，不同地识别上述属性(诸如，行人、车辆、路面和人行道)之间的关系。

另外，安装有上述信息处理装置的目标不限于移动体。例如，本技术相对于由监视相机捕获的图像也是适用的。在这种情况下，不执行在上述实施例中已经描述的与车辆移动关联的处理，但可以随着由监视相机执行的摇摄(panning)、倾斜和变焦来改变图像捕获目标。因此，当除了生成基于区域的属性的更新优先级地图之外还生成基于未观察区域的更新优先级地图时，本技术也是适用的。

[其它]

本技术还可以采取以下配置。

(1)一种信息处理装置，包括：

输入设备，其被输入由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；以及

控制器，其：

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像，

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联，并且

辨识在所述移动后捕获图像中包括的与所述经变换捕获图像的像素不关联的未关联像素。

(2)根据(1)所述的信息处理装置，其中，

所述控制器

执行识别所述移动后捕获图像中的所述未关联像素的属性的识别处理，并且

将所述识别处理的结果投影到所述移动后捕获图像中的关联像素上或包括所述关联像素的区域上，所述识别处理是相对于所述捕获图像中包括的与所述关联像素或包括所述关联像素的区域对应的像素执行的。

(3)根据(2)所述的信息处理装置，其中，

所述控制器生成通过将所述移动后捕获图像的像素的坐标对与所述捕获图像的像素的坐标对关联以便执行所述投影而获得的地图。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，

所述控制器

将所述捕获图像变换为基于每个像素的距离信息的三维点云数据，

生成通过基于所述移动量相对于所述三维点云数据执行变换而获得的移动点云数据，并且

将所述移动点云数据投影到图像平面上以生成所述经变换捕获图像。

(5)根据(2)至(4)中任一项所述的信息处理装置，其中，

所述控制器根据所述移动后捕获图像中的所述未关联像素的位置来设置执行识别处理的优先级。

(6)根据(5)所述的信息处理装置，其中，

所述控制器根据所述移动后捕获图像中的所述未关联像素的位置并根据所述移动体的移动速度来为每个未关联像素设置执行识别处理的优先级。

(7)根据(2)至(6)中任一项所述的信息处理装置，其中，

所述控制器根据所述未关联像素的距离信息来为每个未关联像素设置执行识别处理的优先级。

(8)一种信息处理方法，包括：

获取由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在所述移动后捕获图像中包括的与所述经变换捕获图像的像素不关联的未关联像素。

(9)一种使信息处理装置执行包括以下步骤的处理的程序：

获取由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在所述移动后捕获图像中包括的、与所述经变换捕获图像的像素不关联的未关联像素。

参考符号列表

11 相对移动估计器

12 投影地图生成器

13 语义分割投影部

14 未观察区域设置部

15 区域属性关系确定部

16 更新优先级地图生成器

17 区域语义分割部

18 语义分割整合部

121 点云变换部

122 坐标变换部

123 平面投影部

124 地图生成器

141 未关联像素提取部

7000 车辆控制系统

7400 车辆外部信息检测单元

7600 集成控制单元

7610 微型计算机

7680 车载网络I/F

7690 存储部

R 未观察区域

Claims (9)

1.一种信息处理装置，包括：

输入设备，其被输入由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；以及

控制器，其：

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像，

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联，并且

辨识在所述移动后捕获图像中包括的、与所述经变换捕获图像的像素不关联的未关联像素。

2.根据权利要求1所述的信息处理装置，其中，

所述控制器

执行识别所述移动后捕获图像中的所述未关联像素的属性的识别处理，并且

将识别处理的结果投影到所述移动后捕获图像中的关联像素上或包括所述关联像素的区域上，所述识别处理是相对于所述捕获图像中包括的、与所述关联像素或包括所述关联像素的所述区域对应的像素执行的。

3.根据权利要求2所述的信息处理装置，其中，

所述控制器生成通过将所述移动后捕获图像的像素的坐标对与所述捕获图像的像素的坐标对关联以便执行所述投影而获得的地图。

4.根据权利要求1所述的信息处理装置，其中，

所述控制器

将所述捕获图像变换为基于每个像素的距离信息的三维点云数据，

生成通过基于所述移动量相对于所述三维点云数据执行变换而获得的移动点云数据，并且

将所述移动点云数据投影到图像平面上以生成所述经变换捕获图像。

5.根据权利要求2所述的图像处理装置，其中，

所述控制器根据所述移动后捕获图像中的所述未关联像素的位置来设置执行识别处理的优先级。

6.根据权利要求5所述的信息处理装置，其中，

所述控制器根据所述移动后捕获图像中的所述未关联像素的位置并根据所述移动体的移动速度来为每个未关联像素设置执行识别处理的优先级。

7.根据权利要求2所述的信息处理装置，其中，

所述控制器根据所述未关联像素的距离信息来为每个未关联像素设置执行识别处理的优先级。

8.一种信息处理方法，包括：

获取由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在所述移动后捕获图像中包括的与所述经变换捕获图像的像素不关联的未关联像素。

9.一种使信息处理装置执行包括以下步骤的处理的程序：

获取由相机捕获的捕获图像，所述捕获图像包括每个像素的距离信息；

生成通过基于所述相机或安装有所述相机的移动体的移动量变换所述捕获图像的各个像素的坐标对而获得的经变换捕获图像；

将所述经变换捕获图像的像素的坐标对与所述相机在移动后的位置处捕获的移动后捕获图像的像素的坐标对关联；以及

辨识在所述移动后捕获图像中包括的、与所述经变换捕获图像的像素不关联的未关联像素。

Images