CN115918101A - 摄像装置、信息处理装置、摄像系统和摄像方法 - Google Patents

Abstract

本发明抑制传输延迟。根据实施例的摄像装置包括：图像传感器(101)，其用于获取图像数据；以及控制单元(102)，其用于控制图像传感器。控制单元使图像传感器基于一个或多个摄像区域和针对每个摄像区域确定的分辨率执行第二摄像，所述一个或多个摄像区域是基于通过使图像传感器执行第一摄像而获取的图像数据确定的。每个摄像区域是图像传感器中的有效像素区域的部分区域。

Description

摄像装置、信息处理装置、摄像系统和摄像方法

技术领域

本公开涉及摄像装置、信息处理装置、摄像系统和摄像方法。

背景技术

近年来，根据诸如汽车和机器人等的移动体的自动化和物联网(IoT：Internet ofThings)等的普及，人们强烈希望提高图像识别的速度和精度。

引用列表

专利文献

专利文献1：JP 2008-172441 A

发明内容

技术问题

近年来，随着摄像装置的分辨率和灰度的提高，图像识别中处理的数据量急剧增加。因此，从摄像装置传输到识别装置等的数据量增加。因此，已经发生诸如传输延迟等的缺陷。

因此，本公开提出了一种能够抑制传输延迟的摄像装置、信息处理装置、摄像系统和摄像方法。

问题的解决方案

为了解决上述问题，根据本公开的实施例的摄像装置包括：图像传感器，其被配置为获取图像数据；和控制单元，其控制图像传感器，其中控制单元使图像传感器基于一个或多个摄像区域和针对每个摄像区域确定的分辨率执行第二摄像，该一个或多个摄像区域是基于通过使图像传感器执行第一摄像而获取的图像数据而确定的，并且每个摄像区域是图像传感器中的有效像素区域的部分区域。

附图说明

图1是示出车辆控制系统的构造示例的框图。

图2是示出感测区域的示例的图。

图3是示出根据第一实施例的识别系统的概要的框图。

图4是示出根据第一实施例的摄像装置的示意性构造示例的框图。

图5是用于说明一般识别处理的图。

图6是用于说明一般识别处理的图。

图7是用于说明根据第一实施例的识别处理的图。

图8是示出根据第一实施例的第一操作示例的识别系统的示意性操作的流程图。

图9是用于说明根据第一实施例的第一操作示例的识别处理时间的缩短的时序图。

图10是更详细地示出图9中的一个帧时段的时序图。

图11是示出根据第一实施例的第二操作示例的识别系统的示意性操作的流程图。

图12是示出根据第一实施例的第三操作示例的识别系统的示意性操作的流程图。

图13是示出根据第一实施例的第四操作示例的识别系统的示意性操作的流程图。

图14是根据第一实施例的用于说明失真校正的图。

图15是示出根据第一实施例的失真校正操作的示例的流程图。

图16是用于说明第一实施例的第一变形例中的针对每个区域设置的分辨率的图。

图17是示出根据第一实施例的第一变形例的识别系统的示意性操作的流程图。

图18是用于说明第一实施例的第二变形例中的针对每个区域设置的分辨率的图。

图19是示出根据第一实施例的第二变形例的识别系统的示意性操作的流程图。

图20是示出根据第二实施例的识别系统的概要的框图。

图21是示出根据第二实施例的摄像装置的示意性构造示例的框图。

图22是示出在第二实施例的特定帧时段中获取的图像数据的示例的图。

图23是示出当不应用第二实施例时在下一帧时段中获取的图像数据的示例的图。

图24是示出当应用第二实施例时在下一帧时段中获取的差分图像的示例的图。

图25是用于说明根据第二实施例的整体图像的重构的图。

图26是示出根据第二实施例的第一操作示例的识别系统的示意性操作的流程图。

图27是示出根据第二实施例的第二操作示例的识别系统的示意性操作的流程图。

图28是用于说明根据第二实施例的第三操作示例的部分区域的示意图。

图29是用于说明根据第二实施例的第四操作示例的读取操作的图。

图30是用于说明根据第二实施例的第四操作示例的变形例的读取操作的图。

图31是用于说明根据第二实施例的失真校正的示意图。

图32是示出实现根据本公开的信息处理装置的功能的计算机的示例的硬件构造图。

具体实施方式

下面将参照附图详细说明本公开的实施例。注意，在下面说明的实施例中，通过将相同部分用相同附图标记和符号表示来省略重复说明。

根据以下项目顺序来说明本公开。

1.车辆控制系统的构造示例

2.第一实施例

2.1识别系统的示意性构造示例

2.2摄像装置的示意性构造示例

2.3关于识别处理所需的时间的冗余抑制

2.4操作示例

2.4.1第一操作示例

2.4.2第二操作示例

2.4.3第三操作示例

2.4.4第四操作示例

2.5 关于失真校正

2.6 作用和效果

2.7 变形例

2.7.1第一变形例

2.7.2第二变形例

3.第二实施例

3.1识别系统的示意性构造示例

3.2摄像装置的示意性构造示例

3.3关于识别处理所需的时间的冗余抑制

3.4操作示例

3.4.1第一操作示例

3.4.2第二操作示例

3.4.3第三操作示例

3.4.4第四操作示例

3.4.4.1第四操作示例的变形例

3.5 失真校正

3.6 作用和效果

4.硬件构造

1.车辆控制系统的构造示例

图1是示出车辆控制系统11的构造示例的框图，该车辆控制系统是本技术适用的移动装置控制系统的示例。

车辆控制系统11设置在车辆1中，并且执行与车辆1的行驶辅助和自动驾驶有关的处理。

车辆控制系统11包括车辆控制电子控制单元(ECU：Electronic Control Unit)21、通信单元22、地图信息累积单元23、全球导航卫星系统(GNSS：Global NavigationSatellite System)接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、行驶辅助/自动驾驶控制单元29、驾驶员监视系统(DMS：driver monitoring system)30、人机界面(HMI：human machine interface)31和车辆控制单元32。

车辆控制ECU 21、通信单元22、地图信息累积单元23、GNSS接收单元24、外部识别传感器25、车载传感器26、车辆传感器27、记录单元28、行驶辅助/自动驾驶控制单元29、DMS30、HMI 31和车辆控制单元32经由通信网络41彼此可通信地连接。通信网络41例如由遵循诸如控制器区域网络(CAN：Controller Area Network)、本地互连网络(LIN：LocalInterconnect Network)、局域网(LAN：Local Area Network)、FlexRay(注册商标)或Ethernet(注册商标)等数字双向通信标准的车载通信网络或总线等构造。通信网络41可以根据要通信的数据类型适当地使用。例如，CAN应用于与车辆控制有关的数据，Ethernet用于大容量数据。注意，车辆控制系统11中的每个单元可以不经由通信网络41直接连接，例如使用假定在相对较短距离上进行通信的无线通信(例如近场通信(NFC：near fieldcommunication)或Bluetooth(注册商标))。

注意，在以下说明中，当车辆控制系统11的单元经由通信网络41进行通信时，省略了通信网络41的说明。例如，在车辆控制ECU 21和通信单元22经由通信网络41进行通信的情况下，简单地说明了处理器21和通信单元22进行通信。

车辆控制ECU 21例如由诸如中央处理单元(CPU：Central Processing Unit)和微处理单元(MPU：Micro Processing Unit)等各种处理器构造。车辆控制ECU 21控制车辆控制系统11的全部或部分功能。

通信单元22与车辆内外的各种装置、其他车辆、服务器、基站等通信，并且收发各种数据。此时，通信单元22可以使用多个通信方式进行通信。

示意性地说明通信单元22能够执行的与车辆外部的通信。通信单元22根据无线通信方式经由基站或接入点与存在于外部网络上的服务器(以下称为外部服务器)等进行通信，无线通信方式为诸如第五代移动通信系统(5G：5th generation mobilecommunication system)、长期进化(LTE：Long Term Evolution)或专用近距离通信(DSRC：Dedicated Short Range Communication)。通信单元22与其进行通信的外部网络例如是因特网、云网络、公司专用网络等。通信单元22向外部网络进行通信的通信方式没有特别限制，只要该通信方式是能够以等于或高于预定通信速度的通信速度且在等于或长于预定距离的距离处进行数字双向通信的无线通信方式即可。

例如，通信单元22可以使用P2P(点对点：Peer to Peer)技术与位于本车辆附近的终端通信。本车辆附近的终端例如是诸如行人或自行车等以相对较低的速度移动的移动体所携带的终端、在固定位置处安装在商店等中的终端或机器型通信(MTC：Machine TypeCommunication)终端等。此外，通信单元22还可以执行V2X通信。该V2X通信是指例如本车辆与另一车辆之间的通信(诸如本车辆与另一车辆之间的车辆对车辆通信等)、本车辆与路边装置等之间的车辆对基础设施通信、本车辆与家庭之间的车辆对家庭通信以及本车辆与由行人携带的终端等之间的车辆对行人通信。

例如，通信单元22可以从外部接收用于更新用于控制车辆控制系统11的操作的软件的程序(Over The Air(无线方式))。通信单元22还可以从外部接收地图信息、交通信息、车辆1周围的信息等。此外，例如，通信单元22可以向外部发送与车辆1有关的信息、车辆1周围的信息等。通信单元22向外部发送的与车辆1有关的信息的示例包括表示车辆1的状态的数据、识别单元73的识别结果等。此外，例如，通信单元22进行与诸如eCall等车辆紧急呼叫系统相对应的通信。

示意性地说明通信单元22能够执行的与车辆内部的通信。通信单元22可以使用例如无线通信与车辆中的装置通信。通信单元22可以通过诸如无线LAN、Bluetooth、NFC或WUSB(无线USB)等无线通信根据能够以等于或高于预定通信速度的通信速度进行数字双向通信的通信方式与车辆中的装置进行无线通信。不仅如此，通信单元22还可以使用有线通信与车辆中的装置通信。例如，通信单元22可以经由连接到未图示的连接端子的电缆通过有线通信与车辆中的装置通信。通信单元22可以通过诸如通用串行总线(USB：UniversalSerial Bus)、高清多媒体接口(HDMI：High-Definition Multimedia Interface)(注册商标)或移动高清链路(MHL：Mobile High-Definition Link)等有线通信根据能够以等于或高于预定通信速度的通信速度进行数字双向通信的通信方式与车辆中的装置通信。

这里，车辆中的装置例如表示车辆中的未连接到通信网络41的装置。作为车辆中的装置，例如假设是由诸如驾驶员等乘员携带的移动装置和可穿戴装置、被带入车辆中并临时安装的信息装置等。

例如，通信单元22接收由道路交通信息通信系统(VICS：Vehicle Informationand Communication System)(注册商标)发送的诸如无线电波信标、光信标(opticalbeacon)或FM复用广播等电磁波。

地图信息累积单元23累积从外部获取的地图和车辆1创建的地图中的一个或两个。例如，地图信息累积单元23累积三维高精度地图和精度低于高精度地图且覆盖广阔区域的全局地图等。

例如，高精度地图是动态地图、点云地图(point Cloud map)或矢量地图(vectormap)等。例如，动态地图是包含动态信息、半动态信息、半静态信息和静态信息这四层的地图，并且从外部服务器等被提供给车辆1。点云地图是由点云(点群数据)构造的地图。这里，矢量地图表示适用于高级驾驶员辅助系统(ADAS：Advanced Driver Assistance System)的地图，其中诸如车道和交通信号灯的位置等的交通信息与点云地图相关联。

点云地图和矢量地图可以由例如外部服务器等提供或者可以作为基于雷达52、LiDAR 53等的传感结果与下文说明的局部地图进行匹配的地图由车辆1创建，并累积在地图信息累积单元23中。当从外部服务器等提供高精度地图时，为了减少通信容量，例如，从外部服务器等获取关于车辆1将要行驶的计划路径的数百平方米的地图数据。

GNSS接收单元24从GNSS卫星接收GNSS信号并获取车辆1的位置信息。所接收的GNSS信号被提供给行驶辅助/自动驾驶控制单元29。注意，GNSS接收单元24不限于使用GNSS信号的方式，而且可以使用例如信标获取位置信息。

外部识别传感器25包括用于识别车辆1的外部状况的各种传感器，并且将从这些传感器提供的传感器数据提供给车辆控制系统11的单元。外部识别传感器25所包括的传感器的类型和数量是可选的。

例如，外部识别传感器25包括相机51、雷达52、LiDAR(光检测和测距，激光摄像检测和测距：Light Detection and Ranging,Laser Imaging Detection and Ranging)53和超声波传感器54。不仅如此，外部识别传感器25可被配置为包括相机51、雷达52、LiDAR 53和超声波传感器54中的一个或多个类型的传感器。相机51、雷达52、LiDAR 53和超声波传感器54的数量没有特别限制，只要其能够实际安装在车辆1内即可。外部识别传感器25中所包括的传感器的类型不限于该示例。外部识别传感器25可以包括其他类型的传感器。外部识别传感器25中所包括的传感器的感测区域的示例会在下面说明。

注意，如果相机51的拍摄方式是能够进行距离测量的拍摄方式，则该拍摄方式没有特别限制。例如，作为相机51，可以根据需要应用诸如飞行时间(ToF：Time of Flight)相机、立体相机、单目相机、红外相机等的各种拍摄方式的相机。不仅如此，相机51也可以是用于简单地获取捕获图像而不考虑距离测量的相机。

例如，外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、大气现象和亮度等环境的传感器，并且可以包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器、照度传感器等各种传感器。

此外，例如，外部识别传感器25包括用于检测车辆1周围的声音和声源的位置等的麦克风。

车载传感器26包括用于检测车辆内部信息的各种传感器，并将从传感器提供的传感器数据提供给车辆控制系统11的单元。车载传感器26中所包括的各种传感器的类型和数量没有特别限制，只要其能够实际安装在车辆1上即可。

例如，车载传感器26可以包括相机、雷达、座位传感器、方向盘传感器、麦克风和生物传感器中的一种或多种传感器。作为包括在车载传感器26中的相机，例如可以使用诸如ToF相机、立体相机、单目相机和红外相机等能够进行距离测量的各种拍摄方式的相机。不仅如此，车载传感器26中所包括的相机可以是用于简单地获取捕获图像而不考虑距离测量的相机。车载传感器26中所包括的生物传感器例如设置在座椅或方向盘上，并且检测诸如驾驶员等乘员的各种生物信息。

车辆传感器27包括用于检测车辆1的状态的各种传感器，并且将从该传感器提供的传感器数据提供给车辆控制系统11的单元。车辆传感器27中所包括的各种传感器的类型和数量没有特别限制，只要其能够实际安装在车辆1上即可。

例如，车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和通过整合这些传感器而获得的惯性测量单元(IMU：inertial measurement unit)。例如，车辆传感器27包括检测方向盘的转向角的转向角传感器、横摆角速度(yaw rate)传感器、检测油门踏板的操作量的加速器传感器和检测制动踏板的操作量的制动传感器。例如，车辆传感器27包括检测发动机或电动机转速的旋转传感器、检测轮胎的气压的空气压力传感器、检测轮胎的滑移率(slip rate)的滑移率传感器和检测车轮的转速的轮速传感器等。例如，车辆传感器27包括检测电池剩余电力和温度的电池传感器和检测来自外部的冲击的冲击传感器。

记录单元28包括非易失性存储介质和易失性存储介质中的至少一个，并且存储数据和程序。记录单元28例如用作电可擦除可编程只读存储器(EEPROM：ElectricallyErasable Programmable Read Only Memory)和随机存取存储器(RAM：Random AccessMemory)。作为存储介质，可以应用诸如硬盘驱动器(HDD：Hard Disc Drive)、半导体存储装置、光存储装置和磁光存储装置等磁存储装置。记录单元28记录由车辆控制系统11的单元使用的各种程序和数据。例如，记录单元28包括事件数据记录器(EDR：Event DataRecorder)和自动驾驶用数据存储系统(DSSAD：Data Storage System for AutomatedDriving)，并且记录在诸如事故等事件之前和之后与车辆1有关的信息和由车载传感器26获取的生物信息。

行驶辅助/自动驾驶控制单元29控制车辆1的行驶支持和自动驾驶。例如，行驶辅助/自动驾驶控制单元29包括分析单元61、行动计划单元62和操作控制单元63。

分析单元61对车辆1及其周围的情况进行分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。

自身位置估计单元71基于从外部识别传感器25提供的传感器数据和累积在地图信息累积单元23中的高精度地图来估计车辆1的自身位置。例如，自身位置估计单元71基于从外部识别传感器25提供的传感器数据生成局部地图，并且通过将局部地图与高精度地图匹配来估计车辆1的自身位置。车辆1的位置例如基于后轮对轴(rear wheel pair axle)的中心。

例如，局部地图是使用诸如同步定位与地图构建(SLAM：SimultaneousLocalization and Mapping)技术创建的三维高精度地图或占用栅格地图(occupancygrid map)等。例如，三维高精度地图就是上述点云地图。占用栅格地图是将车辆1周围的三维或二维空间分割成预定大小的网格，以便以网格为单位表示物体的占用状态的地图。例如，物体的占用状态由物体的存在与否或存在概率表示。局部地图还用于例如由识别单元73进行的车辆1的外部情况的检测处理和识别处理。

注意，自身位置估计单元71可以基于GNSS信号和从车辆传感器27提供的传感器数据来估计车辆1的自身位置。

传感器融合单元72执行用于组合多种不同类型的传感器数据(例如，从相机51提供的图像数据和从雷达52提供的传感器数据)以获得新信息的传感器融合处理。作为组合不同类型的传感器数据的方法，有整合、融合和关联等。

识别单元73执行用于检测车辆1的外部情况的检测处理和用于识别车辆1的外部情况的识别处理。

例如，识别单元73基于从外部识别传感器25提供的信息、从自身位置估计单元71提供的信息和从传感器融合单元72提供的信息等对车辆1的外部情况进行检测处理和识别处理。

具体地，例如，识别单元73对车辆1周围的物体进行检测处理和识别处理等。对物体的检测处理例如是用于检测物体的有无、大小、形状、位置和运动等的处理。例如，对物体的识别处理是用于识别诸如物体的类型等属性并识别特定物体的处理。然而，检测处理和识别处理并不总是明确地区分开，并且有时还会重叠。

例如，识别单元73通过进行用于将基于由LiDAR 53或雷达52等获取的传感器数据的点云分类为点群的各块的聚类，来检测车辆1周围的物体。结果，可以检测车辆1周围的物体的有无、大小、形状和位置。

例如，识别单元73通过进行用于跟随通过聚类而分类的点群块的运动的跟踪，来检测车辆1周围的运动。结果，检测车辆1周围的物体的速度和行驶方向(运动矢量)。

例如，识别单元73相对于从相机51提供的图像数据检测或识别车辆、人、自行车、障碍物、结构体、道路、交通灯、交通标志和道路标志等。可以通过进行诸如语义分割(semantic segmentation)等识别处理来识别车辆1周围的物体的类型。

例如，识别单元73可以基于在地图信息累积单元23中累积的地图、由自身位置估计单元71得到的自身位置的估计结果以及由识别单元73得到的车辆1周围物体的识别结果来对车辆1周围的交通规则进行识别处理。通过该处理，识别单元73可以识别交通灯的位置和状态、交通标志和道路标志的内容、交通规则的内容和可行驶车道等。

例如，识别单元73可以对车辆1周围的环境进行识别处理。假设天气、温度、湿度、亮度和路面状态等作为要由识别单元73识别的车辆1周围的环境。

行动计划单元62创建车辆1的行动计划。例如，行动计划单元62通过进行用于路径规划和路径跟随的处理来创建行动计划。

注意，全局路径规划(global path planning)是用于规划从开始到目标的大致路径的过程。该路径规划被称为轨道规划(track planning)，并且包括局部路径规划的处理，局部路径规划在由路径规划规划的路径中，考虑到车辆1的运动特性，使得能够在车辆1附近安全平稳地行驶。路径规划可以区别于长期路径规划，并且启动生成可以区别于短期路径规划或局部路径规划。安全优先路径表示类似于启动生成、短期路径规划或局部路径规划的概念。

路径跟随是用于在由路径规划规划的路径上在计划时间内安全且准确地行驶的规划操作的处理。行动计划单元62可以基于例如路径跟随处理的结果来计算车辆1的目标速度和目标角速度。

操作控制单元63控制车辆1的操作以实现由行动计划单元62创建的行动计划。

例如，操作控制单元63控制包括在下面说明的车辆控制单元32中的转向控制单元81、制动控制单元82和驱动控制单元83，并且进行加速/减速控制和方向控制，使得车辆1在通过轨道规划计算出的轨道上行驶。例如，操作控制单元63执行协作控制，以实现诸如碰撞避免或减震、跟随行驶、车速保持行驶、本车的碰撞警告和本车车道偏离警告等的ADAS的功能。例如，操作控制单元63出于自动驾驶等的目的而执行协作控制，以便进行自动行驶，而不依赖于驾驶员的操作。

DMS 30基于从车载传感器26提供的传感器数据、输入到下面说明的HMI 31的输入数据等来执行对驾驶员的认证处理和驾驶员状态的识别处理等。在这种情况下，例如，假设身体状况、清醒程度、注意力水平、疲劳程度、视线方向、醉酒程度、驾驶操作和姿势等作为DMS 30要识别的驾驶员的状态。

注意，DMS 30可以对除驾驶员之外的乘员执行认证处理和乘员状态的识别处理。例如，DMS 30可以基于从车载传感器26提供的传感器数据来执行车辆内部情况的识别处理。例如，假设温度、湿度、亮度和气味等作为要识别的车辆内部情况。

HMI 31输入各种数据和指令等，并向驾驶员等呈现各种数据。

示意性地说明由HMI 31输入的数据。HMI 31包括由人输入数据用的输入装置。HMI31基于由输入装置输入的数据或指令等生成输入信号，并将输入信号提供给车辆控制系统11的单元。HMI 31包括诸如触摸面板、按钮、开关和杆等操作件作为输入装置。不仅如此，HMI 31还可以包括能够通过语音或手势等除手动操作以外的方法输入信息的输入装置。此外，HMI 31可以使用例如使用红外线或无线电波的远程控制装置或适用于车辆控制系统11的操作的诸如移动装置或可穿戴装置等的外部连接装置作为输入装置。

示意性地说明由HMI 31呈现的数据。HMI 31生成针对乘员或车辆外部的视觉信息、听觉信息和触觉信息。HMI 31执行用于控制这些种类的生成信息的输出、输出内容、输出定时和输出方法等的输出控制。HMI31生成并输出例如操作画面、车辆1的状态显示、警告显示、诸如指示车辆1周围的情况的监视器图像等的图像以及由光指示的信息作为视觉信息。HMI 31生成并输出由诸如语音引导、警告声音和警告消息等的声音指示的信息作为听觉信息。此外，HMI 31生成并输出通过例如力、振动或运动等给予乘员触觉的信息作为触觉信息。

作为HMI 31用来输出视觉信息的输出装置，例如，可以应用通过自身显示图像来呈现视觉信息的显示装置或通过投影图像来呈现视觉信息的投影仪装置。注意，显示装置除了包括普通显示器的显示装置之外，还可以是在乘客的视野中显示视觉信息的装置，诸如平视显示器、透射型显示器或具有增强现实(AR：Augmented Reality)功能的可穿戴装置。在HMI 31中，包括在车辆1中提供的导航装置、仪表板、相机监控系统(CMS：CameraMonitoring System)、电子镜或灯等中的显示装置也可以用作输出视觉信息的输出装置。

作为HMI 31用来输出听觉信息的输出装置，例如，可以应用音频扬声器、头戴式收话器或耳机。

作为HMI 31用来输出触觉信息的输出装置，例如，可以应用使用触觉技术的触觉元件。触觉元件设置在例如车辆1的乘员与之接触的诸如方向盘或座椅等的部分中。

车辆控制单元32控制车辆1的各单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85和喇叭控制单元86。

转向控制单元81检测并控制车辆1的转向系统的状态。转向系统包括例如包括方向盘等的转向机构和电动动力转向等。转向控制单元81包括控制转向系统的诸如ECU等控制单元和驱动转向系统的致动器等。

制动控制单元82执行车辆1的制动系统的状态的检测和控制等。制动系统包括例如包括制动踏板等的制动机构、防抱死制动系统(ABS：Antilock Brake System)和再生制动机构。制动控制单元82包括例如控制制动系统的诸如ECU等控制单元。

驱动控制单元83执行车辆1的驱动系统的状态的检测和控制等。驱动系统包括例如用于产生驱动力的诸如油门踏板、内燃机或驱动马达等的驱动力产生装置和用于将驱动力传递到车轮的驱动力传递机构等。驱动控制单元83包括例如控制驱动系统的诸如ECU等控制单元。

车身系统控制单元84执行车辆1的车身系统的状态的检测和控制等。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带和变速杆等。车身系统控制单元84包括例如控制车身系统的诸如ECU等控制单元。

灯控制单元85执行车辆1的各种灯的状态的检测和控制等。例如，假设前灯、后灯、雾灯、转向灯、刹车灯、投影和保险杠的显示等作为要控制的灯。灯控制单元85包括例如进行灯控制的诸如ECU等控制单元。

喇叭控制单元86执行车辆1的汽车喇叭的状态的检测和控制等。喇叭控制单元86包括例如控制汽车喇叭的诸如ECU等的控制单元。

图2是示出图1图示的外部识别传感器25的相机51、雷达52、LiDAR53和超声波传感器54等的感测区域的示例的图。注意，图2示意性地示出从上方观察车辆1的状态，其中左端侧是车辆1的前端(前)侧，右端侧是车辆1的后端(后)侧。

感测区域91F和感测区域91B表示超声波传感器54的感测区域的示例。感测区域91F用多个超声波传感器54覆盖车辆1的前端周围。感测区域91B用多个超声波传感器54覆盖车辆1的后端周围。

感测区域91F和感测区域91B中的感测结果例如用于车辆1的停车辅助。

感测区域92F和感测区域92B表示针对短距离或中距离的雷达52的感测区域的示例。感测区域92F在车辆1的前方覆盖直到比感测区域91F更远的位置。感测区域92B在车辆1的后方覆盖直到比感测区域91B更远的位置。感测区域92L覆盖车辆1的左侧表面的后部周围。感测区域92R覆盖车辆1的右侧表面的后部周围。

感测区域92F中的感测结果用于例如检测车辆1前方存在的车辆或行人等。感测区域92B中的感测结果用于例如车辆1后方的碰撞防止功能等。感测区域92L和感测区域92R中的感测结果用于例如检测车辆1的侧面盲点中的物体。

感测区域93F和感测区域93B表示相机51的感测区域的示例。感测区域93F在车辆1的前方覆盖直到比感测区域92F更远的位置。感测区域93B在车辆1的后放覆盖直到比感测区域92B更远的位置。感测区域93L覆盖车辆1的左侧表面的周围。感测区域93R覆盖车辆1的右侧表面的周围。

感测区域93F中的感测结果可用于例如交通灯或交通标志的识别、车道偏离防止辅助系统和自动前灯控制系统。感测区域93B中的感测结果可用于例如停车辅助和车载全景可视系统(surround view system)。感测区域93L和感测区域93R中的感测结果可用于例如车载全景可视系统。

感测区域94表示LiDAR 53的感测区域的示例。感测区域94在车辆1的前方覆盖直到比感测区域93F更远的位置。另一方面，感测区域94在左右方向上具有比感测区域93F窄的范围。

感测区域94中的感测结果用于例如检测诸如周围车辆等物体。

感测区域95表示远程雷达52的感测区域的示例。感测区域95在车辆1的前方覆盖直到比感测区域94更远的位置。另一方面，感测区域95在左右方向上具有比感测区域94窄的范围。

感测区域95中的感测结果用于例如自适应巡航控制(ACC：Adaptive CruiseControl)、紧急制动和碰撞避免。

注意，外部识别传感器25中包括的相机51、雷达52、LiDAR 53和超声波传感器54的传感器的感测区域可以具有不同于图2所示的构造的各种构造。具体地，超声波传感器54可以感测车辆1的侧面或者LiDAR53可以感测车辆1的后方。此外，传感器的安装位置不限于以上说明的示例。传感器的数量可以是一个或者可以是多个。

在上述构造中，当外部识别传感器25(例如，相机51)的分辨率和灰度增加时，在图像识别中处理的数据量显著增加。因此，例如，通过通信网络41从外部识别传感器25传输到行驶辅助/自动驾驶控制单元29的识别单元73的数据量增加。结果，可能出现诸如传输延迟等缺陷。这直接导致识别处理所需时间的冗余。因此，这是特别是在安装在需要实时性能的装置(诸如车载装置或自主移动体等)上的识别系统中要解决的问题。

因此，在以下说明的实施例中，提出了能够抑制传输延迟的摄像装置、信息处理装置、摄像系统以及摄像方法。注意，上述车辆控制系统只是下面说明的实施例的应用目标的示例。也就是说，下面说明的实施例可以应用于涉及诸如图像数据等数据的传输的各种装置、系统、方法和程序等。

2.第一实施例

首先，参照附图详细说明本公开的第一实施例。本实施例示出了在传输由获取彩色图像或单色图像的摄像装置获取的图像数据时通信业务量减少的情况。

2.1识别系统的示意性构造示例

图3是示出根据本实施例的识别系统的概要的框图。如图3所示，识别系统包括摄像装置100和识别单元120。识别单元120可以相当于例如权利要求书中处理单元的示例。

摄像装置100相当于例如以上参照图1说明的相机51和车载传感器26等，并且生成并输出彩色图像或单色图像的图像数据。输出的图像数据经由诸如以上参照图1说明的通信网络41等预定网络被输入到识别单元120。

识别单元120相当于例如以上参照图1说明的识别单元73等，并且通过对从摄像装置100输入的图像数据执行识别处理来检测图像中包括的物体和背景等。注意，除了诸如汽车、自行车或行人等的移动物体之外，物体还可以包括诸如建筑物、房屋或树等固定物体。另一方面，背景可以是位于远处的诸如天空、山脉、平原或海洋等大范围区域。

识别单元120将作为对图像数据的识别处理的结果而获得的物体的区域或背景的区域确定为感兴趣区域(ROI：Region of Interest)，该ROI是图像传感器101中的有效像素区域的部分区域。此外，识别单元120确定ROI的分辨率。然后，识别单元120通知摄像装置100关于所确定的ROI和所确定的分辨率的信息(以下称为ROI/分辨率信息)，以在摄像装置100中设置要读取的ROI和从ROI读取图像数据时的分辨率。

注意，关于ROI的信息可以是例如关于用作ROI的起点的像素的地址以及垂直和水平方向上的大小的信息。在这种情况下，各ROI为矩形区域。然而，不仅如此，ROI可以是圆形、椭圆形或多边形，或者可以是由用于指定边界(轮廓)的信息指定的不确定形状区域。当确定了多个ROI时，识别单元120可以针对每个ROI确定不同的分辨率。

2.2摄像装置的示意性构造示例

图4是示出根据本实施例的摄像装置的示意性构造示例的框图。如图4所示，摄像装置100包括图像传感器101、控制单元102、信号处理单元103、存储单元104和输入/输出单元105。注意，控制单元102、信号处理单元103、存储单元104和输入/输出单元105中的一个或多个可以设置在其上设置有图像传感器101的芯片上。

虽然未示出，但是图像传感器101包括其中多个像素以二维晶格形状排列的像素阵列单元、驱动像素的驱动电路和将从像素读取的像素信号转换为数字值的处理电路。图像传感器101将从整个像素阵列单元或单个ROI读取的图像数据输出到信号处理单元103。

信号处理单元103对从图像传感器101输出的图像数据执行诸如降噪和白平衡调整等的预定信号处理。

存储单元104临时存储由信号处理单元103处理或未处理的图像数据等。

输入/输出单元105经由预定网络(例如，通信网络41)将经由信号处理单元103输入的处理的或未处理的图像数据传输到识别单元120。

控制单元102控制图像传感器101的操作。控制单元102基于经由输入/输出单元105输入的ROI/分辨率信息来设置图像传感器101中的一个或多个ROI和ROI的分辨率。

2.3关于识别处理所需的时间的冗余抑制

随后，说明在本实施例中如何减少从摄像装置100传输到识别单元120的数据量。图5和图6是用于说明一般识别处理的图。图7是用于说明根据第一实施例的识别处理的图。

在一般识别处理中，对以均匀分辨率读取的图像数据执行区域分割。执行关于在每个分割区域中拍摄了什么的物体识别。

这里，如图5所示，在一般的读取操作中，以相同的分辨率读取用于拍摄远处存在的物体的区域R1和用于拍摄附近存在的物体的区域R2。因此，例如，以比识别处理所需的分辨率更精细的分辨率读取用于拍摄附近存在的物体的区域R2。

在这种情况下，在一般的识别处理中，如图6所示，执行用于将从区域R2读取的图像数据G21的分辨率降低到图像数据G22或G23的适当分辨率的处理。这意味着，在出于识别处理目的的数据传输中，由于作为原始数据(raw data)的图像数据G21的数据量与具有适合于识别处理的分辨率的图像数据G2或G23的数据量之间的差异而产生不必要的通信业务量。这也意味着，在识别处理中，出现诸如分辨率降低等的冗余处理。

因此，在本实施例中，如图7所示，在被设置为ROI的区域R1和R2中，图像传感器101被操作以便以低分辨率读取用于拍摄附近存在的物体的区域R2。因此，可以减少从摄像装置100到识别单元120的通信业务量，并且可以省略诸如分辨率降低等的冗余处理。因此，能够抑制识别处理所需的时间的冗余。

在本实施例中，通过针对利用识别单元120设置为ROI的区域R1和R2执行读取操作，可以进一步减少从图像传感器101读取的图像数据的数据量。因此，也能够进一步减少从摄像装置100到识别单元120的通信业务量。

2.4操作示例

接下来，说明根据本实施例的识别系统的一些操作示例。

2.4.1第一操作示例

在第一操作示例中，首先，说明其中从图像传感器101的整个区域以低分辨率读取图像数据并且此后将诸如物体等的区域设置为ROI并以适当的分辨率读取的情况。

图8是示出根据本实施例的第一操作示例的识别系统的示意性操作的流程图。如图8所示，在该操作中，首先，摄像装置100的控制单元102以低于图像传感器101的最大分辨率的低分辨率执行从图像传感器101的图像数据读取(步骤S101)。读取的低分辨率图像数据(以下称为低分辨率图像数据)可以是从像素阵列单元的整个有效像素区域(以下也称为整个区域)读取的图像数据。作为低分辨率的读取方法，例如，可以使用诸如用于跳过在行和/或列方向上的一列或多列像素并驱动像素列的稀疏读取(thinning reading)或者用于将两个或更多个相邻像素视为一个像素以增加检测灵敏度的像素合并(binning)等的方法。

注意，对于像素合并而言，存在诸如将从两个或更多个相邻像素读取的信号合成的方法和在两个或更多个相邻像素中共享一个浮动扩散区域的方法等的各种方法。然而，可以使用任意方法。通过采用稀疏读取，减少了要驱动的像素的数量。因此，能够减少低分辨率图像数据的读取时间。通过采用像素合并，通过减少驱动像素的数量和缩短曝光时间，除了缩短读取时间之外，还可以提高SN比。

在步骤S101中读取的低分辨率图像数据在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由诸如通信网络41等的预定网络输入到识别单元120。此时，由于要传输的图像数据是低分辨率图像数据，所以减少了传输时的通信业务量。识别单元120对输入的低分辨率图像数据执行区域确定(步骤S102)。对于该区域确定，可以使用诸如语义分割等的方法。在该区域确定中，可以指定存在物体等的区域。

随后，识别单元120将在步骤S102中的区域确定中确定的区域确定为ROI(步骤S103)。

随后，识别单元120针对在步骤S104中确定的每个ROI，确定从图像传感器101上与ROI相对应的区域读取图像数据时的分辨率(步骤S104)。此时，识别单元120可以根据距在ROI中被拍摄的物体的距离来确定ROI的分辨率。例如，识别单元120可以确定用于拍摄远处存在的物体的区域(例如，图7中的区域R1)具有高分辨率，并且确定用于拍摄附近存在的物体的区域(例如，图7的区域R2)具有低分辨率。请注意，用于拍摄位于远处和附近之间的中间的物体的区域可以被确定为具有在高分辨率和低分辨率之间的中间的分辨率(以下也称为中间分辨率)。注意，距在ROI中被拍摄的物体的距离(或者距在ROI中被拍摄的物体的距离是长还是短)可以基于例如拍摄物体的区域的大小或者从诸如雷达52、LiDAR 53和超声波传感器54等的其他传感器输入的传感器信息来确定。

随后，识别单元120在摄像装置100中设置在步骤S103中确定的ROI和在步骤S104中确定的ROI的分辨率(步骤S105)。相比之下，摄像装置100的控制单元102针对所设置的ROI中的每一个以在ROI中设置的分辨率执行从ROI的读取(步骤S106)。从ROI读取的图像数据在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由预定网络输入到识别单元120。此时，由于要传输的图像数据是比整个区域窄的ROI的图像数据，因此减少了传输时的通信业务量。

随后，识别单元120针对每个ROI对输入的图像数据执行识别处理(步骤S107)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参照图1)(步骤S108)。在步骤S107的识别处理中，不是针对整个区域的图像数据，而是针对每个ROI的图像数据。因此，能够通过减少计算量来缩短识别处理时间。由于还省略了降低图像数据的过高分辨率的处理，因此可以进一步缩短识别处理时间。

此后，识别系统确定是否结束该操作(步骤S109)，并且当确定结束该操作时(步骤S109中为“是”)，结束该操作。另一方面，当确定不结束该操作时(步骤S109中为“否”)，识别系统返回步骤S101并执行后续操作。

这里，说明了与一般识别处理相比，根据第一操作示例的识别处理时间的缩短。图9是用于说明根据第一操作示例的识别处理时间的缩短的时序图。图10是更详细地示出图9中的一个帧时段的时序图。注意，在图9和图10中，(A)示出了一般识别处理，(B)示出了第一操作示例。

如图9的(A)和图10的(A)所示，在一般识别处理中，以高分辨率从图像传感器101的整个区域读取图像数据。因此，在作为帧时段的头部的同步信号A1之后的读取时段B1很长，并且对于读取的图像数据的识别处理时段C1也很长。

另一方面，如图9的(B)和图10的(B)所示，在根据第一操作示例的识别处理中，首先，以低分辨率从图像传感器101的整个区域读取图像数据。因此，在同步信号A1之后的第一读取时段B11很短，并且对于读取的低分辨率图像数据的识别处理时段(区域确定)C11也很短。然后，在对于ROI/分辨率信息的传输时段D11之后，从ROI读取图像数据(读取时段B12)，并且针对每个ROI执行用于读取的图像数据的识别处理(识别处理时段C12)。因此，可以缩短读取时段B12和识别处理时段C12。结果，由于可以缩短从读取开始到识别处理完成的一个帧时段，因此可以以更高的帧速率和更高的识别处理精度实现识别处理。

2.4.2第二操作示例

在第二操作示例中，说明了如下情况：以每几帧一次的速率从图像传感器101的整个区域以高分辨率读取图像数据，并且在其他帧中，基于在紧接在前的一帧中或在紧接在前的一帧之前的帧中使用的ROI和分辨率来执行必要区域的读取。注意，在以下说明中，引用了与上述操作示例相同的操作以省略重复说明。

图11是示出根据本实施例的第二操作示例的识别系统的示意性操作的流程图。如图11所示，在该操作中，首先，摄像装置100的控制单元102将用于管理以高分辨率获取图像数据的帧时段(以下也称为关键帧)的变量N重置为0(N＝0)(步骤S121)。

随后，控制单元102执行从图像传感器101读取关键帧(步骤S122)。要读取的关键帧可以是从像素阵列单元的整个有效像素区域(以下也称为整个区域)读取的图像数据。高分辨率读取可以是正常读取，而不涉及稀疏和像素合并处理。

在步骤S122中读取的关键帧在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由诸如通信网络41等的预定网络输入到识别单元120。相比之下，识别单元120对输入的关键帧执行识别处理(步骤S123)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参见图1)(步骤S124)。

随后，识别单元120将在步骤S123中的识别处理中识别的物体的区域中可以降低分辨率的区域确定为ROI(步骤S125)。可以降低分辨率的区域可以是例如在步骤S123中的识别处理中需要降低分辨率的区域。

随后，识别单元120估计在步骤S125中被确定为ROI的区域(或区域中包括的物体的图像)的运动矢量(步骤S126)，并利用估计的运动矢量更新ROI的位置和大小(步骤S127)。注意，在估计运动矢量时，可以使用当前帧和一个或多个先前帧来估计ROI(或ROI中包括的物体的图像)的运动矢量。

随后，对于在步骤S127中更新的每个ROI，识别单元120确定在从图像传感器101上与ROI相对应的区域中读取图像数据时的分辨率(步骤S128)。对于分辨率的确定，例如，可以使用与图8中的步骤S104相同的方法。

随后，识别单元120在摄像装置100中设置在步骤S127中更新的ROI和在步骤S128中确定的ROI的分辨率(步骤S129)。相比之下，摄像装置100的控制单元102针对所设置的ROI中的每一个以ROI中设置的分辨率执行从ROI的读取(步骤S130)。从ROI读取的图像数据在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，然后经由预定网络输入到识别单元120。此时，由于要传输的图像数据是比整个区域窄的ROI的图像数据，所以减少了传输时的通信业务量。

随后，识别单元120对每个ROI的输入的图像数据执行识别处理(步骤S131)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参照图1)(步骤S132)。在步骤S131中的识别处理中，由于不是针对整个区域的图像数据而是针对每个ROI的图像数据，因此可以通过减少计算量来缩短识别处理时间。由于还省略了降低图像数据的过高分辨率的处理，因此可以进一步缩短识别处理时间。

此后，识别系统确定是否结束该操作(步骤S133)，并且当确定结束该操作时(步骤S133中为“是”)，结束该操作。另一方面，当识别系统确定不结束该操作时(步骤S133中为“否”)，控制单元102将变量N递增1(N＝N+1)(步骤S134)。随后，控制单元102确定递增的变量N是否已达到预设最大值N_max(步骤S135)。

当控制单元102确定变量N已经达到最大值N_max时(步骤S135中为“是”)，该操作返回到步骤S121，并且执行后续操作。另一方面，当控制单元102确定变量N未达到最大值N_max时(步骤S135中为“否”)，该操作返回到步骤S126，并且执行后续操作。

2.4.3第三操作示例

在上述第一操作示例和第二操作示例中，示出了在识别单元120中确定ROI的情况。相比之下，在第三操作示例中，示出了在摄像装置100中确定ROI的情况。注意，在以下说明中，引用了与上述操作示例中的任一者相同的操作以省略重复说明。

图12是示出根据本实施例的第三操作示例的识别系统的示意性操作的流程图。如图12所示，在该操作中，根据与上面参照图11中的步骤S121至S122说明的处理相同的处理，变量N被重置为0(N＝0)(步骤S141)，并且从图像传感器101读取关键帧(步骤S142)。在步骤S142中读取的关键帧在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由诸如通信网络41等的预定网络输入到识别单元120。

在该操作示例中，摄像装置100的控制单元102从信号处理单元103获取关于在步骤S142中读取的关键帧上的在由信号处理单元104执行的降噪处理中指定的区域的信息，并将获取的区域确定为ROI(步骤S143)。即，在该操作示例中，在摄像装置100中确定ROI。然而，当在摄像装置100的外部执行降噪时，控制单元102获取关于在外部确定的ROI的信息。关于以这种方式确定的ROI的信息与在步骤S142中读取的关键帧一起被输入到识别单元120。

识别单元120以与图11中的步骤S123和S124相同的方式对从摄像装置100输入的数据中的关键帧执行识别处理(步骤S144)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参照图1)(步骤S145)。

随后，识别单元120基于关于与关键帧一起从摄像装置100的输入的ROI的信息来估计ROI(或ROI中包括的物体的图像)的运动矢量(步骤S146)，并利用估计的运动矢量来更新ROI的位置和大小(步骤S147)。注意，在估计运动矢量时，与图11中的步骤S126一样，可以使用当前帧和一个或多个先前帧来估计ROI(或ROI中包括的物体的图像)的运动矢量。

此后，识别系统执行与图11中的步骤S128-S135相同的操作。

2.4.4第四操作示例

在第四操作示例中，说明了如下情况：通过诸如雷达52、LiDAR 53或超声波传感器54等的另一传感器(以下称为距离测量传感器)检测距物体的距离，并且基于检测到的距离来确定ROI的分辨率。注意，在以下说明中，引用了与上述操作示例中的任一者相同的操作以省略重复说明。

图13是示出根据本实施例的第四操作示例的识别系统的示意性操作的流程图。如图13所示，在该操作中，根据与上面参照图11中的步骤S121至S124说明的处理相同的处理，变量N被重置为0(N＝0)(步骤S161)，并且从图像传感器101读取关键帧(步骤S162)。在步骤S162中读取的关键帧在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由诸如通信网络41等的预定网络输入到识别单元120。

在该操作示例中，由距离测量传感器获取的距物体的距离信息与通过摄像装置100(相机51)的关键帧获取同步地或同时经由诸如通信网络41等的预定网络被输入到识别单元120(步骤S163)。注意，由摄像装置100获取的关键帧和由距离测量传感器获取的距离信息可以被一次性输入到传感器融合单元72(见图1)，经受传感器融合处理，并且此后被输入到识别单元120。

与图11中的步骤S123和S124一样，识别单元120对从摄像装置100输入的数据中的关键帧执行识别处理(步骤S164)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参照图1)(步骤S165)。

随后，与图11中的步骤S123至S168一样，识别单元120将可以降低分辨率的区域确定为ROI(步骤S166)，并基于针对每个ROI估计的运动矢量更新ROI的位置和大小(步骤S167至S168)。

随后，识别单元120基于与关键帧一起输入的距物体的距离来确定从图像传感器101上与ROI相对应的区域读取图像数据时的分辨率(步骤S169)。

此后，识别系统执行如图11中的步骤S129至S135中的操作(步骤S170至S176)。

2.5关于失真校正

在上述操作示例中，当图像传感器101中的图像数据的读取方式是用于顺序读取针对每个像素行的像素信号并生成一个图像数据的所谓卷帘快门方式时，读取时间在其中两个或更多个ROI在行方向上重叠的行和其中两个或更多个ROI在行方向上不重叠的行之间变化。例如，如图14所示当两个区域R11和R12在行方向上部分重叠时，在行方向上两个区域R11和R12具有重叠的区域R21和R23与两个区R11和R22不具有重叠的区域R22之间，在针对每一行读取的像素信号到信号处理单元103的扫出时间上出现差异。即，与不具有重叠的区域R21和R23的行相比，由于在具有重叠的区域R22的行中要输出到信号处理单元103的像素信号的数量较大，所以扫出需要更长的时间。结果，在具有重叠的区域R22与不具有重叠的区域R21和R23之间在行间延迟时间上出现差异。因此，针对每个ROI读取的图像数据可能发生失真。

在卷帘快门方式中，当摄像装置100的姿态在图像数据的读取期间改变到不可忽略的程度时，由于姿态改变，在针对每个ROI读取的图像数据中可能发生失真。

因此，在本实施例中，基于在行中要读取的像素的数量(以下称为读取的像素的数量)和从诸如IMU等的车辆传感器27输入的传感器信息来校正由上述因素等引起的图像数据的失真。图15是示出根据本实施例的失真校正操作的示例的流程图。

如图15所示，在根据本实施例的失真校正操作中，首先，从在图像传感器101的像素阵列单元中在行方向上存在ROI的区域中的ROI针对每个像素行读取图像数据(步骤S11)。对于读取的像素行的图像数据(以下称为行数据)，例如，在信号处理单元103中针对每个像素行的读取像素的数量被提供为元数据(步骤S12)。

在步骤S11的读取时段期间，从车辆传感器27向摄像装置100输入传感器信息(步骤S13)。传感器信息可以是例如由包括在车辆传感器27中的速度传感器、加速度传感器和角速度传感器(陀螺仪传感器)以及通过整合这些传感器而获得的IMU检测的传感器信息。输入的传感器信息例如作为信号处理单元103中针对每个ROI的一帧图像数据的元数据给出(步骤S14)。

如上所述，经由预定网络将被赋予针对每个像素行的读取的像素的数量和针对每个帧的传感器信息的图像数据输入到识别单元120。识别单元120基于根据从针对每个像素行的读取的像素的数量计算出的行之间的时间差的失真量和根据传感器信息计算的失真量来针对输入的图像数据校正ROI的图像数据中出现的失真(步骤S15)。

2.6作用和效果

如上所述，根据本实施例，由于以针对每个ROI指定的分辨率读取图像数据，因此能够减少从摄像装置100到识别单元120的通信业务量，并且能够省略降低分辨率的冗余处理。结果，能够抑制识别处理所需时间的冗余。

根据本实施例，由于针对被识别单元120设置为ROI的区域执行读取操作，因此可以进一步减少从图像传感器101读取的图像数据的数据量。结果，也可以进一步减少从摄像装置100到识别单元120的通信业务量。

2.7变形例

下面，说明上述第一实施例的若干变形例。注意，以下说明中未具体提及的部件、操作和效果可以与上述实施例中的那些相同。

2.7.1第一变形例

在上述实施例中，说明了如下情况：将存在要识别的物体的区域设置为ROI并且针对每个ROI设置读取时的分辨率。相比之下，在第一变形例中，说明了如下情况：指定图像数据中的消失点并且根据基于消失点的区域设置读取时的分辨率。

图16是用于说明第一变形例中的针对每个区域设置的分辨率的图。如图16所示，在本实施例中，例如，识别单元120指定输入的图像数据中的消失点。消失点的位置可以例如根据一般计算方法基于道路形状、道路上的白线等计算。这时，可以使用已学习的模型。

当以这种方式指定消失点的位置时，识别单元120基于消失点将图像数据分割成两个或更多个区域。在图16所示的示例中，识别单元120分割图像数据以将包括消失点的区域设置为远处区域，将包围远处区域的区域设置为中间区域，并且将进一步包围中间区域的区域设为附近区域。然后，识别单元120将读取远处区域时的分辨率确定为具有最高分辨率的高分辨率，将读取附近区域时的分辨率确定为具有最低分辨率的低分辨率，并且将读取中间区域时的分辨率确定为高分辨率和低分辨率之间的中间分辨率。针对各区域确定的分辨率与用于指定各区域的信息一起被输入到摄像装置100。摄像装置100基于每个区域的输入的分辨率控制从图像传感器101读取图像数据。

图17是示出根据本变形例的识别系统的示意性操作的流程图。如图17所示，在该操作中，变量N被重置为0(N＝0)(步骤S1001)，并且根据与上面参照图11中的步骤S121和S122说明的处理相同的处理，从图像传感器101读取图像数据(步骤S1002)。注意，在步骤S1002中读取的图像数据可以是高分辨率图像数据，或者可以是通过稀疏或像素合并等获得的低分辨率图像数据。此外，在步骤S1002中读取的图像数据在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，然后经由诸如通信网络41等的预定网络输入到识别单元120。

识别单元120针对从摄像装置100输入的图像数据计算消失点(步骤S1003)，并基于计算出的消失点将图像数据分割成两个或更多个区域(参照图16)(步骤S1004)。例如，可以根据预先创建的规则来执行图像数据的分割。例如，可以将从消失点到图像数据的各角的直线M(M是等于或大于1的整数)等分，并且可以将连接用于将直线M等分的点的线设置为边界线，以将图像数据分割成多个区域。

然后，识别单元120确定针对每个分割区域的分辨率(步骤S1005)。可以根据如图像数据的分割那样预先创建的规则来执行针对每个区域的分辨率的确定。例如，可以将包括消失点的区域(图16中的远处区域)确定为具有最高分辨率，并且可以确定每个区域的分辨率，使得分辨率从距离消失点最近的区域开始按顺序减小。

随后，识别单元120在摄像装置100中设置如上所述确定的区域和分辨率(步骤S1006)。相比之下，摄像装置100的控制单元102对于每个设置的区域以针对每个区域设置的分辨率从每个区域执行读取(步骤S1007)。从各区域读取的图像数据在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，然后经由预定网络输入到识别单元120。此时，由于要传输的图像数据对于每个区域具有不同的分辨率，所以减少了传输时的通信业务量。

随后，识别单元120对针对每个区域的输入的图像数据执行识别处理(步骤S1008)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参照图1)(步骤S1009)。在步骤S131中的识别处理中，由于附近存在的拍摄物体的区域是具有较低分辨率的图像数据，因此能够通过减少计算量来缩短识别处理时间。由于还省略了降低图像数据的过高分辨率的处理，因此可以进一步缩短识别处理时间。

此后，识别系统确定是否结束该操作(步骤S1010)，并且当确定结束该操作时(步骤S1010中为“是”)，结束该操作。另一方面，当识别系统确定不结束该操作时(步骤S1010中为“否”)，控制单元102将变量N递增1(N＝N+1)(步骤S1011)。随后，控制单元102确定递增的变量N是否已达到预设最大值N_max(步骤S1012)。

当控制单元102确定变量N已经达到最大值N_max时(步骤S1012中为“是”)，该操作返回到步骤S1001并执行后续操作。另一方面，当控制单元102确定变量N未达到最大值N_max时(步骤S1012中为“否”)，该操作返回到步骤S1007，并且执行后续操作。

2.7.2第二变形例

在第二变形例中，说明了如下情况：指定图像数据中的地平线而不是消失点，并且根据基于地平线的区域来设置读取时的分辨率。

图18是用于说明第二变形例中的针对每个区域设置的分辨率的图。如图18所示，在本实施例中，例如，识别单元120指定输入的图像数据中的背景区域。如上所述，背景区域可以是诸如天空、山脉、平原或海洋等的位于远处的宽范围区域。除了识别单元120中的图像分析之外，还可以基于从诸如雷达52、LiDAR 53或超声波传感器54等的外部识别传感器25输入的距离信息来指定背景区域。然后，识别单元120基于指定的背景区域来确定图像数据中地平线的位置。

当以这种方式指定地平线的位置时，识别单元120基于地平线在垂直方向上将图像数据分割成三个或更多个区域。三个或更多个区域中的一个可以是背景区域。在图18所示的示例中，识别单元120分割图像数据以将地平线上方的区域设置为背景区域，将地平线下方的区域的上部设置为远处区域，将远处区域下方的区域的上部设置为中间区域，并将中间区域下方的区域设置为附近区域。然而，不仅如此，背景区域和远处区域也可以被设置为一个远处区域或一个背景区域。在这种情况下，识别单元120在垂直方向上将图像数据分割成两个或更多个区域。然后，如在第一变形例中那样，识别单元120将读取远处区域时的分辨率确定为具有最高分辨率的高分辨率，将读取附近区域时的分辨率确定为具有最低分辨率的低分辨率，并且将读取中间区域时的分辨率确定为高分辨率和低分辨率之间的中间分辨率。针对各区域确定的分辨率与用于指定各区域的信息一起被输入到摄像装置100。摄像装置100基于每个区域的输入的分辨率控制从图像传感器101读取图像数据。

图19是示出了根据本变形例的识别系统的示意性操作的流程图。如图19所示，在该操作中，在与上面参照图17说明的根据第一变形例的操作相同的操作中，步骤S1003和S1004被用于指定地平线的步骤S1023和用于基于地平线将图像数据分割成两个或更多个区域的步骤S1024所代替。其他操作可以与参照图17说明的操作相同。因此这里省略操作的详细说明。

3.第二实施例

接着，参照附图详细地说明本公开的第二实施例。本实施例示出了如下情况：除了彩色图像或单色图像之外，还减少了传输通过获取由发生了亮度变化的像素形成的图像数据(以下也称为差分图像)的摄像装置获取的图像数据时的通信业务量。注意，在以下说明中，引用了与上述实施例中的部件和操作相同的部件和操作以省略重复说明。

3.1识别系统的示意性构造示例

图20是示出根据本实施例的识别系统的概要的框图。如图20所示，识别系统包括摄像装置200和识别单元120。

摄像装置200相当于例如以上参照图1说明的相机51和车载传感器26，并且生成并输出整个摄像区域的彩色图像或单色图像(关键帧)以及包括其中发生了亮度变化的像素的差分图像。这些图像数据经由例如诸如上面参照图1说明的通信网络41等的预定网络输入到识别单元120。

识别单元120相当于例如以上参照图1说明的识别单元73等，并基于关键帧和/或重构的一个或多个图像数据(以下统称为整体图像)以及从摄像装置200输入的差分图像来重构当前帧的整体图像。识别单元120通过对关键帧或重构的整体图像执行识别处理来检测图像中包括的物体和背景等。

例如，针对每预定数量的帧，或者当确定不能基于关键帧和差分图像重构整体图像时，识别单元120向摄像装置200发送用于请求关键帧的关键帧请求。相比之下，摄像装置200将从图像传感器101读取的图像数据作为关键帧传输到识别单元120。

3.2摄像装置的示意性构造示例

图21是示出根据本实施例的摄像装置的示意性构造示例的框图。如图21所示，除了与第一实施例中参照图4说明的摄像装置100的部件相同的部件之外，摄像装置200还包括事件视觉传感器(EVS：Event Vision Sensor)201、信号处理单元203和存储单元204。注意，图像传感器101和EVS 201可以设置在相同的芯片上。此时，图像传感器101和EVS 201可以共享相同的光电转换单元。EVS 201、控制单元102、信号处理单元103和203、存储单元104和204以及输入/输出单元105中的一个或多个可以设置在其上设置有图像传感器101的芯片上。

EVS 201输出用于识别发生了亮度变化(也称为事件)的像素的地址信息。EVS 201可以是同步EVS或可以是异步EVS。注意，地址信息可以被赋予用于指定事件发生的时间的时间戳。

信号处理单元203基于从EVS 201输出的地址信息，生成包括发生了事件的像素的差分图像。例如，信号处理单元203可以将在一个帧时段期间从EVS 201输出的地址信息合计在存储单元204中，以生成包括发生了事件的像素的差分图像。信号处理单元203可以对存储单元204中生成的差分图像执行诸如降噪等的预定信号处理。

输入/输出单元105经由预定网络(例如，通信网络41)将经由信号处理单元103输入的关键帧和从信号处理单元203输入的差分图像发送到识别单元120。

控制单元102控制图像传感器101和EVS 201的操作。当经由输入/输出单元105输入关键帧请求时，控制单元102驱动图像传感器101，并将由图像传感器101读取的图像数据作为关键帧发送到识别单元120。

3.3关于识别处理所需的时间的冗余抑制

随后，说明在本实施例中如何减少从摄像装置200传输到识别单元120的数据量。图22是示出在本实施例的特定帧时段中获取的图像数据的示例的图。图23是示出当不应用本实施例时在下一帧时段中获取的图像数据的示例的图，并且图24是示出当应用本实施例时在下一帧时段中获取的差分图像的示例的图。图25是用于说明根据本实施例的整体图像的重构的图。

如图22和图23所示，当不应用本实施例时，在特定帧时段之后的下一个帧时段中获取一个帧周期后的图像数据。该图像数据具有与关键帧的数据量相等的数据量。因此，当在下一个帧时段中获取的图像数据被直接传输到识别单元120时，很可能的是通信业务量增加并且识别处理时间变得冗余。

另一方面，如图22和图24所示，当应用本实施例时，在特定帧时段之后的下一个帧时段中，获取包括其中在一个帧时段中检测到事件的像素的差分图像。由于差分图像仅包括其中检测到事件的像素，并且是没有颜色信息的单色图像，因此与关键帧相比，差分图像的数据量非常小。因此，能够在下一个帧时段中极大地减少通信业务量。

如图25所示，识别单元120基于在前一帧时段期间从摄像装置200输入的关键帧和/或重构的一个或多个整体图像以及在当前帧时段中输入的差分图像来重构当前帧的整体图像。例如，识别单元120基于从差分图像中提取的物体的边缘信息来指定整体图像中的当前帧中的物体的区域，并基于整体图像中的物体的纹理来补充指定区域的纹理。因此，当前帧的整体图像被重构。在下面的说明中，重构的整体图像也被称为重构的图像。

3.4操作示例

随后，说明根据本实施例的识别系统的若干操作示例。

3.4.1第一操作示例

在第一操作示例中，说明了如下情况：以每几帧一次的速率从图像传感器101读取关键帧，并且在其他帧中从EVS 201读取差分图像。

图26是示出根据本实施例的第一操作示例的识别系统的示意性操作的流程图。如图26所示，在该操作中，首先，摄像装置200的控制单元102将用于管理用于获取关键帧的帧时段的变量N重置为0(N＝0)(步骤S201)。

随后，控制单元102执行从图像传感器101读取关键帧(步骤S202)。要读取的关键帧可以是从像素阵列单元的整个区域读取的图像数据。高分辨率读取可以是正常读取，而不涉及稀疏和像素合并处理。

在步骤S202中读取的关键帧在信号处理单元103中经受诸如降噪和白平衡调整等的预定处理，并且此后经由诸如通信网络41等的预定网络输入到识别单元120。另一方面，识别单元120对输入的关键帧执行识别处理(步骤S203)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参见图1)(步骤S204)。

随后，控制单元102将在步骤S202中的帧时段之后的下一个帧时段期间由EVS 201生成的差分图像输出到识别单元120(步骤S205)。此时，由于要传输的差分图像是具有比整个区域的图像数据的数据量小的数据量的图像数据，所以减少了传输时的通信业务量。

当输入差分图像时，识别单元120使用先前输入的关键帧和/或先前重构的一个或多个整体图像以及在步骤S205中输入的差分图像来重构当前帧的整体图像(步骤S206)。

随后，识别单元120对重构的整体图像执行识别处理(步骤S207)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参见图1)(步骤S208)。在步骤S207中的识别处理中，可以执行与步骤S203中的针对关键帧的识别处理相同的处理。

此后，识别系统确定是否结束该操作(步骤S209)，并且当确定结束该操作时(步骤S209中为“是”)，结束该操作。另一方面，当识别系统确定不结束该操作时(步骤S209中为“否”)，控制单元102将变量N递增1(N＝N+1)(步骤S210)。随后，控制单元102确定递增的变量N是否已达到预设最大值N_max(步骤S211)。

当控制单元102确定变量N已经达到最大值N_max时(步骤S211中为“是”)，该操作返回到步骤S201，并且执行后续操作。另一方面，当控制单元102确定变量N未达到最大值N_max时(步骤S211中为“否”)，该操作返回到步骤S205，并且执行后续操作。

3.4.2第二操作示例

在第二操作示例中，说明了如下情况：不能使用差分图像重构整体图像，即，当达到重构极限时，再次从图像传感器101读取关键帧。注意，在以下说明中，引用了与上述操作示例相同的操作以省略重复说明。

图27是示出根据本实施例的第二操作示例的识别系统的示意性操作的流程图。如图27所示，在该操作中，首先，如图26中的步骤S202至S206中那样，执行针对关键帧的识别处理和使用差分图像对整体图像的重构(步骤S221至S225)。然而，在该操作示例中，当在步骤S225中使用差分图像未成功地重构整体图像时，即，当已经达到重构极限时(步骤S226中为“是”)，该操作返回到步骤S221，再次获取关键帧，并且执行后续操作。

另一方面，当成功地重构整体图像时(步骤S226中为“否”)，如图26中的步骤S207至S208中那样，识别单元120对重构的整体图像执行识别处理(步骤S227)，并将识别处理的结果输出到行动计划单元62和操作控制单元63等(参见图1)(步骤S228)。

此后，识别系统确定是否结束该操作(步骤S229)，并且当确定结束该操作时(步骤S229中为“是”)，结束该操作。另一方面，当识别系统确定不结束该操作时(步骤S229中为“否”)，该操作返回步骤S224并执行后续操作。

3.4.3第三操作示例

在上述第一操作示例和第二操作示例中，示出了如下情况：使用像素阵列单元的整个有效像素区域作为一个区域来获取关键帧和差分图像。相比之下，在第三操作示例中，说明了如下情况：将像素阵列单元的有效像素区域划分为多个区域(以下称为部分区域)并且从各个区域获取关键帧(以下称为部分关键帧)和差分图像(以下称为部分差分图像)。

图28是用于说明根据本实施例的第三操作示例的部分区域的示意图。如图28所示，在该操作示例中，图像传感器101和EVS 201中的每一个的像素阵列单元中的有效像素区域被划分为多个(在该示例中为2×2的四个)部分区域R31至R34。例如，上述第一操作示例或第二操作示例可以应用于针对部分区域R31至R34的部分关键帧和部分差分图像的读取操作。此时，部分区域R31至R34的读取操作可以彼此独立。然而，从部分区域R31至R34以同步帧周期输出部分关键帧或部分差分图像。

输入了从部分区域R31至R34读取的部分关键帧和部分差分图像的识别单元120使用部分区域R31至R34的先前部分关键帧或先前部分整体图像(以下称为部分整体图像)重构部分区域R31至R34的当前帧的部分整体图像。然后，识别单元120组合部分区域R31至R34的重构的部分整体图像以生成整个区域的整体图像，并对整体图像执行识别处理。

3.4.4第四操作示例

在上述第三操作示例中，示出了如下情况：针对部分区域R31至R34的读取操作彼此独立。相比之下，在第四操作示例中，说明了如下情况：部分区域R31至R34的读取操作是同步的。

图29是用于说明根据本实施例的第四操作示例的读取操作的图。如图29所示，在第四操作示例中，摄像装置200进行操作，使得从各个部分区域R31至R34以不重叠的方式按顺序读取部分关键帧。因此，可以防止在特定帧时段中读取两个或更多个部分关键帧。因此，可以抑制传输时的通信业务量暂时增加。

注意，如在第三操作示例中那样，识别单元120使用部分区域R31至R34的先前部分关键帧或先前部分整体图像(以下称为部分整体图像)重构部分区域R31至R34的当前帧的部分整体图像，并且组合部分区域R31至R34的重构的部分整体图像以生成整个区域的整体图像。然后，识别单元120对组合的整体图像执行识别处理。

3.4.4.1第四操作示例的变形例

在上述第四操作示例中，说明了如下情况：在帧时段中从多个部分区域R31至R34中的一个读取部分关键帧。然而，本发明不限于此。例如，如图30所示，当从部分区域R31至R34中的任一个读取部分关键帧时，在接下来的几帧中，可以从所有部分区域R31至R34(即，整个有效像素区域R30)读取差分图像。

3.5失真校正

随后，说明了从图像传感器101读取的图像数据(例如，关键帧)和从EVS 201读取的图像数据(例如，差分图像)之间发生的相对失真的校正。

图31是用于说明根据本实施例的失真校正的示意图。在上述操作示例中，当图像传感器101中的图像数据的读取方式是卷帘快门方式时，在列方向上最上面的像素行和最下面的像素行之间的读取定时中会出现时间差D1。因此，在要读取的图像数据G31中会出现被称为卷帘快门失真的失真。相比之下，在EVS 201中，由于以与同时驱动所有像素的所谓全局快门方式相同的操作在单个像素中检测事件，所以在从EVS 201输出的图像数据G32中不会发生失真，或者在识别单元120的识别处理中失真小到可以忽略不计。

因此，在本实施例中，基于各行中要读取的像素的数量(以下称为读取的像素的数量)和从诸如IMU等的车辆传感器27输入的传感器信息来校正由上述因素等引起的图像数据的失真。该失真校正操作可以与在第一实施例中参照图15说明的失真校正操作相同。

通过执行这种失真校正，可以校正在从图像传感器101读取的图像数据和从EVS201读取的图像数据之间出现的相对失真。因此，能够提高要重构的整体图像的精度。结果，能够提高识别处理的精度。由于可以提高关键帧和整体图像的精度，因此也可以放松整体图像的重构限制。因此，由于可以减少读取关键帧的频率，因此能够通过整体上减少传输时的通信业务量来缩短识别处理时间。

3.6作用和效果

如上所述，根据本实施例，由于从具有小数据量的差分图像重构整体图像，因此能够减少从摄像装置200到识别单元120的通信业务量。结果，能够抑制识别处理所需时间的冗余。

其他部件、操作和效果可以与上述实施例中的那些相同。因此，这里省略其详细说明。

4.硬件构造

根据上述实施例、其变形例以及应用示例的识别单元120可以通过例如具有图32所示的构造的计算机1000来实现。图32是示出实现构成识别单元120的信息处理装置的功能的计算机1000的示例的硬件构造图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM：Read Only Memory)1300、硬盘驱动器(HDD：Hard Disk Drive)1400、通信接口1500和输入/输出接口1600。计算机1000的各单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并控制这些单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序展开到RAM 1200中，并执行与各种程序相对应的处理。

ROM 1300存储诸如在计算机1000的启动时由CPU 1100执行的基本输入输出系统(BIOS：Basic Input Output System)等的引导程序(boot program)、取决于计算机1000的硬件的程序等。

HDD 1400是非瞬时地记录要由CPU 1100执行的程序、要由这样的程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录作为程序数据1450的示例的根据本公开的投影控制程序的记录介质。

通信接口1500是使计算机1000连接到外部网络1550(例如，因特网)的接口。例如，CPU 1100从其他设备接收数据，并经由通信接口1500向其他设备发送由CPU 1100生成的数据。

输入/输出接口1600是包括上述I/F单元18的组件，并且是连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标等的输入装置接收数据。CPU 1100经由输入/输出接口1600向诸如显示器、扬声器或打印机等的输出装置发送数据。输入/输出接口1600可以起到读取记录在预定记录介质(介质)中的程序等的介质接口的作用。该介质例如是诸如数字通用盘(DVD：Digital Versatile Disc)或相变可重写盘(PD：Phase change rewritable Disk)等的光学记录介质、诸如磁光盘(MO：Magneto-Optical disk)等的磁光记录介质、磁带介质、磁记录介质或半导体存储器。

例如，计算机1000的CPU 1100执行加载在RAM 1200上的程序，从而起到根据上述实施例的识别单元120的用作。根据本公开的程序等存储在HDD 1400中。注意，CPU 1100从HDD 1400读取程序数据1450并执行程序数据。然而，作为另一示例，CPU 1100可以经由外部网络1550从另一装置获取这些程序。

尽管以上说明了本公开的实施例，但本公开的技术范围不限于上述实施例本身。在不脱离本公开的主旨的情况下，可以进行各种改变。可以适当地组合不同实施例和变形例中的部件。

在本说明书中描述的实施例中的效果仅是说明性的，而不是限制性的。可能存在其他效果。

注意，本技术还能够采用以下构造。

(1)一种摄像装置，所述摄像装置包括：

图像传感器，其被配置为获取图像数据；和

控制单元，其控制所述图像传感器，其中

所述控制单元使所述图像传感器基于一个或多个摄像区域和针对每个所述摄像区域确定的分辨率执行第二摄像，所述一个或多个摄像区域是基于通过使所述图像传感器执行第一摄像而获取的图像数据而确定的，并且

每个所述摄像区域是所述图像传感器中的有效像素区域的部分区域。

(2)根据(1)所述的摄像装置，其中所述控制单元使所述图像传感器执行所述第一摄像以便以低于所述图像传感器的最大分辨率的分辨率获取所述图像数据。

(3)根据(1)所述的摄像装置，其中所述控制单元控制所述图像传感器以便以每预定数量的帧一次的周期执行所述第一摄像。

(4)根据(3)所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于在当前帧之前的帧的所述第一摄像中获取的所述图像数据而确定的。

(5)根据(4)所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于对在所述第一摄像中获取的所述图像数据执行的识别处理的结果而确定的。

(6)根据(4)所述的摄像装置，进一步包括：信号处理单元，其对由所述图像传感器获取的图像数据执行降噪，

其中，所述控制单元基于在由所述信号处理单元对在当前帧之前的帧的所述第一摄像中获取的所述图像数据执行的降噪中确定的区域来确定所述一个或多个摄像区域，并且使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像。

(7)根据(4)所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据和由外部距离测量传感器检测到的距物体的距离而确定的。

(8)根据(4)所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据中的消失点而确定的。

(9)根据(4)所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据中的地平线而确定的。

(10)一种信息处理装置，所述信息处理装置包括：处理单元，其基于从根据(1)至(9)中任一项所述的摄像装置输入的所述图像数据来确定所述一个或多个摄像区域和针对每个所述摄像区域的所述分辨率，并且将所确定的所述一个或多个摄像区域和所述分辨率设置在所述控制单元中。

(11)一种摄像系统，其包括：

根据(1)至(9)中任一项所述的摄像装置；和

根据权利要求(10)所述的信息处理装置，

其中，所述摄像装置和所述信息处理装置经由预定网络连接。

(12)一种摄像方法，所述摄像方法包括：

由处理器基于从根据(1)至(9)中任一项所述的摄像装置输入的所述图像数据来确定所述一个或多个摄像区域和针对每个所述摄像区域的所述分辨率；以及

由所述处理器将所确定的所述一个或多个摄像区域和所确定的所述分辨率设置在所述控制单元中。

(13)一种摄像装置，所述摄像装置包括：

图像传感器，其获取图像数据；

事件传感器，其检测每个像素的亮度变化；和

控制单元，其控制所述图像传感器和所述事件传感器，其中

所述控制单元响应于来自经由预定网络连接的信息处理装置的请求来控制所述图像传感器以获取所述图像数据，并且当没有来自所述信息处理装置的请求时，控制所述事件传感器以生成由其中检测到亮度变化的像素构成的差分图像。

(14)一种信息处理装置，其包括：处理单元，其基于从根据(13)所述的摄像装置输入的所述图像数据和所述差分图像来重构当前帧的图像数据，其中

所述处理单元请求所述摄像装置通过所述图像传感器获取图像数据。

(15)根据(14)所述的信息处理装置，其中所述处理单元以每预定数量的帧一次的周期请求所述摄像装置通过所述图像传感器获取所述图像数据。

(16)根据(14)所述的信息处理装置，其中当不能基于所述图像数据和所述差分图像重构所述当前帧的图像数据时，所述处理单元请求所述摄像装置通过所述图像传感器获取所述图像数据。

(17)一种摄像装置，所述摄像装置包括：

图像传感器，其获取图像数据；

事件传感器，其检测每个像素的亮度变化；和

控制单元，其控制所述图像传感器和所述事件传感器，其中

所述图像传感器获取通过划分有效像素区域而获得的多个第一部分区域中的每个第一部分区域中的图像数据，

所述事件传感器获取通过划分有效像素区域而获得的多个第二部分区域中的每个第二部分区域中的差分图像，所述有效像素区域被划分为使得所述第二部分区域中的每个第二部分区域对应于所述第一部分区域中的任一个第一部分区域，并且

所述控制单元控制所述图像传感器，使得从其读取图像数据的第一部分区域对于每个帧被切换到所述多个第一部分区域中的任一个第一部分区域，并且所述控制单元控制所述事件传感器，使得生成与未从其读取所述图像数据的第一部分区域相对应的第二部分区域中的每个第二部分区域的差分图像。

(18)根据(17)所述的摄像装置，其中所述控制单元切换从其读取所述图像数据的第一部分区域，使得未生成图像数据的帧介于从所述多个第一部分区域中的任一个第一部分区域获取图像数据的帧之间。

(19)一种摄像系统，所述摄像系统包括：

根据(13)、(17)或(18)所述的摄像装置；和

信息处理装置，其包括处理单元，所述处理单元基于从所述摄像装置输入的所述图像数据和所述差分图像来重构当前帧的图像数据。

附图标记列表

100、200摄像装置

101图像传感器

102控制单元

103、203信号处理单元

104、204存储单元

105输入/输出单元

120识别单元

201EVS

Claims (19)

1.一种摄像装置，所述摄像装置包括：

图像传感器，其被配置为获取图像数据；和

控制单元，其控制所述图像传感器，其中

所述控制单元使所述图像传感器基于一个或多个摄像区域和针对每个所述摄像区域确定的分辨率执行第二摄像，所述一个或多个摄像区域是基于通过使所述图像传感器执行第一摄像而获取的图像数据而确定的，并且

每个所述摄像区域是所述图像传感器中的有效像素区域的部分区域。

2.根据权利要求1所述的摄像装置，其中所述控制单元使所述图像传感器执行所述第一摄像以便以低于所述图像传感器的最大分辨率的分辨率获取所述图像数据。

3.根据权利要求1所述的摄像装置，其中所述控制单元控制所述图像传感器以便以每预定数量的帧一次的周期执行所述第一摄像。

4.根据权利要求3所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于在当前帧之前的帧的所述第一摄像中获取的所述图像数据而确定的。

5.根据权利要求4所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于对在所述第一摄像中获取的所述图像数据执行的识别处理的结果而确定的。

6.根据权利要求4所述的摄像装置，进一步包括：信号处理单元，其对由所述图像传感器获取的图像数据执行降噪，

其中，所述控制单元基于在由所述信号处理单元对在当前帧之前的帧的所述第一摄像中获取的所述图像数据执行的降噪中确定的区域来确定所述一个或多个摄像区域，并且使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像。

7.根据权利要求4所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据和由外部距离测量传感器检测到的距物体的距离而确定的。

8.根据权利要求4所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据中的消失点而确定的。

9.根据权利要求4所述的摄像装置，其中所述控制单元使所述图像传感器基于所述一个或多个摄像区域和针对每个所述摄像区域确定的所述分辨率执行所述第二摄像，所述一个或多个摄像区域是基于由所述第一摄像获取的所述图像数据中的地平线而确定的。

10.一种信息处理装置，所述信息处理装置包括：处理单元，其基于从根据权利要求1所述的摄像装置输入的所述图像数据来确定所述一个或多个摄像区域和针对每个所述摄像区域的所述分辨率，并且将所确定的所述一个或多个摄像区域和所述分辨率设置在所述控制单元中。

11.一种摄像系统，其包括：

根据权利要求1所述的摄像装置；和

根据权利要求10所述的信息处理装置，

其中，所述摄像装置和所述信息处理装置经由预定网络连接。

12.一种摄像方法，所述摄像方法包括：

由处理器基于从根据权利要求1所述的摄像装置输入的所述图像数据来确定所述一个或多个摄像区域和针对每个所述摄像区域的所述分辨率；以及

由所述处理器将所确定的所述一个或多个摄像区域和所确定的所述分辨率设置在所述控制单元中。

13.一种摄像装置，所述摄像装置包括：

图像传感器，其获取图像数据；

事件传感器，其检测每个像素的亮度变化；和

控制单元，其控制所述图像传感器和所述事件传感器，其中

所述控制单元响应于来自经由预定网络连接的信息处理装置的请求来控制所述图像传感器以获取所述图像数据，并且当没有来自所述信息处理装置的请求时，控制所述事件传感器以生成由其中检测到亮度变化的像素构成的差分图像。

14.一种信息处理装置，其包括：处理单元，其基于从根据权利要求13所述的摄像装置输入的所述图像数据和所述差分图像来重构当前帧的图像数据，其中

所述处理单元请求所述摄像装置通过所述图像传感器获取图像数据。

15.根据权利要求14所述的信息处理装置，其中所述处理单元以每预定数量的帧一次的周期请求所述摄像装置通过所述图像传感器获取所述图像数据。

16.根据权利要求14所述的信息处理装置，其中当不能基于所述图像数据和所述差分图像重构所述当前帧的图像数据时，所述处理单元请求所述摄像装置通过所述图像传感器获取所述图像数据。

17.一种摄像装置，所述摄像装置包括：

图像传感器，其获取图像数据；

事件传感器，其检测每个像素的亮度变化；和

控制单元，其控制所述图像传感器和所述事件传感器，其中

所述图像传感器获取通过划分有效像素区域而获得的多个第一部分区域中的每个第一部分区域中的图像数据，

所述事件传感器获取通过划分有效像素区域而获得的多个第二部分区域中的每个第二部分区域中的差分图像，所述有效像素区域被划分为使得所述第二部分区域中的每个第二部分区域对应于所述第一部分区域中的任一个第一部分区域，并且

所述控制单元控制所述图像传感器，使得从其读取图像数据的第一部分区域对于每个帧被切换到所述多个第一部分区域中的任一个第一部分区域，并且所述控制单元控制所述事件传感器，使得生成与未从其读取所述图像数据的第一部分区域相对应的第二部分区域中的每个第二部分区域的差分图像。

18.根据权利要求17所述的摄像装置，其中所述控制单元切换从其读取所述图像数据的第一部分区域，使得未生成图像数据的帧介于从所述多个第一部分区域中的任一个第一部分区域获取图像数据的帧之间。

19.一种摄像系统，所述摄像系统包括：

根据权利要求13所述的摄像装置；和

信息处理装置，其包括处理单元，所述处理单元基于从所述摄像装置输入的所述图像数据和所述差分图像来重构当前帧的图像数据。

Images