CN113615152A - 成像设备和成像系统 - Google Patents

成像设备和成像系统 Download PDF

Info

Publication number
CN113615152A
CN113615152A CN202080022994.0A CN202080022994A CN113615152A CN 113615152 A CN113615152 A CN 113615152A CN 202080022994 A CN202080022994 A CN 202080022994A CN 113615152 A CN113615152 A CN 113615152A
Authority
CN
China
Prior art keywords
event
unit
event detection
detection sensor
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080022994.0A
Other languages
English (en)
Other versions
CN113615152B (zh
Inventor
中川庆
高桥裕嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113615152A publication Critical patent/CN113615152A/zh
Application granted granted Critical
Publication of CN113615152B publication Critical patent/CN113615152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

根据本公开的成像设备设置有检测事件的事件检测传感器和控制事件检测传感器的控制单元。此外，控制单元根据移动体的行驶状态来切换事件检测传感器的分辨率。此外，根据本公开的成像系统包括：事件检测传感器，其检测事件；控制单元，其根据移动体的行驶状态来切换事件检测传感器的分辨率；以及物体识别单元，其基于从事件检测传感器输出的事件信号执行事件识别。

Description

成像设备和成像系统
技术领域
本公开涉及成像设备和成像系统。
背景技术
作为事件驱动成像设备之一，有一种称为动态视觉传感器(DVS)的异步成像设备。异步成像设备可以将光电转换入射光的像素中的亮度变化超过预定阈值检测为事件。因此，这种异步成像设备可以被称为事件检测传感器。事件检测传感器通常安装在车辆上，并且用作用于监测行驶路面的基于事件的视觉传感器(例如，参见专利文献1)。
引文列表
专利文献
专利文献1：日本专利申请公开号2013-79937
发明内容
本发明要解决的问题
顺便提及，在车辆行驶期间，可能遇到各种行驶状态，例如不仅是车辆拥堵的状态和车辆在一般道路上行驶的状态，而且是车辆在高速公路上行驶的状态。因此，期望在诸如车辆的移动体上安装和使用的事件检测传感器能够检测诸如另一车辆或行人的事件，而与移动体的行驶状态无关。
本公开的目的是提供一种能够精确检测事件而与移动体的行驶状态无关的成像设备和使用该成像设备的成像系统。
问题的解决方案
用于实现上述目的的本公开的成像系统包括：事件检测传感器，其检测事件；以及控制单元，其控制所述事件检测传感器。控制单元根据移动体的行驶状态来切换所述事件检测传感器的分辨率。
此外，用于实现上述目标的本公开的物体识别系统包括：事件检测传感器，其检测事件；控制单元，其根据移动体的行驶状态来切换所述事件检测传感器的分辨率；以及物体识别单元，其基于从所述事件检测传感器输出的事件信号执行事件识别。
附图说明
图1是示出根据本公开的第一实施例的成像系统的系统配置的示例的框图。
图2A是示出根据第一实施例的成像系统中的运动识别单元的配置的示例的框图，并且图2B是示出根据第一实施例的成像系统中的物体识别单元的配置的示例的框图。
图3是示出根据第一实施例的成像系统中的事件检测传感器的配置的示例的框图。
图4是示出事件检测传感器中的像素阵列单元的配置的示例的框图。
图5是示出事件检测传感器中的像素的电路配置的示例的电路图。
图6是示出事件检测传感器的像素中的事件检测单元的电路配置的示例的框图。
图7是示出事件检测单元中的电流-电压转换单元的配置的示例的电路图。
图8是示出事件检测单元中的减算单元和量化单元的配置的示例的电路图。
图9是示出事件检测传感器的层叠芯片结构的轮廓的分解透视图。
图10是示出分辨率可变的事件检测传感器的具体配置的示例的电路图。
图11是示出分辨率可变的事件检测传感器中的连接控制单元的操作模式的图。
图12A、图12B和图12C是示出在计算单元中用于计算的计算表TL1、计算表TL2和计算表TL3的图。
图13是示出连接控制单元的操作模式是高分辨率模式的情况下的光电流的流动的图。
图14是示出连接控制单元的操作模式是低分辨率模式的情况下的光电流的流动的图。
图15是示出连接控制单元的操作模式是电流平均模式的情况下的光电流的流动的图。
图16是示出连接控制单元进行连接控制的对象的多个像素的连接示例的图。
图17是示出根据示例1的分辨率切换控制的流程的流程图。
图18是示出根据示例2的分辨率切换控制的流程的流程图。
图19是示出根据示例3的分辨率切换控制的流程的流程图。
图20是示出根据示例4的分辨率切换控制的流程的流程图。
图21是示出根据示例5的分辨率切换控制的流程的流程图。
图22是示出根据示例6的分辨率切换控制的流程的流程图。
图23是示出根据示例7的分辨率切换控制的流程的流程图。
图24A是示出确定路线改变的具体处理的示例的流程图，并且图24B是示出确定直线行驶(直行)的具体处理的示例的流程图。
图25是示出根据示例8的分辨率切换控制的流程的流程图。
图26是示出根据本公开的第二实施例的成像系统的系统配置的示例的框图。
图27是示出作为根据第二实施例的成像系统中的图像传感器的示例的CMOS图像传感器的配置的轮廓的框图。
图28是示出图像传感器中的像素的电路配置的示例的电路图。
图29是示出图像传感器的水平安装的芯片结构的轮廓的平面图。
图30是示出图像传感器的层叠芯片结构的轮廓的平面图。
图31是示出根据示例9的分辨率切换控制的流程的流程图。
图32是示出根据示例10的分辨率切换控制的流程的流程图。
图33是示出根据示例11的分辨率切换控制的流程的流程图。
图34是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
图35是示出车辆控制系统中的成像单元的安装位置的示例的图。
具体实施方式
以下，将使用附图详细描述用于实现本公开的技术的模式(以下，称为“实施例”)。本公开的技术不限于实施例。在下面的描述中，将对相同的元件或具有相同功能的元件使用相同的附图标记，并且将省略冗余的描述。注意，将按以下顺序进行描述。
1.本公开的成像设备和成像系统的总体描述
2.本公开的第一实施例
2-1.根据第一实施例的成像系统的配置示例
2-2.事件检测传感器的配置示例
2-2-1.像素阵列单元的配置示例
2-2-2.像素的配置示例
2-2-3.事件检测单元的配置示例
2-2-3-1.电流-电压转换单元的配置示例
2-2-3-2.减算单元和量化单元的配置示例
2-2-4.芯片结构的配置示例
2-2-5.分辨率可变的事件检测传感器的配置示例
2-2-5-1.高分辨率模式的情况
2-2-5-2.低分辨率模式的情况
2-2-5-3.电流平均模式的情况
2-2-5-4.通过连接控制单元进行连接控制的对象的像素的连接示例
2-3.示例1(基于本车的车辆速度切换分辨率的示例)
2-4.示例2(基于与另一车辆的相对速度切换分辨率的示例)
2-5.示例3(基于本车的车辆速度和事件数切换分辨率的示例)
2-6.示例4(基于与另一车辆的相对速度和事件数切换分辨率的示例)
2-7.示例5(检测到拥堵发生时的切换分辨率的示例)
2-8.示例6(检测到高速公路行驶时切换分辨率的示例)
2-9.示例7(检测到路线改变时切换分辨率的示例)
2-10.示例8(像素阵列单元的每个区域的切换分辨率的示例)
3.本公开的第二实施例
3-1.根据第二实施例的成像系统的配置示例
3-2.图像传感器的配置示例
3-2-1.CMOS图像传感器的配置示例
3-2-2.像素的配置示例
3-2-3.芯片结构的配置示例
3-2-3-1.水平安装芯片结构(所谓的水平安装结构)
3-2-3-2.层叠芯片结构(所谓的层叠结构)
3-3.示例9(检测到拥堵发生时的切换分辨率的示例)
3-4.示例10(检测到高速公路行驶时切换分辨率的示例)
3-5.示例11(安装在具有自动巡航功能的车辆上的实施例)
4.修改
5.根据本公开的技术的应用示例
5-1.移动体应用示例
6.本公开可以采用的配置
<本公开的成像设备和成像系统的总体描述>
在本公开的成像设备和成像系统中，事件检测传感器可以包括异步成像设备，该异步成像设备将对入射光进行光电转换的像素中的亮度变化超过预定阈值作为事件检测。然后，本公开的成像设备优选地在移动体上安装和使用。
在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为根据移动体的行驶状态，将事件检测传感器的分辨率设置为分辨率相对较低的第一分辨率模式或分辨率相对较高的第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为当移动体的速度大于或等于一定的速度时，设置第一分辨率模式，并且当移动体的速度小于一定的速度时，设置第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为当与前方物体的相对速度大于或等于一定的相对速度时，设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度时，设置第一分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为当移动体的速度大于或等于一定的速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，设置第一分辨率模式，并且当移动体的速度小于一定的速度并且事件检测传感器检测到的事件数小于预定阈值时，设置第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为当与前方物体的相对速度大于或等于一定的相对速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度并且事件检测传感器检测到的事件数小于预定阈值时，设置第一分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为在第一分辨率模式的行驶状态中，当移动体的速度小于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，确定发生了拥堵并从第一分辨率模式转换到第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为在第一分辨率模式的行驶状态中，当移动体的速度大于或等于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，确定为在高速公路行驶并从第一分辨率模式转换到第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为当移动体直线行驶时，设置第一分辨率模式，并且当路线改变时，设置第二分辨率模式。此时，控制单元可以被配置为当方向盘的旋转大于或等于一定的角度并且事件检测传感器检测到的事件数大于或等于预定阈值时，确定移动体的路线被改变，或者可替代地，当方向盘的旋转在一定的角度内并且事件检测传感器检测到的事件数小于预定阈值时，确定移动体直线行驶。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为针对事件检测传感器中的像素阵列单元的每个区域切换事件检测传感器的分辨率。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，可以包括以预定帧速率执行成像的图像传感器。然后，物体识别单元可以被配置为基于从图像传感器输出的图像数据执行事件识别处理。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，当确定控制单元不能仅利用从事件检测传感器输出的事件信号执行识别处理时，控制单元可以被配置为使用事件识别处理、从事件检测传感器输出的事件信号和从图像传感器输出的图像数据执行控制。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为基于事件识别处理的结果，指定在事件检测传感器的视角中可检测为移动体的区域，并且当可检测为移动体的区域大于或等于预定阈值时，在移动体的行驶速度小于预定阈值的条件下确定发生了拥堵，并且针对指定区域设置第二分辨率模式。
此外，在包括上述优选配置的本公开的成像设备和成像系统中，控制单元可以被配置为基于事件识别处理的结果，指定在事件检测传感器的视角中可检测为移动体的区域，并且当可检测为移动体的区域大于或等于预定阈值时，在移动体的行驶速度大于或等于预定阈值的条件下确定为在高速公路行驶，并且针对指定区域设置第二分辨率模式。
<<本公开的第一实施例>>
<根据第一实施例的成像系统的配置示例>
图1是示出根据本公开的第一实施例的成像系统的系统配置的示例的框图。
如图1所示，根据本公开的第一实施例的成像系统1A包括事件检测传感器10、运动识别单元30、物体识别单元40、控制单元50、操作模式(operation pattern)定义单元60、记录单元70和接口80。根据第一实施例的成像系统1A可以在诸如车辆的移动体上安装和使用。
以安装在车辆上的情况作为示例，成像系统1A在车辆的预定位置处布置和使用，例如车辆的前鼻、后视镜、后保险杠、后门或车辆中的挡风玻璃上部的至少一个位置。后面将描述根据本公开的技术(即，根据第一实施例的成像系统1A)的应用示例的细节。
作为事件检测传感器10，可以使用被称为DVS的异步成像设备，其将光电转换入射光的像素中的亮度变化超过预定检测阈值检测为事件。与和垂直同步信号同步地执行成像的同步成像设备相反，异步成像设备是与垂直同步信号异步地检测事件的成像设备。包括异步成像设备的事件检测传感器10的细节将在后面描述。
运动识别单元30基于从事件检测传感器10输出的指示事件发生的事件信号(事件数据)识别(检测)物体的运动。在图2A中示出了运动识别单元30的具体配置的示例。例如，运动识别单元30包括事件帧生成单元31和运动检测单元32。
事件帧生成单元31基于从事件检测传感器10输出的事件信号，通过对在某一时间段内发生了多少事件进行成帧来生成事件帧。运动检测单元32在由事件帧生成单元31成帧的事件帧之间执行运动检测。注意，事件帧生成单元31不是一定执行成帧，即，运动识别单元30可以直接接收异步输出的事件信号以执行运动检测。
物体识别单元40基于由运动识别单元30给出的运动检测的结果，对检测为事件的物体执行识别处理。在图2B中示出了物体识别单元40的具体配置的示例。例如，物体识别单元40包括ROI提取单元41和识别处理单元42。
ROI提取单元41提取用于执行物体识别的特定区域，即，提取感兴趣区域(ROI)。识别处理单元42基于由ROI提取单元41提取的区域的数据执行物体的识别处理。对于识别处理单元42中的物体识别，可以使用通过利用神经网络等进行机器学习的模式识别技术，例如，通过将作为教示数据给出的图像的特征点与成像的被摄体图像的特征点进行比较来执行图像识别的技术。
例如，控制单元50包括处理器(CPU)，并且控制事件检测传感器10，具体地，基于从操作模式定义单元60给出的信息来控制事件检测传感器10的分辨率。从车辆控制系统7000(见图34)经由接口80向控制单元50提供诸如车辆速度的各种信息，车辆控制系统7000是可以应用下面描述的根据本公开的技术的移动体控制系统的示例。下面将描述控制事件检测传感器10的分辨率的细节。
在控制单元50的控制下，操作模式定义单元60使用由运动识别单元30给出的运动识别结果和由物体识别单元40给出的物体识别结果来检测作为移动体的示例的车辆的行驶状态，例如拥堵状态、高速公路的行驶状态等。
从操作模式定义单元60输出的信息提供给控制单元50作为用于控制事件检测传感器10的分辨率的信息，并且根据需要存储在存储单元70中。此外，从操作模式定义单元60输出的信息经由接口80提供给车辆控制系统7000(参见图34)。
在具有上述配置的根据本公开的第一实施例的成像系统1A中，通过至少包括事件检测传感器10和控制单元50来配置本公开的成像设备。在本公开的成像设备中，控制单元50根据作为移动体的示例的车辆的行驶状态控制切换事件检测传感器10的分辨率。此外，还可以配置其中车辆控制系统7000具有操作模式定义单元60和记录单元70的功能的成像系统。
<事件检测传感器的配置示例>
以下，将描述事件检测传感器10的细节。图3是示出具有上述配置的本公开的成像系统1中的事件检测传感器10的配置的示例的框图。
如图3所示，事件检测传感器10包括像素阵列单元12，在像素阵列单元中，以矩阵(阵列)二维地布置多个像素11。多个像素11中的每一个生成具有与光电流相对应的电压的模拟信号作为像素信号，该光电流作为通过光电转换生成的电信号。此外，多个像素11中的每一个根据与入射光的亮度相对应的光电流中是否发生了超过预定阈值的变化来检测事件的存在或不存在。换言之，多个像素11中的每一个将亮度的变化超过预定阈值检测为事件。
除了像素阵列单元12之外，事件检测传感器10还包括驱动单元13、仲裁单元(仲裁单元)14、列处理单元15和信号处理单元16作为像素阵列单元12的外围电路单元。
当检测到事件时，多个像素11中的每一个向仲裁单元14输出用于输出指示事件发生的事件数据的请求。然后，在从仲裁单元14接收到指示允许输出事件数据的响应的情况下，多个像素11中的每一个将事件数据输出到驱动单元13和信号处理单元16。此外，检测事件的像素11将通过光电转换生成的模拟像素信号输出到列处理单元15。
驱动单元13驱动像素阵列单元12的每个像素11。例如，驱动单元13驱动检测事件并输出事件数据的像素11，并且将像素11的模拟像素信号输出到列处理单元15。
仲裁单元14仲裁从多个像素11中的每一个提供的事件数据的输出请求，并且将基于仲裁结果的响应(事件数据的输出的允许/不允许)和用于复位事件检测的复位信号发送到像素11。
例如，列处理单元15包括模数转换单元，该模数转换单元包括为像素阵列单元12的每个像素列提供的一组模数转换器。作为模数转换器，例如，可以例示单斜率型模数转换器。
列处理单元15针对像素阵列单元12的每个像素列执行将从像素阵列单元12的像素11输出的模拟像素信号转换为数字信号的处理。列处理单元15还可以对数字化像素信号执行相关双采样(CDS)处理。
信号处理单元16对从列处理单元15提供的数字化像素信号和从像素阵列单元12输出的事件数据执行预定的信号处理，并且在信号处理之后输出事件数据和像素信号。
如上所述，在像素11中生成的光电流的变化也可以被视为入射到像素11上的光的光量的变化(亮度的变化)。因此，可以说事件是像素11的光量变化(亮度变化)超过预定阈的。指示事件发生的事件数据至少包括位置信息，例如表示像素11的位置的坐标，在该像素中发生了作为事件的光量的变化。除了位置信息之外，事件数据还可以包括光量变化的极性。
对于在发生事件的定时从像素11输出的一系列事件数据，可以说，事件数据隐含地包括指示事件发生时的相对时间的时间信息，只要将事件数据之间的间隔保持为事件发生时的那样。然而，如果由于事件数据被存储在存储器等中，事件数据之间的间隔不再保持在事件发生时的那样，则事件数据中隐含地包括的时间信息丢失。为此，在事件数据之间的间隔不再保持为事件发生时的那样之前，信号处理单元16在事件数据中包括指示事件发生时的相对时间的时间信息，例如，时间戳。
[像素阵列单元的配置示例]
图4是示出事件检测传感器10中的像素阵列单元12的配置的示例的框图。
在像素阵列单元12中，其中多个像素11以矩阵二维布置，多个像素11中的每一个包括光接收单元61、像素信号生成单元62和事件检测单元63。
在具有上述配置的像素11中，光接收单元61光电转换入射光以生成光电流。然后，根据驱动单元13的控制(参见图3)，光接收单元61将与通过光电转换入射光而生成的光电流对应的电压信号提供给像素信号生成单元62或事件检测单元63。
像素信号生成单元62生成与从光接收单元61提供的光电流相对应的电压的信号作为模拟像素信号SIG。然后，像素信号生成单元62经由为像素阵列单元12的每个像素列布线的垂直信号线VSL将生成的模拟像素信号SIG提供给列处理单元15(参见图3)。
事件检测单元63根据来自每个光接收单元61的光电流的变化量是否超过预定阈值来检测事件的存在或不存在。例如，该事件包括指示光电流的变化量超过上限阈值的导通事件(on-event)和指示变化量下降到低于下限阈值的断开事件(off-event)。此外，例如，指示事件发生的事件数据包括指示导通事件检测结果的1位和指示断开事件检测结果的1位。注意，事件检测单元63可以被配置为仅检测导通事件。
当事件发生时，事件检测单元63向仲裁单元14输出用于输出指示事件发生的事件数据的请求(参见图3)。然后，在从仲裁单元14接收到对请求的响应的情况下，事件检测单元63将事件数据输出到驱动单元13和信号处理单元16。
[像素的电路配置示例]
图5是示出事件检测传感器10中的像素阵列单元12的像素11的电路配置的示例的电路图。
如上所述，多个像素11中的每一个包括光接收单元61、像素信号生成单元62和事件检测单元63。
在具有上述配置的像素11中，光接收单元61包括光接收元件(光电转换元件)611、传输晶体管612和传输晶体管613。例如，可以使用N型金属氧化物半导体(MOS)晶体管作为传输晶体管612和传输晶体管613。传输晶体管612和传输晶体管613彼此串联连接。
光接收元件611连接在地与传输晶体管612和传输晶体管613的公共连接节点N1之间，并且光电转换入射光以生成与入射光量对应的电荷量的电荷。
传输信号TRG从图3所示的驱动单元13提供给传输晶体管612的栅电极。传输晶体管612响应于传输信号TRG而导通，由此将通过光接收元件611的光电转换而生成的电信号提供给像素信号生成单元62。
控制信号OFG从驱动单元13提供给传输晶体管613的栅电极。传输晶体管613响应于控制信号OFG而导通，由此将通过光接收元件611的光电转换而生成的电信号提供给事件检测单元63。提供给事件检测单元63的电信号是包括电荷的光电流。
像素信号生成单元62包括复位晶体管621、放大晶体管622、选择晶体管623和浮动扩散层624。例如，可以使用N型MOS晶体管作为复位晶体管621、放大晶体管622和选择晶体管623。
由光接收单元61的光接收元件611光电转换的电荷通过传输晶体管612提供给像素信号生成单元62。从光接收单元61提供的电荷累积在浮动扩散层624中。浮动扩散层624生成与累积电荷的电荷量相对应的电压值的电压信号。即，浮动扩散层624是将电荷转换为电压的电荷-电压转换单元。
复位晶体管621连接在电源电压VDD的电源线和浮动扩散层624之间。复位信号RST从驱动单元13提供给复位晶体管621的栅电极。复位晶体管621响应于复位信号RST而导通，由此初始化(复位)浮动扩散层624。
放大晶体管622与选择晶体管623串联连接在电源电压VDD的电源线和垂直信号线VSL之间。放大晶体管622放大在浮动扩散层624中经过电荷-电压转换的电压信号。
选择信号RST从驱动单元13提供给选择晶体管623的栅电极。选择晶体管623响应于选择信号SEL而导通，由此经由垂直信号线VSL将由放大晶体管622放大的电压信号作为模拟像素信号SIG输出到列处理单元15(图3)。
在包括像素阵列单元12的事件检测传感器10中，在像素阵列单元中，具有上述配置的像素11是二维布置的，图1所示的控制单元50指示驱动单元13开始事件检测。然后，当给出开始事件检测的指令时，驱动单元13通过向光接收单元61的传输晶体管613提供控制信号OFG来驱动传输晶体管613，并且使得与光接收元件611生成的电荷相对应的光电流被提供给事件检测单元63。
然后，当在某个像素11中检测到事件时，驱动单元13断开像素11的传输晶体管613并且停止向事件检测单元63提供光电流。接着，驱动单元13通过向传输晶体管612提供传输信号TRG来驱动传输晶体管612，并且使得由光接收元件611光电转换的电荷被传输到浮动扩散层624。
以这种方式，包括像素阵列单元12(其中具有上述配置的像素11是二维布置的)的事件检测传感器10仅将像素11(其中检测到事件)的像素信号输出到列处理单元15。结果，与不考虑事件的存在与否而输出所有像素的像素信号的情况相比，可以减少事件检测传感器10的功率消耗和图像处理量。
注意，这里示出的像素11的配置是示例，并且不限于该配置示例。例如，在不需要输出像素信号的情况下，可以使用不包括像素信号生成单元62的像素配置。在这种像素配置的情况下，仅需要在光接收单元61中省略传输晶体管612。此外，图3的列处理单元15可以被配置为不包括模数转换功能。通过采用不输出像素信号的像素配置，可以抑制事件检测传感器10的规模。
[事件检测单元的配置示例]
图6是示出事件检测传感器10的像素11中的事件检测单元63的电路配置的示例的框图。
如图6所示，根据本示例的事件检测单元63包括电流-电压转换单元631、缓存器632、减算单元633、量化单元634和传输单元635。
电流-电压转换单元631将从像素11的光接收单元63提供的光电流转换为作为光电流的对数的电压信号(以下，可称为“光电压”)，并且将电压信号提供给缓存器632。缓存器632缓存从电流-电压转换单元631提供的光电压，并将光电压提供给减算单元633。
减算单元633计算当前光电压和与当前相差一分钟时间的时刻的光电压之间的差，并且将对应于该差的差信号提供给量化单元634。量化单元634将从减算单元633提供的差信号量化为数字信号，并将差信号的数字值提供给传输单元635。
当从量化单元634提供差信号的数字值时，传输单元635向仲裁单元14提供传输事件数据的请求。然后，当从仲裁单元14接收到对请求的响应，即允许事件数据输出的响应时，传输单元635根据从量化单元634提供的差信号的数字值，将事件数据提供给驱动单元13和信号处理单元16。
随后，将描述事件检测单元63中的电流-电压转换单元631、减算单元633和量化单元634的配置示例。
(电流-电压转换单元的配置示例)
图7是示出事件检测单元63中的电流-电压转换单元631的配置的示例的电路图。
如图7所示，根据本示例的电流-电压转换单元631具有包括晶体管6311、晶体管6312和晶体管6313的电路配置。可以使用N型MOS晶体管作为晶体管6311和晶体管6313，并且可以使用P型MOS晶体管作为晶体管6312。
晶体管6311连接在电源电压VDD的电源线和信号输入线6314之间。晶体管6312和晶体管6313串联连接在电源电压VDD的电源线和地之间。然后，图6所示的晶体管6311的栅电极和缓存器632的输入端连接到晶体管6312和晶体管6313的公共连接节点N2。
预定偏置电压Vbias被施加到晶体管6312的栅电极。结果，晶体管6312向晶体管6313提供恒定电流。光电流通过信号输入线6314从光接收单元61输入到晶体管6313的栅电极。
晶体管6311的漏电极连接到电源电压VDD的电源线，并且具有源极跟随器配置。晶体管6313的栅电极连接到晶体管6311的源电极。然后，通过具有源极跟随器配置的晶体管6311和晶体管6313将来自光接收单元61的光电流转换为对应于光电流的对数的光电压。
(减算单元和量化单元的配置示例)
图8是示出事件检测单元63中的减算单元633和量化单元634的配置的示例的电路图。
根据本示例的减算单元633包括电容元件6331、运算放大器6332、电容元件6333和开关元件6334。
电容元件6331的一端连接到图6所示的缓存器632的输出端，电容元件6331的另一端连接到运算放大器6332的输入端。结果，从缓存器632提供的光电压经由电容元件6331输入到运算放大器6332的输入端。
电容元件6333与运算放大器6332并联连接。开关元件6334连接在电容元件6333的两端之间。复位信号从图3所示的仲裁单元14提供给开关元件6334，作为用于打开和闭合开关元件6334的控制信号。开关元件6334响应于复位信号而打开和闭合连接电容元件6333的两端的路径。
在具有上述配置的减算单元633中，当开关元件6334导通(闭合)时，输入到电容元件6331的缓存器632侧的端子的光电压为Vinit。当光电压Vinit输入到电容元件6331的缓存器632侧的端子时，相反侧的端子是虚拟接地端子。为方便起见，将该虚拟接地端子的电位设为零。此时，当电容元件6331的电容值为C1时，在电容元件6331中累积的电荷Qinit由如下等式(1)表示。
Qinit＝C1×Vinit (1)
此外，在开关元件6334导通的情况下，电容元件6333的两端短路，使得在电容元件6333中累积的电荷为零。此后，开关元件6334被断开(打开)。在开关元件6334闭合的情况下，电容元件6331的缓存器632侧的端子的光电压表示为Vafter。在开关元件6334断开的情况下，在电容元件6331中累积的电荷Qafter由以下等式(2)表示。
Qafter＝C1×Vafter (2)
当将电容元件6333的电容值表示为C2并且将运算放大器6332的输出电压表示为Vout时，电容元件6333中累积的电荷Q2由以下等式(3)表示。
Q2＝-C2×Vout (3)
在开关元件6334断开之前和之后，包括电容元件6331的电荷量和电容元件6333的电荷量的总电荷量不改变，因此以下等式(4)成立。
Qinit＝Qafter+Q2 (4)
当将等式(1)至(3)代入等式(4)时，获得以下等式(5)。
Vout＝-(C1/C2)×(Vafter-Vinit) (5)
根据等式(5)，在减算单元633中，在光电压Vinit和光电压Vafter之间执行减法，即，执行与光电压Vinit和光电压Vafter之间的差(Vinit-Vafter)对应的差信号Vout的计算。此外，根据等式(5)，减算单元633的减算增益是C1/C2。通常，希望使减算单元633的减算增益最大化，从而优选地将电容元件6331的电容值C1设计为大而将电容元件6333的电容值C2设计为小。
另一方面，如果电容元件6333的电容值C2太小，则kTC噪声可能增加并且噪声特征可能劣化，使得电容元件6333的电容值C2的电容减小被限制在可以容忍的噪声的范围内。此外，由于包括减算单元633的事件检测单元63安装在每个像素11上，电容元件6331和电容元件6333在区域上有限制。考虑到这些，确定电容元件6331的电容值C1和电容元件6333的电容值C2。
在图8中，量化单元634包括比较器6341。在比较器6341中，来自减算单元430的差信号(即，运算放大器6332的输出信号)是同相(+)输入，并且预定阈值电压Vth是反相(-)输入。然后，比较器6341将来自减算单元430的差信号Vout与预定阈值电压Vth进行比较，并将表示比较结果的高电平或低电平作为差信号Vout的量化值输出到图6所示的传输单元635。
在根据来自量化单元634的差信号Vout的量化值识别出作为事件的光量的变化(亮度的变化)已经发生的情况下，即，在差信号Vout大于(或小于)预定阈值电压Vth的情况下，传输单元635向图3的信号处理单元16输出例如指示事件发生的高电平事件数据。即，阈值电压Vth是用于基于像素11的光量的变化(亮度的变化)来检测事件的阈值。
信号处理单元16在从传输单元635提供的事件数据中包括检测由事件数据表示的事件的像素11的位置信息、以及指示事件发生的时间的时间信息，并且进一步根据需要包括光量的变化的极性信息作为事件，并输出事件数据。
例如，作为包括检测事件的像素11的位置信息、指示事件发生的时间的时间信息、以及作为事件的光量的变化的极性信息的事件数据的数据格式，可以采用被称为地址事件表示(AER)的数据格式。
注意，像素11可以通过提供传输预定光的滤光器(例如滤色器)来接收任何光作为入射光。例如，在像素11接收可见光作为入射光的情况下，事件数据表示其中出现可见物体的图像中的像素值的变化的发生。此外，例如，在像素11接收用于距离测量的红外线、毫米波等作为入射光的情况下，事件数据表示到被摄体的距离的变化的发生。此外，例如，在像素11接收用于测量温度的红外线作为入射光的情况下，事件数据表示被摄体的温度变化的发生。在本实施例中，像素11接收可见光作为入射光。
[芯片结构的配置示例]
例如，可以采用层叠芯片结构作为上述事件检测传感器10的芯片(半导体集成电路)结构。图9是示出事件检测传感器10的层叠芯片结构的轮廓的分解透视图。
如图9所示，层叠芯片结构，即所谓的层叠结构，是将作为第一芯片的光接收芯片101和作为第二芯片的检测芯片102的至少两个芯片层叠的结构。然后，在图5所示的像素11的电路配置中，每个光接收元件611布置在光接收芯片101上，并且除光接收元件611之外的所有元件、像素11的其他电路部分的元件等布置在检测芯片102上。光接收芯片101和检测芯片102经由连接部分电连接在一起，连接部分诸如通孔(VIA)、Cu-Cu键合或凸块等。
注意，这里，已经例示了配置示例，在该配置示例中，光接收元件611布置在光接收芯片101上，并且除了光接收元件611之外的元件、像素11的其他电路部分的元件等布置在检测芯片102上；然而，本公开不限于该配置示例。
例如，在图5所示的像素11的电路配置中，光接收单元61的每个元件可以布置在光接收芯片101上，并且除了光接收单元61之外的元件、像素11的其他电路部分的元件等可以布置在检测芯片102上。此外，光接收单元61、像素信号生成单元62的复位晶体管621和浮动扩散层624的每个元件可以布置在光接收芯片101上，并且除了这些元件之外的元件可以布置在检测芯片102上。此外，构成事件检测单元63的元件中的一些可以与光接收单元61的元件等一起布置在光接收芯片101上。
[分辨率可变的事件检测传感器的配置示例]
具有上述配置的事件检测传感器10可以具有可变分辨率。图10示出了分辨率可变的事件检测传感器10的具体配置的示例。
为了使分辨率可变，事件检测传感器10包括像素11和像素11之间的连接控制单元64，在像素阵列单元12中，多个像素11布置成矩阵。图10示出了其中连接控制单元64布置在列方向(纵向方向/竖直方向)上相邻的两个像素11之间的配置。
连接控制单元64根据后面描述的操作模式(即，将两个像素11彼此连接/断开)，执行接通/断开多个像素11之间，在本示例中在纵向上相邻的两个相邻像素11之间的连接的连接控制。即，连接控制单元64接通/断开奇数行的某一列的像素11与奇数行的下一行(偶数行)的同一列的像素11之间的连接。在该示例中，像素阵列单元12提供有像素11数量的1/2的连接控制单元64，用于接通/断开在列方向上相邻两个像素11之间的连接。
这里，为了方便起见，连接控制单元64的连接控制对象的两个像素11中的一个被描述为像素11A，并且另一个被描述为像素11B。此外，像素11A的事件检测单元63被描述为事件检测单元63A，并且像素11B的事件检测单元63被描述为事件检测单元63B。
如图10所示，连接控制单元64包括晶体管641和计算单元642。例如，可以使用N型MOS晶体管作为晶体管641。
晶体管641用作开关元件，其选择性地将像素11A和像素11B连接在一起，使得由两个像素11A和11B生成的光电流在两个像素之间合并。例如，晶体管641根据连接控制单元64的操作模式接通/断开，从而接通/断开像素11A的光电流流过的晶体管6311的源电极和像素11B的光电流流过的晶体管6311的源电极之间的连接。
例如，从图3所示的事件检测传感器10的驱动单元13或仲裁单元14，或事件检测传感器10的外部，指定连接控制单元64的操作模式。下面将描述连接控制单元64的操作模式的细节。
事件数据α从像素11A的事件检测单元63A中的量化单元634提供给计算单元642，并且事件数据β从像素11B的事件检测单元63B中的量化单元634提供给计算单元642。
计算单元642根据连接控制单元64的操作模式对从像素11A提供的事件数据α和从像素11B提供的事件数据β执行计算。然后，计算单元642将通过对事件数据α和β的计算获得的新事件数据α'和β'提供给相应像素11A和11B的传输单元635。
注意，连接控制单元64执行像素11A和像素11B之间的连接的接通/断开控制，并且还通过施加到事件检测单元63的电流-电压转换单元81的晶体管6312的偏置电压Vbias来执行包括晶体管6311、晶体管6312和晶体管6313的电流-电压转换单元631的接通/断开操作的控制。
即，连接控制单元64接通晶体管6312，从而接通电流-电压转换单元631的操作，即，使电流-电压转换单元631处于操作状态。此外，连接控制单元64断开晶体管6312，从而断开电流-电压转换单元631的操作，即，使电流-电压转换单元631处于停止状态。
这里，在图10的连接控制单元64的配置示例中，在连接控制单元64的控制下，事件检测单元63A或事件检测单元63B中的一个的晶体管6312，例如事件检测单元63A的晶体管6312总是导通，并且另一个事件检测单元63B的晶体管6312接通/断开。
注意，在图10中，在事件检测单元63A和事件检测单元63B中，未示出图6的缓存器632。
顺便提及，在作为移动体的示例的车辆行驶期间，可能遇到各种行驶状态，例如不仅车辆拥堵的状态和车辆在一般道路上行驶的状态，而且还有车辆在高速公路上行驶的状态。因此，期望在车辆上安装和使用的事件检测传感器10能够精确地检测诸如另一车辆和行人的事件，而与车辆的行驶状态无关。
因此，在本实施例中，为了能够精确地检测事件而与车辆的行驶状态无关，在具有上述配置的事件检测传感器10中，在控制单元50的控制下，根据车辆的行驶状态切换事件检测传感器10的分辨率。具体地，根据车辆的行驶状态设置连接控制单元64的操作模式，并且根据操作模式执行事件检测传感器10的分辨率的切换。
连接控制单元64的操作模式的示例包括高分辨率(正常)模式、低分辨率模式和电流平均模式。这里，低分辨率模式是事件检测传感器10的分辨率相对较低(即，低分辨率)的第一分辨率的模式。高分辨率模式是事件检测传感器10的分辨率相对较高(即，高分辨率)的第二分辨率的模式。
图11是表示分辨率可变的事件检测传感器10中的连接控制单元64的操作模式的图。注意，连接控制单元64的晶体管641以及事件检测单元63A和事件检测单元63B的晶体管在连接控制单元64的控制下接通或断开。
在高分辨率模式中，连接控制单元64的晶体管641断开，并且事件检测单元63B的晶体管6312导通。此外，根据后面描述的计算表TL1执行计算单元642中的计算。
在低分辨率模式中，连接控制单元64的晶体管641导通，并且事件检测单元63B的晶体管6312断开。此外，根据后面描述的计算表TL2执行计算单元642中的计算。
在电流平均模式下，连接控制单元64的晶体管641导通，并且事件检测单元63B的晶体管6312断开。此外，根据后面描述的计算表TL3执行计算单元642中的计算。
图12A、图12B和图12C示出了在计算单元642中用于计算的计算表TL1、计算表TL2和计算表TL3。
根据根据图12A中的计算表TL1的计算，根据事件数据α和事件数据β，事件数据α和事件数据β分别被原样输出为事件数据α'和事件数据β’。
根据根据图12B的计算表TL2的计算，根据事件数据α和事件数据β，事件数据α被原样输出为事件数据α'。此外，作为事件数据β'，输出指示没有发生事件的0(0伏)。因此，在根据计算表TL2的操作中，对事件数据β执行限制指示事件发生的事件数据的输出的计算。
根据根据图12C中的计算表TL3的计算，根据事件数据α和事件数据β，表达式(α＝＝β？α：0)的计算结果被输出为事件数据α'。此外，作为事件数据β'，输出指示没有发生事件的0。
上述表达式(α＝＝β？α:0)表示在事件数据α和事件数据β彼此相等(α＝＝β)为真的情况下取α，并且在事件数据α和事件数据β彼此相等为假的情况下取0。
根据根据计算表TL3的计算，在事件数据α和事件数据β彼此相等的情况下，输出事件数据α(＝β)作为事件数据α'。在事件数据α和事件数据β不相等的情况下，输出指示没有发生事件的0作为事件数据α'。
此外，作为事件数据β'，输出指示没有发生事件的0。因此，在根据计算表TL3的计算中，在对于事件数据α而事件数据α和事件数据β彼此不相等的情况下执行限制指示事件发生的事件数据的输出的计算，并且对于事件数据β总是执行限制指示事件发生的事件数据的输出的计算。
(高分辨率模式的情况)
图13是示出图10的连接控制单元64的操作模式是高分辨率模式的情况下的光电流的流动的图。
在图10的连接控制单元64中，事件检测单元63A的晶体管6312始终导通。然后，在连接控制单元64的操作模式是高分辨率模式的情况下，连接控制单元64的晶体管641断开，并且事件检测单元63B的晶体管6312导通。
结果，在高分辨率模式中，像素11A和像素11B之间的连接由在断开状态下的晶体管641电断开，并且像素11A的事件检测单元63A和像素11B的事件检测单元63B独立地操作。
此外，在高分辨率模式中，在计算单元642中执行根据图12A的计算表TL1的计算，并且事件数据α和事件数据β'分别作为事件数据α'和事件数据β'被原样提供给事件检测单元63A和事件检测单元63B的传输单元635。
结果，像素11A和11B与未提供连接控制单元64的情况类似地操作，并且在像素阵列单元12中，可以输出与布置在像素阵列单元12中的像素11的数量相对应的分辨率，即高分辨率事件数据，作为指示事件发生的事件数据。
这里，由像素11A和11B的光接收元件(光电转换元件)611生成的光电流由Iph和Iph’表示。在高分辨率模式中，由像素11A生成的光电流Iph流过事件检测单元63A的晶体管6311，并且由像素11B生成的光电流Iph’流过事件检测单元63B的晶体管6311。
(低分辨率模式的情况)
图14是示出图10的连接控制单元64的操作模式是低分辨率模式的情况下的光电流的流动的图。
在图10的连接控制单元64中，事件检测单元63A的晶体管6312始终导通。然后，在连接控制单元64的操作模式是低分辨率模式的情况下，连接控制单元64的晶体管641导通，并且事件检测单元63B的晶体管6312断开。
结果，在低分辨率模式中，像素11A和像素11B经由导通状态下的晶体管641电连接在一起。即，像素11A的晶体管6311的源电极和像素11B的晶体管6311的源电极连接在一起，由此像素11A和像素11B连接在一起。
此外，在低分辨率模式中，事件检测单元63B的晶体管6312断开，由此事件检测单元63B的电流-电压转换单元631的晶体管6311至6313断开。
此外，在低分辨率模式中，在计算单元642中执行根据图12B的计算表TL2的计算，并且事件数据α被原样输出为事件数据α'。作为事件数据β'，始终输出指示没有发生事件的0。然后，这些事件数据α'和事件数据β'分别被提供给事件检测单元63A和事件检测单元63B的传输单元635。
结果，对于像素11A和像素11B，只有像素11A输出指示事件发生的事件数据，并且像素11B始终输出指示没有发生事件的事件数据(即，不输出指示事件发生的事件数据)。
因此，像素阵列单元12可以输出具有对应于布置在像素阵列单元12中的像素11的数量的1/2的分辨率的事件数据作为指示事件发生的事件数据。即，在低分辨率模式中，在本示例的情况下，指示事件发生的事件数据的分辨率(最大数量)是高分辨率模式的情况的1/2。
如上所述，在低分辨率模式中，可以抑制输出指示事件发生的事件数据的像素11的数量。结果，在低分辨率模式中，与高分辨率模式的情况相比，可以抑制大量事件同时发生。
此外，在低分辨率模式中，像素11A的晶体管6311的源电极和像素11B的晶体管6311的源电极连接在一起，并且事件检测单元63B的电流-电压转换单元631的晶体管6311至6313断开。结果，在事件检测单元63A的晶体管6311中，组合电流(Iph+Iph’)流动，其中组合由像素11A生成的光电流Iph和由像素11B生成的光电流Iph’。
结果，散粒噪声相对降低，使得由事件检测单元63A的电流-电压转换单元631的晶体管6311至6313处理的信号的S/N可以提高到高分辨率模式的情况的
Figure BDA0003270712190000201
倍，并且可以提高事件检测的可靠性。此外，由于事件检测单元63B的电流-电压转换单元631的晶体管6311至6313被断开，因此可以降低功率消耗。
(电流平均模式的情况)
图15是示出图10的连接控制单元64的操作模式是电流平均模式的情况下的光电流的流动的图。
在图10的连接控制单元64中，事件检测单元63A的晶体管6312始终导通。然后，在连接控制单元64的操作模式是电流平均模式的情况下，连接控制单元64的晶体管641导通，并且事件检测单元63B的晶体管6312导通。
结果，在电流平均模式中，像素11A和像素11B经由导通状态下的晶体管641电连接在一起。即，像素11A的晶体管6311的源电极和像素11B的晶体管6311的源电极连接在一起，由此像素11A和像素11B连接在一起。
此外，在电流平均模式下，事件检测单元63B的晶体管6312导通，由此事件检测单元63B的电流-电压转换单元631的晶体管6311至6313导通。结果，在事件检测单元63A和事件检测单元63B中，电流-电压转换单元631都处于操作状态。
此外，在电流平均模式中，在计算单元642中执行根据图12C的计算表TL3的计算，并且在事件数据α和事件数据β彼此相等的情况下，输出事件数据α(＝β)作为事件数据α'。此外，在事件数据α和事件数据β彼此不相等的情况下，输出指示没有发生事件的0。作为事件数据β'，始终输出指示没有发生事件的0。然后，这些事件数据α'和事件数据β'分别被提供给事件检测单元63A和事件检测单元63B的传输单元635。
结果，对于像素11A和像素11B，只有像素11A输出指示事件发生的事件数据，并且像素11B始终输出指示没有发生事件的事件数据(即，不输出指示事件发生的事件数据)。
因此，像素阵列单元12可以输出具有对应于布置在像素阵列单元12中的像素11的数量的1/2的分辨率的事件数据作为指示事件发生的事件数据。即，在电流平均模式中，与低分辨率模式的情况类似，指示事件发生的事件数据的分辨率(最大数量)为高分辨率模式的情况的1/2。
如上所述，在电流平均模式中，可以抑制输出指示事件发生的事件数据的像素11的数量。结果，在电流平均模式中，与低分辨率模式类似，可以抑制大量事件同时发生。
此外，在电流平均模式下，像素11A的晶体管6311的源电极和像素11B的晶体管6311的源电极连接在一起，并且事件检测单元63A和事件检测单元63B中的每个的电流-电压转换单元631的晶体管6311至6313导通。结果，由像素11A生成的光电流Iph和由像素11B生成的光电流Iph’的平均值流过事件检测单元63A和事件检测单元63B的每个晶体管6311。
结果，抑制了噪声，从而可以提高由事件检测单元63A的电流-电压转换单元631的晶体管6311至6313处理的信号的S/N，并且可以提高事件检测的可靠性。
此外，在电流平均模式下，在根据图12C中的计算表TL3的计算，事件数据α和事件数据β彼此相等的情况下，输出相等的事件数据α和事件数据β作为事件数据α'，从而可以提高事件数据的可靠性。
注意，图10所示的分辨率可变的事件检测传感器10的配置是示例，并且分辨率可变的事件检测传感器10的配置不限于图10的配置。例如，也可以提供开关元件(例如晶体管)，其选择性地将像素11A的光电流过的晶体管6311的栅电极和像素11B的光电流过的晶体管6311的栅电极连接在一起，并且选择性地组合对应于各个光电流的光电压。
(连接控制单元进行连接控制的对象的像素的连接示例)
在上文中，连接控制单元64针对在列方向(竖直方向/纵向方向)上彼此相邻的两个像素11进行连接控制，但这不是限制。即，除了在列方向上彼此相邻的两个像素11之外，例如2×2(水平(横向)×竖直(纵向))中的4个像素11、3×3中的9个像素11、4×4中的16个像素11、4×1中的4个像素11、4×2中的8个像素11、以及多个像素11的任何其他组合都可以成为连接控制单元64的连接控制的对象。
这里，作为示例，将参考图16描述其中连接多个像素11以保持纵横比的连接示例。图16是示出连接控制单元64连接控制多个像素11的连接示例的图。
在图16的连接示例中，将2×2像素11连接在一起作为第一连接。在图16中，第一连接的像素组表示一组2×2像素11。此外，将第一连接中连接在一起的2×2像素11作为块，将2×2像素块连接在一起作为第二连接。在图16中，第二连接的像素组表示一组2×2像素块。
此外，在图16的连接示例中，用于控制第一连接的通/断(即，是否通过第一连接将2×2像素11连接在一起)的控制信号线L11和用于控制第二连接的通/断(即，是否通过第二连接将2×2像素块连接在一起)的控制信号线L12沿列方向布线。
在图16中，在断开第一连接和第二连接的情况下，指示事件发生的事件数据的分辨率(可以输出事件数据的像素11的数量)是12×12的高分辨率。在导通第一连接并且断开第二连接的情况下，指示事件发生的事件数据的分辨率是6×6的低分辨率。在导通第一连接和第二连接的情况下，指示事件发生的事件数据的分辨率是3×3的较低分辨率。
除了图16中的第一连接和第二连接之外，通过增加像素11的连接方法和用于控制连接的连接控制线，可以实现较低分辨率作为指示事件发生的事件数据的分辨率。
在下文中，将描述这样的具体示例，即，在根据第一实施例的成像系统1A中，根据车辆的行驶状态来切换事件检测传感器10的分辨率，以使得能够精确地检测事件而与车辆的行驶状态无关。在下面描述的每个示例中，分辨率的切换是在图1的控制单元50的控制下执行的。在该控制中，从图34所示的车辆控制系统7000经由接口80向控制单元50提供各种类型的信息，例如本车的车辆速度。
<示例1>
示例1是基于本车的车辆速度切换事件检测传感器10的分辨率的示例。在图17的流程图中示出了根据示例1的分辨率切换控制的流程。
在车辆行驶期间，控制单元50确定本车的车辆速度是否大于或等于一定的速度(步骤S11)，并且如果车辆速度大于或等于一定的速度，则将事件检测传感器10的分辨率设置为低分辨率模式(步骤S12)。在车辆速度高的行驶状态中，发生多个事件检测，并且事件检测传感器10的功率消耗增加，从而设置低分辨率模式。
在低分辨率模式中，可以抑制事件检测。换言之，在低分辨率模式中，可以抑制像素阵列单元12在事件检测中处于操作状态的区域。结果，减少了在事件检测中处于操作状态的像素的数量，并且可以相应地降低事件检测传感器10的功率消耗。
在低分辨率模式中的行驶状态中，控制单元50确定本车的车辆速度是否小于一定的速度(步骤S13)，并且如果车辆速度小于一定的速度，则从低分辨率模式转换到高分辨率模式(步骤S14)，在高分辨率模式中，可以高精度地执行事件检测。然后，控制单元50监测车辆的停止(步骤S15)，并且返回到步骤S11以重复上述的一系列处理，直到车辆停止。
根据上述示例1的分辨率切换控制，基于本车的车辆速度，在大于或等于可能发生多个事件检测的一定的速度的行驶状态中设置可以抑制事件检测的低分辨率模式，从而可以降低事件检测传感器10的功率消耗。
<示例2>
示例2是基于与前方物体(例如，车辆)的相对速度切换事件检测传感器10的分辨率的示例。在图18的流程图中示出了根据示例2的分辨率切换控制的流程。
在车辆行驶期间，基于图1中的物体识别单元40的识别结果，控制单元50识别出在本车前方行驶的另一车辆(步骤S21)，然后计算本车与另一车辆之间的相对速度(步骤S22)，并且确定相对速度是否大于或等于一定的相对速度(步骤S23)。然后，如果相对速度大于或等于一定的相对速度，则控制单元50针对事件检测传感器10的分辨率设置高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测(步骤S24)。
在高分辨率模式中的行驶状态中，控制单元50计算本车与另一车辆之间的相对速度(步骤S25)，并且确定相对速度是否小于一定的相对速度(步骤S26)。如果相对速度小于一定的相对速度，则控制单元50从高分辨率模式转换到低分辨率模式(步骤S27)。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。然后，控制单元50监测车辆的停止(步骤S28)，并且返回到步骤S21以重复上述的一系列处理，直到车辆停止。
根据上述示例2的分辨率切换控制，基于本车和前方车辆之间的相对速度，事件检测传感器10的分辨率可以被设置为适合于相对速度的模式。
<示例3>
示例3是基于本车的车辆速度和事件数(发生事件的数量)切换事件检测传感器10的分辨率的示例。在图19的流程图中示出了根据示例3的分辨率切换控制的流程。
在车辆的行驶期间，控制单元50确定本车的车辆速度是否大于或等于一定的速度(步骤S31)，然后确定事件检测传感器10检测到的事件数是否大于或等于预定阈值(步骤S32)。如果车辆速度大于或等于一定的速度并且事件数大于或等于预定阈值，则控制单元50将事件检测传感器10的分辨率的设置为低分辨率模式(步骤S33)。在车辆速度高的行驶状态中，发生多个事件检测，并且事件检测传感器10的功率消耗增加，从而设置低分辨率模式。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。
在低分辨率模式中的行驶状态中，控制单元50确定本车的车辆速度是否小于一定的速度(步骤S34)，然后确定事件检测传感器10检测到的事件数是否小于预定阈值(步骤S35)。如果车辆速度小于一定的速度并且事件数小于预定阈值，则控制单元50从低分辨率模式转换到高分辨率模式(步骤S36)，在高分辨率模式中，可以高精度地执行事件检测。然后，控制单元50监测车辆的停止(步骤S37)，返回到步骤S31以重复上述的一系列处理，直到确定车辆已经停止(S37中为“是”)。
根据上述示例3的分辨率切换控制，基于本车的车辆速度和事件数(发生事件的数量)，在大于或等于可能发生多个事件检测的一定的速度的行驶状态中设置低分辨率模式，从而可以降低事件检测传感器10的功率消耗。
<示例4>
示例4是基于与另一车辆的相对速度和事件数切换事件检测传感器10的分辨率的示例。在图20的流程图中示出了根据示例4的分辨率切换控制的流程。
在车辆行驶期间，基于图1中的物体识别单元40的识别结果，控制单元50识别出在本车前方行驶的另一车辆(步骤S41)，然后计算本车与另一车辆之间的相对速度(步骤S42)。接下来，控制单元50确定相对速度是否大于或等于一定的相对速度(步骤S43)，然后确定事件检测传感器10检测到的事件数是否大于或等于预定阈值(步骤S44)。然后，如果相对速度大于或等于一定的相对速度，并且事件数大于或等于预定阈值，则控制单元50对事件检测传感器10的分辨率设置高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测(步骤S24)。
在高分辨率模式的行驶状态中，控制单元50计算本车与另一车辆之间的相对速度(步骤S46)，确定相对速度是否小于一定的相对速度(步骤S47)，然后确定事件检测传感器10检测到的事件数是否小于预定阈值(步骤S48)。然后，如果相对速度小于一定的相对速度并且事件数小于预定阈值，则控制单元50从高分辨率模式转换到低分辨率模式(步骤S49)。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。然后，控制单元50监测车辆的停止(步骤S50)，并且返回到步骤S41以重复上述的一系列处理，直到车辆停止。
根据上述示例4的分辨率切换控制，基于本车和前方车辆之间的相对速度和事件检测传感器10检测到的事件数(发生事件的数量)，事件检测传感器10的分辨率可以被设置为适合于相对速度和事件数的模式。
<示例5>
示例5是当检测到拥堵的发生时切换事件检测传感器10的分辨率的示例。在图21的流程图中示出了根据示例5的分辨率切换控制的流程。
这里，假设本车在事件检测传感器10处于低分辨率模式的状态下行驶(步骤S51)。控制单元50确定在以低分辨率模式行驶期间，本车是否以本车的车辆速度小于预定阈值的低速行驶(步骤S52)，然后，确定事件数(发生事件的数量)是否大于或等于预定阈值(步骤S53)，然后，基于图1中的物体识别单元40的识别结果，确定占据事件检测传感器10的视角(可成像范围)的车辆的区域是否大于或等于一定的比率(步骤S54)。
本车的车辆速度、事件检测传感器10检测到的事件数、以及占据视角的车辆的区域是用于检测拥堵的发生的参数。例如，在拥堵期间，本车周围的车辆数量增加，并且事件检测传感器10检测到的事件数相应地增加。在本车的车辆速度小于阈值的低速行驶期间，如果事件数大于或等于阈值，并且占据视角的车辆的区域大于或等于一定的比率，则控制单元50检测到拥堵已经发生(步骤S55)，并且由于在拥堵期间通常需要安全驾驶，因此控制单元50从低分辨率模式转换到高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测(步骤S56)。
接下来，控制单元50确定拥堵是否已经解决(步骤S57)。该确定处理与用于检测拥堵的发生的步骤S52、步骤S53和步骤S54相反。即，控制单元50可以在本车以本车的车辆速度大于或等于阈值的车辆速度行驶、事件数小于阈值、并且占据视角的车辆的区域小于一定的比率的条件下确定拥堵已经解决。
在确定拥堵已经解决的情况下，控制单元50返回到步骤S51，从高分辨率模式转换到低分辨率模式，并且重复上述的一系列处理。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。此外，控制单元50监测车辆的停止(步骤S58)，并且在确定车辆停止的情况下，控制单元50结束当检测到拥堵时的上述一系列处理。
根据上述示例5的分辨率切换控制，当检测到拥堵发生时，通过从低分辨率模式转换到高分辨率模式(在高分辨率模式中，可以高精度地执行事件检测)，可以更精确地检测事件的发生，从而可以有助于在拥堵中的安全驾驶。
<示例6>
示例6是当检测到高速公路行驶时切换事件检测传感器10的分辨率的示例。在图22的流程图中示出了根据示例6的分辨率切换控制的流程。
这里，假设本车在事件检测传感器10处于低分辨率模式的状态下行驶(步骤S61)。控制单元50确定在以低分辨率模式行驶期间，本车的车辆速度是否以本车的车辆速度大于或等于预定阈值的高速行驶(步骤S62)，然后，确定事件数(发生事件的数量)是否大于或等于预定阈值(步骤S63)，然后，基于图1中的物体识别单元40的识别结果，确定占据视角的车辆的区域是否大于或等于一定的比率(步骤S64)。
本车的车辆速度、事件检测传感器10检测到的事件数、以及占据视角的车辆的区域是用于检测高速公路行驶的参数。例如，在高速行驶期间，事件检测传感器10检测到的事件数增加。在以本车的车辆速度大于或等于预定阈值的高速行驶期间，如果事件数大于或等于阈值，并且占据视角的车辆的区域大于或等于一定的比率，则控制单元50检测到本车在高速公路上行驶(步骤S65)，并且由于在高速行驶期间通常需要安全驾驶，因此控制单元50从低分辨率模式转换到高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测(步骤S66)。
接下来，控制单元50确定在高分辨率模式中的行驶状态中高速公路行驶是否已经完成(步骤S67)。该确定处理与用于检测高速公路行驶的步骤S62、步骤S63和步骤S64相反。即，控制单元50可以在本车以本车的车辆速度小于阈值的车辆速度行驶、事件数小于阈值、并且占据视角的车辆的区域小于一定的比率的条件下确定高速公路行驶已经完成。
在确定高速公路行驶已经完成的情况下，控制单元50返回到步骤S61，从高分辨率模式转换到低分辨率模式，并且重复上述的一系列处理。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。此外，控制单元50监测车辆的停止(步骤S68)，并且在确定车辆停止的情况下，控制单元50结束当检测到高速公路行驶时的上述一系列处理。
根据上述示例6的分辨率切换控制，当检测到高速公路行驶时，通过从低分辨率模式转换到高分辨率模式(在高分辨率模式中，可以高精度地执行事件检测)，可以更精确地检测事件的发生，从而可以有助于在高速公路上的安全驾驶。
<示例7>
示例7是当检测到本车的路线改变时切换事件检测传感器10的分辨率的示例。在图23的流程图中示出了根据示例7的分辨率切换控制的流程。
这里，假设本车直线行驶(步骤S71)。控制单元50确定在直线行驶期间是否执行了右转弯或左转弯的路线改变(步骤S72)，并且当确定执行了右转弯或左转弯的路线改变时，对事件检测传感器10的分辨率设置高分辨率模式(步骤S73)。即，在右转弯或左转弯的路线改变中，本车周围景物的变化大，从而设置高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测。下面将描述在步骤S72中确定路线改变的具体处理。
接下来，控制单元50确定本车是否直线行驶(步骤S74)，并且当确定车辆直线行驶时，直线行驶期间周围景物的变化比路线改变期间小，从而控制单元50从高分辨率模式转换到低分辨率模式(步骤S75)。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。下面将描述在步骤S74中确定直线行驶的具体处理。
接下来，控制单元50监测车辆的停止(步骤S68)，并且如果未停止，则返回到步骤S71以切换到直线行驶，然后重复上述的一系列处理。在确定车辆停止的情况下，控制单元50结束当检测到本车的路线改变时的上述一系列处理。
根据上述示例7的分辨率切换控制，当检测到路线改变时，通过从低分辨率模式转换到高分辨率模式(在高分辨率模式中，可以高精度地执行事件检测)，可以更精确地检测事件的发生，从而可以有助于路线改变期间的安全驾驶。
随后，将描述在步骤S72中路线改变的确定和在步骤S74中直线行驶的确定的具体处理的示例。
在图24A的流程图中示出了确定路线改变的具体处理的示例，并且在图24B的流程图中示出了确定直线行驶的具体处理的示例。在任何确定处理中，可以使用从下面描述的图34所示的车辆控制系统7000提供的各种类型的信息中的一种，例如，关于方向盘的转向角度的信息。
在图24A的路线改变确定处理中，控制单元50基于方向盘的转向角度的信息，确定转向是否已经旋转了大于或等于一定的角度(步骤S721)，并且然后确定事件检测传感器10检测到的事件数(发生事件的数量)是否大于或等于预定阈值(步骤S722)。然后，当转向旋转大于或等于一定的角度并且事件数大于或等于阈值时，控制单元50检测到存在右转弯或左转弯(步骤S723)，然后返回到图23的流程并前进到步骤S73。
在图24B的直线行驶确定处理中，控制单元50确定转向是否在一定的角度内(步骤S741)，然后确定事件检测传感器10检测到的事件数(发生事件的数量)是否小于预定阈值(步骤S742)。然后，当转向在一定的角度内并且事件数小于阈值时，控制单元50检测到车辆直线行驶(步骤S743)，然后返回图23的流程并前进到步骤S75。
注意，在该示例中，关于方向盘的转向角度的信息用于检测路线改变，但是本发明不限于此，并且例如可以检测方向盘的加速度并且可以使用加速度信息。
<示例8>
示例8是针对像素阵列单元的每个区域切换事件检测传感器10的分辨率的示例。在图25的流程图中示出了根据示例8的分辨率切换控制的流程。
这里，假设本车在事件检测传感器10处于高分辨率模式的状态下行驶(步骤S81)。在高分辨率模式中，控制单元50以预定数量的像素为单元将像素阵列单元12划分为多个区域，并且对经受ROI提取的每个区域计算事件检测传感器10检测到的事件数(检测事件数)(步骤S82)。
接下来，控制单元50确定是否存在对每个区域计算的事件数超过预定阈值的区域(步骤S83)，并且如果存在事件数超过阈值的区域，则控制单元50指定事件数超过阈值的区域(步骤S84)。例如，可以基于诸如形成该区域的像素11的地址的信息来指定该区域。
接下来，控制单元50对指定为事件数超过阈值的区域的区域设置低分辨率模式(步骤S85)。此后，控制单元50确定在设置低分辨率模式的区域中，事件检测传感器10检测到的事件数是否小于预定阈值(步骤S86)，并且如果事件数小于阈值，则前进到步骤S81并且返回到高分辨率模式。
如果事件数不小于阈值，则控制单元50在对于指定为事件数超过阈值的区域的区域设置低分辨率模式的状态下监测车辆的停止(步骤S87)，并且如果确定车辆停止，则结束用于切换像素阵列单元12的每个区域的分辨率的上述一系列处理。
上述示例8的技术，即，针对像素阵列单元12的每个区域切换事件检测传感器10的分辨率的技术，也可以应用于根据示例1的分辨率切换控制至根据上述示例7的分辨率切换控制。
在根据上述第一实施例的成像设备1A中，基于事件检测传感器10的输出，执行示例4中的前方行驶的其他车辆的识别，以及示例5和示例6中的占据视角的车辆的区域的确定，但这不是限制。还可以基于根据稍后面描述的第二实施例的成像设备1B中提供的同步成像传感器的输出，执行其他车辆的识别以及占据视角的车辆的区域的确定。
<<本公开的第二实施例>>
<根据第二实施例的成像系统的配置示例>
图26是示出根据本公开的第二实施例的成像系统的系统配置的示例的框图。
如图26所示，根据本公开的第二实施例的成像系统1B包括事件检测传感器10、图像传感器20、运动识别单元30、物体识别单元40、控制单元50、操作模式定义单元60和记录单元70。
事件检测传感器10、运动识别单元30、物体识别单元40、控制单元50、操作模式定义单元60和记录单元70的功能如在根据第一实施例的成像系统1A中描述。与根据第一实施例的成像系统1A类似，根据第二实施例的成像系统1B也可以在诸如车辆的移动体上安装和使用。
<图像传感器的配置示例>
将描述根据第二实施例的成像系统1B中的图像传感器20的基本配置。这里，作为图像传感器20，将描述作为一种XY地址型图像传感器的CMOS图像传感器作为示例。CMOS图像传感器是通过应用或部分使用CMOS工艺制造的图像传感器。然而，图像传感器20不限于CMOS图像传感器。
[CMOS图像传感器的配置示例]
图27是示出作为根据第二实施例的成像系统1B中的图像传感器20的示例的CMOS图像传感器的配置的轮廓的框图。
根据该示例的图像传感器20包括像素阵列单元22和像素阵列单元22的外围电路单元，在像素阵列单元22中，包括光接收单元(光电转换单元)的像素21在行方向和列方向上布置，即，二维地布置成矩阵。这里，行方向是指像素行中的像素21的布置方向，列方向是指像素列中的像素21的布置方向。像素21通过执行光电转换生成并累积与接收光量相对应的光电荷。
根据本示例的图像传感器20是RGB传感器，在RGB传感器中，例如，在像素阵列单元22的每个像素21中包含有红色(R)、绿色(G)和蓝色(B)滤色器。然而，图像传感器20不限于RGB传感器。
例如，像素阵列单元22的外围电路单元包括行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27、定时控制单元28等。
在像素阵列单元22中，对于矩阵状的像素阵列，像素驱动线311至31m(下文中，可统称为“像素驱动线31”)针对每个像素行沿行方向布线。此外，垂直信号线321至32n(下文中，可统称为“垂直信号线32”)针对每个像素列沿列方向布线。像素驱动线31传输驱动信号，用于在从每个像素21读取信号期间执行驱动。在图1中，像素驱动线31被示出为一根布线，但是布线不限于一根布线。像素驱动线31的一端连接到与行选择单元23的每行相对应的输出端。
下面，将对像素阵列单元22的外围电路单元的每个电路单元给出描述，即，行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27和定时控制单元28。
行选择单元23包括移位寄存器、地址解码器等，并且当选择像素阵列单元22的每个像素21时，控制像素行的扫描和像素行的寻址。虽然未示出行选择单元23的具体配置，但其通常包括两种扫描系统，读取扫描系统和扫掠(sweep)扫描系统。
读取扫描系统以行为单位顺序地执行像素阵列单元22的像素21的选择性扫描，以从像素21读取像素信号。从像素21读取的像素信号是模拟信号。在读取扫描之前快门速度时间，扫掠扫描系统对读取行执行扫掠扫描，在该读取行上，读取扫描系统执行读取扫描。
通过扫掠扫描系统的扫掠扫描，从读取行的像素21的光接收单元(光电转换单元)扫掠不需要的电荷，由此光接收单元被复位。然后，通过利用该扫掠扫描系统扫掠(复位)不需要的电荷来执行所谓的电子快门操作。这里，电子快门操作是指丢弃光接收单元的光电荷并开始新曝光(开始光电荷的累积)的操作。
恒定电流源单元24包括多个电流源I(见图18)(例如，该多个电流源I包括针对每个像素列连接到每个垂直信号线321至32n的MOS晶体管)，并且通过每个垂直信号线321至32n向由行选择单元23选择性扫描的像素行的每个像素21提供偏置电流。
模数转换单元25包括一组多个模数转换器，其对应于像素阵列单元22的像素列提供(例如，为每个像素列提供)。模数转换单元25是列-并行型模数转换单元，其将通过每个像素列的垂直信号线321至32n中的每个输出的模拟像素信号转换为数字信号。
例如，可以使用作为参考信号比较型模数转换器的示例的单斜率型模数转换器作为列-并行模数转换单元25中的模数转换器。然而，模数转换器不限于单斜率型模数转换器，并且可以使用顺序比较型模数转换器和Δ-Σ调制型(ΔΣ调制型)模数转换器等。
对于列-并行模数转换单元25中的模数转换器的示例，同样适用于构成上述事件检测传感器10的列处理单元15(参见图3)的模数转换单元中的模数转换器。
水平传输扫描单元26包括移位寄存器、地址解码器等，并且当读取像素阵列单元22的每个像素21的信号时，控制像素列的扫描和像素列的寻址。在水平传输扫描单元26的控制下，由模数转换单元25转换成数字信号的像素信号以像素列为单位被读取到水平传输线(水平输出线)29。
信号处理单元27对通过水平传输线29提供的数字像素信号执行预定的信号处理，以生成二维图像数据。例如，信号处理单元27校正垂直线缺陷和点缺陷，钳位信号，或执行诸如并行-串行转换、压缩、编码、加法、平均和间歇操作的数字信号处理。信号处理单元27将生成的图像数据作为图像传感器20的输出信号输出到后续设备。
定时控制单元28基于从外部提供的垂直同步信号VD、水平同步信号HD以及进一步的主时钟MCK(未示出)等，生成各种定时信号、时钟信号、控制信号等。然后，定时控制单元28基于这些生成的信号，执行行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27等的驱动控制。
在定时控制单元28的控制下，图像传感器20与同步信号(例如，垂直同步信号VD)同步地执行成像。即，图像传感器20是以预定帧速率执行成像的同步成像设备。
[像素的电路配置示例]
图28是示出图像传感器20中的像素阵列单元22的像素21的电路配置的示例的电路图。
例如，像素21包括光电二极管211作为光接收单元(光电转换单元)。除了光电二极管211之外，像素21还包括传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215。
注意，这里，例如，N型MOS晶体管被用作传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215的四个晶体管，但是这里例示的四个晶体管212至215的导电类型的组合只是示例，并且不限于这些的组合。
关于像素21，作为上述像素驱动线31，多条像素驱动线共同布线给同一像素行中的每个像素21。多条像素驱动线以像素行为单位连接到与行选择单元23的每个像素行相对应的输出端。行选择单元23向多条像素驱动线适当地输出传输信号TRG、复位信号RST和选择信号SEL。
在光电二极管211中，阳极电极连接到低电位侧电源(例如，地)，并且接收光被光电转换为具有与光量相对应的电荷量的光电荷(这里，光电子)，并且光电荷被累积。光电二极管211的阴极电极经由传输晶体管212电连接到放大晶体管214的栅电极。这里，放大晶体管214的栅电极电连接到的区域是浮动扩散(浮动扩散区域/杂质扩散区域)FD。浮动扩散FD是将电荷转换为电压的电荷-电压转换单元。
高电平(例如，VDD电平)有效的传输信号TRG从行选择单元23提供给传输晶体管212的栅电极。当响应于传输信号TRG而导通时，传输晶体管212将由光电二极管211光电转换并累积在光电二极管211中的光电荷传输到浮动扩散FD。
复位晶体管213连接在电源电压VDD的电源线和浮动扩散FD之间。高电平有效的复位信号RST从行选择单元23提供给复位晶体管213的栅电极。复位晶体管213响应于复位信号RST而导通，并且通过丢弃浮动扩散FD的电荷到电源电压VDD的节点来复位浮动扩散FD。
在放大晶体管214中，栅电极连接到浮动扩散FD，漏电极连接到电源电压VDD的电源线。放大晶体管214用作源极跟随器的输入单元，源极跟随器读取通过光电二极管211中的光电转换获得的信号。放大晶体管214的源电极经由选择晶体管215连接到垂直信号线32。然后，放大晶体管214和连接到垂直信号线32的一端的电流源I构成源极跟随器，该源极跟随器将浮动扩散FD的电压转换为垂直信号线32的电位。
在选择晶体管215中，漏电极连接到放大晶体管214的源电极，源电极连接到垂直信号线32。高电平有效的选择信号SEL从行选择单元23提供给选择晶体管215的栅电极。选择晶体管215响应于选择信号SEL而导通，从而选择像素21以将从放大晶体管214输出的信号传输到垂直信号线32。
注意，这里，作为像素21的像素电路，以4Tr配置作为示例，包括传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215，即，包括四个晶体管(Tr)，但这不是限制。例如，可以采用省略选择晶体管215而将选择晶体管25的功能赋予放大晶体管214的3TR配置，或者可以根据需要采用增加晶体管数量的5TR以上的配置。
[芯片结构的配置示例]
具有上述配置的图像传感器20的芯片(半导体集成电路)结构的示例包括水平安装芯片结构和层叠芯片结构。在具有水平安装芯片结构和层叠芯片结构的任一图像传感器20中，当布置布线层的一侧的基板表面是像素21的前表面时，可以采用前照明像素结构，其捕获从前表面侧发射的光，或者可以采用后照明像素结构，其捕获从后表面侧(前表面的相反侧)发射的光。下面将描述水平安装芯片结构和层叠芯片结构。
(水平安装芯片结构)
图29是示出图像传感器20的水平安装芯片结构的轮廓的平面图。
如图29所示，水平安装芯片结构(所谓的水平安装结构)具有围绕像素阵列单元22的电路部分形成在半导体基板201上的结构，与以矩阵布置像素21的像素阵列单元22相同。具体地，在与像素阵列单元22相同的半导体基板201上，形成行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27、定时控制单元28等。
(层叠芯片结构)
图30是示出图像传感器20的层叠芯片结构的轮廓的分解透视图。
如图30所示，层叠芯片结构(所谓的层叠结构)具有层叠第一半导体基板202和第二半导体基板203的至少两个半导体基板的结构。在该层叠结构中，像素阵列单元22形成在第一层的第一半导体基板202上。此外，诸如行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26、信号处理单元27和定时控制单元28的电路部分形成在第二层的第二半导体基板203上。然后，第一层的第一半导体基板202和第二层的第二半导体基板203通过连接部分33A和33B(诸如VIA和Cu-Cu键合)电连接在一起。
根据具有叠层结构的图像传感器20，可以将适合于制造像素21的工艺应用于第一层的第一半导体基板202，并且可以将适合于制造电路部分的工艺应用于第二层的第二半导体基板203，使得在制造图像传感器20时可以优化工艺。具体地，可以应用先进工艺制造电路部分。
注意，这里，示例了具有层叠第一半导体基板202和第二半导体基板203的双层结构的层叠结构，但是层叠结构不限于双层结构，并且可以具有三层或更多层。然后，在三层或更多层的层叠结构的情况下，诸如行选择单元23、恒定电流源单元24、模数转换单元25、水平传输扫描单元26和信号处理单元27的电路部分可以分散地形成在半导体基板的第二层和随后的层上。
在根据具有上述配置的第二实施例的成像系统1B中，事件检测传感器10和图像传感器20在控制单元50的控制下分别执行事件检测操作和成像操作。从事件检测传感器10输出的事件信号(事件数据)和从图像传感器20输出的图像数据被提供给运动识别单元30。
运动识别单元30基于从事件检测传感器10输出的事件信号识别(检测)物体的运动。更具体地，运动识别单元30通过将从事件检测传感器10输出的事件信号成帧来生成事件帧，并且在事件帧之间执行运动检测。在使用从事件检测传感器10输出的事件信号执行事件的物体识别的情况下，物体识别单元40基于由运动识别单元30给出的运动检测的结果执行物体识别。
图像传感器20包括同步成像设备，并且为了以预定帧速率(例如固定帧速率)执行成像，不需要像事件检测传感器10的情况那样生成事件帧。因此，以帧为单位从图像传感器20输出的图像数据被直接提供给物体识别单元40。然后，物体识别单元40基于图像数据以帧为单位执行物体识别。
顺便提及，由于包括异步成像设备的事件检测传感器10具有包括事件检测单元63的像素配置，所以像素尺寸必须大于包括同步成像设备的图像传感器20的像素尺寸。因此，事件检测传感器10具有比以固定帧速率执行成像的图像传感器20低的分辨率。另一方面，包括同步成像设备的图像传感器20在分辨率方面优于异步成像设备。
在下文中，将描述在根据第二实施例的成像系统1B中，根据车辆的行驶状态来切换事件检测传感器10的分辨率，以使得能够精确地检测事件，与车辆的行驶状态无关的具体示例。在下面描述的每个示例中，分辨率切换是在图26的控制单元50的控制下执行的。在该控制中，从图34所示的车辆控制系统7000经由接口80向控制单元50提供各种类型的信息，例如本车的车辆速度。
<示例9>
示例9是当检测到拥堵的发生时切换事件检测传感器10的分辨率的示例。在图31的流程图中示出了根据示例9的分辨率切换控制的流程。
这里，假设本车在事件检测传感器10处于低分辨率模式的状态下行驶(步骤S91)。控制单元50确定在以低分辨率模式行驶期间，本车是否以低速行驶(本车的车辆速度小于预定阈值)(步骤S92)，然后，确定是否可以仅通过包括异步成像设备的事件检测传感器10的信息来检测物体(例如，车辆)(步骤S93)。
如果仅通过事件检测传感器10的信息可以识别车辆，则控制单元50使用事件检测传感器10的信息(例如，指示事件发生的事件数据)来检测车辆(步骤S94)，然后指定视角内可以检测为车辆的区域(步骤S95)。如果仅通过事件检测传感器10的信息无法检测到车辆，则控制单元50使用事件检测设备传感器和图像传感器20的信息检测车辆(步骤S96)，然后前进到步骤S95的处理。
接下来，控制单元50确定可以检测为车辆的区域是否大于或等于预定阈值(步骤S97)，并且如果小于预定阈值，则返回到步骤S95的处理。此外，如果大于或等于预定阈值，则控制单元50检测到拥堵已经发生(步骤S98)，并且由于在拥堵期间通常需要安全驾驶，因此对于在步骤S95中指定的区域，控制单元50从低分辨率模式转换到高分辨率模式(步骤S99)，在高分辨率模式中，可以高精度地执行事件检测。
接下来，控制单元50确定拥堵是否已经解决(步骤S100)。该确定过程与检测拥堵的发生的情况相反。即，控制单元50可以在本车的车辆速度大于或等于阈值并且可以检测为车辆的区域小于预定阈值的条件下确定拥堵已经解决。
在确定拥堵已经解决的情况下，控制单元50返回到步骤S91，从高分辨率模式转换到低分辨率模式，并且重复上述的一系列处理。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。此外，控制单元50监测车辆的停止(步骤S101)，并且在确定车辆停止的情况下，控制单元50结束当检测到拥堵时的上述一系列处理。
根据上述示例9的分辨率切换控制，通过使用具有优于事件检测传感器10的分辨率的图像传感器20的图像数据，可以精确地检测拥堵的发生。然后，当检测到拥堵的发生时，通过从低分辨率模式转换到容易检测到事件发生的高分辨率模式，可以更精确地检测到事件的发生，从而可以有助于在拥堵中的安全驾驶。
<示例10>
示例10是当检测到高速公路行驶时切换事件检测传感器10的分辨率的示例。在图32的流程图中示出了根据示例10的分辨率切换控制的流程。
这里，假设本车在事件检测传感器10处于低分辨率模式的状态下行驶(步骤S111)。控制单元50确定在以低分辨率模式行驶期间，本车的车辆速度是否以高速行驶(本车的车辆速度大于或等于预定阈值)(步骤S112)，并且然后，确定是否可以仅通过事件检测传感器10的信息来检测到物体(例如，车辆)(步骤S113)。
如果仅通过事件检测传感器10的信息可以识别车辆，则控制单元50使用事件检测传感器10的信息(例如，指示事件发生的事件数据)来检测车辆(步骤S114)，然后指定视角内可以检测为车辆的区域(步骤S115)。如果仅通过事件检测传感器10的信息无法检测到车辆，则控制单元50使用事件检测设备传感器和图像传感器20的信息检测车辆(步骤S116)，然后前进到步骤S115的处理。
接下来，控制单元50确定可以检测为车辆的区域是否大于或等于预定阈值(步骤S117)，并且如果小于预定阈值，则返回到步骤S115的处理。此外，如果大于或等于预定阈值，则控制单元50检测到车辆正在高速公路上行驶(步骤S118)，并且由于在高速行驶期间通常需要安全驾驶，因此对于在步骤S115中指定的区域，控制单元50从低分辨率模式转换到高分辨率模式(步骤S119)，在高分辨率模式中，可以高精度地执行事件检测。
接下来，控制单元50确定在高分辨率模式中的行驶状态中高速公路行驶是否已经完成(步骤S120)。该确定过程与检测高速公路行驶的情况相反。即，控制单元50可以在本车的车辆速度小于阈值并且可检测为车辆的区域小于预定阈值的条件下确定高速公路行驶已经完成。
在确定高速公路行驶已经完成的情况下，控制单元50返回到步骤S111，从高分辨率模式转换到低分辨率模式，并且重复上述的一系列处理。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。此外，控制单元50监测车辆的停止(步骤S121)，并且在确定车辆停止的情况下，控制单元50结束当检测到高速公路行驶时的上述一系列处理。
根据上述示例10的分辨率切换控制，通过使用具有优于事件检测传感器10的分辨率的图像传感器20的图像数据，可以精确地检测高速公路行驶。然后，当检测到高速公路行驶时，通过从低分辨率模式转换到高分辨率模式(在高分辨率模式中，可以高精度地执行事件检测)，可以更精确地检测事件的发生，从而可以有助于在高速公路上的安全驾驶。
<示例11>
示例11是在根据第二实施例的成像系统1B安装在具有自动巡航功能的车辆上的情况下，在自动巡航模式下切换事件检测传感器10的分辨率的示例。在图33的流程图中示出了根据示例11的分辨率切换控制的流程。
自动巡航模式由用户(驾驶员)选择，并且当用户打开(选择)自动巡航模式时，关于自动巡航模式打开的信息从图34所示的车辆控制系统7000给到控制单元50。
控制单元50监测用户对自动巡航模式的选择(步骤S131)，并且当确定自动巡航模式为打开时，对事件检测传感器10的分辨率设置低分辨率模式(步骤S132)。接下来，控制单元50指定视角内可以检测为的车辆的区域(步骤S133)，并且对于指定的区域，从低分辨率模式转换到高分辨率模式，在高分辨率模式中，可以高精度地执行事件检测(步骤S135)。
接下来，控制单元50指定在本车前方行驶的车辆(步骤S135)，并且对于指定的车辆以外的区域转换到低分辨率模式(步骤S136)。设置低分辨率模式，由此可以降低事件检测传感器10的功率消耗。
接下来，控制单元50计算本车与前方车辆之间的相对速度(步骤S137)，然后确定本车与前方车辆之间的相对速度是否为零(步骤S138)，如果相对速度不为零，则改变本车的车辆速度(步骤S139)，然后前进到步骤S138。
如果与前方车辆的相对速度为零，则控制单元50保持本车的车辆速度(步骤S140)，然后监测用户关闭自动巡航模式(步骤S141)，并且如果要继续自动巡航模式，则返回到步骤S132，并且重复上述的一系列处理。此外，如果自动巡航模式关闭，则控制单元50监测车辆的停止(步骤S142)，并且在确定车辆停止的情况下，控制单元50结束上述一系列处理。
如上所述，根据根据示例11的分辨率切换控制，即使在根据第二实施例的成像系统1B安装在具有自动巡航功能的车辆上的情况下，也可以在自动巡航模式下执行根据行驶状态切换事件检测传感器10的分辨率的控制。
<<修改>>
上面已经基于优选实施例描述了根据本公开的技术，但是根据本公开的技术不限于实施例。在上述实施例中描述的成像设备和成像系统的配置和结构是示例，并且可以改变。例如，在上述实施例中，为每个光接收单元61提供像素信号生成单元62，以形成像素11；然而，可以采用这样的配置，其中，以多个光接收单元61为单位制成块，在每个像素块中提供像素信号生成单元62，并且像素信号生成单元62由像素块中的多个光接收单元61共用。
<<根据本公开的技术的应用示例>>
根据本公开的技术可以应用于各种产品。下面将描述更具体的应用示例。根据本公开的技术可以实施为安装在任何类型的移动体上的成像设备或成像系统，例如，汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶、机器人、建筑机械、农业机械(拖拉机)等。
<移动体>
图34是是示出车辆控制系统7000的示意性配置示例的框图，车辆控制系统7000是可以应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图34所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500以及集成控制单元7600。例如，将这些多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。
每个控制单元包括根据各种程序执行算术处理的微型计算机、存储由微型计算机执行的程序、用于各种计算中使用的参数等的存储单元、以及驱动要控制的设备的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元通信的网络I/F以及用于经由有线通信或无线通信与车辆内外的设备、传感器等通信的通信I/F。图34示出了作为集成控制单元7600的功能配置的微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660、音频图像输出单元7670、车载网络I/F 7680和存储单元7690。类似地，其他控制单元各自包括微型计算机、通信I/F、存储单元等。
驱动系统控制单元7100根据各种程序控制与车辆驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于生成车辆驱动力的驱动力生成设备(例如内燃机或驱动马达)的控制设备、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构、以及生成车辆制动力的制动设备等。驱动系统控制单元7100可以包括作为控制设备的功能，例如防抱死制动系统(ABS)或电子稳定控制(ESC)。
驱动系统控制单元7100连接到车辆状态检测单元7110。例如，车辆状态检测单元7110包括检测车身的轴旋转运动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器、或用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮旋转速度等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动转向设备、制动设备等。
车身系统控制单元7200根据各种程序控制安装到车身的各种设备的操作。例如，车身系统控制单元7200用作无钥匙进入系统，智能钥匙系统，电动车窗设备或各种灯(例如头灯、尾灯、刹车灯、转向指示灯和雾灯)的控制设备。在这种情况下，从替代钥匙的便携式设备发送的无线电波或各种开关的信号可以输入到车身系统控制单元7200。车身系统控制单元7200接受这些无线电波或信号的输入，并控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，诸如电池温度、电池输出电压、电池剩余容量的信息从包括二次电池7310的电池设备输入到电池控制单元7300。电池控制单元7300使用这些信号来执行算术处理，并且执行二次电池7310的温度调节控制或电池设备中提供的冷却设备等的控制。
车辆外部信息检测单元7400检测关于安装有车辆控制系统7000的车辆外部的信息。例如，成像单元7410或车辆外部信息检测单元7420中的至少一个连接到车辆外部信息检测单元7400。成像单元7410包括ToF(飞行时间)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。对于车辆外部信息检测单元7420，例如，用于检测当前气候或天气的环境传感器、或者用于检测安装有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的外围信息检测传感器中的至少一个。
例如，环境传感器可以是检测雨天的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器或检测降雪的雪传感器中的至少一种。外围信息检测传感器可以是超声波传感器、雷达设备或光检测和测距(LIDAR)设备(激光成像检测和测距(LIDAR)设备)中的至少一种。成像单元7410和车辆外部信息检测单元7420可以分别被提供作为独立的传感器或设备，或者可以被提供作为其中将多个传感器或设备集成在一起的设备。
这里，图35示出成像单元7410和车辆外部信息检测单元7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918设置在车辆7900的前鼻、后视镜、后保险杠、后门、车辆内部的挡风玻璃的上部的至少一个位置处。设置在前鼻上的成像单元7910和设置在车辆内部的挡风玻璃的上部的成像单元7918主要获取车辆7900的前方的图像。设置在后视镜上的成像单元7912和7914主要获取车辆7900的侧方的图像。设置在后保险杠或后门上的成像单元7916主要获取车辆7900后部的图像。设置在车辆内部的挡风玻璃的上部的成像单元7918主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
注意，图35示出了成像单元7910、7912、7914和7916的成像范围的示例。成像范围a表示设置在前鼻上的成像单元7910的成像范围，成像范围b和c分别表示设置在后视镜上的成像单元7912和7914的成像范围，成像范围d表示设置在后保险杠或后门上的成像单元7916的成像范围。例如，由成像单元7910、7912、7914和7916捕获的图像数据彼此叠加，由此获得从上方观看的车辆7900的俯视图像。
例如，车辆外部信息检测单元7920、7922、7924、7926、7928和7930设置在车辆7900的车辆内部的挡风玻璃的前部、后部、侧面、拐角和上部，可以是超声波传感器或雷达设备。例如，设置在车辆7900的车辆内部的前鼻、后保险杠、后门和挡风玻璃上部的车辆外部信息检测单元7920、7926和7930可以是LIDAR设备。这些车辆外部信息检测单元7920至7930主要用于检测前方车辆、行人、障碍物等。
回到图34继续描述。车辆外部信息检测单元7400使成像单元7410捕获车辆外部的图像，并接收捕获的图像数据。此外，车辆外部信息检测单元7400从连接的车辆外部信息检测单元7420接收检测信息。在车辆外部信息检测单元7420是超声波传感器、雷达设备或LIDAR设备的情况下，车辆外部信息检测单元7400发射超声波、电磁波等，并且接收关于接收到的反射波的信息。基于接收到的信息，车辆外部信息检测单元7400可以对人、车辆、障碍物、标志、路面上的字符等执行物体检测处理或距离检测处理。基于接收到的信息，车辆外部信息检测单元7400可以执行用于识别降雨、雾、路面状况等的环境识别处理。基于接收到的信息，车辆外部信息检测单元7400可以计算到车辆外部的物体的距离。
此外，基于接收的图像数据，车辆外部信息检测单元7400可以执行距离检测处理或图像识别处理，用于识别人、汽车、障碍物、标志、路面上的字符等。车辆外部信息检测单元7400可以对接收的图像数据执行诸如失真校正或对齐的处理，并且合成由不同成像单元7410捕获的图像数据以生成俯视图像或全景图像。车辆外部信息检测单元7400可以使用由不同成像单元7410捕获的图像数据来执行视点转换处理。
车辆内部信息检测单元7500检测关于车辆内部的信息。例如，车辆内部信息检测单元7500连接到检测驾驶员的状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括捕获驾驶员图像的照相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等上，并检测坐在座椅上的乘客或握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测单元7510输入的检测的信息，车辆内部信息检测单元7500可以计算驾驶员的疲劳程度或集中程度，并且可以确定驾驶员是否在打瞌睡。车辆内部信息检测单元7500可以对收集的声音信号执行噪声消除处理等。
集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。集成控制单元7600连接到输入单元7800。输入单元7800由例如触摸面板、按钮、麦克风、开关、控制杆等设备实现，乘客可以对其执行输入操作。通过对从麦克风输入的声音执行语音识别而获得的数据可以被输入到集成控制单元7600。例如，输入单元7800可以是使用红外线或其它无线电波的遥控设备，或者外部连接的设备，例如适应车辆控制系统7000的操作的移动电话或个人数字助理(PDA)。例如，输入单元7800可以是照相机，并且在这种情况下，乘客可以通过手势输入信息。或者，可以输入通过检测乘客佩戴的可穿戴设备的移动而获得的数据。此外，输入单元7800可以包括例如输入控制电路等，该输入控制电路等基于乘客等使用输入单元7800输入的信息生成输入信号，并将输入信号输出到集成控制单元7600。通过操作输入单元7800，乘客等向车辆控制系统7000输入各种数据或给出指令以执行处理操作。
存储单元7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由磁存储设备实现，例如硬盘驱动器(HDD)、半导体存储设备、光存储设备、磁光存储设备等。
通用通信I/F 7620是一种通用通信I/F，其协调与外部环境7750中存在的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议，例如全球移动通信系统(GSM(注册商标))、WiMAX、长期演进(LTE)或高级LTE(LTE-A)，或者其它无线通信协议，例如无线LAN(也称为Wi-Fi(注册商标))和蓝牙(注册商标)。例如，通用通信I/F 7620可以通过基站或接入点连接到外部网络(例如，互联网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以通过使用对等(P2P)技术连接到存在于车辆附近的终端(例如，驾驶员、行人或商店的终端或机器类型通信(MTC)终端)。
专用通信I/F 7630是一种支持设计用于车辆的通信协议的通信I/F。例如，专用通信I/F 7630可以实现标准协议，例如车辆环境中的无线接入(WAVE)，其是下层的IEEE802.11p和上层的IEEE1609的组合、专用短程通信(DSRC)或蜂窝通信协议。典型地，专用通信I/F 7630执行V2X通信，V2X通信是包括车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信和车辆对行人通信中的一个或多个的概念。
例如，定位单元7640从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)以执行定位，并生成包括车辆的纬度、经度和海拔的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如移动电话、PHS或具有定位功能的智能手机的终端获取位置信息。
例如，信标接收单元7650接收从安装在道路上的无线电台等发射的无线电波或电磁波，并获取诸如当前位置、拥挤、道路封闭或所需时间的信息。注意，信标接收单元7650的功能可以包括在上述专用通信I/F 7630中。
车辆内部设备I/F 7660是协调微型计算机7610和存在于车辆内部的各种车辆内部设备7760之间的连接的通信接口。车辆内部设备I/F 7660可以使用无线通信协议建立无线连接，例如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的。此外，车辆内部设备I/F 7660可以经由连接终端(未示出)(以及必要时的电缆)建立有线连接，例如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)。例如，车辆内部设备7760可以包括由乘客拥有的移动设备或可穿戴设备、或者被携带在车辆上或附接到车辆的信息设备中的至少一个。此外，车辆内部设备7760可以包括执行搜索到任意目的地的路线的导航设备。车辆内部设备I/F 7660与这些车辆内部设备7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010支持的预定协议发送和接收信号等。
集成控制单元7600的微型计算机7610根据经由通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660和车载网络I/F 7680中的至少一个获取的信息基于各种程序来控制车辆控制系统7000。例如，基于获取的车辆内部和外部的信息，微型计算机7610可以计算驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行协作控制，以实现高级驾驶员辅助系统(ADAS)的功能为目标，包括车辆的碰撞避免或碰撞减轻、基于车间距的跟随行驶、车辆速度保持行驶、车辆的碰撞警告和车辆的车道偏离警告等。此外，通过基于获取的车辆周边的信息来控制驱动力生成设备、转向机构、制动设备等，微型计算机7610可以执行针对不依赖驾驶员的操作而自主行驶的自动驾驶等的协作控制。
微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车辆内部设备I/F 7660或车载网络I/F 7680中的至少一个获取的信息来生成车辆与物体(例如周围建筑物或人)之间的三维距离信息，并且创建包括车辆当前位置的外围信息的本地地图信息。此外，基于所获取的信息，微型计算机7610可以预测危险，例如车辆的碰撞、行人的接近等，或者进入封闭道路，并生成警告信号。例如，警告信号可以是用于生成警告声音或打开警告灯的信号。
音频图像输出单元7670将音频或图像中的至少一个的输出信号传输到输出设备，该输出设备能够以视觉或听觉方式将信息通知给车辆内的乘客或车辆的外部。在图34的示例中，音频扬声器7710、显示单元7720和仪表盘7730被示例为输出设备。例如，显示单元7720可以包括车载显示器和平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出设备可以是除这些设备之外的另一设备，例如灯、投影仪、或可穿戴设备(例如由乘客佩戴的耳机和眼镜型显示器)。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格或图形的各种格式可视地显示由微型计算机7610执行的各种类型的处理获得的结果或从其它控制单元接收的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将包括再现的音频数据、声音数据等的音频信号转换为模拟信号，以音频地方式输出模拟信号。
注意，在图34所示的示例中，经由通信网络7010连接在一起的至少两个控制单元可以集成为一个控制单元。或者，每个控制单元可以由多个控制单元配置。此外，车辆控制系统7000可以包括未示出的另一控制单元。此外，在上面的描述中，由任何控制单元执行的部分或全部功能可以由另一控制单元执行。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到任何控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
上面已经描述了可应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用于例如在上述配置中的成像单元7910、7912、7914、7916和7918等。具体地，本公开的成像系统可以应用于这些成像单元。由于本公开的成像系统可以精确检测事件而与车辆的行驶状态无关，因此能够有助于实现车辆的安全行驶。
<<本公开可以采用的配置>>
注意，本公开也可以采用以下配置。
<A.成像设备>
[A-1]一种成像设备，包括：
事件检测传感器，其检测事件；以及
控制单元，其控制事件检测传感器，其中
控制单元根据移动体的行驶状态来切换事件检测传感器的分辨率。
[A-2]根据[A-1]的成像设备，其中
事件检测传感器包括异步成像设备，异步成像设备将光电转换入射光的像素中的亮度变化超过预定阈值检测为事件。
[A-3]根据[A-2]的成像设备，其中
成像设备通过安装在移动体上使用。
[A-4]根据[A-3]的成像设备，其中
根据移动体的行驶状态，控制单元将事件检测传感器的分辨率设置为分辨率相对较低的第一分辨率模式或分辨率相对较高的第二分辨率模式。
[A-5]根据[A-4]的成像设备，其中
当移动体的速度大于或等于一定的速度时，控制单元设置第一分辨率模式，并且当移动体的速度小于一定的速度时，控制单元设置第二分辨率模式。
[A-6]根据[A-4]的成像设备，其中
当与前方物体的相对速度大于或等于一定的相对速度时，控制单元设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度时，控制单元设置第一分辨率模式。
[A-7]根据[A-4]的成像设备，其中
当移动体的速度大于或等于一定的速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元设置第一分辨率模式，并且当移动体的速度小于一定的速度并且事件检测传感器检测到的事件数小于预定阈值时，控制单元设置第二分辨率模式。
[A-8]根据[A-4]的成像设备，其中
当与前方物体的相对速度大于或等于一定的相对速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度并且事件检测传感器检测到的事件数小于预定阈值时，控制单元设置第一分辨率模式。
[A-9]根据[A-4]的成像设备，其中
在第一分辨率模式的行驶状态中，当移动体的速度小于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，控制单元确定发生了拥堵并从第一分辨率模式转换到第二分辨率模式。
[A-10]根据[A-4]的成像设备，其中
在第一分辨率模式的行驶状态中，当移动体的速度大于或等于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，控制单元确定为在高速公路行驶中并从第一分辨率模式转换到第二分辨率模式。
[A-11]根据[A-4]的成像设备，其中
当移动体直线行驶时，控制单元设置第一分辨率模式，并且当路线改变时，控制单元设置第二分辨率模式。
[A-12]根据[A-11]的成像设备，其中
当方向盘的旋转大于或等于一定的角度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元确定移动体的路线被改变。
[A-13]根据[A-11]的成像设备，其中
当方向盘的旋转在一定的角度内并且事件检测传感器检测到的事件数小于预定阈值时，控制单元确定移动体直线行驶。
[A-14]根据[A-4]至[A-13]中任一项的成像设备，其中
控制单元针对事件检测传感器中的像素阵列单元的每个区域切换事件检测传感器的分辨率。
<B.成像系统>
[B-1]一种成像系统，包括：
事件检测传感器，其检测事件；
控制单元，其根据移动体的行驶状态来切换事件检测传感器的分辨率；以及
物体识别单元，其基于从事件检测传感器输出的事件信号执行事件识别处理。
[B-2]根据[B-1]的成像系统，其中
事件检测传感器包括异步成像设备，异步成像设备将光电转换入射光的像素中的亮度变化超过预定阈值检测为事件。
[B-3]根据[B-2]的成像系统，其中
成像系统通过安装在移动体上使用。
[B-4]根据[B-3]的成像系统，其中
根据移动体的行驶状态，控制单元将事件检测传感器的分辨率设置为分辨率相对较低的第一分辨率模式或分辨率相对较高的第二分辨率模式。
[B-5]根据[B-4]的成像系统，其中
当移动体的速度大于或等于一定的速度时，控制单元设置第一分辨率模式，并且当移动体的速度小于一定的速度时，控制单元设置第二分辨率模式。
[B-6]根据[B-4]的成像系统，其中
当与前方物体的相对速度大于或等于一定的相对速度时，控制单元设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度时，控制单元设置第一分辨率模式。
[B-7]根据[B-4]的成像系统，其中
当移动体的速度大于或等于一定的速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元设置第一分辨率模式，并且当移动体的速度小于一定的速度并且事件检测传感器检测到的事件数小于预定阈值时，控制单元设置第二分辨率模式。
[B-8]根据[B-4]的成像系统，其中
当与前方物体的相对速度大于或等于一定的相对速度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元设置第二分辨率模式，并且当与前方物体的相对速度小于一定的相对速度并且事件检测传感器检测到的事件数小于预定阈值时，控制单元设置第一分辨率模式。
[B-9]根据[B-4]的成像系统，其中
在第一分辨率模式的行驶状态中，当移动体的速度小于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，控制单元确定发生了拥堵并从第一分辨率模式转换到第二分辨率模式。
[B-10]根据[B-4]的成像系统，其中
在第一分辨率模式的行驶状态中，当移动体的速度大于或等于预定阈值，并且事件检测传感器检测到的事件数大于或等于预定阈值，并且占据事件检测传感器的视角的物体的区域大于或等于一定的比率时，控制单元确定在高速公路行驶中并从第一分辨率模式转换到第二分辨率模式。
[B-11]根据[B-4]的成像系统，其中
当移动体直线行驶时，控制单元设置第一分辨率模式，并且当路线被改变时，控制单元设置第二分辨率模式。
[B-12]根据[B-11]的成像系统，其中
当方向盘的旋转大于或等于一定的角度并且事件检测传感器检测到的事件数大于或等于预定阈值时，控制单元确定移动体的路线被改变。
[B-13]根据[B-11]的成像系统，其中
当方向盘的旋转在一定的角度内并且事件检测传感器检测到的事件数小于预定阈值时，控制单元确定移动体直线行驶。
[B-14]根据[B-4]至[B-13]中任一项的成像系统，其中
控制单元针对事件检测传感器中的像素阵列单元的每个区域切换事件检测传感器的分辨率。
[B-15]根据[B-1]至[B-14]中任一项的成像系统，进一步包括
图像传感器，其以预定帧速率执行成像。
[B-16]根据[B-15]的成像系统，其中
物体识别单元基于从图像传感器输出的图像数据执行事件识别处理。
[B-17]根据[B-16]的成像系统，其中
当确定控制单元不能仅利用从事件检测传感器输出的事件信号执行识别处理时，控制单元使用事件识别处理、从事件检测传感器输出的事件信号、和从图像传感器输出的图像数据执行控制。
[B-18]根据[B-16]或[B-17]的成像系统，其中
基于事件识别处理的结果，控制单元指定在事件检测传感器的视角中能够检测为移动体的区域，并且当能够检测为移动体的区域大于或等于预定阈值时，在移动体的行驶速度小于预定阈值的条件下确定发生了拥堵，并且为指定区域设置第二分辨率模式。
[B-19]根据[B-16]或[B-17]的成像系统，其中
基于事件识别处理的结果，控制单元指定在事件检测传感器的视角中能够检测为移动体的区域，并且当能够检测为移动体的区域大于或等于预定阈值时，在移动体的行驶速度大于或等于预定阈值的条件下确定为在高速公路行驶，并且为指定区域设置第二分辨率模式。
参考符号列表
1A 根据第一实施例的成像系统
1B 根据第二实施例的成像系统
10 事件检测传感器
11 像素
12 像素阵列单元
13 驱动单元
14 仲裁单元(仲裁单元)
15 列处理单元
16 信号处理单元
20 图像传感器
21 像素
22 像素阵列单元
23 行选择单元
24 恒定电流源单元
25 模数转换单元
26 水平传输扫描单元
27 信号处理单元
28 定时控制单元
30 运动识别单元
40 物体识别单元
50 控制单元
60 操作模式定义单元
70 记录单元

Claims (20)

1.一种成像设备，包括：
事件检测传感器，检测事件；以及
控制单元，控制所述事件检测传感器，其中，
所述控制单元根据移动体的行驶状态来切换所述事件检测传感器的分辨率。
2.根据权利要求1所述的成像设备，其中：
所述事件检测传感器包括异步成像设备，所述异步成像设备将光电转换入射光的像素中的亮度变化超过预定阈值检测为事件。
3.根据权利要求2所述的成像设备，其中：
所述成像设备通过安装在所述移动体上使用。
4.根据权利要求3所述的成像设备，其中：
根据所述移动体的所述行驶状态，所述控制单元将所述事件检测传感器的所述分辨率设置为所述分辨率相对低的第一分辨率模式或所述分辨率相对高的第二分辨率模式。
5.根据权利要求4所述的成像设备，其中：
当所述移动体的速度大于或等于一定的速度时，所述控制单元设置所述第一分辨率模式，并且当所述移动体的速度小于所述一定的速度时，所述控制单元设置所述第二分辨率模式。
6.根据权利要求4所述的成像设备，其中：
当与前方物体的相对速度大于或等于一定的相对速度时，所述控制单元设置所述第二分辨率模式，并且当与所述前方物体的相对速度小于所述一定的相对速度时，所述控制单元设置所述第一分辨率模式。
7.根据权利要求4所述的成像设备，其中：
当所述移动体的速度大于或等于一定的速度并且所述事件检测传感器检测到的事件数大于或等于预定阈值时，所述控制单元设置所述第一分辨率模式，并且当所述移动体的速度小于所述一定的速度并且所述事件检测传感器检测到的所述事件数小于所述预定阈值时，所述控制单元设置所述第二分辨率模式。
8.根据权利要求4所述的成像设备，其中：
当与前方物体的相对速度大于或等于一定的相对速度并且所述事件检测传感器检测到的事件数大于或等于预定阈值时，所述控制单元设置所述第二分辨率模式，并且当与所述前方物体的相对速度小于所述一定的相对速度并且所述事件检测传感器检测到的所述事件数小于所述预定阈值时，所述控制单元设置所述第一分辨率模式。
9.根据权利要求4所述的成像设备，其中：
在所述第一分辨率模式的所述行驶状态中，当所述移动体的速度小于预定阈值，并且所述事件检测传感器检测到的事件数大于或等于预定阈值，并且占据所述事件检测传感器的视角的物体的区域大于或等于一定的比率时，所述控制单元确定发生了拥堵并从所述第一分辨率模式转换到所述第二分辨率模式。
10.根据权利要求4所述的成像设备，其中：
在所述第一分辨率模式的所述行驶状态中，当所述移动体的速度大于或等于预定阈值，所述事件检测传感器检测到的事件数大于或等于预定阈值，并且占据所述事件检测传感器的视角的物体的区域大于或等于一定的比率时，所述控制单元确定为在高速公路行驶并从所述第一分辨率模式转换到所述第二分辨率模式。
11.根据权利要求4所述的成像设备，其中：
当所述移动体直线行驶时，所述控制单元设置所述第一分辨率模式，并且当路线改变时，所述控制单元设置所述第二分辨率模式。
12.根据权利要求11所述的成像设备，其中：
当方向盘的旋转大于或等于一定的角度并且所述事件检测传感器检测到的事件数大于或等于预定阈值时，所述控制单元确定所述移动体的所述路线改变。
13.根据权利要求11所述的成像设备，其中
当方向盘的旋转在一定的角度内并且所述事件检测传感器检测到的事件数小于预定阈值时，所述控制单元确定所述移动体直线行驶。
14.根据权利要求4所述的成像设备，其中
所述控制单元针对所述事件检测传感器中的像素阵列单元的每个区域切换所述事件检测传感器的所述分辨率。
15.一种成像系统，包括：
事件检测传感器，检测事件；
控制单元，根据移动体的行驶状态来切换所述事件检测传感器的分辨率；以及
物体识别单元，基于从所述事件检测传感器输出的事件信号执行事件识别处理。
16.根据权利要求15所述的成像系统，进一步包括：
图像传感器，以预定帧速率执行成像。
17.根据权利要求16所述的成像系统，其中：
所述物体识别单元基于从所述图像传感器输出的图像数据执行所述事件识别处理。
18.根据权利要求17所述的成像系统，其中：
当确定所述控制单元不能仅利用从所述事件检测传感器输出的所述事件信号执行识别处理时，所述控制单元使用所述事件识别处理、从所述事件检测传感器输出的所述事件信号、和从所述图像传感器输出的所述图像数据执行控制。
19.根据权利要求17所述的成像系统，其中
基于所述事件识别处理的结果，所述控制单元指定在所述事件检测传感器的视角中能够检测为移动体的区域，并且当能够检测为所述移动体的区域大于或等于预定阈值时，在所述移动体的行驶速度小于预定阈值的条件下，所述控制单元确定发生了拥堵，并且为指定的区域设置第二分辨率模式。
20.根据权利要求17所述的成像系统，其中：
基于所述事件识别处理的结果，所述控制单元指定在所述事件检测传感器的视角中能够检测为移动体的区域，并且当能够检测为所述移动体的区域大于或等于预定阈值时，在所述移动体的行驶速度大于或等于预定阈值的条件下，所述控制单元确定为在高速公路行驶，并且为指定的区域设置第二分辨率模式。
CN202080022994.0A 2019-03-27 2020-03-06 成像设备和成像系统 Active CN113615152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-059696 2019-03-27
JP2019059696 2019-03-27
PCT/JP2020/009635 WO2020195700A1 (ja) 2019-03-27 2020-03-06 撮像装置及び撮像システム

Publications (2)

Publication Number Publication Date
CN113615152A true CN113615152A (zh) 2021-11-05
CN113615152B CN113615152B (zh) 2024-05-28

Family

ID=72610061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022994.0A Active CN113615152B (zh) 2019-03-27 2020-03-06 成像设备和成像系统

Country Status (3)

Country Link
US (1) US11895398B2 (zh)
CN (1) CN113615152B (zh)
WO (1) WO2020195700A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161987A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 車両用撮影システム
WO2021021453A1 (en) * 2019-07-26 2021-02-04 Ocelot Laboratories Llc Light intensity and contrast change detection capable pixel readout circuit having a shared photodetector
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021048554A (ja) * 2019-09-20 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像制御方法、プログラム
JP2023032283A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
WO2023161006A1 (en) * 2022-02-28 2023-08-31 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155963A1 (en) * 2002-10-18 2004-08-12 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
JP2007052114A (ja) * 2005-08-16 2007-03-01 Fujifilm Corp 撮影装置、撮影コントローラ、および撮影システム
JP2007329685A (ja) * 2006-06-07 2007-12-20 Canon Inc 撮像装置及びその制御方法
JP2013041481A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
JP2017135436A (ja) * 2016-01-25 2017-08-03 株式会社ユピテル 装置およびプログラム
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
CN108476287A (zh) * 2016-01-14 2018-08-31 索尼公司 成像控制装置、成像控制方法和非暂态计算机可读介质
CN109328457A (zh) * 2016-08-01 2019-02-12 索尼公司 摄像装置及摄像装置的控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
JP6786279B2 (ja) 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155963A1 (en) * 2002-10-18 2004-08-12 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
JP2007052114A (ja) * 2005-08-16 2007-03-01 Fujifilm Corp 撮影装置、撮影コントローラ、および撮影システム
JP2007329685A (ja) * 2006-06-07 2007-12-20 Canon Inc 撮像装置及びその制御方法
JP2013041481A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
CN108476287A (zh) * 2016-01-14 2018-08-31 索尼公司 成像控制装置、成像控制方法和非暂态计算机可读介质
JP2017135436A (ja) * 2016-01-25 2017-08-03 株式会社ユピテル 装置およびプログラム
CN109328457A (zh) * 2016-08-01 2019-02-12 索尼公司 摄像装置及摄像装置的控制方法

Also Published As

Publication number Publication date
CN113615152B (zh) 2024-05-28
US20220166925A1 (en) 2022-05-26
US11895398B2 (en) 2024-02-06
WO2020195700A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
CN113615152B (zh) 成像设备和成像系统
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US11683606B2 (en) Imaging device and electronic equipment
US20230047180A1 (en) Imaging device and imaging method
TWI788818B (zh) 攝像裝置及攝像方法
CN113647089B (zh) 成像系统
CN116057950A (zh) 成像装置和成像方法
WO2021153428A1 (ja) 撮像装置、電子機器及び撮像方法
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2022209256A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024106169A1 (ja) 光検出素子及び電子機器
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
WO2023248855A1 (ja) 光検出装置及び電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024070523A1 (ja) 光検出素子及び電子機器
WO2024075492A1 (ja) 固体撮像装置及び比較装置
WO2023032298A1 (ja) 固体撮像装置
JP2023072098A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant