CN113826105A - 图像识别装置和图像识别方法 - Google Patents

图像识别装置和图像识别方法 Download PDF

Info

Publication number
CN113826105A
CN113826105A CN202080034146.1A CN202080034146A CN113826105A CN 113826105 A CN113826105 A CN 113826105A CN 202080034146 A CN202080034146 A CN 202080034146A CN 113826105 A CN113826105 A CN 113826105A
Authority
CN
China
Prior art keywords
image
imaging
unit
image data
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034146.1A
Other languages
English (en)
Inventor
奥池和幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113826105A publication Critical patent/CN113826105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开的图像识别装置(图像识别系统100)包括成像单元(10)和识别单元(14)。成像单元(10)使用具有不同灵敏度的成像像素，并且通过在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据。识别单元(14)从图像数据中的每一个图像数据识别对象。成像单元(10)包括像素阵列，在该像素阵列中，二维地布置具有不同曝光时间、滤色器的透光率或光接收面积的多个成像像素。

Description

图像识别装置和图像识别方法
技术领域
本公开涉及图像识别装置和图像识别方法。
背景技术
存在一种成像装置，包括用于通过在一个帧周期内捕获和组合具有不同灵敏度的多个图像来生成高动态范围(HDR)图像的HDR成像模式，并且从HDR图像识别对象(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：JP 2014-103643 A。
发明内容
技术问题
然而，在根据现有技术的上述技术中，可能降低识别对象的精度。因此，本公开提出了能够提高识别对象的精度的图像识别装置和图像识别方法。
问题的解决方案
根据本公开的图像识别装置包括成像单元和识别单元。成像单元通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据。识别单元从图像数据中的每一个图像数据识别对象。
附图说明
图1A是示出根据本公开的第一实施例的像素阵列的说明图。
图1B是示出根据本公开的第一实施例的另一像素阵列的说明图。
图2A是示出一般DNN的使用示例的说明图。
图2B是示出根据本公开的第一实施例的DNN的使用示例的说明图。
图3是示出根据本公开的第一实施例的图像识别系统的配置的示例的示图。
图4是由根据本公开的第一实施例的信号处理单元执行的处理的说明图。
图5A是由根据本公开的第一实施例的识别单元执行的处理的说明图。
图5B是由根据本公开的第一实施例的识别单元执行的处理的说明图。
图6是示出由根据本公开的第一实施例的信号处理单元执行的处理的第一修改的说明图。
图7是示出根据本公开的第一实施例的DNN的使用示例的修改的说明图。
图8是示出根据本公开的第一实施例的图像识别系统的修改的说明图。
图9是示出根据本公开的第一实施例的图像传感器的第一操作示例的说明图。
图10是示出由根据本公开的第一实施例的图像传感器执行的处理的第一具体示例的流程图。
图11是示出根据本公开的第一实施例的图像传感器的第二操作示例的说明图。
图12是示出由根据本公开的第一实施例的图像传感器执行的处理的第二具体示例的流程图。
图13是根据本公开的第一实施例的图像传感器的第二操作示例的功能和效果的说明图。
图14是示出根据本公开的第二实施例的像素阵列的说明图。
图15是示出根据本公开的第二实施例的DNN的使用示例的说明图。
图16是示出根据本公开的第二实施例的DNN的另一使用示例的说明图。
图17是示出由根据本公开的第二实施例的图像传感器执行的处理的具体示例的流程图。
图18是示出采用根据本公开的第二实施例的另一像素阵列的图像传感器的操作示例的说明图。
图19是根据第二实施例的图像传感器的另一操作示例的说明图。
图20是示出车辆控制系统的示意性配置的示例的框图。
图21是示出车外信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施例。注意，在以下每个实施例中，相同的参考标记表示相同的部分，并且省略重复的描述。
(1.第一实施例)
[1-1.根据第一实施例的图像识别方法的概要]
首先，将描述根据本公开的图像识别方法的概要。在根据本公开的图像识别方法中，通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据，并且从图像数据中的每一个图像数据识别对象。
用于捕获高动态范围(HDR)图像的像素阵列用于捕获多个图像。图1A是示出根据本公开的第一实施例的像素阵列的说明图。例如，如图1A所示，在用于捕获HDR图像的像素阵列A1中，交替地二维地布置两行高灵敏度成像像素和两行低灵敏度成像像素。
在布置有高灵敏度成像像素和低灵敏度成像像素的区域中，以拜耳阵列布置接收红光的成像像素R、接收绿光的成像像素Gr和Gb以及接收蓝光的成像像素B。注意，在以下描述中，根据从成像像素R、Gr、Gb和B输出的光接收量的信号可以被称为信号R、Gr、Gb和B或像素信号R、Gr、Gb和B。
注意，成像像素Gr是设置在布置有成像像素R的行中并接收绿光的成像像素。成像像素Gb是设置在布置有成像像素B的行中并接收绿光的成像像素。高灵敏度成像像素和低灵敏度成像像素具有相同光接收面积，并且高灵敏度成像像素的曝光和低灵敏度成像像素的曝光同时开始，但是其曝光时间不同。
这里，高灵敏度成像像素是具有比通常更长的曝光时间的成像像素，并且即使在周围环境暗的情况下也可以获得足够的光接收量。因此，即使在亮度过低并且对象在正常曝光时间中曝光不足的情况下，高灵敏度成像像素也可以捕获对象的图像被清晰地捕获的高灵敏度图像。
此外，这里的低灵敏度成像像素是具有比通常更短的曝光时间的成像像素，并且即使当周围环境明亮时也不会饱和。因此，即使在亮度过高并且对象在正常曝光时间中过度曝光的情况下，低灵敏度成像像素也可以捕获对象的图像被清晰地捕获的低灵敏度图像。
通过HDR组合高灵敏度图像和低灵敏度图像来生成HDR图像。因此，HDR图像是包括暗对象和亮对象两者的所有对象的图像都被清楚地捕获的图像。
注意，在图1A所示的像素阵列A1中，通过改变曝光时间使具有相同光接收面积的成像像素用作高灵敏度成像像素或低灵敏度成像像素，但这是示例。例如，即使当曝光时间相同时，像素阵列A1也可以通过改变堆叠在每个成像像素上的滤色器的透光率使每个成像像素用作高灵敏度成像像素或低灵敏度成像像素。
在这种情况下，在像素阵列Al中，堆叠有具有高透光率的滤色器的成像像素是高灵敏度成像像素，并且堆叠有具有低透光率的滤色器的成像像素是低灵敏度成像像素。因为像素阵列A1还可以同时捕获高灵敏度图像和低灵敏度图像，所以可以通过HDR组合两种图像来捕获HDR图像。注意，在像素阵列A1中，还可以通过调节堆叠在成像像素上的滤色器的透明度来提供中灵敏度的成像像素。
此外，通过改变成像像素的光接收面积，还可以使具有相同滤色器透明度和相同曝光时间的成像像素用作高灵敏度成像像素或低灵敏度成像像素。图1B是示出根据本公开的第一实施例的另一像素阵列的说明图。
如图1B所示，像素阵列A2包括以拜耳阵列布置并且具有大光接收面积的成像像素R、Gr、Gb和B，以及布置在具有大光接收面积的成像像素R、Gr、Gb和B中的每一个成像像素的四个角上并且具有小光接收面积的成像像素R、Gr、Gb和B。具有小光接收面积的成像像素R、Gr、Gb和B中的每一个成像像素的布置与拜耳阵列相同。
在像素阵列A2中，在滤色器的透明度和曝光时间相同的情况下，具有大光接收面积的成像像素R、Gr、Gb和B的光接收量比具有小光接收面积的成像像素R、Gr、Gb和B的光接收量大。
因此，具有大光接收面积的成像像素R、Gr、Gb和B为高灵敏度成像像素，而具有小光接收面积的成像像素R、Gr、Gb和B为低灵敏度成像像素。因为像素阵列A2还可以捕获高灵敏度图像和低灵敏度图像，所以可以通过HDR组合两种图像来捕获HDR。
这里，从图像数据识别对象的方法的示例包括使用深度神经网络(DNN)的图像识别方法。DNN是具有多层结构的算法，在该多层结中，通过机器学习设计的以从图像数据识别对象的特征(模式)的人类脑神经回路(神经网络)用作模型。
图2A是示出一般DNN的使用示例的说明图。例如，在从HDR图像识别对象的情况下，如图2A所示，当将HDR组合后的HDR图像中的相应像素的信号R、G和B(HDR图像的图像数据)输入到DNN时，从DNN输出对象识别结果。
然而，实际上不存在的伪影可以由于HDR组合而被包括在HDR图像中。因此，当HDR图像中的相应像素的信号R、G和B被输入到DNN时，DNN识别对象的精度可能由于伪影的不利影响而降低。
因此，在本公开中，通过在HDR组合之前从高灵敏度图像和低灵敏度图像中的每一个识别对象，消除了伪影的影响，并且提高了识别对象的精度。图2B是示出根据本公开的第一实施例的DNN的使用示例的说明图。
如图2B所示，在本公开中，例如，从高灵敏度成像像素输出的高灵敏度信号R、Gr、Gb和B(高灵敏度图像的图像数据)和从低灵敏度成像像素输出的低灵敏度信号R、Gr、Gb和B(低灵敏度图像的图像数据)被输入到DNN。
因此，DNN输出从高灵敏度图像识别对象的结果和从低灵敏度图像识别对象的结果。此时，由于DNN从不包括伪影的高灵敏度图像和低灵敏度图像识别对象，因此可以输出不受伪影影响的高精度对象识别结果。
如上所述，在根据本公开的图像识别方法中，通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据，并且从图像数据中的每一个图像数据识别对象，从而可以提高识别对象的精度。
[1-2.根据第一实施例的图像识别系统的配置]
接下来，将参考图3描述根据第一实施例的图像识别系统的配置。图3是示出根据本公开的第一实施例的图像识别系统的配置的示例的示图。如图3所示，根据第一实施例的图像识别系统100包括作为图像识别装置的示例的图像传感器1，以及应用处理器(在下文中，被称为AP 2)。
图像传感器1包括成像单元10、信号处理单元13、识别单元14、数据发送确定单元15、选择器(在下文中，被称为SEL 16)和发送单元17。成像单元10包括成像元件11和模拟/数字(A/D)转换单元12。
成像元件11例如包括图1B所示的像素阵列A2。注意，成像元件11可以是包括图1A所示的具有相同光接收面积和不同曝光时间的成像像素的像素阵列A1，或者可以是包括堆叠的滤色器的具有相同光接收面积、相同曝光时间和不同透明度的成像像素的像素阵列。
在下文中，具有大光接收面积并且包括在像素阵列A2中的成像像素可以被称为大像素，并且具有小光接收面积的成像像素可以被称为小像素。成像元件11以相同曝光开始定时对大像素和小像素进行相同曝光时间的曝光，并且同时捕获高灵敏度图像和低灵敏度图像。
然后，成像元件11将对应于来自从每个大像素和每个小像素的光接收量的模拟像素信号输出到A/D转换单元12。A/D转换单元12将从成像元件11输入的模拟像素信号A/D转换为数字像素信号以生成高灵敏度图像的图像数据和低灵敏度图像的图像数据，并且将图像数据输出到信号处理单元13。
信号处理单元13包括微型计算机和各种电路，该微型计算机包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。
信号处理单元13对从A/D转换单元12输入的高灵敏度图像的图像数据和低灵敏度图像的图像数据中的每一个执行预定的信号处理，并且将信号处理后的高灵敏度图像的图像数据和低灵敏度图像的图像数据输出到识别单元14和SEL 16。
这里，将参考图4描述由信号处理单元13执行的处理的流程。图4是由根据本公开的第一实施例的信号处理单元执行的处理的说明图。如图4所示，信号处理单元13首先对输入图像数据执行阴影校正，并且然后执行混色校正。
此后，信号处理单元13对图像数据执行数字增益调节，并且然后执行白平衡增益调节。此后，信号处理单元13对图像数据执行去马赛克，并且然后最终执行伽玛校正，并且输出伽玛校正后的图像数据。
注意，在去马赛克中，执行使高灵敏度图像和低灵敏度图像的每个像素的颜色与周围像素的颜色互补的处理。因此，去马赛克前的高灵敏度图像和低灵敏度图像的图像数据包括四种类型的像素信号R、Gr、Gb和B，而去马赛克后的图像数据包括三种类型的像素信号R、G和B。
返回参考图3，识别单元14包括微型计算机和各种电路，该微型计算机包括CPU、ROM、RAM等。识别单元14包括以CPU使用RAM作为工作区执行存储在ROM中的物体识别程序的方式工作的物体识别单元31，以及设置在RAM或ROM中的物体识别数据存储单元32。
物体识别数据存储单元32存储多个DNN。例如，物体识别数据存储单元32存储从高灵敏度图像的图像数据识别物体的DNN和从低灵敏度图像的图像数据识别物体的DNN。注意，用于作为识别目标的每种类型的物体的DNN被存储在物体识别数据存储单元32中。
物体识别单元31从物体识别数据存储单元32中读取与设定的识别目标的类型相对应的DNN，将图像数据输入到DNN，将从DNN输出的对象识别结果输出到数据发送确定单元15，并且将识别结果的元数据输出到SEL 16。
这里，将参考图5A和图5B来描述由识别单元14执行的处理的流程。图5A和图5B是由根据本公开的第一实施例的识别单元执行的处理的说明图。如图5A所示，识别单元14首先根据DNN的尺寸和输入值归一化输入图像数据的尺寸和输入值，并且将归一化的图像数据输入到DNN以执行物体识别。然后，识别单元14将从DNN输出的对象识别结果输出到数据发送确定单元15，并且将识别结果的元数据输出到SEL 16。
此时，如图5B所示，识别单元14将大像素的像素信号R、G、B和小像素的像素信号R、G、B输入到DNN。因此，识别单元14可以从不包括伪影的高灵敏度图像和低灵敏度图像中的每一个识别对象，从而提高识别对象的精度。
返回参考图3，数据发送确定单元15根据从识别单元14输入的识别结果，向SEL 16输出用于切换要从SEL 16输出的数据的控制信号。在对象已经由识别单元14识别的情况下，数据发送确定单元15向SEL 16输出用于向发送单元17输出图像数据和指示识别结果的元数据的控制信号。
此外，在对象未被识别单元14识别的情况下，数据发送确定单元15向SEL 16输出用于向发送单元17输出指示对象未被识别的信息(无数据)的控制信号。SEL 16根据从数据发送确定单元15输入的控制信号，向发送单元17输出一组图像数据和元数据和指示没有数据的信息中的任一个。
发送单元17是与AP 2执行数据通信的通信接口(I/F)，并且向AP 2发送从SEL 16输入的一组图像数据和元数据和指示没有数据的信息中的任一个。
AP 2包括根据图像识别系统100的应用执行各种应用程序并且包括CPU、ROM、RAM等的微型计算机以及各种电路。AP 2包括接收单元21、认证单元22和认证数据存储单元23。
认证数据存储单元23存储用于认证由图像传感器1识别的对象的认证程序、认证图像数据等。接收单元21是与图像传感器1执行数据通信的通信I/F。接收单元21从图像传感器1接收一组图像数据和元数据和指示没有数据的信息中的任一个，并且将其输出到认证单元22。
当从接收单元21输入指示没有数据的信息时，认证单元22未被激活，而当输入一组图像数据和元数据时，认证单元22被激活。认证单元22一旦被激活，就从认证数据存储单元23读取认证程序并执行该认证程序，并且认证由图像传感器1识别的对象。
例如，在输入指示对象是人的一组元数据和图像数据的情况下，认证单元22执行对照图像数据和用于认证人的图像数据并识别所识别的人的处理。
此时，认证单元22基于不受伪影影响并且由图像传感器1以高精度将对象识别为人的高灵敏度图像和低灵敏度图像的图像数据来识别人，使得可以精确地识别所识别的人。注意，上述第一实施例是示例，并且各种修改是可能的。接下来，将描述根据第一实施例的修改。
[1-3.根据第一实施例的图像传感器的修改]
图6是示出由根据本公开的第一实施例的信号处理单元执行的处理的修改的说明图。图7是示出根据本公开的第一实施例的DNN的使用示例的修改的说明图。
如图6所示，根据该修改的信号处理单元对输入图像数据执行阴影校正、混色校正、数字增益调节、白平衡增益调节和伽马校正，并且将信号处理后的图像数据输出到识别单元14和SEL 16。
以这种方式，信号处理单元可以省略图4所示的信号处理中的去马赛克。在这种情况下，识别单元14从未经过去马赛克的图像数据识别对象。如上所述，未经过去马赛克的高灵敏度图像和低灵敏度图像的图像数据包括四种类型的像素信号R、Gr、Gb和B。
因此，如图7所示，识别单元14将大像素的像素信号R、Gr、Gb和B以及小像素的像素信号R、Gr、Gb和B输入到DNN。在这种情况下，由于DNN的输入通道的数量增加，因此识别单元14的吞吐量增加，但是由于高灵敏度图像和低灵敏度图像的图像数据被单独地输入到DNN，因此可以高精度地识别对象而不受伪影的影响。
注意，在另一修改中，可以省略信号处理单元本身。在这种情况下，类似于图7所示的示例，由于识别单元14将大像素的像素信号R、Gr、Gb和B以及小像素的像素信号R、Gr、Gb和B输入到DNN，因此吞吐量增加，但是通过不执行信号处理而大大降低整个图像传感器1的吞吐量。
注意，在第一实施例中，数据发送确定单元15使SEL 16在每次识别对象时输出识别结果的元数据和图像数据，但是可以根据电池的充电状态来选择要从SEL 16输出的数据。
例如，在对象已经被识别单元14识别的情况下，数据发送确定单元15在电池的充电状态足够的正常模式下使SEL 16输出元数据和图像数据。此外，数据发送确定单元15在电池的充电状态不足的低功耗模式下使SEL 16仅输出元数据。因此，当电池的充电状态不足时，数据发送确定单元15可以将图像传感器1的功耗抑制为低。
[1-4.根据第一实施例的图像识别系统的修改]
接下来，将参考图8描述根据第一实施例的图像识别系统的修改。图8是示出根据本公开的第一实施例的图像识别系统的修改的说明图。
在上述图像识别系统100中，图像传感器1从高灵敏度图像和低灵敏度图像识别对象，但是在根据该修改的图像识别系统100a中，将高灵敏度图像和低灵敏度图像从图像传感器1a发送到AP 2a，并且由AP 2a执行对象识别。
具体地，如图8所示，根据该修改的图像识别系统100a的图像传感器1a捕获高灵敏度图像和低灵敏度图像，并且将大像素的像素信号R、Gr、Gb和B以及小像素的像素信号R、Gr、Gb和B发送到AP 2a。
图像识别系统100a的AP 2a包括DNN，并且将从图像传感器1a接收的大像素的像素信号R、Gr、Gb和B以及小像素的像素信号R、Gr、Gb和B输入到DNN。因此，AP 2a可以从高灵敏度图像和低灵敏度图像高精度地识别对象而不受伪影的影响。
[1-5.由根据第一实施例的图像传感器执行的处理的第一具体示例]
接下来，将参考图9和图10描述由根据第一实施例的图像传感器执行的处理的第一具体示例。
注意，这里，假设图像传感器1包括像素阵列A1，在该像素阵列A1中，图1A所示的成像像素具有相同光接收面积和不同曝光时间，并且具有长曝光时间的成像像素被称为长曝光像素，而具有短曝光时间的成像像素被称为短曝光像素。
此外，这里，将参考图9描述在图像传感器1从图像识别人的情况下的操作的概要，并且然后将参考图10描述由图像传感器1执行的处理的第一具体示例。
图9是示出根据本公开的第一实施例的图像传感器的第一操作示例的说明图。图10是示出由根据本公开的第一实施例的图像传感器执行的处理的第一具体示例的流程图。
如图9所示，图像传感器1首先捕获其中捕获人P的全尺寸图像D1，并且对全尺寸图像D1进行分箱以生成具有减小到例如1/4的分辨率的第一DNN输入图像D2。
然后，在图像传感器1已经从第一DNN输入图像D2识别出人P的情况下，图像传感器1从未经过分箱的全尺寸图像D1剪切人P的一部分，以生成第二DNN输入图像D3。
具体地，如图10所示，图像传感器1首先通过传感器设定1生成第一DNN输入图像D2的图像数据(步骤S101)。这里，假设传感器设定1包括低AD位(例如，4位)、仅使用长曝光像素的分箱(例如，H4V4)、剪切(例如，无)和低FPS(例如，1fps)。
在这种情况下，图像传感器1仅使用长曝光像素，以1fps的帧率捕获全尺寸图像D1，并且用4位对全尺寸图像D1的像素信号进行模数转换。此后，图像传感器1通过分箱将全尺寸图像D1的分辨率降低到1/4，并且生成第一DNN输入图像D2而不剪切图像。
接着，图像传感器1将第一DNN输入图像D2的图像数据输入到DNN，并且执行第一DNN(步骤S102)。此时，图像传感器1低精度地检测人或物体。此后，图像传感器1确定是否已经检测到人或物体(步骤S103)。
然后，在图像传感器1确定没有检测到人或物体的情况下(步骤S103，否)，处理进行到步骤S102。另外，在图像传感器1确定已经检测到人或物体的情况下(步骤S103，是)，处理进行到步骤S104。
在步骤S104，图像传感器1通过传感器设定2生成第二DNN输入图像D3的图像数据。这里，假设传感器设定2包括高AD位(例如，10位)、使用长/短曝光像素的分箱(例如，无)、剪切(例如，对象的周围)和高FPS(例如，30fps)。
在这种情况下，图像传感器1使用长曝光像素和短曝光像素，以30fps的帧率捕获全尺寸图像D1，并且用10位对全尺寸图像D1的像素信号进行模数转换。此后，图像传感器1在不降低全尺寸图像D1的分辨率的情况下从全尺寸图像D1剪切对象的周围的一部分，以生成第二DNN输入图像D3。
接着，图像传感器1将第二DNN输入图像D3的图像数据输入到DNN，并且执行第二DNN(步骤S105)。此时，图像传感器1高精度地执行人认证或物体辨别。此后，图像传感器1确定是否已经检测到作为识别目标的人或物体(步骤S106)。
然后，在图像传感器1确定没有检测到人或物体的情况下(步骤S106，否)，处理进行到步骤S101。在图像传感器1确定已经检测到人或物体的情况下(步骤S106，是)，图像传感器1向AP 2发出AP激活通知(步骤S107)，并且结束处理。此时，图像传感器1例如通过符合移动工业处理器接口(MIPI)标准的通信方法将图像数据和对象检测(识别)结果输出到AP2。
[1-6.由根据第一实施例的图像传感器执行的处理的第二具体示例]
接下来，将参考图11至图13描述由根据第一实施例的图像传感器执行的处理的第二具体示例。
注意，这里，还假设图像传感器1包括像素阵列A1，在该像素阵列A1中，图1A所示的成像像素具有相同光接收面积和不同曝光时间，并且具有长曝光时间的成像像素被称为长曝光像素，而具有短曝光时间的成像像素被称为短曝光像素。
此外，这里，将参考图11描述在图像传感器1从图像识别前方车辆和交通信号灯的情况下的操作的概要，将参考图12描述由图像传感器1执行的处理的第二具体示例，并且然后将参考图13描述第二具体示例的功能和效果。
图11是示出根据本公开的第一实施例的图像传感器的第二操作示例的说明图。图12是示出由根据本公开的第一实施例的图像传感器1执行的处理的第二具体示例的流程图。图13是根据本公开的第一实施例的图像传感器的第二操作示例的功能和效果的说明图。
如图11所示，图像传感器1首先捕获其中捕获前方车辆C和交通信号灯S的全尺寸图像D4，并且生成第一DNN输入图像D5而不通过分箱来降低全尺寸图像D4的分辨率。
然后，在图像传感器1已经从第一DNN输入图像D5识别出交通信号灯S的情况下，图像传感器1从全尺寸图像D4中剪切交通信号灯S的一部分以生成第二DNN输入图像D6。此外，在图像传感器1已经从第一DNN输入图像D5识别出前方车辆C的情况下，图像传感器1从全尺寸图像D4中剪切前方车辆的一部分以生成第三DNN输入图像D7。
具体地，如图12所示，图像传感器1首先通过传感器设定1生成第一DNN输入图像D5的图像数据(步骤S201)。这里，假设传感器设定1包括AD位(例如，10位)、使用长/短曝光像素的分箱(例如，无)、剪切(例如，无)和高FPS(例如，30fps)。
在这种情况下，图像传感器1使用长曝光像素和短曝光像素，以30fps的帧率捕获全尺寸图像D4，并且用10位对全尺寸图像D4的像素信号进行模数转换。然后，图像传感器1生成第一DNN输入图像D5，而不降低全尺寸图像D4的分辨率并且不剪切图像。
接着，图像传感器1将第一DNN输入图像D5的图像数据输入到DNN，并且执行第一DNN(步骤S202)。此时，图像传感器1高精度地检测物体。此后，图像传感器1确定是否已经检测到物体(S203)。
然后，在图像传感器1确定没有检测到物体的情况下(步骤S203，否)，处理进行到步骤S202。此外，在图像传感器1确定已经检测物体的情况下(步骤S203，是)，图像传感器1基于检测结果选择适当的设定。
例如，在图像传感器1已经检测(识别)到交通信号灯S的情况下，图像传感器1通过传感器设定2生成第二DNN输入图像D6的图像数据(步骤S204)。这里，假设传感器设定2包括低AD位(例如，8位)、使用长曝光像素的分箱(例如，无)、剪切(例如，对象的周围)和高FPS(例如，60fps)。
在这种情况下，图像传感器1使用长曝光像素，以60fps的帧率捕获全尺寸图像D4，并且用8位对全尺寸图像D4的像素信号进行模数转换。此后，图像传感器1在不降低全尺寸图像D4的分辨率的情况下从全尺寸图像D4中剪切对象(交通信号灯S)的周围的一部分以生成第二DNN输入图像D6的图像数据。
接着，图像传感器1将第二DNN输入图像D6的图像数据输入到DNN，并且执行第二DNN(步骤S205)。此时，图像传感器1高精度地执行交通信号灯识别和跟踪。此后，图像传感器1将处理移动到步骤S208。
在图像传感器1已经检测(识别)到前方车辆C的情况下，图像传感器1通过传感器设定3生成第三DNN输入图像D7的图像数据(步骤S206)。这里，假设传感器设定3包括低AD位(例如，8位)、使用短曝光像素的分箱(例如，无)、剪切(例如，对象的周围)和高FPS(例如，60fps)。
在这种情况下，图像传感器1使用短曝光像素，以60fps的帧率捕获全尺寸图像D4，并且用8位对全尺寸图像D4的像素信号进行模数转换。此后，图像传感器1在不降低全尺寸图像D4的分辨率的情况下从全尺寸图像D4中剪切对象(前方车辆C)的周围的一部分以生成第三DNN输入图像D7的图像数据。
接着，图像传感器1将第三DNN输入图像D7的图像数据输入到DNN，并且执行第三DNN(步骤S207)。此时，图像传感器1高精度地执行前方车辆识别和跟踪。此后，图像传感器1将处理移动到步骤S208。
在步骤S208中，图像传感器1确定是否已经检测到作为识别目标的交通信号灯S或前方车辆C。然后，在图像传感器1确定没有检测到交通信号灯S或前方车辆C的情况下(步骤S208，否)，处理进行步骤S201。
在图像传感器1确定已经检测到交通信号灯S或前方车辆C的情况下(步骤S208，是)，图像传感器1向AP 2发出高级驾驶辅助系统(ADAS)通知(步骤S209)，并且结束处理。此时，图像传感器1例如通过符合MIPI标准的通信方法将图像数据和对象检测(识别)结果输出到AP 2。
注意，图像传感器1不需要在每次识别对象时向AP 2输出图像数据和对象检测(识别)结果。例如，图像传感器1可以仅在从AP 2请求时才向AP 2输出对象的图像数据和检测(识别)结果。
通过执行以上处理，图像传感器1可以高精度地识别交通信号灯S的状态和前方车辆C的位置。具体地，采用发光二极管(LED)的交通信号灯S以交通信号灯S在一分钟时间段内重复地打开和关闭的方式闪烁。
因此，在图像传感器1通过短曝光像素捕获交通信号灯S的图像的情况下，所捕获的图像中的交通信号灯S可能处于关闭状态。因此，图像传感器1需要执行至少10ms或更长时间的曝光以防止由于闪烁而引起的对象的误识别。另一方面，例如在诸如前方车辆的不闪烁的对象的情况下，图像传感器1需要缩短曝光时间以抑制对象的模糊。
因此，如图13所示，图像传感器1对由长曝光像素捕获的图像数据执行用于交通信号灯识别的第二DNN，并且对由短曝光像素捕获的图像执行用于前方车辆识别的第三DNN。
因此，图像传感器1可以在不受闪烁的影响的情况下高精度地识别交通信号灯S的状态，并且可以通过抑制对象的模糊而高精度地识别前方车辆C的位置。
(2.第二实施例)
接下来，将描述根据第二实施例的图像识别系统。在根据第二实施例的图像识别系统中，包括在图像传感器中的像素阵列的配置和由图像传感器执行的处理不同于第一实施例中的配置，并且其他配置类似于第一实施例中的配置。因此，下面将描述与第一实施例不同的点。
[2-1.根据第二实施例的像素阵列]
图14是示出根据本公开的第二实施例的像素阵列的说明图。在图14所示的像素阵列A3中，以拜耳阵列布置包括接收红光的四个像素L、M、M和S的成像像素R，分别包括接收绿光的四个像素L、M、M和S的成像像素Gr和Gb，以及包括接收蓝光的四个像素L、M、M和S的成像像素B。
像素L、M、M和S均具有相同光接收面积和不同曝光时间。像素L为长曝光像素。像素M为中曝光像素。像素S为短曝光像素。像素阵列A3通常通过从每个像素输出像素信号而用作非常高分辨率的像素阵列。此外，在周围环境变暗的情况下，像素阵列A3通过将两个像素分箱成一个像素而用作即使在暗处也能够移动对象的像素阵列。
在根据第二实施例的图像传感器中，像素阵列A3捕获长曝光图像、中曝光图像和短曝光图像。然后，图像传感器从长曝光图像、中曝光图像和短曝光图像中的每一个识别对象。
图15是示出根据本公开的第二实施例的DNN的使用示例的说明图。图16是示出根据本公开的第二实施例的DNN的另一使用示例的说明图。根据第二实施例的图像传感器具有与图3所示的图像传感器1相同的配置。
因此，如图15所示，图像传感器将去马赛克之后的长曝光像素信号R、G和B、中曝光像素信号R、G和B以及短曝光像素信号R、G和B输入到DNN。
从DNN输出从长曝光图像、中曝光图像和短曝光图像中的每一个识别对象的结果。因此，图像传感器可以分别从不包括伪影的长曝光图像、中曝光图像和短曝光图像高精度地识别高亮度对象、中亮度对象和低亮度对象。
此外，在根据第二实施例的图像传感器中，可以与第一实施例类似地省略去马赛克，并且可以省略由信号处理单元13执行的信号处理。在这种情况下，如图16所示，图像传感器将未去马赛克的长曝光像素信号R、Gr、Gb和B、中曝光像素信号R、Gr、Gb和B以及短曝光像素信号R、Gr、Bb和B输入到DNN。
因此，由于DNN的输入通道的数量增加，因此吞吐量增加，但是由于长曝光图像、中曝光图像和短曝光图像的图像数据被单独地输入到DNN，因此可以高精度地识别对象而不受伪影的影响。
[2-2.由根据第二实施例的图像传感器执行的处理的具体示例]
接下来，将参考图17描述由根据第一实施例的图像传感器执行的处理的具体示例。这里，将描述在图像传感器从图像识别前方车辆和交通信号灯的情况下执行的处理。
图17是示出由根据本公开的第二实施例的图像传感器执行的处理的具体示例的流程图。根据第二实施例的图像传感器生成与图11所示的相应图像类似的全尺寸图像D4、第一DNN输入图像D5、第二DNN输入图像D6和第三DNN输入图像D7的图像数据，但是传感器设定1、传感器设定2和传感器设定3的内容与第一实施例的不同。
具体地，如图17所示，图像传感器首先通过传感器设定1生成第一DNN输入图像D5的图像数据(步骤S301)。这里，假设传感器设定1包括AD位(例如，10位)、使用长/中/短曝光像素的分箱(例如，无)、剪切(例如，无)和高FPS(例如，30fps)。
在这种情况下，图像传感器使用长曝光像素、中曝光像素和短曝光像素，以30fps的帧率捕获全尺寸图像D4，并且用10位对全尺寸图像D4的像素信号进行模数转换。然后，图像传感器生成第一DNN输入图像D5，而不降低全尺寸图像D4的分辨率并且不剪切图像。
接着，图像传感器将第一DNN输入图像D5的图像数据输入到DNN，并且执行第一DNN(步骤S302)。此时，图像传感器高精度地检测物体。此后，图像传感器确定是否已经检测到物体(S303)。
然后，在图像传感器确定没有检测到物体的情况下(步骤S303，否)，处理进行到步骤S302。此外，在图像传感器确定已经检测物体的情况下(步骤S303，是)，图像传感器从检测结果选择适当的设定。
例如，在图像传感器已经检测(识别)到交通信号灯S的情况下，图像传感器通过传感器设定2生成第二DNN输入图像D6的图像数据(步骤S304)。这里，假设传感器设定2包括低AD位(例如，8位)、使用中曝光像素的分箱(例如，无)、剪切(例如，对象的周围)和高FPS(例如，60fps)。
在这种情况下，图像传感器使用中曝光像素，以60fps的帧率捕获全尺寸图像D4，并且用8位对全尺寸图像D4的像素信号进行模数转换。此后，图像传感器在不降低全尺寸图像D4的分辨率的情况下从全尺寸图像D4中剪切对象(交通信号灯S)的周围的一部分以生成第二DNN输入图像D6的图像数据。
接着，图像传感器将第二DNN输入图像D6的图像数据输入到DNN，并且执行第二DNN(步骤S305)。此时，图像传感器高精度地执行交通信号灯识别和跟踪。此后，图像传感器将处理移动到步骤S308。
在图像传感器已经检测(识别)到前方车辆C的情况下，图像传感器通过传感器设定3生成第三DNN输入图像D7的图像数据(步骤S306)。这里，假设传感器设定3包括低AD位(例如，8位)、使用短曝光像素的分箱(例如，无)、剪切(例如，对象的周围)和高FPS(例如，60fps)。
在这种情况下，图像传感器使用短曝光像素，以60fps的帧率捕获全尺寸图像D4，并且用8位对全尺寸图像D4的像素信号进行模数转换。此后，图像传感器在不降低全尺寸图像D4的分辨率的情况下从全尺寸图像D4中剪切对象(前方车辆C)的周围的一部分以生成第三DNN输入图像D7的图像数据。
接着，图像传感器将第三DNN输入图像D7的图像数据输入到DNN，并且执行第三DNN(步骤S307)。此时，图像传感器高精度地执行前方车辆识别和跟踪。此后，图像传感器将处理移动到步骤S308。
在步骤S308中，图像传感器确定是否已经检测到作为识别目标的交通信号灯S或前方车辆C。然后，在图像传感器确定没有检测到交通信号灯S或前方车辆C的情况下(步骤S308，否)，处理进入步骤S301。
在图像传感器确定已经检测到交通信号灯S或前方车辆C的情况下(步骤S308，是)，图像传感器向AP 2发出ADAS通知(步骤S309)，并且结束处理。
注意，图像传感器1不需要在每次识别对象时向AP 2输出图像数据和对象检测(识别)结果。例如，图像传感器1可以仅在从AP 2请求时才向AP 2输出对象的图像数据和检测(识别)结果。
如上所述，根据第二实施例的图像传感器对由中曝光像素捕获的图像数据执行用于交通信号灯识别的第二DNN，并且对由短曝光像素捕获的图像执行用于前方车辆识别的第三DNN。
因此，图像传感器可以在不受闪烁的影响下高精度地识别交通信号灯S的状态，并且可以通过抑制对象的模糊而高精度地识别前方车辆C的位置。
[2-3.根据第二实施例的另一像素阵列]
根据第二实施例的像素阵列不限于图14所示的像素阵列A3。接下来，将参考图18描述在采用另一像素阵列的情况下的图像传感器的操作示例。图18是示出采用根据本公开的第二实施例的另一像素阵列的图像传感器的操作示例的说明图。
图像传感器可以采用图18的右上侧所示的像素阵列A4。在像素阵列A4中，以拜耳阵列布置包括接收红光的四个像素M、M、M和S的成像像素R，分别包括接收绿光的四个像素M、M、M和S的成像像素Gr和Gb，以及包括接收蓝光的四个像素M、M、M和S的成像像素B。像素M、M、M和S均具有相同光接收面积和不同曝光时间。像素M为中曝光像素。像素S为短曝光像素。
在采用像素阵列A3的情况下，图像传感器对像素阵列A3的像素M、M、M和S中的每一个独立地执行快门控制和像素信号读取控制。这里，如上所述，图像传感器需要执行10ms或更长时间的长曝光以便精确地识别闪烁的交通信号灯的状态。然而，当图像传感器在白天执行10ms或更长时间的正常像素的长曝光时，像素可能饱和。
因此，在采用像素阵列A3的情况下，例如，如图18所示，图像传感器按每个3.3ms的时间序列依次曝光三个中曝光像素M、M和M。因此，三个中曝光像素M、M和M中的每一个未饱和。此外，此时，图像传感器同时对短曝光像素S进行短曝光。
然后，图像传感器对中曝光图像的每个图像数据执行用于交通信号灯识别的第二DNN，并且对短曝光图像的图像数据执行用于前方车辆识别的第三DNN。因此，图像传感器可以在不受闪烁的影响的情况下高精度地识别交通信号灯的状态，并且可以通过抑制对象的模糊来高精度地识别前方车辆的位置。
[2-4.根据第二实施例的图像传感器的另一操作示例]
接下来，将参考图19描述根据第二实施例的图像传感器的另一操作示例。图19是根据第二实施例的图像传感器的另一操作示例的说明图。注意，这里，假设图像传感器包括图14所示的像素阵列A3。
然而，在图19所示的像素阵列A3的长曝光像素L上设置具有低透光率的滤色器，在中曝光像素M上设置具有中透光率的滤色器，并且在短曝光像素S上设置具有高透光率的滤色器。
在这种配置中，如图19所示，图像传感器通过长时间曝光长曝光像素L来生成低灵敏度图像的图像数据，并且执行用于低灵敏度图像的图像数据的交通信号识别的第二DNN。此时，由于具有低透光率的滤色器堆叠在长曝光像素L上，因此即使长时间执行曝光，也不会发生饱和。因此，图像传感器可以高精度地识别交通信号灯的状态而不受闪烁的影响。
另外，图像传感器中长度时间曝光中曝光图像M以生成中灵敏度图像，短时间曝光短曝光像素S以生成高灵敏度图像，并且对中灵敏度图像和高灵敏度图像的每个图像数据执行用于前方车辆识别的第三DNN。因此，图像传感器可以通过抑制对象的模糊来高精度地识别前方车辆的位置。
[3.移动体的应用示例]
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在诸如车辆、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人的移动体中的任何一个中的装置。
图20是示出可以应用于根据本公开的技术的移动体控制系统的示例车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图20所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，微型计算机12051、语音和图像输出单元12052以及车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作控制装置，诸如用于生成诸如内燃机、驱动电动机等的车辆的驱动力的驱动力生成装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等。
车身系统控制单元12020根据各种程序控制安装在车身中的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或用于各种灯(诸如前照灯、倒车灯、制动灯、转向灯、雾灯等)的控制装置。在这种情况下，从替代钥匙的便携式机器发送的电波和各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收电波或信号以控制车辆的门锁装置、电动窗装置、灯等。
车外信息检测单元12030检测关于车辆控制系统12000所安装的车辆的外部区域的信息。例如，成像单元12031连接到车外信息检测单元12030。车外信息检测单元12030使成像单元12031捕获车辆的外部区域的图像，并且接收所捕获的图像。车外信息检测部12030可以执行检测诸如路面上的人、车辆、障碍物、标志、符号等的物体的处理，或者可以基于所接收的图像执行距离检测处理。
成像单元12031是接收光并且输出与光接收量相对应的电信号的光学传感器。成像单元12031可以输出电信号作为图像，或者可以输出电信号作为距离测量信息。此外，由成像单元12031接收的光可以是可见光或诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆的内部区域的信息。例如，检测驾驶员的状态的驾驶员状态检测单元12041连接到车内信息检测单元12040。驾驶员状态检测单元12041例如包括捕获驾驶员的图像的相机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者辨别驾驶员是否在打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的关于车辆的内部区域和外部区域的信息来计算驱动力生成装置、转向机构或制动装置的目标控制值，并且向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)功能的协同控制，该功能包括车辆碰撞避免、撞击缓冲、基于车间距离的跟随行驶、在保持车辆速度的同时行驶、车辆碰撞警报、车辆车道偏离警报等。
此外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040等获取的关于车辆周围区域的信息以控制驱动力生成装置、转向机构、制动装置等来执行旨在用于不依赖于驾驶员的操作的自动驾驶的协同控制。
此外，微型计算机12051可以基于由车外信息检测单元12030获取的车外信息向车身系统控制单元12020输出控制指令。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置来控制前照灯以将远光切换为近光等来执行旨在防止眩光的协同控制。
语音和图像输出单元12052将语音和图像中的至少一个的输出信号发送到能够视觉地或听觉地将信息通知车辆的乘员或车辆的外部区域的输出装置。在图20的示例中，音频扬声器12061、显示单元12062和仪表板12063作为输出装置而示出。显示单元12062可以例如包括车载显示器和平视显示器中的至少一个。
图21是示出成像单元12031的安装位置的示例的示图。
在图21中，车辆12100包括成像单元12101、12102、12103、12104和12105作为成像单元12031。
成像单元12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠、后门、车厢中的挡风玻璃的上部等处。设置在前鼻的成像单元12101和设置在车厢中的挡风玻璃的上部的成像单元12105主要获得车辆12100的前方区域的图像。设置在侧视镜的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门的成像单元12104主要获取车辆12100的后方区域的图像。由成像单元12101和12105获取的车辆12100的前方区域的图像主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
注意，图21示出了成像单元12101至12104的成像范围的示例。图像捕获范围12111指示设置在前鼻的成像单元12101的图像捕获范围，图像捕获范围12112和12113分别指示设置在侧视镜的成像单元12102和12103的图像捕获范围，并且图像捕获范围12114指示设置在后保险杠或后门的成像单元12104的图像捕获范围。例如，由成像单元12101至12104捕获的图像数据叠加，从而获得从上方观察的车辆12100的鸟瞰图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个图像捕获元件的立体相机，或者可以是具有用于相位差检测的像素的图像捕获元件。
例如，微型计算机12051可以通过基于从成像单元12101至12104获取的距离信息，计算到图像捕获范围12111至12114中的每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，提取在与车辆12100的方向基本相同的方向上以预定速度(例如，0km/h或更高)行驶的三维物体，尤其是在车辆12100的行驶路径上最近三维物体作为前方车辆。此外，微型计算机12051可以预先设定要保持的用于前方车辆的车间距离，并且可以执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。如上所述，可以执行旨在用于不依赖于驾驶员的操作的自动驾驶等的协同控制。
例如，微型计算机12051可以基于从成像单元12101至12104获得的距离信息，将与三维物体相关的三维物体数据分类并提取为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆的另一三维物体，并且使用分类和提取的结果用于障碍物的自动避开。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可见的障碍物或几乎不可见的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险，并且在碰撞风险等于或高于设定值并且存在碰撞可能性时，微型计算机12051可以通过音频扬声器12061或显示单元12062向驾驶员输出警报，或者通过驱动系统控制单元12010执行强制减速或回避转向来执行用于避免碰撞的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定在成像单元12101至12104的捕获图像中是否存在行人来识别行人。行人的这种识别通过以下程序来执行：提取成像单元12101至12104(例如，红外相机)的捕获图像中的特征点的程序，以及通过对指示物体的轮廓的一系列特征点执行模式匹配处理来辨别物体是否是行人的程序。在微型计算机12051确定在成像单元12101至12104的捕获图像中存在行人并且识别该行人的情况下，语音和图像输出单元12052控制显示单元12062叠加矩形轮廓线以强调所识别的行人。此外，语音和图像输出单元12052可以控制显示单元12062以在期望位置显示指示行人的图标等。
在上文中，已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术例如可以应用于上述配置中的车外信息检测单元12030、成像单元12031、车内信息检测单元12040、驾驶员状态检测单元12041等。例如，图3中的图像传感器1可以应用于成像单元12031。例如，通过将根据本公开的技术应用于成像单元12031，可以获得更容易观看的捕获图像，从而可以减轻驾驶员的疲劳。
[4.效果]
作为图像识别装置的示例的图像传感器1包括成像单元10和识别单元14。成像单元10通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据。识别单元14从图像数据中的每一个图像数据识别对象。因此，图像传感器1可以消除伪影的影响，从而提高识别对象的精度。
此外，成像单元10包括像素阵列，在该像素阵列中，二维地布置具有相同光接收面积和不同曝光时间的多个成像像素。因此，图像传感器1可以从长曝光图像和短曝光图像高精度地识别对象。
此外，成像单元10包括像素阵列，在该像素阵列中，二维地布置具有相同光接收面积并且具有堆叠在其上的滤色器的不同透光率的多个成像像素。因此，图像传感器1可以从高灵敏度图像和低灵敏度图像中的每一个高精度地识别对象。
此外，成像单元10包括像素阵列，在该像素阵列中，二维地布置具有不同光接收面积的多个成像像素。因此，图像传感器1可以基于大像素的像素信号和小像素的像素信号高精度地识别对象。
此外，成像单元10包括像素阵列，在该像素阵列中，二维地布置长曝光成像像素、中曝光成像像素和短曝光成像像素。因此，图像传感器1可以从长曝光图像、中曝光图像和短曝光图像中的每一个高精度地识别对象。
此外，成像单元10包括像素阵列，在该像素阵列中，二维地布置低灵敏度成像像素、中灵敏度成像像素和高灵敏度成像像素。因此，图像传感器1可以从高灵敏度图像、中灵敏度图像和低灵敏度图像中的每一个高精度地识别对象。
此外，在识别对象的情况下，识别单元14将对象识别结果和图像数据输出到后续阶段的装置，并且在未识别对象的情况下，识别单元14将指示未识别对象的信息输出到后续阶段的装置。因此，图像传感器1可以在未识别对象的情况下降低功耗。
此外，识别单元14从经过去马赛克处理的图像数据识别对象。因此，例如，通过减少DNN的输入通道的数量，图像传感器1可以在降低处理负荷的同时高精度地识别对象。
此外，识别单元14从未经过去马赛克处理的图像数据识别对象。因此，例如，尽管DNN的输入通道的数量增加，但是图像传感器1可以高精度地识别对象。
识别单元根据从成像单元输入的图像数据识别对象。因此，由于可以省略信号处理，因此图像传感器1可以在显著降低处理负荷的同时高精度地识别对象。
此外，在由识别单元14检测到对象之前，成像单元10使用具有低灵敏度的成像像素来生成以低分辨率和低帧率捕获的整个图像的图像数据。在由识别单元检测到对象之后，成像单元10使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据。识别单元14在检测到对象之前识别对象是否存在于图像数据中，并且在检测到对象之后识别对象。因此，图像传感器可以降低检测对象所需的处理负荷和功耗。
此外，在由识别单元14检测到对象之前，成像单元10使用具有低灵敏度的成像像素和具有高灵敏度的成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据。在由识别单元14检测到的对象是交通信号灯的情况下，成像单元10使用具有低灵敏度的成像像素，并且在对象是车辆的情况下，成像单元10使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据。识别单元14在检测到对象之前执行从图像数据识别对象的处理，并且在识别对象之后基于图像数据执行与对象相对应的识别处理。因此，图像传感器可以精确地识别闪烁的交通信号灯的状态，并且可以高精度地识别前方车辆的位置。
此外，在由识别单元14检测到对象之前，成像单元10使用长曝光成像像素、中曝光成像像素和短曝光成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据。在由识别单元14检测到的对象是交通信号灯的情况下，成像单元10使用中曝光成像像素，并且在对象是车辆的情况下，成像单元10使用短曝光成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据。识别单元14在检测到对象之前执行从图像数据识别对象的处理，并且在识别对象之后基于图像数据执行与对象相对应的识别处理。因此，图像传感器可以精确地识别闪烁的交通信号灯的状态，并且可以高精度地识别前方车辆的位置。
另外，在图像识别方法中，通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据，并且从图像数据中的每一个图像数据识别对象。因此，可以消除伪影的影响，从而提高识别对象的精度。
注意，本说明书中描述的每个实施例的效果仅是示例。本公开的效果不限于此，并且可以获得其他效果。
注意，本技术还可以具有以下配置。
(1)
一种图像识别装置，包括：
成像单元，通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据；以及
识别单元，从图像数据中的每一个图像数据识别对象。
(2)
根据(1)的图像识别装置，其中，成像单元包括：
像素阵列，在该像素阵列中，二维地布置具有相同光接收面积和不同曝光时间的多个成像像素。
(3)
根据(1)的图像识别装置，其中，成像单元包括：
像素阵列，在该像素阵列中，二维地布置具有相同光接收面积并且具有堆叠在其上的滤色器的不同透光率的多个成像像素。
(4)
根据(1)的图像识别装置，其中，成像单元包括
像素阵列，在该像素阵列中，二维地布置具有不同光接收面积的多个成像像素。
(5)
根据(1)的图像识别装置，其中，成像单元包括：
像素阵列，在该像素阵列中，二维地布置长曝光成像像素、中曝光成像像素和短曝光成像像素。
(6)
根据(1)的图像识别装置，其中，成像单元包括：
像素阵列，在该像素阵列中，二维地布置低灵敏度成像像素、中灵敏度成像像素和高灵敏度成像像素。
(7)
根据(1)至(6)中任一项的图像识别装置，其中，
在识别对象的情况下，识别单元将识别对象的结果并将图像数据输出到后续阶段的装置，并且在未识别对象的情况下，识别单元将指示未识别对象的信息输出到后续阶段的装置。
(8)
根据(1)至(6)中任一项的图像识别装置，其中，
识别单元从经过去马赛克处理的图像数据识别对象。
(9)
根据(1)至(6)中任一项的图像识别装置，其中，
识别单元从未经过去马赛克处理的图像数据识别对象。
(10)
根据(1)至(6)中任一项的图像识别装置，其中，
识别单元根据从成像单元输入的图像数据识别对象。
(11)
根据(1)至(10)中任一项的图像识别装置，其中，
在由识别单元检测到对象之前，成像单元使用具有低灵敏度的成像像素来生成以低分辨率和低帧率捕获的整个图像的图像数据，
在由识别单元检测到对象之后，成像单元使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据，并且
识别单元在检测到对象之前识别对象是否存在于图像数据中，并且在检测到对象之后识别对象。
(12)
根据(1)至(10)中任一项的图像识别装置，其中，
在由识别单元检测到对象之前，成像单元使用具有低灵敏度的成像像素和具有高灵敏度的成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据；
在由识别单元检测到的对象是交通信号灯的情况下，成像单元使用具有低灵敏度的成像像素，并且在对象是车辆的情况下，成像单元使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据，并且
识别单元在检测到对象之前执行从图像数据识别对象的处理，并且在识别对象之后基于图像数据执行与对象相对应的识别处理。
(13)
根据(5)的图像处理装置，其中，
在由识别单元检测到对象之前，成像单元使用长曝光成像像素、中曝光成像像素和短曝光成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据；
在由识别单元检测到的对象是交通信号灯的情况下，成像单元使用中曝光成像像素，并且在对象是车辆的情况下，成像单元使用短曝光成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切对象而获得的图像数据，并且
识别单元在检测到对象之前执行从图像数据识别对象的处理，并且在识别对象之后基于图像数据执行与对象相对应的识别处理。
(14)
一种图像识别方法，包括：
通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据；并且
从图像数据中的每一个图像数据识别对象。
参考标记列表
100 图像识别系统
1 图像传感器
10 成像单元
11 成像元件
12 A/D转换单元
13 信号处理单元
14 识别单元
15 数据发送确定单元
16 SEL
17 发送单元
2 AP
21 接收单元
22 认证单元
23 认证数据存储单元
31 物体识别单元
32 物体识别数据存储单元。

Claims (14)

1.一种图像识别装置，包括：
成像单元，通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据；以及
识别单元，从所述图像数据中的每一个图像数据识别对象。
2.根据权利要求1所述的图像识别装置，其中，所述成像单元包括：
像素阵列，在所述像素阵列中，二维地布置具有相同光接收面积和不同曝光时间的多个成像像素。
3.根据权利要求1所述的图像识别装置，其中，所述成像单元包括：
像素阵列，在所述像素阵列中，二维地布置具有相同光接收面积并且具有堆叠在其上的滤色器的不同透光率的多个成像像素。
4.根据权利要求1所述的图像识别装置，其中，所述成像单元包括：
像素阵列，在所述像素阵列中，二维地布置具有不同光接收面积的多个成像像素。
5.根据权利要求1所述的图像识别装置，其中，所述成像单元包括：
像素阵列，在所述像素阵列中，二维地布置长曝光成像像素、中曝光成像像素和短曝光成像像素。
6.根据权利要求1所述的图像识别装置，其中，所述成像单元包括：
像素阵列，在所述像素阵列中，二维地布置低灵敏度成像像素、中灵敏度成像像素和高灵敏度成像像素。
7.根据权利要求1所述的图像识别装置，其中，
在识别所述对象的情况下，所述识别单元将识别所述对象的结果并将所述图像数据输出到后续阶段的装置，并且在未识别所述对象的情况下，所述识别单元将指示未识别所述对象的信息输出到后续阶段的装置。
8.根据权利要求1所述的图像识别装置，其中，
所述识别单元从经过去马赛克处理的图像数据识别所述对象。
9.根据权利要求1所述的图像识别装置，其中，
所述识别单元从未经过去马赛克处理的图像数据识别所述对象。
10.根据权利要求1所述的图像识别装置，其中，
所述识别单元根据从所述成像单元输入的图像数据识别所述对象。
11.根据权利要求1所述的图像识别装置，其中，
在由所述识别单元检测到所述对象之前，所述成像单元使用具有低灵敏度的成像像素来生成以低分辨率和低帧率捕获的整个图像的图像数据，
在由所述识别单元检测到所述对象之后，所述成像单元使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切所述对象而获得的图像数据，并且
所述识别单元在检测到所述对象之前识别所述对象是否存在于所述图像数据中，并且在检测到所述对象之后识别所述对象。
12.根据权利要求1所述的图像识别装置，其中，
在由所述识别单元检测到所述对象之前，所述成像单元使用具有低灵敏度的成像像素和具有高灵敏度的成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据；
在由所述识别单元检测到的所述对象是交通信号灯的情况下，所述成像单元使用具有低灵敏度的成像像素，并且在所述对象是车辆的情况下，所述成像单元使用具有高灵敏度的成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切所述对象而获得的图像数据，并且
所述识别单元在检测到所述对象之前执行从所述图像数据识别所述对象的处理，并且在识别所述对象之后基于所述图像数据执行与所述对象相对应的识别处理。
13.根据权利要求5所述的图像识别装置，其中，
在由所述识别单元检测到所述对象之前，所述成像单元使用所述长曝光成像像素、所述中曝光成像像素和所述短曝光成像像素来生成以高分辨率和高帧率捕获的整个图像的图像数据；
在由所述识别单元检测到的所述对象是交通信号灯的情况下，所述成像单元使用所述中曝光成像像素，并且在所述对象是车辆的情况下，所述成像单元使用所述短曝光成像像素来生成通过从以高分辨率和高帧率捕获的图像中剪切所述对象而获得的图像数据，并且
所述识别单元在检测到所述对象之前执行从所述图像数据识别所述对象的处理，并且在识别所述对象之后基于所述图像数据执行与所述对象相对应的识别处理。
14.一种图像识别方法，包括：
通过使用具有不同灵敏度的成像像素在一个帧周期内以相同的曝光开始定时捕获多个图像来生成图像数据；并且
从所述图像数据中的每一个图像数据识别对象。
CN202080034146.1A 2019-05-10 2020-04-28 图像识别装置和图像识别方法 Pending CN113826105A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-089917 2019-05-10
JP2019089917A JP2020188310A (ja) 2019-05-10 2019-05-10 画像認識装置および画像認識方法
PCT/JP2020/018198 WO2020230636A1 (ja) 2019-05-10 2020-04-28 画像認識装置および画像認識方法

Publications (1)

Publication Number Publication Date
CN113826105A true CN113826105A (zh) 2021-12-21

Family

ID=73223010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034146.1A Pending CN113826105A (zh) 2019-05-10 2020-04-28 图像识别装置和图像识别方法

Country Status (7)

Country Link
US (1) US11710291B2 (zh)
JP (1) JP2020188310A (zh)
KR (1) KR20220006520A (zh)
CN (1) CN113826105A (zh)
DE (1) DE112020002319T5 (zh)
TW (1) TWI800722B (zh)
WO (1) WO2020230636A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US11875599B2 (en) * 2020-08-05 2024-01-16 Ubtech Robotics Corp Ltd Method and device for detecting blurriness of human face in image and computer-readable storage medium
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
WO2023145698A1 (ja) * 2022-01-28 2023-08-03 ｉ－ＰＲＯ株式会社 カメラ装置および画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834309B (zh) 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP5678804B2 (ja) 2011-05-27 2015-03-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
JP2014103643A (ja) * 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法
JP6514076B2 (ja) * 2015-09-11 2019-05-15 株式会社東芝 固体撮像装置
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US10516859B2 (en) * 2015-09-24 2019-12-24 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device
US10362246B2 (en) * 2016-03-31 2019-07-23 Sony Corporation Solid-state image pickup device, method of driving the same, and electronic apparatus
EP3451651B1 (en) 2016-04-27 2022-06-08 Sony Group Corporation Imaging control device, imaging control method, and imaging apparatus
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP7014734B2 (ja) * 2016-12-08 2022-02-01 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置および撮像装置
JP2018169517A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュールおよび撮像装置の制御方法
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
EP3462731B1 (en) * 2017-09-29 2021-11-10 Canon Kabushiki Kaisha Imaging device, imaging system, and moving body

Also Published As

Publication number Publication date
DE112020002319T5 (de) 2022-01-27
KR20220006520A (ko) 2022-01-17
TW202101959A (zh) 2021-01-01
US11710291B2 (en) 2023-07-25
TWI800722B (zh) 2023-05-01
JP2020188310A (ja) 2020-11-19
WO2020230636A1 (ja) 2020-11-19
US20220207850A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11710291B2 (en) Image recognition device and image recognition method
CN109691079B (zh) 成像装置和电子设备
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
US20220201183A1 (en) Image recognition device and image recognition method
CN103916610B (zh) 用于动态后视镜的眩光减少
US20210218923A1 (en) Solid-state imaging device and electronic device
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
CN114270798B (zh) 摄像装置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
US20230269498A1 (en) Information processing device, information processing system, information processing method, and information processing program
CN110235432B (zh) 固态成像装置及其驱动方法
CN113677955A (zh) 距离测量传感器、信号处理方法和距离测量模块
US20220224830A1 (en) Imaging device and imaging method
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム
WO2021166601A1 (ja) 撮像装置、および撮像方法
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
WO2021192459A1 (ja) 撮像装置
JP2024000625A (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination