CN112585531A - 成像设备、成像系统、成像方法和成像程序 - Google Patents

成像设备、成像系统、成像方法和成像程序 Download PDF

Info

Publication number
CN112585531A
CN112585531A CN201980054977.2A CN201980054977A CN112585531A CN 112585531 A CN112585531 A CN 112585531A CN 201980054977 A CN201980054977 A CN 201980054977A CN 112585531 A CN112585531 A CN 112585531A
Authority
CN
China
Prior art keywords
readout
unit
pixel
frame
recognition processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980054977.2A
Other languages
English (en)
Other versions
CN112585531B (zh
Inventor
青木卓
佐藤竜太
山本启太郎
浴良仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585531A publication Critical patent/CN112585531A/zh
Application granted granted Critical
Publication of CN112585531B publication Critical patent/CN112585531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

根据本公开的成像设备设置有：成像部(10)，其具有其中排列有多个像素的像素区域；读取控制部(11)，其控制从包括在像素区域中的像素读取像素信号；控制部(123)，其控制读取控制部执行读取的读取单位，并且读取单位被设置为像素区域的一部分；以及识别部(14)，其已经学习了每个读取单元的训练数据。识别部对每个读取单元的像素信号执行识别处理，并输出包括识别处理结果的识别结果。

Description

成像设备、成像系统、成像方法和成像程序
技术领域
本公开涉及成像设备、成像系统、成像方法和成像程序。
背景技术
近年来，随着诸如数码相机、数码摄像机和安装在多功能移动电话(智能手机)上的小型相机等成像设备的复杂化，已经开发了配备有识别拍摄的图像中包括的预定对象的图像识别功能的成像设备。
引用列表
专利文献
专利文献1：JP 2017-112409 A
发明内容
技术问题
然而，在传统技术中为了执行图像识别功能，必须对一个至若干帧的图像数据执行图像处理。这导致了实现这些功能的处理时间和功耗增加的问题。
本公开旨在提供能够抑制与功能实现相关联的处理时间和功耗的成像设备、成像系统、成像方法和成像程序。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的成像设备具有：成像单元，成像单元具有其中排列有多个像素的像素区域；读出控制器，其控制从包括在像素区域中的像素读出像素信号；读出单位控制器，其控制读出控制器执行读出的读出单位，读出单位被设置为像素区域的一部分；以及识别单元，其已经学习了每个读出单位的训练数据，其中，识别单元对每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
附图说明
图1是示出可应用于本公开的每个实施例的成像设备的示例的配置的框图；
图2A是示出根据每个实施例的成像设备的硬件配置的示例的示意图；
图2B是示出根据每个实施例的成像设备的硬件配置的示例的示意图；
图3A是示出根据每个实施例的成像设备被形成为具有两层结构的堆叠式CIS的示例的示图；
图3B是示出根据每个实施例的成像设备被形成为具有三层结构的堆叠式CIS的示例的示图；
图4是示出可应用于每个实施例的传感器单元的示例的配置的框图；
图5A是示出滚动快门方法的示意图；
图5B是示出滚动快门方法的示意图；
图5C是示出滚动快门方法的示意图；
图6A是示出滚动快门方法中的行细化(稀疏，thinning)的示意图；
图6B是示出滚动快门方法中的行细化的示意图；
图6C是示出滚动快门方法中的行细化的示意图；
图7A是示意性示出滚动快门方法中的另一成像方法的示例的示图；
图7B是示意性示出滚动快门方法中的另一成像方法的示例的示图；
图8A是示出全局快门方法的示意图；
图8B是示出全局快门方法的示意图；
图8C是示出全局快门方法的示意图；
图9A是示意性示出可在全局快门方法中实现的采样图案的示例的示图；
图9B是示意性示出可在全局快门方法中实现的采样图案的示例的示图；
图10是示意性示出由CNN执行的图像识别处理的示图；
图11是示意性示出用于从作为识别对象的图像的一部分获得识别结果的图像识别处理的示图；
图12A是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图；
图12B是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图；
图13A是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图；
图13B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图；
图14A是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图；
图14B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图；
图15A是示出帧驱动速度和像素信号读出量之间的关系的示图；
图15B是示出帧驱动速度和像素信号读出量之间的关系的示图；
图16是示意性示出根据本公开的每个实施例的识别处理的示意图；
图17是示出由根据第一实施例的识别处理单元执行的识别处理的示例的流程图；
图18是示出一帧的图像数据的示例的视图；
图19是示出根据第一实施例的由识别处理单元执行的机器学习处理的流程的视图；
图20A是示出第一实施例的应用示例的示意图；
图20B是示出第一实施例的应用示例的示意图；
图21是示出根据第二实施例的成像设备的功能的示例的功能框图；
图22是更详细地示出根据第二实施例的识别处理单元中的处理示例的示意图；
图23是示出根据第二实施例的功能的示例的功能框图；
图24是示出根据第二实施例的帧读出处理的示意图；
图25是示出根据第二实施例的识别处理的概述的示意图；
图26是示出在帧读出中间终止识别处理的示例的示图；
图27是示出在帧读出中间终止识别处理的示例的示图；
图28是示出根据第二实施例的识别处理的示例的流程图；
图29A是示出根据第二实施例的控制读出和识别处理的示例的时序图；
图29B是示出根据第二实施例的控制读出和识别处理的示例的时序图；
图30是示出根据第二实施例的控制读出和识别处理的另一示例的时序图；
图31是示出根据第二实施例的第一变形例的帧读出处理的示意图；
图32是示出根据第二实施例的第二变形例的帧读出处理的示意图；
图33是示出根据第二实施例的第三变形例的帧读出处理的示意图；
图34是示出根据第二实施例的第三变形例的识别处理的概述的示意图；
图35是示出在读出单位是区域的情况下，在帧读出的中间终止识别处理的示例的示图；
图36是示出在读出单位是区域的情况下，在帧读出的中间终止识别处理的示例的示图；
图37是示出根据第二实施例的第四变形例的帧读出处理的示意图；
图38是示意性示出可应用于第二实施例的第四变形例的识别处理的示意图；
图39是示出根据第二实施例的第四变形例的读出和控制的示例的时序图；
图40是具体示出根据第二实施例的第四变形例的帧读出处理的示图；
图41是具体示出根据第二实施例的第四变形例的帧读出处理的示图；
图42是示出根据第二实施例的第五变形例的帧读出处理的示意图；
图43是示出根据第二实施例的第六变形例的帧读出处理的示意图；
图44是示出根据第二实施例的第六变形例的用于执行读出和识别处理的图案的示例的示图；
图45是示出根据第二实施例的第七变形例的帧读出处理的第一示例的示意图；
图46是示出根据第二实施例的第七变形例的第一其他示例的帧读出处理的示意图；
图47是示出根据第二实施例的第七变形例的第二其他示例的帧读出处理的示意图；
图48是示出根据第二实施例的第七变形例的第三其他示例的帧读出处理的示意图；
图49是示出根据第二实施例的第八变形例的功能示例的功能框图；
图50是示出根据第二实施例的第八变形例的识别处理的示例的流程图；
图51A是示出根据第二实施例的第八变形例的读出和识别处理的第一示例的示图；
图51B是示出根据第二实施例的第八变形例的读出和识别处理的第一示例的示图；
图52是示出根据第二实施例的第九变形例的曝光模式的示例的示图；
图53是示出根据第二实施例的第十变形例的功能的示例的功能框图；
图54是示出根据第二实施例的第十变形例的处理的示例的流程图；
图55是示出根据第二实施例的第十变形例的第一处理的示意图；
图56是示出根据第二实施例的第十变形例的第二处理的示意图；
图57A是示出根据第二实施例的第十变形例的第三处理的示意图；
图57B是示出根据第二实施例的第十变形例的第三处理的示意图；
图58A是示出根据第二实施例的第十变形例的第三处理的示意图；
图58B是示出根据第二实施例的第十变形例的第三处理的示意图；
图59A是示出根据第二实施例的第十变形例的第三处理的示意图；
图59B是示出根据第二实施例的第十变形例的第三处理的示意图；
图60是更详细地示出根据第二实施例的第十变形例的识别处理单元中的处理的示例的示意图；
图61是示出根据第三实施例的功能的示例的功能框图；
图62是示出可应用于第三实施例的读出单位样式的示例的示意图；
图63是示出可应用于第三实施例的读出顺序样式的示例的示意图；
图64是示出根据第三实施例的第一变形例的功能示例的功能框图；
图65是示出根据第三实施例的第一变形例的第一设置方法的示意图；
图66是示出根据第三实施例的第一变形例的第二设置方法的示意图；
图67是示出根据第三实施例的第一变形例的第三设置方法的示意图；
图68是示出根据第三实施例的第三变形例的成像设备的功能的示例的功能框图；
图69是示出根据第四实施例的成像设备的功能的示例的功能框图；
图70是示意性示出根据第四实施例的图像处理的示意图；
图71是示出根据第四实施例的读出处理的示例的示图；
图72是示出根据第四实施例的处理的示例的流程图；
图73是示出根据第四实施例的图像数据存储单元的控制的第三示例的示图；
图74是示出第四实施例的第一变形例的示图；
图75是示出第四实施例的第二变形例的示图；
图76是示出第四实施例的第三变形例中的第一示例的示图；
图77是示出应用了本公开的技术的成像设备的使用示例的示图；
图78是示出车辆控制系统的示意性配置的示例的框图；
图79是示出车辆外部信息检测单元和成像单元的安装位置的示例的示图。
具体实施方式
下面将参考附图详细描述本公开的实施例。在以下每个实施例中，相同的部分由相同的附图标记表示，并且将省略其重复描述。
在下文中，将按以下顺序描述本公开的实施例。
1.根据本公开的每个实施例的配置示例
2.可应用于本公开的现有技术的示例
2-1.滚动快门(卷帘快门，rolling shutter)概述
2-2.全局快门概述
2-3.深度神经网络(DNN)
2-3-1.卷积神经网络(CNN)的概述
2-3-2.递归神经网络(RNN)的概述
2-4.驱动速度
3.本公开的概述
4.第一实施例
4-1.识别处理单元中的操作示例
4-2.识别处理单元中的具体操作示例
4-3.第一实施例的应用示例
5.第二实施例
5-0-1.根据第二实施例的配置示例
5-0-2.根据第二实施例的识别处理单元中的处理示例
5-0-3.根据第二实施例的识别处理的细节
5-0-4.根据第二实施例的读出和识别处理的控制的示例
5-1.第二实施例的第一变形例
5-2.第二实施例的第二变形例
5-3.第二实施例的第三变形例
5-4.第二实施例的第四变形例
5-5.第二实施例的第五变形例
5-6.第二实施例的第六变形例
5-7.第二实施例的第七变形例
5-8.第二实施例的第八变形例
5-9.第二实施例的第九变形例
5-10.第二实施例的第十变形例
6.第三实施例
6-0-1.确定读出单位样式和读出顺序样式的方法
6-0-1-1.读出单位样式和读出顺序样式的示例
6-0-1-2.读出单位样式优先级设置方法的具体示例
6-0-1-3.读出顺序样式优先级设置方法的具体示例
6-1.第三实施例的第一变形例
6-2.第三实施例的第二变形例
6-3.第三实施例的第三变形例
7.第四实施例
7-1.第四实施例的第一变形例
7-2.第四实施例的第二变形例
7-3.第四实施例的第三变形例
8.第五实施例
[1.根据本公开的每个实施例的配置示例]
将示意性地描述根据本公开的成像设备的配置。图1是示出可应用于本公开的每个实施例的成像设备的示例的配置的框图。在图1中，成像设备1包括传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15。成像设备1是互补金属氧化物半导体(CMOS)图像传感器(CIS)，其中，这些单独的单元通过使用CMOS整体形成。成像设备1不限于该示例，并且可以是其他类型的光学传感器，例如，利用红外光执行成像的红外光传感器。
传感器单元10输出对应于经由光学单元30发射到光接收表面的光的像素信号。更具体地，传感器单元10具有像素阵列，在该像素阵列中，包括至少一个光电转换元件的像素以矩阵形式排列。光接收表面由像素阵列中排列成矩阵的各个像素形成。传感器单元10还包括：驱动电路，用于驱动像素阵列中包括的各个像素；以及信号处理电路，用于对从每个像素读出的信号执行预定的信号处理，并输出处理后的信号，作为每个像素的像素信号。传感器单元10将包括在像素区域中的每个像素的像素信号作为数字格式的图像数据输出。
在下文中，在包括在传感器单元10中的像素阵列中，用于产生像素信号的有效像素布置所在的区域将被称为帧。帧图像数据由基于从帧中包括的每个像素输出的每个像素信号的像素数据形成。此外，传感器单元10的像素阵列中的每一行被称为行，并且基于从该行中包括的每个像素输出的像素信号的像素数据将形成行图像数据。传感器单元10输出对应于施加到光接收表面的光的像素信号的操作被称为成像。传感器单元10根据从下面描述的传感器控制器11提供的成像控制信号来控制成像时的曝光和像素信号的增益(模拟增益)。
例如，由微处理器构成的传感器控制器11控制从传感器单元10读出像素数据，并基于从包括在帧中的每个像素读出的每个像素信号输出像素数据。从传感器控制器11输出的像素数据被传送到识别处理单元12和视觉识别处理单元14。
此外，传感器控制器11生成用于控制传感器单元10中的成像的成像控制信号。传感器控制器11根据来自识别处理单元12和视觉识别处理单元14的指令生成成像控制信号，这将在下面描述。成像控制信号包含指示在传感器单元10中成像时设置的上述曝光和模拟增益的信息。成像控制信号还包含传感器单元10用来执行成像操作的控制信号(垂直同步信号、水平同步信号等)。传感器控制器11将生成的成像控制信号提供给传感器单元10。
光学单元30被设置为将来自被摄体的光施加到传感器单元10的光接收表面，并且被设置在例如对应于传感器单元10的位置。光学单元30包括例如多个透镜、用于相对于入射光调整孔径大小的光圈机构、以及用于调整施加到光接收表面的光的焦点的聚焦机构。光学单元30还可以包括快门机构(机械快门)，该快门机构调整光施加到光接收表面的持续时间。例如，光学单元30的光圈机构、聚焦机构和快门机构可以由传感器控制器11控制。不限于此，可以从成像设备1的外部控制光学单元30的孔径/光圈和焦点。还可以将光学单元30与成像设备1整体配置。
识别处理单元12基于从传感器控制器11传送的像素数据，对包含像素数据的图像中包括的对象执行识别处理。在本公开中，例如，数字信号处理器(DSP)读出并执行已经使用训练数据进行了初步学习并作为学习模型存储在存储器13中的程序，从而将识别处理单元12实现为使用深度神经网络(DNN)执行识别处理的机器学习单元。识别处理单元12可以指示传感器控制器11从传感器单元10读出识别处理所需的像素数据。由识别处理单元12获得的识别结果被传送到输出控制器15。
视觉识别处理单元14对从传感器控制器11传送的像素数据执行处理以获得适于人类识别的图像，并且输出例如包含一组像素数据的图像数据。例如，图像信号处理器(ISP)读出并执行预先存储在存储器(未示出)中的程序，从而实现视觉识别处理单元14。
例如，在为传感器单元10中包括的每个像素提供滤色器并且像素数据具有单独类型的颜色信息(即红色(R)、绿色(G)和蓝色(B)的信息)的情况下，视觉识别处理单元14可以执行去马赛克处理、白平衡处理等。此外，视觉识别处理单元14可以指示传感器控制器11从传感器单元10读出视觉识别处理所需的像素数据。其中像素数据已经经过了视觉识别处理单元14执行的图像处理的图像数据被传送到输出控制器15。
输出控制器15例如由微处理器构成，并且将从识别处理单元12传送的识别结果和作为视觉识别处理结果从视觉识别处理单元14传送的图像数据中的一者或两者输出到成像设备1的外部。例如，输出控制器15可以向具有显示装置的显示单元31输出图像数据。这使得用户能够视觉识别由显示单元31显示的图像数据。显示单元31可以内置在成像设备1中，或者可以设置在成像设备1的外部。
图2A和图2B是示出根据每个实施例的成像设备1的硬件配置的示例的示意图。在图2A是图1的组件中的传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15安装在一个芯片2上的实例。注意，为了简化，图2A省略了存储器13和输出控制器15的图示。
在图2A所示的配置中，由识别处理单元12获得的识别结果经由输出控制器15(未示出)输出到芯片2的外部。此外，在图2A的配置中，识别处理单元12可以经由芯片2的内部接口从传感器控制器11获取用于识别的像素数据。
图2B是图1中的组件中的传感器单元10、传感器控制器11、视觉识别处理单元14和输出控制器15安装在一个芯片2上并且识别处理单元12和存储器13(未示出)设置在芯片2外部的示例。类似于图2A，为了简化，图2B也省略了存储器13和输出控制器15的图示。
在图2B的配置中，识别处理单元12经由为芯片间通信提供的接口获取用于识别的像素数据。此外，在图2B中，由识别处理单元12获得的识别结果从识别处理单元12直接输出到外部，但是输出方法不限于该示例。即，在图2B的配置中，识别处理单元12可以将识别结果返回到芯片2，并且可以执行控制，以从安装在芯片2上的输出控制器15(未示出)输出结果。
在图2A所示的配置中，识别处理单元12与传感器控制器11一起安装在芯片2上，使得识别处理单元12和传感器控制器11之间的高速通信能够由芯片2的内部接口执行。另一方面，图2A所示的配置难以更换识别处理单元12，导致难以改变识别处理。相比而言，在图2B所示的配置中，识别处理单元12设置在芯片2的外部，需要经由芯片之间的接口在识别处理单元12和传感器控制器11之间执行通信。这使得识别处理单元12和传感器控制器11之间的通信比在图2A所示的配置中的通信慢，导致在控制中出现延迟的可能性。另一方面，可以容易地更换识别处理单元12，因此可以实现各种识别处理。
在下文中，除非另有说明，成像设备1具有包括安装在图2A中的一个芯片2上的传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15的配置。
在上述图2A所示的配置中，成像设备1可以形成在一个基板上。不限于此，成像设备1可以被实现为多个半导体芯片被堆叠并整体形成的堆叠式CIS。
作为示例，成像设备1可以形成为具有两层结构，其中，半导体芯片堆叠成两层。图3A是示出根据每个实施例的成像设备1被形成为具有两层结构的堆叠式CIS的示例的示图。在图3A的结构中，像素单元20a形成在第一层半导体芯片上，存储器+逻辑单元20b形成在第二层半导体芯片上。像素单元20a包括传感器单元10中的至少一个像素阵列。例如，存储器+逻辑单元20b包括传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15以及为成像设备1和外部之间的通信提供的接口。存储器+逻辑单元20b还包括驱动传感器单元10中的像素阵列的驱动电路的一部分或全部。此外，尽管未示出，存储器+逻辑单元20b还可以包括由视觉识别处理单元14用于处理图像数据的存储器。
如图3A的右侧所示，第一层半导体芯片和第二层半导体芯片结合在一起，同时彼此电接触，使得成像设备1能够被配置为一个固态成像元件。
作为另一示例，成像设备1可以形成为具有三层结构，其中，半导体芯片堆叠成三层。图3B是示出根据每个实施例的成像设备1被形成为具有三层结构的堆叠式CIS的示例的示图。在图3B的结构中，像素单元20a形成在第一层半导体芯片上，存储单元20c形成在第二层半导体芯片上，逻辑单元20b'形成在第三层半导体芯片上。在这种情况下，逻辑单元20b'包括例如传感器控制器11、识别处理单元12、视觉识别处理单元14、输出控制器15以及为成像设备1和外部之间的通信而提供的接口。此外，例如，存储单元20c可以包括存储器13和由视觉识别处理单元14用于处理图像数据的存储器。存储器13可以包括在逻辑单元20b'中。
如图3B右侧所示，第一层半导体芯片、第二层半导体芯片和第三层半导体芯片结合在一起，同时彼此电接触，使得成像设备1能够被配置为一个固态成像元件。
图4是示出可应用于每个实施例的传感器单元10的示例的配置的框图。在图4中，传感器单元10包括像素阵列单元101、垂直扫描单元102、模数(AD)转换单元103、像素信号线106、垂直信号线VSL、控制单元1100和信号处理单元1101。在图4中，例如，控制单元1100和信号处理单元1101可以包括在图1所示的传感器控制器11中。
像素阵列单元101包括多个像素电路100，每个像素电路包括使用例如光电二极管的光电转换元件，对接收的光执行光电转换；以及执行从光电转换元件读出电荷的电路。在像素阵列单元101中，多个像素电路100在水平方向(行方向)和垂直方向(列方向)上排列成矩阵。在像素阵列单元101中，像素电路100在行方向上的排列被称为行。例如，在一帧图像由1920像素×1080行形成的情况下，像素阵列单元101包括包含至少1920个像素电路100的至少1080行。从包括在帧中的像素电路100读出的像素信号形成一帧的图像(一条图像数据)。
在下文中，从传感器单元10的帧中包括的每个像素电路100读出像素信号的操作将适当地被描述为从帧中读出像素的操作。此外，从包括在帧中的行的每个像素电路100读出像素信号的操作将适当地被描述为读出行的操作。
此外，在像素阵列单元101中，关于每个像素电路100的行和列，像素信号线106连接到每个行，并且垂直信号线VSL连接到每个列。像素信号线106的未连接到像素阵列单元101的一端连接到垂直扫描单元102。在以下描述的控制单元1100的控制下，垂直扫描单元102经由像素信号线106向像素阵列单元101发送控制信号，例如，在从像素读出像素信号时使用的驱动脉冲。垂直信号线VSL的未连接到像素阵列单元101的一端连接到AD转换单元103。从像素读出的像素信号经由垂直信号线VSL传输到AD转换单元103。
将示意性地描述来自像素电路100的像素信号的读出控制。在通过曝光于浮动扩散层(FD)来传送存储在光电转换元件中的电荷并将浮动扩散层中传送的电荷转换成电压的过程中，执行从像素电路100读出像素信号。从浮动扩散层中的电荷转换的电压经由放大器输出到垂直信号线VSL。
更具体地，在曝光期间，像素电路100被设置为断开(开路)光电转换元件和浮动扩散层之间的连接，以便将通过光电转换将入射的光生成的电荷存储在光电转换元件中。曝光结束后，浮动扩散层和垂直信号线VSL根据经由像素信号线106提供的选择信号连接。此外，根据经由像素信号线106提供的重置脉冲，浮动扩散层在短时间内连接到电源电压VDD或黑色电平电压的供给线，以便重置浮动扩散层。浮动扩散层的重置电平电压(定义为电压A)输出到垂直信号线VSL。此后，经由像素信号线106提供的传送脉冲接通(闭合)光电转换元件和浮动扩散层之间的连接，以便将存储在光电转换元件中的电荷传送到浮动扩散层。对应于浮动扩散层中的电荷量的电压(定义为电压B)被输出到垂直信号线VSL。
AD转换单元103包括为每个垂直信号线VSL提供的AD转换器107、参考信号发生器104和水平扫描单元105。AD转换器107是对像素阵列单元101的每一列执行AD转换处理的列AD转换器。AD转换器107对经由垂直信号线VSL从像素电路100提供的像素信号执行AD转换处理，从而生成两个数字值(对应于在相关双采样(CDS)处理中用于降噪的电压A和B的值)。
AD转换器107将两个生成的数字值提供给信号处理单元1101。信号处理单元1101基于从AD转换器107提供的两个数字值执行CDS处理，从而生成由数字信号形成的像素信号(一条像素数据)。由信号处理单元1101生成的像素数据被输出到传感器单元10的外部。
基于从控制单元1100输入的控制信号，参考信号发生器104生成斜坡信号作为参考信号，该信号被每个AD转换器107用来将像素信号转换成两个数字值。斜坡信号是电平(电压值)相对于时间以恒定斜率降低的信号，或者是电平阶梯式降低的信号。参考信号发生器104将生成的斜坡信号提供给每个AD转换器107。参考信号发生器104通过使用数模转换器(DAC)等来配置。
当从参考信号发生器104提供电压以预定倾斜度阶梯式下降的斜坡信号时，计数器根据时钟信号开始计数。比较器将从垂直信号线VSL提供的像素信号的电压与斜坡信号的电压进行比较，并在斜坡信号的电压与像素信号的电压交叉的时间，停止计数器的计数。AD转换器107输出对应于计数停止时的计数值的值，从而将作为模拟信号的像素信号转换成数字值。
AD转换器107将两个生成的数字值提供给信号处理单元1101。信号处理单元1101基于从AD转换器107提供的两个数字值执行CDS处理，从而生成由数字信号形成的像素信号(一条像素数据)。作为由信号处理单元1101生成的数字信号的像素信号被输出到传感器单元10的外部。
在控制单元1100的控制下，水平扫描单元105执行选择性扫描，其中，以预定顺序选择每个AD转换器107，以便将临时保存在每个AD转换器107中的每个数字值依次输出到信号处理单元1101。例如，水平扫描单元105被实现为移位寄存器或地址解码器。
基于从传感器控制器11提供的成像控制信号，控制单元1100执行垂直扫描单元102、AD转换单元103、参考信号发生器104、水平扫描单元105等的驱动控制。控制单元1100生成各种驱动信号，这些驱动信号为垂直扫描单元102、AD转换单元103、参考信号发生器104和水平扫描单元105的操作提供参考。例如，基于成像控制信号中包括的垂直同步信号或外部触发信号以及水平同步信号，控制单元1100生成将由垂直扫描单元102经由像素信号线106提供给每个像素电路100的控制信号。控制单元1100将生成的控制信号提供给垂直扫描单元102。
此外，控制单元1100将例如指示从传感器控制器11提供的成像控制信号中包括的模拟增益的信息传送给AD转换单元103。基于指示模拟增益的信息，AD转换单元103控制经由垂直信号线VSL输入到AD转换单元103中包括的每个AD转换器107的像素信号的增益。
基于从控制单元1100提供的控制信号，垂直扫描单元102将包括像素阵列单元101的所选像素行的像素信号线106中的驱动脉冲的各种信号逐行提供给每个像素电路100，以便允许像素信号从每个像素电路100输出到垂直信号线VSL。例如，垂直扫描单元102被实现为移位寄存器或地址解码器。此外，垂直扫描单元102基于从控制单元1100提供的指示曝光的信息来控制每个像素电路100中的曝光。
以这种方式配置的传感器单元10是列AD型互补金属氧化物半导体(CMOS)图像传感器，其中，AD转换器107以列排列。
[2.可应用于本公开的现有技术的示例]
在描述根据本公开的每个实施例之前，将概述可应用于本公开的现有技术，以便于理解。
(2-1.滚动快门的概述)
像素阵列单元101执行成像时使用的已知成像方法包括滚动快门(RS)方法和全局快门(GS)方法。首先，将示意性地描述滚动快门方法。图5A、图5B和图5C是示出滚动快门方法的示意图。在滚动快门方法中，如图5A所示，例如，以行为单位，从帧200上端的行201开始依次执行成像。
以上描述将“成像”描述为传感器单元10输出对应于施加到光接收表面的光的像素信号的操作的表示。更具体地，“成像”用于表示一系列操作，这些操作从像素的曝光开始，直到基于曝光于包括在像素中的光电转换元件而存储的电荷的像素信号传送到传感器控制器11。此外，如上所述，帧是指像素阵列单元101的区域，在该区域中，布置了有效用于生成像素信号的像素电路100。
例如，在图4的配置中，对一行中包括的每个像素电路100同时执行曝光。在曝光结束之后，经由对应于每个像素电路100的每个垂直信号线VSL，在包括在该行中的每个像素电路100中同时传送基于通过曝光存储的电荷的像素信号。通过以行为单位依次执行该操作，可以用滚动快门实现成像。
图5B示意性地示出了滚动快门方法中成像和时间之间的关系的示例。在图5B中，纵轴表示行位置，横轴表示时间。在滚动快门方法中，由于每一行的曝光是按行的顺序依次进行，所以每一行的曝光时间随行的位置依次移动，如图5B所示。因此，例如，在成像设备1和被摄体之间的水平位置关系高速变化的情况下，帧200的拍摄图像发生失真，如图5C所示。在图5C的示例中，对应于帧200的图像202是以与成像设备1和被摄体之间的水平位置关系的变化速度和方向对应的角度倾斜的图像。
在滚动快门方法中，还可以为了成像而使行细化。图6A、图6B和图6C是示出滚动快门方法中的行细化的示意图。如图6A所示，类似于上述图5A的示例，以从帧200上端的行201朝向帧200下端的行为单位执行成像。此时，在以预定数量跳过行的同时执行成像。
在此处，为了解释，假设通过执行单行细化每隔一行执行成像。即，在第n行成像之后，执行(n+2)行的成像。此时，当不执行细化时，从第n行的成像到第(n+2)行的成像的时间被假设为等于从第n行的成像到第(n+1)行的成像的时间。
图6B示意性地示出了当在滚动快门方法中执行单行细化时成像和时间之间的关系的示例。在图6B中，纵轴表示行位置，横轴表示时间。在图6B中，曝光A对应于没有细化的图5B的曝光，曝光B示出了当执行单行细化时的曝光。如曝光B所示，与不执行行细化的情况相比，行细化的执行使得可以减少同一行位置处的曝光时间的偏差。因此，如图6C中的图像203所示，与不执行图5C中所示的行细化的情况相比，在捕获的帧200的图像中出现的倾斜方向上的失真较小。另一方面，与不执行行细化的情况相比，执行行细化时的图像的分辨率较低。
以上描述是滚动快门方法的示例，其中，从帧200的上端到下端按照行的顺序依次执行成像。然而，已经描述了本发明，但是本公开不限于该示例。图7A和图7B是示意性示出滚动快门方法中的其他成像方法的示例的示图。例如，如图7A所示，在滚动快门方法中，可以按照从帧200的下端到上端的行的顺序依次执行成像。在这种情况下，图像202在水平方向上的失真方向将与以从另一帧200的上端到下端的行的顺序依次成像图像的情况下的方向相反。
此外，例如，通过设置用于像素信号传输的垂直信号线VSL的范围，也可以选择性地读出行的一部分。此外，通过单独设置用于成像的行和用于像素信号传输的垂直信号线VSL，还可以将成像开始/结束行设置到除了帧200的上端和下端之外的位置。图7B示意性地示出了具有矩形形状并且宽度和高度小于帧200的宽度和高度的区域205被设置为成像范围的示例。在图7B的示例中，以从区域205上端的行204朝向区域205下端的行的顺序依次执行成像。
(2-2.全局快门的概述)
接下来，将示意性地描述全局快门(GS)方法，作为通过使用像素阵列单元101成像时的成像方法。图8A、图8B和图8C是示出全局快门方法的示意图。如图8A所示，全局快门方法在包括在帧200中的所有像素电路100中同时曝光。
当在图4的配置中实现全局快门方法时，作为示例，可以设想使用像素电路100的配置，在该配置中，在光电转换元件和FD之间进一步提供电容器。此外，该配置还包括分别设置在光电转换元件和电容器之间的第一开关以及设置在电容器和浮动扩散层之间的第二开关，并且第一和第二开关中的每一个的打开和闭合由经由像素信号线106提供的脉冲控制。
在这样的配置中，在包括在帧200中的所有像素电路100中，第一和第二开关被设置为在曝光期间断开，然后，在曝光完成时，第一开关从断开状态切换到闭合状态，以便将电荷从光电转换元件传送到电容器。此后，在将电容器视为光电转换元件的情况下，将按照与上述滚动快门方法的读出操作中使用的顺序类似的顺序从电容器中读出电荷。这使得有可能在帧200中包括的所有像素电路100中执行同时曝光。
图8B示意性地示出了全局快门方法中成像和时间之间的关系的示例。在图8B中，纵轴表示行位置，横轴表示时间。在全局快门方法中，在帧200中包括的所有像素电路100中同时执行曝光。如图8B所示，这使得可以获得对于每一行都相同的曝光时间。因此，例如，即使在成像设备1和被摄体之间的水平位置关系高速变化的情况下，在帧200中捕获的图像206也不会具有由于如图8C所示的变化而失真。
全局快门方法使得可以确保包括在帧200中的所有像素电路100中的曝光时间的同时性。因此，通过控制由每一行的像素信号线106提供的每个脉冲的时间和由每条垂直信号线VSL传输的时间，可以以各种模式实现采样(像素信号的读出)。
图9A和图9B是示意性示出可以在全局快门方法中实现的采样模式的示例的示图。图9A是这样一个示例，在该示例中，从包括在帧200中排列为矩阵的每个像素电路100中以方格样式(图案，pattern)提取像素信号读出的样本208。此外，图9B是以网格样式从每个像素电路100提取像素信号读出的样本208的示例。此外，同样在全局快门方法中，类似于上述滚动快门方法，可以以行的顺序依次执行成像。
(2-3.深度神经网络(DNN))
接下来，将示意性地描述适用于每个实施例的使用深度神经网络(DNN)的识别处理。在每个实施例中，通过使用DNN中的卷积神经网络(CNN)以及特别是递归神经网络(RNN)，来执行图像数据的识别处理。在下文中，“图像数据的识别处理”将被适当地称为“图像识别处理”等。
(2-3-1.CNN的概述)
首先，将示意性地描述CNN。在使用CNN的图像识别处理中，基于由排列成矩阵的像素提供的图像信息来执行图像识别处理。图10是示意性示出由CNN执行的图像识别处理的示图。包括作为识别目标的对象的数字“8”的绘图的整个图像50的像素信息51由以预定方式训练的CNN52处理。通过该处理，数字“8”被识别为识别结果53。
相反，也可以基于每一行的图像应用CNN的处理，以从作为识别目标的图像的一部分获得识别结果。图11是示意性示出从作为识别目标的图像的一部分获得识别结果的图像识别处理的示图。在图11中，图像50'是以行为单位获得的数字“8”的部分获取的图像，数字“8”是作为识别目标的对象。例如，形成图像50'的像素信息51'的各个行的各条像素信息54a、54b和54c由以预定方式训练的CNN 52'依次处理。
例如，此处是一种可假设的情况，其中，由CNN 52'对第一行的像素信息54a执行的识别处理获得的识别结果53a不是有效的识别结果。在此处，有效识别结果是指表示识别结果的可靠性的分数为预定值或更高的识别结果。CNN 52'基于该识别结果53a执行内部状态更新55。接下来，第二行的像素信息54b经过由CNN 52'执行的识别处理，该CNN 52'已经基于先前的识别结果53a执行了内部状态更新55。在图11中，作为该处理的结果，已经获得了指示作为识别目标的数字是“8”或“9”的识别结果53b。此外，基于该识别结果53b，更新55CNN 52'的内部信息。接下来，第三行的像素信息54c经过由CNN 52'执行的识别处理，该CNN 52'已经基于先前的识别结果53b执行了内部状态更新55。结果，在图11中，作为识别目标的数字缩小到“8”或“9”中的“8”。
在此处，图11所示的识别处理使用先前识别处理的结果更新CNN的内部状态。接下来，内部状态已经被更新的CNN使用与已经执行了先前识别处理的行相邻的行的像素信息来执行识别处理。即，使用基于先前识别结果更新的CNN的内部状态对图像按照行的顺序依次执行图11所示的识别处理。因此，图11所示的识别处理是以行的顺序递归地依次执行的处理，并且可以被认为具有等同于RNN处理的结构。
(2-3-2.RNN的概述)
接下来，将示意性地描述RNN。图12A和图12B是示意性示出当不使用时间序列信息时由DNN执行的辨别处理(识别处理)的示例的示图。在这种情况下，如图12A所示，一个图像被输入到DNN。DNN对输入图像执行识别处理，并输出识别结果。
图12B是用于提供图12A的过程的更具体图示的示图。如图12B所示，DNN执行特征提取处理和识别处理。DNN对输入图像执行特征提取处理，从而提取图像的特征数据。此外，DNN对提取的特征数据执行识别处理，并获得识别结果。
图13A和图13B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。在图13A和图13B的示例中，使用时间序列中固定数量的过去信息来通过DNN执行识别处理。在图13A的示例中，时间T处的图像[T]、时间T之前的时间T-1处的图像[T-1]以及时间T-1之前的时间T-2处的图像[T-2]被输入到DNN。DNN对输入图像[T]、[T-1]和[T-2]中的每个执行识别处理，从而获得时间T时的识别结果[T]。
图13B是用于提供图13A的过程的更具体图示的示图。如图13B所示，DNN对输入图像[T]、[T-1]和[T-2]中的每个执行上面参考图12B描述的特征提取处理，从而提取分别对应于图像[T]、[T-1]和[T-2]的多条特征数据。DNN对基于这些图像[T]、[T-1]和[T-2]获得的特征数据进行整合，并且进一步对整合的特征数据执行识别处理，从而获得时间T时的识别结果。
图13A和图13B的方法将使得需要具有用于执行特征数据提取的多个配置以及需要具有用于根据可用的过去图像的数量来执行特征数据提取的配置，导致大规模的DNN配置。
图14A和图14B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。在图14A的示例中，在时间T的图像[T]被输入到内部状态已经被更新到时间T-1的状态的DNN，从而获得在时间T的识别结果[T]。
图14B是用于提供图14A的过程的更具体图示的示图。如图14B所示，DNN对时间T的输入图像[T]执行上面参考图12B描述的特征提取处理，从而提取对应于图像[T]的特征数据。在DNN中，内部状态已经由时间T之前的图像更新，并且保留与更新的内部状态相关的特征数据。与保留的内部信息相关的特征和关于图像[T]的特征数据整合，并且对整合的特征数据执行识别处理。
使用DNN执行图14A和图14B所示的识别处理，其中，该DNN的内部状态已经使用紧接在前的识别结果被更新，因此是递归过程。以这种方式执行递归过程的DNN被称为递归神经网络(RNN)。由RNN执行的识别处理通常用于运动图像识别等，其中，例如，可以通过用按时间序列更新的帧图像依次更新DNN的内部状态来提高识别精度。
在本公开中，RNN被应用于滚动快门方法结构。即，在滚动快门方法中，像素信号以行的顺序依次读出。以行的顺序依次读出的像素信号作为关于时间序列的信息被应用于RNN。与使用CNN的情况(参考图13B)相比，这使得可以基于具有较小配置的多行来执行识别处理。不限于此，RNN也可以应用于全局快门方法的结构。例如，在这种情况下，可以设想将相邻行视为时间序列中的信息。
(2-4.驱动速度)
接下来，将参考图15A和图15B描述帧驱动速度和像素信号读出量之间的关系。图15A是示出读出图像中所有行的示例的示图。在此处，假设作为识别处理目标的图像的分辨率是水平640像素×垂直480像素(480行)。在这种情况下，当以14400[行/秒]的驱动速度驱动时，可以以30[帧/秒(fps)]的速度输出。
接下来，此处是在行细化的同时执行成像的可假设的情况。例如，如图15B所示，假设通过每隔一行跳过来执行成像，即，通过使用1/2细化的读出来执行成像。作为1/2细化的第一示例，如上所述以14400[行/秒]的驱动速度的驱动将从图像中读出的行的数量减半。虽然分辨率降低，但仍可以以60[fps]的速率实现输出，这是没有细化的情况下的两倍，从而提高了帧速率。1/2细化的第二示例是以7200[fps]的驱动速度执行驱动的情况，这是第一示例的一半。在这种情况下，虽然帧速率将为30[fps]，类似于没有细化的情况，但是实现了省电。
当读出图像行时，根据基于要读出的像素信号的识别处理的目的，可以选择是不执行细化、执行细化以增加驱动速度，还是执行细化并且驱动速度保持在与没有细化的情况相同的速度。
[3.本公开的概述]
在下文中，将更详细地描述本公开的每个实施例。首先，将示意性地描述根据本公开的每个实施例的过程。图16是示意性示出根据本公开的每个实施例的识别处理的示意图。在图16中，在步骤S1，根据每个实施例的成像设备1(参考图1)开始对作为识别目标的目标图像进行成像。
注意，目标图像是例如手写数字“8”的图像。此外，作为前提条件，存储器13预先存储被训练为能够通过预定训练数据识别数字的学习模型，作为程序，并且识别处理单元12从存储器13读出该程序并执行该程序，从而能够识别图像中包括的数字。此外，成像设备1将通过滚动快门方法执行成像。即使当成像设备1通过全局快门方法执行成像时，也可以类似于滚动快门方法的情况应用以下处理。
当成像开始时，成像设备1在步骤S2中从帧的上端侧到下端侧以行为单位依次读出帧。
当该行被读出到某个位置时，识别处理单元12从读出的行的图像中识别数字“8”或“9”(步骤S3)。例如，数字“8”和“9”包括上半部分共有的特征。因此，在从顶部按顺序读出行并识别特征的点，识别的对象可以被识别为数字“8”或数字“9”。
在此处，如步骤S4a中所示，通过读取到帧下端的行或下端附近的行，出现被识别对象的整个图片，并且在步骤S2中被识别为数字“8”或“9”的对象现在被确定为数字“8”。
相反，步骤S4b和S4c是与本公开相关的过程。
如步骤S4b所示，当从步骤S3读出的行位置进一步读取该行时，即使在到达数字“8”的下端之前，识别的对象也可以被识别为数字“8”。例如，数字“8”的下半部分和数字“9”的下半部分具有不同的特征。通过读出阐明特征差异的部分的行，可以识别在步骤S3中识别的对象是数字“8”还是“9”。在图16的示例中，在步骤S4b中，对象被确定为数字“8”。
此外，如步骤S4c所示，还可以设想在步骤S3的状态下从步骤S3的行位置进一步读出，以便跳到行位置，在该行位置，在步骤S3中识别的对象似乎能够被确定为数字“8”或数字“9”。通过读出跳跃所到达的行，可以确定在步骤S3中识别的对象是数字“8”还是“9”。跳跃所到达的行位置可以基于根据预定训练数据预先训练的学习模型来确定。
在此处，在上述步骤S4b或步骤S4c中识别出对象的情况下，成像设备1可以结束识别处理。这使得能够缩短识别处理并节省成像设备1的功耗。
注意，训练数据是针对每个读出单位保持输入信号和输出信号的多个组合的数据。作为示例，在识别上述数字的任务中，每个读出单位的数据(行数据、二次采样数据等)可用作输入信号，指示“正确数字”的数据可用作输出信号。作为另一示例，在检测对象的任务中，每个读出单位的数据(行数据、二次采样数据等)可用作输入信号，对象类别(人/车/非物体)、对象的坐标(x，y，h，w)等可用作输出信号。此外，可以通过使用自监督学习仅从输入信号生成输出信号。
[4.第一实施例]
接下来，将描述本公开的第一实施例。
(4-1.识别处理单元中的操作示例)
在根据第一实施例的成像设备1中，如上所述，识别处理单元12读出并执行存储在存储器13中的程序，作为基于预定训练数据预先训练的学习模型，从而用作使用DNN的识别器。
图17是示出由根据第一实施例的识别处理单元12执行的识别处理的示例的流程图。在图17中，在步骤S121中，构成成像设备1中的识别处理单元12的DSP从存储器13中读出学习模型并执行该学习模型。通过该处理，数字信号处理器用作识别处理单元12。
接下来，在步骤S122中，成像设备1中的识别处理单元12指示传感器控制器11开始从传感器单元10读出帧。在该帧读出中，例如，以行为单位(也称为行单位)依次读出一帧图像数据。识别处理单元12确定是否已经读出一帧图像数据的预定行数。
当识别处理单元12确定已经读出一帧图像数据中的预定行数时(步骤S123，“是”)，识别处理单元12前进到步骤S124的处理。在步骤S124中，识别处理单元12对预定行数的读取图像数据执行识别处理，该识别处理为使用CNN的机器学习处理。即，识别处理单元12对作为单位区域的预定行数的图像数据执行使用学习模型的机器学习处理。使用CNN的机器学习处理包括执行各种识别或检测处理，例如，面部检测、面部认证、视线检测、面部表情识别、面部方向检测、物体检测、物体识别、运动(移动体)检测、宠物检测、场景识别、状态检测、回避目标物体识别和其他处理。
在此处，面部检测是检测图像数据中包括的人的面部的处理。面部认证是一种生物认证，并且是认证图像数据中包括的人的面部是否与预先登记的人的面部匹配的过程。视线检测是检测图像数据中包括的人的视线方向的过程。面部表情识别是识别图像数据中包括的人的面部表情的过程。面部方向检测是检测图像数据中包括的人的面部的上下方向的过程。物体检测是检测图像数据中包括的物体的过程。物体识别是识别图像数据中包括的物体是什么的过程。运动(移动体)检测是检测图像数据中包括的移动体的过程。宠物检测是检测图像数据中包括的诸如狗或猫等宠物的过程。场景识别是识别正在拍摄的场景(海、山等)的过程。状态检测是检测图像数据中包括的人等的状态(正常状态、异常状态等)的过程。回避目标物体识别是在人移动的情况下识别将存在于行进方向前方的作为回避目标物体的过程。由识别处理单元12执行的机器学习处理不限于这些示例。
在步骤S125中，识别处理单元12确定在步骤S124中使用CNN的机器学习处理是否成功。当识别处理单元12确定使用CNN的机器学习处理成功时(步骤S125，“是”)，识别处理单元12前进到步骤S129的处理。相反，当识别处理单元12确定在步骤S124中使用CNN的机器学习处理失败时(步骤S125，“否”)，识别处理单元12前进到步骤S126的处理。在步骤S126中，识别处理单元12等待从传感器控制器11读出下一预定行数的图像数据(步骤S126，“否”)。
在本描述中，机器学习处理中的成功意味着例如如上所述的面部检测、面部认证等中已经获得的一定的检测结果、识别结果或认证。相反，机器学习处理中的失败意味着例如在如上所述的面部检测、面部认证等中没有获得足够的检测结果、识别结果和认证。
接下来，在步骤S126中，当读出下一预定行数的图像数据(单位区域)时(步骤S126，“是”)，识别处理单元12在步骤S127中对读出的预定行数的图像数据执行使用RNN的机器学习处理。对于同一帧的图像数据，使用RNN的机器学习处理也利用到目前为止使用CNN或RNN的机器学习处理所执行的结果。
在步骤S128中已经确定在步骤S127中使用RNN的机器学习处理成功的情况下(步骤S128，“是”)，识别处理单元12前进到步骤S129的处理。
在步骤S129中，识别处理单元12将例如在步骤S124或步骤S127中成功获得的机器学习结果从识别处理单元12提供给输出控制器15。例如，在步骤S129中输出的机器学习结果是由识别处理单元12获得的有效识别结果。识别处理单元12可以将机器学习结果存储在存储器13中。
此外，当识别处理单元12在步骤S128中确定在步骤S127中使用RNN的机器学习处理失败(步骤S128，“否”)时，识别处理单元12前进到步骤S130的处理。在步骤S130中，识别处理单元12确定一帧的图像数据的读出是否完成。当已经确定一帧的图像数据的读出尚未完成时(步骤S130，“否”)，识别处理单元12将处理返回到步骤S126，在步骤S126中，将执行下一预定行数的图像数据的处理。
相反，当识别处理单元12在步骤S130中确定一帧的图像数据的读出完成时(步骤S130，“是”)，识别处理单元12在步骤S131中确定是否结束图17中的流程图的一系列处理。当识别处理单元12确定不结束处理时(步骤S131，“否”)，识别处理单元12将处理返回到步骤S122，并对下一帧执行类似的操作。当识别处理单元12确定结束处理时(步骤S131，“是”)，识别处理单元12结束图17的流程图的一系列处理。
可以基于是否已经从成像设备1的外部输入了结束指令，或者基于对于预定数量的图像数据帧的一系列处理是否已经完成，来确定是否在步骤S131中前进到下一帧。
此外，存在可假设的情况，其中，相继执行诸如面部检测、面部认证、视线检测、面部表情识别、面部方向检测、物体检测、物体识别、运动(移动体)检测、场景识别或状态检测等机器学习处理。在这种情况下，在前一个机器学习处理失败的情况下，可以跳过后一个机器学习处理。例如，当在面部检测之后要执行面部认证时，在面部检测失败的情况下，可以跳过面部认证的后一处理。
(4-2.识别处理单元中的具体操作示例)
接下来，将参考具体示例描述参考图17描述的机器学习单元的操作。在下文中，将说明使用DNN执行面部检测的情况。
图18是示出一帧的图像数据的示例的示图。图19是示出由根据第一实施例的识别处理单元12执行的机器学习处理的流程的示图。
当通过机器学习对如图18所示的图像数据执行面部检测时，如图19的部分(a)所示，识别处理单元12首先接收预定行数的图像数据的输入(对应于图17中的步骤S123)。通过对已经输入的预定行数的图像数据执行使用CNN的机器学习处理，识别处理单元12执行面部检测(对应于图17中的步骤S124)。然而，由于在图19的部分(a)的阶段还没有输入整个面部的图像数据，所以识别处理单元12在面部检测中失败(对应于图17的步骤S125中的“否”)。
随后，如图19的部分(b)所示，下一预定行数的图像数据被输入到识别处理单元12(对应于图17的步骤S126)。当利用对图19的部分(a)中输入的预定行数的图像数据执行的使用CNN的机器学习处理的结果时，识别处理单元12对新输入的预定行数的图像数据执行使用RNN的机器学习处理，从而执行面部检测(对应于图17中的步骤S127)。
在图19的部分(b)的阶段，整个面部的图像数据与在图19的部分(a)的阶段输入的预定行数的像素数据一起输入。因此，在图19的部分(b)的阶段，识别处理单元12成功进行面部检测(对应于图17的步骤S128中的“是”)。这使得该操作输出面部检测的结果，而不读出下一个随后的图像数据(图19的部分(c)至(f)中的图像数据)(对应于图17中的步骤S129)。
以这种方式，通过对预定行数的图像数据执行使用DNN的机器学习处理，可以省略在面部检测成功的点之后读出图像数据和执行机器学习处理。这使得有可能在短时间内完成诸如检测、识别和认证等处理，从而减少处理时间和功耗。
预定行数是由学习模型的算法所需的过滤器的大小确定的行数，最小行数是一行。
此外，由传感器控制器11从传感器单元10读出的图像数据可以是在列方向和行方向中的至少一个方向上细化的图像数据。在这种情况下，例如，当在列方向上每隔一行读出图像数据时，将读出第2(N-1)(N是1或更大的整数)行上的图像数据。
此外，在学习模型算法所需的过滤器不是以行为单位形成，而是以诸如1×1像素或5×5像素等像素为单位形成为矩形区域的情况下，对应于过滤器的形状和大小的矩形区域中的图像数据可以代替预定行数的图像数据被输入到识别处理单元12，作为识别处理单元12对其执行机器学习处理的单位区域的图像数据。
此外，尽管以上将CNN和RNN作为DNN的示例进行了说明，但是本公开不限于这些，并且可以使用其他学习模型。
(4-3.第一实施例的应用示例)
接下来，将描述第一实施例的应用示例。在此处，作为第一实施例的应用示例，以下是例如基于在图17的流程图的步骤S124中由CNN执行的机器学习处理的结果和在步骤S127中由RNN执行的机器学习处理的结果来控制要执行下一次读出的预定行数的曝光的示例。图20A和图20B是示出第一实施例的应用示例的示意图。
图20A的部分(a)是示出过度曝光的图像60a的示例的示意图。图像60a的过度曝光导致图像60a整体看起来发白。例如，作为包括在图像60a中的对象的监视器62在画面中具有被称为过曝高亮的现象，使得人眼难以辨别细节。另一方面，作为包括在图像60a中的另一对象的人61由于过度曝光而略微发白，但是与监视器62相比，对于人眼来说似乎是容易识别的。
图20A的部分(b)是示出曝光不足的图像60b的示例的示意图。图像60b的曝光不足导致图像60b整体呈现黑色。例如，图像60a中可见的人61现在很难被人眼识别。另一方面，与图像60a相比，包括在图像60b中的监视器62可以被人眼详细识别。
图20B是示出根据第一实施例的应用示例的读出方法的示意图。图20B的部分(a)和(b)示出了在上述图17的流程图的步骤S122中在曝光不足状态下开始帧读出的情况。
图20B的部分(a)示出了根据第一实施例的应用示例中的第一示例的读出方法。图20B的部分(a)的图像60c指示例如在步骤S124中关于帧顶部的行L#1使用CNN的识别处理已经失败，或者表示识别结果的可靠性的分数是预定值或更小。在这种情况下，识别处理单元12指示传感器控制器11将在步骤S126中读出的行L#2的曝光设置为适合于识别处理的曝光(在这种情况下，设置为更大的曝光量)。在图20B中，行L#1、L#2等可以是一条单独的行，或者可以是彼此相邻的多行。
在图20B的部分(a)中的示例中，行L#2的曝光量大于行L#1的曝光量。在这种情况下，假设结果是行L#2的过度曝光，并且在步骤S127中使用RNN的识别处理失败，或者分数是预定值或更小。识别处理单元12指示传感器控制器11将在处理从步骤S130返回到步骤S126之后要读出的行L#3的曝光量设置为小于行L#2的曝光量。类似地，也将根据识别处理的结果来为行#4、...、L#m，...依次设置下一行的曝光量。
以这种方式，通过基于某一行的识别结果调整接下来要读出的行的曝光量，可以以更高的精度执行识别处理。
此外，作为上述应用示例的进一步应用，如图20B的部分(b)所示，存在一种可想到的方法，用于在读出到预定行的点处重新设置曝光，然后从帧的第一行再次执行读出。如图20B的部分(b)所示，识别处理单元12例如类似于上述部分(a)从帧顶部的行L#1读出到行L#m(第一)，并基于识别结果重新设置曝光。识别处理单元12基于重新设置的曝光，针对该帧再次读出各个行L#1、L#2等(第二)。
以这种方式，基于预定数量的行的读出结果来重新设置曝光，将基于重新设置的曝光从帧的顶部再次读出行L#1，L#2，...，使得能够以更高的精度执行识别处理。
[5.第二实施例]
(5-0-1.根据第二实施例的配置示例)
接下来，将描述本公开的第二实施例。第二实施例是根据上述第一实施例的识别处理的扩展。图21是示出根据第二实施例的成像设备的功能的示例的功能框图。注意，图21省略了图1所示的光学单元30、传感器单元10、存储器13和显示单元31的图示。此外，图21具有添加到图1的配置中的触发发生器16。
在图21中，传感器控制器11包括读出单元110和读出控制器111。识别处理单元12包括特征数据计算单元120、特征数据存储控制器121、读出确定器123和识别处理执行单元124。特征数据存储控制器121包括特征数据存储单元122。此外，视觉识别处理单元14包括图像数据存储控制器140、读出确定器142和图像处理单元143。图像数据存储控制器140包括图像数据存储单元141。
在传感器控制器11中，读出控制器111从包括在识别处理单元12中的读出确定器123接收表示用于由识别处理单元12执行的读出的读出区域的读出区域信息。读出区域信息表示一行或多行的行号。不限于此，读出区域信息可以是指示一行中的像素位置的信息。此外，通过提供通过组合一个或多个行号和指示行中一个或多个像素的像素位置的信息获得的读出区域信息，可以指定读出区域的各种样式，读出区域相当于读出单位。不限于此，读出区域和读出单位可以不同。
类似地，读出控制器111从包括在视觉识别处理单元14中的读出确定器142接收表示用于由视觉识别处理单元14执行的读出的读出区域的读出区域信息。
基于这些读出确定器123和142，读出控制器111将指示用于实际读出的读出区域的读出区域信息传送给读出单元110。例如，在从读出确定器123接收的读出区域信息和从读出确定器142接收的读出区域信息之间存在冲突的情况下，读出控制器111可以对要传送到读出单元110的读出区域信息进行调解和调整。
此外，读出控制器111可以从读出确定器123或读出确定器142接收指示曝光和模拟增益的信息。读出控制器111将接收到的指示曝光和模拟增益的信息传送给读出单元110。
读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。例如，读出单元110基于读出区域信息获得指示要读出的行的行号和指示行中要读出的像素的位置的像素位置信息，并将获得的行号和像素位置信息传送给传感器单元10。读出单元110将从传感器单元10获取的各条像素数据与读出区域信息一起传送到识别处理单元12和视觉识别处理单元14。
此外，读出单元110根据从读出控制器111接收的指示曝光和模拟增益的信息来设置传感器单元10的曝光和模拟增益。此外，读出单元110可以生成垂直同步信号和水平同步信号，并将生成的信号提供给传感器单元10。
在识别处理单元12中，读出确定器123从特征数据存储控制器121接收指示接下来要读出的读出区域的读出信息。读出确定器123基于接收的读出信息生成读出区域信息，并将生成的信息传送给读出控制器111。
在此处，读出确定器123可以使用例如用于读出读出单位的像素数据的读出位置信息已经被添加到预定读出单位的信息，作为读出区域信息中指示的读出区域。读出单位是一个或多个像素的集合，并且对应于由识别处理单元12和视觉识别处理单元14执行的处理单位。作为示例，当读出单位是行时，将添加指示行位置的行号[L#x]，作为读出位置信息。此外，当读出单位是包括多个像素的矩形区域时，将添加指示像素阵列单元101中的矩形区域的位置的信息，例如，指示左上角的像素的位置的信息，作为读出位置信息。读出确定器123预先指定要应用的读出单位。不限于此，读出确定器123还可以例如响应于来自读出确定器123外部的指令来确定读出单位。因此，读出确定器123用作控制读出单位的读出单位控制器。
注意，读出确定器123还可以基于从识别处理执行单元124传送的识别信息来确定接下来要读出的读出区域，这将在下面描述，并且可以生成指示所确定的读出区域的读出区域信息。
类似地，在视觉识别处理单元14中，读出确定器142例如从图像数据存储控制器140接收指示接下来要读出的读出区域的读出信息。读出确定器142基于接收的读出信息生成读出区域信息，并将生成的信息传送给读出控制器111。
在识别处理单元12中，特征数据计算单元120基于从读出单元110传送的像素数据和读出区域信息来计算由读出区域信息指示的区域中的特征数据。特征数据计算单元120将计算出的特征数据传送给特征数据存储控制器121。
如下所述，特征数据计算单元120可以基于从读出单元110传送的像素数据和从特征数据存储控制器121传送的过去的特征数据来计算特征数据。不限于此，特征数据计算单元120可以例如从读出单元110获取用于设置曝光和模拟增益的信息，并且可以进一步使用所获取的信息来计算特征数据。
在识别处理单元12中，特征数据存储控制器121将从特征数据计算单元120传送的特征数据存储在特征数据存储单元122中。此外，当从特征数据计算单元120传送特征时，特征数据存储控制器121生成指示用于下一次读出的读出区域的读出信息，并将生成的信息传送给读出确定器123。
在此处，特征数据存储控制器121可以整合已经存储的特征数据和新传送的特征数据。此外，特征数据存储控制器121可以从存储在特征数据存储单元122中的特征数据中删除不必要的特征数据。不必要特征数据的示例可以是与前一帧相关的特征数据，或者是基于关于与计算并已经存储了新特征数据的帧图像不同的场景的帧图像计算的特征数据。此外，特征数据存储控制器121还可以根据需要删除和初始化存储在特征数据存储单元122中的所有特征数据。
此外，特征数据存储控制器121基于从特征数据计算单元120传送的特征数据和存储在特征数据存储单元122中的特征数据，生成由识别处理执行单元124用于识别处理的特征数据。特征数据存储控制器121将生成的特征数据传送给识别处理执行单元124。
识别处理执行单元124基于从特征数据存储控制器121传送的特征数据执行识别处理。识别处理执行单元124通过识别处理来执行物体检测、面部检测等。识别处理执行单元124将识别处理获得的识别结果传送给输出控制器15。识别处理执行单元124还可以将包括由识别处理生成的识别结果的识别信息传送给读出确定器123。识别处理执行单元124可以从特征数据存储控制器121接收特征数据，并且例如根据由触发发生器16生成的触发的执行来执行识别处理。
同时，在视觉识别处理单元14中，图像数据存储控制器140从读出单元110接收从读出区域读出的像素数据和对应于图像数据的读出区域信息。图像数据存储控制器140将像素数据和读出区域信息彼此关联地存储在图像数据存储单元141中。
图像数据存储控制器140基于从读出单元110传送的像素数据和存储在图像数据存储单元141中的图像数据，生成图像处理单元143用来执行图像处理的图像数据。图像数据存储控制器140将生成的图像数据传送给图像处理单元143。不限于此，图像数据存储控制器140还可以将从读出单元110传送的像素数据原样传送到图像处理单元143。
此外，图像数据存储控制器140基于从读出单元110传送的读出区域信息，生成指示用于下一次读出的读出区域的读出信息，并将生成的读出信息传送给读出确定器142。
在此处，例如，图像数据存储控制器140可以使用加法平均来执行已经存储的图像数据和新传送的像素数据的整合存储。此外，图像数据存储控制器140可以从存储在图像数据存储单元141中的图像数据中删除不必要的图像数据。不必要的图像数据的示例可以是与前一帧相关的图像数据，或者是基于关于与计算并已经存储了新图像数据的帧图像不同的场景的帧图像计算的图像数据。此外，图像数据存储控制器140还可以根据需要删除和初始化存储在图像数据存储单元141中的所有图像数据。
此外，图像数据存储控制器140可以从读出单元110获取用于设置曝光和模拟增益的信息，并且可以在图像数据存储单元141中存储使用获取的信息校正的图像数据。
图像处理单元143对从图像数据存储控制器140传送的图像数据执行预定的图像处理。例如，图像处理单元143可以对图像数据执行预定的图像质量增强处理。此外，在通过行细化等传送的图像数据是具有空间缩减数据的图像数据的情况下，可以使用插值处理来将图像信息填充到细化部分。图像处理单元143将经过图像处理的图像数据传送给输出控制器15。
图像处理单元143可以从图像数据存储控制器140接收图像数据，并且例如根据由触发发生器16生成的触发的执行来执行图像处理。
输出控制器15输出从识别处理执行单元124传送的识别结果和从图像处理单元143传送的图像数据中的一者或两者。输出控制器15例如根据由触发发生器16生成的触发输出识别结果和图像数据中的一者或两者。
基于从识别处理单元12传送的与识别处理相关的信息和从视觉识别处理单元14传送的与图像处理相关的信息，触发发生器16生成触发，触发包括要传送到识别处理执行单元124的触发、要传送到图像处理单元143的触发和要传送到输出控制器15的触发。触发发生器16在预定时间将生成的每个触发分别传送给识别处理执行单元124、图像处理单元143和输出控制器15。
(5-0-2.根据第二实施例的识别处理单元中的处理的示例)
图22是更详细地示出根据第二实施例的识别处理单元12中的处理的示例的示意图。在此处，假设读出区域是行，并且读出单元110从图像60的帧的上端到下端以行为单位读出像素数据。由读出单元110以行为单位读出的行L#x的行图像数据(行数据)将被输入到特征数据计算单元120。
特征数据计算单元120执行特征数据提取处理1200和整合处理1202。特征数据计算单元120对输入的行数据执行特征数据提取处理1200，以从行数据中提取特征数据1201。在此处，特征数据提取处理1200基于通过预先学习获得的参数从行数据中提取特征数据1201。使用整合处理1202，由特征数据提取处理1200提取的特征数据1201与由特征数据存储控制器121处理的特征数据1212整合。整合的特征数据1210被传送到特征数据存储控制器121。
特征数据存储控制器121执行内部状态更新处理1211。传送到特征数据存储控制器121的特征数据1210被传送到识别处理执行单元124，并经过内部状态更新处理1211。内部状态更新处理1211基于预先学习的参数减少特征数据1210，以便更新DNN的内部状态，然后生成对应于更新的内部状态的特征数据1212。通过整合处理1202将特征数据1212与特征数据1201整合。由特征数据存储控制器121执行的处理对应于使用RNN的处理。
识别处理执行单元124基于例如使用预定训练数据预先学习的参数，对从特征数据存储控制器121传送的特征数据1210执行识别处理1240，并输出识别结果。
如上所述，基于预先学习的参数，根据第二实施例的识别处理单元12执行处理，具体地，特征数据提取处理1200、整合处理1202、内部状态更新处理1211和识别处理1240。使用基于可假设的识别目标的训练数据来执行参数学习。
注意，例如，当存储在存储器13等中的程序被包括在成像设备1中的DSP读取并执行时，实现上述特征数据计算单元120、特征数据存储控制器121、读出确定器123和识别处理执行单元124的功能。类似地，例如，当存储在存储器13等中的程序被成像设备1中包括的ISP读取并执行时，实现上述图像数据存储控制器140、读出确定器142和图像处理单元143的功能。这些程序可以预先存储在存储器13中，或者可以从外部提供给成像设备1并写入存储器13。
(5-0-3.根据第二实施例的识别处理的细节)
接下来，将更详细地描述第二实施例。图23是示出根据第二实施例的功能的示例的功能框图。由于第二实施例主要描述由识别处理单元12执行的识别处理，所以图23省略了在图21的配置中示出的视觉识别处理单元14、输出控制器15和触发发生器16的图示。此外，图23省略了来自传感器控制器11的读出控制器111的图示。
图24是示出根据第二实施例的帧读出过程的示意图。在第二实施例中，读出单位是行，并且对于帧Fr(x)，以行的顺序依次执行像素数据的读出。在图24的示例中，在第m帧Fr(m)中，从帧Fr(m)的上端处的行L#1开始以行的顺序依次执行行的读出，以便继续到行L#2、L#3等。当帧Fr(m)中的行读出完成时，在作为第(m+1)帧的下一帧Fr(m+1)中，以类似的方式从上端行L#1开始按照行的顺序依次执行行的读出。
图25是示意性示出根据第二实施例的识别处理的示意图。如图25所示，通过依次执行由CNN 52'和内部信息更新55针对每一行L#1、L#2、L#3等的每条像素信息54执行的处理，来执行识别处理。因此，将一行的像素信息54输入到CNN 52'中就足够了，使得可以在极小的规模上形成识别器56。注意，识别器56具有RNN的配置，因为它对依次输入的信息执行CNN 52'的处理，并执行内部信息更新55。
通过使用RNN以行的顺序依次执行识别处理，可能获得有效的识别结果，而无需执行包括在帧中的所有行的读出。在这种情况下，识别处理单元12可以在获得有效识别结果的点处结束识别处理。将参考图26和图27描述在帧读出的中间结束识别处理的示例。
图26是示出识别目标是数字“8”的示例性情况的示图。在图26的示例中，在已经读出帧70的垂直方向上的大约3/4的范围71的点处识别出数字“8”。因此，识别处理单元12可以输出有效识别结果，该有效识别结果指示在已经读出范围71的点处识别出数字“8”，并且可以结束帧70的行读出处理和识别处理。
图27是示出当识别目标是人时的示例的示图。在图27的示例中，在已经读出帧72的垂直方向上的大约1/2的范围73的点处，识别出人74。因此，识别处理单元12可以输出有效识别结果，该有效识别结果指示在已经读出范围73的点处识别到人74，并且可以结束帧72的行读出处理和识别处理。
以这种方式，在第二实施例中，当在帧的行读出的中间获得有效的识别结果时，可以结束行读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
虽然以上是从帧的上端侧到下端侧执行行读出的示例，但是读出方向不限于该示例。例如，可以从帧的下端侧到上端侧执行行读出。即，通过从帧的上端侧到下端侧执行行读出，通常可以更早地识别远离成像设备1存在的对象。相反，通过从帧的下端侧到上端侧执行行读出，通常可以更早地识别相对于成像设备1存在于前侧的对象。
例如，存在可设想的情况，即，成像设备1被安装用于车载应用以便对前视野成像。在这种情况下，前方的对象(例如，本车前方的车辆或行人)存在于要成像的画面的下部。因此，从帧的下端侧到上端侧执行行读出将更加有效。此外，当高级驾驶员辅助系统(ADAS)需要立即停止时，只需要识别至少一个相应的对象。另外，在已经识别出一个对象的情况下，再次从帧的下端侧执行行读出被认为是更有效的。此外，在某些情况下，例如，在高速公路上，远处的对象将被优先处理。在这种情况下，优选从帧的上端侧到下端侧执行行读出。
此外，读出单位可以被设置为像素阵列单元101中的矩阵(行-列)方向中的列方向。例如，可以设想使用像素阵列单元101中排列成列的多个像素，作为读出单位。作为成像方法的全局快门方法的应用使得可以使用列作为读出单位来执行基于列的读出。在全局快门方法中，可以通过在基于列的读出和基于行的读出之间切换来执行读出。例如，当读取被固定到基于列的读出时，可以设想将像素阵列单元101旋转90°并使用滚动快门方法。
例如，通过基于列的读出从帧的左端侧依次读出，可以更早地识别存在于成像设备1左侧的物体。类似地，通过基于列的读出从帧的右端侧依次读出，可以更早地识别相对于成像设备1存在于右侧的物体。
在将成像设备1用于车载应用的示例中，例如，当车辆正在转弯时，在某些情况下，存在于转弯侧的物体将被优先考虑。在这种情况下，优选通过基于列的读出从转弯侧的一端进行读出。例如，可以基于车辆的转向信息来获取转弯方向。不限于此，例如，可以为成像设备1设置能够检测三个方向上的角速度的传感器，并且基于该传感器的检测结果获取转弯方向。
图28是示出根据第二实施例的识别处理的示例的流程图。根据图28的流程图的处理是对应于例如从帧以读出单位(例如，一行)读出像素数据的处理。在此处，假设读出单位是行。例如，读出区域信息可以由指示要读出的行的行号来表示。
在步骤S100中，识别处理单元12从由帧的读出行指示的行中读出行数据。更具体地，在识别处理单元12中，读出确定器123将关于接下来要读出的行的行号传送给传感器控制器11。在传感器控制器11中，读出单元110根据传送的行号从传感器单元10读出由行号指示的行的像素数据，作为行数据。读出单元110将从传感器单元10读出的行数据传送到特征数据计算单元120。此外，读出单元110将指示用于像素数据读出的区域的读出区域信息(例如，行号)传送给特征数据计算单元120。
在下一步骤S101中，特征数据计算单元120基于从读出单元110传送的像素数据基于行数据计算特征数据，并计算行的特征数据。在下一步骤S102中，特征数据计算单元120从特征数据存储控制器121获取存储在特征数据存储单元122中的特征数据。在下一步骤S103中，特征数据计算单元120将在步骤S101中计算的特征数据和在步骤S102中从特征数据存储控制器121获取的特征数据整合。整合的特征数据被传送到特征数据存储控制器121。特征数据存储控制器121将从特征数据计算单元120传送的整合的特征数据存储在特征数据存储单元122中(步骤S104)。
注意，从步骤S100开始的一系列处理是针对帧的第一行的处理，因此，例如，当特征数据存储单元122被初始化时，可以省略步骤S102和S103中的处理。此时，根据步骤S104的处理是将基于第一行计算的行特征数据累积在特征数据存储单元122中的处理。
此外，特征数据存储控制器121也将从特征数据计算单元120传送的整合的特征数据传送到识别处理执行单元124。在步骤S105中，识别处理执行单元124使用从特征数据存储控制器121传送的整合的特征数据来执行识别处理。在下一步骤S106中，识别处理执行单元124输出步骤S105的识别处理的识别结果。
在步骤S107中，识别处理单元12中的读出确定器123根据从特征数据存储控制器121传送的读出信息来确定用于执行下一次读出的读出行。例如，特征数据存储控制器121从特征数据计算单元120接收读出区域信息以及特征数据。基于该读出区域信息，特征数据存储控制器121根据例如预定的读出模式(在该示例中，按行的顺序)确定接下来要读出的读出行。对于所确定的读出行，再次执行自步骤S100的处理。
(5-0-4.根据第二实施例的读出和识别处理的控制的示例)
接下来，将描述根据第二实施例的控制读出和识别处理的示例。图29A和图29B是示出根据第二实施例的控制读出和识别处理的示例的时序图。图29A和图29B的示例是在一个成像周期(一个帧周期)内提供不执行成像操作的空白时间blk的示例。图29A和图29B示出向右方向的时间进行。
图29A示出了将成像周期的1/2连续分配给空白时间blk的示例。在图29A中，成像周期对应于例如1/30[秒]的帧周期。在该帧周期中执行从传感器单元10读出帧。成像时间是对包括在帧中的所有行成像所需的时间长度。在图29A的示例中，假设帧包括n行，并且从行L#1到行L#n的n行的成像在1/60[秒]内完成，这是1/30[秒]的帧周期的1/2。分配给单行成像的时间长度为1/(60×n)[秒]。从对帧中最后一行L#n成像的定时到对下一帧的第一行L#1成像的定时的1/30[秒]的周期被定义为空白时间blk。
例如，在完成行L#1的成像的时间，开始下一条行L#2的成像。同时，识别处理单元12对行L#1执行行识别处理，即，对行L#1中包括的像素数据执行识别处理。在下一行L#2的成像开始之前，识别处理单元12结束对行L#1的行识别处理。当对行L#1的行识别处理完成时，识别处理单元12输出关于识别处理的识别结果。
类似地，对于下一行L#2，在完成对行L#2的成像的时间开始对下一行L#3的成像。随后，识别处理单元12对行L#2执行行识别处理，并在下一行L#3的成像开始之前结束该执行的行识别处理。在图29A的示例中，以这种方式依次执行行L#1、L#2、#3、...、L#m，...的成像。在每一行L#1、L#2、L#3、...、L#m，...中，在成像结束的时间，开始成像完成行下一行的成像。在开始的同时执行成像完成行的行识别处理。
以这种方式，通过以读出单位(在该示例中为行)依次执行识别处理，可以依次获得识别结果，而无需将该帧的所有图像数据输入到识别器(识别处理单元12)，使得可以减少直到获得识别结果的延迟。此外，当在某一行上获得有效的识别结果时，可以在该点结束识别处理，从而减少识别处理的时间并节省功率。此外，通过传播时间轴上的信息并整合每一行的识别结果，可以逐渐提高识别精度。
在图29A的示例中，帧周期内的空白时间blk可以用于执行要在帧周期内执行的其他处理(例如，使用识别结果在视觉识别处理单元14中的图像处理)。
图29B示出了为一行成像的每个时间提供空白时间blk的示例。在图29B的示例中，类似于图29A的示例，帧周期(成像周期)被设置为1/30[秒]。另一方面，成像时间被设置为1/30[秒]，这与成像周期相同。此外，在图29B的示例中，假设在一个帧周期中以1/(30×n)[秒]的时间间隔执行n行(即，行L#1至L#n)的行成像，并且一行的成像时间是1/(60×n)[秒]。
在这种情况下，可以为每一行L#1至L#n的每一个成像时间提供1/(60×n)[秒]的空白时间blk。在每一行L#1至L#n的每一个空白时间blk中，可以对相应行的捕获图像执行可能要执行的其他处理(例如，在视觉识别处理单元14中使用识别结果的图像处理)。此时，可以将直到目标行的下一行的成像结束之前的时间(在该示例中大约为1/(30×n)[秒])分配给其他处理。在图29B的示例中，可以逐行输出其他处理的处理结果，使得可以更快地获取其他处理的处理结果。
图30是示出根据第二实施例的控制读出和识别处理的另一示例的时序图。在上述图29的示例中，包括在帧中的所有行L#1至L#n的成像在帧周期的1/2周期内完成，帧周期的剩余1/2周期被设置为空白时间。相反，在图30所示的示例中，使用整个帧周期来执行包括在帧中的所有行L#1至L#n的成像，而在帧周期内没有空白时间。
在此处，当一行的成像时间是与图29A和图29B的时间相同的1/(60×n)[秒]，并且帧中包括的行数是与图29A和图29B的数量相同的n时，帧周期(即成像周期)将是1/60[秒]。因此，在图30所示的没有提供空白时间blk的示例中，与上述图29A和图29B的示例相比，可以增加帧速率。
[5-1.第二实施例的第一变形例]
接下来，将描述根据第二实施例的第一变形例。根据第二实施例的第一变形例是其中读出单位被设置为彼此依次相邻的多行的示例。注意，参考图23描述的配置可以原样应用于第二实施例的第一变形例，并且也可以应用于下面描述的第二实施例的第二变形例至第七变形例，因此，将省略该配置的详细描述。
图31是示出根据第二实施例的第一变形例的帧读出处理的示意图。如图31所示，在第二实施例的第一变形例中，包括彼此相邻的多行的行组被设置为读出单位，并且对于帧Fr(m)，以行组依次执行像素数据的读出。例如，在识别处理单元12中，读出确定器123确定包括预先指定行数的行组Ls#x作为读出单位。
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于以读出单位读出像素数据的读出位置信息已经被添加到指示被确定为行组Ls#x的读出单位的信息。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在图31的示例中，在第m帧Fr(m)中，从帧Fr(m)的上端的行组Ls#1开始以行的顺序依次执行行组Ls#x的读出，以便继续到Ls#2、Ls#3、...、Ls#p等。当帧Fr(m)中的行组Ls#x的读出完成时，在作为第(m+1)帧的下一帧Fr(m+1)中，将类似地从上端行组Ls#1开始以行的顺序依次执行行组的读出，以便继续到行组Ls#2、Ls#3等。
以这种方式，通过使用包括多行的行组Ls#x作为读出单位来读出像素数据，与以行的顺序依次执行读出的情况相比，可以以更高的速率读出一帧的像素数据。此外，识别处理单元12可以在一个识别处理中使用大量像素数据，从而提高识别响应速度。此外，由于一帧中的读出次数少于以行的顺序依次执行读出的情况，所以在传感器单元10的成像方法是滚动快门方法的情况下，可以抑制捕获的帧图像的失真。
注意，在第二实施例的第一变形例中，类似于上述第二实施例，可以执行从帧的下端侧到上端侧的行组Ls#x的读出。此外，当在帧的行组Ls#x的读出中间获得有效的识别结果时，可以结束行组的读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
[5-2.第二实施例的第二变形例]
接下来，将描述第二实施例的第二变形例。第二实施例的第二变形例是读出单位是一行的一部分的示例。
图32是示出根据第二实施例的第二变形例的帧读出处理的示意图。如图32所示，在第二实施例的第二变形例中，在以行的顺序依次执行的行读出中，每行的一部分(称为部分行)被设置为读出单位，并且在帧Fr(m)上以行的顺序依次对每一行的部分行Lp#x执行像素数据读出。在识别处理单元12中，读出确定器123将例如包括在行中的多个像素确定为读出单位，这些像素按顺序彼此相邻并且具有比包括在行中的像素的总数小的数量。
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读出部分行Lp#x中的像素数据的读出位置信息已经被添加到指示被确定为部分行Lp#x的读出单位的信息。在此处，可以设想，指示读出单位的信息由一行内的部分行Lp#x的位置和包括在部分行Lp#x中的像素数构成。此外，可以设想，使用包括要对其执行读出的部分行Lp#x的行号来构成读出位置信息。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在图32的示例中，在第m帧Fr(m)中，从帧Fr(m)的上端的部分行Lp#1开始以行的顺序依次执行每个部分行Lp#x的读出，以便继续到Lp#2、Lp#3等。当帧Fr(m)中的行组的读出完成时，在作为第(m+1)帧的下一帧Fr(m+1)中，将类似地从包括在上端行中的部分行Lp#1开始按照行的顺序依次执行部分行Lp#x的读出。
以这种方式，通过将行读出中要读出的像素限制为包括在行的一部分中的像素，与整行读出像素数据的情况相比，可以在更窄的频带中传送像素数据。在根据第二实施例的第二变形例的读出方法中，像素数据传送量小于整行读出像素数据的情况，使得可以实现功率节省。
注意，在第二实施例的第二变形例中，类似于上述第二实施例，可以执行从帧的下端侧到上端侧的部分行的读出。此外，当在帧的部分行的读出中间获得有效的识别结果时，可以结束部分行Lp#x的读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
[5-3.第二实施例的第三变形例]
接下来，将描述第二实施例的第三变形例。第二实施例的第三变形例是读出单位被定义为帧内预定大小的区域的示例。
图33是示出根据第二实施例的第三变形例的帧读出处理的示意图。如图33所示，在第二实施例的第三变形例中，预定大小的区域Ar#x-y被定义为帧内的读出单位，该预定大小的区域Ar#x-y包括在行方向和垂直方向上彼此依次相邻的多个像素。利用该读出单位，对帧Fr(m)执行读出，使得例如在行方向上依次读出区域Ar#x-y，然后在垂直方向上顺次重复在行方向上该区域Ar#x-y的顺序读出。在识别处理单元12中，读出确定器123将例如由行方向上的尺寸(像素数)和垂直方向上的尺寸(行数)定义的区域Ar#x-y确定为读出单位。
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读出区域Ar#x-y的像素数据的读出位置信息已经被添加到指示被确定为区域Ar#x-y的读出单位的信息。在此处，可以设想，指示读出单位的信息例如由上述在行方向上的尺寸(像素数)和在垂直方向上的尺寸(行数)构成。此外，可以设想，读出位置信息是使用包括在要对其执行读出的区域Ar#x-y中的预定像素的位置构成的，例如，关于区域Ar#x-y的左上角中的像素的像素位置。读出控制器111将从读出确定器123传送的读出区域信息传送到读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在图33的示例中，在第m帧Fr(m)中，从位于帧Fr(m)的左上角的区域Ar#1-1开始，在行方向上依次执行每个区域Ar1#x-y的读出，以便继续到区域Ar#2-1、Ar#3-1等。在完成到行方向的右端的帧Fr(m)的读出之后，垂直方向上的读取位置移动。随后，按照区域Ar#1-2、Ar#2-2、Ar#3-2等的顺序，在从帧Fr(m)的左端开始的行方向上再次依次执行每个区域Ar#x-y的读出。
图34是示出根据第二实施例的第三变形例的识别处理的概述的示意图。如图34所示，通过依次执行由CNN 52'和内部信息更新55针对每个区域Ar#1-1、Ar#2-1、Ar#3-1等的每条像素信息54执行的处理，来执行识别处理。因此，将一个区域的像素信息54输入到CNN52'中就足够了，使得可以在极小的规模上形成识别器56。注意，识别器56具有RNN的配置，因为它对依次输入的信息执行CNN 52'的处理，并执行内部信息更新55。
通过使用RNN以行的顺序依次执行识别处理，可以获得有效的识别结果，而无需执行包括在帧中的所有行的读出。在这种情况下，识别处理单元12可以在获得有效识别结果的点处结束识别处理。参考图35和图36，在读出单位是区域Ar#x-y的情况下，在帧读出的中间终止识别处理的示例
图35是示出识别目标是数字“8”的示例性情况的示图。在图35的示例中，在帧80中，在已经读出了整体的大约2/3的范围81的点处的位置P1处识别出数字“8”。因此，识别处理单元12可以输出有效识别结果，该有效识别结果指示在已经读出范围81的点处识别出数字“8”，并且识别处理单元12可以结束帧80的行读出处理和识别处理。
图36是示出当识别目标是人时的示例的示图。在图36的示例中，在帧82中，在已经读出垂直方向上大约1/2的范围83的点处的位置P2处，识别到人84。因此，识别处理单元12可以输出有效识别结果，该有效识别结果指示在已经读出范围83的点处识别到人84，并且识别处理单元12可以结束帧82的行读出和识别处理。
以这种方式，在第二实施例的第三变形例中，当在帧的区域读出的中间获得有效的识别结果时，可以结束区域读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。此外，与根据上述第二实施例和第二实施例的第一变形例的在行方向上的整个宽度上执行读出的示例相比，例如，第二实施例的第三变形例使得可以减少冗余读出情况，并且能够减少识别处理所需的时间。
在上述内容中，在行方向上从左端侧到右端侧并且在垂直方向上从帧的上端侧到下端侧，读出区域Ar#x-y。然而，本公开不限于这些示例。例如，可以从右端侧到左端侧执行行方向的读出，并且可以从帧的下端侧到上端侧执行垂直方向的读出。
[5-4.第二实施例的第四变形例]
接下来，将描述第二实施例的第四变形例。第二实施例的第四变形例是读出单位被定义为由包括非相邻像素的多个像素形成的样式的示例。
图37是示出根据第二实施例的第四变形例的帧读出处理的示意图。如图37所示，在第二实施例的第四变形例中，例如，由在行方向和垂直方向上分别离散地和周期性地排列的多个像素形成的样式Pφ#x-y将是读出单位。在图37的示例中，样式Pφ#x-y由六个像素构成，即，在行方向上以预定间隔排列的三个像素和对应于在行方向上的三个像素的位置在垂直方向上以预定间隔排列的三个像素。在识别处理单元12中，读出确定器123确定根据该样式Pφ#x-y排列的多个像素，作为读出单位。
虽然以上描述是样式Pφ#x-y由多个离散像素形成的示例，但是这不限于该示例。例如，可以离散地布置多个像素组，每个像素组包括彼此相邻的多个像素，以形成样式Pφ#x-y。例如，如图37所示，可以离散地和周期性地排列多个像素组，每个像素组由包括彼此相邻的2个像素×2个像素的4个像素形成，以形成样式Pφ#x-y
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读出样式Pφ#x-y的读出位置信息已经被添加到指示被确定为样式Pφ#x-y的读出单位的信息。在此处，可以设想，指示读出单位的信息将由指示构成样式Pφ#x-y的像素中的预定像素(例如，构成样式Pφ#x-y的像素的左上角的像素)和构成样式Pφ#x-y的每个其他像素之间的位置关系的信息构成。此外，可以设想，读出位置信息是使用指示包括在要读出的样式Pφ#x-y中的预定像素的位置的信息(指示行中的位置和行号的信息)构成的。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在图37的示例中，在第m帧Fr(m)中，从左上角像素位于帧Fr(m)的左上角的样式Pφ#1-1开始，依次执行每个样式Pφ#x-y的读出，同时例如在行方向上一次移动一个像素，以便继续至样式Pφ#2-1和Pφ#3-1等。例如，当样式Pφ#x-y的右端到达帧Fr(m)的右端时，样式Pφ#x-y的位置在垂直方向上从帧Fr(m)的左端移动一个像素(一行)，以允许样式Pφ#x-y中的每一个的读出以继续到样式Pφ#1-2、Pφ#2-2、Pφ#3-2等。
由于样式Pφ#x-y具有周期性排列像素的配置，所以将样式Pφ#x-y移动一个像素的操作可以被认为是移动样式Pφ#x-y的相位的操作。即，在第二实施例的第四变形例中，在将样式Pφ#x-y在行方向上移动相位Δφ的同时，执行每个样式P#x-y的读出。通过相对于初始样式Pφ#1-y在行方向上的位置在垂直方向上移动相位Δφ'来执行样式Pφ#x-y在垂直方向上的移动。
图38是示出可应用于第二实施例的第四变形例的识别处理的概述的示意图。图38示出了样式Pφ#z由四个像素形成的示例，每个像素在水平方向(行方向)和垂直方向上经由一个像素分开。如图38的部分(a)、(b)、(c)和(d)所示，利用具有样式Pφ#1、Pφ#2、Pφ#3和Pφ#4的配置，四个像素在水平和垂直方向上相移一个像素，可以读出包括在4像素×4像素区域中的所有16个像素，而没有重复。根据样式Pφ#1、Pφ#2、Pφ#3和Pφ#4读出的四个像素中的每一个分别对应于子样本Sub#1、Sub#2、Sub#3和Sub#4，这些子样本Sub#1、Sub#2、Sub#3和Sub#4已经从4像素×4像素的样本区域中包括的16个像素中提取，以避免重复。
在图38的部分(a)到(d)的示例中，通过分别对子样本Sub#1、Sub#2、Sub#3和Sub#4执行CNN 52'和内部信息更新55的处理来执行识别处理。因此，对于一个识别处理，只需要向CNN 52'输入四个像素数据，使得识别器56能够以极小的规模配置。
图39是示出根据第二实施例的第四变形例的读出和控制的示例的时序图。在图39中，成像周期对应于例如1/30[秒]的帧周期。在该帧周期中执行从传感器单元10读出帧。成像时间是对帧中包括的所有子样本Sub#1至Sub#4成像所需的时间长度。在图39的示例中，成像时间被设置为1/30[秒]，这与成像周期相同。一个子样本Sub#x的成像被称为子样本成像。
在第二实施例的第四变形例中，成像时间被分成四个持续时间，并且在每个持续时间中执行子样本Sub#1、Sub#2、Sub#3和Sub#4中的每一个的子样本成像。
更具体地，传感器控制器11在通过划分成像时间获得的第一至第四持续时间中的第一持续时间中在整个帧上使用子样本Sub#1执行子样本成像。传感器控制器11在行方向上移动4像素×4像素样本区域的同时提取子样本Sub#1，以便例如不引起重复。传感器控制器11在行方向上移动样本区域的同时，在垂直方向上重复执行提取子样本Sub#1的操作。
当一帧的子样本Sub#1的提取完成时，识别处理单元12将一帧的提取的子样本Sub#1输入到每个子样本Sub#1的识别器56，以执行识别处理。识别处理单元12在完成一帧的识别处理之后输出识别结果。不限于此，当在一帧的识别处理的中间获得有效识别结果时，识别处理单元12可以输出识别结果，并且可以终止子样本Sub#1的识别处理。
此后，在第二、第三和第四持续时间的每一个中，将使用子样本Sub#2、Sub#3和Sub#4类似地执行整个帧上的子样本成像。
参考图40和图41，将更具体地描述根据第二实施例的第四变形例的帧读出处理。图40是示出识别目标是数字“8”并且具有不同大小的三个数字“8”被包括在一个帧中的示例的示图。在图40的部分(a)、(b)和(c)中，帧90包括三个对象93L、93M和93S，每个对象指示数字“8”，并且具有彼此不同的尺寸。其中，对象93L最大，对象93S最小。
在图40的部分(a)中，在样本区域92中提取子样本Sub#1。如图40的部分(a)所示，通过在包括在帧90中的每个样本区域92中提取子样本Sub#1，在水平和垂直方向的每个方向上，以每隔一个像素的间隔以网格样式读出像素。在图40的部分(a)的示例中，识别处理单元12基于以网格样式读出的像素的像素数据来识别对象93L、93M和93S中最大的对象93L。
在完成从帧90中提取子样本Sub#1之后，接下来执行样本区域92中的子样本Sub#2的提取。子样本Sub#2由在样本区域92中相对于子样本Sub#1在水平和垂直方向上各移位一个像素的像素构成。由于基于子样本Sub#1的识别结果已经更新了识别器56的内部状态，所以对应于子样本Sub#2的提取的识别结果将影响子样本Sub#1的识别处理。因此，根据子样本Sub#2的提取的识别处理可以被认为是基于关于以方格样式读出的像素的像素数据而执行的，如图40的部分(b)所示。因此，与在图40的部分(a)中示出的仅提取子样本Sub#1的状态相比，在图40的部分(b)中示出的进一步提取子样本Sub#2的状态可以导致基于像素数据的更高分辨率，并且能够以更高的精度进行识别处理。在图40的部分(b)中的示例中，进一步识别上述对象93L之后的下一个最大的对象93M。
图40的部分(c)示出了在帧90中完成样本区域92中包括的所有子样本Sub#1至Sub#4的提取的状态。在图40的部分(c)中，将读出包括在帧90中的所有像素，除了在子样本Sub#1和Sub#2的提取中识别的对象93L和93M之外，还导致识别出最小对象93S的状态。
图41是示出识别目标是人并且位于距成像设备1不同距离的三个人的图像被包括在一帧中的示例的示图。在图41的部分(a)、(b)和(c)中，帧95包括三个对象96L、96M和96S，每个对象是人的图像并且具有彼此不同的尺寸。其中，对象96L是最大的，并且在包括在帧95中的三个人中，对应于对象96L的人最靠近成像设备1。此外，对象96L、96M和96S中最小的对象96S表示这样一种状态，即包括在帧95中的三个人中与对象96S相对应的人是离成像设备1最远的人。
在图41中，部分(a)对应于图40中的部分(a)，并且指示提取上述子样本Sub#1并执行识别处理并且识别出最大对象96L的示例。图41的部分(b)对应于图40的部分(b)，并且指示进一步提取子样本Sub#2并且针对图41的部分(a)的状态执行识别处理，并且识别下一个最大的对象96M的示例。另外，图41的部分(c)对应于图40的部分(c)，并且指示针对图41的部分(b)的状态进一步提取和识别子样本Sub#3和Sub#4，执行识别处理，并且基于包括在帧95中的所有像素的像素数据执行识别处理的示例。图41的部分(c)示出了除了对象96L和96M之外已经识别出最小的对象96S的场景。
以这种方式，通过提取子样本Sub#1、Sub#2等并重复识别处理，可以依次识别更远的人。
在图40和图41的示例中，例如，可以根据可以分配给识别处理的时间来控制帧读出和识别处理。作为示例，在可分配给识别处理的时间较短的情况下，可以设想在完成帧90中的子样本Sub#1的提取并且对象93L被识别的点处终止帧读出和识别处理。相反，在可分配给识别处理的时间较长的情况下，可以设想继续帧读出和识别处理的执行，直到完成所有子样本Sub#1至Sub#4的提取。
不限于此，识别处理单元12可以根据识别结果的可靠性(分数)来控制帧读出和识别处理。例如，当在图41的部分(b)中基于子样本Sub#2的提取和识别处理的识别结果的分数是预定值或更大时，识别处理单元12可以终止识别处理并禁止下一个子样本Sub#3的提取的执行。
以这种方式，在第二实施例的第四变形例中，识别处理可以在获得预定识别结果的点处终止，导致识别处理单元12中的处理量减少和节省功率。
此外，利用第二实施例的第四变形例，可以提高对帧中具有大尺寸的对象的识别响应速度，并且可以实现更高的帧速率。
[5-5.第二实施例的第五变形例]
接下来，将描述第二实施例的第五变形例。第二实施例的第五变形例是读出单位被定义为包括非相邻像素的多个像素被随机排列的样式的示例。
图42是示出根据第二实施例的第五变形例的帧读出处理的示意图。如图42所示，在第二实施例的第五变形例中，例如，使用由帧Fr(m)中离散和非周期性排列的多个像素形成的样式Rd#m_x，作为读出单位。即，根据第二实施例的第五变形例的读出单位是整个帧。
在第二实施例的第五变形例中，参考上述图39，一个帧周期被分成多个持续时间，并且针对每个持续时间切换样式。在图42的示例中，在第m帧Fr(m)的分割的帧周期的第一持续时间中，识别处理单元12通过根据由帧Fr(m)内离散地和非周期性地排列的多个像素形成的样式Rd#m_1读出像素来执行识别处理。作为示例，当帧Fr(m)中包括的像素总数是s并且帧周期的分割数是D时，识别处理单元12选择在帧Fr(m)中离散地和非周期性地排列的s/D像素，以便形成样式Rd#m_1。
在分割帧周期之后的下一个持续时间中，识别处理单元12通过根据样式Rd#m_2读出像素来执行识别处理，在样式Rd#m_2中，在帧Fr(m)中选择了与样式Rd#m_1不同的像素。
类似地，在下一个第(m+1)帧Fr(m+1)中，在帧Fr(m+1)的划分的帧周期的第一持续时间中，识别处理单元12通过根据样式Rd#(m+1)_1读出像素来执行识别处理，该样式Rd#(m+1)_1由帧Fr(m+1)内离散地和非周期地排列的多个像素形成。在下一个持续时间中，识别处理单元12通过根据样式Rd#(m+1)_2读出像素来执行识别处理，在该样式Rd#(m+1)_2中已经选择了与样式Rd#(m+1)_1不同的像素。
在识别处理单元12中，读出确定器123例如在帧Fr(m)的划分帧周期的第一持续时间内，基于伪随机数从帧Fr(m)中包括的所有像素中选择预定数量的像素，以便确定样式Rd#m_1作为读出单位。在下一个持续时间中，读出确定器123基于伪随机数从帧Fr(m)中包括的在样式Rd#m_1中选择的像素除外的所有像素中选择预定数量的像素，并确定样式Rd#m_2作为读出单位。不限于此，识别处理单元12可以基于伪随机数再次从帧Fr(m)中包括的所有像素中选择预定数量的像素，以确定样式Rd#m_2，作为读出单位。
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读出样式Rd#m_x的像素数据的读出位置信息已经被添加到指示被确定为样式Rd#m_x的读出单位的信息。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在此处，可以设想，指示读出单位的信息由例如样式Rd#m_1中包括的每个像素在帧Fr(m)内的位置信息(例如，行号和指示行中像素位置的信息)构成。此外，由于这种情况下的读出单位覆盖整个帧Fr(m)，所以可以省略读出位置信息。作为读出位置信息，允许使用指示帧Fr(m)内的预定像素位置的信息。
以这种方式，第二实施例的第五变形例通过使用由从帧Fr(m)的所有像素中离散地和非周期性地排列的多个像素形成的样式Rd#m_x来执行帧读出处理。与使用周期样式的情况相比，这使得可以减少采样伪像。例如，根据第二实施例的第五变形例的帧读出处理，可以抑制识别处理中时间周期模式的错误检测或未检测(例如，闪烁)。此外，根据帧读出处理，可以抑制识别处理中空间周期样式(栅栏、网状结构等)的错误检测和未检测。
此外，根据帧读出处理，可用于识别处理的像素数据随着时间的推移而增加，使得可以增加帧Fr(m)中具有大尺寸的对象的识别响应速度，从而实现更高的帧速率。
尽管以上描述是识别处理单元12每次生成样式Rd#m_x中的每一个的示例，但是本公开不限于该示例。例如，每个样式Rd#m_x可以预先生成并存储在存储器等中，并且读出确定器123可以从存储器读取并使用存储的样式Rd#m_x。
[5-6.第二实施例的第六变形例]
接下来，将描述第二实施例的第六变形例。第二实施例的第六变形例是根据识别处理的结果改变读出单位的配置的示例。图43是示出根据第二实施例的第六变形例的帧读出处理的示意图。在此处，将已经参考图37描述的基于由包括非相邻像素的多个像素形成的样式的读出单位作为示例进行描述。
在图43中，在第m帧Fr(m)中，读出确定器123生成样式Pt#x-y，该样式Pt#x-y由在行方向和垂直方向上分别离散地和周期性地排列的多个像素形成，类似于参考图37描述的样式Pφ#x-y，并且将生成的样式Pt#x-y设置为初始读出单位。读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读取样式Pt#x-y的读出位置信息已经被添加到指示被确定为样式Pt#x-y的读出单位的信息。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
如图43所示，识别处理单元12从左端侧执行读出和识别处理，同时在帧Fr(m)内以样式Pt#1-1、Pt#2-1和Pt#3-1的顺序在水平方向上将位置移动相位Δφ。当样式Pt#x-y的右端到达帧Fr(m)的右端时，该位置在垂直方向上移动相位Δφ'，并且将从帧Fr(m)的右端侧再次执行读出和识别处理，同时在水平方向上以从Pt#1-2开始的顺序移动相位Δφ，以此类推。
识别处理单元12根据帧Fr(m)中的识别结果生成新的样式Pt'#x-y。作为示例，假设识别处理单元12已经在帧Fr(m)的识别处理中识别出帧Fr(m)的中心部分中的目标对象(例如，人)。基于识别结果，识别处理单元12的读出确定器123生成集中在帧Fr(m)的中心部分中的像素的读出样式Pt'#x-y，作为新的读出单位。
读出确定器123可以生成具有比样式Pt#x-y更少像素的样式Pt'#x-1。此外，读出确定器123可以以比样式Pt#x-y的像素排列更高的密度排列样式Pt'#x-y的像素。
读出确定器123将读出区域信息传送到读出控制器111，在读出区域信息中，用于读取样式Pt'#x-y的读出位置信息已经被添加到指示被确定为样式Pt'#x-y的读出单位的信息。在此处，读出确定器123将该样式Pt'#x-y应用于下一帧Fr(m+1)。读出控制器111将从读出确定器123传送的读出区域信息传送给读出单元110。读出单元110根据从读出控制器111传送的读出区域信息从传感器单元10读出像素数据。
在图43的示例中，在帧Fr(m+1)中，识别处理单元12首先使用帧Fr(m+1)的中心部分处的样式Pt'#1-1来执行读出和识别处理，然后使用例如在水平方向上移位了相位Δφ的样式Pt'#2-1来执行读出和识别处理。此外，识别处理单元12通过在垂直方向上将样式Pt'#1-1的位置移动相位Δφ'，并且进一步通过在水平方向上将位置按顺序移动相位Δφ来执行样式Pt'#1-2和Pt'#2-2的读出。
以这种方式，在第二实施例的第六变形例中，根据基于作为初始样式的样式Pt#x-y的帧Fr(m)中的识别结果，将生成用于下一帧Fr(m+1)中的像素的读出的样式Pt'#x-y。这使得可以以更高的精度执行识别处理。此外，通过使用根据识别处理的结果生成的新样式Pt'#x-y，并执行缩小到已经识别出对象的部分的识别处理，可以实现识别处理单元12中的处理量的减少、节省功率和更高的帧速率。
(第六变形例的另一示例)
接下来，将描述第二实施例的第六变形例的另一示例。图44是示出根据第二实施例的第六变形例的用于执行读出和识别处理的样式的示例的示图。图44中所示的样式Cc#x是具有环形形状并且具有随着时间的推移而改变的环形半径的读出单位。在图44的示例中，在帧Fr(m)的划分帧周期的第一持续时间中使用具有最小半径的样式Cc#1，在下一持续时间中使用具有比样式Cc#1大的半径的样式Cc#2，并且在后续持续时间中使用具有比样式Cc#2更大的半径的样式Cc#3。
例如，如上图43所示，识别处理单元12从左端侧执行读出和识别处理，同时在帧Fr(m)内以样式Pt#1-1、Pt#2-1和Pt#3-1的顺序在水平方向上将位置移动相位Δφ。当样式Pt#x-y的右端到达帧Fr(m)的右端时，该位置在垂直方向上移动相位Δφ'，并且将从帧Fr(m)的右端侧再次执行读出和识别处理，同时在水平方向上从Pt#1-2开始按顺序移动相位Δφ，以此类推。
识别处理单元12根据帧Fr(m)中的识别结果生成具有环形形状的新样式Cc#1。作为示例，假设识别处理单元12已经在帧Fr(m)的识别处理中识别出帧Fr(m)的中心部分中的目标对象(例如，人)。基于识别结果，识别处理单元12的读出确定器123生成样式Cc#1、Cc#2等，并基于这些生成的样式Cc#1、Cc#2等执行识别处理。
在图44中，样式Cc#m的半径随着时间的推移而增加。然而，本公开不限于该示例，并且样式Cc#m的半径可以随着时间的推移而减小。
作为第二实施例的第六变形例的又一示例，允许改变对其执行读出的样式中的像素密度。此外，尽管在图44所示的样式Cc#m中，尺寸从环形的中心到外周变化或者从外周到中心变化，但是本公开不限于该示例。
[5-7.第二实施例的第七变形例]
接下来，将描述第二实施例的第七变形例。在上述第二实施例和第二实施例的第一至第四变形例中，用于读出像素的行、区域和样式按照帧中的坐标顺序(行号、行内的像素顺序)依次移动。相反，在第二实施例的第七变形例中，用于读出像素的行、区域和样式被设置成使得帧中的像素可以在短时间内以更高的均匀性被读出。
图45是示出根据第二实施例的第七变形例的帧读出处理的第一示例的示意图。在图45中，为了解释，帧Fr(m)包含八行，即，行L#1、L#2、L#3、L#4、L#5、L#6、L#7和L#8。
图45的部分(a)中示出的读出处理对应于第二实施例中参考图24描述的读出处理，示出了读出单位是行并且对于帧Fr(m)以行的顺序，具体地以行L#1、L#2、...、L#8的顺序依次执行像素数据读出示例。在部分(a)的示例中，从帧Fr(m)的读出开始到帧Fr(m)底部的像素数据的获取有很大的延迟。
图45的部分(b)示出了根据第二实施例的第七变形例的读出处理的示例。类似于上述图45的部分(a)，部分(b)也使用行作为读出单位。在部分(b)的示例中，在帧Fr(m)中，在奇数行号的单独行和偶数行号的单独行中，行之间的距离是帧Fr(m)的行数的1/2的两个单独行被配对。在这些对中，依次读出具有奇数行号的对，然后，依次读出具有偶数行号的对。
更具体地，在图45的部分(b)的示例中，在帧周期的前半部分，例如，在帧Fr(m)中包括的行L#x中，具有奇数行号的行(即行L#1和L#3、L#5和L#7)以改变的读出顺序，即以行L#1、L#5、L#3和L#7的顺序读出。类似地，对于帧周期的后半部分，在帧Fr(m)中包括的行L#x中，具有偶数行号的行(即行L#2、L#4、L#6和L#8)以改变的读出顺序，即以行L#2、L#6、L#4和L#8的顺序读出。
如图45的部分(b)所示，通过读出确定器123根据读出顺序依次设置读出位置信息，来实现对单独行L#x的读出顺序的这种控制。
通过以这种方式决定读出顺序，与部分(a)中的示例相比，可以减少从帧Fr(m)的读出开始到帧Fr(m)的底部的像素数据的获取的延迟。此外，利用第二实施例的第七变形例，可以提高对帧中具有大尺寸的对象的识别响应速度，并且可以实现更高的帧速率。
参考图45的部分(b)描述的单独行L#x的读出顺序是一个示例，并且可以设置读出区域，使得可以容易地识别假定的对象。例如，读出确定器123可以基于从成像设备1的外部提供的外部信息来设置帧中用于优先执行识别处理的区域，并且可以确定读出位置信息，以便优先执行对应于该区域的读出区域的读出。此外，读出确定器123还可以根据在帧中成像的场景来设置在帧中优先执行识别处理的区域。
此外，同样在第二实施例的第七变形例中，与上述第二实施例类似，当在读出帧中的每一行的中间获得有效的识别结果时，可以结束该行的读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(第二实施例的第七变形例的第一其他示例)
接下来，将描述第二实施例的第七变形例的第一其他示例。尽管上述第二实施例的第七变形例是一行用作读出单位的示例，但是本公开不限于该示例。在第一其他示例中，两个不相邻的行用作读出单位。
图46是示出根据第二实施例的第七变形例的第一其他示例的帧读出处理的示意图。在图46的示例中，在图45的部分(b)中描述的帧Fr(m)中，在具有奇数行号的单独行和具有偶数行号的单独行中，成对的并且行之间的距离是行数的1/2的两个单独行被定义为读出单位。更具体地，一对行L#1和L#5、一对行L#3和L#7、一对行L#2和L#6以及一对行L#4和L#8被定义为读出单位。在这些对中，首先依次读出具有奇数行号的对，然后依次读出具有偶数行号的对。
在该第一其他示例中，由于读出单位包括两行，所以与上述第二实施例的第七变形例相比，识别处理所需的时间可以进一步缩短。
(第二实施例的第七变形例的第二其他示例)
接下来，将描述第二实施例的第七变形例的第二其他示例。该第二其他示例是通过将设置用于读出单位的读出的读出区域(以便以更短的时间和更高的均匀性来实现帧中像素的读出)的示例应用于根据使用图33示出的第二实施例的第三变形例的示例而获得的变形例，其中，帧中预定大小的区域被定义为读出单位。
图47是示出根据第二实施例的第七变形例的第二其他示例的帧读出处理的示意图。在图47的示例中，通过在帧Fr(m)中离散地指定参考图33描述的每个区域Ar#x-y的位置来执行帧Fr(m)的读出。作为示例，在执行帧Fr(m)的左上角的区域Ar#1-1的读出和识别处理之后，对区域Ar#3-1执行读出和识别处理，该区域Ar#3-1包括与帧Fr(m)中的区域Ar#1-1相同的行，并且位于帧Fr(m)在行方向上的中心部分。接下来，对帧Fr(m)的下部的1/2的区域中的左上角的区域Ar#1-3执行读出和识别处理，然后对区域Ar#3-3执行读出和识别处理，该区域Ar#3-3包括与帧Fr(m)中的区域Ar#1-3相同的行并且位于帧Fr(m)在行方向上的中心部分。
将类似地对区域Ar#2-2和Ar#4-2以及区域Ar#2-4和Ar#4-4执行读出和识别处理。
通过以这种方式决定读出顺序，与图33中的示例相比，可以减少从帧Fr(m)的左端侧开始读出帧Fr(m)到获取帧Fr(m)的底端和右端侧的像素数据的延迟。此外，对于第二其他示例，可以提高对帧中具有大尺寸的对象的识别响应速度，并且可以实现更高的帧速率。
此外，同样在第二其他示例中，当在帧中的每个区域Ar#x-y的读出中间获得有效的识别结果时，与上述第二实施例类似，可以结束区域Ar#x-y的读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(第二实施例的第七变形例的第三其他示例)
接下来，将描述第二实施例的第七变形例的第三其他示例。该第三其他示例是通过将设置用于读出单位的读出的读出区域(以便以更短的时间和更高的均匀性来实现帧中像素的读出)的示例应用于图37示出的根据第二实施例的第三变形例的示例而获得的变形例，其中，分别在行方向和垂直方向上离散地和周期性地排列的多个像素被定义为读出单位。
图48是示出根据第二实施例的第七变形例的第三其他示例的帧读出处理的示意图。在图48的示例中，具有与使用图37描述的样式Pφ#x-y的配置等效的样式Pφ#z，通过离散地指定样式Pφ#z在帧Fr(m)中的位置来执行帧Fr(m)的读出。
作为示例，识别处理单元12以左上角作为开始位置，执行位于帧Fr(m)的左上角的样式Pφ#1的读出和识别处理。接下来，对样式Pφ#2执行读出和识别处理，该样式的位置在样式Pφ#1中的像素的行方向和垂直方向上分别移动了1/2间隔的距离。接下来，对通过在行方向上将样式Pφ#1的位置移动1/2间隔而获得的样式Pφ#3执行读出和识别处理，然后对通过在垂直方向上将样式Pφ#1的位置移动1/2间隔而获得的样式Pφ#4执行读出和识别处理。这些样式Pφ#1至Pφ#4的读出和识别处理被重复执行，同时例如在行方向上将样式Pφ#1的位置移动一个像素，并且通过在垂直方向上进一步移动一个像素来重复该处理。
通过以这种方式决定读出顺序，与图37中的示例相比，可以减少从开始从帧Fr(m)的左端侧读出帧Fr(m)到获取帧Fr(m)的底端和右端侧的像素数据的延迟。此外，对于第三其他示例，可以提高对帧中具有大尺寸的对象的识别响应速度，并且可以实现更高的帧速率。
此外，同样在第三其他示例中，当在帧中的每个样式Pφ#z的读出的中间获得有效的识别结果时，类似于上述第二实施例，可以结束样式Pφ#z的读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
[5-8.第二实施例的第八变形例]
接下来，将描述第二实施例的第八变形例。第二实施例的第八变形例是根据预定样式控制传感器单元10中的曝光或模拟增益中的至少一个的示例。在下文中，模拟增益将根据需要缩写为“AG”。
图49是示出根据第二实施例的第八变形例的功能示例的功能框图。在图49中，读出确定器123a基于从特征数据存储控制器121传送的读出信息，生成读出区域信息和指示曝光时间和模拟增益的信息。不限于此，读出确定器123a可以生成曝光时间或模拟增益中的至少一个。读出确定器123a将生成的读出区域信息、曝光时间和模拟增益传送给读出单元110。
图50是示出根据第二实施例的第八变形例的识别处理的示例的流程图。根据图50的流程图的处理是对应于从例如帧以读出单位(例如，一行)读出像素数据的处理。在此处，假设读出单位是行，并且读出区域信息是指示作为读出目标的行的行号。
在图50的流程图中，步骤S100至S107的处理分别等同于第二实施例中描述的图28的流程图中的步骤S100至S107的处理。
即，在步骤S100中，识别处理单元12从由帧的读出行指示的行中执行行数据的读出。在下一步骤S101中，特征数据计算单元120基于从读出单元110传送的行数据来计算行的特征数据。在下一步骤S102中，特征数据计算单元120从特征数据存储控制器121获取存储在特征数据存储单元122中的特征数据。在下一步骤S103中，特征数据计算单元120将在步骤S101中计算的特征数据和在步骤S102中从特征数据存储控制器121获取的特征数据进行整合，并将整合的数据传送给特征数据存储控制器121。
在下一步骤S104中，特征数据存储控制器121将整合的特征数据存储在特征数据存储单元122中(步骤S104)。在下一步骤S105中，识别处理执行单元124使用整合的特征数据执行识别处理。在下一步骤S106中，识别处理执行单元124输出步骤S105的识别处理的识别结果。在步骤S107中，识别处理单元12中的读出确定器123根据从特征数据存储控制器121传送的读出信息来确定用于执行下一次读出的读出行。
在步骤S107的处理之后，处理进行到步骤S1070。在步骤S1070中，读出确定器123根据预定的曝光模式确定下一次读出的曝光时间。在下一步骤S1071中，读出确定器123根据预定的AG模式确定下一次读出的模拟增益。
分别在步骤S1070和步骤S1071中确定的曝光时间和模拟增益被应用于在步骤S107中确定的读出行，以便再次执行从步骤S100开始的处理。
步骤S107至S1071的顺序不限于上述顺序。此外，可以省略步骤S1070或步骤S1071的一个处理。
(读出和识别处理的第一示例)
接下来，将参考图51A和图51B描述根据第二实施例的第八变形例的读出和识别处理的第一示例。图51A是示出可应用于第二实施例的第八变形例的曝光模式的示例的示意图。在图51A中，纵轴表示行，横轴表示时间。在图51A的示例中，曝光模式采用第一曝光时间和比第一曝光时间短的第二曝光时间逐行交替的样式，如在L#1、L#2等中。因此，用第一曝光时间曝光具有奇数行号的行L#1、L#3、...、L#(2n-1)，而用比第一曝光时间短的第二曝光时间曝光具有偶数行号的行L#2、L#4、...L#2n。注意，行数据传输时间是恒定的，与曝光时间无关。
图51B是示出当根据图51A的曝光模式执行成像时捕获的图像的示例的示图。在该示例中，第一曝光时间被设置给具有奇数行号的行L#1、L#3、...L#(2n-1)，以便在这些行上引起过度曝光，而第二曝光时间被设置给具有偶数行号的行L#2、L#4、...L#2n，以便在这些行上引起曝光不足。
在此处，使用通过基于图像的学习而初步获得的参数来执行识别处理单元12的处理，更具体地，参考图22，特征数据提取处理1200、整合处理1202、内部状态更新处理1211和识别处理1240，如图51B所示，其中，对比度逐行切换。不限于此，识别处理单元12可以使用普通图像来执行学习。
通过以这种方式为一帧中的每一行交替设置不同的曝光，识别处理单元12可以在一帧中的识别处理中分别识别亮对象和暗对象。
图51A的示例是根据预定曝光模式为每行交替切换曝光时间的示例。然而，本公开不限于该示例。即，可以根据预定的AG模式为每行交替切换模拟增益，或者可以分别根据预定的曝光模式和AG模式切换曝光时间和模拟增益。
此外，在图51A的示例中，读出单位被设置为行，并且第一曝光时间和第二曝光时间被交替地设置用于每一行。然而，本公开不限于该示例。例如，根据第二实施例的第八变形例的每个读出单位的曝光时间和模拟增益的设置也适用于上述第二实施例的第一至第七变形例的每个读出单位。
[5-9.第二实施例的第九变形例]
接下来，将描述第二实施例的第九变形例。第二实施例的第九变形例是曝光时间的长度被设置为在帧中密度上空间不同的示例。在第二实施例的第九变形例中，参考图49描述的配置可以原样应用，因此将省略该配置的详细描述。
图52是示出根据第二实施例的第九变形例的曝光模式的示例的示图。例如，在图52的部分(a)至(c)中，每个单元表示包含多个像素的区域。在图52的每个部分(a)至(c)中，空白单元是不进行曝光或读出的区域。此外，在图52中，曝光时间由单元的阴影以三个级别表示，并且曝光时间较短的单元用较暗的颜色填充。下文中，空白单元表示不进行曝光的区域。此外，填充的单元将被描述为根据单元的阴影以各种曝光时间(具体地，短时间、中等时间和长时间)进行曝光的区域。中等时间比短时间长，比长时间短。例如，在图52的部分(a)至(c)的每一个中，一组填充的单元将形成读出单位。
具体地，在部分(a)中示出的帧210a是曝光时间被设置为短时间的区域在中心部分以高密度存在并且朝向外围部分密度减小的示例(称为第一样式)。此外，在部分(b)中示出的帧210b是曝光时间被设置为中等时间的区域在整个帧210b上基本均匀地存在的示例(称为第二样式)。此外，在部分(c)中示出的帧210c是曝光时间被设置为长时间的区域在外围部分中以高密度存在并且朝向中心部分密度降低的示例(称为第三样式)。
识别处理单元12的读出确定器123根据从特征数据存储控制器121传送的读出信息和从识别处理执行单元124传送的识别信息(未示出)，从上述第一至第三样式中选择样式。不限于此，读出确定器123可以根据诸如用户操作等外部控制信息从第一至第三样式中选择一个样式。
读出确定器123生成包括所选样式的曝光时间和每个区域的位置的读出区域信息，并将生成的读出区域信息传送给传感器控制器11。在传感器控制器11中，读出单元110根据接收的读出区域信息从传感器单元10读出像素数据。优选地，将上述第一至第三样式中的读出被应用于全局快门方法。
在此处，存在根据第二实施例的第九变形例的成像设备1被安装用于车载应用以便对前视野成像的可想到的情况。在这种情况下，特别是在夜间等，前灯在捕获的图像中引起亮度的空间差异。具体而言，认为捕获的图像的亮度值在中心部分增加，并且向外围部分减小。因此，当前灯在黑暗的地方打开时，将选择第一样式(图52中的部分(a))。
此外，具有不同曝光时间的区域可以以不同于上述第一至第三样式的样式排列。可假设的样式的示例包括：第四样式，其中，曝光时间被设置为长时间的区域在中心部分具有高密度，并且朝向外围部分降低密度；以及第五样式，其中，曝光时间被设置为短时间的区域在外围部分中具有高密度，并且朝向中心部分减小密度。
在上述车载示例中，当安装有成像设备1的车辆向前移动时，车辆的移动导致捕获的图像模糊。模糊程度在图像的中心部分较小，并向外围增加。因此，在意欲对图像的中心部分执行识别处理的情况下，可以设想选择第四样式，而在意欲对图像的外围部分执行识别处理的情况下，可以设想选择第五样式。
以这种方式，通过将曝光时间的长度设置为在帧内空间上密度不同，识别处理单元12可以在一帧中的识别处理中分别识别亮对象和暗对象。此外，由于曝光区域的密度根据帧中的位置而改变，所以可以检测亮对象和暗对象的空间出现频率。
[5-10.第二实施例的第十变形例]
接下来，将描述第二实施例的第十变形例。第二实施例的第十变形例是基于由特征数据存储控制器121生成的特征数据来确定用于以读出单位执行下一次读出的读出区域的示例。
图53是示出根据第二实施例的第十变形例的功能示例的功能框图。在图53的部分(a)中，特征数据存储控制器121a对从特征数据计算单元120传送的特征数据和存储在特征数据存储单元122中的特征数据进行整合，并将整合的特征数据与读出信息一起传送到读出确定器123b。读出确定器123b基于从特征数据存储控制器121a传送的特征数据和读出信息，生成读出区域信息和指示曝光时间和模拟增益的信息。不限于此，读出确定器123b可以生成曝光时间或模拟增益中的至少一个。读出确定器123a/读出确定器123b将生成的读出区域信息、曝光时间和模拟增益传送给读出单元110。
图53的部分(b)是更详细地示出根据第二实施例的第十变形例的读出确定器123b的功能的示例的功能框图。在图53的部分(b)中，读出确定器123b包括读出区域确定器1230、曝光时间确定器1231和AG量确定器1232。
从特征数据存储控制器121传送到读出确定器123b的读出信息和特征数据被分别输入到读出区域确定器1230、曝光时间确定器1231和AG量确定器1232。读出区域确定器1230基于输入的读出信息和特征数据，生成并输出表示接下来要读出的读出区域的读出区域信息(例如，行号)。曝光时间确定器1231基于输入的特征数据生成并输出指示下一次成像中的曝光时间的信息。此外，AG量确定器1232基于输入的特征数据生成并输出指示下一次成像中的模拟增益的信息。
图54是示出根据第二实施例的第十变形例的处理的示例的流程图。根据图54的流程图的处理是对应于例如从帧以读出单位(例如，一行)读出像素数据的处理。在此处，假设读出单位是行，并且读出区域信息是指示作为读出目标的行的行号。
在图54的流程图中，步骤S100至S106的处理等同于第二实施例中描述的图28的流程图中的步骤S100至S107的处理。
即，在步骤S100中，识别处理单元12从由帧的读出行指示的行中执行行数据的读出。在下一步骤S101中，特征数据计算单元120基于从读出单元110传送的行数据来计算行的特征数据。在下一步骤S102中，特征数据计算单元120从特征数据存储控制器121获取存储在特征数据存储单元122中的特征数据。在下一步骤S103中，特征数据计算单元120将在步骤S101中计算的特征数据和在步骤S102中从特征数据存储控制器121获取的特征数据进行整合，并将整合的数据传送给特征数据存储控制器121。
在下一步骤S104中，特征数据存储控制器121将整合的特征数据存储在特征数据存储单元122中。在下一步骤S105中，识别处理执行单元124使用整合的特征数据执行识别处理。在下一步骤S106中，识别处理执行单元124输出步骤S105的识别处理的识别结果。
在下一步骤S1080中，读出确定器123b中的读出区域确定器1230通过使用从特征数据存储控制器121传送的读出信息和通过将在步骤S101中计算的特征数据与在步骤S102中从特征数据存储控制器121获取的特征数据整合而获得的特征数据，来确定将在其上执行下一次读出的读出行。在下一步骤S1081中，读出确定器123b的曝光时间确定器1231基于从特征数据存储控制器121传送的整合的特征数据确定下一次读出中的曝光时间。在下一步骤S1082中，读出确定器123b的AG量确定器1232基于从特征数据存储控制器121传送的整合的特征数据确定下一次读出中的模拟增益。
分别在步骤S1081和步骤S1082中确定的曝光时间和模拟增益被应用于在步骤S1080中确定的读出行，以便再次执行从步骤S100开始的处理。
步骤S1080至S1082的顺序不限于上述顺序。此外，可以省略步骤S1081或步骤S1082的一个处理。
(第一处理)
首先，将描述根据第二实施例的第十变形例的第一处理。图55是示出根据第二实施例的第十变形例的第一处理的示意图。图55中示出的处理对应于上述图16的步骤S1至S4c的处理。此外，此处假设通过使用行作为读出单位并且通过使用滚动快门方法来执行成像。
在图55中，在步骤S1，成像设备1(参考图1)开始对作为识别目标的目标图像(手写数字“8”)进行成像。在此处，作为前提条件，存储器13预先存储被训练为能够通过预定训练数据识别数字的学习模型，作为程序，并且识别处理单元12从存储器13读出该程序并执行该程序，从而能够识别图像中包括的数字。
当成像开始时，在步骤S2，传感器控制器11根据从识别处理单元12传送的读出区域信息，从上端侧到下端侧以行的顺序依次读出帧。
当该行被读出到某个位置时，识别处理单元12从读出的行的图像中识别出数字“8”或“9”(步骤S3)。基于从特征数据存储控制器121传送的整合的特征数据，识别处理单元12的读出确定器123b生成读出区域信息，该读出区域信息指定可预测在步骤S3中识别的对象是数字“8”或“9”的行L#m，并将生成的信息传送到读出单元110。随后，识别处理单元12基于通过由读出单元110读出行L#m而获得的像素数据来执行识别处理(步骤S4c)。
在此处，在上述步骤S4c中识别出对象的情况下，识别处理单元12可以结束识别处理。这使得可以缩短识别处理和节省功率。
(第二处理)
接下来，将描述根据第二实施例的第十变形例的第二处理。图56是示出根据第二实施例的第十变形例的第二处理的示意图。图56所示的处理对应于上述图55所示的处理。在该第二处理中，在细化行的同时执行以行单元的帧读出。
在图56中，在步骤S10中，成像设备1开始对作为识别目标的目标图像(手写数字“8”)进行成像。在此处，作为前提条件，与上述类似，存储器13预先存储学习模型作为程序，该学习模型被训练为能够通过预定的训练数据在以行单位执行读出时识别数字，并且识别处理单元12从存储器13读取该程序并执行该程序，从而能够识别图像中包括的数字。
当成像开始时，在步骤S11中，传感器控制器11根据从识别处理单元12传送的读出区域信息，从上端侧到下端侧以行单位读出帧，同时细化行。在图56的示例中，传感器控制器11首先根据读出区域信息读出帧上端的行L#1，然后读出通过细化预定数量的行获得的行L#p。识别处理单元12针对行L#1和L#p的每条行数据在每个读出时间执行识别处理
在此处，作为通过细化以行单位执行进一步读出并由识别处理单元12对通过读出行L#q获得的行数据执行识别处理的结果，识别出数字“8”或“0”(步骤S12)。基于从特征数据存储控制器121传送的整合的特征数据，读出确定器123b生成指定行L#r的读出区域信息，从该行可以预测在步骤S12中识别的对象是数字“8”或“0”中的哪一个，并将生成的信息传送到读出单元110。此时，行L#r的位置可以是相对于行L#q的帧的上端侧或帧的下端侧。
识别处理单元12基于通过读出单元110读出行L#r而获得的像素数据执行识别处理(步骤S13)。
由于该第二处理在细化行的同时执行帧的行读出，所以可以实现识别处理的进一步缩短和节省功率。
(第三处理)
接下来，将描述根据第二实施例的第十变形例的第三处理。在根据第二实施例的第十变形例的第三处理中，在以读出单位执行读出的同时，自适应地设置曝光时间和模拟增益。
图57A和图57B、图58A和图58B以及图59A和图59B是示出根据第二实施例的第十变形例的第三处理的示意图。下面是在曝光时间和模拟增益之中适应地设置曝光时间的情况。
图57A和图57B是对应于上述图51A和图51B的示图，并且示出了曝光时间没有被自适应地设置的情况下的示例。与上述图51A所示的曝光模式相比，图57A所示的曝光模式在第一曝光时间和比第一曝光时间短的第二曝光时间之间具有更大的时间差。类似于图51A的示例，图57A中的曝光模式是第一曝光时间和第二曝光时间交替施加到诸如行L#1、L#2等行的样式。
图57B是示出当根据图57A的曝光模式执行成像时捕获的图像200a的示例的示图。在该示例中，第一曝光时间被设置给具有奇数行号的行L#1、L#3、...L#(2n-1)，以便在这些行上引起过度曝光，而第二曝光时间被设置给具有偶数行号的L#2、L#4、...L#2n，以便在这些行上引起曝光不足。
图58A和图58B示出了根据图57A的曝光模式执行成像并且根据基于从行L#1、L#2、…、L#2n(2n-1)中的每一行读出的像素数据的整合特征数据设置行L#2、L#3、…、L#2n的每一行的曝光时间的情况。
在执行从行L#1的读出之后，读出确定器123b基于由特征数据存储控制器121通过将由特征数据计算单元120基于从行L#1读出的像素数据计算的特征数据与存储在特征数据存储单元122中的特征数据进行整合而获得的整合特征数据，为作为具有奇数行号的下一行的行L#3设置曝光时间(曝光时间(L#3))。在图58A的示例中，曝光时间(L#3)被设置为短于行L#1的曝光时间。读出确定器123b保持该曝光时间(L#3)。例如，由读出确定器123b设置曝光时间的处理在下一行(在这种情况下，行L#2)的传送周期期间执行。
接下来，从具有偶数行号的行L#2开始执行读出。读出确定器123b基于由特征数据存储控制器121通过将由特征数据计算单元120基于从行L#2读出的像素数据计算的特征数据与存储在特征数据存储单元122中的特征数据进行整合而获得的整合特征数据，为作为具有偶数行号的下一行的行L#4设置曝光时间(曝光时间(L#4))。在图58A的示例中，曝光时间(L#4)被设置为短于行L#2的曝光时间。
当对行L#2的读出和识别处理完成时，读出确定器123b将保持的曝光时间(L#3)和用于指示读出下一行L#3的读出区域信息传送到读出单元110。
类似地，关于行L#3的读出，读出确定器123b基于从行L#3读出的像素数据，设置具有奇数行号的下一行L#5的曝光时间(L#5)。在图58A的示例中，曝光时间(L#5)被设置为比行L#3的曝光时间短。读出确定器123b保持该曝光时间(L#5)。接下来，执行从作为具有偶数行号的下一行的行L#4的读出，并且读出确定器123b基于从行L#4读出的像素数据来设置具有偶数行号的下一行L#6的曝光时间(L#6)。在图58A的示例中，曝光时间(L#6)被设置为比行L#4的曝光时间短。读出确定器123b保持该曝光时间(L6)。
以这种方式，在具有奇数行号的行和具有偶数行号的行之间交替重复行读出和曝光设置。利用该过程，如图58B所示，将为具有经过过曝光设置的奇数行号的每一行L#1、L#3、...L#(2n-1)以及具有经过过曝光不足设置的偶数行号的每一行L#2、L#4、...、L#2n适当地设置曝光时间。
在此处，读出确定器123b通过使用基于从行读出的像素信息获得的特征数据来设置曝光时间。因此，读出确定器123b可以设置适于识别处理执行单元124执行识别处理的曝光时间。
比较图57B和图58B，在图58B的示例中，在曝光过度设置的情况下，在具有奇数行号的行L#1、L#3等中抑制了亮度，而在曝光不足设置的情况下，在具有偶数行号的行L#2、L#4等中增加了亮度。因此，在图58B的示例中，与图57B的示例相比，预期在具有奇数行号的行和具有偶数行号的行中的每一行中，以更高的精度执行识别处理
注意，通过使用为帧下端的具有奇数行号的行和具有偶数行号的行设置的曝光时间，可以为具有奇数行号的行和具有偶数行号的行中的每一行设置曝光时间。
尽管在上述图58A和图58B的示例中读出了帧的整个行，但是本公开不限于该示例。例如，也可以在帧的一半处执行行的读出，并且可以根据读出的结果返回读出位置。
这将参考图59A和图59B进行描述。类似于上述图58A和图58B的示例，图59A和图59B示出了根据图57A的曝光模式执行成像并且基于根据从行L#1、L#2、…、L#2n(2n-1)中的每一行读出的像素数据的整合特征数据设置行L#2、L#3、…、L#2n中的每一行的曝光时间的情况。
在图59A的示例中，例如，假设通过由识别处理执行单元124基于从行L#2读出的像素数据执行的识别处理来识别预定对象(人)。例如，识别处理执行单元124将指示已经识别出该人的识别信息传送给读出确定器123b。读出确定器123b根据识别信息设置下一帧中对应于行L#2的行L#2'的曝光时间。在图59A的示例中，读出确定器123b设置行L#2'的曝光时间比行L#2的曝光时间长。
在为行L#2'设置曝光时间之后，读出确定器123b将指示行L#2'的读出区域信息和为行L#2'设置的曝光时间传送给读出单元110。例如，根据读出区域信息和曝光时间，读出单元110在完成行L#3的传送处理之后开始行L#2'的曝光。
与图58A类似，关于行L#3和随后的行，读出确定器123b分别为具有奇数行号的行L#3、L#5等以及具有偶数行号的行L#4和L#6设置曝光时间。在此处，在图59A的示例中，紧接在行L#7的传送过程结束之后，行L#2'的曝光结束，并且从行L#2'读出的像素数据的传送开始。
如图59B所示，与图58B所示的行L#2相比，行L#2'具有更高的亮度，导致能够以更高的精度进行识别的高可能性。
注意，类似于图58A和图58B所示的处理，读出确定器123b对行L#2'之后的行，即包括在与行L#2'相同的帧中的各个行L#3'、L#4'等，执行曝光时间设置和读出。
根据基于从前一帧的行L#2读出的像素数据的识别信息来设置行L#2'的曝光时间。因此，与基于行L#2的识别处理相比，识别处理执行单元124能够以更高的精度执行基于行L#2'的识别处理。
注意，尽管第二实施例的第十变形例中的第三处理是基于行的读出结果来设置行的曝光时间的示例，但是本公开不限于该示例，并且可以设置行的模拟增益。
在此处，增加曝光时间将使得可以实现具有高亮度值和降低噪声的成像。另一方面，增加曝光时间可能会增加模糊，尤其是在动态场景中。相反，调整模拟增益不会引起模糊的变化，但增加模拟增益可能会增加噪声。
鉴于这些，优选根据识别处理的目的和成像目标来选择是设置曝光时间还是设置模拟增益。例如，在成像目标是动态场景的情况下，优选地增加模拟增益，以抑制模糊，而在成像目标是静态场景的情况下，优选地增加曝光时间，以捕获具有抑制的噪声的亮图像。
图60是更详细地示出根据第二实施例的第十变形例的识别处理单元12中的处理的示例的示意图。在图60所示的配置中，读出确定器123b被添加到上述图22所示的配置。读出确定器123b接收与由内部状态更新处理1211更新的内部状态相关的特征数据1212的输入。
读出确定器123b中的处理包括下一行确定处理1233、下一曝光确定处理1234和下一AG确定处理1235。下一行确定处理1233、下一曝光确定处理1234和下一AG确定处理1235是分别由使用图53的部分(b)描述的读出区域确定器1230、曝光时间确定器1231和AG量确定器1232执行的处理。
下一行确定处理1233、下一曝光确定处理1234和下一AG确定处理1235均基于预先学习的参数来执行。例如，使用基于假定的读出样式和识别目标的训练数据来执行参数学习。在上述示例中，假定的读出样式的示例可以是交替读出曝光过度的行和曝光不足的行的样式。
注意，在上述图57A和图57B、图58A和图58B以及图59A和图59B中，读出单位被假设为行，但是本公开不限于该示例。即，另一读出单位(例如，多个依次相邻的行)可以应用于第二实施例的第十变形例。
根据上述第二实施例及上述其各个变形例的成像设备1由识别处理单元12针对基于读出单位的每次读出执行识别处理。然而，本公开不限于该示例。例如，允许执行针对每个读出单位的识别处理和正常识别处理，即，对整个帧进行读出，并且允许在针对读出单位的识别处理与基于关于从整个帧读出的像素的像素数据的识别处理之间进行切换。即，基于整个帧的像素执行正常识别处理，使得与针对读出单位的识别处理相比，可以获得具有更高精度的识别结果。
例如，可以以相对于每个读出单位的识别处理具有特定的时间间隔执行正常的识别处理。此外，在紧急情况下，可以在每个读出单位的识别处理中执行正常的识别处理，以便提高识别的稳定性。此外，在针对每个读出单位的识别处理被切换到正常识别处理的情况下，因为正常识别处理比针对每个读出单位的识别处理具有更低的即时性。因此，允许在正常识别处理中将装置操作的时钟切换到更快的时钟。此外，当针对每个读出单位的识别处理的可靠性低时，允许切换到正常识别处理，并且当识别处理的可靠性变高时，允许返回到每个读出单位的识别处理。
[6.第三实施例]
接下来，将描述本公开的第三实施例。第三实施例是在读出帧时自适应地设置参数的示例。帧读出时的参数的示例包括读出单位、基于读出单位在帧中的读出顺序、读出区域、曝光时间和模拟增益。由于参考图21描述的功能可以整体应用于根据第三实施例的成像设备1的功能，所以将省略对整体配置的描述。
图61是示出根据第三实施例的功能的示例的功能框图。由于第三实施例主要描述由识别处理单元12执行的识别处理所以图61的部分(a)中示出的配置省略了在以上图21的配置中示出的视觉识别处理单元14、输出控制器15、触发发生器16和传感器控制器11的读出控制器111的图示。
另一方面，在图61的部分(a)所示的配置中，外部信息获取单元17被添加到图21的配置，并且像素数据从读出单元110被传送到读出确定器123c。此外，读出确定器123c从识别处理执行单元124接收识别信息。
此外，外部信息获取单元17获取在成像设备1外部生成的外部信息，并将获取的外部信息传送给读出确定器123c。
具体地，外部信息获取单元17可以使用发送和接收预定格式的信号的接口。例如，在成像设备1用作车载应用的情况下，车辆信息可用作外部信息。车辆信息例如是从车辆系统获取的信息，例如，转向信息和车速信息。环境信息是指示成像设备1的周围环境的信息，并且包括例如周围环境的亮度。在下文中，除非另外指定，否则将在成像设备1用作车载设备的条件下给出描述，并且外部信息是从安装有成像设备1的车辆获取的车辆信息。
图61的部分(b)是更详细地示出根据第三实施例的读出确定器123c的功能的示例的功能框图。在图61的部分(b)中，读出确定器123c包括读出单位样式选择单元300、读出顺序样式选择单元302和读出确定处理单元304。读出单位样式选择单元300包括读出单位样式DB(数据库)301，其中，预先存储了多个不同的读出样式。此外，读出顺序样式选择单元302包括读出顺序样式DB 303，其中，预先存储了多个不同的读出顺序样式。
基于一条或多条传送的识别信息、像素数据、车辆信息和环境信息，读出确定器123为存储在读出单位样式DB 301中的各个读出单位顺序样式和存储在读出顺序样式DB303中的各个读出单位顺序样式设置优先级。
读出单位样式选择单元300从存储在读出单位样式DB 301中的读出单位样式中选择具有最高优先级的读出单位样式集。读出单位样式选择单元300将从读出单位样式DB301中选择的读出单位样式传送给读出确定处理单元304。类似地，读出顺序样式选择单元302从存储在读出顺序样式DB 303中的读出顺序样式中选择具有最高优先级的读出顺序样式集。读出顺序样式选择单元302将从读出顺序样式DB 303中选择的读出顺序样式传送给读出确定处理单元304。
基于从特征数据存储控制器121传送的读出信息、从读出单位样式选择单元300传送的读出单位样式、以及从读出顺序样式选择单元302传送的读出顺序样式，读出确定处理单元304确定从帧中下一个要读出的读出区域，并将指示所确定的读出区域的读出区域信息传送给读出单元110。此外，基于传送到读出确定器123c的像素数据以及识别信息、车辆信息和环境信息中的一者或多者，读出确定处理单元304生成曝光时间和模拟增益，用于下一次执行从帧的读出，并将生成的信息传送到读出单元110。
(6-0-1.设置读出单位样式和读出顺序样式的方法)
将描述根据具有图61的部分(a)和(b)中示出的配置的第三实施例设置读出单位样式和读出顺序样式的方法的示例。
(6-0-1-1.读出单位样式和读出顺序样式的示例)
在此处，将描述适用于第三实施例的读出单位样式和读出顺序样式的示例。图62是示出适用于第三实施例的读出单位样式的示例的示意图。图62的示例示出了五个读出单位样式410、411、412、413和414。
读出单位样式410对应于上述图24，并且是将行定义为读出单位并且对帧400中的每一行执行读出的读出单位样式。读出单位样式411是对应于上述图33的读出样式，并且其中，预定尺寸的区域被定义为帧400中的读出单位，并且对帧400中的每个区域执行读出。
读出单位样式412是对应于上述图37的读出单位样式，并且其中，包括包含非相邻像素的周期性排列的多个像素的像素组被定义为读出单位，并且对帧400中的多个像素的每一个执行读出。读出单位样式413是对应于上述图42的读出单位样式，并且其中，离散地和非周期性地排列(以随机样式)的多个像素被定义为读出单位，并且在更新帧400中的随机样式的同时执行读出。这些读出单位样式412和413使得可以从帧400中以更高的均匀性采样像素。
此外，读出单位样式414是对应于上述图43的读出单位样式，并且其中，基于识别信息自适应地生成样式。
参考图62描述的每个读出单位样式410至414预先存储在图61的部分(b)中示出的读出单位样式DB 301中。
可用作根据第三实施例的读出单位样式的读出单位不限于图62所示的示例。例如，第二实施例及其变形例中描述的各个读出单位可用作根据第三实施例的读出单位样式。
图63是示出适用于第三实施例的读出顺序样式的示例的示意图。图63的部分(a)示出了读出单位是行的读出顺序样式的示例。部分(b)示出了读出单位是区域的读出顺序样式的示例。部分(c)示出了读出单位是上述像素组的读出顺序样式的示例。
此外，分别在图63的部分(a)、(b)和(c)中左侧的读出顺序样式420a、430a和440a示出了以行或像素的顺序依次执行读出的读出顺序样式的示例。
在此处，部分(a)的读出顺序样式420a是从帧400的上端侧到下端侧按照行的顺序读出的示例。部分(b)和(c)中的读出顺序样式430a和440a是这样的示例，其中，对于行方向上的每个区域或像素，从帧400的左上角依次执行读出，并且在帧400的垂直方向上重复行方向上的读出。这些读出顺序样式420a、430a和440a被称为正向读出顺序样式。
相反，部分(a)的读出顺序样式420b是从帧400的下端侧到上端侧的按照行的顺序读出的示例。部分(b)和(c)中的读出顺序样式430b和440b是这样的示例，其中，对于在行方向上设置的每个区域或像素，从帧400的右下角依次执行读出，并且在帧400的垂直方向上重复行方向上的读出。这些读出顺序样式420b、430b和440b被称为反向读出顺序样式。
此外，部分(a)的读出顺序样式420c是在细化行的同时从帧400的上端侧到下端侧读出的示例。部分(b)和(c)中的读出顺序样式430c和440c是以离散位置和读出顺序对帧400内的区域单独执行读出的示例。在读出顺序样式430c中，例如，在读出单位由四个像素形成的情况下，以图中箭头所示的顺序读出每个像素。在读出顺序样式440c中，如图中的区域442所示，例如，在作为样式的参考的像素以不同于像素位置的行方向或列方向的顺序的顺序移动到离散位置的同时，执行各个像素的读出。
参考图63描述的读出顺序样式420a至420c、读出顺序样式430a至430c和读出顺序样式420a至420c预先存储在图61的部分(b)中示出的读出顺序样式DB 303中。
(6-0-1-2.读出单位样式设置方法的具体示例)
将参考上述图62和图63更详细地描述根据第三实施例的读出单位样式设置方法的示例。
首先，将描述基于图像信息(像素数据)设置读出单位样式的方法。读出确定器123c检测从读出单元110传送的像素数据中包括的噪声。在此处，利用将多个像素排列成一组的配置，与像素被离散地排列为单独的像素的情况相比，抗噪声性更高。鉴于此，在从读出单元110传送的像素数据包含预定水平或更高的噪声的情况下，与其他读出单位样式的优先级相比，读出确定器123c对存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式410或411给予更高的优先级设置。
接下来，将描述基于识别信息设置读出单位样式的方法。第一设置方法是基于从识别处理执行单元124传送的识别信息识别帧400中预定大小或更大的许多对象的示例。在这种情况下，与其他读出单位样式的优先级相比，读出确定器123c对存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式412或413给予更高的优先级设置。这是因为以更高的均匀性对整个帧400进行采样使得可以提高即时性。
第二设置方法是例如在基于像素数据获得的图像中检测到闪烁的示例。在这种情况下，与其他读出单位样式的优先级相比，读出确定器123c对存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式413给予更高的优先级设置。这是因为，在闪烁的情况下，使用随机样式对整个帧400进行采样使得可以抑制由闪烁引起的伪像。
第三设置方法是生成读出单位的配置的情况的示例，其中，基于识别信息自适应地改变配置将使得能够以更高的效率执行识别处理。在这种情况下，与其他读出单位样式的优先级相比，读出确定器123c对存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式414给予更高的优先级设置。
接下来，将描述基于由外部信息获取单元17获取的外部信息来设置读出单位样式的方法。第一设置方法是装备有成像设备1的车辆基于外部信息向左或向右转弯的示例。在这种情况下，与其他读出单位样式的优先级相比，读出确定器123c对于存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式410或411给予更高的优先级。
在此处，第一设置方法采用这样的设置，其中，读出确定器123c针对读出单位样式410将列方向定义为像素阵列单元101中的矩阵(行-列)方向中的读出单位，并且在帧400的行方向上以列的顺序依次执行读出。此外，读出单位样式411的设置将使得在列方向上的区域上执行读出，并且这将在行方向上重复。
在车辆向左转弯的情况下，读出确定器123c朝向读出确定处理单元304执行设置，以从帧400的左端侧开始以列的顺序执行读出或在列方向上依次执行区域的读出。在车辆向右转弯的相反情况下，读出确定器123c朝向读出确定处理单元304执行设置，以从帧400的右端侧开始，以列的顺序执行读出或在列方向上依次执行区域的读出。
注意，在车辆直行行驶的情况下，读出确定器123c可以像平常一样以行的顺序或者在区域的行方向依次执行读出，并且在车辆向左或向右转弯的情况下，读出确定器123c可以例如执行存储在特征数据存储单元122中的特征数据的初始化，以便以如上所述的以列的顺序依次执行的读出或者在列的方向依次执行的区域的读出来重新开始读出处理。
基于外部信息的读出单位样式的第二设置方法是装备有成像设备1的车辆基于外部信息在高速公路上行驶的示例。在这种情况下，与其他读出单位样式的优先级相比，读出确定器123c为存储在读出单位样式DB 301中的读出单位样式410至414中的读出单位样式410或411给予更高的优先级。当在高速公路上行驶时，识别远处的小物体被认为是重要的。鉴于此，从帧400的上端侧依次执行读出将使得可以进一步改善远处的小物体的即时性。
(6-0-1-3.读出顺序样式设置方法的具体示例)
将参考上述图62和图63更详细地描述根据第三实施例的读出顺序样式设置方法的示例。
首先，将描述基于图像信息(像素数据)设置读出顺序样式的方法。读出确定器123c检测从读出单元110传送的像素数据中包括的噪声。在此处，作为识别处理目标的区域中的变化越小，识别处理受噪声的影响就越小，就越有利于识别处理。鉴于此，在从读出单元110传送的像素数据包含预定水平或更高的噪声的情况下，与其他读出顺序样式的优先级相比，读出确定器123c对存储在读出顺序样式DB 303中的读出顺序样式420a至420c、430a至430c和440a至440c中的读出顺序样式420a、430a或440a中的一个给予更高的优先级设置。不限于此，读出顺序样式420b、430b和440b中的任何一个的优先级可以被设置为高于其他读出顺序样式的优先级。
注意，读出顺序样式420a、430a和440a以及读出顺序样式420b、430b和440b中的哪一个应该被设置为更高的优先级可以通过例如读出单位样式选择单元300中的读出单位样式410至414中的哪一个已经被设置为更高的优先级来确定，或者通过帧400的上端侧或下端侧中的哪一个作为读出开始来确定。
接下来，将描述基于识别信息设置读出顺序样式的方法。在基于从识别处理执行单元124传送的识别信息确定在帧400中已经识别出预定大小或更大的许多对象的情况下，与其他读出顺序样式相比，读出确定器123c对存储在读出顺序样式DB 303中的读出顺序样式420a至420c、430a至430c和440a至440c中的读出顺序样式420c、430c和440c中的任一个给予更高的优先级设置。这是因为以更高的均匀性对整个帧400进行采样，而不是依次读出帧400，使得可以提高即时性。
接下来，将描述基于外部信息设置读出顺序样式的方法。第一设置方法是装备有成像设备1的车辆基于外部信息向左或向右转弯的示例。在这种情况下，与其他读出顺序样式的优先级相比，读出确定器123c对存储在读出顺序样式DB 303中的读出顺序样式420a至420c、430a至430c和440a至440c中的读出顺序样式420a、430a或440a中的一个给予更高的优先级。
在此处，第一设置方法假设这样的设置，在该设置中，读出确定器123c针对读出顺序样式420a将列方向定义为像素阵列单元101中的矩阵(行-列)方向中的读出单位，并且在帧400的行方向上以列的顺序依次执行读出。此外，读出顺序样式430a的设置将使得对列方向上的区域执行读出，并且这将在行方向上重复。此外，读出顺序样式440a的设置将使得对列方向上的像素集执行读出，并且这将在行方向上重复。
在车辆向左转弯的情况下，读出确定器123c朝向读出确定处理单元304执行设置，以从帧400的左端侧开始以列的顺序依次执行读出或在列方向上依次执行区域的读出。在车辆向右转弯的相反情况下，读出确定器123c朝向读出确定处理单元304执行设置，以从帧400的右端侧开始以列的顺序依次执行读出或者在列方向上依次执行区域的读出。
注意，在车辆直行行驶的情况下，读出确定器123c可以像平常一样以行的顺序或者在区域的行方向依次执行读出，并且在车辆向左或向右转弯的情况下，读出确定器123c可以例如执行存储在特征数据存储单元122中的特征数据的初始化，以便如上所述以列的顺序依次执行的读出或者在列方向上依次执行区域的读出来重新开始读出处理。
基于外部信息的读出顺序样式的第二设置方法是装备有成像设备1的车辆基于外部信息在高速公路上行驶的示例。在这种情况下，与其他读出顺序样式的优先级相比，读出确定器123c对存储在读出顺序样式DB 303中的读出顺序样式420a至420c、430a至430c和440a至440c中的读出顺序样式420a、430a或440a中的一个给予更高的优先级。当在高速公路上行驶时，识别远处的小物体被认为是重要的。鉴于此，从帧400的上端侧依次执行读出将使得可以进一步提高对远处的小物体的即时性。
在此处，如上所述，当基于多条不同信息(图像信息、识别信息和外部信息)设置读出单位样式或读出顺序样式的优先级时，在不同的读出单位样式之间或不同的读出顺序样式之间可能发生冲突。例如，为了避免这种冲突，可以设想将基于各条信息设置的各个优先级预先安排为不同的级别。
[6-1.第三实施例的第一变形例]
接下来，将描述第三实施例的第一变形例。第三实施例的第一变形例是在执行帧读出的情况下自适应地设置读出区域的示例。
图64是示出根据第三实施例的第一变形例的功能示例的功能框图。由于第三实施例的第一变形例主要描述由识别处理单元12执行的识别处理，所以图64的部分(a)中示出的配置省略了在以上图21的配置中示出的视觉识别处理单元14、输出控制器15、触发发生器16和传感器控制器11的读出控制器111的图示。此外，图64的部分(a)和(b)中示出的读出确定器123d具有与根据图61中示出的第三实施例的读出确定器123c不同的功能。
在图64的部分(b)中，读出确定器123b具有对应于上述图53的部分(b)中所示的读出确定器123b的配置。因此，读出确定器123b包括读出区域确定器1230'、曝光时间确定器1231'和AG量确定器1232'。
从特征数据存储控制器121传送到读出确定器123的读出信息和特征数据被分别输入到读出区域确定器1230'、曝光时间确定器1231'和AG量确定器1232'。此外，从读出单元110传送的像素数据、从识别处理执行单元124传送的识别信息以及从外部信息获取单元17传送的车辆信息和环境信息被分别输入到读出区域确定器1230'、曝光时间确定器1231'和AG量确定器1232'。
读出区域确定器1230'基于至少一条输入信息，即读出信息、特征数据、像素数据、识别信息、车辆信息和环境信息，生成并输出读出区域信息(例如，行号)，读出区域信息指示接下来要读出的读出区域。曝光时间确定器1231'基于至少一条输入信息，即读出信息、特征数据、像素数据、识别信息、车辆信息和环境信息，生成并输出指示下一次成像中的曝光时间的信息。此外，AG量确定器1232'基于至少一条输入信息，即读出信息、特征数据、像素数据、识别信息、车辆信息和环境信息，生成并输出指示下一次成像中的模拟增益的信息。
(读出区域的自适应设置方法)
接下来，将更具体地描述根据第三实施例的第一变形例的读出区域的自适应设置方法。另外，在此处，假设成像设备1用作车载设备。
(基于识别信息设置读出区域的示例)
首先，将描述用于基于识别信息自适应地设置读出区域的第一设置方法。在第一设置方法中，读出确定器123d使用由识别处理执行单元124的识别处理检测的区域或类别自适应地设置帧中的区域，以便限制接下来要读出的读出区域。将参考图65更具体地描述该第一设置方法。
图65是示出第三实施例的第一变形例的第一设置方法的示意图。在图65的部分(a)中，对于帧500a，以行的顺序依次执行行读出并使用行细化，行被定义为读出单位。在图65的部分(a)的示例中，识别处理执行单元124在整个帧500a上基于由行读出器读出的像素数据执行识别处理。结果，识别处理执行单元124已经在帧500a内的区域501中检测到特定对象(在该示例中为人)。识别处理执行单元124将指示识别结果的识别信息传送给读出确定器123d。
读出确定器123的读出区域确定器1230'基于从识别处理执行单元124传送的识别信息确定接下来要读出的读出区域。例如，读出区域确定器1230'将包括识别区域501和识别区域501的外围部分的区域确定为下一个要读出的读出区域。读出区域确定器1230'将指示由区域502定义的读出区域的读出区域信息传送给读出单元110。
根据从读出区域确定器1230'传送的读出区域信息，读出单元110执行帧读出，而例如不细化行，并将读出的像素数据传送到识别处理单元12。图65的部分(b)示出了根据读出区域读出的图像的示例。在该示例中，在作为帧500a的下一帧的帧500b中，例如，已经获取了由读出区域信息指示的区域502的像素数据，而不考虑区域502的外部。在识别处理单元12中，识别处理执行单元124对区域502执行识别处理。通过该处理，在识别区域501中检测到的人被识别为行人。
以这种方式，通过基于由识别处理执行单元124检测的区域来限制接下来要读出的读出区域，可以以更高的速度执行高精度识别处理。
不限于此，在该第一确定方法中，基于关于在帧500a中识别的对象是静止体还是移动体的确定，还可以预测对象500a在下一帧500b中的位置，使得可以基于预测位置来限制接下来要读出的读出区域。此外，此时，在识别的对象是移动体的情况下，进一步预测移动体的速度将使得可以以更高的精度限制接下来要读出的读出区域。
此外，在该第一确定方法中，还可以根据识别的对象的类型来限制接下来要读出的读出区域。例如，在帧500a中识别的对象是交通灯的情况下，读出确定器123d可以将下一帧500b中要读出的读出区域限制到交通灯的灯部分。此外，在帧500a中识别的对象是交通灯的情况下，读出确定器123d可以将帧读出方法改变为有效减少闪烁影响的读出方法，并且可以使用新方法在下一帧500b中执行读出。作为有效减少闪烁影响的读出方法的示例，可以应用根据上述第二实施例的第五变形例的样式Rd#m_x。
接下来，将描述用于基于识别信息自适应地设置读出区域的第二设置方法。在第二设置方法中，读出确定器123d通过在由识别处理执行单元124执行的识别处理的中间使用识别信息来限制接下来要读出的读出区域。将参考图66更具体地描述该第二设置方法。
图66是示出第三实施例的第一变形例的第二设置方法的示意图。在该示例中，假设作为识别目标的对象是车辆的牌照。图66的部分(a)是示出在对应于帧500c的帧读出的识别处理的中间在区域503中识别出指示公共汽车的对象的示例的示图。图66的部分(a)可以用于对应于上述图65的部分(b)中示出的示例，例如，其中，读出区域限于区域502，并且执行读出和识别处理。
在此处，当在识别处理的中间在区域503中识别出对象是公共汽车时，读出区域确定器1230'可以基于在区域503中识别的信息来预测公共汽车的牌照的位置。基于车牌的预测位置，读出区域确定器1230'确定接下来要读出的读出区域，并将指示所确定的读出区域的读出区域信息传送给读出单元110。
根据从读出区域确定器1230'传送的读出区域信息，读出单元110读出例如帧500c的下一帧500d，并将读出的像素数据传送给识别处理单元12。图66的部分(b)示出了根据读出区域读出的图像的示例。在该示例中，在帧500d中，已经获取了包括由读出区域信息指示的预测车牌位置的区域504的像素数据。在识别处理单元12中，识别处理执行单元124对区域504执行识别处理。利用该处理，对作为包括在区域504中的对象的牌照执行识别处理，使得可以获取例如由对区域503的识别处理检测到的公共汽车的车号。
在该第二设置方法中，在对应于由识别处理执行单元124执行的帧500c的读出的整个目标对象的识别处理的中间确定下一帧500d的读出区域，使得可以以更高的速度执行高精度识别处理。
在图66的部分(a)中所示的帧500c的识别处理中，在识别中间由识别处理执行单元124传送的识别信息所指示的可靠性是预定水平或更高的情况下，能够使读出确定器123执行将区域504确定为接下来要读出的读出区域，并执行图66的部分(b)中所示的读出。在这种情况下，在由识别信息指示的可靠性小于预定水平的情况下，将在帧500c中执行整个对象的识别处理。
接下来，将描述用于基于识别信息自适应地设置读出区域的第三设置方法。在第三设置方法中，读出确定器123d通过使用由识别处理执行单元124执行的识别处理的可靠性来限制接下来要读出的读出区域。将参考图67更具体地描述该第三设置方法。
在图67的部分(a)中，将行定义为读出单位，以行的顺序对帧500e依次执行行读出并对帧500e使用行细化。在图67的部分(a)的示例中，识别处理执行单元124基于通过行读出而读出的像素数据对整个帧500a执行识别处理，并且已经在帧500e的区域505a中检测到特定对象(在该示例中是人)。识别处理执行单元124将指示识别结果的识别信息传送给读出确定器123d。
在读出确定器123d中，读出区域确定器1230'生成读出区域信息，该读出区域信息指示当从识别处理执行单元124传送的识别信息所指示的可靠性是预定水平或更高时，例如，将不执行对帧500e的下一帧的读出。读出区域确定器1230'将生成的读出区域信息传送给读出单元110。
相反，读出区域确定器1230'生成读出区域信息，该信息指示当从识别处理执行单元124传送的识别信息所指示的可靠性小于预定水平时，将对帧500e的下一帧执行读出。例如，读出区域确定器1230'生成读出区域信息，该读出区域信息指定对应于在帧500e中检测到特定对象(人)的区域505a的区域，作为读出区域。读出区域确定器1230'将生成的读出区域信息传送给读出单元110。
读出单元110根据从读出区域确定器1230'传送的读出区域信息读出帧500e的下一帧。在此处，读出区域确定器1230'可以向读出区域信息添加指令，以读出帧500e的下一帧中与区域505a相对应的区域，而不执行细化。读出单元110根据读出区域信息读出帧500e的下一帧，并将读出的像素数据传送给识别处理单元12。
图67的部分(b)示出了根据读出区域信息读出的图像的示例。在该示例中，在作为帧500e的下一帧的帧500f中，例如，已经获取了与读出区域信息中示出的区域505a对应的区域505b的像素数据。例如，对于除区域505b之外的帧500f的部分，可以原样使用帧500e的像素数据，而不执行读出。在识别处理单元12中，识别处理执行单元124对区域505b执行识别处理。该处理使得可以以更高的可靠性识别在区域501中检测到的人是行人。
(基于外部信息自适应设置读出区域的示例)
接下来，将描述用于基于外部信息自适应地设置读出区域的第一设置方法。在第一设置方法中，读出确定器123d基于从外部信息获取单元17传送的车辆信息自适应地设置帧中的区域，并且限制接下来读出的读出区域。这使得可以执行适合于车辆行驶的识别处理。
例如，在读出确定器123中，读出区域确定器1230'基于车辆信息获取车辆的倾斜度，并根据获取的倾斜度确定读出区域。作为一个示例，在读出区域确定器1230'基于车辆信息已经获得车辆在台阶等上并且前侧被提升的情况下，读出区域确定器1230'将读出区域校正为指向帧的上端侧。此外，在读出区域确定器1230'已经基于车辆信息获得车辆正在转弯的状态的情况下，读出区域确定器1230'将转弯方向上的未被注意区域(例如，在左转的情况下，左端侧的区域)确定为读出区域。
接下来，将描述用于基于外部信息自适应地设置读出区域的第二设置方法。在第二种设置方法中，可以逐次反映当前位置的地图信息用作外部信息。在这种情况下，在当前位置是需要小心驾驶车辆的区域(例如，在学校或幼儿园周围)的情况下，读出区域确定器1230'生成指示增加帧读出频率的读出区域信息。这使得可以防止儿童跑到路上造成的事故。
接下来，将描述用于基于外部信息自适应地设置读出区域的第三设置方法。在第三设置方法中，由另一传感器获得的检测信息用作外部信息。另一传感器的示例可以是激光成像探测和测距(LiDAR)型传感器。读出区域确定器1230'产生读出区域信息，该信息指示跳过由另一传感器检测的信息的可靠性为预定水平或更高的区域的读出。由此，可以在帧读出和识别处理中实现功率节省和更高的速度。
[6-2.第三实施例的第二变形例]
接下来，将描述第三实施例的第二变形例。第三实施例的第二变形例是在执行帧读出的情况下自适应地设置曝光时间或模拟增益中的至少一个的示例。
(基于图像信息自适应设置曝光时间和模拟增益的示例)
首先，将描述基于图像信息(像素数据)自适应地设置曝光时间和模拟增益的方法。读出确定器123d检测从读出单元110传送的像素数据中包括的噪声。在从读出单元110传送的像素数据包括预定水平或更高的噪声的情况下，曝光时间确定器1231'将曝光时间设置得更长，并且AG量确定器1232'将模拟增益设置得更高。
(基于识别信息自适应设置曝光时间和模拟增益的示例)
接下来，将描述基于识别信息自适应地设置曝光时间和模拟增益的方法。在由从识别处理执行单元124传送的识别信息指示的可靠性小于预定值的情况下，读出确定器123中的曝光时间确定器1231'和AG量确定器1232'分别调整曝光时间和模拟增益。读出单元110例如通过使用调整后的曝光时间和模拟增益来执行下一帧的读出。
(基于外部信息自适应设置曝光时间和模拟增益的示例)
接下来，将描述基于外部信息自适应地设置曝光时间和模拟增益的方法。在此处，车辆信息用作外部信息。
作为第一示例，在读出确定器123中，曝光时间确定器1231'和AG量确定器1232'在从外部信息获取单元17传送的车辆信息指示前灯打开的情况下，为帧的中心部分和外围部分设置不同的模拟增益。即，当车辆前灯打开时，亮度值在帧的中心部分高，在帧的外围部分低。鉴于此，在打开前灯的情况下，对于帧的中心部分，曝光时间确定器1231'设置较短的曝光时间，而AG量确定器1232'设置较高的模拟增益。相反，在打开前灯的情况下，对于帧的外围部分，曝光时间确定器1231'设置较长的曝光时间，而AG量确定器1232'设置较低的模拟增益。
作为第二示例，在读出确定器123中，曝光时间确定器1231'和AG量确定器1232'根据从外部信息获取单元17传送的车辆信息所指示的车速，自适应地设置曝光时间和模拟增益。例如，由于车辆运动，帧的中心部分有少量模糊。因此，对于帧的中心部分，曝光时间确定器1231'设置较长的曝光时间，而AG量确定器1232'设置较低的模拟增益。相反，由于车辆运动，帧的外围部分具有大量模糊。因此，针对帧的外围部分，曝光时间确定器1231'设置较短的曝光时间，而AG量确定器1232'设置较高的模拟增益。
在此处，当车辆的速度已经基于车辆信息被改变为更高的速度时，对于帧的中心部分，曝光时间确定器1231'将曝光时间改变为更短的时间，并且AG量确定器1232'将模拟增益改变为更高增益。
通过以这种方式自适应地设置曝光时间和模拟增益，可以抑制识别处理中成像环境的变化的影响。
[6-3.第三实施例的第三变形例]
接下来，将描述第三实施例的第三变形例。第三实施例的第三变形例是根据预定优先级模式设置读出区域、曝光时间、模拟增益和驱动速度的示例。驱动速度是驱动传感器单元10的速度。例如，通过在传感器单元10允许的范围内增加驱动速度，可以增加帧读出速度。
图68是示出根据第三实施例的第三变形例的成像设备的功能的示例的功能框图。在图68的部分(a)所示的配置中，优先级模式指示单元2020被添加到图64的部分(a)所示的配置。此外，读出确定器123e包括不同于图64所示的读出确定器123d的功能。
图68的部分(b)是更详细地示出根据第三实施例的第三变形例的读出确定器123e的功能的示例的功能框图。在图68的部分(b)中，读出确定器123e包括资源调整单元2000。资源调整单元2000包括读出区域确定器2010、曝光时间确定器2011、AG量确定器2012和驱动速度确定器2013。
从特征数据存储控制器121传送到读出确定器123e的读出信息和特征数据被分别输入到读出区域确定器2010、曝光时间确定器2011、AG量确定器2012和驱动速度确定器2013。另外，从外部信息获取单元17传送的车辆信息和环境信息以及从读出单元110传送的像素数据被分别输入到读出区域确定器2010、曝光时间确定器2011、AG量确定器2012和驱动速度确定器2013。
读出区域确定器2010基于输入的信息产生并输出表示接下来要读出的读出区域的读出区域信息(例如，行号)。曝光时间确定器2011基于输入的信息产生并输出指示下一次成像中的曝光时间的信息。此外，AG量确定器2012基于每条输入信息生成并输出指示下一次成像中的模拟增益的信息。
此外，驱动速度确定器2013基于每条输入信息生成并输出用于调整传感器单元10的驱动速度的驱动速度信息。由驱动速度确定器2013调整驱动速度的方法的示例包括改变传感器单元10的时钟信号的频率的方法。在该方法中，传感器单元10中的功耗将根据驱动速度而变化。此外，驱动速度调整方法的其他示例包括使用传感器单元10的固定功耗量来调整驱动速度的方法。例如，驱动速度确定器2013可以通过改变从传感器单元10读出的像素数据的位深度来调整驱动速度。驱动速度确定器2013将生成的驱动速度信息传送给读出单元110。读出单元110将驱动速度信息包括在成像控制信息中，并将其传送给传感器单元10。
优先级模式指示单元2020输出优先级模式设置信息，用于根据响应于用户操作的指令或来自更高级系统的指令来设置优先级模式。优先级模式设置信息被输入到资源调整单元2000。根据输入的优先级模式设置信息，资源调整单元2000调整由读出区域确定器2010产生的读出区域信息、由曝光时间确定器2011产生的曝光时间、由AG量确定器2012产生的模拟增益以及由驱动速度确定器2013产生的驱动速度信息。
优先级模式指示单元2020能够指示各种优先级模式。可想到的优先级模式的示例包括：优先考虑识别精度的精度优先级模式、优先考虑功耗的省电模式、优先考虑识别结果的及时性的及时性优先级模式、优先考虑宽区域的识别处理的宽区域优先级模式、优先考虑暗环境中成像的识别处理的暗场所模式、优先考虑小对象的识别处理的小对象优先级模式、以及优先考虑快速移动对象的识别处理的高速对象优先级模式。优先级模式指示单元2020可以从这些优先级模式中指示一个优先级模式，或者可以从这些优先级模式中指示多个优先级模式。
(优先级模式下的操作示例)
将描述优先级模式下的操作示例。作为第一示例，将描述资源调整单元2000采用与优先级模式指示单元2020给出指令的优先级模式相对应的设置的示例。例如，第一设置基于成像环境是黑暗环境并且捕获的像素数据包含预定水平或更高的噪声这一假设，曝光时间为10[毫秒]，模拟增益为1倍。此外，第二设置被定义为这样的设置，假设配备有根据第三实施例的第三变形例的成像设备1的车辆以高速(即，以预定速度或更大速度)行驶的情况，即，假设成像设备1以较高速度移动并且捕获的图像包括大量模糊的情况的设置，曝光时间为1[毫秒]，并且模拟增益为10倍。
在这种情况下，在优先级模式指示单元2020已经指示资源调整单元2000执行暗场所优先级模式的情况下，资源调整单元2000采用第一设置。根据采用的第一设置，资源调整单元2000指示曝光时间确定器2011和AG量确定器2012设置曝光时间＝10[毫秒]和模拟增益＝1倍。曝光时间确定器2011和AG量确定器2012将给出指令的曝光时间和模拟增益分别传送给读出单元110。读出单元110设置分别从曝光时间确定器2011和AG量确定器2012传送到传感器单元10的曝光时间和模拟增益。
作为第二示例，将描述资源调整单元2000通过加权来确定优先级模式指示单元2020给出指令的优先级模式所采用的设置的示例。作为示例，以上述第一设置和第二设置为例，资源调整单元2000根据优先级模式指示单元2020给出指令的优先级模式，对第一设置和第二设置中的每一个应用加权。资源调整单元2000根据已经应用了加权的第一设置和第二设置，使用给出指令的优先级模式来确定设置。例如，可以针对优先级模式指示单元2020可以给出指令的每个优先级模式，预先设置并存储设置的目标(曝光时间、模拟增益等)和对应于该目标的加权值。
作为第三示例，以下描述是资源调整单元2000对由优先级模式指示单元2020给出指令的优先级模式所采用的设置的频率应用加权并确定优先级模式的设置的示例。作为示例，可以设想，具有基本上均匀地读出整个帧的执行均匀读出的第三设置以及对帧的外围部分执行密集读出的执行外围读出的第四设置。在此处，第三设置被定义为正常读出设置。此外，第四设置被定义为在识别出可靠性低于预定值的对象的情况下的读出设置。
在这种情况下，例如，当优先级模式指示单元2020指示资源调整单元2000使用宽区域优先级模式时，资源调整单元2000可以将具有第三设置的读出和识别处理的频率设置为高于具有第四设置的读出和识别处理的频率。作为具体示例，资源调整单元2000以帧单元的时间序列执行指定，例如，“第三设置”、“第三设置”、“第四设置”、“第三设置”、“第三设置”、“第四设置”，以此类推，以便将第三设置的操作频率增加到高于第四设置的操作频率。
作为另一示例，当优先级模式指示单元2020指示资源调整单元2000使用准确度优先级模式时，资源调整单元2000可以将具有第四设置的读出和识别处理的频率设置为高于具有第三设置的读出和识别处理的频率。作为具体示例，资源调整单元2000以帧单元的时间序列执行指定，例如，“第四设置”、“第四设置”、“第三设置”、“第四设置”、“第四设置”、“第三设置”，以此类推，以便将第四设置的操作频率增加到高于第三设置的操作频率。
通过以这种方式确定优先级模式下的操作，可以在各种情况下执行适当的帧读出和识别处理。
(驱动速度调整的示例)
驱动速度确定器2013可以基于传送到读出确定器123d的每条信息来调整关于传感器单元10的驱动的驱动速度。例如，例如，当车辆信息指示紧急情况时，驱动速度确定器2013可以增加驱动速度，以便提高识别处理的准确性和响应性。当基于识别信息识别处理的可靠性为预定水平或更低并且需要再次读出帧时，驱动速度确定器2013可以增加驱动速度。此外，当基于车辆信息确定车辆正在转弯并且基于识别信息在帧中出现未注意到的区域时，驱动速度确定器2013可以增加驱动速度，直到未注意到的区域的读出完成。此外，例如，在当前位置是需要车辆基于能够依次反映当前位置的地图信息小心行驶的区域时，驱动速度确定器2013可以增加驱动速度。
另一方面，当优先级模式指示单元2020给出关于省电模式的指令时，除了上述车辆信息指示紧急情况的情况之外，可以抑制驱动速度的增加。类似地，当给出关于省电模式的指令时，读出区域确定器2010可以将帧中预计识别出对象的区域确定为读出区域，并且驱动速度确定器2013可以降低驱动速度。
[7.第四实施例]
接下来，将描述本公开的第四实施例。在上述第一至第三实施例及其变形例中，已经描述了根据本公开的各种形式的识别处理。在此处，例如，使用机器学习的图像识别处理处理的图像通常不适合人类视觉识别。第四实施例使得能够在对已经执行了帧读出的图像执行识别处理的同时，输出具有人类视觉识别可容忍的质量的图像。
图69是示出根据第四实施例的成像设备的功能的示例的功能框图。图69所示的成像设备与上述图21所示的成像设备的不同之处在于，识别处理执行单元124将识别信息提供给视觉识别处理单元14中的读出确定器142a。
图70是示意性示出根据第四实施例的图像处理的示意图。在此处，假设参考图33描述的以预定大小的区域Ar#z作为读出单位，在帧的水平方向上然后在垂直方向上依次读出帧。图70的部分(a)示意性地示出了读出单元110依次读出区域Ar#10、Ar#11、..Ar#15中的每一个的方式。根据本公开的识别处理单元12可以基于以这种顺序读出的区域Ar#10、Ar#11、..Ar#15中的每一个的像素数据，执行识别处理。
在视觉识别处理单元14中，例如，如图70的部分(b)所示，通过以这种顺序读出的区域Ar#10、Ar#11、..Ar#15中的每一个的像素数据依次更新帧图像。这使得可以生成适合视觉识别的图像。
更具体地，视觉识别处理单元14将由读出单元110依次读出的区域Ar#10、Ar#11、..Ar#15中的每一个的像素数据存储到图像数据存储控制器140的图像数据存储单元141。此时，图像数据存储控制器140执行对图像数据存储单元141的存储，同时保持从同一帧读出的区域Ar#10、Ar#11、..Ar#15中的每一个的像素数据在帧内的位置关系。即，图像数据存储控制器140将每条像素数据作为图像数据以像素数据被映射到帧中的每个位置的状态存储在图像数据存储单元141中。
响应于来自图像处理单元143的请求，例如，图像数据存储控制器140从图像数据存储单元141中读出存储在图像数据存储单元141中的同一帧的区域Ar#10、Ar#11、..Ar#15中的每一个的每条像素数据，作为该帧的图像数据。
在此处，在本公开中，在识别处理单元12中，例如，当在帧的读出中间获得期望的识别结果时，可以在该点终止帧的读出(参考第二实施例、图26、图27等)。此外，在识别处理单元12中，当在读出帧的中间获得预定的识别结果时，帧读出位置可以跳转到基于识别结果预测将获得期望的识别结果的位置(参考第二实施例的第十变形例、图55、图56等)。在这些情况下，帧读出随着识别处理的终止而结束，因此，有可能在帧图像中出现图像的缺失部分。
因此，在第四实施例中，在识别处理单元12的识别处理终止的点处，在帧中存在未被读出的未处理区域的情况下，视觉识别处理单元14将在识别处理终止之后执行未处理区域的读出，以便填充帧图像的缺失部分。
图71是示出根据第四实施例的读出处理的示例的示图。将参考上述图55的示例描述根据第四实施例的读出处理。图71的步骤S20对应于图55的步骤S4c的处理。即，参考图55，在步骤S1，成像设备1开始对作为识别目标的目标图像(手写数字“8”)进行成像。在步骤S2，传感器控制器11根据从识别处理单元12传送的读出区域信息，从上端侧到下端侧以行的顺序依次读出帧。当行被读出到某个位置时，识别处理单元12从读出的行的图像中识别出数字“8”或“9”(步骤S3)。
注意，在步骤S2中由读出单元110读出的像素数据被传送到识别处理单元12以及视觉识别处理单元14。在视觉识别处理单元14中，图像数据存储控制器140将从读出单元110传送的像素数据依次存储在图像数据存储单元141中。
基于直到步骤S3的识别处理的结果，识别处理单元12的读出确定器123f生成指定预测行的读出区域信息，从该预测行可以预测在步骤S3中识别的对象是数字“8”或“9”中的哪一个，并将生成的信息传送到读出单元110。读出单元110将根据读出区域信息读出的预测行传送到识别处理单元12，并且还传送到视觉识别处理单元14。在视觉识别处理单元14中，图像数据存储控制器140将从读出单元110传送的预测行的像素数据存储在图像数据存储单元141中。
识别处理单元12基于从读出单元110传送的预测行的像素数据执行识别处理(步骤S20)。当在步骤S20中识别出对象时，识别处理单元12输出识别结果(步骤S21)。
当在步骤S21中已经输出识别结果时，识别处理单元12中的识别处理执行单元124将指示识别处理终止的识别信息传送给视觉识别处理单元14。视觉识别处理单元14根据从识别处理执行单元124传送的识别信息，在步骤S20的点读出未处理区域(步骤S22)。
更具体地，被传送到视觉识别处理单元14的指示识别处理终止的识别信息将被传送到读出确定器142a。读出确定器142a根据传送的识别信息设置用于读出未处理区域的读出区域。读出确定器142a将指示设置的读出区域的读出区域信息传送给读出单元110。读出单元110根据传送的读出区域信息读出帧中的未处理区域，并将读出的像素数据传送给视觉识别处理单元14。在视觉识别处理单元14中，图像数据存储控制器140将从读出单元110传送的未处理区域的像素数据存储在图像数据存储单元141中。
整个帧的读出随着读出单元110对帧的未处理区域的读出的完成而完成。图像数据存储单元141存储为识别处理读出的像素数据和在识别处理完成后从未处理区域读出的像素数据。因此，例如，图像数据存储控制器140可以通过从图像数据存储单元141读出同一帧的像素数据来输出整个帧图像的图像数据(步骤S23)。
注意，在一个帧周期内执行参考图71描述的步骤S1至S23的一系列处理将是优选的，因为这使得视觉识别处理单元14能够以成像时间输出基本实时的运动图像。
直到步骤S20的识别处理的读出和步骤S22的视觉识别处理的读出以不同于以帧的行的顺序依次执行的读出的顺序执行。因此，例如，当传感器单元10的成像方法是滚动快门方法时，由于读出顺序和划分读出顺序的每个行组中的时间之间的不一致，出现偏差(称为时间偏差)。例如，可以通过基于每个行组的行号和帧周期的图像处理来校正该时间偏差。
此外，当成像设备1相对于被摄体移动时，这种时间偏差变得更加显著。在这种情况下，例如，通过给成像设备1提供能够检测三个方向上的角速度的陀螺仪，可以基于陀螺仪的检测输出获得成像设备1的移动方法和速度，使得可以通过使用获得的移动方向和速度来校正时间偏差。
图72是示出根据第四实施例的处理的示例的流程图。在图72的流程图中，步骤S200至S206的处理等同于上述图54的流程图中的步骤S100至S1080的处理。
即，在步骤S200中，读出单元110从由目标帧的读出行指示的行执行行数据的读出。读出单元110将基于已经读出的行的每条像素数据的行数据传送到识别处理单元12和视觉识别处理单元14。
当步骤S200的处理完成时，处理进行到步骤S201和步骤S211。步骤S201至S208的处理是识别处理单元12中的处理。相反，步骤S211至S214的处理是视觉识别处理单元14中的处理。识别处理单元12中的处理和视觉识别处理单元14中的处理可以并行执行。
首先，将描述识别处理单元12从步骤S201开始的处理。在步骤S201中，识别处理单元12确定目标帧的识别处理是否已经完成。当确定处理完成时(步骤S201，“是”)，识别处理单元12将不执行步骤S202或后续步骤中的处理。相反，当确定未完成时(步骤S201，“否”)，识别处理单元12进行到步骤S202的处理。
步骤S202至S208的处理等同于图54的步骤S101至S1080的处理。即，在步骤S202中，识别处理单元12中的特征数据计算单元120基于从读出单元110传送的行数据来计算行的特征数据。在下一步骤S203中，特征数据计算单元120从特征数据存储控制器121获取存储在特征数据存储单元122中的特征数据。在接下来的步骤S204中，特征数据计算单元120对在步骤S202中计算的特征数据和在步骤S203中从特征数据存储控制器121获取的特征数据进行整合，并将整合的数据传送给特征数据存储控制器121。
在下一步骤S205中，特征数据存储控制器121将整合的特征数据存储在特征数据存储单元122中。在下一步骤S206中，识别处理执行单元124使用整合的特征数据执行识别处理。在下一步骤S207中，识别处理执行单元124输出步骤S206的识别处理的识别结果。在此处，识别处理执行单元124将包括识别结果的识别信息传送给视觉识别处理单元14的读出确定器142a。
在下一步骤S208中，读出确定器123f中的读出区域确定器1230通过使用从特征数据存储控制器121传送的读出信息和通过将在步骤S202中计算的特征数据与在步骤S203中从特征数据存储控制器121获取的特征数据整合而获得的特征数据，来确定将在其上执行下一次读出的读出行。读出确定器123f将指示所确定的读出行的信息(读出区域信息)传送给传感器控制器11的读出控制器111。在步骤S208的处理完成之后，处理进行到步骤S220。
接下来，将描述从步骤S211开始由视觉识别处理单元14执行的处理。在步骤S211中，视觉识别处理单元14中的图像数据存储控制器140将从读出单元110传送的行数据存储在图像数据存储单元141中。在下一步骤S212中，例如，视觉识别处理单元14中的图像处理单元143对由存储在图像数据存储单元141中的行数据形成的图像数据执行用于视觉识别的图像处理。在下一步骤S213中，图像处理单元143输出已经经过用于视觉识别的图像处理的图像数据。
不限于此，在步骤S213中，图像处理单元143可以将经过用于视觉识别的图像处理的图像数据再次存储在图像数据存储单元141中。此外，在整个目标帧的图像数据存储在图像数据存储单元141中的情况下，图像处理单元143可以对图像数据执行步骤S212的图像处理。
在下一步骤S214中，视觉识别处理单元14中的读出确定器142a基于指示在步骤S200中读出的行数据的行信息和在步骤S207中从识别处理执行单元124传送的识别信息来确定接下来要读出的读出行。读出确定器142a将指示所确定的读出行的信息(读出区域信息)传送给读出控制器111。当步骤S214的处理完成时，处理进行到步骤S220。
在步骤S220中，读出控制器111将指示在步骤S208中从识别处理单元12传送的读出行或在步骤S214中从视觉识别处理单元14传送的读出行中的任何读出行的读出区域信息传送给读出单元110。在此处，在识别处理单元12中已经执行了识别处理的情况下(步骤S201，“否”)，在步骤S208中从识别处理单元12传送的读出行和在步骤S214中从视觉识别处理单元14传送的读出行之间匹配。因此，读出控制器111可以将指示从识别处理单元12传送的读出行或者从视觉识别处理单元14传送的读出行的读出区域信息传送给读出单元110。相反，在识别处理单元12中没有执行识别处理的情况下(步骤S201，“是”)，读出控制器111将从视觉识别处理单元14传送的读出区域信息传送给读出单元110。
以这种方式，在第四实施例中，在识别处理完成之后，帧的未处理区域被读出。因此，即使在识别处理的中间终止识别处理或者在识别处理中跳跃读出位置的情况下，也可以获取整个帧的图像。
尽管以上描述是视觉识别处理单元14通过由帧读出而读出的像素数据依次更新帧的图像的示例，但是本公开不限于该示例。例如，视觉识别处理单元14可以将通过帧读出而读出的像素数据存储在图像数据存储单元141中，并且例如，当同一帧的存储像素数据的量超过阈值时，可以从图像数据存储单元141中共同读出同一帧的像素数据。此外，例如，在通过行细化来执行帧读出的情况下，可以通过周围的像素数据来插值细化的部分。
(图像数据输出的触发示例)
在以帧为单位执行图像数据输出的情况下，在对应于帧的图像数据已经存储在图像数据存储单元141中之后，视觉识别处理单元14输出图像数据。相反，例如，在不以帧为单位执行图像数据输出的情况下，视觉识别处理单元14可以依次输出从读出单元110传送的行数据。
(图像数据存储控制)
接下来，将描述可以应用于第四实施例的关于图像数据存储单元141的控制的示例。作为关于图像数据存储单元141的控制的第一示例，在存储在图像数据存储单元141中的图像数据不足的情况下，图像数据存储控制器140存储从读出单元110传送到图像数据存储单元141的行数据。
作为示例，在对应于由图像处理单元143执行的图像处理的单位的图像数据没有存储在图像数据存储单元141中的情况下，从读出单元110传送的行数据存储在图像数据存储单元141中。作为更具体的示例，可以设想，当图像处理单元143逐帧地执行图像处理时，并且当存储在图像数据存储单元141中的目标帧的图像数据少于一帧时，从读出单元110传送的像素数据存储在图像数据存储单元141中。
作为关于图像数据存储单元141的控制的第二示例，当成像目标中的场景发生变化时，存储在图像数据存储单元141中的图像数据被丢弃。例如，由于成像目标中的亮度、移动、画面配置等的突然变化，而发生成像目标中的场景变化。在成像设备1用作车载设备的情况下，当车辆进入隧道等或离开隧道而使得成像目标的亮度突然变化时，场景可能会发生变化。此外，在车辆突然减速停止的情况下，或者在车辆急转弯的情况下，成像目标的运动突然改变，导致场景的变化。此外，当车辆从拥挤的地方突然驶出到开阔的地方时，图像目标的画面配置突然改变，导致场景的变化。成像目标中场景的这些变化可以基于从读出单元110传送的像素数据来确定。不限于此，还可以基于从识别处理执行单元124传送到视觉识别处理单元14的识别信息来确定成像目标中的场景变化。
作为图像数据存储单元141的控制的第三示例，从读出单元110传送的行数据将不存储在图像数据存储单元141中。将参考图73描述关于根据第四实施例的图像数据存储单元141的控制的第三示例。在图73中，步骤S30示出了这样一种状态，在该状态中，在包括已经识别出人的区域511的帧510中，已经读出包括在帧510中的所有像素数据。
在下一步骤S31中，识别处理单元12在从步骤S30经过一定时间段之后由读出单元110读出该帧，并且确定在步骤S30中识别的区域511中的识别结果是否有变化。在该示例中，识别处理单元12通过对已经识别出人的区域511的一部分(在该示例中为行L#tgt)执行识别处理来做出确定。例如，当在步骤S31中已经执行识别处理的部分的识别分数相对于步骤S30的状态的变化量是阈值或更小时，识别处理单元12可以确定识别结果没有变化。在识别处理单元12已经确定识别结果没有变化的情况下，识别处理单元12将不在图像数据存储单元141中存储在步骤S31中读出的行数据。
例如，当仅识别出包括在区域511中的人的头发的摆动并且人没有位置变化时，识别分数可以低于阈值，并且识别结果可以是没有变化。在这种情况下，从可视性的观点来看，可以保持图像数据的一致性，而无需存储在步骤S31中读出的像素数据。以这种方式，通过在即使图像有变化但识别结果没有变化时禁止读出的像素数据的存储，也可以节省图像数据存储单元141的容量。
[7-1.第四实施例的第一变形例]
接下来，将描述第四实施例的第一变形例。第四实施例的第一变形例是掩蔽识别或预测在输出通过帧的读出获得的图像时识别特定对象的区域的示例。
将参考图74描述第四实施例的第一变形例。在图74中，在识别处理单元12已经在步骤S41中读出从帧520的上端到行L#m的位置的行数据的点处，识别处理单元12已经识别出区域521a中的特定对象(在该示例中是人)的一部分。视觉识别处理单元14基于直到行L#m的行数据输出图像。或者，视觉识别处理单元14将直到行L#m的行数据存储在图像数据存储单元141中。
在此处，在识别处理单元12已经识别出特定对象的一部分的点处，识别处理单元12可以预测整个特定对象(在步骤S42中被示为区域521b)。识别处理单元12将包括关于识别和预测出特定对象的区域521b的信息的识别信息传送给视觉识别处理单元14。另外，识别处理单元12在识别出特定对象的行L#m的位置处终止识别处理。
即使在行L#m之后，视觉识别处理单元14也继续从帧520读出行数据，基于读取的行数据输出图像，或者将读取的行数据存储在图像数据存储单元141中。此时，视觉识别处理单元14掩蔽被预测为包括特定对象的区域521b中的行L#m之后读出的部分(步骤S42)。例如，在视觉识别处理单元14中，图像处理单元143输出具有应用于该区域521b的一部分的掩模的图像。不限于此，图像处理单元143可以在图像数据存储单元141中存储具有应用于区域521b的一部分的掩模的帧图像。或者，视觉识别处理单元14可以抑制区域521b中的行L#m之后的像素数据的读出。
此外，视觉识别处理单元14可以掩蔽被预测为包括特定对象的所有区域521b，如步骤S43所示。在这种情况下，例如，要掩蔽的目标是要由视觉识别处理单元14输出的像素数据，并且不掩蔽识别处理单元12用于识别处理的像素数据。
以上是识别出特定对象的区域521b被掩蔽并且例如输出帧520内的其他部分的图像的示例。本公开不限于该示例，并且例如允许具有在输出区域521b内的图像的同时掩蔽除区域521b之外的部分的方法。
通过以这种方式掩蔽在用于视觉识别的图像中识别出特定对象的区域521b，可以保护隐私。例如，在根据第四实施例的第一变形例的成像设备1被应用于道路监视摄像机、行车记录器、无人驾驶飞机上的装置等的情况下，可以从捕获的图像数据(例如，相同的图像数据)中单独擦除个人信息，以使图像成为易于处理的格式。在这种应用中被掩蔽的特定对象的示例包括人、脸、车辆、车辆号码等。
[7-2.第四实施例的第二变形例]
接下来，将描述第四实施例的第二变形例。第四实施例的第二变形例是使用通过另一种方法执行物体检测等的传感器的输出和成像设备1的图像输出的整合显示的情况的示例，并且其中，以更高的优先级读出帧中适合于显示的区域。
将参考图75描述第四实施例的第二变形例。在此处，LiDAR型传感器(以下称为LiDAR传感器)用作另一种类型的传感器。不限于此，雷达等可以用作另一种类型的传感器。尽管未示出，但是假设根据第四实施例的第二变形例的成像设备1将来自另一类型的传感器的检测结果输入到读出确定器142a，而不是将来自识别处理执行单元124的识别信息输入。
在图75中，部分(a)示出了由LiDAR传感器获取的图像530的示例。在该部分(a)中，假设区域531是在距离LiDAR传感器的预定距离范围(例如，10[m]到几十[m])内获取的图像。
在图75中，部分(b)示出了由根据第四实施例的第二变形例的成像设备1拍摄的帧540的示例。在该帧540中，阴影区域541对应于部分(a)中的区域531，并且包括诸如存在于距成像设备1预定距离内的对象。相反，区域542是在离成像设备1的预定距离之外拍摄图像的区域，并且包括天空或远处的风景等。
在图75的部分(a)中，对应于距LiDAR传感器和成像设备1的预定距离范围的区域531被认为是对象密集且适于显示的区域。相反，除了区域531之外的部分被认为是对象稀疏并且几乎不需要执行密集显示的区域。因此，在视觉识别处理单元14中，读出确定器142a对区域541和542中与具有更高优先级的区域531相对应的区域541执行帧540的读出。例如，读出确定器142a以高分辨率执行区域541的读出，而不细化。相反，读出确定器142a以例如进行细化的低分辨率读出区域542，或者根本不执行读出。
以这种方式，根据第四实施例的第二变形例的成像设备1可以根据由另一种方法的传感器获得的检测结果来设置帧读出分辨率，从而可以优化帧540的读出。
[7-3.第四实施例的第三变形例]
接下来，将描述第四实施例的第三变形例。第四实施例的第三变形例是识别处理单元12和视觉识别处理单元14自适应地读出帧的示例。在第四实施例的第三变形例的第一示例中，以更高的优先级执行识别出特定对象的区域的读出，然后将执行未处理区域的读出。此时，未处理区域的读出是通过低分辨率读出方法来执行的，例如，细化的读出。
将参考图76描述第四实施例的第三变形例中的第一示例。在图76中，在步骤S50中，在从帧540的上端执行行数据的读出到达行L#m的位置的点处，识别处理单元12已经识别出区域541中的特定对象(在该示例中为人)。视觉识别处理单元14基于直到行L#m的行数据输出图像。或者，视觉识别处理单元14将直到行L#m的行数据存储在图像数据存储单元141中。
在图76的步骤S50中，类似于上述图74的步骤S40，在识别处理单元12已经识别出特定对象的一部分(直到行L#m的区域)的点处，识别处理单元12已经预测出特定对象的整个区域541。
在接下来的步骤S51中，识别处理单元12以更高的优先级执行帧540的行L#m以下的部分中步骤S50中识别的区域541的读出。识别处理单元12可以基于从区域541读出的像素数据执行更详细的识别处理。在识别出区域541中的特定对象之后，识别处理单元12终止识别处理。此外，视觉识别处理单元14基于区域541的像素数据输出图像。或者，视觉识别处理单元14将区域541的像素数据存储在图像数据存储单元141中。
在下一步骤S52中，视觉识别处理单元14读出帧540的行L#m之后的区域。此时，视觉识别处理单元14可以以比在行L#m之前的读出更低的分辨率读出行L#m之后的区域。在图76的示例中，视觉识别处理单元14通过使用细化的读出来读出行L#m及其后续部分。例如，视觉识别处理单元14可以对除了区域541的部分之外的部分执行该读出。
视觉识别处理单元14基于通过细化读出而读出的帧540的行L#m之后的行数据，而输出图像。在这种情况下，在视觉识别处理单元14中，图像处理单元143可以输出细化行被其他行插值的行数据。或者，视觉识别处理单元14将行L#m之后的行数据存储在图像数据存储单元141中。
以这种方式，在第四实施例的第三变形例的第一示例中，在识别处理单元12已经识别出特定对象之后，由视觉识别处理单元14以低分辨率读出未处理区域。因此，可以对特定对象执行更高精度的识别处理，同时能够以更高的速度输出整个帧图像。
接下来，将描述第四实施例的第三变形例的第二示例。在该第二示例中，读出条件在识别处理和视觉识别处理之间变化。作为示例，曝光时间或模拟增益中的至少一个被设置为在识别处理和视觉过程之间具有差异。作为具体示例，识别处理单元12通过以最大模拟增益成像来执行帧读出。相反，视觉识别处理单元14通过以适当设置的曝光时间成像来执行帧读出。
此时，可以针对每个帧交替执行识别处理单元12的帧读出和视觉识别处理单元14的帧读出。不限于此，可以针对每个读出单位(例如，行)交替执行识别处理单元12的帧读出和视觉识别处理单元14的帧读出。这使得可以在适当的条件下分别执行识别处理和视觉识别处理。
[8.第五实施例]
接下来，作为五个实施例，将描述根据第一至第四实施例的成像设备1的应用示例和根据本公开的各个变形例。图77是示出使用根据上述第一至第四实施例和各个变形例的成像设备1的示例的示图。
上述成像设备1适用于对包括可见光、红外光、紫外光和X光的光进行感测的以下各种情况。
-捕获用于娱乐观看的图像的装置，例如，数码相机和具有相机功能的移动装置。
-用于运输的装置，例如，对车辆的前部、后部、周围环境、内部等进行成像，以确保包括自动停止等的安全驾驶并识别驾驶员的状态的车载传感器；监视行驶车辆和道路的监控摄像头；以及执行车辆之间距离测量的测距传感器等。
-用于家用电器的装置，包括电视、冰箱、空调等，以对用户的手势进行成像，并根据手势执行设备的操作。
-用于医疗和保健的装置，例如，内窥镜和通过接收红外光进行血管造影术的装置。
-用于安全的装置，例如，用于预防犯罪的监控摄像头和用于个人身份验证的摄像头。
-用于美容的装置，例如，对皮肤成像的皮肤测量装置和对头皮成像的显微镜。
-用于运动的装置，例如，用于运动应用的动作相机和可佩戴相机。
-用于农业的装置，例如，监控田地和作物状况的相机。
[根据本公开的技术的其他应用示例]
根据本公开的技术(本技术)适用于各种产品。例如，根据本公开的技术可以应用于安装在各种移动对象上的装置，例如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人。
图78是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图78所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及整合控制单元12050。此外，微型计算机12051、声音图像输出单元12052、车载网络接口(I/F)12053作为整合控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传送至车轮的驱动力传送机构，用于调整车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像单元12031。车外信息检测单元12030使成像单元12031拍摄车辆外部的图像，并且接收所拍摄的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号或字符等)的处理，或者执行检测到对象的距离的处理。
成像单元12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像单元12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像单元12031接收的光可以是可见光，或者可以是诸如红外等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如可以包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且可以向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、巡航控制、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音图像输出单元12052将声音和图像中的至少一者的形式的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图78的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图79是示出成像单元12031的安装位置的实例的示图。在图79中，车辆12100具有成像单元12101、12102、12103、12104和12105作为成像单元12031。
例如，成像单元12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像单元12101以及布置在车辆内部的挡风玻璃的上部的成像单元12105主要获得车辆12100的前方的图像。布置在侧视镜的成像单元12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像单元12104主要获得车辆12100的后方的图像。由成像单元12101和12105获取的前视野图像主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
注意，图79示出成像单元12101～12104的成像范围的实例。成像范围12111表示布置在前鼻的成像单元12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像单元12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像单元12104的成像范围。例如，通过叠加由成像单元12101～12104拍摄的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像单元12101～12104中的至少一个可具有获得距离信息的功能。例如，成像单元12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像单元12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取在与车辆12100基本相同的方向上以预定速度(例如，等于或大于0公里/小时)行驶的三维对象，该三维对象是存在于车辆12100的行驶路径上的最近三维对象而作为前方车辆。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且可以执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，基于从成像单元12101～12104获得的距离信息，微型计算机12051能够将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人以及诸如电线杆的其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值而存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像单元12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像单元12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像单元12101～12104的拍摄图像中的特征点的程序，以及通过对表示对象轮廓的一系列特征点执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像单元12101～12104的拍摄图像中存在行人并且因此识别到行人时，声音图像输出单元12052促使显示部12062执行在所识别的行人叠加用于强调所识别的行人的方形轮廓线的显示。声音图像输出单元12052还可使显示部12062在期望的位置处显示表示行人的图标等。
在上文中，已经描述了根据本公开的技术适用的车辆控制系统的示例。例如，在上述配置中，根据本公开的技术适用于成像单元12031。通过将根据本公开的成像设备1应用于成像单元12031，可以以更高的速度执行行人、障碍物等的识别，并且可以节省功率。
本说明书中描述的效果仅仅是示例，因此，可能存在其他效果，不限于示例的效果。
注意，本技术也可以具有以下配置。
(1)一种成像设备，包括：
成像单元，其具有其中布置有多个像素的像素区域；
读出控制器，其控制从包括在像素区域中的像素读出像素信号；
读出单位控制器，其控制读出单位，所述读出单位被设置为像素区域的一部分并且读出控制器对该读出单位执行读出；以及
识别单元，其已经学习了每个读出单位的训练数据，
其中，所述识别单元对每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(2)根据(1)所述的成像设备，
其中，所述识别单元对由同一帧图像中的多个读出单位形成的像素数据执行使用递归神经网络(RNN)的机器学习处理，并且基于对像素数据的机器学习处理的结果执行识别处理。
这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(3)根据(1)或(2)所述的成像设备，
其中，在满足预定条件的识别结果已经由识别单元输出的情况下，所述读出单位控制器指示读出控制器终止读出。
这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(4)根据(1)至(3)中任一项所述的成像设备，
其中，在识别单元已经获取满足预定条件的识别结果的候选的情况下，所述读出单位控制器指示读出控制器在预计获取满足预定条件的识别结果的位置处执行读出单位的读出。
这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(5)根据(1)至(4)中任一项所述的成像设备，
其中，在读出单位控制器已经指示读出控制器以读出像素信号的读出单位对包括在像素区域中的像素执行细化的情况下，并且在已经输出候选的情况下，所述读出单位控制器指示读出控制器执行已经执行细化的读出单位中的预计满足预定条件的读出单位的读出。
这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(6)根据(1)至(5)中任一项所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器基于所述识别结果，控制包括在像素区域中的像素的曝光或者从包括在像素区域中的像素读出的像素信号的增益中的至少一个。
这使得可以在一帧中的识别处理中分别识别亮物体和暗物体。
(7)根据(1)至(6)中任一项所述的成像设备，
其中，所述读出单位控制器根据基于像素信号的像素信息、由识别处理生成的识别信息或从外部获取的外部信息中的至少一者来控制读出单位。
这使得可以以更高的速度执行高精度识别处理。
(8)根据(1)至(7)中任一项所述的成像设备，
其中，所述读出单位控制器将由排列在所述布置的一行中的多个像素形成的行设置为读出单位。
这使得在行读出的中间已经获得有效识别结果的情况下，能够终止帧的行读出和识别处理，使得可以节省识别处理中的功率并缩短识别处理所需的时间。
(9)根据(1)至(7)中任一项所述的成像设备，
其中，所述读出单位控制器将由包括彼此不相邻的像素的多个像素形成的样式设置为读出单位。
这使得可以在已经获得预定识别结果的点处终止识别处理，导致识别处理中的处理量减少和节省功率。
(10)根据(9)所述的成像设备，
其中，所述读出单位控制器根据预定规则排列多个像素，以形成样式。
这使得可以在已经获得预定识别结果的点处终止识别处理，导致识别处理中的处理量减少和节省功率。
(11)根据(1)至(10)中任一项所述的成像设备，
其中，所述读出单位控制器根据基于像素信号的像素信息、由识别处理生成的识别信息或从外部获取的外部信息中的至少一个，为多个读出单位中的每一个设置优先级。
这使得可以提高识别结果的即时性。
(12)根据(1)至(11)中任一项所述的成像设备，
其中，所述读出单位控制器基于在识别处理中获取的识别信息获取由识别结果指示的像素区域内的区域，并且基于获取的区域控制读出单位，以确定识别单元接下来执行识别处理的区域。
这使得可以缩短识别处理和节省功率。
(13)根据(1)至(12)中任一项所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器是否允许所述识别单元执行像素信号的读出，以根据基于由所述识别处理获取的识别信息而获取的区域的识别结果的可靠性，进一步对所述区域执行识别处理。
这使得可以以更高的可靠性识别该识别目标。
(14)根据(1)至(13)中任一项所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器根据基于所述像素信号的像素信息、由所述识别处理生成的识别信息或从外部获取的外部信息中的至少一个，来控制包括在所述像素区域中的像素的曝光或从包括在所述像素区域中的像素读出的像素信号的增益中的至少一个，以便从包括在所述像素区域中的像素单独执行像素信号的读出。
通过自适应地设置曝光时间和模拟增益，可以抑制认证过程中成像环境变化的影响。
(15)根据(1)至(14)中任一项所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器根据从外部给出指令的操作模式来控制读出单位、包括在像素区域中的像素的曝光、或者从包括在像素区域中的像素读出的像素信号的增益中的至少一个，以便从包括在像素区域中的像素单独执行像素信号的读出。
这使得可以在各种情况下执行适当的帧读出和识别处理。
(16)根据(1)至(15)中任一项所述的成像设备，
其中，所述成像单元、所述读出控制器、所述读出单位控制器和所述识别单元整体形成。
这使得可以通过芯片的内部接口在识别处理单元和传感器控制器之间执行高速通信。
(17)根据(1)至(15)中任一项所述的成像设备，
其中，所述成像单元、所述读出控制器和所述读出单位控制器设置为整体形成的结构，并且所述识别单元位于整体形成的结构的外部。
这便于替换识别处理单元，使得可以实现各种识别处理。
(18)根据(6)所述的成像设备，
其中，所述像素在像素区域中排列成矩阵，并且
所述读出单位控制器指示读出控制器以所述排列的行或列中的一者为单位来控制包括在像素区域中的像素的曝光或增益中的至少一个。
这使得可以设置适于执行识别处理的曝光时间。
(19)根据(6)所述的成像设备，
其中，所述像素在像素区域中排列成矩阵，并且
所述读出单位控制器指示读出控制器以排列的行或列两者为单位来控制包括在像素区域中的像素的曝光或增益中的至少一个。
这使得可以在一帧图像中的识别处理中分别识别亮物体和暗物体。
(20)根据(8)所述的成像设备，
其中，所述读出单位控制器指示读出控制器从像素区域中假定的下端依次读出该行。
这使得可以更早地识别出存在于前侧的物体。
(21)根据(8)或(20)所述的成像设备，
其中，所述读出单位控制器将包括在像素区域中的行中的彼此依次相邻的多行设置为读出单位。
这使得可以以更高的速度读出一帧的像素数据，并且可以在一个识别处理中使用大量的像素数据，从而提高识别响应速度。
(22)根据(8)或(20)所述的成像设备，
其中，所述读出单位控制器将像素区域中包括的行中彼此不相邻的多行设置为读出单位。
这使得可以在识别处理中实现更高的速度。
(23)根据(8)、(20)或(22)所述的成像设备，
其中，所述读出单位控制器将行的一部分设置为读出单位。
这使得可以在识别处理中实现更窄频带的像素数据传输、节省功率和更高的速度。
(24)根据(1)至(6)中任一项所述的成像设备，
其中，所述像素在像素区域中排列成矩阵，并且
所述读出单位控制器设置以排列的列方向排列的多个像素，作为读出单位。
这使得可以更早地识别在帧的左端和右端存在的对象。
(25)根据(1)至(6)中任一项所述的成像设备，
其中，所述读出单位控制器将包括彼此相邻的多个像素的区域设置为读出单位。
这使得可以抑制冗余读出，节省识别处理中的功率，并缩短识别处理所需的时间。
(26)根据(10)所述的成像设备，
其中，所述读出单位控制器从包括在像素区域中的像素中非周期地选择多个像素，来形成样式。
这使得可以减少采样伪像。
(27)根据(10)所述的成像设备，
其中，根据基于由识别单元执行的第一样式的识别结果，所述读出单位控制器将不同于第一样式的第二样式设置为读出单位。
这使得识别处理具有更高的精度，并且使得可以实现识别处理中处理量的减少、节省功率和更高的帧速率。
(28)根据(1)至(25)中任一项所述的成像设备，
其中，所述读出单位控制器指示读出控制器依次读出彼此不相邻的读出单位。
这使得能够减少在获取帧的下部中的像素数据之前的延迟，并且使得可以提高对于帧中具有大尺寸的对象的识别响应速度，并且可以实现更高的帧速率。
(29)根据(11)所述的成像设备，
其中，在基于像素信息确定像素信号包括预定水平或更高的噪声的情况下，所述读出单位控制器将由彼此相邻的像素形成的读出单位的优先级设置为高于包括彼此不相邻的像素的读出单位的优先级。
这使得可以以更高的精度执行识别处理。
(30)根据(11)或(29)所述的成像设备，
其中，在基于识别信息识别出具有预定尺寸或更大尺寸的对象的情况下，所述读出单位控制器将包括非相邻像素的读出单位的优先级设置为高于由彼此相邻的像素形成的读出单位的优先级。
这使得可以进一步提高识别处理的结果的即时性。
(31)根据(11)、(29)或(30)所述的成像设备，
其中，所述像素在像素区域中排列成矩阵，并且
在基于外部信息确定成像设备在排列中的行方向上转向的情况下，所述读出单位控制器将由彼此相邻并且排列在排列中的列方向上的多个像素形成的并且相对于转动方向在像素区域内从开始到结束的位置上依次更新的读出单位的优先级设置为高于其他读出单位的优先级。
这使得可以提高关于转向方向的认证结果的即时性。
(32)根据(1)至(31)中任一项所述的成像设备，
其中，所述读出单位控制器指示读出控制器根据基于像素信号的像素信息、由识别处理生成的识别信息或从外部获取的外部信息中的至少一个来控制从像素区域中包括的每个像素读出像素信号的驱动速度。
这使得可以在帧读出中实现更高的速率。
(33)一种成像系统，包括：
配备有成像单元的成像设备，所述成像单元具有其中排列有多个像素的像素区域，
读出控制器，其控制从包括在像素区域中的像素读出像素信号；以及
读出单位控制器，其控制被设置为像素区域的一部分并且读出控制器对其执行读出的读出单位；以及
配备有识别单元的信息处理设备，所述识别单元已经学习了每个读出单位的训练数据，
其中，所述识别单元对每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
(34)一种由处理器执行的成像方法，包括：
读出控制步骤，用于控制从包括在成像单元中的像素区域中包括的像素读出像素信号，在所述像素区域中设置有多个像素；
读出单位控制步骤，用于控制被设置为像素区域的一部分并且由读出控制步骤对其执行读出的读出单位；以及
识别步骤，其中，已经执行了每个读出单位的训练数据的学习，
其中，所述识别步骤对每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
(35)一种成像程序，使处理器执行以下：
读出控制步骤，用于控制从包括在成像单元中的像素区域中包括的像素读出像素信号，在所述像素区域中设置有多个像素；
读出单位控制步骤，用于控制在像素区域中设置多个单元并且由读出控制步骤对其执行读出的读出单位；以及
识别步骤，其中，已经执行了每个读出单位的训练数据的学习，
其中，所述识别步骤对每个读出单位的像素信号执行识别处理，并输出作为识别处理结果的识别结果。
此外，本技术还可以具有以下配置。
(36)一种电子设备，包括：
成像单元，其生成图像数据；
机器学习单元，其对从成像单元读出的每个单位区域的图像数据来执行使用学习模型的机器学习处理；以及
功能执行单元，其基于机器学习处理的结果执行预定功能。
(37)根据(36)所述的电子设备，
其中，所述机器学习单元对同一帧的图像数据中首先输入的单位区域的图像数据执行使用卷积神经网络(CNN)的机器学习处理。
(38)根据(37)所述的电子设备，
其中，在对具有第一输入单位区域的图像数据使用CNN的机器学习处理失败的情况下，所述机器学习单元对具有同一帧中的单位区域的下一个输入图像数据执行使用递归神经网络(RNN)的机器学习处理。
(39)根据(36)至(38)中任一项所述的电子设备，还包括：
控制部，其以行为单位从成像单元读出图像数据，
其中，所述图像数据以行为单位输入到机器学习单元。
(40)根据(36)至(39)中任一项所述的电子设备，
其中，所述单位区域中的图像数据是具有预定行数的图像数据。
(41)根据(36)至(39)中任一项所述的电子设备，
其中，所述单位区域中的图像数据是矩形区域中的图像数据。
(42)根据(36)至(41)中任一项所述的电子设备，还包括：
存储器，其记录学习模型的程序，
其中，所述机器学习单元通过从存储器中读出程序并执行该程序来执行机器学习处理。
附图标记列表
1 成像设备
10 传感器单元
11 传感器控制器
12 识别处理单元
14 视觉识别处理单元
110 读出单位
111 读出控制器
120 特征数据计算单元
121 特征数据存储控制器
122 特征数据存储单元
123、123a、123b、123c、123d、123e、123f、142、142a 读出确定器
124 识别处理执行单元
140 图像数据存储控制器
141 图像数据存储单元
143 图像处理单元
300 读出单位样式选择单元
301 读出单位样式DB
302 读出顺序样式选择单元
303 读出顺序样式DB
304 读出确定处理单元
1230、1230'、2010 读出区域确定器
1231、1231'、2011 曝光时间确定器
1232、1232'、2012 AG量确定器
2000 资源调整单元
2013 驱动速度确定器
2020 优先级模式指示单元

Claims (20)

1.一种成像设备，包括：
成像单元，具有排列有多个像素的像素区域；
读出控制器，控制从包括在所述像素区域中的像素读出像素信号；
读出单位控制器，控制所述读出控制器执行读出的读出单位，所述读出单位被设置为所述像素区域的一部分；以及
识别单元，已经学习了每个所述读出单位的训练数据，
其中，所述识别单元对每个所述读出单位的所述像素信号执行识别处理，并输出作为所述识别处理的结果的识别结果。
2.根据权利要求1所述的成像设备，
其中，所述识别单元对由同一帧图像中的多个所述读出单位形成的像素数据执行使用递归神经网络(RNN)的机器学习处理，并且基于对所述像素数据的所述机器学习处理的结果执行所述识别处理。
3.根据权利要求1所述的成像设备，
其中，在所述识别单元已经输出满足预定条件的所述识别结果的情况下，所述读出单位控制器指示所述读出控制器停止读出。
4.根据权利要求1所述的成像设备，
其中，在所述识别单元已经获取满足预定条件的所述识别结果的候选的情况下，所述读出单位控制器指示所述读出控制器在预计获取满足所述预定条件的所述识别结果的位置处执行所述读出单位的读出。
5.根据权利要求4所述的成像设备，
其中，在所述读出单位控制器已经指示所述读出控制器以读出所述像素信号的所述读出单位对包括在所述像素区域中的像素执行细化的情况下，并且在已经输出所述候选的情况下，所述读出单位控制器指示所述读出控制器对已经被细化的所述读出单位中的预计满足预定条件的读出单位执行读出。
6.根据权利要求1所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器基于所述识别结果，控制包括在所述像素区域中的所述像素的曝光或者从包括在所述像素区域中的所述像素读出的像素信号的增益中的至少一者。
7.根据权利要求1所述的成像设备，
其中，所述读出单位控制器根据基于所述像素信号的像素信息、由所述识别处理生成的识别信息以及从外部获取的外部信息中的至少一者来控制所述读出单位。
8.根据权利要求1所述的成像设备，
其中，所述读出单位控制器将由所述排列的一行中排列的多个像素形成的行设置为所述读出单位。
9.根据权利要求1所述的成像设备，
其中，所述读出单位控制器将由包括彼此不相邻的像素的多个像素形成的样式设置为所述读出单位。
10.根据权利要求9所述的成像设备，
其中，所述读出单位控制器根据预定规则排列多个像素，以形成所述样式。
11.根据权利要求1所述的成像设备，
其中，所述读出单位控制器根据基于所述像素信号的像素信息、由所述识别处理生成的识别信息和从外部获取的外部信息中的至少一者，为多个所述读出单位中的每一个设置优先级。
12.根据权利要求1所述的成像设备，
其中，所述读出单位控制器基于在所述识别处理中获取的识别信息获取由所述识别结果指示的所述像素区域内的区域，并且基于获取的区域控制所述读出单位，以确定所述识别单元接下来执行所述识别处理的区域。
13.根据权利要求1所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器是否允许所述识别单元执行所述像素信号的读出，以根据基于由所述识别处理获取的识别信息而获取的区域的所述识别结果的可靠性进一步对所述区域执行所述识别处理。
14.根据权利要求1所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器根据基于所述像素信号的像素信息、由所述识别处理生成的识别信息和从外部获取的外部信息中的至少一者，来控制包括在所述像素区域中的像素的曝光和从包括在所述像素区域中的所述像素读出的所述像素信号的增益中的至少一者，以便从包括在所述像素区域中的所述像素单独执行所述像素信号的读出。
15.根据权利要求1所述的成像设备，
其中，所述读出单位控制器指示所述读出控制器根据从外部给出指令的操作模式来控制所述读出单位、包括在所述像素区域中的所述像素的曝光、以及从包括在所述像素区域中的所述像素读出的所述像素信号的增益中的至少一者，以便从包括在所述像素区域中的所述像素单独执行所述像素信号的读出。
16.根据权利要求1所述的成像设备，
其中，所述成像单元、所述读出控制器、所述读出单位控制器和所述识别单元整体形成。
17.根据权利要求1所述的成像设备，
其中，所述成像单元、所述读出控制器和所述读出单位控制器设置为整体形成的结构，并且所述识别单元位于所述整体形成的结构的外部。
18.一种成像系统，包括：
配备有成像单元的成像设备，所述成像单元具有其中排列多个像素的像素区域，
读出控制器，控制从包括在所述像素区域中的所述像素读出像素信号，以及
读出单位控制器，控制所述读出控制器执行读出的读出单位，所述读出单位被设置为所述像素区域的一部分；以及
配备有识别单元的信息处理设备，所述识别单元已经学习了每个读出单位的训练数据，
其中，所述识别单元对每个读出单位的所述像素信号执行识别处理，并输出作为所述识别处理的结果的识别结果。
19.一种由处理器执行的成像方法，包括：
读出控制步骤，用于控制从包括在成像单元中的像素区域中包括的像素读出像素信号，在所述像素区域中排列有多个像素；
读出单位控制步骤，用于控制由所述读出控制步骤执行读出的读出单位，所述读出单位被设置为所述像素区域的一部分；以及
识别步骤，在所述识别步骤中，已经执行了每个读出单位的训练数据的学习，
其中，所述识别步骤对每个读出单位的所述像素信号执行识别处理，并输出作为所述识别处理的结果的识别结果。
20.一种成像程序，使处理器执行以下：
读出控制步骤，用于控制从包括在成像单元中的像素区域中包括的像素读出像素信号，在所述像素区域中排列有多个像素；
读出单位控制步骤，用于控制由所述读出控制步骤执行读出的读出单位，所述读出单位被设置为所述像素区域的一部分；以及
识别步骤，在所述识别步骤中，已经执行了每个读出单位的训练数据的学习，
其中，所述识别步骤对每个读出单位的所述像素信号执行识别处理，并输出作为所述识别处理的结果的识别结果。
CN201980054977.2A 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和计算机存储介质 Active CN112585531B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-163700 2018-08-31
JP2018163700 2018-08-31
JP2019-159132 2019-08-30
JP2019159132A JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
PCT/JP2019/034501 WO2020045686A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (2)

Publication Number Publication Date
CN112585531A true CN112585531A (zh) 2021-03-30
CN112585531B CN112585531B (zh) 2023-05-30

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980054962.6A Pending CN112585948A (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和成像程序
CN201980054977.2A Active CN112585531B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和计算机存储介质
CN201980054531.XA Active CN112585943B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和存储介质
CN201980054043.9A Active CN112567728B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980054962.6A Pending CN112585948A (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和成像程序

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980054531.XA Active CN112585943B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和存储介质
CN201980054043.9A Active CN112567728B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法

Country Status (7)

Country Link
US (7) US11763554B2 (zh)
EP (4) EP3846443A4 (zh)
JP (9) JP6635221B1 (zh)
KR (4) KR20210053884A (zh)
CN (4) CN112585948A (zh)
BR (4) BR112021003084A2 (zh)
WO (4) WO2020045682A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN115280759A (zh) * 2020-03-19 2022-11-01 索尼半导体解决方案公司 固态成像装置
US20230101876A1 (en) * 2020-03-24 2023-03-30 Sony Semiconductor Solutions Corporation Rendering system and automated driving verification system
US20230162468A1 (en) * 2020-03-31 2023-05-25 Sony Group Corporation Information processing device, information processing method, and information processing program
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
EP4183127A1 (en) * 2020-07-15 2023-05-24 Arriver Software AB Vision system for a motor vehicle
DE112021003848T5 (de) * 2020-07-20 2023-05-11 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungssystem,informationsverarbeitungsverfahren und informationsverarbeitungsprogram
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
CN118044216A (zh) * 2021-09-27 2024-05-14 富士胶片株式会社 图像生成方法、处理器及程序
US20230133057A1 (en) * 2021-10-29 2023-05-04 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127653A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127614A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127612A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578809A (en) * 1993-11-18 1996-11-26 Noritsu Koki Co., Ltd. Code data read apparatus for photographic film
EP1011074A2 (en) * 1998-12-17 2000-06-21 Xerox Corporation A method and system for real time feature based motion analysis for key frame selection from a video
JP2005341097A (ja) * 2004-05-26 2005-12-08 Ricoh Co Ltd 画像読取装置、画像形成装置及び画像読取方法
CN101008983A (zh) * 2006-01-25 2007-08-01 富士施乐株式会社 图像处理系统、图像形成设备、图像处理方法和程序记录媒体
US20070244842A1 (en) * 2004-06-03 2007-10-18 Mie Ishii Information Processing Method and Apparatus, and Image Pickup Device
CN101320425A (zh) * 2007-06-06 2008-12-10 夏普株式会社 图像处理装置及方法、图像形成装置、图像处理系统
US20090032597A1 (en) * 2001-01-22 2009-02-05 Barber Charles P Reading apparatus having partial frame operating mode
JP2010020421A (ja) * 2008-07-08 2010-01-28 Canon Inc 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
CN102194115A (zh) * 2010-03-18 2011-09-21 富士通株式会社 图像处理装置和图像处理方法
US20120057795A1 (en) * 2000-11-11 2012-03-08 Yohsuke Konishi Image processing apparatus, image forming apparatus, image reading apparatus, and image processing method
JP2012208606A (ja) * 2011-03-29 2012-10-25 Brother Ind Ltd 読取装置及び紙媒体
CN102857688A (zh) * 2011-06-30 2013-01-02 佳能株式会社 具有被摄体检测功能的成像设备及其控制方法
CN103080978A (zh) * 2010-07-01 2013-05-01 株式会社理光 对象识别装置
CN103077407A (zh) * 2013-01-21 2013-05-01 信帧电子技术（北京）有限公司 车标定位识别方法及系统
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
CN103391398A (zh) * 2012-05-08 2013-11-13 佳能株式会社 图像读出控制装置及其图像读出控制方法
CN103942242A (zh) * 2013-01-21 2014-07-23 索尼公司 图像处理设备、图像处理方法以及显示装置
CN104102340A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 手势识别装置、手势识别方法、以及电子设备
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US20170171477A1 (en) * 2015-12-14 2017-06-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US20180092587A1 (en) * 2015-06-14 2018-04-05 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN107944351A (zh) * 2017-11-07 2018-04-20 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
WO2007119818A1 (ja) 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP5150067B2 (ja) * 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
CA2719788C (en) * 2008-03-27 2018-04-17 Pressline Services, Inc. Printing press, folder, and methods of operation
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) * 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
WO2014114740A1 (en) * 2013-01-25 2014-07-31 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
CN107736014B (zh) 2015-07-16 2020-12-18 索尼公司 摄像设备和信息处理系统
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
JP7058933B2 (ja) 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
KR102526559B1 (ko) 2016-09-16 2023-04-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
TWI754696B (zh) 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20210319144A1 (en) * 2018-09-06 2021-10-14 Sony Corporation Information processing system, information processing method, terminal apparatus, and information processing apparatus
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578809A (en) * 1993-11-18 1996-11-26 Noritsu Koki Co., Ltd. Code data read apparatus for photographic film
EP1011074A2 (en) * 1998-12-17 2000-06-21 Xerox Corporation A method and system for real time feature based motion analysis for key frame selection from a video
US20120057795A1 (en) * 2000-11-11 2012-03-08 Yohsuke Konishi Image processing apparatus, image forming apparatus, image reading apparatus, and image processing method
US20090032597A1 (en) * 2001-01-22 2009-02-05 Barber Charles P Reading apparatus having partial frame operating mode
JP2005341097A (ja) * 2004-05-26 2005-12-08 Ricoh Co Ltd 画像読取装置、画像形成装置及び画像読取方法
US20070244842A1 (en) * 2004-06-03 2007-10-18 Mie Ishii Information Processing Method and Apparatus, and Image Pickup Device
CN101008983A (zh) * 2006-01-25 2007-08-01 富士施乐株式会社 图像处理系统、图像形成设备、图像处理方法和程序记录媒体
CN101320425A (zh) * 2007-06-06 2008-12-10 夏普株式会社 图像处理装置及方法、图像形成装置、图像处理系统
JP2010020421A (ja) * 2008-07-08 2010-01-28 Canon Inc 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
CN102194115A (zh) * 2010-03-18 2011-09-21 富士通株式会社 图像处理装置和图像处理方法
CN103080978A (zh) * 2010-07-01 2013-05-01 株式会社理光 对象识别装置
JP2012208606A (ja) * 2011-03-29 2012-10-25 Brother Ind Ltd 読取装置及び紙媒体
CN102857688A (zh) * 2011-06-30 2013-01-02 佳能株式会社 具有被摄体检测功能的成像设备及其控制方法
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
CN103391398A (zh) * 2012-05-08 2013-11-13 佳能株式会社 图像读出控制装置及其图像读出控制方法
CN103077407A (zh) * 2013-01-21 2013-05-01 信帧电子技术（北京）有限公司 车标定位识别方法及系统
CN103942242A (zh) * 2013-01-21 2014-07-23 索尼公司 图像处理设备、图像处理方法以及显示装置
CN104102340A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 手势识别装置、手势识别方法、以及电子设备
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US20180092587A1 (en) * 2015-06-14 2018-04-05 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US20170171477A1 (en) * 2015-12-14 2017-06-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US20170213112A1 (en) * 2016-01-25 2017-07-27 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
CN107944351A (zh) * 2017-11-07 2018-04-20 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US11741700B2 (en) 2023-08-29
JP6638851B1 (ja) 2020-01-29
US20210329164A1 (en) 2021-10-21
JP6635222B1 (ja) 2020-01-22
JP6638852B1 (ja) 2020-01-29
JP6635221B1 (ja) 2020-01-22
KR20210052446A (ko) 2021-05-10
JP2020039123A (ja) 2020-03-12
JP2020039125A (ja) 2020-03-12
EP3846441A1 (en) 2021-07-07
JP2020048225A (ja) 2020-03-26
JP2024028531A (ja) 2024-03-04
EP3846441A4 (en) 2021-10-13
KR20210052444A (ko) 2021-05-10
US11763554B2 (en) 2023-09-19
EP3846446A1 (en) 2021-07-07
WO2020045686A1 (ja) 2020-03-05
WO2020045685A1 (ja) 2020-03-05
CN112567728B (zh) 2023-06-09
JP7380180B2 (ja) 2023-11-15
EP3846443A1 (en) 2021-07-07
EP3846443A4 (en) 2021-09-22
BR112021003119A2 (pt) 2021-05-11
JP2020054007A (ja) 2020-04-02
CN112585943B (zh) 2022-12-27
US20240029424A1 (en) 2024-01-25
JP2020043614A (ja) 2020-03-19
WO2020045684A1 (ja) 2020-03-05
US20210321054A1 (en) 2021-10-14
JP2020039126A (ja) 2020-03-12
JP2020039124A (ja) 2020-03-12
JP7424051B2 (ja) 2024-01-30
JP2020043615A (ja) 2020-03-19
KR20210053883A (ko) 2021-05-12
US20230334848A1 (en) 2023-10-19
BR112021003084A2 (pt) 2021-05-11
CN112585531B (zh) 2023-05-30
WO2020045682A1 (ja) 2020-03-05
US20210306586A1 (en) 2021-09-30
EP3846444A4 (en) 2021-10-06
BR112021003183A2 (pt) 2021-05-11
JP7424034B2 (ja) 2024-01-30
KR20210053884A (ko) 2021-05-12
CN112567728A (zh) 2021-03-26
BR112021003115A2 (pt) 2021-05-11
US20230394813A1 (en) 2023-12-07
CN112585943A (zh) 2021-03-30
US20210329163A1 (en) 2021-10-21
US11595608B2 (en) 2023-02-28
EP3846446A4 (en) 2021-10-20
CN112585948A (zh) 2021-03-30
US11704904B2 (en) 2023-07-18
EP3846444A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
CN112585531B (zh) 成像设备、成像系统、成像方法和计算机存储介质
US20230254600A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant