CN112585948A - 成像设备、成像系统、成像方法和成像程序 - Google Patents

成像设备、成像系统、成像方法和成像程序 Download PDF

Info

Publication number
CN112585948A
CN112585948A CN201980054962.6A CN201980054962A CN112585948A CN 112585948 A CN112585948 A CN 112585948A CN 201980054962 A CN201980054962 A CN 201980054962A CN 112585948 A CN112585948 A CN 112585948A
Authority
CN
China
Prior art keywords
unit
readout
mediation
recognition processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054962.6A
Other languages
English (en)
Inventor
佐藤竜太
青木卓
山本启太郎
浴良仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585948A publication Critical patent/CN112585948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明包括：成像单元(10)，其包括布置有多个像素的像素区域，从包括在像素区域中的像素读出像素信号，并输出该像素信号；读出单元控制器(111a)，其控制被设置为像素区域的一部分的读出单元；第一读出单元设置单元(123)，其设置第一读出单元，通过该第一读出单元从像素区域读出像素信号以进行已经学习了每个读出单元的训练数据的识别处理；第二读出单元设置单元(142)，其设置第二读出单元，通过该第二读出单元从像素区域读出像素信号以将像素信号输出到后续级；以及调解单元(1110)，其通过第一读出单元和第二读出单元执行调解，其中，该读出单元控制器通过来自调解单元的调解来设置读出单元。

Description

成像设备、成像系统、成像方法和成像程序
技术领域
本公开涉及成像设备、成像系统、成像方法和成像程序。
背景技术
近年来，随着诸如安装在数码相机、数码摄像机和多功能移动电话(智能电话)上的小型相机的成像设备的复杂化，已经开发了配备有识别包括在捕获图像中的预定对象的图像识别功能的成像设备。
引用列表
专利文献
专利文献1：JP 2017-112409A。
发明内容
技术问题
通常，适合于图像识别功能中的识别处理的图像不同于适合于人的视觉识别的图像。因此，在试图提高配备有图像识别功能的成像设备中的识别精度时，可能难以将为识别处理捕获的图像用作可以充分提供作为用于视觉识别的图像的信息的图像。
本公开旨在提供能够实现用于识别处理的成像和用于视觉识别的成像两者的成像设备、成像系统、成像方法和成像程序。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的成像设备具有：成像单元，其具有布置有多个像素的像素区域，并且从包括在像素区域中的像素读取并输出像素信号；读出单元控制器，其控制被设置为像素区域的一部分的读出单元；第一读出单元设置单元，其设置用于从像素区域读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；第二读出单元设置单元，其设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及调解单元，其在第一读出单元与第二读出单元之间执行调解，其中，读出单元控制器通过调解单元的调解来设置读出单元。
附图说明
[图1]是示出可应用于本公开的每个实施方式的成像设备的示例的配置的框图。
[图2A]是示出根据每个实施方式的成像设备的硬件配置的示例的示意图。
[图2B]是示出根据每个实施方式的成像设备的硬件配置的示例的示意图。
[图3A]是示出根据每个实施方式的成像设备被形成为具有两层结构的堆叠CIS的示例的示图。
[图3B]是示出根据每个实施方式的成像设备被形成为具有三层结构的堆叠CIS的示例的示图。
[图4]是示出可应用于每个实施方式的传感器单元的示例的配置的框图。
[图5A]是示出卷帘快门方法(rolling shutter method)的示意图。
[图5B]是示出卷帘快门方法的示意图。
[图5C]是示出卷帘快门方法的示意图。
[图6A]是示出卷帘快门方法中的行细化的示意图。
[图6B]是示出卷帘快门方法中的行细化的示意图。
[图6C]是示出卷帘快门方法中的行细化的示意图。
[图7A]是示意性示出卷帘快门方法中的另一成像方法的示例的示图。
[图7B]是示意性示出卷帘快门方法中的另一成像方法的示例的示图。
[图8A]是示出全局快门方法的示意图。
[图8B]是示出全局快门方法的示意图。
[图8C]是示出全局快门方法的示意图。
[图9A]是示意性示出在全局快门方法中可实现的采样模式的示例的示图。
[图9B]是示意性示出在全局快门方法中可实现的采样模式的示例的示图。
[图10]是示意性示出由CNN执行的图像识别处理的示图。
[图11]是示意性示出用于从作为识别目标的图像的一部分获得识别结果的图像识别处理的示图。
[图12A]是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图。
[图12B]是示意性示出当不使用时间序列信息时由DNN执行的识别处理的示例的示图。
[图13A]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。
[图13B]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。
[图14A]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。
[图14B]是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。
[图15A]是示出帧驱动速度与像素信号读出量之间的关系的示图。
[图15B]是示出帧驱动速度与像素信号读出量之间的关系的示图。
[图16]是示意性示出根据本公开的每个实施方式的识别处理的示意图。
[图17]是示出由根据第一实施方式的识别处理单元执行的识别处理的示例的流程图。
[图18]是示出一帧的图像数据的示例的示图。
[图19]是示出由根据第一实施方式的识别处理单元执行的机器学习处理的流程的示图。
[图20A]是示出第一实施方式的应用示例的示意图。
[图20B]是示出第一实施方式的应用示例的示意图。
[图21]是示出根据第二实施方式的成像设备的功能的示例的功能框图。
[图22]是更详细地示出根据第二实施方式的识别处理单元中的处理的示例的示意图。
[图23]是示出根据第二实施方式的功能的示例的功能框图。
[图24]是示出根据第二实施方式的帧读出处理的示意图。
[图25]是示出根据第二实施方式的识别处理的概述的示意图。
[图26]是示出在帧读出的中间终止识别处理的示例的示图。
[图27]是示出在帧读出的中间终止识别处理的示例的示图。
[图28]是示出根据第二实施方式的识别处理的示例的流程图。
[图29A]是示出根据第二实施方式的控制读出和识别处理的示例的时序图。
[图29B]是示出根据第二实施方式的控制读出和识别处理的示例的时序图。
[图30]是示出根据第二实施方式的控制读出和识别处理的另一示例的时序图。
[图31]是示出根据第三实施方式的控制的示例的流程图。
[图32]是示意性示出根据第三实施方式的输出控制处理的示例的示意图。
[图33A]是示出根据第三实施方式的成像设备的识别处理单元侧的示例的功能的功能框图。
[图33B]是示出根据第三实施方式的成像设备的视觉识别处理单元侧的示例的功能的功能框图。
[图34]是示出根据第三实施方式的当根据时间输出触发信号时的处理的示例的流程图。
[图35]是示意性示出根据第三实施方式的第一修改的输出控制处理的示例的示意图。
[图36A]是示出根据第三实施方式的第一修改的成像设备的识别处理单元侧的示例的功能的功能框图。
[图36B]是示出根据第三实施方式的第一修改的成像设备的视觉识别处理单元侧的示例的功能的功能框图。
[图37]是示出根据第三实施方式的第一修改的处理的示例的流程图。
[图38]是示意性示出根据第三实施方式的第二修改的输出控制处理的示例的示意图。
[图39A]是示出根据第三实施方式的第二修改的成像设备的识别处理单元侧的示例的功能的功能框图。
[图39B]是示出根据第三实施方式的第二修改的成像设备的视觉识别处理单元侧的示例的功能的功能框图。
[图40]是示出根据第三实施方式的第二修改的处理的示例的流程图。
[图41A]是示出根据第三实施方式的第三修改的成像设备的识别处理单元侧的示例的功能的功能框图。
[图41B]是示出根据第三实施方式的第三修改的成像设备的视觉识别处理单元侧的示例的功能的功能框图。
[图42]是示出根据第三实施方式的第三修改的处理的示例的流程图。
[图43]是示意性示出根据第四实施方式的输出控制处理的示例的示意图。
[图44]是示出根据第四实施方式的成像设备的示例的功能的功能框图。
[图45]是示出根据第四实施方式的处理的示例的流程图。
[图46]是示出根据第四实施方式的第一修改的成像设备的示例的功能的功能框图。
[图47]是示出根据第四实施方式的第一修改的处理的示例的流程图。
[图48]是示意性示出根据第四实施方式的第二修改的输出控制处理的示例的示意图。
[图49]是示出根据第四实施方式的第二修改的成像设备1的示例的功能的功能框图。
[图50]是示出根据第四实施方式的第一修改的处理的示例的流程图。
[图51]是示出根据第五实施方式的调解处理的概述的示例的流程图。
[图52]是示出可应用于第五实施方式的成像设备1的功能的示例的功能框图。
[图53]是示出根据第五实施方式的调解处理的示意图。
[图54]是示出根据第五实施方式的调解处理的示例性流程图。
[图55]是示出可应用于第五实施方式的第一修改的成像设备的功能的示例的功能框图。
[图56]是示出根据第五实施方式的第一修改的调解处理的第一示例的示意图。
[图57]是示出根据第五实施方式的第一修改的调解处理的第二示例的示意图。
[图58]是示出根据第五实施方式的第一修改的调解处理的示例的流程图。
[图59]是示出可应用于第五实施方式的第二修改的成像设备的功能的示例的功能框图。
[图60]是示出根据第五实施方式的第二修改的调解处理的示意图。
[图61]是示出根据第五实施方式的第二修改的调解处理的示例的流程图。
[图62]是示出可应用于第五实施方式的第三修改的成像设备1的功能的示例的功能框图。
[图63]是示出根据第五实施方式的第三修改的调解处理的示例的流程图。
[图64]是示出应用了本公开的技术的成像设备的使用示例的示图。
[图65]是示出车辆控制系统的示意性配置的示例的框图。
[图66]是示出车外信息检测单元和成像部的安装位置的示例的示图。
具体实施方式
下面将参考附图详细描述本公开的实施方式。在以下每个实施方式中，相同的部分由相同的参考标记表示，并且将省略其重复描述。
在下文中，将按以下顺序描述本公开的实施方式。
1.根据本公开的每个实施方式的配置示例
2.可应用于本公开的现有技术的示例
2-1.卷帘快门的概述
2-2.全局快门的概述
2-3.深度神经网络(DNN)
2-3-1.卷积神经网络(CNN)的概述
2-3-2.递归神经网络(RNN)的概述
2-4.驱动速度
3.本公开的概述
4.第一实施方式
4-1.识别处理单元中的操作示例
4-2.识别处理单元中的操作的具体示例
4-3.第一实施方式的应用示例
5.第二实施方式
5-0-1.根据第二实施方式的配置示例
5-0-2.根据第二实施方式的识别处理单元中的处理的示例
5-0-3.根据第二实施方式的识别处理的细节
5-0-4.根据第二实施方式的读出和识别处理的控制的示例
6.第三实施方式
6-0.第三实施方式的概述
6-0-1.按时间输出触发信号的示例
6-1.第三实施方式的第一修改
6-2.第三实施方式的第二修改
6-3.第三实施方式的第三修改
7.第四实施方式
7-1.第四实施方式的第一修改
7-2.第四实施方式的第二修改
8.第五实施方式
8-0-1.调解处理的具体示例
8-1.第五实施方式的第一修改
8-2.第五实施方式的第二修改
8-3.第五实施方式的第三修改
9.第六实施方式
[1.根据本公开的每个实施方式的配置示例]
将示意性地描述根据本公开的成像设备的配置。图1是示出可应用于本公开的每个实施方式的成像设备的示例的配置的框图。在图1中，成像设备1包括传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15。成像设备1是互补金属氧化物半导体(CMOS)图像传感器(CIS)，其中，这些单独的单元通过使用CMOS整体形成。成像设备1不限于该示例，并且可以是另一类型的光学传感器，诸如，利用红外光执行成像的红外光传感器。
传感器单元10输出对应于经由光学单元30发射到光接收表面的光的像素信号。更具体地，传感器单元10具有像素阵列，在该像素阵列中，包括至少一个光电转换元件的像素以矩阵布置。光接收表面由在像素矩阵中以矩阵布置的各个像素形成。传感器单元10进一步包括：驱动电路，用于驱动包括在像素阵列中的各个像素；以及信号处理电路，其对从每个像素读出的信号执行预定信号处理，并且将处理后的信号作为每个像素的像素信号输出。传感器单元10输出包括在像素区域中的每个像素的像素信号作为数字格式的图像数据。
在下文中，在包括在传感器单元10中的像素阵列中，其中布置有用于生成像素信号的有效像素的区域将被称为帧。帧图像数据由基于从包括在帧中的每个像素输出的每个像素信号的像素数据形成。此外，传感器单元10的像素阵列中的每一行(row)被称为行(line)，并且基于从包括在行中的每个像素输出的像素信号的像素数据将形成行图像数据。传感器单元10输出对应于施加到光接收表面的光的像素信号的操作被称为成像。传感器单元10根据从下面描述的传感器控制器11提供的成像控制信号来控制成像时的曝光和像素信号的增益(模拟增益)。
例如，由微处理器构成的传感器控制器11控制从传感器单元10读出像素数据，并且基于从包括在帧中的每个像素读出的每个像素信号输出像素数据。从传感器控制器11输出的像素数据被传递到识别处理单元12和视觉识别处理单元14。
此外，传感器控制器11生成用于控制传感器单元10中的成像的成像控制信号。传感器控制器11例如根据来自将在下面描述的识别处理单元12和视觉识别处理单元14的指令生成成像控制信号。成像控制信号包含指示在传感器单元10中成像时设置的上述曝光和模拟增益的信息。成像控制信号进一步包含由传感器单元10用于执行成像操作的控制信号(垂直同步信号、水平同步信号等)。传感器控制器11将所生成的成像控制信号提供给传感器单元10。
光学单元30被设置为将来自被摄体的光施加到传感器单元10的光接收表面，并且例如被设置在对应于传感器单元10的位置。光学单元30例如包括多个透镜、用于调节光圈相对于入射光的大小的光圈机构以及用于调节施加到光接收表面的光的焦点的聚焦机构。光学单元30可以进一步包括调节光施加到光接收表面的持续时间的快门机构(机械快门)。光学单元30的光圈机构、聚焦机构和快门机构例如可以由传感器控制器11控制。不限于此，可以从成像设备1的外部控制光学单元30的光圈(aperture)/光圈(diaphragm)和焦点。还可以将光学单元30与成像设备1整体配置。
识别处理单元12基于从传感器控制器11传递的像素数据，对包括在包含像素数据的图像中的对象执行识别处理。在本公开中，例如，数字信号处理器(DSP)读出并执行已经经历了使用训练数据预学习并作为学习模型存储在存储器13中的程序，从而将识别处理单元12实现为使用深度神经网络(DNN)执行识别处理的机器学习单元。识别处理单元12可以指示传感器控制器11从传感器单元10读出识别处理所需的像素数据。由识别处理单元12获得的识别结果被传递到输出控制器15。
视觉识别处理单元14对从传感器控制器11传递的像素数据执行用于获得适于人识别的图像的处理，并且例如输出包含一组像素数据的图像数据。例如，图像信号处理器(ISP)读出并执行预先存储在存储器(未示出)中的程序，从而实现视觉识别处理单元14。
例如，在为包括在传感器单元10中的每个像素提供滤色器并且像素数据具有单独类型的颜色信息(即，红色(R)、绿色(G)和蓝色(B)的信息)的情况下，视觉识别处理单元14可以执行去马赛克处理、白平衡处理等。此外，视觉识别处理单元14可以指示传感器控制器11从传感器单元10读出视觉识别处理所需的像素数据。像素数据已经经历了由视觉识别处理单元14执行的图像处理的图像数据被传递到输出控制器15。
输出控制器15例如由微处理器构成，并且将从识别处理单元12传递的识别结果和作为视觉识别处理结果从视觉识别处理单元14传递的图像数据中的一个或两个输出到成像设备1的外部。例如，输出控制器15可以将图像数据输出到具有显示装置的显示单元31。这使得用户能够视觉上识别由显示单元31显示的图像数据。显示单元31可以内置在成像设备1中，或者可以设置在成像设备1的外部。
图2A和图2B是示出根据每个实施方式的成像设备1的硬件配置的示例的示意图。图2A是图1中的组件中的传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15安装在一个芯片2上的示例。注意，为了简化，图2A省略了存储器13和输出控制器15的图示。
在图2A所示的配置中，由识别处理单元12获得的识别结果经由输出控制器15(未示出)输出到芯片2的外部。此外，在图2A的配置中，识别处理单元12可以经由芯片2的内部接口从传感器控制器11获取用于识别的像素数据。
图2B是图1中的组件中的传感器单元10、传感器控制器11、视觉识别处理单元14和输出控制器15安装在一个芯片2上并且识别处理单元12和存储器13(未示出)设置在芯片2外部的示例。类似于图2A，为了简化，图2B也省略了存储器13和输出控制器15的图示。
在图2B的配置中，识别处理单元12经由为芯片间通信提供的接口获取要用于识别的像素数据。此外，在图2B中，由识别处理单元12获得的识别结果从识别处理单元12直接输出到外部，但是输出方法不限于该示例。即，在图2B的配置中，识别处理单元12可以将识别结果返回到芯片2，并且可以执行控制以从安装在芯片2上的输出控制器15(未示出)输出结果。
在图2A所示的配置中，识别处理单元12与传感器控制器11一起安装在芯片2上，使得识别处理单元12与传感器控制器11之间的高速通信能够由芯片2的内部接口执行。另一方面，图2A所示的配置难以替换识别处理单元12，从而导致难以改变识别处理。相对照地，图2B所示的配置中的识别处理单元12被设置在芯片2的外部，需要经由芯片之间的接口在识别处理单元12与传感器控制器11之间执行通信。这使得识别处理单元12与传感器控制器11之间的通信比图2A所示的配置中的通信慢，从而导致在控制中出现延迟的可能性。另一方面，可以容易地替换识别处理单元12，并且因此可以实现各种识别处理。
在下文中，除非另有说明，否则成像设备1具有包括安装在图2A中的一个芯片2上的传感器单元10、传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15的配置。
在上述图2A所示的配置中，成像设备1可以形成在一个衬底上。不限于此，成像设备1可以被实现为堆叠CIS，其中，多个半导体芯片被堆叠并整体形成。
作为示例，成像设备1可以形成为具有两层结构，其中，半导体芯片被堆叠为两层。图3A是示出根据每个实施方式的成像设备1被形成为具有两层结构的堆叠CIS的示例的示图。在图3A的结构中，像素单元20a形成在第一层半导体芯片上，并且存储器+逻辑单元20b形成在第二层半导体芯片上。像素单元20a至少包括传感器单元10中的像素阵列。例如，存储器+逻辑单元20b包括传感器控制器11、识别处理单元12、存储器13、视觉识别处理单元14和输出控制器15以及提供用于在成像设备1与外部之间进行通信的接口。存储器+逻辑单元20b进一步包括驱动传感器单元10中的像素阵列的驱动电路的一部分或全部。此外，尽管未示出，但是存储器+逻辑单元20b可以进一步包括由视觉识别处理单元14用于处理图像数据的存储器。
如图3A的右侧所示，第一层半导体芯片和第二层半导体芯片在彼此电接触的同时结合在一起，使得成像设备1能够被配置为一个固态成像元件。
作为另一示例，成像设备1可以形成为具有三层结构，其中，半导体芯片被堆叠为三层。图3B是示出根据每个实施方式的成像设备1被形成为具有三层结构的堆叠CIS的示例的示图。在图3B的结构中，像素单元20a形成在第一层半导体芯片上，存储单元20c形成在第二层半导体芯片上，并且逻辑单元20b’形成在第三层半导体芯片上。在这种情况下，逻辑单元20b’例如包括传感器控制器11、识别处理单元12、视觉识别处理单元14、输出控制器15以及提供用于在成像设备1与外部之间进行通信的接口。此外，存储单元20c可以例如包括存储器13和由视觉识别处理单元14用于处理图像数据的存储器。存储器13可以包括在逻辑单元20b’中。
如图3B的右侧所示，第一层半导体芯片、第二层半导体芯片和第三层半导体芯片在彼此电接触的同时结合在一起，使得成像设备1能够被配置为一个固态成像元件。
图4是示出可应用于每个实施方式的传感器单元10的示例的配置的框图。在图4中，传感器单元10包括像素阵列单元101、垂直扫描单元102、模数(AD)转换单元103、像素信号线106、垂直信号线VSL、控制单元1100和信号处理单元1101。在图4中，例如，控制单元1100和信号处理单元1101可以包括在图1所示的传感器控制器11中。
像素阵列单元101包括多个像素电路100，每个像素电路包括例如使用光电二极管对所接收的光执行光电转换的光电转换元件以及执行从光电转换元件读出电荷的电路。在像素阵列单元101中，多个像素电路100在水平方向(行方向)和垂直方向(列方向)上以矩阵布置。在像素阵列单元101中，像素电路100在行方向上的布置被称为行。例如，在一帧图像由1920像素×1080行形成的情况下，像素阵列单元101包括至少1080行，该1080行包括至少1920个像素电路100。从包括在帧中的像素电路100读出的像素信号形成一帧的图像(图像数据)。
在下文中，从传感器单元10的包括在帧中的每个像素电路100读出像素信号的操作将适当地描述为从帧中读出像素的操作。此外，从包括在帧中的行的每个像素电路100读出像素信号的操作将适当地被描述为读出行的操作。
此外，在像素阵列单元101中，关于每个像素电路100的行和列，像素信号线106连接到每个行，并且垂直信号线VSL连接到每个列。像素信号线106的未连接到像素阵列单元101的端部连接到垂直扫描单元102。在下述控制单元1100的控制下，垂直扫描单元102经由像素信号线106将控制信号(诸如，在从像素读出像素信号时使用的驱动脉冲)发送到像素阵列单元101。垂直信号线VSL的未连接到像素阵列单元101的端部连接到AD转换单元103。从像素读出的像素信号经由垂直信号线VSL发送到AD转换单元103。
将示意性地描述来自像素电路100的像素信号的读出控制。在通过曝光到浮动扩散层(FD)来传送存储在光电转换元件中的电荷并将浮动扩散层中传送的电荷转换成电压的处中执行从像素电路100读出像素信号。从浮动扩散层中的电荷转换的电压经由放大器输出到垂直信号线VSL。
更具体地，在曝光期间，像素电路100被设置为关闭(打开)光电转换元件与浮动扩散层之间的连接，以便将由光电转换入射的光生成的电荷存储在光电转换元件中。在曝光结束之后，浮动扩散层和垂直信号线VSL根据经由像素信号线106提供的选择信号连接。此外，根据经由像素信号线106提供的复位脉冲，浮动扩散层在短时间段内连接到电源电压VDD或黑电平电压的电源线，以便复位浮动扩散层。浮动扩散层的复位电平电压(定义为电压A)被输出到垂直信号线VSL。此后，经由像素信号线106提供的传送脉冲接通(关闭)光电转换元件与浮动扩散层之间的连接，以便将存储在光电转换元件中的电荷传送到浮动扩散层。对应于浮动扩散层中的电荷量的电压(定义为电压B)被输出到垂直信号线VSL。
AD转换单元103包括为每个垂直信号线VSL提供的AD转换器107、参考信号发生器104和水平扫描单元105。AD转换器107是对像素阵列单元101的每一列执行AD转换处理的列AD转换器。AD转换器107对经由垂直信号线VSL从像素电路100提供的像素信号执行AD转换处理，从而生成用于降噪的相关双重采样(CDS)处理中的两个数字值(对应于电压A和B的值)。
AD转换器107将所生成的两个数字值提供给信号处理单元1101。信号处理单元1101基于从AD转换器107提供的两个数字值执行CDS处理，从而生成由数字信号形成的像素信号(像素数据)。由信号处理单元1101生成的像素数据被输出到传感器单元10的外部。
基于从控制单元1100输入的控制信号，参考信号发生器104生成斜坡信号作为参考信号，该斜坡信号被每个AD转换器107用于将像素信号转换成两个数字值。斜坡信号是电平(电压值)相对于时间以恒定斜率减小的信号，或者是电平逐步减小的信号。参考信号发生器104将所生成的斜坡信号提供给每个AD转换器107。参考信号发生器104通过使用数模转换器(DAC)等来配置。
当从参考信号发生器104提供电压以预定倾斜度逐步下降的斜坡信号时，计数器根据时钟信号开始计数。比较器将从垂直信号线VSL提供的像素信号的电压与斜坡信号的电压进行比较，并在斜坡信号的电压跨越像素信号的电压的定时停止计数器的计数。当计数停止时，AD转换器107输出对应于计数值的值，从而将作为模拟信号的像素信号转换成数字值。
AD转换器107将所生成的两个数字值提供给信号处理单元1101。信号处理单元1101基于从AD转换器107提供的两个数字值执行CDS处理，从而生成由数字信号形成的像素信号(像素数据)。作为由信号处理单元1101生成的数字信号的像素信号被输出到传感器单元10的外部。
在控制单元1100的控制下，水平扫描单元105执行选择性扫描，其中，以预定顺序选择每个AD转换器107，以便将临时保存在每个AD转换器107中的每个数字值依次输出到信号处理单元1101。例如，水平扫描单元105被实现为移位寄存器或地址解码器。
基于从传感器控制器11提供的成像控制信号，控制单元1100执行垂直扫描单元102、AD转换单元103、参考信号发生器104、水平扫描单元105等的驱动控制。控制单元1100生成作为垂直扫描单元102、AD转换单元103、参考信号发生器104和水平扫描单元105的操作的参考的各种驱动信号。例如，基于包括在成像控制信号中的垂直同步信号或外部触发信号以及水平同步信号，控制单元1100生成要由垂直扫描单元102经由像素信号线106提供给每个像素电路100的控制信号。控制单元1100将所生成的控制信号提供给垂直扫描单元102。
此外，控制单元1100例如将指示从传感器控制器11提供的包括在成像控制信号中的模拟增益的信息传递给AD转换单元103。基于指示模拟增益的信息，AD转换单元103控制经由垂直信号线VSL输入到包括在AD转换单元103中的每个AD转换器107的像素信号的增益。
基于从控制单元1100提供的控制信号，垂直扫描单元102将包括像素阵列单元101的所选像素行的像素信号线106中的驱动脉冲的各种信号逐行提供给每个像素电路100，以便允许像素信号从每个像素电路100输出到垂直信号线VSL。例如，垂直扫描单元102被实现为移位寄存器或地址解码器。此外，垂直扫描单元102基于从控制单元1100提供的指示曝光的信息来控制每个像素电路100中的曝光。
以这种方式配置的传感器单元10是列AD型互补金属氧化物半导体(CMOS)图像传感器，其中，AD转换器107以列布置。
[2.可应用于本公开的现有技术的示例]
在描述根据本公开的每个实施方式之前，将概述可应用于本公开的现有技术以便于理解。
(2-1.卷帘快门的概述)
在由像素阵列单元101执行成像时使用的已知成像方法包括卷帘快门(RS)方法和全局快门(GS)方法。首先，将示意性地描述卷帘快门方法。图5A、图5B和图5C是示出卷帘快门方法的示意图。在卷帘快门方法中，如图5A所示，例如，从帧200的上端的行201开始以行为单位依次执行成像。
以上描述将“成像”描述为传感器单元10输出对应于施加到光接收表面的光的像素信号的操作的表示。更具体地，“成像”用于表示从像素的曝光开始直到基于通过曝光到包括在像素中的光电转换元件而存储的电荷将像素信号传送到传感器控制器11的一系列操作。此外，如上所述，帧是指像素阵列单元101的其中布置有有效用于生成像素信号的像素电路100的区域。
例如，在图4的配置中，对包括在一行中的每个像素电路100同时执行曝光。在曝光结束之后，基于通过曝光所存储的电荷的像素信号经由对应于每个像素电路100的每个垂直信号线VSL在包括在行中的每个像素电路100中同时传送。通过以行为单位依次执行该操作，可以用卷帘快门实现成像。
图5B示意性地示出了卷帘快门方法中的成像与时间之间的关系的示例。在图5B中，纵轴表示行位置，而横轴表示时间。在卷帘快门方法中，由于每一行的曝光是按行的顺序依次执行的，因此每一行的曝光定时随行的位置依次偏移，如图5B所示。因此，例如，在成像设备1与被摄体之间的水平位置关系高速变化的情况下，帧200的捕获图像失真，如图5C所示。在图5C的示例中，对应于帧200的图像202是以对应于成像设备1与被摄体之间的水平位置关系的变化的速度和方向的角度倾斜的图像。
在卷帘快门方法中，也可以细化用于成像的行。图6A、图6B和图6C是示出卷帘快门方法中的行细化的示意图。如图6A所示，类似于上述图5A的示例，以从帧200的上端的行201朝向帧200的下端的行为单位执行成像。此时，在以预定数量跳过行的同时执行成像。
在此处，为了解释，假设通过执行单行细化每隔一行执行成像。即，在第n行的成像之后，执行(n+2)行的成像。此时，当不执行细化时，从第n行的成像到第(n+2)行的成像的时间被假设为等于从第n行的成像到第(n+1)行的成像的时间。
图6B示意性地示出了当在卷帘快门方法中执行单行细化时成像与时间之间的关系的示例。在图6B中，纵轴表示行位置，而横轴表示时间。在图6B中，曝光A对应于没有细化的图5B的曝光，而曝光B示出了当执行单行细化时的曝光。如曝光B所示，与不执行行细化的情况相比，行细化的执行使得可以减少同一行位置处的曝光定时的偏差。因此，如图6C中的图像203所示，与不执行图5C所示的行细化的情况相比，在捕获帧200的图像中出现的倾斜方向上的失真较小。另一方面，与不执行行细化的情况相比，执行行细化时的图像分辨率降低。
以上描述是卷帘快门方法的示例，其中，以从帧200的上端到下端的行的顺序依次执行成像。然而，已经描述了本发明，但是本公开不限于该示例。图7A和图7B是示意性示出卷帘快门方法中的其他成像方法的示例的示图。例如，如图7A所示，在卷帘快门方法中，可以以从帧200的下端到上端的行的顺序依次执行成像。在这种情况下，图像202在水平方向上的失真方向将与图像以从另一帧200的上端到下端的行的顺序依次成像的情况下的方向相反。
此外，例如，通过设置用于传输像素信号的垂直信号线VSL的范围，还可以选择性地读出行的一部分。此外，通过单独设置用于成像的行和用于传输像素信号的垂直信号线VSL，还可以将成像开始/结束行设置到除了帧200的上端和下端之外的位置。图7B示意性地示出了具有矩形形状并且宽度和高度小于帧200的宽度和高度的区域205被设置为成像范围的示例。在图7B的示例中，以从区域205的上端的行204朝向区域205的下端的行的顺序依次执行成像。
(2-2.全局快门的概述)
接下来，将示意性地描述全局快门(GS)方法作为通过使用像素阵列单元101进行成像时的成像方法。图8A、图8B和图8C是示出全局快门方法的示意图。如图8A所示，全局快门方法在包括在帧200中的全像素电路100中同时曝光。
当在图4的配置中实现全局快门方法时，作为示例，可以设想使用像素电路100的配置，其中，在光电转换元件与FD之间进一步设置电容器。此外，该配置进一步包括分别设置在光电转换元件与电容器之间的第一开关以及设置在电容器与浮动扩散层之间的第二开关，并且第一开关和第二开关中的每一个的断开和闭合由经由像素信号线106提供的脉冲控制。
在这样的配置中，在包括在帧200中的所有像素电路100中，第一开关和第二开关被设置为在曝光时间段期间断开，并且然后，在曝光完成时，第一开关从断开状态切换到闭合状态，以便将电荷从光电转换元件传送到电容器。此后，在将电容器视为光电转换元件的情况下，将以与上述卷帘快门方法的读出操作中使用的顺序类似的顺序从电容器读出电荷。这使得可以在包括在帧200中的所有像素电路100中执行同时曝光。
图8B示意性地示出了全局快门方法中的成像与时间之间的关系的示例。在图8B中，纵轴表示行位置，而横轴表示时间。在全局快门方法中，在包括在帧200中的所有像素电路100中同时执行曝光。如图8B所示，这使得可以获得对于每一行都相同的曝光定时。因此，例如，即使在成像设备1与被摄体之间的水平位置关系高速变化的情况下，在帧200中捕获的图像206也不会由于变化而失真，如图8C所示。
全局快门方法使得可以确保包括在帧200中的全像素电路100中的曝光定时的同时性。因此，通过控制由每一行的像素信号线106提供的每个脉冲的定时和由每个垂直信号线VSL传输的定时，可以以各种模式实现采样(像素信号的读出)。
图9A和图9B是示意性示出可以在全局快门方法中实现的采样模式的示例的示图。图9A是从以包括在帧200中的矩阵布置的每个像素电路100中以方格模式提取像素信号读出的样本208的示例。此外，图9B是从每个像素电路100以网格模式中提取像素信号读出的样本208的示例。此外，同样在全局快门方法中，类似于上述卷帘快门方法，可以以行的顺序依次执行成像。
(2-3.深度神经网络(DNN))
接下来，将示意性地描述适用于每个实施方式的使用深度神经网络(DNN)的识别处理。在每个实施方式中，通过使用DNN中的卷积神经网络(CNN)并且尤其是递归神经网络(RNN)来执行图像数据的识别处理。在下文中，“图像数据的识别处理”将被适当地称为“图像识别处理”等。
(2-3-1.CNN的概述)
首先，将示意性地描述CNN。在使用CNN的图像识别处理中，基于由以矩阵布置的像素提供的图像信息来执行图像识别处理。图10是示意性示出由CNN执行的图像识别处理的示图。包括作为识别目标的对象的数字“8”的绘图的整个图像50的像素信息51由已经以预定方式训练的CNN 52处理。通过该处理，数字“8”被识别为识别结果53。
相对照地，也可以基于每一行的图像应用CNN的处理，以从作为识别目标的图像的一部分获得识别结果。图11是示意性示出从作为识别目标的图像的一部分获得识别结果的图像识别处理的示图。在图11中，图像50’是以行为单位获得的作为识别目标的对象的数字“8”的部分获取的图像。例如，形成图像50’的像素信息51’的各行的各条像素信息54a、54b和54c由已经以预定方式训练的CNN 52’依次处理。
例如，此处是一种可假设的情况，其中，由CNN 52’对第一行的像素信息54a执行的识别处理获得的识别结果53a不是有效的识别结果。在此处，有效识别结果是指指示识别结果的可靠性的分数为预定值或更高的识别结果。CNN 52’基于该识别结果53a执行内部状态更新55。接下来，第二行的像素信息54b经历由CNN 52’执行的识别处理，该CNN 52’已经基于先前的识别结果53a执行了内部状态更新55。在图11中，作为该处理的结果，已经获得了指示作为识别目标的数字是“8”或“9”的识别结果53b。此外，基于该识别结果53b，更新55CNN 52’的内部信息。接下来，第三行的像素信息54c经历由CNN 52’执行的识别处理，该CNN 52’已经基于先前的识别结果53b执行了内部状态更新55。因此，在图11中，作为识别目标的数字缩小到“8”或“9”中的“8”。
在此处，图11所示的识别处理使用先前识别处理的结果来更新CNN的内部状态。接下来，内部状态已经被更新的CNN使用与已经执行了先前识别处理的行相邻的行的像素信息来执行识别处理。即，图11所示的识别处理对于基于先前识别结果更新CNN的内部状态的图像，以行的顺序依次执行。因此，图11所示的识别处理是以行的顺序重复依次执行的处理，并且可以被认为具有等同于RNN的处理的结构。
(2-3-2.RNN的概述)
接下来，将示意性地描述RNN。图12A和图12B是示意性示出当不使用时间序列信息时由DNN执行的识别处理(identification process)(识别处理(recognition process))的示例的示图。在这种情况下，如图12A所示，一个图像被输入到DNN。DNN对输入图像执行识别处理，并输出识别结果。
图12B是用于提供图12A的处理的更具体图示的示图。如图12B所示，DNN执行特征提取处理和识别处理。DNN对输入图像执行特征提取处理，从而提取图像的特征数据。此外，DNN对所提取的特征数据执行识别处理，并获得识别结果。
图13A和图13B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第一示例的示图。在图13A和图13B的示例中，使用时间序列中固定数量的过去信息来执行具有DNN的识别处理。在图13A的示例中，时间T处的图像[T]、时间T之前的时间T-1处的图像[T-1]以及时间T-1之前的时间T-2处的图像[T-2]被输入到DNN。DNN对每个输入图像[T]、[T-1]和[T-2]执行识别处理，从而获得时间T处的识别结果[T]。
图13B是用于提供图13A的处理的更具体图示的示图。如图13B所示，DNN对输入图像[T]、[T-1]和[T-2]中的每一个执行上面参考图12B描述的特征提取处理，从而提取分别对应于图像[T]、[T-1]和[T-2]的特征数据。DNN对基于这些图像[T]、[T-1]和[T-2]获得的特征数据进行集成，并且进一步对所集成的特征数据执行识别处理，从而获得时间T处的识别结果。
图13A和图13B的方法将使得有必要具有用于执行特征数据提取的多个配置以及有必要具有用于根据可用的过去图像的数量来执行特征数据提取的配置，从而导致DNN配置的放大。
图14A和图14B是示意性示出当使用时间序列信息时由DNN执行的识别处理的第二示例的示图。在图14A的示例中，在时间T的图像[T]被输入到内部状态已经被更新到时间T-1的状态的DNN，从而获得时间T处的识别结果[T]。
图14B是用于提供图14A的处理的更具体图示的示图。如图14B所示，DNN对输入的时间T处的图像[T]执行上面参考图12B描述的特征提取处理，从而提取对应于图像[T]的特征数据。在DNN中，内部状态已经由时间T之前的图像更新，并且保留与更新的内部状态相关的特征数据。与保留的内部信息相关的特征和图像[T]上的特征数据被集成，并且对所集成的特征数据执行识别处理。
图14A和图14B所示的识别处理使用其内部状态已经使用紧接在前的识别结果更新的DNN执行，并且因此是循环处理。以这种方式执行循环处理的DNN被称为循环神经网络(RNN)。由RNN执行的识别处理通常用于运动图像识别等，其中，例如可以通过以时间序列更新的帧图像依次更新DNN的内部状态来提高识别精度。
在本公开中，RNN被应用于卷帘快门方法结构。即，在卷帘快门方法中，像素信号以行的顺序依次读出。以行的顺序依次读出的像素信号作为关于时间序列的信息被施加到RNN。与使用CNN的情况相比，这使得可以基于具有较小配置的多行来执行识别处理(参考图13B)。不限于此，RNN也可以应用于全局快门方法的结构。在这种情况下，例如，可以设想将相邻行视为时间序列中的信息。
(2-4.驱动速度)
接下来，将参考图15A和图15B描述帧驱动速度与像素信号读出量之间的关系。图15A是示出读出图像中的所有行的示例的示图。在此处，假设作为识别处理目标的图像的分辨率是水平640像素×垂直480像素(480行)。在这种情况下，当以14400[行/秒]的驱动速度驱动时，可以以30[帧/秒(fps)]输出。
接下来，此处是在行细化的同时执行成像的可假设的情况。例如，如图15B所示，假设通过跳过每隔一行来执行成像，即，通过使用1/2细化的读出来执行成像。作为1/2细化的第一示例，如上所述以14400[行/秒]的驱动速度驱动将从图像读出的行数减半。尽管降低了分辨率，但是可以以60[fps]的速率实现输出，这是没有细化的情况下的两倍，从而提高了帧速率。1/2细化的第二示例是以7200[fps]的驱动速度执行驱动的情况，这是第一示例的一半。在这种情况下，尽管帧速率将为30[fps]，类似于没有细化的情况，但是实现了省电。
当读出图像行时，根据基于要读出的像素信号的识别处理的目的，可以选择是不执行细化、执行细化以增加驱动速度，还是执行细化并且驱动速度保持在与没有细化的情况相同的速度。
[3.本公开的概述]
在下文中，将更详细地描述本公开的每个实施方式。首先，将示意性地描述根据本公开的每个实施方式的处理。图16是示意性示出根据本公开的每个实施方式的识别处理的示意图。在图16中，在步骤S1，根据每个实施方式的成像设备1(参考图1)开始对作为识别目标的目标图像进行成像。
注意，目标图像例如是手写数字“8”的图像。此外，作为前提，存储器13预先存储被训练为能够通过预定训练数据识别数字的学习模型作为程序，并且识别处理单元12从存储器13读出该程序并执行该程序，从而使得能够识别包括在图像中的数字。此外，成像设备1将通过卷帘快门方法执行成像。即使当成像设备1通过全局快门方法执行成像时，也可以类似于卷帘快门方法的情况应用以下处理。
当成像开始时，成像设备1在步骤S2中从帧的上端侧到下端侧以行为单位依次读出帧。
当该行被读出到特定位置时，识别处理单元12从读出的行的图像中识别数字“8”或“9”(步骤S3)。例如，数字“8”和“9”包括上半部分共有的特征。因此，在从顶部按顺序读出行并识别特征的点处，所识别的对象可以被识别为数字“8”或数字“9”。
在此处，如步骤S4a中所示，通过读取到帧的下端的行或下端附近的行，出现所识别的对象的整个图片，并且在步骤S2中被识别为数字“8”或“9”的对象现在被确定为数字“8”。
相对照地，步骤S4b和S4c是与本公开相关的处理。
如步骤S4b所示，当从步骤S3读出的行位置进一步读取该行时，即使在到达数字“8”的下端之前，所识别的对象也可以被识别为数字“8”。例如，数字“8”的下半部分和数字“9”的下半部分具有不同的特征。通过读出阐明特征差异的部分的行，可以识别在步骤S3中识别的对象是数字“8”还是“9”。在图16的示例中，在步骤S4b中，对象被确定为数字“8”。
此外，如步骤S4c所示，还可以设想在步骤S3的状态下从步骤S3的行位置进一步读出，以便跳转到在步骤S3中识别的对象似乎能够被确定为数字“8”或数字“9”的行位置。通过读出跳转所到达的行，可以确定在步骤S3中识别的对象是数字“8”还是“9”。跳转所到达的行位置可以基于根据预定训练数据预先训练的学习模型来确定。
在此处，在上述步骤S4b或步骤S4c中识别出对象的情况下，成像设备1可以结束识别处理。这使得可以缩短识别处理并节省成像设备1中的功率。
注意，训练数据是保持每个读出单元的输入信号和输出信号的多个组合的数据。作为示例，在识别上述数字的任务中，每个读出单元的数据(行数据、子采样数据等)可用作输入信号，并且指示“正确数字”的数据可用作输出信号。作为另一示例，在检测对象的任务中，每个读出单元的数据(行数据、子采样数据等)可用作输入信号，并且对象类别(人/车辆/非对象)、对象的坐标(x，y，h，w)等可用作输出信号。此外，可以通过使用自监督学习仅从输入信号生成输出信号。
[4.第一实施方式]
接下来，将描述本公开的第一实施方式。
(4-1.识别处理单元中的操作示例)
在根据第一实施方式的成像设备1中，如上所述，识别处理单元12读出并执行存储在存储器13中的程序作为基于预定训练数据预先训练的学习模型，从而用作使用DNN的识别器。
图17是示出由根据第一实施方式的识别处理单元12执行的识别处理的示例的流程图。在图17中，在步骤S121中，构成成像设备1中的识别处理单元12的DSP从存储器13读出学习模型并执行该学习模型。通过该处理，DSP用作识别处理单元12。
接下来，在步骤S122中，成像设备1中的识别处理单元12指示传感器控制器11开始从传感器单元10读出帧。在该帧读出中，例如，以行为单位(也称为行单位)依次读出一帧图像数据。识别处理单元12确定是否已经读出一帧中预定行数的图像数据。
当识别处理单元12确定已经读出一帧中预定行数的图像数据时(步骤S123，“是”)，识别处理单元12前进到步骤S124的处理。在步骤S124中，识别处理单元12对预定行数的读取图像数据执行作为使用CNN的机器学习处理的识别处理。即，识别处理单元12使用学习模型对作为单位区域的预定行数的图像数据执行机器学习处理。使用CNN的机器学习处理包括执行各种识别或检测处理，诸如，面部检测、面部认证、视线检测、面部表情识别、面部方向检测、对象检测、对象识别、运动(移动体)检测、宠物检测、场景识别、状态检测、回避目标对象识别和其他处理。
在此处，面部检测是检测包括在图像数据中的人的面部的处理。面部认证是生物认证中的一种，并且是认证包括在图像数据中的人的面部是否与预先登记的人的面部匹配的处理。视线检测是检测包括在图像数据中的人的视线方向的处理。面部表情识别是识别包括在图像数据中的人的面部表情的处理。面部方向检测是检测包括在图像数据中的人的面部的上/下方向的处理。对象检测是检测包括在图像数据中的对象的处理。对象识别是识别包括在图像数据中的对象是什么的处理。运动(移动体)检测是检测包括在图像数据中的移动体的处理。宠物检测是检测包括在图像数据中的诸如狗或猫的宠物的处理。场景识别是识别正在拍摄的场景(海、山等)的处理。状态检测是检测包括在图像数据中的人等的状态(正常状态、异常状态等)的处理。回避目标对象识别是在人移动的情况下将存在于行进方向前方的对象识别为回避目标的处理。由识别处理单元12执行的机器学习处理不限于这些示例。
在步骤S125中，识别处理单元12确定在步骤S124中使用CNN的机器学习处理是否成功。当识别处理单元12确定使用CNN的机器学习处理成功时(步骤S125，“是”)，识别处理单元12前进到步骤S129的处理。相对照地，当识别处理单元12确定在步骤S124中使用CNN的机器学习处理失败时(步骤S125，“否”)，识别处理单元12前进到步骤S126的处理。在步骤S126中，识别处理单元12等待从传感器控制器11读出下一预定行数的图像数据(步骤S126，“否”)。
在本描述中，机器学习处理的成功意味着例如在如上所述的面部检测、面部认证等中已经获得了特定的检测结果、识别结果或认证。相对照地，机器学习处理的失败意味着例如在如上所述的面部检测、面部认证等中尚未获得足够的检测结果、识别结果和认证。
接下来，在步骤S126中，当读出下一预定行数的图像数据(单位区域)时(步骤S126，“是”)，识别处理单元12在步骤S127中对读出的预定行数的图像数据执行使用RNN的机器学习处理。对于同一帧的图像数据，使用RNN的机器学习处理也利用到目前为止执行的使用CNN或RNN的机器学习处理的结果。
在步骤S128中已经确定在步骤S127中使用RNN的机器学习处理成功的情况下(步骤S128，“是”)，识别处理单元12前进到步骤S129的处理。
在步骤S129中，识别处理单元12将例如在步骤S124或步骤S127中成功获得的机器学习结果从识别处理单元12提供给输出控制器15。例如，在步骤S129中输出的机器学习结果是由识别处理单元12获得的有效识别结果。识别处理单元12可以将机器学习结果存储在存储器13中。
此外，当识别处理单元12在步骤S128中确定在步骤S127中使用RNN的机器学习处理失败(步骤S128，“否”)时，识别处理单元12前进到步骤S130的处理。在步骤S130中，识别处理单元12确定是否完成一帧的图像数据的读出。当已经确定尚未完成一帧的图像数据的读出时(步骤S130，“否”)，识别处理单元12将处理返回到步骤S126，在步骤S126中，将执行下一预定行数的图像数据的处理。
相对照地，当识别处理单元12在步骤S130中确定完成一帧的图像数据的读出时(步骤S130，“是”)，识别处理单元12在步骤S131中确定是否结束图17中的流程图的一系列处理。当识别处理单元12确定不结束处理时(步骤S131，“否”)，识别处理单元12将处理返回到步骤S122，并对下一帧执行类似的操作。当识别处理单元12确定结束处理时(步骤S131，“是”)，识别处理单元12结束图17的流程图的一系列处理。
可以基于是否已经从成像设备1的外部输入了结束指令或者基于是否已经完成对于预定数量的帧的图像数据的一系列处理来确定在步骤S131中是否前进到下一帧。
此外，存在可假设的情况，其中，相继执行诸如面部检测、面部认证、视线检测、面部表情识别、面部方向检测、对象检测、对象识别、运动(移动体)检测、场景识别或状态检测的机器学习处理。在这种情况下，在先前的机器学习处理失败的情况下，可以跳过后一个机器学习处理。例如，当在面部检测之后要执行面部认证时，在面部检测已经失败的情况下，可以跳过后一个面部认证处理。
(4-2.识别处理单元中的操作的具体示例)
接下来，将参考具体示例描述参考图17描述的机器学习单元的操作。在下文中，将说明使用DNN执行面部检测的情况。
图18是示出一帧的图像数据的示例的示图。图19是示出由根据第一实施方式的识别处理单元12执行的机器学习处理的流程的示图。
当通过机器学习对如图18所示的图像数据执行面部检测时，如图19的部分(a)所示，识别处理单元12首先接收预定行数的图像数据的输入(对应于图17中的步骤S123)。通过对已经输入的预定行数的图像数据执行使用CNN的机器学习处理，识别处理单元12执行面部检测(对应于图17中的步骤S124)。然而，由于在图19的部分(a)的阶段尚未输入整个面部的图像数据，因此识别处理单元12面部检测失败(对应于图17的步骤S125中的“否”)。
随后，如图19的部分(b)所示，下一预定行数的图像数据被输入到识别处理单元12(对应于图17的步骤S126)。当利用对图19的部分(a)中输入的预定行数的图像数据执行的使用CNN的机器学习处理的结果时，识别处理单元12对新输入的预定行数的图像数据执行使用RNN的机器学习处理，从而执行面部检测(对应于图17中的步骤S127)。
在图19的部分(b)的阶段，整个面部的图像数据与在图19的部分(a)的阶段输入的预定行数的像素数据一起输入。因此，在图19的部分(b)的阶段，识别处理单元12成功进行面部检测(对应于图17的步骤S128中的“是”)。这使得该操作输出面部检测的结果，而不读出下一个和随后的图像数据(图19的部分(c)至(f)中的图像数据)(对应于图17中的步骤S129)。
以这种方式，通过对预定行数的图像数据执行使用DNN的机器学习处理，可以省略在面部检测成功的点之后读出图像数据和执行机器学习处理。这使得可以在短时间内完成诸如检测、识别和认证的处理，从而减少处理时间和功耗。
预定行数是由学习模型的算法所需的滤波器的大小确定的行数，并且最小数量是一行。
此外，由传感器控制器11从传感器单元10读出的图像数据可以是在列方向和行方向中的至少一个方向上细化的图像数据。在这种情况下，例如，当在列方向上每隔一行读出图像数据时，将读出第2(N-1)行(N是1或更大的整数)上的图像数据。
此外，在学习模型算法所需的滤波器不是以行为单位形成，而是以诸如1×1像素或5×5像素的像素为单位形成为矩形区域的情况下，对应于滤波器的形状和大小的矩形区域中的图像数据而不是预定行数的图像数据作为识别处理单元12在其上执行机器学习处理的单位区域的图像数据可以被输入到识别处理单元12。
此外，尽管以上将CNN和RNN作为DNN的示例进行了说明，但是本公开不限于这些，并且可以使用其他学习模型。
(4-3.第一实施方式的应用示例)
接下来，将描述第一实施方式的应用示例。在此处，作为第一实施方式的应用示例，以下是例如基于图17的流程图的步骤S124中通过CNN执行的机器学习处理的结果和步骤S127中通过RNN执行的机器学习处理的结果来控制要执行接下来读出的预定行数的曝光的示例。图20A和图20B是示出第一实施方式的应用示例的示意图。
图20A的部分(a)是示出过度曝光的图像60a的示例的示意图。图像60a的过度曝光导致图像60a整体看起来发白。例如，作为包括在图像60a中的对象的监视器62在屏幕中具有被称为突出显示(blown-out highlight)的现象，使得人眼难以区分细节。另一方面，作为包括在图像60a中的另一对象的人61由于过度曝光而略微发白，但是与监视器62相比，人眼似乎容易识别它。
图20A的部分(b)是示出曝光不足的图像60b的示例的示意图。图像60b的曝光不足导致图像60b整体看起来发黑。例如，图像60a中可见的人61现在难以被人眼识别。另一方面，与图像60a相比，包括在图像60b中的监视器62可以被人眼详细地识别。
图20B是示出根据第一实施方式的应用示例的读出方法的示意图。图20B的部分(a)和(b)示出了在上述图17的流程图的步骤S122中在曝光不足状态下开始帧读出的情况。
图20B的部分(a)示出了根据第一实施方式的应用示例中的第一示例的读出方法。图20B的部分(a)的图像60c指示例如在步骤S124中关于帧顶部的行L#1使用CNN的识别处理已经失败，或者表示识别结果的可靠性的分数是预定值或更小。在这种情况下，识别处理单元12指示传感器控制器11将在步骤S126中读出的行L#2的曝光设置为适合于识别处理的曝光(在这种情况下，设置为更大的曝光量)。在图20B中，行L#1、L#2等可以是一个单独的行，或者可以是彼此相邻的多行。
在图20B的部分(a)中的示例中，行L#2的曝光量大于行L#1的曝光量。在这种情况下，假设结果是行L#2的过度曝光，并且在步骤S127中使用RNN的识别处理已经失败，或者分数是预定值或更小。识别处理单元12指示传感器控制器11将在处理从步骤S130返回到步骤S126之后要读出的行L#3的曝光量设置为小于行L#2的曝光量。类似地，也将根据识别处理的结果来为行#4、…、L#m、…依次设置下一行的曝光量。
以这种方式，通过基于特定行的识别结果来调整接下来要读出的行的曝光量，可以以更高的精度执行识别处理。
此外，作为上述应用示例的进一步应用，如图20B的部分(b)所示，存在一种可想到的方法，用于在完成读出到预定行的点处重新设置曝光，并且然后从帧的第一行再次执行读出。如图20B的部分(b)所示，识别处理单元12例如类似于上述部分(a)从帧顶部的行L#1读出到行L#m(第一)，并基于识别结果重新设置曝光。识别处理单元12基于重新设置的曝光再次读出该帧的各个行L#1、L#2等(第二)。
以这种方式，基于预定数量的行的读出结果来重新设置曝光，将基于重新设置的曝光从帧的顶部再次读出行L#1、L#2、…，使得可以以更高的精度执行识别处理。
[5.第二实施方式]
(5-0-1.根据第二实施方式的配置示例)
接下来，将描述本公开的第二实施方式。第二实施方式是根据上述第一实施方式的识别处理的扩展。图21是示出根据第二实施方式的成像设备的功能的示例的功能框图。注意，图21省略了图1所示的光学单元30、传感器单元10、存储器13和显示单元31的图示。此外，图21具有添加到图1的配置中的触发发生器16。
在图21中，传感器控制器11包括读出单元110和读出控制器111。识别处理单元12包括特征数据计算单元120、特征数据存储控制器121、读出确定器123和识别处理执行单元124。特征数据存储控制器121包括特征数据存储单元122。此外，视觉识别处理单元14包括图像数据存储控制器140、读出确定器142和图像处理单元143。图像数据存储控制器140包括图像数据存储单元141。
在传感器控制器11中，读出控制器111从包括在识别处理单元12中的读出确定器123接收表示用于由识别处理单元12执行的读出的读出区域的读出区域信息。读出区域信息表示一行或多行的行号。不限于此，读出区域信息可以是指示一行中的像素位置的信息。此外，通过提供通过组合一个或多个行号和指示行中一个或多个像素的像素位置的信息获得的读出区域信息，可以指定各种模式的读出区域。读出区域相当于读出单元。不限于此，读出区域和读出单元可以不同。
类似地，读出控制器111从包括在视觉识别处理单元14中的读出确定器142接收指示用于由视觉识别处理单元14执行的读出的读出区域的读出区域信息。
基于这些读出确定器123和142，读出控制器111将指示用于实际读出的读出区域的读出区域信息传递给读出单元110。例如，在从读出确定器123接收的读出区域信息与从读出确定器142接收的读出区域信息之间存在冲突的情况下，读出控制器111可以对要传递到读出单元110的读出区域信息执行调解和调整。
此外，读出控制器111可以从读出确定器123或读出确定器142接收指示曝光和模拟增益的信息。读出控制器111将所接收的指示曝光和模拟增益的信息传递给读出单元110。
读出单元110根据从读出控制器111传递的读出区域信息从传感器单元10读出像素数据。例如，读出单元110基于读出区域信息获得指示要读出的行的行号和指示要读出的行中的像素的位置的像素位置信息，并将所获得的行号和像素位置信息传递给传感器单元10。读出单元110将从传感器单元10获取的各个像素数据与读出区域信息一起传递到识别处理单元12和视觉识别处理单元14。
此外，读出单元110根据从读出控制器111接收的指示曝光和模拟增益的信息来设置传感器单元10的曝光和模拟增益。此外，读出单元110可以生成垂直同步信号和水平同步信号，并将所生成的信号提供给传感器单元10。
在识别处理单元12中，读出确定器123从特征数据存储控制器121接收指示接下来要读出的读出区域的读出信息。读出确定器123基于所接收的读出信息生成读出区域信息，并将所生成的信息传递给读出控制器111。
在此处，读出确定器123可以使用例如用于读出读出单元的像素数据的读出位置信息已经被添加到预定读出单元的信息作为读出区域信息中指示的读出区域。读出单元是一个或多个像素的集合，并且对应于由识别处理单元12和视觉识别处理单元14执行的处理单元。作为示例，当读出单元是行时，将添加指示行位置的行号[L#x]作为读出位置信息。此外，当读出单元是包括多个像素的矩形区域时，将添加指示像素阵列单元101中的矩形区域的位置的信息(例如，指示左上角的像素的位置的信息)作为读出位置信息。读出确定器123预先指定要应用的读出单元。不限于此，读出确定器123还可以例如响应于来自读出确定器123外部的指令来确定读出单元。因此，读出确定器123用作控制读出单元的读出单元控制器。
注意，读出确定器123还可以基于从将在下面描述的识别处理执行单元124传递的识别信息来确定接下来要读出的读出区域，并且可以生成指示所确定的读出区域的读出区域信息。
类似地，在视觉识别处理单元14中，读出确定器142例如从图像数据存储控制器140接收指示接下来要读出的读出区域的读出信息。读出确定器142基于所接收的读出信息生成读出区域信息，并将所生成的信息传递给读出控制器111。
在识别处理单元12中，特征数据计算单元120基于从读出单元110传递的像素数据和读出区域信息来计算由读出区域信息指示的区域中的特征数据。特征数据计算单元120将计算出的特征数据传递给特征数据存储控制器121。
如下所述，特征数据计算单元120可以基于从读出单元110传递的像素数据和从特征数据存储控制器121传递的过去的特征数据来计算特征数据。不限于此，特征数据计算单元120可以例如从读出单元110获取用于设置曝光和模拟增益的信息，并且可以进一步使用所获取的信息来计算特征数据。
在识别处理单元12中，特征数据存储控制器121将从特征数据计算单元120传递的特征数据存储在特征数据存储单元122中。此外，当从特征数据计算单元120传递特征时，特征数据存储控制器121生成指示用于下一次读出的读出区域的读出信息，并将所生成的信息传递给读出确定器123。
在此处，特征数据存储控制器121可以集成存储已经存储的特征数据和新传递的特征数据。此外，特征数据存储控制器121可以从存储在特征数据存储单元122中的特征数据中删除不必要的特征数据。不必要的特征数据的示例可以是与前一帧相关的特征数据，或者是基于关于与计算并已经存储了新特征数据的帧图像不同的场景的帧图像计算的特征数据。此外，特征数据存储控制器121还可以根据需要删除和初始化存储在特征数据存储单元122中的所有特征数据。
此外，特征数据存储控制器121基于从特征数据计算单元120传递的特征数据和存储在特征数据存储单元122中的特征数据，生成由识别处理执行单元124用于识别处理的特征数据。特征数据存储控制器121将所生成的特征数据传递给识别处理执行单元124。
识别处理执行单元124基于从特征数据存储控制器121传递的特征数据执行识别处理。识别处理执行单元124通过识别处理来执行对象检测、面部检测等。识别处理执行单元124将通过识别处理获得的识别结果传递给输出控制器15。识别处理执行单元124还可以将包括由识别处理生成的识别结果的识别信息传递给读出确定器123。识别处理执行单元124可以从特征数据存储控制器121接收特征数据，并且例如根据由触发发生器16生成的触发的执行来执行识别处理。
同时，在视觉识别处理单元14中，图像数据存储控制器140从读出单元110接收从读出区域读出的像素数据和对应于图像数据的读出区域信息。图像数据存储控制器140将像素数据和读出区域信息彼此关联地存储在图像数据存储单元141中。
图像数据存储控制器140基于从读出单元110传递的像素数据和存储在图像数据存储单元141中的图像数据，生成由图像处理单元143用于执行图像处理的图像数据。图像数据存储控制器140将所生成的图像数据传递给图像处理单元143。不限于此，图像数据存储控制器140还可以将从读出单元110传递的像素数据按原样传递到图像处理单元143。
此外，图像数据存储控制器140基于从读出单元110传递的读出区域信息，生成指示用于下一次读出的读出区域的读出信息，并将所生成的读出信息传递给读出确定器142。
在此处，例如，图像数据存储控制器140可以使用加法平均来执行已经存储的图像数据和新传递的像素数据的集成存储。此外，图像数据存储控制器140可以从存储在图像数据存储单元141中的图像数据中删除不必要的图像数据。不必要的图像数据的示例可以是与前一帧相关的图像数据，或者是基于关于与计算并已经存储了新图像数据的帧图像不同的场景的帧图像计算的图像数据。此外，图像数据存储控制器140还可以根据需要删除和初始化存储在图像数据存储单元141中的所有图像数据。
此外，图像数据存储控制器140可以从读出单元110获取用于设置曝光和模拟增益的信息，并且可以将使用所获取的信息校正的图像数据存储在图像数据存储单元141中。
图像处理单元143对从图像数据存储控制器140传递的图像数据执行预定的图像处理。例如，图像处理单元143可以对图像数据执行预定的图像质量增强处理。此外，在所传递的图像数据是通过行细化等在空间上减少数据的图像数据的情况下，可以使用插值处理来将图像信息填充到细化部分。图像处理单元143将已经经过图像处理的图像数据传递给输出控制器15。
图像处理单元143可以从图像数据存储控制器140接收图像数据，并且例如根据由触发发生器16生成的触发的执行来执行图像处理。
输出控制器15输出从识别处理执行单元124传递的识别结果和从图像处理单元143传递的图像数据中的一个或两个。输出控制器15例如根据由触发发生器16生成的触发输出识别结果和图像数据中的一个或两个。
基于从识别处理单元12传递的与识别处理相关的信息和从视觉识别处理单元14传递的与图像处理相关的信息，触发发生器16生成包括要传递到识别处理执行单元124的触发、要传递到图像处理单元143的触发和要传递到输出控制器15的触发的触发。触发发生器16在预定定时分别将所生成的每个触发传递给识别处理执行单元124、图像处理单元143和输出控制器15。
(5-0-2.根据第二实施方式的识别处理单元中的处理的示例)
图22是更详细地示出根据第二实施方式的识别处理单元12中的处理的示例的示意图。在此处，假设读出区域是行，并且读出单元110从图像60的帧的上端到下端以行为单位读出像素数据。由读出单元110以行为单位读出的行L#x的行图像数据(行数据)将被输入到特征数据计算单元120。
特征数据计算单元120执行特征数据提取处理1200和集成处理1202。特征数据计算单元120对所输入的行数据执行特征数据提取处理1200，以从行数据中提取特征数据1201。在此处，特征数据提取处理1200基于通过预先学习获得的参数从行数据中提取特征数据1201。使用集成处理1202，由特征数据提取处理1200提取的特征数据1201与由特征数据存储控制器121处理的特征数据1212集成。所集成的特征数据1210被传递到特征数据存储控制器121。
特征数据存储控制器121执行内部状态更新处理1211。传递到特征数据存储控制器121的特征数据1210被传递到识别处理执行单元124，并经历内部状态更新处理1211。内部状态更新处理1211基于预先学习的参数减少特征数据1210，以便更新DNN的内部状态，并且然后生成对应于更新的内部状态的特征数据1212。特征数据1212通过集成处理1202与特征数据1201集成。由特征数据存储控制器121执行的处理对应于使用RNN的处理。
识别处理执行单元124基于例如使用预定训练数据预先学习的参数，对从特征数据存储控制器121传递的特征数据1210执行识别处理1240，并输出识别结果。
如上所述，基于预先学习的参数，根据第二实施方式的识别处理单元12执行处理，具体地，特征数据提取处理1200、集成处理1202、内部状态更新处理1211和识别处理1240。使用基于可假设的识别目标的训练数据来执行参数学习。
注意，例如，当存储在存储器13等中的程序被包括在成像设备1中的DSP读取并执行时，实现上述特征数据计算单元120、特征数据存储控制器121、读出确定器123和识别处理执行单元124的功能。类似地，例如，当存储在存储器13等中的程序被包括在成像设备1中的ISP读取并执行时，实现上述图像数据存储控制器140、读出确定器142和图像处理单元143的功能。这些程序可以预先存储在存储器13中，或者可以从外部提供给成像设备1并写入存储器13。
(5-0-3.根据第二实施方式的识别处理的细节)
接下来，将更详细地描述第二实施方式。图23是示出根据第二实施方式的功能的示例的功能框图。由于第二实施方式主要描述由识别处理单元12执行的识别处理，因此图23省略了在图21的配置中示出的视觉识别处理单元14、输出控制器15和触发发生器16的图示。此外，图23从传感器控制器11省略了读出控制器111的图示。
图24是示出根据第二实施方式的帧读出处理的示意图。在第二实施方式中，读出单元是行，并且对于帧Fr(x)，以行的顺序依次执行像素数据的读出。在图24的示例中，在第m帧Fr(m)中，以从帧Fr(m)的上端处的行L#1开始的行的顺序依次执行行的读出，以便继续到行L#2、L#3等。当完成帧Fr(m)中的行读出时，在作为第(m+1)帧的下一帧Fr(m+1)中，以类似的方式按照从上端行L#1开始的行的顺序依次执行行的读出。
图25是示意性示出根据第二实施方式的识别处理的示意图。如图25所示，通过对每行L#1、L#2、L#3等的每个像素信息54依次执行由CNN52’执行的处理和内部信息更新55来执行识别处理。因此，将一行的像素信息54输入到CNN 52’中就足够了，使得可以在极小的规模上形成识别器56。注意，识别器56具有作为RNN的配置，因为它对依次输入的信息执行CNN 52’的处理，并执行内部信息更新55。
通过使用RNN以行的顺序依次执行识别处理，可能获得有效的识别结果，而无需执行包括在帧中的所有行的读出。在这种情况下，识别处理单元12可以在获得有效的识别结果的点处结束识别处理。将参考图26和图27描述在帧读出的中间结束识别处理的示例。
图26是示出识别目标是数字“8”的示例性情况的示图。在图26的示例中，在已经读出垂直方向上的帧70的大约3/4的范围71的点处识别数字“8”。因此，识别处理单元12可以输出指示在已经读出范围71的点处识别数字“8”的有效的识别结果，并且可以结束帧70的行读出处理和识别处理。
图27是示出当识别目标是人时的示例的示图。在图27的示例中，在已经读出垂直方向上的帧的72大约1/2的范围73的点处识别人74。因此，识别处理单元12可以输出指示在已经读出范围73的点处识别人74的有效的识别结果，并且可以结束帧72的行读出处理和识别处理。
以这种方式，在第二实施方式中，当在帧的行读出的中间获得有效的识别结果时，可以结束行读出和识别处理。这使得可以节省识别处理中的功率并缩短识别处理所需的时间。
尽管以上是从帧的上端侧到下端侧执行行读出的示例，但是读出方向不限于该示例。例如，可以从帧的下端侧到上端侧执行行读出。即，通过从帧的上端侧到下端侧执行行读出，通常可以更早地识别远离成像设备1存在的对象。相对照地，通过从帧的下端侧到上端侧执行行读出，通常可以更早地识别相对于成像设备1存在于前侧的对象。
例如，存在成像设备1被安装用于车载应用以便对前视图成像的可设想的情况。在这种情况下，前方的对象(例如，本车辆前方的车辆或行人)存在于要成像的屏幕的下部。因此，从帧的下端侧到上端侧执行行读出将更有效。此外，当高级驾驶员辅助系统(ADAS)需要立即停止时，仅需要识别至少一个相应的对象。另外，在已经识别出一个对象的情况下，再次从帧的下端侧执行行读出被认为是更有效的。此外，例如，在高速公路上，存在远处的对象将被优先考虑的情况。在这种情况下，优选地从帧的上端侧到下端侧执行行读出。
此外，读出单元可以被设置为像素阵列单元101中的矩阵(行-列)方向中的列方向。例如，可以设想使用像素阵列单元101中以列布置的多个像素作为读出单元。作为成像方法的全局快门方法的应用使得可以使用列作为读出单元来执行基于列的读出。在全局快门方法中，可以通过在基于列的读出与基于行的读出之间切换来执行读出。例如，当读取被固定到基于列的读出时，可以设想将像素阵列单元101旋转90°并使用卷帘快门方法。
例如，通过基于列的读出从帧的左端侧依次读出，可以更早地识别存在于成像设备1左侧的对象。类似地，通过基于列的读出从帧的右端侧依次读出，可以更早地识别相对于成像设备1存在于右侧的对象。
在将成像设备1用于车载应用的使用示例中，例如，当车辆正在转弯时，在某些情况下，存在于转弯侧的对象将被优先考虑。在这种情况下，优选地通过基于列的读出从转弯侧的端部执行读出。例如，可以基于车辆的转向信息来获取转弯方向。不限于此，例如，可以为成像设备1提供能够检测三个方向上的角速度的传感器，并且基于该传感器的检测结果来获取转弯方向。
图28是示出根据第二实施方式的识别处理的示例的流程图。例如，根据图28的流程图的处理是对应于从帧的读出单元(例如，一行)中读出像素数据的处理。在此处，假设读出单元是一行。例如，读出区域信息可以由指示要读出的行的行号来表示。
在步骤S100中，识别处理单元12从由帧的读出行指示的行中读出行数据。更具体地，在识别处理单元12中，读出确定器123将关于接下来要读出的行的行号传递给传感器控制器11。在传感器控制器11中，读出单元110根据所传递的行号从传感器单元10读出由行号指示的行的像素数据作为行数据。读出单元110将从传感器单元10读出的行数据传递到特征数据计算单元120。此外，读出单元110将指示用于像素数据读出的区域的读出区域信息(例如，行号)传递给特征数据计算单元120。
在接下来的步骤S101中，特征数据计算单元120基于根据从读出单元110传递的像素数据的行数据来计算特征数据，并计算行的特征数据。在接下来的步骤S102中，特征数据计算单元120从特征数据存储控制器121获取存储在特征数据存储单元122中的特征数据。在接下来的步骤S103中，特征数据计算单元120将在步骤S101中计算的特征数据和在步骤S102中从特征数据存储控制器121获取的特征数据集成。所集成的特征数据被传递到特征数据存储控制器121。特征数据存储控制器121将从特征数据计算单元120传递的集成的特征数据存储在特征数据存储单元122中(步骤S104)。
注意，从步骤S100开始的一系列处理是针对帧的第一行的处理，并且因此，例如，当特征数据存储单元122被初始化时，可以省略步骤S102和S103中的处理。此时，根据步骤S104的处理是将基于第一行计算的行特征数据累积在特征数据存储单元122中的处理。
此外，特征数据存储控制器121也将从特征数据计算单元120传递的集成的特征数据传递到识别处理执行单元124。在步骤S105中，识别处理执行单元124使用从特征数据存储控制器121传递的集成的特征数据来执行识别处理。在接下来的步骤S106中，识别处理执行单元124输出步骤S105的识别处理的识别结果。
在步骤S107中，识别处理单元12中的读出确定器123根据从特征数据存储控制器121传递的读出信息来确定用于执行下一次读出的读出行。例如，特征数据存储控制器121从特征数据计算单元120接收读出区域信息以及特征数据。基于该读出区域信息，特征数据存储控制器121根据例如预定的读出模式(在该示例中，以行的顺序)确定接下来要读出的读出行。对于所确定的读出行，再次执行从步骤S100开始的处理。
(5-0-4.根据第二实施方式的读出和识别处理的控制的示例)
接下来，将描述根据第二实施方式的控制读出和识别处理的示例。图29A和图29B是示出根据第二实施方式的控制读出和识别处理的示例的时序图。图29A和图29B的示例是在一个成像周期(一个帧周期)内提供不执行成像操作的空白时间blk的示例。图29A和图29B示出时间向右传递。
图29A示出了将成像周期的1/2连续分配给空白时间blk的示例。在图29A中，成像周期对应于例如1/30[秒]的帧周期。在该帧周期中执行从传感器单元10读出帧。成像时间是对包括在帧中的所有行成像所需的时间长度。在图29A的示例中，假设帧包括n行，并且从行L#1到行L#n的n行的成像在1/60[秒]内(这是1/30[秒]的帧周期的1/2)完成。分配给一行成像的时间长度为1/(60×n)[秒]。从对帧中的最后一行L#n成像的定时到对下一帧的第一行L#1成像的定时的1/30[秒]的周期被定义为空白时间blk。
例如，在完成行L#1的成像的定时，开始下一行L#2的成像。同时，识别处理单元12对行L#1执行行识别处理，即，包括在行L#1中的像素数据的识别处理。在下一行L#2的成像开始之前，识别处理单元12结束对行L#1的行识别处理。当对行L#1的行识别处理完成时，识别处理单元12输出关于识别处理的识别结果。
类似地，对于下一行L#2，在完成行L#2的成像的定时，开始下一行L#3的成像。随后，识别处理单元12执行行L#2的行识别处理，并在下一行L#3的成像开始之前结束该执行的行识别处理。在图29A的示例中，以这种方式依次执行行L#1、L#2、#3、…、L#m、…的成像。在行L#1、L#2、L#3、…、L#m、…中的每一行中，在成像结束的定时，开始对成像完成的行的下一行的成像。在开始的同时，执行成像完成的行的行识别处理。
以这种方式，通过在读出单元(在该示例中为行)中，依次执行识别处理，可以依次获得识别结果，而无需将该帧的所有图像数据输入到识别器(识别处理单元12)，使得可以减少直到获得识别结果为止的延迟。此外，当在某一行上获得有效的识别结果时，可以在该点结束识别处理，从而减少识别处理的时间并节省功率。此外，通过传播时间轴上的信息并集成每一行的识别结果，可以逐渐提高识别精度。
在图29A的示例中，帧周期内的空白时间blk可以用于执行假设在帧周期内执行的其他处理(例如，使用识别结果的视觉识别处理单元14中的图像处理)。
图29B示出了为一行成像的每个时间提供空白时间blk的示例。在图29B的示例中，类似于图29A的示例，帧周期(成像周期)被设置为1/30[秒]。另一方面，成像时间被设置为1/30[秒]，这与成像周期相同。此外，在图29B的示例中，假设在一个帧周期中以1/(30×n)[秒]的时间间隔执行n行(即，行L#1至L#n)的行成像，并且一行的成像时间是1/(60×n)[秒]。
在这种情况下，可以为行L#1至L#n中的每一行的每个成像时间提供1/(60×n)[秒]的空白时间blk。在行L#1至L#n中的每一行的每个空白时间blk中，可以对相应行的捕获图像执行假定要执行的其他处理(例如，在使用识别结果的视觉识别处理单元14中的图像处理)。此时，可以将直到紧接目标行的下一行的成像结束之前的时间(在该示例中大约为1/(30×n)[秒])分配给其他处理。在图29B的示例中，可以逐行输出其他处理的处理结果，使得可以更快地获取其他处理的处理结果。
图30是示出根据第二实施方式的控制读出和识别处理的另一示例的时序图。在上述图29的示例中，包括在帧中的所有行L#1至L#n的成像在帧周期的1/2周期内完成，其中，帧周期的剩余的1/2周期被设置为空白时间。相对照地，在图30所示的示例中，使用所有帧周期来执行包括在帧中的所有行L#1至L#n的成像，而在帧周期内没有空白时间。
在此处，当一行的成像时间是与图29A和图29B的时间相同的1/(60×n)[秒]，并且包括在帧中的行数是与图29A和图29B的数量相同的n时，帧周期(即成像周期)将是1/60[秒]。因此，在没有提供图30所示的空白时间blk的示例中，与上述图29A和图29B的示例相比，可以增加帧速率。
[6.第三实施方式]
接下来，将描述本公开的第三实施方式。第三实施方式是控制识别处理单元12的识别结果和视觉识别处理单元14的用于视觉识别的图像数据的输出定时的示例。在第三实施方式中，参考图21，基于由触发发生器16生成的触发信号，对来自识别处理执行单元124的识别结果的输出和来自图像处理单元143的图像数据的输出执行控制。
(6-0.第三实施方式的概述)
图31是示出根据第三实施方式的输出控制处理的概述的示例的流程图。图31的流程图中的处理是针对读出单元的每次读出执行的处理。在下文中，假设读出单元是行，并且传感器控制器11从传感器单元10以行为单位读出像素数据。
在步骤S200中，读出单元110从传感器单元10中以行为单位读出像素数据(在下文中，适当地称为行数据)。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。视觉识别处理单元14将从读出单元110传递的像素数据传递到图像数据存储控制器140。例如，图像数据存储控制器140将所接收的像素数据存储在图像数据存储单元141中，并且还将像素数据传递给图像处理单元143。
同时，在步骤S201中，识别处理单元12基于从读出单元110传递的行数据，由特征数据计算单元120执行特征数据的计算，将计算出的特征数据存储在特征数据存储单元122中，并且由识别处理执行单元124基于存储在特征数据存储单元122中的集成的特征数据执行识别处理等。在接下来的步骤S202中，识别处理单元12从识别处理执行单元124输出识别处理的识别结果。在接下来的步骤S203中，在识别处理单元12中，读出确定器123生成指示下一读出行的读出区域信息，并将该信息传递给传感器控制器11。
在接下来的步骤S204中，触发发生器16根据例如步骤S202中的识别结果的输出，确定是否从图像处理单元143输出用于视觉识别的图像。在触发发生器16确定不输出用于视觉识别的图像的情况下(步骤S204，“否”)，触发发生器16前进到步骤S206的处理。相对照地，当触发发生器16确定输出用于视觉识别的图像时(步骤S204，“是”)，触发发生器16前进到步骤S205的处理。
在步骤S205中，触发发生器16执行输出处理，以输出触发信号。触发信号被传递到识别处理执行单元124、图像处理单元143和输出控制器15。响应于触发信号，识别处理执行单元124和图像处理单元143分别输出识别结果和图像数据。从识别处理执行单元124和图像处理单元143输出的识别结果和图像数据被分别传递到输出控制器15。
在接下来的步骤S206中，输出控制器15根据在步骤S205中从触发发生器16传递的触发信号执行输出控制处理，并且将识别结果和图像数据输出到后续阶段。
以这种方式，通过根据由触发发生器16生成的触发信号控制识别处理执行单元124、图像处理单元143和输出控制器15，可以在适当的定时输出识别结果和图像数据。
(6-0-1.按时间输出触发信号的示例)
图32是示意性示出根据第三实施方式的输出控制处理的示例的示意图。在此处，将描述触发发生器16基于时间输出触发信号的情况。
在图32中，成像设备1(参考图1)开始作为识别目标的目标图像(手写数字“8”)的成像。在步骤S10中，传感器控制器11根据从识别处理单元12传递的读出区域信息，在时间t0开始以帧中的行为单位读出帧。传感器控制器11从帧的上端侧到下端侧以行为单位依次读出帧。
当该行被读出到某个位置时，识别处理单元12从读出的行的图像中识别数字“8”或“9”(步骤S11)。基于从特征数据存储控制器121传递的集成的特征数据，识别处理单元12的读出确定器123生成读出区域信息，该读出区域信息指定预测在步骤S11中识别的对象可以被识别为数字“8”或“9”中的哪一个的行，并将所生成的信息传递到读出单元110。随后，识别处理单元12基于通过由读出单元110读出指定行而获得的像素数据来执行识别处理(步骤S12)。
触发发生器16在从开始读出的时间t0起经过预定时间之后的时间tTRG输出触发信号。例如，当在帧周期中以行为单位执行帧的读出时，触发发生器16以对应于帧周期的特定时间间隔输出触发信号。在图32的示例中，在步骤S12的处理点已经经过了时间tTRG，并且触发发生器16已经输出触发信号。响应于触发信号，识别处理执行单元124输出识别结果，并且图像处理单元143输出图像数据。此外，响应于触发信号，输出控制器15将从识别处理执行单元124输出的识别结果和从图像处理单元143输出的图像数据输出到后续阶段。
注意，识别处理单元12在与视觉识别处理单元14和触发发生器16中的定时不同的定时执行处理。因此，识别处理单元12有时在时间tTRG之前的时间完成识别处理。在这种情况下，识别处理单元12等待下一个处理，直到在时间tTRG从触发发生器16输出触发信号为止。
此外，此时，在识别处理单元12中的识别处理完成的点处存在尚未从帧中读出的未处理行的情况下，视觉识别处理单元14可以进一步读出未处理行。输出控制器15可以输出关于由视觉识别处理单元14读出的未处理行的行数据以及由识别处理单元12为识别处理读出的行数据。
可能存在识别处理单元12在时间点tTRG尚未完成识别处理的情况。在这种情况下，识别处理单元12响应于触发信号在时间点tTRG输出识别结果。
图33A和图33B是分别示出根据第三实施方式的成像设备1的识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能的功能框图。图33A和图33B分别示出了来自上述图21的配置的识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能。
如图33A所示，触发发生器16a以特定时间间隔将触发信号输出到识别处理执行单元124。此外，如图33B所示，触发发生器16a以特定时间间隔将触发信号输出到图像处理单元143。
图34是示出根据第三实施方式的当根据时间输出触发信号时的处理的示例的流程图。在图34中，步骤S200至S203的处理类似于根据上述图31的流程图的步骤S200至S203的处理。
即，在步骤S200中，读出单元110从传感器单元10读出行数据，并将行数据传递给识别处理单元12和视觉识别处理单元14。视觉识别处理单元14将从读出单元110传递的像素数据传递到图像数据存储控制器140。例如，图像数据存储控制器140将所接收的像素数据存储在图像数据存储单元141中，并且还将像素数据传递给图像处理单元143。
在步骤S201中，识别处理单元12基于从读出单元110传递的行数据执行特征数据的计算、所计算的特征数据的存储、基于所存储和集成的特征数据的识别处理等。在接下来的步骤S202中，识别处理单元12从识别处理执行单元124输出识别处理的识别结果。在接下来的步骤S203中，在识别处理单元12中，读出确定器123生成指示下一读出行的读出区域信息，并将该信息传递给传感器控制器11。
在接下来的步骤S2040中，触发发生器16确定从步骤S200中读出行开始是否已经经过特定时间。在确定尚未经过时间的情况下(步骤S2040，“否”)，根据图34的流程图的一系列处理终止。相对照地，当触发发生器16确定已经经过特定时间时(步骤S2040，“是”)，触发发生器16前进到步骤S205的处理。
在步骤S205中，触发发生器16执行输出处理，以输出触发信号。触发信号被传递到识别处理执行单元124、图像处理单元143和输出控制器15。响应于触发信号，识别处理执行单元124和图像处理单元143分别输出识别结果和图像数据。从识别处理执行单元124和图像处理单元143输出的识别结果和图像数据分别经由输出控制器15输出到后续阶段。
以这种方式，在第三实施方式中，由于触发信号由触发发生器16以固定周期输出，因此识别结果和用于视觉识别的图像数据可以以固定周期(例如，帧周期)输出。
[6-1.第三实施方式的第一修改]
接下来，将描述第三实施方式的第一修改。第三实施方式的第一修改是根据由传感器控制器11从帧中读出的区域生成触发信号的示例。
图35是示意性示出根据第三实施方式的第一修改的输出控制处理的示例的示意图。在图35中，部分(a)示出了由传感器控制器11从帧中读出的区域与整个帧的比率(读出区域的比率)的时间变化。此外，部分(b)是对应于上述图32的示图，并且示意性地示出了由传感器控制器11读出的帧的状态。即，在步骤S10中以行的顺序依次读出帧，并且处理跳转到预测对象可识别的位置，并且在步骤S11中执行读出。随后，在步骤S12中输出识别结果。
在图35的部分(a)中，读出区域的比率以恒定速率变化直到步骤S11，并且从步骤S11开始以小于步骤S11的速率变化。在此处，当读出区域的比率达到阈值Rth时，触发发生器16在时间tTRG生成触发信号。响应于触发信号，识别处理执行单元124输出识别结果，并且图像处理单元143输出图像数据。此外，响应于触发信号，输出控制器15将从识别处理执行单元124输出的识别结果和从图像处理单元143输出的图像数据输出到后续阶段。
图36A和图36B是分别示出根据第三实施方式的第一修改的成像设备1的识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能的功能框图。图36A和图36B分别从上述图21的配置示出了识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能。
如图36A和图36B分别示出的，触发发生器16b从传感器控制器11的读出控制器111接收读出区域信息，并基于所接收的读出区域信息获得读出区域的比率。当触发发生器16b确定所获得的读出区域的比率超过阈值Rth时，触发发生器16b生成触发信号，并将所生成的触发信号分别输出到识别处理执行单元124(参考图36A)和图像处理单元143(参考图36B)。
图37是示出根据第三实施方式的第一修改的处理的示例的流程图。在图37中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。在步骤S203中，识别处理单元12中的读出确定器123将指示下一读出行的读出区域信息传递给传感器控制器11，并且然后处理前进到步骤S2041。
在步骤S2041中，触发发生器16b基于从传感器控制器11接收的读出区域信息来确定读出区域的比率是否超过阈值Rth。当确定该比率没有超过阈值Rth时(步骤S2041，“否”)，根据图37的流程图的一系列处理结束。此后，例如，从步骤S200读出下一行数据。
相对照地，在触发发生器16b确定读出区域的比率超过阈值Rth的情况下(步骤S2041，“是”)，触发发生器16b前进到步骤S205的处理，执行输出处理以输出触发信号。响应于该触发信号，识别处理执行单元124和图像处理单元143分别输出识别结果和图像数据。
以这种方式，在第三实施方式的第一修改中，由触发发生器16b根据读出区域的比率输出触发信号，使得可以输出帧中特定区域或更多区域中的图像数据作为用于视觉识别的图像数据。
[6-2.第三实施方式的第二修改]
接下来，将描述第三实施方式的第二修改。第三实施方式的第二修改是根据指示识别处理执行单元124的识别处理结果的置信度的识别置信度生成触发信号的示例。
图38是示意性示出根据第三实施方式的第一修改的输出控制处理的示例的示意图。在图38中，部分(a)示出了识别置信度分数的时间变化，该识别置信度分数指示识别处理执行单元124对由传感器控制器11从帧中读出的行数据的识别处理的识别置信度。此外，部分(b)是对应于上述图32的示图，并且示意性地示出了由传感器控制器11读出的帧的状态。即，在步骤S10中以行的顺序依次读出帧，并且处理跳转到预测对象可识别的位置，并且在步骤S11中执行读出。随后，在步骤S12中输出识别结果。
在图38的部分(a)中，识别置信度分数以恒定的速率变化直到步骤S11，并且在步骤S11中识别数字“8”或“9”之后，该速率以大于步骤S11的速率变化。在此处，当识别置信度分数达到阈值Cth时，触发发生器16在时间tTRG生成触发信号。响应于触发信号，识别处理执行单元124输出识别结果，并且图像处理单元143输出图像数据。此外，响应于触发信号，输出控制器15将从识别处理执行单元124输出的识别结果和从图像处理单元143输出的图像数据输出到后续阶段。
图39A和图39B是分别示出根据第三实施方式的第二修改的成像设备1的识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能的功能框图。图39A示出了从上述图21的配置中提取的识别处理单元12侧的功能的示例。
如图39A和图39B中分别示出的，识别处理执行单元124适当地输出包括识别置信度分数的识别结果。触发发生器16c从识别处理执行单元124接收识别结果，并获取包括在所接收的识别结果中的识别置信度分数。当触发发生器16c确定所获取的识别置信度分数超过阈值Cth时，触发发生器16c生成触发信号，并将所生成的触发信号分别输出到识别处理执行单元124(参考图39A)和图像处理单元143(参考图39B)。
图40是示出根据第三实施方式的第二修改的处理的示例的流程图。在图40中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。在步骤S203中，识别处理单元12中的读出确定器123将指示下一读出行的读出区域信息传递给传感器控制器11，并且然后处理前进到步骤S2041。
在步骤S2042中，触发发生器16c确定包括在从识别处理执行单元124接收的识别结果中的识别置信度分数是否超过阈值Cth。当确定分数没有超过阈值Cth时(步骤S2042，“否”)，根据图40的流程图的一系列处理结束。此后，例如，从步骤S200读出下一行数据。
相对照地，在触发发生器16c确定识别置信度分数超过阈值Cth的情况下(步骤S2042，“是”)，触发发生器16c前进到步骤S205的处理，执行输出处理以输出触发信号。响应于该触发信号，识别处理执行单元124和图像处理单元143分别输出识别结果和图像数据。
以这种方式，在第三实施方式的第二修改中，触发发生器16根据识别置信度分数输出触发信号，使得可以获取与包括在用于视觉识别的图像数据中的对象相关的更高精度的识别信息。
[6-3.第三实施方式的第三修改]
接下来，将描述第三实施方式的第三修改。第三实施方式的第三修改是根据从成像设备1的外部获取的外部信息生成触发信号的示例。
图41A和图41B是分别示出根据第三实施方式的第三修改的成像设备1的识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能的功能框图。图41A和图41B分别从上述图21的配置示出了识别处理单元12侧的示例性功能和视觉识别处理单元14侧的示例性功能。
如图41A和图41B2所示，根据第三实施方式的第三修改的成像设备1包括从外部获取信息的外部信息获取单元17。外部信息获取单元17将从外部获取的外部信息传递给触发发生器16d。触发发生器16d根据从外部信息获取单元17传递的外部信息生成触发信号，并将所生成的触发信号分别输出到识别处理执行单元124(参考图41A)和图像处理单元143(参考图41B)。
在此处，作为由外部信息获取单元17获取的外部信息，可以应用可以从成像设备1的外部获取的各种信息，诸如来自外部的触发信号和外部识别装置的识别结果。输出这种外部信息的外部装置的示例包括其他成像设备、激光成像检测和测距(LiDAR)系统传感器(称为LiDAR传感器)或雷达装置。例如，当成像设备1用于车载应用时，期望能够将外部信息(诸如从安装在同一车辆上的其他成像设备、LiDAR传感器、雷达装置等输出的识别信息、触发信号和车辆信息)输入到成像设备1。
作为示例，在外部信息是另一成像设备的识别结果或LiDAR传感器或雷达装置的识别结果的情况下，可以设想触发发生器16d根据由外部信息获取单元17作为外部信息获取的识别结果的识别置信度分数来生成触发信号。
注意，当使用从这些外部装置输出的外部信息时，优选地执行与成像设备1相对于捕获图像的位置相关或与时间相关的校准。此外，尽管以上描述是外部装置用作主机并且成像设备1响应于从外部装置输出的外部信息输出触发信号的示例，但是本公开不限于该示例。例如，还允许使用将成像设备1用作主机，并且触发发生器16d将通过其他方法(时间和读出区域的比率、识别置信度分数等)生成的触发信号输出到外部装置的配置。
不限于上述示例，通过使用全球导航卫星系统(GNSS)获取的时间信息也可以用作外部信息。此外，在成像设备1用于车载应用的情况下，外部信息获取单元17可以获取关于安装有成像设备1的车辆的车辆信息(转向信息、速度信息、制动信息、方向指示信息等)作为外部信息。
图42是示出根据第三实施方式的第三修改的处理的示例的流程图。在图42中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。在步骤S203中，识别处理单元12中的读出确定器123将指示下一读出行的读出区域信息传递给传感器控制器11，并且然后处理前进到步骤S2043。
在步骤S2043中，触发发生器16d确定外部信息获取单元17是否已经获取了预定的外部信息。在确定尚未获取信息的情况下(步骤S2043，“否”)，根据图42的流程图的一系列处理结束。此后，例如，从步骤S200读出下一行数据。
相对照地，当触发发生器16d确定外部信息获取单元17已经获取了预定的外部信息时(步骤S2043，“是”)，触发发生器16d前进到步骤S205的处理。触发发生器16d从外部信息获取单元17获取从外部装置输入到外部信息获取单元17的预定的外部信息。触发发生器16d根据所获取的预定的外部信息执行输出处理，并输出触发信号。响应于该触发信号，识别处理执行单元124和图像处理单元143分别输出识别结果和图像数据。
以这种方式，在第三实施方式的第三修改中，根据从外部输入的外部信息输出触发信号，使得可以使用由多个传感器装置获得的识别结果。因此，根据第三实施方式的第三修改的成像设备1可以与外部装置链接。
[7.第四实施方式]
接下来，将描述第四实施方式。第四实施方式是对应于识别处理单元12的识别结果的输出与视觉识别处理单元14的用于视觉识别的图像数据的输出之间的偏差的示例。
图43是示意性示出根据第四实施方式的输出控制处理的示例的示意图。在第四实施方式中，独立地输出用于识别处理执行单元124的触发信号和用于图像处理单元143的触发信号。此外，在以下示例中，根据在第三实施方式的第二修改中描述的每个处理中读出区域与帧的比率，输出用于识别处理执行单元124和图像处理单元143中的每一个的触发信号。读出区域与识别处理执行单元124的处理的比率的阈值被定义为阈值Rth1，并且读出区域与图像处理单元143的处理的比率的阈值被定义为阈值Rth2。
在图43中，在时间t0开始帧读出(步骤S10)，并且在步骤S11中按行的顺序依次读出帧。在该示例中，在步骤S11之后，处理跳转到预测对象可识别的行，并且在步骤S20中执行读出。在此处，在步骤S20的处理中，假设读出区域与由识别处理执行单元124执行的处理的比率在时间tTRG1达到阈值Rth1。在这种情况下，在时间tTRG1，触发信号被输出到识别处理执行单元124。识别处理执行单元124响应于该触发信号输出识别结果。由识别处理执行单元124在时间tTRG1输出的识别结果被高速缓存在预定存储区域(称为高速缓存存储器)中(步骤S21)。当输出和高速缓存识别结果时，识别处理单元12结束识别处理。
在此处，在时间点tTRG1，假设从开始帧读出的时间t0起没有经过预定时间，例如帧周期。
在步骤S21中，在由识别处理单元12执行的识别处理结束之后，视觉识别处理单元14执行从读取开始时间t0开始直到经过预定时间(例如，帧周期)的帧读出。在此处，假设读出区域与图像处理单元143的处理的比率在时间tTRG2达到阈值Rth2。在时间tTRG2，触发信号被输出到图像处理单元143。
图像处理单元143响应于tTRG2处的触发信号输出用于视觉识别的图像数据。此外，响应于时间tTRG2处的触发信号，从高速缓存存储器中读出并输出在步骤S21中高速缓存的识别结果。这使得可以同时输出用于视觉识别的图像数据和识别结果。
在以上描述中，在步骤S21中仅高速缓存识别结果。然而，本公开不限于该示例，并且可以进一步高速缓存用于视觉识别的图像数据。
图44是示出根据第四实施方式的成像设备1的示例的功能的功能框图。在图44中，在成像设备1中，提供了两个触发发生器，即，为识别处理执行单元124生成触发信号的触发发生器16e1以及为图像处理单元143生成触发信号的触发发生器16e2。
对于触发发生器16e1，设置关于识别处理执行单元124中的读出区域的比率的阈值Rth1。类似地，对于触发发生器16e2，设置关于图像处理单元143中的读出区域的比率的阈值Rth2。例如，这些阈值Rth1和Rth2可以分别为触发发生器16e1和16e2预先设置，或者可以根据帧读出状态自适应地设置。
此外，输出控制器15a包括高速缓存识别结果的高速缓存存储器150和高速缓存用于视觉识别的图像数据的高速缓存存储器151。
读出控制器111将指示接下来要读出的读出行的读出区域信息分别传递给触发发生器16e1和16e2。触发发生器16e1和16e2基于所传递的读出区域信息获得当前读出区域的比率。当所获得的当前读出区域的比率达到阈值Rth1时，触发发生器16e1将触发信号输出到识别处理执行单元124。类似地，当所获得的当前读出区域的比率达到阈值Rth2时，触发发生器16e2将触发信号输出到图像处理单元143。
响应于触发信号从识别处理执行单元124输出的识别结果被传递到输出控制器15a并存储在高速缓存存储器150中。类似地，响应于触发信号从图像处理单元143输出的用于视觉识别的图像数据被传递到输出控制器15a并存储在高速缓存存储器151中。输出控制器15a在预定定时(例如，在与帧周期同步的定时)输出分别存储在高速缓存存储器150和151中的识别结果和用于视觉识别的图像数据。
图45是示出根据第四实施方式的处理的示例的流程图。在图45中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。在步骤S203中，识别处理单元12中的读出确定器123将指示下一读出行的读出区域信息传递给传感器控制器11，并且然后处理前进到步骤S2044。
例如，分别在触发发生器16e1和16e2中并行执行步骤S2044和步骤S2044之后的步骤S205的处理。
在触发发生器16e1中，在步骤S2044中，确定是否允许识别处理执行单元124输出识别结果。更具体地，在步骤S2044中，触发发生器16e1基于指示在步骤S203中确定的下一读出行的读出区域信息获得当前读出区域的比率，并且在所获得的当前读出区域的比率达到阈值Rth1的情况下，确定允许识别处理执行单元124输出识别结果。当触发发生器16e1确定在当前点不输出识别结果时(步骤S2044，“否”)，触发发生器16e1前进到步骤S2060的处理。
相对照地，当触发发生器16e1确定要输出识别结果时(步骤S2044，“是”)，处理前进到步骤S205。在步骤S205中，触发发生器16e1执行将触发信号输出到识别处理执行单元124的输出处理。当执行输出处理时，处理前进到步骤S2060。
触发发生器16e2中的处理类似于触发发生器16e1中的处理。即，触发发生器16e2在步骤S2044中确定是否允许图像处理单元143输出用于视觉识别的图像数据。更具体地，在步骤S2044中，触发发生器16e2基于指示在步骤S203中确定的下一读出行的读出区域信息获得当前读出区域的比率，并且在所获得的当前读出区域的比率达到阈值Rth2的情况下，确定允许图像处理单元143输出用于视觉识别的图像数据。当触发发生器16e2确定在当前点不输出识别结果时(步骤S2044，“否”)，触发发生器16e2前进到步骤S2060的处理。
相对照地，当触发发生器15f在步骤S2044中确定输出识别结果时(步骤S2044，“否”)，触发发生器15f前进到步骤S205的处理。在步骤S205中，触发发生器16e2执行将触发信号输出到图像处理单元143的输出处理。当执行输出处理时，处理前进到步骤S2060。
步骤S2060的处理和步骤S2060之后的步骤S2061的处理是由输出控制器15a执行的处理。输出控制器15a对从识别处理执行单元124输出的识别结果和从图像处理单元143输出的用于视觉识别的图像数据分别执行输出控制处理。
在步骤S2060中，输出控制器15a将从识别处理执行单元124输出的识别结果存储在高速缓存存储器150中，以便执行输出存储处理。在输出控制器15a已经将识别结果存储在高速缓存存储器150中之后，输出控制器15a前进到步骤S2061的处理。在步骤S2061中，输出控制器15a在预定定时(例如，在与帧周期同步的定时)，执行输出存储在高速缓存存储器150中的识别结果的输出控制处理。
类似地，在步骤S2060中，输出控制器15a将从图像处理单元143输出的用于视觉识别的图像数据存储在高速缓存存储器151中，以便执行输出存储处理。在输出控制器15a已经将用于视觉识别的图像数据存储在高速缓存存储器150中之后，输出控制器15a前进到步骤S2061的处理。在步骤S2061中，输出控制器15a在预定定时(例如，在与帧周期同步的定时)，执行输出存储在高速缓存存储器151中的用于视觉识别的图像数据的输出控制处理。
在此处，输出控制器15a与用于视觉识别的图像数据的输出同步地执行步骤S2061中的识别结果的输出。这使得可以输出识别结果和用于视觉识别的图像数据，而没有任何时滞。
例如，在步骤S2061中已经执行了识别结果和用于视觉识别的图像数据的输出处理之后，从步骤S200中读出下一读出行的行数据。
以这种方式，在第四实施方式中，分别高速缓存识别结果和用于视觉识别的图像数据，并且在预定定时输出高速缓存的识别结果和用于视觉识别的图像数据。这使得可以在抑制识别结果与用于视觉识别的图像数据之间的时滞的状态下输出识别结果和用于视觉识别的图像数据。
[7-1.第四实施方式的第一修改]
接下来，将描述第四实施方式的第一修改。在上述第四实施方式中，抑制了识别结果与用于视觉识别的图像数据之间的时滞。相对照地，在第四实施方式的第一修改中，将抑制识别结果与用于视觉识别的图像数据之间的空间偏差。例如，当成像设备1在用于车载应用的成像期间高速移动时，可能存在识别结果与用于视觉识别的图像数据之间出现空间偏差(例如，对象在二维平面中的位置偏差)的情况。此外，在成像设备1对高速移动的移动体进行成像的情况下，移动体的图像数据中的对象可能出现空间偏差。在第四实施方式的第一修改中，基于从外部传感器获取的信息来抑制这种偏差。
图46是示出根据第四实施方式的第一修改的成像设备1的示例的功能的功能框图。图46所示的配置是抑制当成像设备1高速移动时发生的空间偏差的示例。
在图46所示的配置中，与上述图44所示的配置相比，外部传感器18的输出被提供给输出控制器15b。外部传感器18例如是能够检测成像设备1的移动的装置，并且可以通过应用安装在成像设备上的角速度传感器来实现。例如，使用3轴陀螺仪传感器测量每个方向上的角速度，获取成像设备1的运动信息，并且将所获取的运动信息输入到输出控制器15b。此外，外部传感器18可以通过使用利用运动检测来执行运动图像压缩或相机抖动校正的另一成像设备来实现。该另一成像设备与成像设备1一体地或同步地可移动地安装，并且该另一成像设备中的运动检测的检测结果将作为成像设备1的运动信息被输入到输出控制器15b。
基于从外部传感器18输入的运动信息和由触发发生器16e1和16e2输出的每个触发信号的输出定时，输出控制器15b估计识别结果与用于视觉识别的图像数据之间的空间偏差量。例如，输出控制器15b获得由触发发生器16e1和16e2输出的每个触发信号的输出定时的差异。
注意，从识别处理执行单元124到输出控制器15b的识别结果的输入定时和从图像处理单元143到输出控制器15b的用于视觉识别的图像数据的输入定时可以被视为由触发发生器16e1和16e2分别输出的触发信号的输出定时。
此外，输出控制器15b基于从外部传感器18输入的运动信息获得成像设备1的运动方向和速度。输出控制器15b基于各个触发信号的输出定时的差异以及成像设备1的运动方向和速度来计算识别结果与用于视觉识别的图像数据之间的空间偏差量。输出控制器15b基于计算出的空间偏差量来校正存储在高速缓存存储器151中的用于视觉识别的图像数据。校正的示例包括对用于视觉识别的图像数据进行修剪、倾斜校正等。输出控制器15b将校正后的用于视觉识别的图像数据存储在高速缓存存储器151中。
输出控制器15b在预定定时(例如，在与帧周期同步的定时)，输出存储在高速缓存存储器150中的识别结果和存储在高速缓存存储器151中的校正后的用于视觉识别的图像数据。
以上描述是输出控制器15b基于计算出的空间偏差量来校正存储在高速缓存存储器151中的用于视觉识别的图像数据的示例。然而，本公开不限于该示例。即，输出控制器15b还可以基于计算出的空间偏差量来校正存储在高速缓存存储器150中的识别结果。这包括输出控制器15b例如基于计算出的空间偏差量来校正包括在识别结果中的识别对象的坐标信息的情况。此外，输出控制器15b可以分别校正识别结果和用于视觉识别的图像数据。
图47是示出根据第四实施方式的第一修改的处理的示例的流程图。在图47中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。此外，图47的步骤S204和步骤S205的处理是类似于上述图45的步骤S2044和步骤S205的处理的处理，并且例如分别在触发发生器16e1和16e2中并行执行。此处将省略步骤S2044和S205的处理的详细描述。
类似于上述图45的流程图的步骤S2044，触发发生器16e1在步骤S2044中确定是否允许识别处理执行单元124输出识别结果。当触发发生器16e1确定不在当前点输出识别结果时(步骤S2044，“否”)，触发发生器16e1前进到步骤S2060的处理。
相对照地，当触发发生器15f在步骤S2044中确定输出识别结果时(步骤S2044，“是”)，触发发生器15f前进到步骤S205的处理。在步骤S205中，触发发生器16e1执行将触发信号输出到识别处理执行单元124的输出处理。当执行输出处理时，处理前进到步骤S2060。
触发发生器16e2中的处理类似于触发发生器16e1中的处理。即，触发发生器16e2在步骤S2044中确定是否允许图像处理单元143输出用于视觉识别的图像数据。当触发发生器16e1确定不在当前点输出识别结果时(步骤S2044，“否”)，触发发生器16e1前进到步骤S2060的处理。相对照地，当触发发生器15f确定要输出识别结果时(步骤S2044，“是”)，处理前进到步骤S205。在步骤S205中，触发发生器16e2执行将触发信号输出到图像处理单元143的输出处理。当执行输出处理时，处理前进到步骤S2060。
步骤S2060的处理和步骤S2060之后的步骤S2062的处理是由输出控制器15b执行的处理。输出控制器15b对从识别处理执行单元124输出的识别结果和从图像处理单元143输出的用于视觉识别的图像数据分别执行输出控制处理。
在步骤S2060中，输出控制器15b将从识别处理执行单元124输出的识别结果存储在高速缓存存储器150中，以便执行输出存储处理。在输出控制器15a已经将识别结果存储在高速缓存存储器150中之后，输出控制器15a前进到步骤S2062的处理。
在步骤S2062中，输出控制器15b使用从外部传感器18输入的运动信息对在步骤S2060中存储在高速缓存存储器151中的用于视觉识别的图像数据执行校正处理，并且将校正后的用于视觉识别的图像数据存储在高速缓存存储器151中。不限于此，在步骤S2062中，输出控制器15b可以在步骤S2060中对存储在高速缓存存储器150中的识别结果执行校正处理。输出控制器15b将校正后的识别结果存储在高速缓存存储器150中。
输出控制器15b在预定定时输出存储在高速缓存存储器150中的识别结果和存储在高速缓存存储器151中的校正后的用于视觉识别的图像数据。
以这种方式，在第四实施方式的第一修改中，分别高速缓存识别结果和用于视觉识别的图像数据，并且使用从外部传感器18输入的运动信息来校正识别结果或用于视觉识别的图像数据。这使得可以在抑制识别结果与用于视觉识别的图像数据之间的空间偏差的状态下输出识别结果和用于视觉识别的图像数据。
[7-2.第四实施方式的第二修改]
接下来，将描述第四实施方式的第二修改。第四实施方式的第二修改是这样的示例，其中，在识别处理单元12的识别处理之后，视觉识别处理单元14以高速执行像素数据的读出，以便抑制识别结果的输出定时与用于视觉识别的图像数据的输出定时之间的差异。
图48是示意性示出根据第四实施方式的第二修改的输出控制处理的示例的示意图。在图48中，步骤S10至S12是对应于上述图32的示图，并且示意性地示出了由传感器控制器11读出的帧的状态。即，在步骤S10中以行的顺序依次读出帧，并且处理跳转到预测对象可识别的位置，并且在步骤S11中执行读出。随后，在步骤S12中输出识别结果。
在图48中，在步骤S12中尚未读出该帧的所有行数据的状态下，已经输出识别结果。因此，在接下来的步骤S20中，视觉识别处理单元14执行在帧中直到步骤S12的处理中尚未读出的行的读出。此时，视觉识别处理单元14以比关于在直到步骤S12的处理中由识别处理单元12执行的读出的读出速率高的读出速率执行帧读出。视觉识别处理单元14在预定定时完成读出，并且输出用于视觉识别的图像数据。
在第四实施方式的第二修改中，这使得可以抑制识别结果的输出定时与和用于视觉识别的图像数据的输出定时之间的时间差。
图49是示出根据第四实施方式的第二修改的成像设备1的示例的功能的功能框图。在图49中，适当地提供来自识别处理执行单元124的识别结果，触发发生器16f基于以包括在来自识别处理执行单元124的识别结果中的形式传递的识别置信度分数生成触发信号，如第三实施方式的第二修改中所述(参考图38至图40)。
当从识别处理执行单元124传递的包括在识别结果中的识别置信度分数达到阈值Cth时，触发发生器16f在时间tTRG生成触发信号。响应于该触发信号，识别处理执行单元124将识别结果传递给输出控制器15c。输出控制器15c将所接收的识别结果存储在高速缓存存储器150中。
另一方面，触发发生器16f将触发信号输出到识别处理执行单元124，生成指示从传感器单元10更高速读出像素数据的高速读出指令，并将高速读出指令传递给读出确定器142。
读出确定器142生成包括从输出控制器15b传递的高速读出指令的读出区域信息，并将所生成的读出区域信息传递给传感器控制器11。在传感器控制器11中，包括高速读出指令的读出区域信息从读出控制器111传递到读出单元110。响应于包括在读出区域信息中的高速读出指令，读出单元110生成用于以比触发信号出现之前的驱动速度更高的驱动速度驱动传感器单元10的成像控制信号。传感器单元10根据成像控制信号以高速驱动传感器单元10，并且以比触发信号出现之前更高的速度读出像素数据。
由读出单元110读出的像素数据经由图像数据存储控制器140作为用于视觉识别的图像数据被传递到图像处理单元143。图像处理单元143对所接收的图像数据执行图像处理，并将处理后的数据传递到输出控制器15c。输出控制器15c将从图像处理单元143传递的图像数据存储在高速缓存存储器151中。输出控制器15c在预定定时(例如，与帧周期同步的定时)读出存储在高速缓存存储器150中的识别结果和存储在高速缓存存储器151中的用于视觉识别的图像数据，并分别输出数据。
图50是示出根据第四实施方式的第一修改的处理的示例的流程图。在图50中，步骤S200至S203的处理类似于根据上述图34的流程图的步骤S200至S203的处理，并且因此此处将省略其描述。此外，图50的步骤S204和步骤S205的处理是类似于上述图50的步骤S2044和步骤S205的处理的处理，并且例如分别在触发发生器16e1和16e2中并行执行。此处将省略步骤S2044和S205的处理的详细描述。
类似于上述图45的流程图的步骤S2044，触发发生器16e1在步骤S2044中确定是否允许识别处理执行单元124输出识别结果。当触发发生器16e1确定在当前点不输出识别结果时(步骤S2044，“否”)，触发发生器16e1前进到步骤S2063的处理。相对照地，当触发发生器16f确定要输出识别结果时(步骤S2044，“是”)，处理前进到步骤S205。在步骤S205中，触发发生器16e1执行将触发信号输出到识别处理执行单元124的输出处理。当执行输出处理时，处理前进到步骤S2051。
在步骤S2051中，执行高速读出处理。即，在步骤S2051中，触发发生器16f生成高速读出指令，并将该指令传递给读出确定器142。该高速读出指令包括在由读出确定器142生成的读出区域信息中，并被传递到传感器控制器11。传感器控制器11将所接收的读出区域信息传递给读出单元110。读出单元110响应于包括在所接收的读出区域信息中的高速读出指令，以更高的速度驱动传感器单元10。此时，读出单元110可以对传感器单元10执行细化读出以提高读出速度，或者可以减小要读出的图像数据的位深度以提高读出速度。
已经从高速驱动的传感器单元10读出了像素数据，读出单元110将像素数据传递给视觉识别处理单元14。视觉识别处理单元14经由图像数据存储控制器140将从读出单元110接收的像素数据传递到图像处理单元143。图像处理单元143对所接收的图像数据执行图像处理，并将处理后的数据作为用于视觉识别的图像数据输出。从图像处理单元143输出的用于视觉识别的图像数据被传递到输出控制器15c并存储在高速缓存存储器151中。
在接下来的步骤S2063中，输出控制器15c在预定定时(例如，在与帧周期同步的定时)，输出存储在高速缓存存储器150中的识别结果和存储在高速缓存存储器151中的校正后的用于视觉识别的图像数据。
以这种方式，在第四实施方式的第二修改中，在输出识别结果之后，通过高速读出获取用于视觉识别的图像数据，并且在预定定时输出所获取的用于视觉识别的图像数据和识别结果。这使得可以在抑制识别结果与用于视觉识别的图像数据之间的时滞的状态下输出识别结果和用于视觉识别的图像数据。
尽管以上描述是在输出识别结果之后执行用于视觉识别的图像数据的高速读出的示例，但是本公开不限于该示例。即，可以在完成用于视觉识别处理的图像数据的读出之后执行用于识别处理的高速读出。
在这种情况下，触发发生器16f根据将触发信号输出到图像处理单元143来生成高速读出指令，并且经由图49中虚线所示的路径将所生成的高速读出指令传递给读出确定器123。该高速读出指令包括在由读出确定器142生成的读出区域信息中，并被传递到传感器控制器11。传感器控制器11将所接收的读出区域信息传递给读出单元110。读出单元110响应于包括在所接收的读出区域信息中的高速读出指令，以更高的速度驱动传感器单元10。读出单元110从高速驱动的传感器单元10读出像素数据，并将像素数据传递给识别处理单元12。
[8.第五实施方式]
接下来，将描述第五实施方式。第五实施方式是在识别处理单元12执行读出的读出区域与视觉识别处理单元14执行读出的读出区域之间执行调解的示例。例如，当识别处理单元12和视觉识别处理单元14中的一个通过行细化执行行读出并且另一个以行的顺序依次执行读出时，识别处理单元12与视觉识别处理单元14之间的行输出的目标行将在特定定时不同。在这种情况下，在识别处理单元12与视觉识别处理单元14之间执行读出区域的调解，以便确定作为读出目标的行。
图51是示出根据第五实施方式的调解处理的概述的示例的流程图。图51的流程图中的处理是针对读出单元的每次读出执行的处理。在下文中，假设读出单元是行，并且传感器控制器11从传感器单元10以行为单位读出像素数据。
将参考图21描述根据图51的流程图的处理。在步骤S300中，读出单元110从传感器单元10读出以行为单位的像素数据(行数据)。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。视觉识别处理单元14将从读出单元110传递的像素数据传递到图像数据存储控制器140。例如，图像数据存储控制器140将所接收的像素数据存储在图像数据存储单元141中，并且将数据传递给图像处理单元143。
当完成步骤S300的处理时，处理前进到步骤S301和步骤S311。步骤S301至S303的处理是识别处理单元12中的处理。相对照地，步骤S311至S313的处理是视觉识别处理单元14中的处理。识别处理单元12中的处理和视觉识别处理单元14中的处理可以并行执行。
首先，将描述从步骤S301开始识别处理单元12的处理。在步骤S301中，识别处理单元12基于从读出单元110传递的行数据，由特征数据计算单元120执行特征数据的计算，将计算出的特征数据存储在特征数据存储单元122中，并且由识别处理执行单元124基于存储在特征数据存储单元122中的集成的特征数据执行识别处理等。在接下来的步骤S302中，识别处理单元12从识别处理执行单元124输出识别处理的识别结果。在接下来的步骤S303中，在识别处理单元12中，读出确定器123使用所集成的特征数据来生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。当完成步骤S303的处理时，处理前进到步骤S320a。
接下来，将描述从步骤S311开始由视觉识别处理单元14执行的处理。在步骤S311中，视觉识别处理单元14执行将从读出单元110传递的行数据存储在图像数据存储单元141中、通过图像处理单元143对存储在图像数据存储单元141中的图像数据执行图像处理等。在接下来的步骤S312中，视觉识别处理单元14中的图像处理单元143输出在步骤S311中经过图像处理的图像数据。在接下来的步骤S312中，视觉识别处理单元14中的读出确定器142使用在步骤S300中读出的行的行信息和在步骤S302中由识别处理单元12输出的识别结果来生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。当完成步骤S313的处理时，处理前进到步骤S320a。
在步骤S320a中，传感器控制器11获取用于通过下述调解控制器对读出区域进行调解的调解信息。下面将描述调解信息的具体示例。
在接下来的步骤S321中，调解控制器使用在步骤S320a中获取的调解信息来确定由在步骤S303中从识别处理单元12传递的读出行信息指示的读出行和由在步骤S313中从视觉识别处理单元14传递的读出行信息指示的读出行中的哪一个将被用作用于下一读出的读出行。在接下来的步骤S322中，传感器控制器11执行用于执行在步骤S321中由调解控制器确定的读出行的读出的行控制处理。
以这种方式，在第五实施方式中，调解控制器基于以预定方式获取的调解信息，在识别处理单元12与视觉识别处理单元14之间执行接下来要读出的读出行的调解。因此，例如，即使当识别处理单元12和视觉识别处理单元14已经确定不同的行作为读出行时，也可以避免在执行行的读出时出现问题。
(8-0-1.调解处理的具体示例)
接下来，将更具体地描述根据第五实施方式的调解处理。图52是示出可应用于第五实施方式的成像设备1的功能的示例的功能框图。
在图52所示的配置中，与图21所示的配置相比，传感器控制器11中的读出控制器111a包括调解控制器1110和读出处理控制器1111。将分别来自识别处理单元12的读出确定器123和视觉识别处理单元14的读出确定器142的一个或多个读出区域信息作为用于控制调解处理的控制信号输入到调解控制器1110。换句话说，该示例中的调解控制器1110使用该控制信号作为用于执行调解控制的调解信息。
在此处，假设一个读出区域信息指示一行。即，调解控制器1110分别从读出确定器123和142接收一个或多个行信息的输入。
在第五实施方式中，调解控制器1110获得从读出确定器123输入的控制信号和从视觉识别处理单元14输入的控制信号的逻辑乘积，以便确定下一读出的一个读出行。
调解控制器1110将指示由调解处理确定的读出行的控制信号传递给读出处理控制器1111。读出处理控制器1111将所接收的控制信号作为指示读出行的读出区域信息传递给读出单元110。
在图52的配置中，输出控制器15将从识别处理执行单元124输出的识别结果和从图像处理单元143输出的用于视觉识别的图像数据输出到后续阶段的装置。在此处，可以通过应用执行识别处理的另一传感器装置来实现后续阶段中的装置。在这种情况下，从成像设备1输出的识别结果和用于视觉识别的图像数据可以应用于另一传感器装置上的识别处理。
图53是示出根据第五实施方式的调解处理的示意图。图53示出了调解控制器1110基于控制信号执行调解处理的示例。在此处，读出区域信息用作控制信号。
图53示出时间向右传递。此外，垂直方向分别指示识别处理单元12的识别控制、视觉识别处理单元14的视觉识别控制、从传感器单元10读出的读出图像以及调解控制器1110的调解结果。如上所述，调解控制器1110通过获得由识别处理单元12输出的控制信号(读出区域信息)和由视觉识别处理单元14输出的控制信号的逻辑乘积来执行调解。
在步骤S40中，识别处理单元12和视觉识别处理单元14生成用于读出第i行(i行)的读出区域信息。识别处理单元12分别输出用于读出第(i+1)行、第(i+2)行和第(i+3)行这三行的读出区域信息。类似地，视觉识别处理单元14还分别输出用于读出第(i+1)行、第(i+2)行和第(i+3)行这三条行的控制信号。从识别处理单元12输出的读出区域信息和从视觉识别处理单元14输出的读出区域信息作为调解控制器1110用于执行调解控制的控制信号被输入到调解控制器1110。
调解控制器1110获得来自识别处理单元12的第(i+1)行、第(i+2)行和第(i+3)行的各个控制信号与来自视觉识别处理单元14的第(i+1)行、第(i+2)行和第(i+3)行的各个控制信号的逻辑乘积。在此处，由于来自识别处理单元12的各个控制信号和来自视觉识别处理单元14的单独控制信号相匹配，因此可以读出由各个控制信号指示的所有行。调解控制器1110根据帧中的读出顺序逐个选择第(i+1)行、第(i+2)行和第(i+3)行，并依次输出这些行。例如，调解控制器1110首先选择指示第(i+1)行、第(i+2)行和第(i+3)行中最接近帧上端的第(i+1)行的控制信号作为调解结果。此后，调解控制器1110选择指示(i+2)行的控制信号、指示(i+3)行的控制信号，即，以行的顺序逐个选择控制信号。
调解控制器1110将作为调解结果选择的控制信号传递给读出处理控制器1111。读出处理控制器1111将从调解控制器1110接收的控制信号作为读出区域信息传递给读出单元110。读出单元110从传感器单元10读出在读出区域信息中指示的行(第(i+1)行)的行数据。读出单元110将从传感器单元10读出的(i+1)行的行数据传递到识别处理单元12和视觉识别处理单元14。
通过该处理，在步骤S40中，如图53的读出图像所示，从例如帧的上端侧的行L#i朝向帧的下端侧，以行的顺序依次读出行数据。
以行的顺序依次读出帧，并且假设在帧被读出到中心附近的第j行(j行)的点，例如，识别处理单元12已经基于读出的行数据识别出数字“8”或“9”(步骤S41)。
识别处理单元12可以通过跳过行到预测在步骤S41中识别的对象可以被识别为数字“8”或“9”中的哪一个的行来执行读出。在该示例中，识别处理单元12输出读出区域信息以分别读出三行，即第(j+3)行、第(j+5)行和第(j+7)行，以便在读出中每隔一行执行细化。从识别处理单元12输出的每个读出区域信息作为用于调解控制器1110执行调解控制的每个控制信息被输入到调解控制器1110。
另一方面，由于用于视觉识别的图像识别比需要密集，因此视觉识别处理单元14具有第(j+1)行、第(j+2)行和第(j+3)行。输出用于依次读取三行的读出区域信息。从视觉识别处理单元14输出的每个读出区域信息作为用于调解控制器1110执行调解控制的每个控制信息被输入到调解控制器1110，。
调解控制器1110获得从识别处理单元12传递的每个控制信号和从视觉识别处理单元14传递的每个控制信号的逻辑乘积。在这种情况下，从识别处理单元12传递的每个控制信号对应于第(j+3)行、第(j+5)行和第(j+7)行，并且从视觉识别处理单元14传递的每个控制信号对应于第(j+1)行、第(j+2)行和第(j+3)行。因此，通过调解控制器1110获得逻辑乘积，从调解控制器1110输出指示第(j+3)行的控制信号作为调解结果。
接下来，假设当在步骤S42中从上述第j行读出帧的下端侧的第k行时，在步骤S41中被识别为数字“8”或“9”的对象被确定为数字“8”。在这种情况下，识别处理单元12可以结束识别处理。当完成识别处理时，从识别处理单元12输入到调解控制器1110的控制信号可以是可选的。
另一方面，关于用于视觉识别的图像，需要进一步读出行。在该示例中，视觉识别处理单元14分别以第(k+1)行、第(k+2)行和第(k+3)行的行顺序依次输出用于读出这三行的读出区域信息。
例如，当完成识别处理单元12的识别处理时，调解控制器1110忽略从识别处理单元12输入的控制信号。因此，例如，调解控制器1110根据帧内的读出顺序逐个选择由从视觉识别处理单元14输入的控制信号指示的第(k+1)行、第(k+2)行和第(k+3)行，并且依次输出这些行。例如，调解控制器1110首先选择指示在第(k+1)行、第(k+2)行和第(k+3)行中更接近帧的上端的第(k+1)行的控制信号作为调解结果。
以这种方式，在第五实施方式中，调解控制器1110获得从识别处理单元12输入的每个控制信号和从视觉识别处理单元14输入的每个控制信号的逻辑乘积，从而执行调解，以便确定接下来要读出的读出行。因此，例如，即使当识别处理单元12和视觉识别处理单元14已经确定不同的行作为读出行时，也可以避免在执行行的读出时出现问题。
顺便提及，可能存在由从识别处理单元12输入的控制信号指示的行和由从视觉识别处理单元14输入的控制信号指示的行不重复的情况。例如，当从识别处理单元12输入到调解控制器1110的各个控制信号与第(i+1)行、第(i+3)行和第(i+5)行相关，并且从视觉识别处理单元14输入到调解控制器1110的各个控制信号与第(i+2)行、第(i+4)行和第(i+6)行相关时，行之间不会有重复。
通过调解控制器1110获得两者的逻辑乘积将产生空集合的输出，从而导致没有确定接下来要读出的读出行。作为避免这种情况的第一示例，可以设想，在从识别处理单元12输入的控制信号和从视觉识别处理单元14输入的控制信号中，预先确定要以更高的优先级使用的控制信号。作为示例，相对于从视觉识别处理单元14输入的控制信号优先选择从识别处理单元12输入的控制信号。此时，可以设想在从优先识别处理单元12输入的控制信号中，采用更接近于从视觉识别处理单元14输入的控制信号的控制信号。
作为第二示例，可以设想识别处理单元12和视觉识别处理单元14预先设置对可以输出的读出区域信息的数量的限制。例如，在识别处理单元12和视觉识别处理单元14的每一个中，从依次相邻的五行中选择三行作为候选。
图54是示出根据第五实施方式的调解处理的示例流程图。根据图54的流程图的处理是针对读出单元的每次读出执行的处理。
在步骤S300中，读出单元110从传感器单元10读取行数据。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。在下文中，图54中的步骤S301至S303的识别处理单元12侧的处理和步骤S311至S313的视觉识别处理单元14侧的处理与上述图51中的对应处理相同，并且因此此处省略说明。
在图54中，在步骤S303中，如上所述，识别处理单元12生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110。类似地，在步骤S313中，视觉识别处理单元14生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110。
在步骤S303和S313中将控制信号从识别处理单元12和视觉识别处理单元14输入到调解控制器1110之后，处理前进到步骤S321。在步骤S321中，调解控制器通过使用从识别处理单元12和视觉识别处理单元14输入的各个控制信号作为调解信息来执行各个控制信号的调解。该调解确定在步骤S303中由从识别处理单元12传递的控制信号指示的读出行和在步骤S313中由从视觉识别处理单元14传递的控制信号指示的读出行中的哪一个被定义为接下来要读出的读出行。在接下来的步骤S322中，传感器控制器11执行用于执行在步骤S321中由调解控制器确定的读出行的读出的行控制处理。
[8-1.第五实施方式的第一修改]
接下来，将描述第五实施方式的第一修改。第五实施方式的第一修改是识别处理单元12的识别结果被应用为调解控制器1110a用于调解处理的调解信息的示例。图55是示出可应用于第五实施方式的第一修改的成像设备1的功能的示例的功能框图。
在图55所示的配置中，与上述图51所示的配置相比，从识别处理执行单元124输出的识别结果被输入到调解控制器1110ab。根据第五实施方式的第一修改的调解控制器1110ab使用该识别结果作为调解信息，从而在从识别处理单元12输入的读出区域信息与从视觉识别处理单元14输入的读出区域信息之间执行调解处理。
图56是示出根据第五实施方式的第一修改的调解处理的第一示例的示意图。图56示出时间向右传递。此外，该图在垂直方向上从顶部指示：读取控制和识别结果；由传感器控制器11读出的读出图像；以及由调解控制器1110a获得的调解结果。此外，在图56的示例中，成像设备1用于车载应用，并且以从下端侧到上端侧的行为单位读出帧。
在图56的示例中，当在识别处理中识别出移动体时，视觉识别处理单元14的控制被优先化。
在帧的下端侧(步骤S50)，由识别处理单元12中的识别处理执行单元124基于行数据识别路面。在这种情况下，由于识别目标是路面，因此可以通过在某种程度上跳过该行来执行读出。此外，调解控制器1110a基于识别结果根据识别处理来执行调解。例如，调解控制器1110a根据识别路面的识别结果，相对于从视觉识别处理单元14输入的读出区域信息，优先选择从识别处理单元12输入的读出区域信息，并且然后，将选择信息传递给读出处理控制器1111。例如，在识别处理单元12通过细化行来控制读出的情况下，通过以预定间隔细化行而生成的读出区域信息将被输入到调解控制器1110a。调解控制器1110a将指示该细化的读出区域信息传递给读出处理控制器1111。
假设识别处理单元12基于通过细化地读出行而获得的行数据来识别移动体。在图56的示例中，在步骤S51中，识别处理执行单元124获取指示在帧的1/2的行位置稍微之前检测到对象的对象检测结果，并且检测到被检测到的对象是移动体(人)。在识别处理单元12中，识别处理执行单元124将指示人已经被识别的识别结果传递给调解控制器1110a。
移动体随时间的位置变化很大，并且因此，在执行包括跳过行的行读出的情况下，每个读出行中的识别对象的位置偏差将很大，从而导致必须校正偏差。因此，调解控制器1110a基于指示人已经被识别的识别结果，赋予用于视觉识别的控制更高的优先级，并且相对于从识别处理单元12输入的读出区域信息优先选择从视觉识别处理单元14输入的读出区域信息，并且将所选择的信息传递到读出处理控制器1111。在这种情况下，视觉识别处理单元14生成例如用于以行的顺序依次执行读出的读出区域信息，并将所生成的信息输入到调解控制器1110a。
此外，假设已经朝向帧的上端侧执行了行读出，并且已经由识别处理单元12中的识别处理执行单元124获得了指示非路面的识别结果。在非路面的情况下，认为通过在步骤S50中识别的路面上使用更粗糙的细化来执行行读出没有问题。因此，识别处理单元12生成细化间隔大于路面情况下的细化间隔的读出区域信息，并将所生成的信息输入到调解控制器1110a。调解控制器1110a根据从识别处理执行单元124输出的指示非路面的识别结果，相对于从视觉识别处理单元14输入的读出区域信息优先选择从识别处理单元12输入的读出区域信息，并将所选择的信息传递到读出处理控制器1111。
在图56中，步骤S52示出根据读出的区域信息，帧的上端侧的非路面的区域比帧的下端侧的路面的区域被更粗略地读出。此外，在步骤S52中，示出了在帧中检测到人的中心部分被密集地读出以用于视觉识别。
图57是示出根据第五实施方式的第一修改的调解处理的第二示例的示意图。由于图57的各个部分类似于上述图56中的情况，因此此处将省略其描述。另外，图57所示的每个图像整体上是亮度较低的暗图像，其中，前侧(帧的下端侧)以稍高的亮度较亮。
在该第二示例中，调解控制器1110a使用指示识别结果的置信等级的置信度作为调解信息，并且在从识别处理单元12输入的读出区域信息与从视觉识别处理单元14输入的读出区域信息之间执行调解。
假设从帧的下端侧开始行读出，并且由识别处理单元12中的识别处理执行单元124基于行数据以预定水平的置信度(高置信度)识别路面(步骤S60)。在这种情况下，由于成像目标是路面，因此可以在某种程度上通过跳过行来执行读出。识别处理单元12根据识别结果生成已经以预定间隔细化行的读出区域信息，并且将所生成的信息输入到调解控制器1110a。
由于从识别处理执行单元124输出的识别结果具有高置信度，因此调解控制器1110a信任识别结果，并且从识别处理单元12输入的读出区域信息和从视觉识别处理单元14输入的读出区域信息中选择从识别处理单元12输入的指示细化的读出区域信息。调解控制器1110a将指示该细化的读出区域信息传递给读出处理控制器1111。
假设由识别处理单元12基于通过细化地读出行而获得的行数据来识别移动体。在图57的示例中，在步骤S51中，识别处理执行单元124识别在帧的1/2的行位置稍微之前的移动体(人)。在此处，在图57的示例中，假设识别出人的部分具有低亮度，并且因此，识别处理执行单元124已经以小于预定水平的置信度(低置信度)识别出人的检测。识别处理执行单元124将指示已经以低置信度识别该人的识别结果传递给调解控制器1110a。
在这种情况下，由于人以低置信度被识别，因此人的视觉确认被认为是必要的。因此，调解控制器1110a赋予从视觉识别处理单元14输出的读出区域信息比从识别处理单元12输出的读出区域信息更高的优先级。
在此处，调解控制器1110a可以根据从识别处理执行单元124输出的置信度向读出处理控制器1111给出读出指令以实现更容易的视觉识别。例如，可以执行控制，使得多次读出已经以低置信度识别出人的行范围中的行。在这种情况下，在视觉识别处理单元14中，图像处理单元143等可以组合具有相互对应位置的行之间的读出的行数据，并且进一步执行图像处理(例如，高分辨率处理、对比度调整)，以便增加通过低置信度识别的人的图像的清晰度。
此外，当成像设备1安装在能够自主驾驶的车辆上时，可以设想根据与车辆兼容的自主驾驶级别(例如，级别2至级别4)来设置读出次数、图像处理的细节等。
此外，假设已经朝向帧的上端侧执行了行读出，并且已经通过识别处理单元12中的识别处理执行单元124以高置信度获得了指示非路面的识别结果(步骤S62)。在非路面的情况下，认为通过在步骤S60中识别的路面上使用更粗糙的细化来执行行读出没有问题。因此，识别处理单元12生成细化间隔大于路面情况下的细化间隔的读出区域信息，并将所生成的信息输入到调解控制器1110a。
注意，在用于视觉识别的图像内，认为非路面图像不需要高图像质量。因此，可以设想在识别处理执行单元124识别为非路面的情况下，视觉识别处理单元14输出具有默认图像质量设置的用于视觉识别的图像数据。
图58是示出根据第五实施方式的第一修改的调解处理的示例的流程图。根据图58的流程图的处理是针对读出单元的每次读出执行的处理。
在步骤S300中，读出单元110从传感器单元10读取行数据。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。在下文中，图58中的步骤S301至S303的识别处理单元12侧的处理和步骤S311至S313的视觉识别处理单元14侧的处理与上述图51中的对应处理相同，并且因此此处省略说明。
在图58中，在步骤S303中，如上所述，识别处理单元12生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110a。类似地，在步骤S313中，视觉识别处理单元14生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110a。
在步骤S303和S313中将控制信号从识别处理单元12和视觉识别处理单元14输入到调解控制器1110a之后，处理前进到步骤S320b。在步骤S320b中，调解控制器1110a获取从识别处理执行单元124输出的识别结果作为调解信息。
在接下来的步骤S321中，调解控制器1110b根据在步骤S320b中获取的识别结果中指示的置信度，确定在步骤S303中从识别处理单元12传递的读出区域信息和在步骤S313中从视觉识别处理单元14传递的读出区域信息中的哪一个将被定义为指示接下来要读出的行的读出区域信息。在接下来的步骤S322中，传感器控制器11将在步骤S321中由调解控制器1110b确定的读出区域信息传递给读出处理控制器1111，并且执行行控制处理以读出读出区域信息中指示的读出行。
以这种方式，在第五实施方式的第一修改中，根据基于行数据的识别结果，可以自适应地确定从识别处理单元12输出的读出区域信息和从视觉识别处理单元14输出的读出区域信息中的哪一个将被用作指示接下来要读出的读出行的读出区域信息。这使得可以根据作为成像目标的各种场景来获得适当的用于视觉识别的图像。
[8-2.第五实施方式的第二修改]
接下来，将描述第五实施方式的第二修改。第五实施方式的第二修改是调解控制器1110应用从视觉识别处理单元14输出的用于视觉识别的图像作为用于调解处理的调解信息的示例。图59是示出可应用于第五实施方式的第二修改的成像设备1的功能的示例的功能框图。
在图59所示的配置中，与上述图51所示的配置相比，由图像处理单元143在图像处理的执行中获得的信号处理结果被输入到调解控制器1110b。信号处理结果可以是从图像处理单元143输出的未处理的用于视觉识别的图像数据，或者可以是被处理以促进调解控制器1110进行确定的图像数据。根据第五实施方式的第二修改的调解控制器1110b使用该信号处理结果作为调解信息，从而在从识别处理单元12输入的读出区域信息与从视觉识别处理单元14输入的读出区域信息之间执行调解处理。
图60是示出根据第五实施方式的第二修改的调解处理的示意图。由于图60的各个部分类似于上述图60中的情况，因此此处将省略其描述。此外，图60所示的每个图像对应于上述图57中使用的每个图像，并且整体上是亮度较低的暗图像，其中，前侧(帧的下端侧)以稍高的亮度较亮。
如步骤S70所示，从帧的下端侧开始行读出。图像处理单元143计算所读取的行数据的亮度值(例如，包括在行中的各个像素数据的亮度值的平均值)，并将包括计算出的亮度值的信号处理结果传递到调解控制器1110b。在包括在从图像处理单元143传递的信号处理结果中的亮度值是第一阈值或更大的情况下，调解控制器1110b确定所读出的区域明亮并且适合于视觉识别，并且因此执行赋予视觉识别更高的优先级的控制。具体地，调解控制器1110b从识别处理单元12输入的读出区域信息和从视觉识别处理单元14输入的读出区域信息中选择从视觉识别处理单元14输出的读出区域信息。调解控制器1110b选择从所选择的视觉识别处理单元14输出的读出区域信息作为指示接下来要读出的行的读出区域信息。
在图60的示例中，假设当行的亮度值是预定值或更大时，请求视觉识别处理单元14执行行细化。视觉识别处理单元14生成用于细化该帧下端的行的读出区域信息，并将所生成的信息传递给调解控制器1110。
基于通过随后读出行而获得的行数据，图像处理单元143将包括行数据的亮度值的信号处理结果传递给调解控制器1110b。在包括在所接收的信号处理结果中的亮度值小于第一阈值的情况下，调解控制器1110b确定读出区域是黑暗的并且不适合视觉识别，并且因此执行赋予识别更高的优先级的控制。具体地，调解控制器1110b从识别处理单元12输入的读出区域信息和从视觉识别处理单元14输入的读出区域信息中选择从识别处理单元12输入的读出区域信息(步骤S71)。
朝向帧的上端侧进一步执行行读出，并且包括行数据的亮度值的信号处理结果从图像处理单元143传递到调解控制器1110b。在包括在从图像处理单元143传递的信号处理结果中的亮度值是第一阈值或更大的情况下，调解控制器1110b确定读出区域明亮并且适合于视觉识别，并且因此将控制返回到赋予视觉识别更高的优先级的控制。具体地，调解控制器1110b从识别处理单元12输入的读出区域信息和从视觉识别处理单元14输入的读出区域信息中选择从视觉识别处理单元14输出的读出区域信息作为指示接下来要读出的行的读出区域信息(步骤S72)。
尽管以上描述是亮度值仅由第一阈值确定的示例，但是本公开不限于该示例。例如，允许提供亮度值高于第一阈值的第二亮度值，以便将该第二阈值应用于赋予视觉识别更高的优先级的控制。通过使用该第二阈值，可以避免在赋予视觉识别更高的优先级的控制中亮度值饱和的被称为“吹出(blown out)”状态的现象。
图61是示出根据第五实施方式的第二修改的调解处理的示例的流程图。根据图61的流程图的处理是针对读出单元的每次读出执行的处理。
在步骤S300中，读出单元110从传感器单元10读取行数据。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。在下文中，图61中的步骤S301至S303的识别处理单元12侧的处理和步骤S311至S313的视觉识别处理单元14侧的处理与上述图51中的对应处理相同，并且因此此处省略说明。
在图61中，在步骤S303中，如上所述，识别处理单元12生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110b。类似地，在步骤S313中，视觉识别处理单元14生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110b。
在步骤S303和S313中将控制信号从识别处理单元12和视觉识别处理单元14输入到调解控制器1110b之后，处理前进到步骤S320c。在步骤S320c中，调解控制器1110b获取从图像处理单元143输出的信号处理结果作为调解信息。
在接下来的步骤S321中，调解控制器1110b根据在步骤S320c中获取的信号处理结果中包括的亮度值，确定在步骤S303中从识别处理单元12传递的读出区域信息和在步骤S313中从视觉识别处理单元14传递的读出区域信息中的哪一个将被定义为指示接下来要读出的行的读出区域信息。在接下来的步骤S322中，传感器控制器11将在步骤S321中由调解控制器1110b确定的读出区域信息传递给读出处理控制器1111，并且执行行控制处理以读出在读出区域信息中指示的读出行。
以这种方式，在第五实施方式的第二修改中，根据基于行数据的亮度值，可以自适应地确定从识别处理单元12输出的读出区域信息和从视觉识别处理单元14输出的读出区域信息中的哪一个将被用作指示接下来要读出的读出行的读出区域信息。这使得可以根据成像环境的亮度来获得适当的用于视觉识别的图像。
[8-3.第五实施方式的第三修改]
接下来，将描述第五实施方式的第三修改。第五实施方式的第三修改是调解控制器1110应用从外部提供的外部控制信息作为用于调解处理的调解信息的示例。图62是示出可应用于第五实施方式的第三修改的成像设备1的功能的示例的功能框图。
与上述图51所示的配置相比，图62所示的配置使得外部控制信息可以被输入到调解控制器1110c。当成像设备1安装在能够自主驾驶的车辆上时，可以将指示与车辆兼容的自主驾驶级别(例如，级别2至级别4)的信息应用于外部控制信息。不限于此，其他传感器的输出信号可以用作外部控制信息。在这种情况下，其他传感器的示例包括另一成像设备、LiDAR传感器、雷达装置等。此外，还可以将通过使用相机和显示器来监视车辆周围的状况的电子镜的相机的输出用作外部控制信息。此外，例如，指示外部装置的操作模式的信息可以用作外部控制信息。
根据第五实施方式的第三修改的调解控制器1110c使用该外部控制信息作为调解信息，从而在从识别处理单元12输入的读出区域信息与从视觉识别处理单元14输入的读出区域信息之间执行调解处理。
图63是示出根据第五实施方式的第三修改的调解处理的示例的流程图。根据图63的流程图的处理是针对读出单元的每次读出执行的处理。
在步骤S300中，读出单元110从传感器单元10读取行数据。读出单元110将从传感器单元10读出的行数据传递到识别处理单元12和视觉识别处理单元14。在下文中，图63中的步骤S301至S303的识别处理单元12侧的处理和步骤S311至S313的视觉识别处理单元14侧的处理与上述图51中的对应处理相同，并且因此此处省略说明。
在图63中，在步骤S303中，如上所述，识别处理单元12生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110c。类似地，在步骤S313中，视觉识别处理单元14生成指示下一读出行的读出行信息作为读出区域信息，并将所生成的信息传递给传感器控制器11。传递到传感器控制器11的读出区域信息作为控制信息将被输入到调解控制器1110c。
在步骤S303和S313中将控制信号从识别处理单元12和视觉识别处理单元14输入到调解控制器1110b之后，处理前进到步骤S320d。在步骤S320d中，调解控制器1110c获取从外部装置输入的外部控制信息作为调解信息。
在接下来的步骤S321中，调解控制器1110b根据在步骤S320c中获取的外部控制信息，确定在步骤S303中从识别处理单元12传递的读出区域信息和在步骤S313中从视觉识别处理单元14传递的读出区域信息中的哪一个将被定义为指示接下来要读出的行的读出区域信息。
此时，在当调解控制器1110c使用从另一传感器输入的识别信息作为外部控制信息时识别信息的可靠性低的情况下，例如，在步骤S303中，调解控制器1110c控制不选择从识别处理单元12传递的读出区域信息。此外，关于外部控制信息，可以设想当成像设备1安装在能够自主驾驶的车辆上并且使用指示与车辆兼容的自主驾驶级别(例如，级别2至级别4)的信息时，将以更高的优先级使用在步骤S303中从识别处理单元12传递的读出区域信息。
在接下来的步骤S322中，传感器控制器11将在步骤S321中由调解控制器1110b确定的读出区域信息传递给读出处理控制器1111，并且执行行控制处理以读出在读出区域信息中指示的读出行。
以这种方式，在第五实施方式的第三修改中，调解控制器1110c通过使用从外部装置输出的外部控制信息作为调解信息来执行调解。这使得可以在各种情况下应用，并且在外部装置是不具有用于视觉识别的图像数据的输出的外部传感器的情况下，可以将基于用于视觉识别的图像数据的图像提供给外部传感器。
[9.第六实施方式]
接下来，作为第六实施方式，将描述根据第一实施方式至第五实施方式和根据本公开的各个修改的成像设备1的应用示例。图64是示出使用根据上述第一实施方式至第五实施方式和各个修改的成像设备1的示例的示图。
上述成像设备1适用于对包括可见光、红外光、紫外光和X射线的光执行感测的以下各种情况。
-捕获用于娱乐观看的图像的装置，诸如，数码相机和具有相机功能的移动装置。
-用于交通的装置，诸如，对车辆的前部、后部、周围环境、内部等进行成像的车载传感器，以确保包括自动停止等的安全驾驶，并识别驾驶员的状态；监视行驶车辆和道路的监视摄像机；以及执行车辆之间的距离测量的测距传感器等。
-用于家用电器的装置，包括电视、冰箱、空调等，以对用户的手势进行成像并根据手势执行设备的操作。
-用于医疗和保健的装置，诸如，内窥镜和通过接收红外光执行血管造影的装置。
-用于安全的装置，诸如，用于预防犯罪的监视摄像机和用于个人身份验证的相机。
-用于美容的装置，诸如，对皮肤成像的皮肤测量装置和对头皮成像的显微镜。
-用于运动的装置，诸如，用于运动应用的动作相机和可穿戴相机。
-用于农业的装置，诸如，用于监视田地和农作物状况的相机。
[根据本公开的技术的进一步应用示例]
根据本公开的技术(本技术)适用于各种产品。例如，根据本公开的技术可以应用于安装在各种移动对象(诸如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人)上的装置。
图65是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图65所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图65的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图66是示出成像部12031的安装位置的实例的示图。在图66中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图66示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行模式匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
在上文中，已经描述了可应用根据本公开的技术的车辆控制系统的示例。例如，根据本公开的技术可应用于上述配置中的成像部12031。通过将根据本公开的成像设备1应用于成像部12031，可以实现用于识别处理的成像和用于视觉识别的成像两者，并且为识别处理和人的视觉识别中的每一个提供足够的信息。
本说明书中描述的效果仅是示例，并且因此不限于示例的效果，可能存在其他效果。
此外，本技术还可以具有以下配置。
(1)
一种成像设备，包括：
成像单元，其具有布置有多个像素的像素区域，并且从包括在像素区域中的像素读取并输出像素信号；
读出单元控制器，其控制被设置为像素区域的一部分的读出单元；
第一读出单元设置单元，其设置用于从像素区域读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置单元，其设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及
调解单元，其在第一读出单元与第二读出单元之间执行调解，
其中，读出单元控制器通过调解单元的调解来设置读出单元。
(2)
根据(1)的成像设备，
其中，调解单元通过第一读出单元和第二读出单元的逻辑乘积来执行调解。
(3)
根据(1)的成像设备，
其中，调解单元基于识别处理的结果来执行调解。
(4)
根据(3)的成像设备，
其中，在识别处理的结果指示移动体的识别的情况下，调解单元选择第二读出单元。
(5)
根据(3)或(4)的成像设备，
其中，在识别处理的结果指示阈值或更小的识别置信度的情况下，调解单元选择第二读出单元。
(6)
根据(1)的成像设备，
其中，调解单元基于从第二读出单元读出的像素信号来执行调解。
(7)
根据(6)的成像设备，
其中，在基于像素信号的亮度超过阈值的情况下，调解单元选择第二读出单元。
(8)
根据(1)至(7)中任一项的成像设备，
其中，调解单元基于从成像设备的外部提供的外部信息来执行调解。
(9)
根据(8)的成像设备，
其中，调解单元基于从外部提供的操作模式来执行调解。
(10)
根据(8)或(9)的成像设备，
其中，调解单元基于从外部提供的另一传感器装置的检测输出来执行调解。
(11)
一种成像系统，包括：
成像设备，其配备有：
成像单元，其具有布置有多个像素的像素区域，并且从包括在像素区域中的像素读取并输出像素信号；
读出单元控制器，其控制被设置为像素区域的一部分的读出单元；
第一读出单元设置单元，其设置用于从像素区域读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置单元，其设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及
调解单元，其在第一读出单元与第二读出单元之间执行调解；以及
信息处理设备，配备有执行识别处理的识别单元，
其中，读出单元控制器通过调解单元的调解来设置读出单元。
(12)
一种由处理器执行的成像方法，包括：
读出单元控制步骤，用于控制被设置为布置有多个像素的像素区域的一部分的读出单元，该像素区域包括在成像单元中；
第一读出单元设置步骤，用于设置用于从包括在像素区域中的像素读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置步骤，用于设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及
调解步骤，用于在第一读出单元与第二读出单元之间执行调解，
其中，读出单元控制步骤通过调解步骤的调解来设置读出单元。
(13)
一种成像程序，使处理器执行：
读出单元控制步骤，用于控制被设置为布置有多个像素的像素区域的一部分的读出单元，该像素区域包括在成像单元中；
第一读出单元设置步骤，用于设置用于从包括在像素区域中的像素读出像素信号以进行已经学习了读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置步骤，用于设置用于从像素区域读出像素信号以将像素信号输出到后续级的第二读出单元；以及
调解步骤，用于在第一读出单元与第二读出单元之间执行调解，
其中，读出单元控制步骤通过调解步骤的调解来设置读出单元。
此外，本技术还可以具有以下配置。
(14)
一种电子设备，包括：
成像单元，其生成图像数据；
机器学习单元，其对从成像单元读出的每个单位区域的图像数据执行使用学习模型的机器学习处理；以及
功能执行单元，其基于机器学习处理的结果执行预定功能。
(15)
根据(14)的电子设备，
其中，机器学习单元对同一帧的图像数据中首先输入的单位区域的图像数据执行使用卷积神经网络(CNN)的机器学习处理。
(16)
根据(15)的电子设备，
其中，在对具有首先输入的单位区域的图像数据使用CNN的机器学习处理失败的情况下，机器学习单元对具有同一帧中的单位区域的下一个输入图像数据执行使用递归神经网络(RNN)的机器学习处理。
(17)
根据(14)至(16)中任一项的电子设备，进一步包括：
控制部分，其以行为单位从成像单元读出图像数据，
其中，图像数据以行为单位输入到机器学习单元。
(18)
根据(14)至(17)中任一项的电子设备，
其中，单位区域中的图像数据是具有预定行数的图像数据。
(19)
根据(14)至(17)中任一项的电子设备，
其中，单位区域中的图像数据是矩形区域中的图像数据。
(20)
根据(14)至(19)中任一项的电子设备，进一步包括：
存储器，其记录学习模型的程序，
其中，机器学习单元通过从存储器读出程序并执行该程序来执行机器学习处理。
参考标记列表
1 成像设备
10 传感器单元
11 传感器控制器
12 识别处理单元
14 视觉识别处理单元
110 读出单元
111 读出控制器
120 特征数据计算单元
121 特征数据存储控制器
122 特征数据存储单元
123 读出确定器
124 识别处理执行单元
140 图像数据存储控制器
141 图像数据存储单元
143 图像处理单元。

Claims (13)

1.一种成像设备，包括：
成像单元，具有布置有多个像素的像素区域，并且从包括在所述像素区域中的像素读取并输出像素信号；
读出单元控制器，控制被设置为所述像素区域的一部分的读出单元；
第一读出单元设置单元，设置用于从所述像素区域读出所述像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置单元，设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及
调解单元，在所述第一读出单元与所述第二读出单元之间执行调解，
其中，所述读出单元控制器通过所述调解单元的调解来设置所述读出单元。
2.根据权利要求1所述的成像设备，
其中，所述调解单元通过所述第一读出单元和所述第二读出单元的逻辑乘积来执行所述调解。
3.根据权利要求1所述的成像设备，
其中，所述调解单元基于所述识别处理的结果来执行所述调解。
4.根据权利要求3所述的成像设备，
其中，在所述识别处理的结果指示移动体的识别的情况下，所述调解单元选择所述第二读出单元。
5.根据权利要求3所述的成像设备，
其中，在所述识别处理的结果指示阈值或更小的识别置信度的情况下，所述调解单元选择所述第二读出单元。
6.根据权利要求1所述的成像设备，
其中，所述调解单元基于从所述第二读出单元读出的所述像素信号来执行所述调解。
7.根据权利要求6所述的成像设备，
其中，在基于所述像素信号的亮度超过阈值的情况下，所述调解单元选择所述第二读出单元。
8.根据权利要求1所述的成像设备，
其中，所述调解单元基于从所述成像设备的外部提供的外部信息来执行所述调解。
9.根据权利要求8所述的成像设备，
其中，所述调解单元基于从所述外部提供的操作模式来执行所述调解。
10.根据权利要求8所述的成像设备，
其中，所述调解单元基于从所述外部提供的另一传感器装置的检测输出来执行所述调解。
11.一种成像系统，包括：
成像设备，配备有：
成像单元，具有布置有多个像素的像素区域，并且从包括在所述像素区域中的像素读取并输出像素信号；
读出单元控制器，控制被设置为所述像素区域的一部分的读出单元；
第一读出单元设置单元，设置用于从所述像素区域读出所述像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置单元，设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及
调解单元，在所述第一读出单元与所述第二读出单元之间执行调解；以及
信息处理设备，配备有执行所述识别处理的所述识别单元，
其中，所述读出单元控制器通过所述调解单元的调解来设置所述读出单元。
12.一种由处理器执行的成像方法，包括：
读出单元控制步骤，用于控制被设置为布置有多个像素的像素区域的一部分的读出单元，所述像素区域包括在成像单元中；
第一读出单元设置步骤，用于设置用于从包括在所述像素区域中的像素读出像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置步骤，用于设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及
调解步骤，用于在所述第一读出单元与所述第二读出单元之间执行调解，
其中，所述读出单元控制步骤通过所述调解步骤的调解来设置所述读出单元。
13.一种成像程序，使处理器执行：
读出单元控制步骤，用于控制被设置为布置有多个像素的像素区域的一部分的读出单元，所述像素区域包括在成像单元中；
第一读出单元设置步骤，用于设置用于从包括在所述像素区域中的像素读出像素信号以进行已经学习了所述读出单元中的每一个读出单元的训练数据的识别处理的第一读出单元；
第二读出单元设置步骤，用于设置用于从所述像素区域读出所述像素信号以将所述像素信号输出到后续级的第二读出单元；以及
调解步骤，用于在所述第一读出单元与所述第二读出单元之间执行调解，
其中，所述读出单元控制步骤通过所述调解步骤的调解来设置所述读出单元。
CN201980054962.6A 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和成像程序 Pending CN112585948A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-163700 2018-08-31
JP2018163700 2018-08-31
JP2019-159151 2019-08-30
JP2019159151A JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
PCT/JP2019/034499 WO2020045684A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (1)

Publication Number Publication Date
CN112585948A true CN112585948A (zh) 2021-03-30

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980054977.2A Active CN112585531B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和计算机存储介质
CN201980054962.6A Pending CN112585948A (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和成像程序
CN201980054531.XA Active CN112585943B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和存储介质
CN201980054043.9A Active CN112567728B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980054977.2A Active CN112585531B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和计算机存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980054531.XA Active CN112585943B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法和存储介质
CN201980054043.9A Active CN112567728B (zh) 2018-08-31 2019-09-02 成像设备、成像系统、成像方法

Country Status (7)

Country Link
US (7) US11763554B2 (zh)
EP (4) EP3846443A4 (zh)
JP (9) JP6635221B1 (zh)
KR (4) KR20210052444A (zh)
CN (4) CN112585531B (zh)
BR (4) BR112021003115A2 (zh)
WO (4) WO2020045684A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JP7492345B2 (ja) 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
US20230128031A1 (en) * 2020-03-19 2023-04-27 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus
JPWO2021192714A1 (zh) * 2020-03-24 2021-09-30
WO2021200330A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
WO2022019025A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
CN118044216A (zh) * 2021-09-27 2024-05-14 富士胶片株式会社 图像生成方法、处理器及程序
US20230133057A1 (en) * 2021-10-29 2023-05-04 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127614A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127653A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127612A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049685A (zh) * 2014-04-25 2015-11-11 佳能株式会社 摄像设备和摄像设备的控制方法
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
JP2018136767A (ja) * 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
DE60213559T2 (de) 2001-01-22 2007-10-18 Hand Held Products, Inc. Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JPWO2007119818A1 (ja) 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US8925459B2 (en) * 2008-03-27 2015-01-06 Pressline Services, Inc. Printing press, folder, and methods of operation
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
CN110572586A (zh) * 2012-05-02 2019-12-13 株式会社尼康 拍摄元件及电子设备
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
JP6369911B2 (ja) * 2013-01-25 2018-08-08 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の自動関心領域機能
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN107736014B (zh) 2015-07-16 2020-12-18 索尼公司 摄像设备和信息处理系统
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP3515057B1 (en) 2016-09-16 2024-02-21 Sony Semiconductor Solutions Corporation Image pickup device and electronic apparatus
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
TWI754696B (zh) 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JPWO2020049958A1 (ja) * 2018-09-06 2021-08-12 ソニーグループ株式会社 情報処理システム、情報処理方法、端末装置および情報処理装置
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049685A (zh) * 2014-04-25 2015-11-11 佳能株式会社 摄像设备和摄像设备的控制方法
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
JP2018136767A (ja) * 2017-02-22 2018-08-30 オムロン株式会社 光学センサ、学習装置、及び画像処理システム

Also Published As

Publication number Publication date
BR112021003115A2 (pt) 2021-05-11
JP2020039123A (ja) 2020-03-12
EP3846444A4 (en) 2021-10-06
BR112021003084A2 (pt) 2021-05-11
EP3846446A4 (en) 2021-10-20
CN112567728A (zh) 2021-03-26
EP3846441A1 (en) 2021-07-07
US20210329164A1 (en) 2021-10-21
CN112585531B (zh) 2023-05-30
JP6635222B1 (ja) 2020-01-22
US11595608B2 (en) 2023-02-28
US11704904B2 (en) 2023-07-18
CN112585943B (zh) 2022-12-27
US20210329163A1 (en) 2021-10-21
KR20210053884A (ko) 2021-05-12
JP2020039126A (ja) 2020-03-12
KR20210052446A (ko) 2021-05-10
US20240029424A1 (en) 2024-01-25
JP7380180B2 (ja) 2023-11-15
WO2020045682A1 (ja) 2020-03-05
WO2020045685A1 (ja) 2020-03-05
JP7424034B2 (ja) 2024-01-30
JP2020043614A (ja) 2020-03-19
EP3846441A4 (en) 2021-10-13
US11763554B2 (en) 2023-09-19
EP3846446A1 (en) 2021-07-07
US20210306586A1 (en) 2021-09-30
WO2020045686A1 (ja) 2020-03-05
US11741700B2 (en) 2023-08-29
BR112021003119A2 (pt) 2021-05-11
EP3846443A4 (en) 2021-09-22
WO2020045684A1 (ja) 2020-03-05
US20210321054A1 (en) 2021-10-14
KR20210052444A (ko) 2021-05-10
JP2020043615A (ja) 2020-03-19
JP6638852B1 (ja) 2020-01-29
BR112021003183A2 (pt) 2021-05-11
JP2020054007A (ja) 2020-04-02
EP3846444A1 (en) 2021-07-07
JP2024028531A (ja) 2024-03-04
JP7424051B2 (ja) 2024-01-30
JP2020048225A (ja) 2020-03-26
JP2020039124A (ja) 2020-03-12
JP2020039125A (ja) 2020-03-12
JP6638851B1 (ja) 2020-01-29
CN112585531A (zh) 2021-03-30
US20230334848A1 (en) 2023-10-19
JP6635221B1 (ja) 2020-01-22
CN112567728B (zh) 2023-06-09
KR20210053883A (ko) 2021-05-12
US20230394813A1 (en) 2023-12-07
CN112585943A (zh) 2021-03-30
EP3846443A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
CN112585943B (zh) 成像设备、成像系统、成像方法和存储介质
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20230254600A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination