JP2020043614A - 撮像装置、撮像システム、撮像方法および撮像プログラム - Google Patents

撮像装置、撮像システム、撮像方法および撮像プログラム Download PDF

Info

Publication number
JP2020043614A
JP2020043614A JP2019229256A JP2019229256A JP2020043614A JP 2020043614 A JP2020043614 A JP 2020043614A JP 2019229256 A JP2019229256 A JP 2019229256A JP 2019229256 A JP2019229256 A JP 2019229256A JP 2020043614 A JP2020043614 A JP 2020043614A
Authority
JP
Japan
Prior art keywords
unit
read
reading
recognition
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019229256A
Other languages
English (en)
Other versions
JP2020043614A5 (ja
JP7424034B2 (ja
Inventor
卓 青木
Taku Aoki
卓 青木
竜太 佐藤
Ryuta Sato
竜太 佐藤
啓太郎 山本
Keitaro Yamamoto
啓太郎 山本
良仁 浴
Ryoji Eki
良仁 浴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020043614A publication Critical patent/JP2020043614A/ja
Publication of JP2020043614A5 publication Critical patent/JP2020043614A5/ja
Priority to JP2024006216A priority Critical patent/JP2024028531A/ja
Application granted granted Critical
Publication of JP7424034B2 publication Critical patent/JP7424034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Character Discrimination (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】機能実現に伴う処理時間や消費電力を抑制可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供する。【解決手段】本開示に係る撮像装置は、複数の画素が配列された画素領域を有する撮像部と、画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、読出制御部が読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識部と、を備える。認識部は、読出単位毎の画素信号に対して認識処理を行い、認識処理の結果の認識結果を出力する。【選択図】図１

Description

本開示は、撮像装置、撮像システム、撮像方法および撮像プログラムに関する。
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
特開２０１７−１１２４０９号公報
しかしながら、従来では、画像認識機能を実行するために、１〜数フレーム分の画像データに対する画像処理が必要であった。そのため、機能実現のための処理時間や消費電力が増大してしまうという課題が存在した。
本開示は、機能実現に伴う処理時間や消費電力を抑制可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供することを目的とする。
本開示に係る撮像装置は、複数の画素が配列された画素領域を有する撮像部と、画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、読出制御部が読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、読出単位毎の教師データを学習した認識部と、を備え、認識部は、読出単位毎の画素信号に対して認識処理を行い、認識処理の結果の認識結果を出力する。
本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用可能なセンサ部の一例の構成を示すブロック図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 ＣＮＮによる画像認識処理を概略的に説明するための図である。 認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。 時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。 時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。 時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。 第１の実施形態に係る認識処理部による認識処理を示す一例のフローチャートである。 １フレーム分の画像データの一例を示す図である。 第１の実施形態に係る認識処理部が実行する機械学習処理の流れを説明するための図である。 第１の実施形態の応用例について説明するための模式図である。 第１の実施形態の応用例について説明するための模式図である。 第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第２の実施形態に係る認識処理部における処理の例についてより詳細に示す模式図である。 第２の実施形態に係る機能を説明するための一例の機能ブロック図である。 第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態に係る認識処理を概略的に示す模式図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 第２の実施形態に係る認識処理を示す一例のフローチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。 第２の実施形態の第１の変形例に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第２の変形例に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第３の変形例に係るフレーム読み出し処理を説明するための模式図である。 第２の実施形態の第３の変形例に係る認識処理を概略的に示す模式図である。 読出単位がエリアである場合にフレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 読出単位がエリアである場合にフレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 第２の実施形態の第４の変形例に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第４の変形例に適用可能な認識処理を概略的に示す模式図である。 第２の実施形態の第４の変形例に係る読み出しおよび制御の例を示す一例のタイムチャートである。 第２の実施形態の第４の変形例に係るフレーム読み出し処理についてより具体的に説明するための図である。 第２の実施形態の第４の変形例に係るフレーム読み出し処理についてより具体的に説明するための図である。 第２の実施形態の第５の変形例に係るフレーム読み出し処理を説明するための模式図である。 第２の実施形態の第６の変形例に係るフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第６の変形例に係る読み出しおよび認識処理をおこなうパターンの例を示す図である。 第２の実施形態の第７の変形例に係るフレームの読み出し処理の第１の例を説明するための模式図である。 第２の実施形態の第７の変形例の第１の他の例によるフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第７の変形例の第２の他の例によるフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第７の変形例の第３の他の例によるフレームの読み出し処理を説明するための模式図である。 第２の実施形態の第８の変形例に係る機能を説明するための一例の機能ブロック図である。 第２の実施形態の第８の変形例に係る認識処理を示す一例のフローチャートである。 第２の実施形態の第８の変形例に係る読み出しおよび認識処理の第１の例について説明するための図である。 第２の実施形態の第８の変形例に係る読み出しおよび認識処理の第１の例について説明するための図である。 第２の実施形態の第９の変形例に係る露出パターンの例を示す図である。 第２の実施形態の第１０の変形例に係る機能を説明するための一例の機能ブロック図である。 第２の実施形態の第１０の変形例に係る処理を示す一例のフローチャートである。 第２の実施形態の第１０の変形例に係る第１の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第２の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。 第２の実施形態の第１０の変形例に係る認識処理部における処理の例についてより詳細に示す模式図である。 第３の実施形態に係る機能を説明するための一例の機能ブロック図である。 第３の実施形態に適用可能な読出単位パターンの例を示す模式図である。 第３の実施形態に適用可能な読出順パターンの例を示す模式図である。 第３の実施形態の第１の変形例に係る機能を説明するための一例の機能ブロック図である。 第３の実施形態の第１の変形例の第１の設定方法を説明するための模式図である。 第３の実施形態の第１の変形例の第２の設定方法を説明するための模式図である。 第３の実施形態の第１の変形例の第３の設定方法を説明するための模式図である。 第３の実施形態の第３の変形例に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第４の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第４の実施形態に係る画像処理を概略的に説明するための模式図である。 第４の実施形態に係る読み出し処理の例を示す図である。 第４の実施形態に係る処理を示す一例のフローチャートである。 第４の実施形態に係る画像データ蓄積部の制御の第３の例について説明するための図である。 第４の実施形態の第１の変形例について説明するための図である。 第４の実施形態の第２の変形例について説明するための図である。 第４の実施形態の第３の変形例における第１の例について説明するための図である。 本開示の技術を適用した撮像装置の使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の各実施形態に係る構成例
２．本開示に適用可能な既存技術の例
２−１．ローリングシャッタの概要
２−２．グローバルシャッタの概要
２−３．ＤＮＮ(Deep Neural Network)について
２−３−１．ＣＮＮ(Convolutional Neural Network)の概要
２−３−２．ＲＮＮ(Recurrent Neural Network)の概要
２−４．駆動速度について
３．本開示の概要
４．第１の実施形態
４−１．認識処理部による動作例
４−２．認識処理部による動作の具体例
４−３．第１の実施形態の応用例
５．第２の実施形態
５−０−１．第２の実施形態に係る構成例
５−０−２．第２の実施形態に係る認識処理部における処理の例
５−０−３．第２の実施形態に係る認識処理の詳細
５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例
５−１．第２の実施形態の第１の変形例
５−２．第２の実施形態の第２の変形例
５−３．第２の実施形態の第３の変形例
５−４．第２の実施形態の第４の変形例
５−５．第２の実施形態の第５の変形例
５−６．第２の実施形態の第６の変形例
５−７．第２の実施形態の第７の変形例
５−８．第２の実施形態の第８の変形例
５−９．第２の実施形態の第９の変形例
５−１０．第２の実施形態の第１０の変形例
６．第３の実施形態
６−０−１．読出単位パターン、読出順パターンの決定方法
６−０−１−１．読出単位パターン、読出順パターンの例
６−０−１−２．読出単位パターンの優先度設定方法の具体例
６−０−１−３．読出順パターンの優先度設定方法の具体例
６−１．第３の実施形態の第１の変形例
６−２．第３の実施形態の第２の変形例
６−３．第３の実施形態の第３の変形例
７．第４の実施形態
７−１．第４の実施形態の第１の変形例
７−２．第４の実施形態の第２の変形例
７−３．第４の実施形態の第３の変形例
８．第５の実施形態
［１．本開示の各実施形態に係る構成例］
本開示に係る撮像装置の構成について、概略的に説明する。図１は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図１において、撮像装置１は、センサ部１０と、センサ制御部１１と、認識処理部１２と、メモリ１３と、視認処理部１４と、出力制御部１５と、を含み、これら各部がＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、撮像装置１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
センサ部１０は、光学部３０を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部１０は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部１０は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部１０は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
以下、センサ部１０が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部１０の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部１０は、後述するセンサ制御部１１から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）を制御される。
センサ制御部１１は、例えばマイクロプロセッサにより構成され、センサ部１０からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１１から出力された画素データは、認識処理部１２および視認処理部１４に渡される。
また、センサ制御部１１は、センサ部１０における撮像を制御するための撮像制御信号を生成する。センサ制御部１１は、例えば、後述する認識処理部１２および視認処理部１４からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部１０における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部１０が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１１は、生成した撮像制御信号をセンサ部１０に供給する。
光学部３０は、被写体からの光をセンサ部１０の受光面に照射させるためのもので、例えばセンサ部１０に対応する位置に配置される。光学部３０は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部３０は、受光面に光が照射される時間を調整するシャッタ機構（メカニカルシャッタ）をさらに含んでもよい。光学部３０が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部１１により制御するようにできる。これに限らず、光学部３０における絞りやフォーカスは、撮像装置１の外部から制御するようにもできる。また、光学部３０を撮像装置１と一体的に構成することも可能である。
認識処理部１２は、センサ制御部１１から渡された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、ＤＳＰ(Digital Signal Processor)が、教師データにより予め学習されメモリ１３に学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ(Deep Neural Network)を用いた認識処理を行う、機械学習部としての認識処理部１２が構成される。認識処理部１２は、認識処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。認識処理部１２による認識結果は、出力制御部１５に渡される。
視認処理部１４は、センサ制御部１１から渡された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ＩＳＰ(Image Signal Processor)が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部１４が構成される。
例えば、視認処理部１４は、センサ部１０に含まれる各画素にカラーフィルタが設けられ、画素データがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部１４は、視認処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。視認処理部１４により画素データが画像処理された画像データは、出力制御部１５に渡される。
出力制御部１５は、例えばマイクロプロセッサにより構成され、認識処理部１２から渡された認識結果と、視認処理部１４から視認処理結果として渡された画像データと、のうち一方または両方を、撮像装置１の外部に出力する。出力制御部１５は、画像データを、例えば表示デバイスを有する表示部３１に出力することができる。これにより、ユーザは、表示部３１により表示された画像データを視認することができる。なお、表示部３１は、撮像装置１に内蔵されるものでもよいし、撮像装置１の外部の構成であってもよい。
図２Ａおよび図２Ｂは、各実施形態に係る撮像装置１のハードウェア構成の例を示す模式図である。図２Ａは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される例である。なお、図２Ａにおいて、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
図２Ａに示す構成では、認識処理部１２による認識結果は、図示されない出力制御部１５を介してチップ２の外部に出力される。また、図２Ａの構成においては、認識処理部１２は、認識に用いるための画素データを、センサ制御部１１から、チップ２の内部のインタフェースを介して取得できる。
図２Ｂは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、視認処理部１４および出力制御部１５が搭載され、認識処理部１２およびメモリ１３（図示しない）がチップ２の外部に置かれた例である。図２Ｂにおいても、上述した図２Ａと同様に、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。
この図２Ｂの構成においては、認識処理部１２は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図２Ｂでは、認識処理部１２による認識結果が、認識処理部１２から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図２Ｂの構成において、認識処理部１２は、認識結果をチップ２に戻し、チップ２に搭載される不図示の出力制御部１５から出力させるようにしてもよい。
図２Ａに示す構成は、認識処理部１２がセンサ制御部１１と共にチップ２に搭載され、認識処理部１２とセンサ制御部１１との間の通信を、チップ２の内部のインタフェースにより高速に実行できる。その一方で、図２Ａに示す構成では認識処理部１２の差し替えができず、認識処理の変更が難しい。これに対して、図２Ｂに示す構成は、認識処理部１２がチップ２の外部に設けられるため、認識処理部１２とセンサ制御部１１との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部１２とセンサ制御部１１との間の通信は、図２Ａの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部１２の差し替えが容易であり、多様な認識処理の実現が可能である。
以下、特に記載の無い限り、撮像装置１は、図２Ａの、１つのチップ２にセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される構成を採用するものとする。
上述した図２Ａに示す構成において、撮像装置１は、１つの基板上に形成することができる。これに限らず、撮像装置１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。
一例として、撮像装置１を半導体チップを２層に積層した２層構造により形成することができる。図３Ａは、各実施形態に係る撮像装置１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ａの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０ｂを形成している。画素部２０ａは、少なくともセンサ部１０における画素アレイを含む。メモリ＋ロジック部２０ｂは、例えば、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。メモリ＋ロジック部２０ｂは、さらに、センサ部１０における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ＋ロジック部２０ｂは、例えば視認処理部１４が画像データの処理のために用いるメモリをさらに含むことができる。
図３Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
別の例として、撮像装置１を、半導体チップを３層に積層した３層構造により形成することができる。図３Ｂは、各実施形態に係る撮像装置１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ｂの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ部２０ｃを形成し、第３層の半導体チップにロジック部２０ｂ’を形成している。この場合、ロジック部２０ｂ’は、例えば、センサ制御部１１、認識処理部１２、視認処理部１４および出力制御部１５と、撮像装置１と外部との通信を行うためのインタフェースと、を含む。また、メモリ部２０ｃは、メモリ１３と、例えば視認処理部１４が画像データの処理のために用いるメモリを含むことができる。メモリ１３は、ロジック部２０ｂ’に含めてもよい。
図３Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置１を１つの固体撮像素子として構成する。
図４は、各実施形態に適用可能なセンサ部１０の一例の構成を示すブロック図である。図４において、センサ部１０は、画素アレイ部１０１と、垂直走査部１０２と、ＡＤ(Analog to Digital)変換部１０３と、画素信号線１０６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図４において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１１に含まれるものとすることもできる。
画素アレイ部１０１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１００を含む。画素アレイ部１０１において、複数の画素回路１００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１０１において、画素回路１００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１０１は、少なくとも１９２０個の画素回路１００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。
以下、センサ部１０においてフレームに含まれる各画素回路１００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１００から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
また、画素アレイ部１０１には、各画素回路１００の行および列に対し、行毎に画素信号線１０６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１０６の画素アレイ部１０１と接続されない端部は、垂直走査部１０２に接続される。垂直走査部１０２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０６を介して画素アレイ部１０１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１０１と接続されない端部は、ＡＤ変換部１０３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１０３に伝送される。
画素回路１００からの画素信号の読み出し制御について、概略的に説明する。画素回路１００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
より具体的には、画素回路１００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１０６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１０６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１０６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。
ＡＤ変換部１０３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１０７と、参照信号生成部１０４と、水平走査部１０５と、を含む。ＡＤ変換器１０７は、画素アレイ部１０１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１０７は、垂直信号線ＶＳＬを介して画素回路１００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ部１０の外部に出力される。
参照信号生成部１０４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１０７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０４は、生成したランプ信号を、各ＡＤ変換器１０７に供給する。参照信号生成部１０４は、例えばＤＡＣ(Digital to Analog Converter)などを用いて構成される。
参照信号生成部１０４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１０７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
ＡＤ変換器１０７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたディジタル信号による画素信号は、センサ部１０の外部に出力される。
水平走査部１０５は、制御部１１００の制御の下、各ＡＤ変換器１０７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１０７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１０５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５などの駆動制御を行う。制御部１１００は、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０２が画素信号線１０６を介して各画素回路１００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１０２に供給する。
また、制御部１１００は、例えば、センサ制御部１１から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１０３に渡す。ＡＤ変換部１０３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１０３に含まれる各ＡＤ変換器１０７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。
垂直走査部１０２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１０１の選択された画素行の画素信号線１０６に駆動パルスを含む各種信号を、ライン毎に各画素回路１００に供給し、各画素回路１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１０２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１０２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１００における露出を制御する。
このように構成されたセンサ部１０は、ＡＤ変換器１０７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサである。
［２．本開示に適用可能な既存技術の例］
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
（２−１．ローリングシャッタの概要）
画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図５Ａ、図５Ｂおよび図５Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図５Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。
なお、上述では、「撮像」を、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部１１に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部１０１において、画素信号を生成するために有効な画素回路１００が配置される領域を指す。
例えば、図４の構成において、１つのラインに含まれる各画素回路１００において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路１００において一斉に、各画素回路１００に対応する各垂直信号線ＶＳＬを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
図５Ｂは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図５Ｂにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図５Ｂに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合、図５Ｃに例示されるように、撮像されたフレーム２００の画像に歪みが生じる。図５Ｃの例では、フレーム２００に対応する画像２０２が、撮像装置１と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図６Ａ、図６Ｂおよび図６Ｃは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図６Ａに示されるように、上述した図５Ａの例と同様に、フレーム２００の上端のライン２０１からフレーム２００の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
ここでは、説明のため、１ライン間引きにより１ラインおきに撮像を行うものとする。すなわち、第ｎラインの撮像の次は第（ｎ＋２）ラインの撮像を行う。このとき、第ｎラインの撮像から第（ｎ＋２）ラインの撮像までの時間が、間引きを行わない場合の、第ｎラインの撮像から第（ｎ＋１）ラインの撮像までの時間と等しいものとする。
図６Ｂは、ローリングシャッタ方式において１ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図６Ｂにおいて、縦軸はライン位置、横軸は時間を示す。図６Ｂにおいて、露出Ａは、間引きを行わない図５Ｂの露出と対応し、露出Ｂは、１ライン間引きを行った場合の露出を示している。露出Ｂに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図６Ｃに画像２０３として例示されるように、撮像されたフレーム２００の画像に生ずる傾き方向の歪が、図５Ｃに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
上述では、ローリングシャッタ方式においてフレーム２００の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図７Ａおよび図７Ｂは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図７Ａに示されるように、ローリングシャッタ方式において、フレーム２００の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム２００の上端から下端に向けてライン順次に撮像した場合に比べ、画像２０２の歪の水平方向の向きが逆となる。
また、例えば画素信号を転送する垂直信号線ＶＳＬの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線ＶＳＬと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム２００の上端および下端以外とすることも可能である。図７Ｂは、幅および高さがフレーム２００の幅および高さにそれぞれ満たない矩形の領域２０５を撮像の範囲とした例を模式的に示している。図７Ｂの例では、領域２０５の上端のライン２０４からライン順次で領域２０５の下端に向けて撮像を行っている。
（２−２．グローバルシャッタの概要）
次に、画素アレイ部１０１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図８Ａ、図８Ｂおよび図８Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図８Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。
図４の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路１００において光電変換素子とＦＤとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第１のスイッチを、当該キャパシタと浮遊拡散層との間に第２のスイッチをそれぞれ設け、これら第１および第２のスイッチそれぞれの開閉を、画素信号線１０６を介して供給されるパルスにより制御する構成とする。
このような構成において、露出期間中は、フレーム２００に含まれる全画素回路１００において、第１および第２のスイッチをそれぞれ開、露出終了で第１のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム２００に含まれる全画素回路１００において同時の露出が可能となる。
図８Ｂは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図８Ｂにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００において同時に露出が行われるため、図８Ｂに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば撮像装置１と被写体との水平方向の位置関係が高速に変化する場合であっても、図８Ｃに例示されるように、撮像されたフレーム２００の画像２０６には、当該変化に応じた歪が生じない。
グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線１０６により供給する各パルスのタイミングと、各垂直信号線ＶＳＬによる転送のタイミングとを制御することで、様々なパターンでのサンプリング（画素信号の読み出し）を実現できる。
図９Ａおよび図９Ｂは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図９Ａは、フレーム２００に含まれる、行列状に配列された各画素回路１００から、画素信号を読み出すサンプル２０８を市松模様状に抽出する例である。また、図９Ｂは、当該各画素回路１００から、画素信号を読み出すサンプル２０８を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
（２−３．ＤＮＮについて）
次に、各実施形態に適用可能なＤＮＮ(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、ＤＮＮのうち、ＣＮＮ(Convolutional Neural Network)と、ＲＮＮ(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
（２−３−１．ＣＮＮの概要）
先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図１０は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。
これに対して、ライン毎の画像に基づきＣＮＮによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図１１は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図１１において、画像５０’は、認識対象のオブジェクトである数字の「８」を、ライン単位で部分的に取得したものである。この画像５０’の画素情報５１’を形成する例えばライン毎の画素情報５４ａ、５４ｂおよび５４ｃに対して順次、所定に学習されたＣＮＮ５２’による処理を施す。
例えば、第１ライン目の画素情報５４ａに対するＣＮＮ５２’による認識処理で得られた認識結果５３ａは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。ＣＮＮ５２’は、この認識結果５３ａに基づき内部状態の更新５５を行う。次に、第２ライン目の画素情報５４ｂに対して、前回の認識結果５３ａにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が「８」または「９」の何れかであることを示す認識結果５３ｂが得られている。さらに、この認識結果５３ｂに基づき、ＣＮＮ５２’の内部情報の更新５５を行う。次に、第３ライン目の画素情報５４ｃに対して、前回の認識結果５３ｂにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が、「８」または「９」のうち「８」に絞り込まれる。
ここで、この図１１に示した認識処理は、前回の認識処理の結果を用いてＣＮＮの内部状態を更新し、この内部状態が更新されたＣＮＮにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図１１に示した認識処理は、画像に対してライン順次に、ＣＮＮの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図１１に示す認識処理は、ライン順次に再帰的に実行される処理であり、ＲＮＮに相当する構造を有していると考えることができる。
（２−３−２．ＲＮＮの概要）
次に、ＲＮＮについて、概略的に説明する。図１２Ａおよび図１２Ｂは、時系列の情報を用いない場合の、ＤＮＮによる識別処理（認識処理）の例を概略的に示す図である。この場合、図１２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
図１２Ｂは、図１２Ａの処理をより詳細に説明するための図である。図１２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、識別処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、ＤＮＮにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。
図１３Ａおよび図１３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。この図１３Ａおよび図１３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図１３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ−１の画像［Ｔ−１］と、時間Ｔ−１より前の時間Ｔ−２の画像［Ｔ−２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
図１３Ｂは、図１３Ａの処理をより詳細に説明するための図である。図１３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ−１］および［Ｔ−２］それぞれに対して、上述の図１２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ−１］および［Ｔ−２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ−１］および［Ｔ−２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。
この図１３Ａおよび図１３Ｂの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、ＤＮＮの構成が大規模になってしまうおそれがある。
図１４Ａおよび図１４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。図１４Ａの例では、内部状態が時間Ｔ−１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける識別結果［Ｔ］を得ている。
図１４Ｂは、図１４Ａの処理をより詳細に説明するための図である。図１４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図１２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。
この図１４Ａおよび図１４Ｂに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ(Recurrent Neural Network)と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。
本開示では、ＲＮＮをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、ＲＮＮに適用させる。これにより、ＣＮＮを用いた場合（図１３Ｂ参照）と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、ＲＮＮをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。
（２−４．駆動速度について）
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１５Ａおよび図１５Ｂを用いて説明する。図１５Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ(frame per second)］での出力が可能となる。
次に、ラインを間引いて撮像を行うことを考える。例えば、図１５Ｂに示すように、１ラインずつ読み飛ばして撮像を行う、１／２間引き読み出しにて撮像を行うものとする。１／２間引きの第１の例として、上述と同様に１４４００［ライン／秒］の駆動速度で駆動する場合、画像から読み出すライン数が１／２になるため、解像度は低下するが、間引きを行わない場合の倍の速度の６０［ｆｐｓ］での出力が可能となり、フレームレートを向上できる。１／２間引きの第２の例として、駆動速度を第１の例の半分の７２００［ｆｐｓ］として駆動する場合、フレームレートは間引かない場合と同様に３０［ｆｐｓ］となるが、省電力化が可能となる。
画像のラインを読み出す際に、間引きを行わないか、間引きを行い駆動速度を上げるか、間引きを行い駆動速度を間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
［３．本開示の概要］
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図１６は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図１６において、ステップＳ１で、各実施形態に係る撮像装置１（図１参照）により、認識対象となる対象画像の撮像を開始する。
なお、対象画像は、例えば手書きで数字の「８」を描画した画像であるものとする。また、メモリ１３には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、撮像装置１は、ローリングシャッタ方式により撮像を行うものとする。なお、撮像装置１がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。
撮像が開始されると、撮像装置１は、ステップＳ２で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。例えば、数字「８」および「９」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「８」および「９」の何れかであると識別できる。
ここで、ステップＳ４ａに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップＳ２で数字の「８」または「９」の何れかとして識別されたオブジェクトが数字の「８」であることが確定される。
一方、ステップＳ４ｂおよびステップＳ４ｃは、本開示に関連する処理となる。
ステップＳ４ｂに示されるように、ステップＳ３で読み出しを行ったライン位置からさらにラインを読み進め、数字「８」の下端に達する途中でも、認識されたオブジェクトが数字の「８」であると識別することが可能である。例えば、数字「８」の下半分と、数字「９」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップＳ３で認識されたオブジェクトが数字の「８」および「９」の何れであるかが識別可能となる。図１６の例では、ステップＳ４ｂにおいて、当該オブジェクトが数字の「８」であると確定されている。
また、ステップＳ４ｃに示されるように、ステップＳ３のライン位置から、ステップＳ３の状態においてさらに読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。
ここで、上述したステップＳ４ｂまたはステップＳ４ｃでオブジェクトが確定された場合、撮像装置１は、認識処理を終了させることができる。これにより、撮像装置１における認識処理の短時間化および省電力化を実現することが可能となる。
なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として物体クラス（人体／車両／非物体）や物体の座標（ｘ，ｙ，ｈ，ｗ）などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。
［４．第１の実施形態］
次に、本開示の第１の実施形態について説明する。
（４−１．認識処理部による動作例）
第１の実施形態に係る撮像装置１において、認識処理部１２は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ１３に記憶されるプログラムを読み出して実行することで、ＤＮＮを利用した認識器として機能する。
図１７は、第１の実施形態に係る認識処理部１２による認識処理を示す一例のフローチャートである。図１７において、ステップＳ１２１で、撮像装置１において、認識処理部１２を構成するＤＳＰは、メモリ１３から学習モデルを読み出して実行する。これにより、当該ＤＳＰが認識処理部１２として機能する。
次に、ステップＳ１２２で、撮像装置１において認識処理部１２は、センサ制御部１１に対してセンサ部１０からのフレーム読み出しを開始するように指示する。このフレーム読出しでは、例えば、１フレーム分の画像データがライン単位（行単位ともいう）で順次読み出される。認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたか否かを判定する。
認識処理部１２は、１フレームにおける所定ライン数の画像データが読み出されたと判定すると（ステップＳ１２３、「ＹＥＳ」）、処理をステップＳ１２４に移行させる。ステップＳ１２４で、認識処理部１２は、読み出された所定ライン数分の画像データに対して、ＣＮＮを利用した機械学習処理としての認識処理を実行する。すなわち、認識処理部１２は、所定ライン数の画像データを単位領域として、学習モデルを用いた機械学習処理を実行する。また、ＣＮＮを利用した機械学習処理では、例えば、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き（動物体）検出、ペット検出、シーン認識、状態検出、回避対象物認識、などの認識処理や検出処理が実行される。
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き（動物体）検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン（海や山等）を認識する処理である。状態検出とは、画像データに含まれる人物等の状態（通常の状態か異常の状態か等）を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。認識処理部１２により実行される機械学習処理は、これらの例に限定されない。
ステップＳ１２５で、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理が成功したか否かを判定する。認識処理部１２は、ＣＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２５、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。一方、認識処理部１２は、ステップＳ１２４によるＣＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２５、「ＮＯ」）、処理をステップＳ１２６に移行させる。ステップＳ１２６で、認識処理部１２は、センサ制御部１１から次の所定ライン数の画像データが読み出されるのを待機する（ステップＳ１２６、「ＮＯ」）。
なお、本説明において、機械学習処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、機械学習処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
次に、ステップＳ１２６において、次の所定ライン数の画像データ（単位領域）が読み出されると（ステップＳ１２６、「ＹＥＳ」）、認識処理部１２は、ステップＳ１２７で、読み出された所定ライン数の画像データに対して、ＲＮＮを利用した機械学習処理を実行する。ＲＮＮを利用した機械学習処理では、例えば、同一フレームの画像データに対してこれまでに実行したＣＮＮまたはＲＮＮを利用した機械学習処理の結果も利用される。
ステップＳ１２８で、認識処理部１２は、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に成功したと判定した場合（ステップＳ１２８、「ＹＥＳ」）、処理をステップＳ１２９に移行させる。
ステップＳ１２９で、認識処理部１２は、ステップＳ１２４またはステップＳ１２７で成功した機械学習結果が、例えば、認識処理部１２から出力制御部１５に供給される。このステップＳ１２９で出力される機械学習結果は、例えば認識処理部１２による有効な認識結果である。認識処理部１２は、当該機械学習結果をメモリ１３に格納してもよい。
また、認識処理部１２は、ステップＳ１２８で、ステップＳ１２７におけるＲＮＮを利用した機械学習処理に失敗したと判定した場合（ステップＳ１２８、「ＮＯ」）、処理をステップＳ１３０に移行させる。ステップＳ１３０で、認識処理部１２は、１フレーム分の画像データの読出しが完了したか否かを判定する。認識処理部１２は、１フレーム分の画像データの読出しが完了していないと判定した場合（ステップＳ１３０、「ＮＯ」）、処理をステップＳ１２６に戻し、次の所定ライン数の画像データに対する処理が実行される。
一方、認識処理部１２は、ステップＳ１３０で１フレーム分の画像データの読出しが完了していると判定した場合（ステップＳ１３０、「ＹＥＳ」）、例えば、認識処理部１２は、ステップＳ１３１で、この図１７のフローチャートによる一連の処理を終了するか否かを判定する。認識処理部１２は、終了しないと判定した場合（ステップＳ１３１、「ＮＯ」）、処理をステップＳ１２２に戻し、次のフレームに対して同様の動作を実行する。また、認識処理部１２は、終了すると判定した場合（ステップＳ１３１、「ＹＥＳ」）、この図１７のフローチャートによる一連の処理を終了させる。
なお、ステップＳ１３１による次のフレームへ移行するか否かの判定は、例えば、撮像装置１の外部から終了の指示が入力されたか否かに基づいて行ってもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて行ってもよい。
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き（動物体）検出やシーン認識や状態検出等の機械学習処理を連続して行なう場合、直前の機械学習処理に失敗している場合には、次の機械学習処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
（４−２．認識処理部による動作の具体例）
次に、図１７を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、ＤＮＮを利用して顔検出を実行する場合を例示する。
図１８は、１フレーム分の画像データの一例を示す図である。図１９は、第１の実施形態に係る認識処理部１２が実行する機械学習処理の流れを説明するための図である。
図１８に示すような画像データに対して機械学習により顔検出を実行する場合、図１９のセクション（ａ）に示すように、認識処理部１２には、まず、所定ライン数分の画像データが入力される（図１７のステップＳ１２３に相当）。認識処理部１２は、入力された所定ライン数分の画像データに対してＣＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２４に相当）。ただし、図１９のセクション（ａ）の段階では、未だ顔全体の画像データが入力されていないため、認識処理部１２は、顔検出に失敗する（図１７のステップＳ１２５の「ＮＯ」に相当）。
つづいて、図１９のセクション（ｂ）に示すように、認識処理部１２には、次の所定ライン数分の画像データが入力される（図１７のステップＳ１２６に相当）。認識処理部１２は、図１９のセクション（ａ）で入力された所定ライン数分の画像データに対して実行したＣＮＮを利用した機械学習処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してＲＮＮを利用した機械学習処理を実行することで、顔検出を実行する（図１７のステップＳ１２７に相当）。
図１９のセクション（ｂ）の段階では、図１９のセクション（ａ）の段階で入力された所定ライン数分の画素データと合せて、顔全体の画像データが入力されている。したがって、図１９のセクション（ｂ）の段階において、認識処理部１２は、顔検出に成功する（図１７のステップＳ１２８の「ＹＥＳ」に相当）。すると、本動作では、次以降の画像データ（図１９セクション（ｃ）〜（ｆ）の画像データ）が読み出されることなく、顔検出の結果が出力される（図１７のステップＳ１２９に相当）。
このように、所定ライン数ずつの画像データに対してＤＮＮを利用した機械学習処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや機械学習処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮および消費電力の低減を実現することが可能となる。
なお、所定ライン数は、学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は１ラインである。
また、センサ制御部１１によりセンサ部１０から読み出される画像データは、列方向および行方向のうち少なくとも一方に間引かれた画像データであってもよい。その場合、例えば、列方向に１行置きに画像データを読み出す場合には、２（Ｎ−１）（Ｎは１以上の整数）ライン目の画像データが読み出される。
また、学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、１×１画素や５×５画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、認識処理部１２が機械学習処理を実行する単位領域の画像データとして、認識処理部１２に入力されてもよい。
さらに、上述では、ＤＮＮの例としてＣＮＮとＲＮＮとを例示したが、これらに限定されず、他の学習モデルを利用することも可能である。
（４−３．第１の実施形態の応用例）
次に、第１の実施形態の応用例について説明する。ここでは、第１の実施形態の応用例として、例えば図１７のフローチャートのステップＳ１２４でのＣＮＮによる機械学習処理の結果や、ステップＳ１２７でのＲＮＮによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図２０Ａおよび図２０Ｂは、第１の実施形態の応用例について説明するための模式図である。
図２０Ａのセクション（ａ）は、露出オーバーの画像６０ａの例を示す模式図である。画像６０ａは、露出オーバーのため、画像６０ａが全体的に白っぽくなり、例えば画像６０ａに含まれるオブジェクトとしてのモニタ６２は、画面内が所謂白飛びしており人の目には細部の判別が困難となっている。一方、画像６０ａに含まれるオブジェクトとしての人６１は、露出オーバーのため若干白っぽくなっているが、モニタ６２と比較すると、人の目には識別が容易に見える。
図２０Ａのセクション（ｂ）は、露出アンダーの画像６０ｂの例を示す模式図である。画像６０ｂは、露出アンダーのため、画像６０ｂが全体的に黒っぽくなり、例えば画像６０ａでは見えていた人６１が人の目に識別困難となってしまっている。一方、画像６０ｂに含まれるモニタ６２は、画像６０ａと比較して、人の目には細部まで詳細に識別可能となっている。
図２０Ｂは、第１の実施形態の応用例に係る読み出し方法を説明するための模式図である。図２０Ｂのセクション（ａ）および（ｂ）では、上述した図１７のフローチャートのステップＳ１２２において、フレーム読み出しを露出アンダーの状態で開始する場合について示されている。
図２０Ｂのセクション（ａ）は、第１の実施形態の応用例における第１の例による読み出し方法を示している。図２０Ｂのセクション（ａ）の画像６０ｃにおいて、例えばフレームの先頭のラインＬ＃１のステップＳ１２４によるＣＮＮを利用した認識処理が失敗、あるいは、認識結果の信頼度を示すスコアが所定以下であったものとする。この場合、認識処理部１２は、ステップＳ１２６で読み出すラインＬ＃２の露出を、認識処理に適した露出に設定（この場合、露出量を多く設定）するように、センサ制御部１１に指示する。なお、図２０Ｂにおいて、ラインＬ＃１、Ｌ＃２、…は、それぞれ１本のラインであってもよいし、互いに隣接する複数ラインであってもよい。
図２０Ｂのセクション（ａ）の例では、ラインＬ＃２の露出量をラインＬ＃１の露出量より多くしている。その結果、ラインＬ＃２が露出オーバーになり、例えばステップＳ１２７によるＲＮＮを利用した認識処理が失敗あるいはスコアが所定以下であったものとする。認識処理部１２は、ステップＳ１３０からステップＳ１２６に処理が戻されて読み出されるラインＬ＃３の露出量をラインＬ＃２の露出量よりも少なく設定するように、センサ制御部１１に指示する。ラインＬ＃４、…、Ｌ＃ｍ、…についても、同様に、認識処理の結果に応じて次のラインの露出量を順次に設定していく。
このように、あるラインの認識結果に基づき次に読み出しを行うラインの露出量を調整することで、より高精度に認識処理を実行することが可能となる。
また、上述の応用例のさらなる応用として、図２０Ｂのセクション（ｂ）に示されるように、所定のラインまで読み出した時点で露出を再設定し、再びフレームの先頭のラインから読み出しを実行する方法も考えられる。図２０Ｂのセクション（ｂ）に示されるように、認識処理部１２は、上述したセクション（ａ）と同様にして、フレームの先頭のラインＬ＃１から例えばラインＬ＃ｍまで読み出しを行い（１ｓｔ）、その認識結果に基づき露出を再設定する。認識処理部１２は、再設定された露出に基づき再びフレームの各ラインＬ＃１、Ｌ＃２、…の読み出しを行う（２ｎｄ）。
このように、所定数のラインの読み出しを行った結果に基づき露出を再設定し、再設定された露出に基づき再びフレームの先頭からラインＬ＃１、Ｌ＃２、…を読み直すことで、さらに高精度に認識処理を実行することが可能となる。
［５．第２の実施形態］
（５−０−１．第２の実施形態に係る構成例）
次に、本開示の第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態による認識処理を拡張したものである。図２１は、第２の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図２１において、図１に示される光学部３０、センサ部１０、メモリ１３および表示部３１は、省略されている。また、図２１において、図１の構成に対してトリガ生成部１６が追加されている。
図２１において、センサ制御部１１は、読出部１１０と読出制御部１１１とを含む。認識処理部１２は、特徴量計算部１２０と、特徴量蓄積制御部１２１と、読出決定部１２３と、認識処理実行部１２４と、を含み、特徴量蓄積制御部１２１は、特徴量蓄積部１２２を含む。また、視認処理部１４は、画像データ蓄積制御部１４０と、読出決定部１４２と、画像処理部１４３と、を含み、画像データ蓄積制御部１４０は、画像データ蓄積部１４１を含む。
センサ制御部１１において、読出制御部１１１は、認識処理部１２に含まれる読出決定部１２３から、認識処理部１２において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、１または複数のラインのライン番号である。これに限らず、読出領域情報は、１つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、１以上のライン番号と、ライン内の１以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。
同様に、読出制御部１１１は、視認処理部１４に含まれる読出決定部１４２から、視認処理部１４において読み出しを行う読出領域を示す読出領域情報を受け取る。
読出制御部１１１は、これら読出決定部１２３および１４２に基づき、実際に読み出しを行う読出領域を示す読出領域情報を読出部１１０に渡す。例えば、読出制御部１１１は、読出決定部１２３から受け取った読出領域情報と、読出決定部１４２から受け取った読出領域情報と、にコンフリクトが生じている場合、調停を行い読出部１１０に渡す読出領域情報を調整することができる。
また、読出制御部１１１は、読出決定部１２３、あるいは、読出決定部１４２から露出やアナログゲインを示す情報を受け取ることができる。読出制御部１１１は、受け取った露出やアナログゲインを示す情報を、読出部１１０に渡す。
読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。例えば、読出部１１０は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部１０に渡す。読出部１１０は、センサ部１０から取得した各画素データを、読出領域情報と共に、認識処理部１２および視認処理部１４に渡す。
また、読出部１１０は、読出制御部１１１から受け取った露出やアナログゲインを示す情報に従い、センサ部１０に対して露出やアナログゲイン（ＡＧ）を設定する。さらに、読出部１１０は、垂直同期信号および水平同期信号を生成し、センサ部１０に供給することができる。
認識処理部１２において、読出決定部１２３は、特徴量蓄積制御部１２１から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１２３は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
ここで、読出決定部１２３は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、１つ以上の画素の集合であり、認識処理部１２や視認処理部１４による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号［Ｌ＃ｘ］が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、当該矩形領域の画素アレイ部１０１における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出決定部１２３は、適用される読出単位が予め指定される。これに限らず、読出決定部１２３は、例えば読出決定部１２３の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出決定部１２３は、読出単位を制御する読出単位制御部として機能する。
なお、読出決定部１２３は、後述する認識処理実行部１２４から渡される認識情報に基づき次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。
同様に、視認処理部１４において、読出決定部１４２は、例えば画像データ蓄積制御部１４０から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部１４２は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部１１１に渡す。
認識処理部１２において、特徴量計算部１２０は、読出部１１０から渡された画素データおよび読出領域情報に基づき、当該読出領域情報に示される領域における特徴量を算出する。特徴量計算部１２０は、算出した特徴量を、特徴量蓄積制御部１２１に渡す。
特徴量計算部１２０は、後述するように、読出部１１０から渡された画素データと、特徴量蓄積制御部１２１から渡された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部１２０は、例えば読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。
認識処理部１２において、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量を、特徴量蓄積部１２２に蓄積する。また、特徴量蓄積制御部１２１は、特徴量計算部１２０から特徴量が渡されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１２３に渡す。
ここで、特徴量蓄積制御部１２１は、既に蓄積された特徴量と、新たに渡された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部１２１は、特徴量蓄積部１２２に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部１２１は、必要に応じて特徴量蓄積部１２２に蓄積された全ての特徴量を削除して初期化することもできる。
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された特徴量と、特徴量蓄積部１２２に蓄積される特徴量と、に基づき認識処理実行部１２４が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部１２１は、生成した特徴量を認識処理実行部１２４に渡す。
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量に基づき認識処理を実行する。認識処理実行部１２４は、認識処理により物体検出、顔検出などを行う。認識処理実行部１２４は、認識処理により得られた認識結果を出力制御部１５に渡す。認識処理実行部１２４は、認識処理により生成される認識結果を含む認識情報を読出決定部１２３に渡すこともできる。なお、認識処理実行部１２４は、例えばトリガ生成部１６により生成されたトリガを切掛に特徴量蓄積制御部１２１から特徴量を受け取って認識処理を実行することができる。
一方、視認処理部１４において、画像データ蓄積制御部１４０は、読出部１１０から、読出領域から読み出された画素データと、当該画像データに対応する読出領域情報と、を受けとる。画像データ蓄積制御部１４０は、これら画素データおよび読出領域情報と、を関連付けて画像データ蓄積部１４１に蓄積する。
画像データ蓄積制御部１４０は、読出部１１０から渡された画素データと、画像データ蓄積部１４１に蓄積された画像データと、に基づき、画像処理部１４３が画像処理を行うための画像データを生成する。画像データ蓄積制御部１４０は、生成した画像データを画像処理部１４３に渡す。これに限らず、画像データ蓄積制御部１４０は、読出部１１０から渡された画素データを、そのまま画像処理部１４３に渡すこともできる。
また、画像データ蓄積制御部１４０は、読出部１１０から渡された読出領域情報に基づき、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部１４２に渡す。
ここで、画像データ蓄積制御部１４０は、既に蓄積された画像データと、新たに渡された画素データとを、例えば加算平均などにより統合して蓄積することができる。また、画像データ蓄積制御部１４０は、画像データ蓄積部１４１に蓄積された画像データのうち、不要になった画像データを削除することができる。不要になった画像データは、例えば前フレームに係る画像データや、新たな画像データが算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された画像データなどが考えられる。また、画像データ蓄積制御部１４０は、必要に応じて画像データ蓄積部１４１に蓄積された全ての画像データを削除して初期化することもできる。
さらに、画像データ蓄積制御部１４０は、読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報を用いて補正した画像データを、画像データ蓄積部１４１に蓄積することもできる。
画像処理部１４３は、画像データ蓄積制御部１４０から渡された画像データに対して所定の画像処理を施す。例えば、画像処理部１４３は、当該画像データに対して所定の高画質化処理を施すことができる。また、渡された画像データがライン間引きなどにより空間的にデータが削減された画像データである場合、補間処理により間引きされた部分に画像情報を補填することも可能である。画像処理部１４３は、画像処理を施した画像データを出力制御部１５に渡す。
なお、画像処理部１４３は、例えばトリガ生成部１６により生成されたトリガを切掛に画像データ蓄積制御部１４０から画像データを受け取って画像処理を実行することができる。
出力制御部１５は、認識処理実行部１２４から渡された認識結果と、画像処理部１４３から渡された画像データと、のうち一方または両方を出力する。出力制御部１５は、例えばトリガ生成部１６により生成されたトリガに応じて、認識結果および画像データのうち一方または両方を出力する。
トリガ生成部１６は、認識処理部１２から渡される認識処理に係る情報と、視認処理部１４から渡される画像処理に係る情報とに基づき、認識処理実行部１２４に渡すトリガと、画像処理部１４３に渡すトリガと、出力制御部１５に渡すトリガと、を生成する。トリガ生成部１６は、生成した各トリガを、それぞれ所定のタイミングで認識処理実行部１２４と、画像処理部１４３と、出力制御部１５と、に渡す。
（５−０−２．第２の実施形態に係る認識処理部における処理の例）
図２２は、第２の実施形態に係る認識処理部１２における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部１１０が、画像６０のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部１１０にライン単位で読み出されたラインＬ＃ｘのライン画像データ（ラインデータ）が特徴量計算部１２０に入力される。
特徴量計算部１２０では、特徴量抽出処理１２００と、統合処理１２０２とが実行される。特徴量計算部１２０は、入力されたラインデータに対して特徴量抽出処理１２００を施して、ラインデータから特徴量１２０１を抽出する。ここで、特徴量抽出処理１２００は、予め学習により求めたパラメータに基づき、ラインデータから特徴量１２０１を抽出する。特徴量抽出処理１２００により抽出された特徴量１２０１は、統合処理１２０２により、特徴量蓄積制御部１２１により処理された特徴量１２１２と統合される。統合された特徴量１２１０は、特徴量蓄積制御部１２１に渡される。
特徴量蓄積制御部１２１では、内部状態更新処理１２１１が実行される。特徴量蓄積制御部１２１に渡された特徴量１２１０は、認識処理実行部１２４に渡される共に、内部状態更新処理１２１１を施される。内部状態更新処理１２１１は、予め学習されたパラメータに基づき特徴量１２１０を削減してＤＮＮの内部状態を更新し、更新された内部状態に係る特徴量１２１２を生成する。この特徴量１２１２が統合処理１２０２により特徴量１２０１と統合される。この特徴量蓄積制御部１２１による処理が、ＲＮＮを利用した処理に相当する。
認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された特徴量１２１０に対して、例えば所定の教師データを用いて予め学習されたパラメータに基づき認識処理１２４０を実行し、認識結果を出力する。
上述したように、第２の実施形態に係る認識処理部１２では、特徴量抽出処理１２００と、統合処理１２０２と、内部状態更新処理１２１１と、認識処理１２４０と、において、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される認識対象に基づく教師データを用いて行われる。
なお、上述した特徴量計算部１２０、特徴量蓄積制御部１２１、読出決定部１２３および認識処理実行部１２４の機能は、例えば、撮像装置１が備えるＤＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。同様に、上述した画像データ蓄積制御部１４０、読出決定部１４２および画像処理部１４３の機能は、例えば、撮像装置１が備えるＩＳＰに、メモリ１３などに記憶されるプログラムが読み込まれて実行されることで実現される。これらのプログラムは、予めメモリ１３に記憶されていてもよいし、外部から撮像装置１に供給してメモリ１３に書き込んでもよい。
（５−０−３．第２の実施形態に係る認識処理の詳細）
次に、第２の実施形態についてより詳細に説明する。図２３は、第２の実施形態に係る機能を説明するための一例の機能ブロック図である。第２の実施形態では、認識処理部１２による認識処理が主となるので、図２３では、上述した図２１の構成に対して、視認処理部１４、出力制御部１５およびトリガ生成部１６を省略している。また、図２３では、センサ制御部１１において、読出制御部１１１が省略されている。
図２４は、第２の実施形態に係るフレームの読み出し処理を説明するための模式図である。第２の実施形態では、読出単位がラインとされ、フレームＦｒ（ｘ）に対してライン順次で画素データの読み出しが行われる。図２４の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の上端のラインＬ＃１からライン順次でラインＬ＃２、Ｌ＃３、…とラインの読み出しが行われる。フレームＦｒ（ｍ）におけるライン読み出しが完了すると、次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）において、同様にして上端のラインＬ＃１からライン順次でラインの読み出しが行われる。
図２５は、第２の実施形態に係る認識処理を概略的に示す模式図である。図２５に示されるように、認識処理は、ＣＮＮ５２’による処理および内部情報の更新５５を、各ラインＬ＃１、Ｌ＃２、Ｌ＃３…の画素情報５４それぞれに対して順次に実行することで行われる。そのため、ＣＮＮ５２’には１ライン分の画素情報５４を入力すればよく、認識器５６を極めて小規模に構成することが可能である。なお、認識器５６は、順次に入力される情報に対してＣＮＮ５２’による処理を実行し内部情報の更新５５を行うことから、ＲＮＮとしての構成を有する。
ライン順次の認識処理を、ＲＮＮを用いて行うことで、フレームに含まれる全てのラインを読み出さなくても、有効な認識結果が得られる場合がある。この場合、認識処理部１２は、有効な認識結果が得られた時点で、認識処理を終了させることができる。図２６および図２７を用いて、フレーム読み出しの途中で認識処理を終了させる例について説明する。
図２６は、認識対象が数字の「８」である場合の例を示す図である。図２６の例では、フレーム７０において、垂直方向の３／４程度の範囲７１が読み出された時点で数字「８」が認識されている。したがって、認識処理部１２は、この範囲７１が読み出された時点で数字の「８」が認識された旨を示す有効な認識結果を出力し、フレーム７０に対するライン読み出しおよび認識処理を終了させることができる。
図２７は、認識対象が人である場合の例を示す図である。図２７の例では、フレーム７２において、垂直方向の１／２程度の範囲７３が読み出された時点で、人７４が認識されている。したがって、認識処理部１２は、この範囲７３が読み出された時点で人７４が認識された旨を示す有効な認識結果を出力し、フレーム７２に対するライン読み出しおよび認識処理を終了させることができる。
このように、第２の実施形態では、フレームに対するライン読み出しの途中で有効な認識結果が得られた場合に、ライン読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
上述では、ライン読み出しをフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、ライン読み出しをフレームの下端側から上端側へ向けて行ってもよい。すなわち、撮像装置１に対して遠方にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの上端側から下端側に向けて行うことで、より早期に認識することが可能である。一方、撮像装置１に対して手前側にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの下端側から上端側に向けて行うことで、より早期に認識することが可能である。
例えば、当該撮像装置１を車載用として前方を撮像するように設置することを考える。この場合、手前の物体（例えば自車の前方の車両や歩行者）は、撮像される画面の下の部分に存在するため、ライン読み出しをフレームの下端側から上端側に向けて行うと、より効果的である。また、ＡＤＡＳ(Advanced driver-assistance systems)において即時停止が必要な場合は、該当する物体が少なくとも１つ認識されればよく、１つの物体が認識された場合に、再びフレームの下端側からライン読み出しを実行することが、より効果的であると考えられる。さらに、例えば高速道路などでは、遠方の物体が優先される場合がある。この場合には、フレームの上端側から下端側に向けてライン読み出しを実行することが好ましい。
さらに、読出単位を、画素アレイ部１０１における行列方向のうち列方向としてもよい。例えば、画素アレイ部１０１において１列に並ぶ複数の画素を、読出単位とすることが考えられる。撮像方式としてグローバルシャッタ方式を適用することで、列を読出単位とする列読み出しが可能である。グローバルシャッタ方式では、列読み出しとライン読み出しとを切り替えて実行することが可能である。読み出しを列読み出しに固定的とする場合、例えば画素アレイ部１０１を９０°回転させ、ローリングシャッタ方式を用いることが考えられる。
例えば、撮像装置１に対して左側にある物体のオブジェクトは、列読み出しによりフレームの左端側から順次に読み出しを行うことで、より早期に認識することが可能である。同様に、撮像装置１に対して右側にある物体のオブジェクトは、列読み出しによりフレームの右端側から順次に読み出しを行うことで、より早期に認識することが可能である。
当該撮像装置１を車載用として用いる例では、例えば車両が旋回している際には、旋回側にある物体のオブジェクトが優先される場合がある。このような場合、旋回側の端から列読み出しにより読み出しを行うことが好ましい。旋回方向は、例えば車両のステアリング情報に基づき取得することができる。これに限らず、例えば撮像装置１に対して３方向の角速度を検知可能なセンサを設け、このセンサの検知結果に基づき旋回方向を取得することが可能である。
図２８は、第２の実施形態に係る認識処理を示す一例のフローチャートである。この図２８のフローチャートによる処理は、例えばフレームからの読出単位（例えば１ライン）の画素データの読み出しに対応する処理である。ここでは、読出単位がラインであるものとして説明を行う。例えば、読出領域情報は、読出を行うラインを示すライン番号を用いることができる。
ステップＳ１００で、認識処理部１２は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。より具体的には、認識処理部１２において読出決定部１２３は、次に読み出しを行うラインのライン番号をセンサ制御部１１に渡す。センサ制御部１１において、読出部１１０は、渡されたライン番号に従い、センサ部１０から、当該ライン番号に示されるラインの画素データをラインデータとして読み出す。読出部１１０は、センサ部１０から読み出したラインデータを特徴量計算部１２０に渡す。また、読出部１１０は、画素データの読み出しを行った領域を示す読出領域情報（例えばライン番号）を、特徴量計算部１２０に渡す。
次のステップＳ１０１で、特徴量計算部１２０は、読出部１１０から渡された画素データに基づき、ラインデータに基づく特徴量を計算し、ラインの特徴量を算出する。次のステップＳ１０２で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ１０３で、特徴量計算部１２０は、ステップＳ１０１で算出された特徴量と、ステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量と、を統合する。統合された特徴量は、特徴量蓄積制御部１２１に渡される。特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、特徴量蓄積部１２２に蓄積する（ステップＳ１０４）。
なお、ステップＳ１００からの一連の処理がフレームの先頭のラインに対する処理であり、且つ、特徴量蓄積部１２２が例えば初期化されている場合には、ステップＳ１０２およびステップＳ１０３による処理を省略することができる。またこのとき、ステップＳ１０４による処理は、当該先頭のラインに基づき計算されたライン特徴量を特徴量蓄積部１２２に蓄積する処理となる。
また、特徴量蓄積制御部１２１は、特徴量計算部１２０から渡された統合された特徴量を、認識処理実行部１２４にも渡す。ステップＳ１０５で、認識処理実行部１２４は、特徴量蓄積制御部１２１から渡された、統合された特徴量を用いて認識処理を実行する。次のステップＳ１０６で、認識処理実行部１２４は、ステップＳ１０５の認識処理による認識結果を出力する。
ステップＳ１０７で、認識処理部１２において読出決定部１２３は、特徴量蓄積制御部１２１から渡された読出情報に従い次の読み出しを行う読出ラインを決定する。例えば、特徴量蓄積制御部１２１は、特徴量計算部１２０から、特徴量と共に、読出領域情報を受けとる。特徴量蓄積制御部１２１は、この読出領域情報に基づき、例えば予め指定された読出パターン（この例ではライン順次）に従い、次に読み出しを行う読出ラインを決定する。この決定された読出ラインに対して、ステップＳ１００からの処理が再び実行される。
（５−０−４．第２の実施形態に係る読み出しおよび認識処理の制御例）
次に、第２の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図２９Ａおよび図２９Ｂは、第２の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図２９Ａおよび図２９Ｂの例は、１撮像周期（１フレーム周期）内に撮像動作を行わないブランク期間ｂｌｋを設ける例である。図２９Ａおよび図２９Ｂにおいて、右方向に時間が進行することを示している。
図２９Ａは、撮像周期の例えば１／２の期間を連続的にブランク期間ｂｌｋに割り当てる例である。図２９Ａにおいて、撮像周期は、フレーム周期であって、例えば１／３０［ｓｅｃ］である。センサ部１０からのフレームの読み出しは、このフレーム周期で行われる。撮像時間は、フレームに含まれる全てのラインの撮像を行うために要する時間である。図２９Ａの例では、フレームがｎ本のラインを含むものとし、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像を、１／３０［ｓｅｃ］のフレーム周期に対して１／２の期間の１／６０［ｓｅｃ］で完了している。１ラインの撮像に割り当てられる時間は、１／（６０×ｎ）［ｓｅｃ］となる。フレームにおいて最後のラインＬ＃ｎを撮像したタイミングから、次のフレームの先頭のラインＬ＃１を撮像するタイミングまでの１／３０［ｓｅｃ］の期間は、ブランク期間ｂｌｋとされている。
例えばラインＬ＃１の撮像が終了したタイミングで、次のラインＬ＃２の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃１に対するライン認識処理、すなわち、ラインＬ＃１に含まれる画素データに対する認識処理が実行される。認識処理部１２は、ラインＬ＃１に対するライン認識処理を、次のラインＬ＃２の撮像が開始される前に終了させる。認識処理部１２は、ラインＬ＃１に対するライン認識処理が終了されると、当該認識処理の認識結果を出力する。
次のラインＬ＃２についても同様に、ラインＬ＃２の撮像が終了したタイミングで次のラインＬ＃３の撮像が開始されると共に、認識処理部１２により、当該ラインＬ＃２に対するライン認識処理が実行され、実行されたライン認識処理が次のラインＬ＃３の撮像の開始前に終了される。図２９Ａの例では、このように、ラインＬ＃１、Ｌ＃２、＃３、…、Ｌ＃ｍ、…の撮像が順次に実行される。そして、各ラインＬ＃１、Ｌ＃２、Ｌ＃３、…、Ｌ＃ｍ、…それぞれにおいて、撮像の終了のタイミングで、撮像が終了されたラインの次のラインの撮像が開始されると共に、撮像が終了したラインに対するライン認識処理が実行される。
このように、読み出し単位（この例ではライン）毎に、逐次に認識処理を実行することで、認識器（認識処理部１２）にフレームの画像データを全て入力しなくても、認識結果を逐次に得ることができ、認識結果が得られるまでの遅延を低減させることが可能となる。また、あるラインで有効な認識結果が得られた場合、その時点で、認識処理を終了させることができ、認識処理の時間の短縮や、省電力化が可能となる。また、各ラインの認識結果などに対し、時間軸で情報伝播を行い統合することで、認識精度を徐々に向上させていくことが可能となる。
なお、図２９Ａの例では、フレーム周期内のブランク期間ｂｌｋにおいて、フレーム周期内に実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。
図２９Ｂは、１ラインの撮像毎にブランク期間ｂｌｋを設ける例である。図２９Ｂの例では、フレーム周期（撮像周期）が図２９Ａの例と同様の１／３０［ｓｅｃ］とされている。一方、撮像時間は、撮像周期と同一の１／３０［ｓｅｃ］とされている。また、図２９Ｂの例では、１フレーム周期において、ラインＬ＃１〜ラインＬ＃ｎのｎ本のラインの撮像が１／（３０×ｎ）［ｓｅｃ］の時間間隔で実行され、１ライン分の撮像時間が１／（６０×ｎ）［ｓｅｃ］であるものとする。
この場合、各ラインＬ＃１〜Ｌ＃ｎの撮像毎に、１／（６０×ｎ）［ｓｅｃ］のブランク期間ｂｌｋを設けることが可能となる。この各ラインＬ＃１〜Ｌ＃ｎのブランク期間ｂｌｋそれぞれにおいて、対応するラインの撮像画像に対して実行されるべき他の処理（例えば認識結果を用いた視認処理部１４における画像処理）を実行することができる。このとき、この他の処理に対して、対象のラインの次のラインの撮像が終了する直前までの時間（この例では略１／（３０×ｎ）［ｓｅｃ］）を、割り当てることができる。この図２９Ｂの例では、この他の処理の処理結果をライン毎に出力することができ、他の処理による処理結果をより迅速に取得することが可能となる。
図３０は、第２の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。上述した図２９の例では、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像を、フレーム周期の１／２の期間で完了させ、フレーム周期の残りの１／２の期間をブランク期間としていた。これに対して、図３０に示す例では、フレーム周期内にブランク期間を設けずに、フレームに含まれる全ラインＬ＃１〜Ｌ＃ｎの撮像をフレーム周期の全期間を用いて行う。
ここで、１ラインの撮像時間を図２９Ａおよび図２９Ｂと同一の１／（６０×ｎ）［ｓｅｃ］とし、フレームに含まれるライン数を、図２９Ａおよび図２９Ｂと同一のｎ本とした場合、フレーム周期すなわち撮像周期は、１／６０［ｓｅｃ］となる。したがって、図３０に示すブランク期間ｂｌｋを設けない例では、上述した図２９Ａおよび図２９Ｂの例に対して、フレームレートを高速化することができる。
［５−１．第２の実施形態の第１の変形例］
次に、第２の実施形態に係る第１の変形例について説明する。第２の実施形態に係る第１の変形例は、読出単位を順次に隣接する複数のラインとした例である。なお、第２の実施形態の第１の変形例、および、後述する第２の実施形態の第２〜第７の変形例では、図２３を用いて説明した構成をそのまま適用できるので、構成に関する詳細な説明を省略する。
図３１は、第２の実施形態の第１の変形例に係るフレームの読み出し処理を説明するための模式図である。図３１に示されるように、第２の実施形態の第１の変形例では、それぞれ順次に隣接する複数のラインを含むライン群が読出単位とされ、フレームＦｒ（ｍ）に対してライン群順次で画素データの読み出しが行われる。認識処理部１２において、読出決定部１２３は、例えば予め指定されたライン数を含むライン群Ｌｓ＃ｘを読出単位として決定する。
読出決定部１２３は、ライン群Ｌｓ＃ｘとして決定された読出単位を示す情報に、当該読出単位の画素データを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
図３１の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の上端のライン群Ｌｓ＃１からライン順次でライン群Ｌｓ＃２、Ｌｓ＃３、…、Ｌｓ＃ｐ、…とライン群Ｌｓ＃ｘの読み出しが行われる。フレームＦｒ（ｍ）におけるライン群Ｌｓ＃ｘの読み出しが完了すると、次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）において、同様にして上端のライン群Ｌｓ＃１からライン順次でライン群Ｌｓ＃２、Ｌｓ＃３、…の読み出しが行われる。
このように、複数ラインを含むライン群Ｌｓ＃ｘを読出単位として画素データの読み出しを行うことで、ライン順次で読み出しを行う場合と比べて、１フレーム分の画素データをより高速に読み出すことが可能となる。また、認識処理部１２は、一度の認識処理により多くの画素データを用いることが可能になり、認識の応答速度を向上させることが可能である。さらに、ライン順次の読み出しに対して１フレームにおける読み出し回数が少なくて済むため、センサ部１０の撮像方式がローリングシャッタ方式の場合に、撮像されたフレーム画像の歪を抑制することが可能である。
なお、この第２の実施形態の第１の変形例でも、上述した第２の実施形態と同様に、ライン群Ｌｓ＃ｘの読み出しを、フレームの下端側から上端側に向けて実行してもよい。また、フレームに対するライン群Ｌｓ＃ｘの読み出しの途中で有効な認識結果が得られた場合に、ライン群の読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
［５−２．第２の実施形態の第２の変形例］
次に、第２の実施形態の第２の変形例について説明する。第２の実施形態の第２の変形例は、読出単位を１本のラインの一部とする例である。
図３２は、第２の実施形態の第２の変形例に係るフレームの読み出し処理を説明するための模式図である。図３２に示されるように、第２の実施形態の第２の変形例では、ライン順次で行われるライン読み出しにおいて、各ラインの一部（部分ラインと呼ぶ）が読出単位とされ、フレームＦｒ（ｍ）に対して、ライン順次で、各ラインにおける部分ラインＬｐ＃ｘに対して画素データの読み出しが行われる。認識処理部１２において、読出決定部１２３は、例えばラインに含まれる画素のうち、順次に隣接する、ラインに含まれる全画素数より数が少ない複数の画素を、読出単位として決定する。
読出決定部１２３は、部分ラインＬｐ＃ｘとして決定された読出単位を示す情報に、当該部分ラインＬｐ＃ｘの画素データを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。ここで、読出単位を示す情報は、例えば部分ラインＬｐ＃ｘの１ライン内での位置と、部分ラインＬｐ＃ｘに含まれる画素数と、により構成することが考えられる。また、読出位置情報は、読み出しを行う部分ラインＬｐ＃ｘが含まれるラインの番号を用いることが考えられる。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
図３２の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の上端のラインに含まれる部分ラインＬｐ＃１から、ライン順次で、各ラインに含まれる部分ラインＬｐ＃２、Ｌｐ＃３、…と各部分ラインＬｐ＃ｘの読み出しが行われる。フレームＦｒ（ｍ）におけるライン群の読み出しが完了すると、次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）において、同様にして上端のラインに含まれる部分ラインＬｐ＃１から、ライン順次で部分ラインＬｐ＃ｘの読み出しが行われる。
このように、ライン読み出しにおいて、読み出しを行う画素をラインの一部に含まれる画素に限定することで、ライン全体から画素データを読み出す場合に比べて狭い帯域で画素データの転送が可能となる。第２の実施形態の第２の変形例に係る読出方法では、ライン全体から画素データを読み出す場合に比べて画素データの転送量が少なくなるため、省電力化が可能となる。
なお、この第２の実施形態の第２の変形例でも、上述した第２の実施形態と同様に、部分ラインの読み出しを、フレームの下端側から上端側に向けて実行してもよい。また、フレームに対する部分ラインの読み出しの途中で有効な認識結果が得られた場合に、部分ラインＬｐ＃ｘの読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
［５−３．第２の実施形態の第３の変形例］
次に、第２の実施形態の第３の変形例について説明する。第２の実施形態の第３の変形例は、読出単位をフレーム内における所定サイズのエリアとした例である。
図３３は、第２の実施形態の第３の変形例に係るフレーム読み出し処理を説明するための模式図である。図３３に示されるように、第２の実施形態の第３の変形例では、フレーム内において、ライン方向および垂直方向のそれぞれに対して順次に隣接する複数の画素を含む所定サイズのエリアＡｒ＃ｘ−ｙが読出単位とされ、フレームＦｒ（ｍ）に対して、当該エリアＡｒ＃ｘ−ｙが例えばライン方向に順次に読み出され、さらに、このエリアＡｒ＃ｘ−ｙのライン方向の順次の読み出しが垂直方向に順次に繰り返される。認識処理部１２において、読出決定部１２３は、例えばライン方向のサイズ（画素数）と、垂直方向のサイズ（ライン数）と、により定義されるエリアＡｒ＃ｘ−ｙを読出単位として決定する。
読出決定部１２３は、エリアＡｒ＃ｘ−ｙとして決定された読出単位を示す情報に、当該エリアＡｒ＃ｘ−ｙの画素データを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。ここで、読出単位を示す情報は、例えば上述したライン方向のサイズ（画素数）と、垂直方向のサイズ（ライン数）と、により構成することが考えられる。また、読出位置情報は、読み出しを行うエリアＡｒ＃ｘ−ｙに含まれる所定の画素の位置、例えば当該エリアＡｒ＃ｘ−ｙの左上隅の画素の画素位置を用いることが考えられる。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
図３３の例では、第ｍのフレームＦｒ（ｍ）において、フレームＦｒ（ｍ）の左上隅に位置するエリアＡｒ＃１−１からライン方向に順次に、エリアＡｒ＃２−１、Ａｒ＃３−１、…と、各エリアＡｒ＃ｘ−ｙの読み出しが行われる。フレームＦｒ（ｍ）において、ライン方向の右端まで読み出しが行われると、垂直方向の読み出し位置が移動され、再びフレームＦｒ（ｍ）の左端からライン方向に順次に、エリアＡｒ＃１−２、Ａｒ＃２−２、Ａｒ＃３−２、…と、各エリアＡｒ＃ｘ−ｙの読み出しが行われる。
図３４は、第２の実施形態の第３の変形例に係る認識処理を概略的に示す模式図である。図３４に示されるように、認識処理は、ＣＮＮ５２’による処理および内部情報の更新５５を、各エリアＡｒ＃１−１、Ａｒ＃２−１、Ａｒ＃３−１、…の画素情報５４それぞれに対して順次に実行することで行われる。そのため、ＣＮＮ５２’には１エリア分の画素情報５４を入力すればよく、認識器５６を極めて小規模に構成することが可能である。なお、認識器５６は、順次に入力される情報に対してＣＮＮ５２’による処理を実行し内部情報の更新５５を行うことから、ＲＮＮとしての構成を有する。
ライン順次の認識処理を、ＲＮＮを用いて行うことで、フレームに含まれる全てのラインを読み出さなくても、有効な認識結果が得られる場合がある。この場合、認識処理部１２は、有効な認識結果が得られた時点で、認識処理を終了させることができる。図３５および図３６を用いて、読出単位がエリアＡｒ＃ｘ−ｙである場合に、フレーム読み出しの途中で認識処理を終了させる例について説明する。
図３５は、認識対象が数字の「８」である場合の例を示す図である。図３５の例では、フレーム８０において、全体の２／３程度の範囲８１が読み出された時点の位置Ｐ1において、数字の「８」が認識されている。したがって、認識処理部１２は、この範囲８１が読み出された時点で数字の「８」が認識された旨を示す有効な認識結果を出力し、フレーム８０に対するライン読み出しおよび認識処理を終了させることができる。
図３６は、認識対象が人である場合の例を示す図である。図３６の例では、フレーム８２において、垂直方向の１／２程度の範囲８３が読み出された時点の位置Ｐ2において、人８４が認識されている。したがって、認識処理部１２は、この範囲８３が読み出された時点で人８４が認識された旨を示す有効な認識結果を出力し、フレーム８２に対するライン読み出しおよび認識処理を終了させることができる。
このように、第２の実施形態の第３の変形例では、フレームに対するエリア読み出しの途中で有効な認識結果が得られた場合に、エリア読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。また、第２の実施形態の第３の変形例では、例えば上述した第２の実施形態や第２の実施形態の第１の変形例による、ライン方向の全幅にわたって読み出しを行う例に対して、冗長な読み出しが減り、認識処理に要する時間を短縮することが可能となる。
上述では、エリアＡｒ＃ｘ−ｙの読み出しを、ライン方向に対して左端側から右端側に向けて行い、垂直方向に対してはフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、ライン方向の読み出しを右端側から左端側に向けて行ってもよいし、垂直方向の読み出しをフレームの下端側から上端側に向けて行ってもよい。
［５−４．第２の実施形態の第４の変形例］
次に、第２の実施形態の第４の変形例について説明する。第２の実施形態の第４の変形例は、読出単位を、隣接しない画素を含む複数の画素からなるパターンとする例である。
図３７は、第２の実施形態の第４の変形例に係るフレームの読み出し処理を説明するための模式図である。図３７に示されるように、第２の実施形態の第４の変形例では、例えばライン方向および垂直方向のそれぞれに対して離散的および周期的に配置される複数の画素により構成されるパターンＰφ＃ｘ−ｙが読出単位とされる。図３７の例では、ライン方向に所定の間隔毎に配置される３つの画素と、当該３つの画素に対してライン方向の位置をそれぞれ対応させて垂直方向に所定の間隔で配置される３つの画素と、の周期的に配置される６つの画素によりパターンＰφ＃ｘ−ｙが構成されている。認識処理部１２において、読出決定部１２３は、このパターンＰφ＃ｘ−ｙに従い配列される複数の画素を、読出単位として決定する。
なお、上述では、パターンＰφ＃ｘ−ｙが離散的な複数の画素により構成されるように説明したが、これはこの例に限定されない。例えば、互いに隣接する複数の画素を含む画素群の複数を離散的に配置して、パターンＰφ＃ｘ−ｙを構成してもよい。例えば互いに隣接する２画素×２画素の４画素からなる画素群の複数を、図３７に示されるように離散的且つ周期的に配置して、パターンＰφ＃ｘ−ｙを構成することができる。
読出決定部１２３は、パターンＰφ＃ｘ−ｙとして決定された読出単位を示す情報に、当該パターンＰφ＃ｘ−ｙを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。ここで、読出単位を示す情報は、例えばパターンＰφ＃ｘ−ｙを構成する画素のうち所定の画素（例えばパターンＰφ＃ｘ−ｙを構成する画素のうち左上隅の画素）と、パターンＰφ＃ｘ−ｙを構成する他の画素それぞれと、の位置関係を示す情報により構成することが考えられる。また、読出位置情報は、読み出しを行うパターンＰφ＃ｘ−ｙに含まれる所定の画素の位置を示す情報（ライン内での位置を示す情報、および、ライン番号）を用いることが考えられる。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
図３７の例では、第ｍのフレームＦｒ（ｍ）において、例えば左上隅の画素がフレームＦｒ（ｍ）の左上隅に位置するパターンＰφ＃１−１からライン方向に順次に例えば１画素ずつ位置をずらしながら、パターンＰφ＃２−１、Ｐφ＃３−１、…と、各パターンＰφ＃ｘ−ｙの読み出しが行われる。例えばパターンＰφ＃ｘ−ｙの右端がフレームＦｒ（ｍ）の右端に達すると、フレームＦｒ（ｍ）の左端から、垂直方向に１画素分（１ライン分）位置をずらして、同様にしてパターンＰφ＃１−２、Ｐφ＃２−２、Ｐφ＃３−２、…と、各パターンＰφ＃ｘ−ｙの読み出しが行われる。
パターンＰφ＃ｘ−ｙは、画素が周期的に配置されて構成されているため、パターンＰφ＃ｘ−ｙを１画素ずつずらす動作は、パターンＰφ＃ｘ−ｙの位相をずらす動作であるといえる。すなわち、第２の実施形態の第４の変形例では、パターンＰφ＃ｘ−ｙをライン方向に位相Δφずつずらしながら、各パターンＰ＃ｘ−ｙの読み出しを行う。パターンＰφ＃ｘ−ｙの垂直方向への移動は、例えばライン方向の最初のパターンＰφ＃１−ｙの位置に対して垂直方向に位相Δφ’をずらして行う。
図３８は、第２の実施形態の第４の変形例に適用可能な認識処理を概略的に示す模式図である。図３８では、水平方向（ライン方向）および垂直方向にそれぞれ１画素を置いて離れた４つの画素によりパターンＰφ＃ｚが構成されている例を示している。図３８のセクション（ａ）、（ｂ）、（ｃ）および（ｄ）に示されるように、水平方向および垂直方向にそれぞれ１画素分の位相をずらした４個の画素によるパターンＰφ＃１、Ｐφ＃２、Ｐφ＃３およびＰφ＃４により、４画素×４画素のエリアに含まれる１６個の全ての画素を重複せずに読み出すことができる。パターンＰφ＃１、Ｐφ＃２、Ｐφ＃３およびＰφ＃４それぞれに従い読み出された各４個の画素は、４画素×４画素のサンプル領域に含まれる１６個の画素を互いに重複しないように抽出したサブサンプルＳｕｂ＃１、Ｓｕｂ＃２、Ｓｕｂ＃３およびＳｕｂ＃４である。
図３８のセクション（ａ）〜（ｄ）の例では、認識処理は、ＣＮＮ５２’による処理および内部情報の更新５５を、サブサンプルＳｕｂ＃１、Ｓｕｂ＃２、Ｓｕｂ＃３およびＳｕｂ＃４それぞれに対して実行することで行われる。そのため、ＣＮＮ５２’には、一度の認識処理に対して４個の画素データのみを入力すればよく、認識器５６を極めて小規模に構成することが可能である。
図３９は、第２の実施形態の第４の変形例に係る読み出しおよび制御の例を示す一例のタイムチャートである。図３９において、撮像周期は、フレーム周期であって、例えば１／３０［ｓｅｃ］である。センサ部１０からのフレームの読み出しは、このフレーム周期で行われる。撮像時間は、フレームに含まれる全てのサブサンプルＳｕｂ＃１〜Ｓｕｂ＃４の撮像を行うために要する時間である。図３９の例では、撮像時間は、撮像周期と同一の１／３０［ｓｅｃ］とされている。なお、１つのサブサンプルＳｕｂ＃ｘの撮像を、サブサンプル撮像と呼ぶ。
第２の実施形態の第４の変形例では、撮像時間を４つの期間に分割し、それぞれの期間において、各サブサンプルＳｕｂ＃１、Ｓｕｂ＃２、Ｓｕｂ＃３およびＳｕｂ＃４のサブサンプル撮像を実行する。
より具体的には、センサ制御部１１は、撮像時間を分割した第１〜第４の期間のうち、第１の期間において、サブサンプルＳｕｂ＃１によるサブサンプル撮像を、フレーム全体にわたり実行する。センサ制御部１１は、例えば、４画素×４画素のサンプル領域を、互いに重複しないようにライン方向に移動させながらサブサンプルＳｕｂ＃１の抽出を行う。センサ制御部１１は、このライン方向にサンプル領域を移動させながらサブサンプルＳｕｂ＃１の抽出を行う動作を、垂直方向に繰り返し実行する。
１フレーム分のサブサンプルＳｕｂ＃１の抽出が終了すると、認識処理部１２は、例えば抽出された１フレーム分のサブサンプルＳｕｂ＃１を、サブサンプルＳｕｂ＃１毎に認識器５６に入力して認識処理を実行する。認識処理部１２は、１フレーム分の認識処理の終了後に認識結果を出力する。これに限らず、認識処理部１２は、１フレーム分の認識処理の途中で有効な認識結果が得られた場合に認識結果を出力し、当該サブサンプルＳｕｂ＃１に対する認識処理を終了させてもよい。
以降、第２、第３および第４の期間それぞれにおいて、同様にして、サブサンプルＳｕｂ＃２、Ｓｕｂ＃３およびＳｕｂ＃４による、フレーム全体にわたるサブサンプル撮像をそれぞれ実行する。
図４０および図４１を用いて、第２の実施形態の第４の変形例に係るフレーム読み出し処理について、より具体的に説明する。図４０は、認識対象が数字の「８」であり、大きさの異なる３つの数字「８」が１フレームに含まれている場合の例を示す図である。図４０のセクション（ａ）、（ｂ）および（ｃ）において、フレーム９０に対して、それぞれ数字の「８」を示し、大きさの異なる３つのオブジェクト９３Ｌ、９３Ｍおよび９３Ｓが含まれている。これらのうち、オブジェクト９３Ｌが最も大きく、オブジェクト９３Ｓが最も小さい。
図４０のセクション（ａ）において、サンプル領域９２においてサブサンプルＳｕｂ＃１が抽出されている。フレーム９０に含まれる各サンプル領域９２においてサブサンプルＳｕｂ＃１を抽出することで、図４０のセクション（ａ）に示されるように、フレーム９０から、水平および垂直方向それぞれに対して１画素おきの間隔で、格子状に画素が読み出される。図４０のセクション（ａ）の例では、認識処理部１２は、この格子状に読み出された画素の画素データに基づき、オブジェクト９３Ｌ、９３Ｍおよび９３Ｓのうち最も大きなオブジェクト９３Ｌを認識している。
フレーム９０からのサブサンプルＳｕｂ＃１の抽出が終了すると、次に、サンプル領域９２におけるサブサンプルＳｕｂ＃２の抽出が行われる。サブサンプルＳｕｂ＃２は、サブサンプルＳｕｂ＃１に対して、サンプル領域９２内において水平および垂直方向にそれぞれ１画素ずつずれた画素からなる。認識器５６は、サブサンプルＳｕｂ＃１の認識結果に基づき内部状態が更新されているので、サブサンプルＳｕｂ＃２の抽出に応じた認識結果は、サブサンプルＳｕｂ＃１の認識処理の影響を受けたものとなる。そのため、サブサンプルＳｕｂ＃２の抽出に応じた認識処理は、図４０のセクション（ｂ）に示されるように、市松模様状に読み出された画素の画素データに基づき行われたと考えることができる。したがって、図４０のセクション（ｂ）に示す、サブサンプルＳｕｂ＃２をさらに抽出した状態は、図４０のセクション（ａ）に示すサブサンプルＳｕｂ＃１のみを抽出した状態に対して、画素データに基づく解像度が向上し、より高精度の認識処理が可能となる。図４０のセクション（ｂ）の例では、上述したオブジェクト９３Ｌの次に大きなオブジェクト９３Ｍが、さらに認識されている。
図４０のセクション（ｃ）は、フレーム９０において、サンプル領域９２に含まれる全てのサブサンプルＳｕｂ＃１〜Ｓｕｂ＃４の抽出が終了した状態を示している。この図４０のセクション（ｃ）では、フレーム９０に含まれる全ての画素が読み出されることになり、サブサンプルＳｕｂ＃１およびＳｕｂ＃２の抽出で認識されたオブジェクト９３Ｌおよび９３Ｍに加え、最も小さいオブジェクト９３Ｓが認識されている。
図４１は、認識対象が人であって、当該撮像装置１からそれぞれ異なる距離にいる３人の画像が１フレームに含まれている場合の例を示す図である。図４１のセクション（ａ）、（ｂ）および（ｃ）において、フレーム９５に対して、それぞれ人の画像であって、大きさの異なる３つのオブジェクト９６Ｌ、９６Ｍおよび９６Ｓが含まれている。これらのうち、オブジェクト９６Ｌが最も大きく、フレーム９５に含まれる３人のうち、当該オブジェクト９６Ｌに対応する人が当該撮像装置１の最も近距離にいることになる。また、オブジェクト９６Ｌ、９６Ｍおよび９６Ｓのうち最も小さいオブジェクト９６Ｓは、フレーム９５に含まれる３人のうち、当該オブジェクト９６Ｓに対応する人が当該撮像装置１に対して最も遠距離にいる人を表している。
図４１において、セクション（ａ）は、図４０のセクション（ａ）に対応し、上述したサブサンプルＳｕｂ＃１の抽出を行い認識処理を実行し、最も大きなオブジェクト９６Ｌが認識された例である。図４１のセクション（ｂ）は、図４０のセクション（ｂ）に対応し、図４１のセクション（ａ）の状態に対して、さらにサブサンプルＳｕｂ＃２の抽出を行い認識処理を実行し、次に大きなオブジェクト９６Ｍが認識された例である。また、図４１のセクション（ｃ）は、図４０のセクション（ｃ）に対応し、図４１のセクション（ｂ）の状態に対して、さらにサブサンプルＳｕｂ＃３およびＳｕｂ＃４の抽出を行い認識処理を実行し、フレーム９５に含まれる全画素の画素データに基づき認識処理を実行した例である。図４１のセクション（ｃ）では、オブジェクト９６Ｌおよび９６Ｍに加え、最も小さなオブジェクト９６Ｓが認識された様子が示されている。
このように、サブサンプルＳｕｂ＃１、Ｓｕｂ＃２、…と抽出を行い認識処理を繰り返すことで、順次、より遠方にいる人を認識できるようになる。
図４０および図４１の例において、例えば認識処理に割り当て可能な時間に応じて、フレーム読み出しおよび認識処理を制御することができる。一例として、認識処理に割当可能な時間が短い場合、フレーム９０におけるサブサンプルＳｕｂ＃１の抽出が終了し、オブジェクト９３Ｌが認識された時点で、フレーム読み出しおよび認識処理を終了することが考えられる。一方、認識処理に割り当て可能な時間が長い場合、全てのサブサンプルＳｕｂ＃１〜Ｓｕｂ＃４の抽出が終了するまで、フレーム読み出しおよび認識処理の実行を継続させることが考えられる。
これに限らず、認識処理部１２は、認識結果の信頼度（スコア）に応じてフレーム読み出しおよび認識処理を制御してもよい。例えば、認識処理部１２は、図４１のセクション（ｂ）において、サブサンプルＳｕｂ＃２の抽出および認識処理に基づく認識結果に対するスコアが所定以上であれば、認識処理を終了させ、次のサブサンプルＳｕｂ＃３の抽出を実行しないようにできる。
このように、第２の実施形態の第４の変形例では、所定の認識結果が得られた時点で認識処理を終了させることができ、認識処理部１２における処理量の削減や、省電力化が可能となる。
また、第２の実施形態の第４の変形例では、フレーム内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
［５−５．第２の実施形態の第５の変形例］
次に、第２の実施形態の第５の変形例について説明する。第２の実施形態の第５の変形例は、読出単位を、隣接しない画素を含む複数の画素がランダム的に配置されたパターンとする例である。
図４２は、第２の実施形態の第５の変形例に係るフレーム読み出し処理を説明するための模式図である。図４２に示されるように、第２の実施形態の第５の変形例では、例えばフレームＦｒ（ｍ）内に離散的および非周期的に配置される複数の画素により構成されるパターンＲｄ＃ｍ＿ｘが読出単位とされる。すなわち、第２の実施形態の第５の変形例に係る読出単位は、フレームの全体が対象とされる。
第２の実施形態の第５の変形例では、上述した図３９を参照し、１フレーム周期を複数の期間に分割し、期間毎にパターンを切り替える。図４２の例では、第ｍのフレームＦｒ（ｍ）のフレーム周期が分割された最初の期間において、認識処理部１２は、フレームＦｒ（ｍ）内の、離散的および非周期的に配置される複数の画素によるパターンＲｄ＃ｍ＿１に従い画素を読み出して認識処理を実行する。一例として、認識処理部１２は、フレームＦｒ（ｍ）に含まれる全画素数がｓ、フレーム周期の分割数がＤとした場合、フレームＦｒ（ｍ）内の、離散的および非周期的に配置される（ｓ／Ｄ）個の画素を選択し、パターンＲｄ＃ｍ＿１を構成する。
当該フレーム周期が分割された次の期間において、認識処理部１２は、フレームＦｒ（ｍ）においてパターンＲｄ＃ｍ＿１とは異なる画素が選択されたパターンＲｄ＃ｍ＿２に従い画素を読み出して認識処理を実行する。
次の第（ｍ＋１）のフレームＦｒ（ｍ＋１）においても同様に、フレームＦｒ（ｍ＋１）のフレーム周期が分割された最初の期間において、認識処理部１２は、フレームＦｒ（ｍ＋１）内の、離散的および非周期的に配置される複数の画素によるパターンＲｄ＃（ｍ＋１）＿１に従い画素を読み出して認識処理を実行する。認識処理部１２は、次の期間において、パターンＲｄ＃（ｍ＋１）＿１とは異なる画素が選択されたパターンＲｄ＃（ｍ＋１）＿２に従い画素を読み出して認識処理を実行する。
認識処理部１２において、読出決定部１２３は、例えば、フレームＦｒ（ｍ）のフレーム周期が分割された最初の期間において、フレームＦｒ（ｍ）に含まれる全画素から、疑似乱数に基づき所定数の画素を選択して読出単位としてのパターンＲｄ＃ｍ＿１を決定する。読出決定部１２３は、次の期間において、例えばフレームＦｒ（ｍ）に含まれる全画素からパターンＲｄ＃ｍ＿１で選択した画素を除いた画素から、疑似乱数に基づき所定数の画素を選択して、読出単位としてのパターンＲｄ＃ｍ＿２を決定する。これに限らず、認識処理部１２は、再びフレームＦｒ（ｍ）に含まれる全画素から疑似乱数に基づき所定数の画素を選択して、読出単位としてのパターンＲｄ＃ｍ＿２を決定してもよい。
読出決定部１２３は、パターンＲｄ＃ｍ＿ｘとして決定された読出単位を示す情報に、当該パターンＲｄ＃ｍ＿ｘの画素データを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
ここで、読出単位を示す情報は、例えば当該パターンＲｄ＃ｍ＿１に含まれる各画素の、フレームＦｒ（ｍ）内における位置情報（例えばライン番号およびライン内での画素位置を示す情報）により構成することが考えられる。また、この場合の読出単位は、フレームＦｒ（ｍ）の全体を対象としてるため、読出位置情報を省略することが可能である。読出位置情報として、フレームＦｒ（ｍ）内の所定の画素の位置を示す情報を用いてもよい。
第２の実施形態の第５の変形例では、このように、フレーム読み出し処理を、フレームＦｒ（ｍ）の全画素から離散的且つ非周期的に配置される複数の画素によるパターンＲｄ＃ｍ＿ｘを用いて行っている。そのため、周期的なパターンを用いた場合と比較して、サンプリングのアーティフィクトを減少させることが可能である。例えば、第２の実施形態の第５の変形例に係るフレーム読み出し処理によれば、認識処理において、時間的な周期パターン（例えばフリッカ）に対して誤検出や未検出を抑制できる。また、当該フレーム読み出し処理によれば、認識処理において、空間的な周期パターン（柵や網目状の構造物など）に対する誤検出や未検出の抑制も可能である。
さらに、当該フレーム読み出し処理によれば、時間の経過に伴い認識処理に用いることができる画素データが増加していくため、例えばフレームＦｒ（ｍ）内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
なお、上述では、認識処理部１２が、各パターンＲｄ＃ｍ＿ｘを、その都度生成するように説明したが、これはこの例に限定れない。例えば、各パターンＲｄ＃ｍ＿ｘを予め生成してメモリなどに記憶しておき、読出決定部１２３は、この記憶された各パターンＲｄ＃ｍ＿ｘからメモリから読み出して用いてもよい。
［５−６．第２の実施形態の第６の変形例］
次に、第２の実施形態の第６の変形例について説明する。第２の実施形態の第６の変形例は、認識処理の結果に応じて読出単位の構成を変更する例である。図４３は、第２の実施形態の第６の変形例に係るフレームの読み出し処理を説明するための模式図である。ここでは、図３７を用いて説明した、隣接しない画素を含む複数の画素からなるパターンによる読出単位を例にとって説明を行う。
図４３において、第ｍのフレームＦｒ（ｍ）で、図３７を用いて説明したパターンＰφ＃ｘ−ｙと同様に、読出決定部１２３は、ライン方向および垂直方向のそれぞれに対して離散的および周期的に配置される複数の画素により構成されるパターンＰｔ＃ｘ−ｙを生成し、初期の読出単位とする。読出決定部１２３は、パターンＰｔ＃ｘ−ｙとして決定された読出単位を示す情報に、当該パターンＰｔ＃ｘ−ｙを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
認識処理部１２は、図４３に示すように、フレームＦｒ（ｍ）において、左端側から水平方向に位相Δφで位置をずらしつつパターンＰｔ＃１−１、Ｐｔ＃２−１、Ｐｔ＃３−１と、読み出しおよび認識処理を行い、パターンＰｔ＃ｘ−ｙの右端がフレームＦｒ（ｍ）の右端に達すると、再びフレームＦｒ（ｍ）の右端側から、垂直方向に位相Δφ’で位置をずらし、水平方向に位相Δφで位置をずらしつつパターンＰｔ＃１−２、…と読み出しおよび認識処理を行う。
フレームＦｒ（ｍ）における認識結果に応じて、認識処理部１２は、新たなパターンＰｔ’＃ｘ−ｙを生成する。一例として、認識処理部１２は、フレームＦｒ（ｍ）に対する認識処理において、フレームＦｒ（ｍ）の中央部に対象のオブジェクト（例えば人）を認識したものとする。認識処理部１２において、読出決定部１２３は、この認識結果に応じて、新たな読出単位として、フレームＦｒ（ｍ）の中央部の画素に集中して読み出しを行うパターンＰｔ’＃ｘ−ｙを生成する。
読出決定部１２３は、パターンＰｔ’＃ｘ−１を、パターンＰｔ＃ｘ−ｙと比較してより少ない画素により生成することができる。また、読出決定部１２３は、パターンＰｔ’＃ｘ−ｙの画素配置を、パターンＰｔ＃ｘ−ｙにおける画素配置に対してより密集させたものとすることができる。
読出決定部１２３は、パターンＰｔ’＃ｘ−ｙとして決定された読出単位を示す情報に、当該パターンＰｔ’＃ｘ−ｙを読み出すための読出位置情報を付加した読出領域情報を、読出制御部１１１に渡す。ここで、読出決定部１２３は、このパターンＰｔ’＃ｘ−ｙを次のフレームＦｒ（ｍ＋１）に適用する。読出制御部１１１は、読出決定部１２３から渡された読出領域情報を読出部１１０に渡す。読出部１１０は、読出制御部１１１から渡された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。
図４３の例では、認識処理部１２は、フレームＦｒ（ｍ＋１）において、先ずフレームＦｒ（ｍ＋１）の中央部においてパターンＰｔ’＃１−１による読み出しおよび認識処理を行い、次に水平方向に例えば位相Δφで位置をずらしてパターンＰｔ’＃２−１による読み出しおよび認識処理を行う。さらに、認識処理部１２は、パターンＰｔ’＃１−１の位置から垂直方向に位相Δφ’で位置をずらし、さらに水平方向に位相Δφで位置をずらしつつ、パターンＰｔ’＃１−２およびＰｔ’＃２−２の読み出しを行う。
第２の実施形態の第６の変形例では、このように、初期パターンであるパターンＰｔ＃ｘ−ｙに基づくフレームＦｒ（ｍ）における認識結果に基づき、次のフレームＦｒ（ｍ＋１）で画素の読み出しに用いるパターンＰｔ’＃ｘ−ｙを生成する。これにより、より高精度の認識処理が可能となる。また、認識処理の結果に応じて生成する新たなパターンＰｔ’＃ｘ−ｙを用いて、オブジェクトが認識された部分に絞り込んで認識処理を実行することで、認識処理部１２における処理量の削減、省電力化、フレームレートの向上などが実現可能となる。
（第６の変形例の他の例）
次に、第２の実施形態の第６の変形例の他の例について説明する。図４４は、第２の実施形態の第６の変形例に係る読み出しおよび認識処理をおこなうパターンの例を示す図である。図４４に示されるパターンＣｃ＃ｘは、環状の形状とされ、時間の経過に伴い環状の半径が変化するようにされた読出単位である。図４４の例では、フレームＦｒ（ｍ）のフレーム周期が分割された最初の期間において、半径の小さいパターンＣｃ＃１とされ、次の期間でパターンＣｃ＃１より半径の大きなパターンＣｃ＃２とされ、その次の期間でパターンＣｃ＃２よりさらに半径の大きなパターンＣｃ＃３とされている。
例えば、認識処理部１２は、上述の図４３に示すように、フレームＦｒ（ｍ）において、左端側から水平方向に位相Δφで位置をずらしつつパターンＰｔ＃１−１、Ｐｔ＃２−１、Ｐｔ＃３−１と、読み出しおよび認識処理を行い、パターンＰｔ＃ｘ−ｙの右端がフレームＦｒ（ｍ）の右端に達すると、再びフレームＦｒ（ｍ）の右端側から、垂直方向に位相Δφ’で位置をずらし、水平方向に位相Δφで位置をずらしつつパターンＰｔ＃１−２、…と読み出しおよび認識処理を行う。
フレームＦｒ（ｍ）における認識結果に応じて、認識処理部１２は、環状の形状を有する新たなパターンＣｃ＃１を生成する。一例として、認識処理部１２は、フレームＦｒ（ｍ）に対する認識処理において、フレームＦｒ（ｍ）の中央部に対象のオブジェクト（例えば人）を認識したものとする。認識処理部１２において、読出決定部１２３は、この認識結果に応じて、パターンＣｃ＃１、Ｃｃ＃２、…を生成し、このパターンＣｃ＃１、Ｃｃ＃２、…に基づき読み出しおよび認識処理を行う。
なお、図４４では、パターンＣｃ＃ｍの半径を時間の経過に伴い大きくしているが、これはこの例に限定されず、パターンＣｃ＃ｍの半径を時間の経過に伴い小さくしていってもよい。
第２の実施形態の第６の変形例のさらに他の例として、読み出しを行うパターンにおける画素の粗密を変化させてもよい。また、図４４に示したパターンＣｃ＃ｍでは、環状形状の中心から外周に向けて、あるいは、外周から中心に向けて大きさを変化させているが、これはこの例に限定されない。
［５−７．第２の実施形態の第７の変形例］
次に、第２の実施形態の第７の変形例について説明する。上述した第２の実施形態、および、第２の実施形態の第１〜第４の変形例では、画素の読み出しを行うライン、エリアおよびパターンを、フレーム内の座標の順序（ライン番号、ライン内の画素の順番など）に従い順次に移動させていた。これに対して、第２の実施形態の第７の変形例では、フレーム内の画素を短時間でより均一に読み出せるように、画素の読み出しを行うライン、エリアおよびパターンを設定する。
図４５は、第２の実施形態の第７の変形例に係るフレームの読み出し処理の第１の例を説明するための模式図である。なお、図４５では、説明のため、説明のため、フレームＦｒ（ｍ）がラインＬ＃１、Ｌ＃２、Ｌ＃３、Ｌ＃４、Ｌ＃５、Ｌ＃６、Ｌ＃７、Ｌ＃８の８ラインを含むものとしている。
図４５のセクション（ａ）に示す読み出し処理は、第２の実施形態において図２４を用いて説明した読み出し処理に対応するもので、読出単位がラインとされ、フレームＦｒ（ｍ）に対して、ラインＬ＃１、Ｌ＃２、…、Ｌ＃８の順に、ライン順次で画素データの読み出しを行う例を示している。このセクション（ａ）の例では、フレームＦｒ（ｍ）の読み出しを開始してから、フレームＦｒ（ｍ）の下部の画素データが得られるまでの遅延が大きい。
図４５のセクション（ｂ）は、第２の実施形態の第７の変形例に係る読み出し処理の例を示している。このセクション（ｂ）でも、上述した図４５のセクション（ａ）と同様に、読出単位がラインとされている。このセクション（ｂ）の例では、フレームＦｒ（ｍ）において、奇数ライン番号の各ラインと、偶数ライン番号の各ラインと、のそれぞれについて、ライン間の距離がフレームＦｒ（ｍ）のライン数の１／２だけ離れた２本のラインを組としている。そして、この組のうち奇数ライン番号の組を順次読み出し、次に偶数ライン番号の組を順次読み出すようにしている。
より具体的には、図４５のセクション（ｂ）の例では、フレーム周期の前半において、例えばフレームＦｒ（ｍ）に含まれる各ラインＬ＃ｘのうち、奇数ライン番号のラインＬ＃１、Ｌ＃３、Ｌ＃５およびＬ＃７について、読み出し順を入れ替えて、ラインＬ＃１、Ｌ＃５、Ｌ＃３、Ｌ＃７の順に読み出している。フレーム周期の後半についても同様に、フレームＦｒ（ｍ）に含まれる各ラインＬ＃ｘのうち、偶数ライン番号のラインＬ＃２、Ｌ＃４、Ｌ＃６およびＬ＃８について、読み出し順を入れ替えて、ラインＬ＃２、Ｌ＃６、Ｌ＃４、Ｌ＃８の順に読み出している。
このような各ラインＬ＃ｘの読み出し順の制御は、読出決定部１２３が、読出位置情報を図４５のセクション（ｂ）に示されるような読み出し順に応じて順次に設定することで、実現することが可能である。
このように読み出し順を決めることで、フレームＦｒ（ｍ）の読み出しを開始してから、フレームＦｒ（ｍ）の下部の画素データが得られるまでの遅延を、セクション（ａ）の例と比較して、短縮することが可能である。また、第２の実施形態の第７の変形例では、フレーム内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
なお、図４５のセクション（ｂ）を用いて説明した各ラインＬ＃ｘの読み出し順は一例であって、想定するオブジェクトの認識が容易なように、読出領域を設定することができる。例えば、読出決定部１２３は、撮像装置１の外部から与えられた外部情報に基づきフレーム内で認識処理を優先的に実行する領域を設定し、この領域に対する読出領域の読み出しを優先的に実行するように、読出位置情報を決定することができる。また、読出決定部１２３は、フレーム内において撮像されるシーンに応じて、フレーム内で認識処理を優先的に実行する領域を設定することもできる。
また、この第２の実施形態の第７の変形例においても、上述した第２の実施形態と同様に、フレームに対する各ラインの読み出しの途中で有効な認識結果が得られた場合に、ラインの読み出しおよび認識処理を終了させることができる。これにより、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（第２の実施形態の第７の変形例の第１の他の例）
次に、第２の実施形態の第７の変形例の第１の他の例ついて説明する。上述した第２の実施形態の第７の変形例では、１本のラインを読出単位としていたが、これはこの例に限定されない。この第１の他の例では、隣接しない２本のラインを読出単位としている。
図４６は、第２の実施形態の第７の変形例の第１の他の例によるフレームの読み出し処理を説明するための模式図である。図４６の例では、図４５のセクション（ｂ）において説明した、フレームＦｒ（ｍ）において、ライン番号が奇数の各ラインと、ライン番号が偶数の各ラインと、のそれぞれについて組にした、ライン間の距離がライン数の１／２だけ離れた２本のラインを、読出単位としている。より具体的には、ラインＬ＃１およびＬ＃５の組、ラインＬ＃３およびＬ＃７の組、ラインＬ＃２およびＬ＃６の組、ならびに、ラインＬ＃４およびＬ＃８の組、がそれぞれ読出単位とされている。そして、この組のうちライン番号が奇数の組を順次読み出し、次にライン番号が偶数の組を順次読み出すようにしている。
この第１の他の例では、読出単位が２本のラインを含むため、認識処理に要する時間を、上述した第２の実施形態の第７の変形例に対して、より短縮することが可能である。
（第２の実施形態の第７の変形例の第２の他の例）
次に、第２の実施形態の第７の変形例の第２の他の例ついて説明する。この第２の他の例は、図３３を用いて説明した、第２の実施形態の第３の変形例による、読出単位をフレーム内における所定サイズのエリアとした例に、フレーム内の画素を短時間でより均一に読み出せるように読出単位の読み出しを行う読出領域を設定する例を適用させたものである。
図４７は、第２の実施形態の第７の変形例の第２の他の例によるフレームの読み出し処理を説明するための模式図である。図４７の例では、図３３を用いて説明した各エリアＡｒ＃ｘ−ｙの位置を、フレームＦｒ（ｍ）において離散的に指定して、フレームＦｒ（ｍ）の読み出しを行う。一例として、フレームＦｒ（ｍ）の左上隅のエリアＡｒ＃１−１の読み出しおよび認識処理の後に、フレームＦｒ（ｍ）において当該エリアＡｒ＃１−１と同じラインを含み、フレームＦｒ（ｍ）のライン方向の中央部に位置するエリアＡｒ＃３−１の読み出しおよび認識処理を行う。次に、フレームＦｒ（ｍ）の下部の１／２の領域の左上隅のエリアＡｒ＃１−３の読み出しおよび認識処理を行い、フレームＦｒ（ｍ）において当該エリアＡｒ＃１−３と同じラインを含み、フレームＦｒ（ｍ）のライン方向の中央部に位置するエリアＡｒ＃３−３の読み出しおよび認識処理を行う。
エリアＡｒ＃２−２およびＡｒ＃４−２、ならびに、エリアＡｒ＃２−４およびＡｒ＃４−４も同様にして、読み出しおよび認識処理を行う。
このように読み出し順を決めることで、フレームＦｒ（ｍ）の読み出しをフレームＦｒ（ｍ）の左端側から開始してから、フレームＦｒ（ｍ）の下部および右端側の画素データが得られるまでの遅延を、図３３の例と比較して、短縮することが可能である。また、この第２の他の例では、フレーム内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
また、この第２の他の例においても、上述した第２の実施形態と同様に、フレームに対する各エリアＡｒ＃ｘ−ｙの読み出しの途中で有効な認識結果が得られた場合に、エリアＡｒ＃ｘ−ｙの読み出しおよび認識処理を終了させることができる。これにより、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（第２の実施形態の第７の変形例の第３の他の例）
次に、第２の実施形態の第７の変形例の第３の他の例ついて説明する。この第３の他の例は、図３７を用いて説明した、第２の実施形態の第３の変形例による、読出単位をライン方向および垂直方向のそれぞれに対して離散的および周期的に配置される複数の画素により構成されるパターンとした例に、フレーム内の画素を短時間でより均一に読み出せるように読出単位の読み出しを行う読出領域を設定する例を適用させたものである。
図４８は、第２の実施形態の第７の変形例の第３の他の例によるフレームの読み出し処理を説明するための模式図である。図４８の例では、パターンＰφ＃ｚを図３７を用いて説明したパターンＰφ＃ｘ−ｙと同等の構成とし、パターンＰφ＃ｚの位置を、フレームＦｒ（ｍ）において離散的に指定して、フレームＦｒ（ｍ）の読み出しを行う。
一例として、認識処理部１２は、フレームＦｒ（ｍ）の左上隅を開始位置として、当該左上隅に位置するパターンＰφ＃１の読み出しおよび認識処理を行う。次に、パターンＰφ＃１における画素のライン方向および垂直方向それぞれの間隔の１／２の距離だけ位置をずらしたパターンＰφ＃２の読み出しおよび認識処理を行う。次に、パターンＰφ＃１の位置に対してライン方向の間隔の１／２だけ位置をずらしたパターンＰφ＃３の読み出しおよび認識処理を行い、次にパターンＰφ＃１の位置に対して垂直方向の間隔の１／２だけ位置をずらしたパターンＰφ＃４の読み出しおよび認識処理を行う。これらパターンＰφ＃１〜Ｐφ＃４の読み出しおよび認識処理を、パターンＰφ＃１の位置を例えば１画素ずつライン方向にずらしながら繰り返し実行し、さらに１画素ずつ垂直方向にずらしながら、繰り返して実行する。
このように読み出し順を決めることで、フレームＦｒ（ｍ）の読み出しをフレームＦｒ（ｍ）の左端側から開始してから、フレームＦｒ（ｍ）の下部および右端側の画素データが得られるまでの遅延を、図３７の例と比較して、短縮することが可能である。また、この第３の他の例では、フレーム内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
また、この第３の他の例においても、上述した第２の実施形態と同様に、フレームに対する各パターンＰφ＃ｚの読み出しの途中で有効な認識結果が得られた場合に、パターンＰφ＃ｚの読み出しおよび認識処理を終了させることができる。これにより、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
［５−８．第２の実施形態の第８の変形例］
次に、第２の実施形態の第８の変形例について説明する。第２の実施形態の第８の変形例は、センサ部１０における露出およびアナログゲインのうち少なくとも一方を、予め定められたパターンに従い制御する例である。なお、以下では、アナログゲインを適宜「ＡＧ」と略して説明を行う。
図４９は、第２の実施形態の第８の変形例に係る機能を説明するための一例の機能ブロック図である。図４９において、読出決定部１２３ａは、特徴量蓄積制御部１２１から渡される読出情報に基づき、読出領域情報と、露出時間およびアナログゲインを示す情報と、を生成する。これに限らず、読出決定部１２３ａは、露出時間およびアナログゲインに関して、これらのうち少なくとも一方を生成するようにしてもよい。読出決定部１２３ａは、生成した読出領域情報、露出時間およびアナログゲインを、読出部１１０に渡す。
図５０は、第２の実施形態の第８の変形例に係る認識処理を示す一例のフローチャートである。この図５０のフローチャートによる処理は、例えばフレームからの読出単位（例えば１ライン）の画素データの読み出しに対応する処理である。なお、ここでは、読出単位がラインであるものとして説明を行い、読出領域情報は、読出を行うラインを示すライン番号であるものとする。
図５０のフローチャートにおいて、ステップＳ１００〜ステップＳ１０７の処理は、第２の実施形態で説明した図２８のフローチャートにおけるステップＳ１００〜ステップＳ１０７の処理と同等である。
すなわち、ステップＳ１００で、認識処理部１２は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。次のステップＳ１０１で、特徴量計算部１２０は、読出部１１０から渡されたラインデータに基づきラインの特徴量を算出する。次のステップＳ１０２で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ１０３で、特徴量計算部１２０は、ステップＳ１０１で算出された特徴量と、ステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量と、を統合して特徴量蓄積制御部１２１に渡す。
次のステップＳ１０４で、特徴量蓄積制御部１２１は、統合された特徴量を、特徴量蓄積部１２２に蓄積する（ステップＳ１０４）。次のステップＳ１０５で、認識処理実行部１２４は、統合された特徴量を用いて認識処理を実行する。次のステップＳ１０６で、認識処理実行部１２４は、ステップＳ１０５の認識処理による認識結果を出力する。ステップＳ１０７で、認識処理部１２において読出決定部１２３は、特徴量蓄積制御部１２１から渡された読出情報に従い次の読み出しを行う読出ラインを決定する。
ステップＳ１０７の処理の後、処理がステップＳ１０７０に移行される。ステップＳ１０７０で、読出決定部１２３は、予め定められた露出パターン従い次の読み出しにおける露出時間を決定する。次のステップＳ１０７１で、読出決定部１２３は、予め定められたＡＧパターンに従い次の読み出しにおけるアナログゲインを決定する。
ステップＳ１０７で決定された読出ラインに対して、ステップＳ１０７０およびステップＳ１０７１でそれぞれ決定された露出時間およびアナログゲインを適用して、ステップＳ１００からの処理が再び実行される。
なお、ステップＳ１０７〜ステップＳ１０７１の順序は、上述の順序に限られない。また、ステップＳ１０７０およびステップＳ１０７１の処理のうち一方は、省略することができる。
（読み出しおよび認識処理の第１の例）
次に、第２の実施形態の第８の変形例に係る読み出しおよび認識処理の第１の例について、図５１Ａおよび図５１Ｂを用いて説明する。図５１Ａは、第２の実施形態の第８の変形例に適用可能な露出バターンの例を示す模式図である。図５１Ａにおいて、縦軸はライン、横軸は時間を示している。図５１Ａの例では、露出パターンは、ラインＬ＃１、Ｌ＃２、…毎に交互に、第１の露出時間と、第１の露出時間よりも短い第２の露出時間と、が適用されるパターンとなっている。したがって、ライン番号が奇数のラインＬ＃１、Ｌ＃３、…、Ｌ＃（２ｎ−１）において第１の露出時間により露出が行われ、ライン番号が偶数のラインＬ＃２、Ｌ＃４、…、Ｌ＃２ｎにおいて第１の露出時間より時間が短い第２の露出時間により行われる。なお、ラインデータの転送時間は、露出時間に関わらず一定とされる。
図５１Ｂは、図５１Ａの露出パターンに従い撮像を行った場合の撮像画像の例を示す図である。この例では、ライン番号が奇数のラインＬ＃１、Ｌ＃３、…、Ｌ＃（２ｎ−１）では露出オーバーになるように第１の露出時間が設定され、ライン番号が偶数のラインＬ＃２、Ｌ＃４、…、Ｌ＃２ｎでは露出アンダーになるように第２の露出時間が設定されている。
ここで、認識処理部１２、より詳細には、図２２を参照し、特徴量抽出処理１２００、統合処理１２０２、内部状態更新処理１２１１および認識処理１２４０は、それぞれ、図５１Ｂに示したような、予め、ライン毎に明暗が切り替わる画像に基づき学習を行い求めたパラメータにより実行される。これに限らず、認識処理部１２は、一般的な画像を用いて学習を行ってもよい。
このように、１フレーム内においてライン毎に交互に異なる露出を設定することで、認識処理部１２は、１フレームにおける認識処理において明るいオブジェクトおよび暗いオブジェクトをそれぞれ認識可能となる。
なお、図５１Ａの例では、所定の露出パターンに従い、ライン毎に交互に露出時間を切り替えているが、これはこの例に限定されない。すなわち、所定のＡＧパターンに従い、ライン毎に交互にアナログゲインを切り替えてもよいし、所定の露出パターンおよびＡＧパターンにそれぞれ従い、露出時間およびアナログゲインをそれぞれ切り替えてもよい。
また、図５１Ａの例では、読出単位をラインとし、ライン毎に交互に第１の露出時間と第２の露出時間とを設定しているが、これはこの例に限定されない。例えば、上述した第２の実施形態の第１〜第７の変形例の各読出単位に対して、第２の実施形態の第８の変形例による、読出単位毎の露出時間およびアナログゲインの設定を適用することも可能である。
［５−９．第２の実施形態の第９の変形例］
次に、第２の実施形態の第９の変形例について説明する。第２の実施形態の第９の変形例は、フレームにおいて、露出時間の長短を、空間的に粗密を異ならせて設定する例である。なお、第２の実施形態の第９の変形例では、図４９を用いて説明した構成をそのまま適用できるので、構成に関する詳細な説明を省略する。
図５２は、第２の実施形態の第９の変形例に係る露出パターンの例を示す図である。図５２のセクション（ａ）〜（ｃ）において、各マスは例えば複数画素を含むエリアである。図５２の各セクション（ａ）〜（ｃ）において、白抜きのマスは、露出を行わない、あるいは、読み出しを行わないエリアである。また、図５２においては、マスの濃淡で３段階に露出時間を表現しており、露出時間が短いマスは、より濃く塗り潰されている。以下、白抜きのマスは露出を行わないエリアを示すものとする。また、塗り潰しがなされているマスは、塗り潰しの濃淡に応じて、短時間、中時間および長時間の露出時間で露出が行われるエリアであるものとして説明を行う。なお、中時間は、短時間より長く長時間より短い時間である。図５２の各セクション（ａ）〜（ｃ）のそれぞれにおいて、例えば塗り潰しがなされたマスの集合により読出単位が構成される。
具体的には、セクション（ａ）に示すフレーム２１０ａは、露出時間が短時間に設定されたエリアが、中央部において密とされ、周辺部に向かうに連れ疎となっていく例（第１のパターンとする）である。また、セクション（ｂ）に示すフレーム２１０ｂは、露出時間が中時間に設定されたエリアが、フレーム２１０ｂの全体に略均一に配置された例（第２のパターンとする）である。さらに、セクション（ｃ）に示すフレーム２１０ｃは、露出時間が長時間に設定されたエリアが、周辺部において密とされ、中央部に向かうに連れ疎となっていく例（第３のパターンとする）である。
認識処理部１２において読出決定部１２３は、例えば特徴量蓄積制御部１２１から渡された読出情報や、認識処理実行部１２４から渡された認識情報（図示しない）に応じたパターンを、上述の第１〜第３のパターンから選択する。これに限らず、読出決定部１２３は、例えばユーザ操作など外部からの制御情報に従い、第１〜第３のパターンからから１つのパターンを選択してもよい。
読出決定部１２３は、選択されたパターンの露出時間と、各エリアの位置と、を含む読出領域情報を生成し、生成した読出領域情報をセンサ制御部１１に渡す。センサ制御部１１において、読出部１１０は、渡された読出領域情報に従い、センサ部１０から画素データの読み出しを行う。なお、上述の第１〜第３のパターンによる読み出しは、グローバルシャッタ方式に適用することが好ましい。
ここで、第２の実施形態の第９の変形例に係る撮像装置１を車載用として前方を撮像するように設置する場合について考える。この場合、夜間などはヘッドライトにより、撮像画像において空間的に明暗差が生じる。具体的には、撮像画像の輝度値が中央部で高くなり、周辺部の向かうに連れ、低くなると考えられる。そこで、暗所においてヘッドライトを点灯した場合には、第１のパターン（図５２のセクション（ａ））を選択する。
また、露出時間の異なるエリアを、上述した第１〜第３のパターンとは異なるパターンで配置することもできる。例えば、露出時間が長時間に設定されたエリアが、中央部において密とされ、周辺部に向かうに連れ疎となっていく第４のパターンと、露出時間が短時間に設定されたエリアが、周辺部において密とされ、中央部に向かうに連れ疎となっていく第５のパターンを考える。
上述の車載の例において、当該撮像装置１が搭載される車両が前方に移動している場合、車両の移動により撮像画像にボケが発生する。このボケは、画像中心部において少なく、周辺に向かうに連れ大きくなる。そのため、画像中心部に対して認識処理を実行したい場合には、第４のパターンを選択し、画像の周辺部に対して認識処理を実行したい場合には、第５のパターンを選択する事が考えられる。
このように、露出時間の長短を、フレーム内において空間的に粗密を異ならせて設定することで、認識処理部１２は、１フレームにおける認識処理において明るいオブジェクトおよび暗いオブジェクトをそれぞれ認識可能となる。また、フレーム内の位置に応じて露出を行うエリアの粗密を変えているため、明るいオブジェクトや暗いオブジェクトの空間的な出現頻度を検出可能である。
［５−１０．第２の実施形態の第１０の変形例］
次に、第２の実施形態の第１０の変形例について説明する。第２の実施形態の第１０の変形例は、特徴量蓄積制御部１２１において生成される特徴量に基づき、次に読出単位の読み出しを行う読出領域を決定する例である。
図５３は、第２の実施形態の第１０の変形例に係る機能を説明するための一例の機能ブロック図である。図５３のセクション（ａ）において、特徴量蓄積制御部１２１ａは、特徴量計算部１２０から渡された特徴量と、特徴量蓄積部１２２に蓄積された特徴量とを統合し、統合した特徴量を、読出情報と共に読出決定部１２３ｂに渡す。読出決定部１２３ｂは、特徴量蓄積制御部１２１ａから渡された特徴量と読出情報とに基づき、読出領域情報と、露出時間およびアナログゲインを示す情報と、を生成する。これに限らず、読出決定部１２３ｂは、露出時間およびアナログゲインに関して、これらのうち少なくとも一方を生成するようにしてもよい。読出決定部１２３ａ読出決定部１２３ｂは、生成した読出領域情報、露出時間およびアナログゲインを、読出部１１０に渡す。
図５３のセクション（ｂ）は、第２の実施形態の第１０の変形例に係る読出決定部１２３ｂの機能をより詳細に説明するための一例の機能ブロック図である。図５３のセクション（ｂ）において、読出決定部１２３ｂは、読出領域決定部１２３０と、露出時間決定部１２３１と、ＡＧ量決定部１２３２と、を含む。
特徴量蓄積制御部１２１から読出決定部１２３ｂに渡された読出情報および特徴量は、これら読出領域決定部１２３０、露出時間決定部１２３１およびＡＧ量決定部１２３２にそれぞれ入力される。読出領域決定部１２３０は、入力された読出情報および特徴量に基づき、次に読み出しを行う読出領域を示す読出領域情報（例えばライン番号）を生成し、出力する。露出時間決定部１２３１は、入力された特徴量に基づき、次の撮像における露出時間を示す情報を生成し、出力する。また、ＡＧ量決定部１２３２は、入力された特徴量に基づき、次の撮像におけるアナログゲインを示す情報を生成し、出力する。
図５４は、第２の実施形態の第１０の変形例に係る処理を示す一例のフローチャートである。この図５４のフローチャートによる処理は、例えばフレームからの読出単位（例えば１ライン）の画素データの読み出しに対応する処理である。なお、ここでは、読出単位がラインであるものとして説明を行い、読出領域情報は、読出を行うラインを示すライン番号であるものとする。
図５４のフローチャートにおいて、ステップＳ１００〜ステップＳ１０６の処理は、第２の実施形態で説明した図２８のフローチャートにおけるステップＳ１００〜ステップＳ１０７の処理と同等である。
すなわち、ステップＳ１００で、認識処理部１２は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。次のステップＳ１０１で、特徴量計算部１２０は、読出部１１０から渡されたラインデータに基づきラインの特徴量を算出する。次のステップＳ１０２で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ１０３で、特徴量計算部１２０は、ステップＳ１０１で算出された特徴量と、ステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量と、を統合して特徴量蓄積制御部１２１に渡す。
次のステップＳ１０４で、特徴量蓄積制御部１２１は、統合された特徴量を、特徴量蓄積部１２２に蓄積する。次のステップＳ１０５で、認識処理実行部１２４は、統合された特徴量を用いて認識処理を実行する。次のステップＳ１０６で、認識処理実行部１２４は、ステップＳ１０５の認識処理による認識結果を出力する。
次のステップＳ１０８０で、読出決定部１２３ｂにおいて読出領域決定部１２３０は、特徴量蓄積制御部１２１から渡された、読出情報と、ステップＳ１０１で算出された特徴量とステップＳ１０２で特徴量蓄積制御部１２１から取得した特徴量とを統合した特徴量と、を用いて次に読み出しを行う読出ラインを決定する。次のステップＳ１０８１で、読出決定部１２３ｂにおいて露出時間決定部１２３１は、特徴量蓄積制御部１２１から渡された、統合された特徴量に基づき次の読み出しにおける露出時間を決定する。次のステップＳ１０８２で、読出決定部１２３ｂにおいてＡＧ量決定部１２３２は、特徴量蓄積制御部１２１から渡された、統合された特徴量に基づき次の読み出しにおけるアナログゲインを決定する。
ステップＳ１０８０で決定された読出ラインに対して、ステップＳ１０８１およびステップＳ１０８２でそれぞれ決定された露出時間およびアナログゲインを適用して、ステップＳ１００からの処理が再び実行される。
なお、ステップＳ１０８０〜ステップＳ１０８２の順序は、上述の順序に限られない。また、ステップＳ１０８１およびステップＳ１０８２の処理のうち一方は、省略することができる。
（第１の処理）
先ず、第２の実施形態の第１０の変形例に係る第１の処理について説明する。図５５は、第２の実施形態の第１０の変形例に係る第１の処理を説明するための模式図である。なお、図５５に示す処理は、上述した図１６のステップＳ１〜ステップＳ４ｃの処理に対応する。また、ここでは、読出単位をラインとし、ローリングシャッタ方式により撮像を行うものとする。
図５５において、ステップＳ１で、撮像装置１（図１参照）により、認識対象となる対象画像（手書きの数字の「８」）の撮像を開始する。ここで、メモリ１３には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。
撮像が開始されると、ステップＳ２で、センサ制御部１１は、認識処理部１２から渡される読出領域情報に従い、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。認識処理部１２において、読出決定部１２３ｂは、特徴量蓄積制御部１２１から渡された統合された特徴量に基づき、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測されるラインＬ＃ｍを指定する読出領域情報を生成し、読出部１１０に渡す。そして、認識処理部１２は、読出部１１０によりそのラインＬ＃ｍを読み出した画素データに基づき認識処理を実行する（ステップＳ４ｃ）。
ここで、上述したステップＳ４ｃでオブジェクトが確定された場合、認識処理部１２は、認識処理を終了させることができる。これにより、認識処理の短時間化および省電力化を実現することが可能となる。
（第２の処理）
次に、第２の実施形態の第１０の変形例に係る第２の処理について説明する。図５６は、第２の実施形態の第１０の変形例に係る第２の処理を説明するための模式図である。なお、図５６に示す処理は、上述した図５５の処理に対応するものである。この第２の処理では、フレームのライン単位での読み出しを、ラインを間引きしながら実行する。
図５６において、ステップＳ１０で、撮像装置１により、認識対象となる対象画像（手書きの数字の「８」）の撮像を開始する。ここで、上述と同様に、メモリ１３には、例えば、所定の教師データによりライン単位で読み出しを行った場合に数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。
撮像が開始されると、ステップＳ１１で、センサ制御部１１は、認識処理部１２から渡される読出領域情報に従い、フレームをライン単位で、フレームの上端側から下端側に向けてラインを間引きしながら読み出す。図５６の例では、センサ制御部１１は、読出領域情報に従い、先ずフレームの上端のラインＬ＃１を読み出し、次に所定本のラインを間引きしたラインＬ＃ｐを読み出す。認識処理部１２は、ラインＬ＃１およびＬ＃ｐの各ラインデータに対して、読み出し毎に認識処理を実行する。
ここで、さらに間引きによりライン単位での読み出しを行い、ラインＬ＃ｑを読み出したラインデータに対して認識処理部１２による認識処理を実行した結果、「８」または「０」の数字が認識されたものとする（ステップＳ１２）。読出決定部１２３ｂは、特徴量蓄積制御部１２１から渡された統合された特徴量に基づき、ステップＳ１２で識別されたオブジェクトが数字の「８」または「０」の何れであるかを識別可能と予測されるラインＬ＃ｒを指定する読出領域情報を生成し、読出部１１０に渡す。このとき、ラインＬ＃ｒの位置は、ラインＬ＃ｑに対してフレームの上端側でもよいし、下端側でもよい。
認識処理部１２は、読出部１１０によりそのラインＬ＃ｒを読み出した画素データに基づき認識処理を実行する（ステップＳ１３）。
この第２の処理では、フレームのライン読み出しをラインを間引きしながら行うため、認識処理のさらなる短時間化および省電力化を実現することが可能となる。
（第３の処理）
次に、第２の実施形態の第１０の変形例に係る第３の処理について説明する。この第２の実施形態の第１０の変形例に係る第３の処理では、読出単位による読み出しを行いながら、露出時間やアナログゲインを適応的に設定する例である。
図５７Ａおよび図５７Ｂ、図５８Ａおよび図５８Ｂ、ならびに、図５９Ａおよびず５９Ｂは、第２の実施形態の第１０の変形例に係る第３の処理を説明するための模式図である。以下では、露出時間およびアナログゲインのうち、露出時間を適応的に設定する場合について説明する。
図５７Ａおよび図５７Ｂは、上述した図５１Ａおよび図５１Ｂと対応する図であって、露出時間の適応的な設定を行わない場合の例を示している。図５７Ａに示される露出パターンは、上述した図５１Ａに示す露出パターンに対して、第１の露出時間と、第１の露出時間より時間が短い第２の露出時間と、の時間の差がより大きくされている。露出パターンは、図５１Ａの例と同様に、第１の露出時間と第２の露出時間とがラインＬ＃１、Ｌ＃２、…毎に交互に適用されるパターンとなっている。
図５７Ｂは、図５７Ａの露出パターンに従い撮像を行った場合の撮像画像２００ａの例を示す図である。この例では、奇数ライン番号のラインＬ＃１、Ｌ＃３、…、Ｌ＃（２ｎ−１）では露出オーバーになるように第１の露出時間が設定され、偶数ライン番号のラインＬ＃２、Ｌ＃４、…、Ｌ＃２ｎでは露出アンダーになるように第２の露出時間が設定されている。
図５８Ａおよび図５８Ｂは、図５７Ａの露出パターンに従い撮像を行い、各ラインＬ＃１、Ｌ＃２、…、Ｌ＃（２ｎ−１）から読み出した画素データに応じた、統合された特徴量に基づき、各ラインＬ＃２、Ｌ＃３、…、Ｌ＃２ｎの露出時間を設定した場合の例を示している。
ラインＬ＃１からの読み出しが行われると、読出決定部１２３ｂは、このラインＬ＃１から読み出した画素データに基づき特徴量計算部１２０により算出された特徴量と、特徴量蓄積部１２２に蓄積された特徴量と、を特徴量蓄積制御部１２１が統合した特徴量に基づき、次の奇数ライン番号のラインＬ＃３の露出時間（露出時間（Ｌ＃３とする）を設定する。図５８Ａの例では、露出時間（Ｌ＃３）は、ラインＬ＃１の露出時間に対して短くされている。読出決定部１２３ｂは、この露出時間（Ｌ＃３）を保持する。なお、読出決定部１２３ｂによる露出時間の設定の処理は、例えば次のライン（この場合はラインＬ＃２）の転送期間中に実行される。
次に偶数ライン番号のラインＬ＃２からの読み出しが行われる。読出決定部１２３ｂは、ラインＬ＃２から読み出した画素データに基づき特徴量計算部１２０により算出された特徴量と、特徴量蓄積部１２２に蓄積された特徴量と、を特徴量蓄積制御部１２１が統合した特徴量に基づき、次の偶数ライン番号のラインＬ＃４の露出時間（Ｌ＃４）を設定し、保持する。図５８Ａの例では、露出時間（Ｌ＃４）は、ラインＬ＃２の露出時間に対して短くされている。
ラインＬ＃２の読み出しおよび認識処理が終了すると、読出決定部１２３ｂは、保持している露出時間（Ｌ＃３）と、次のラインＬ＃３の読み出しを指示するための読出領域情報と、を読出部１１０に渡す。
ラインＬ＃３の読み出しについても同様に、読出決定部１２３ｂは、ラインＬ＃３から読み出した画素データに基づき次の奇数ライン番号のラインＬ＃５の露出時間（Ｌ＃５）を設定する。図５８Ａの例では、露出時間（Ｌ＃５）は、ラインＬ＃３の露出時間に対して短くされている。読出決定部１２３ｂは、この露出時間（Ｌ＃５）を保持する。次に偶数ライン番号のラインＬ＃４からの読み出しが行われ、読出決定部１２３ｂは、ラインＬ＃４から読み出した画素データに基づき次の偶数ライン番号のラインＬ＃６の露出時間（Ｌ＃６）を設定する。図５８Ａの例では、露出時間（Ｌ＃６）は、ラインＬ＃４の露出時間に対して短くされている。読出決定部１２３ｂは、この露出時間（Ｌ＃６）を保持する。
このようにして、ライン読み出しおよび露出設定を、奇数ライン番号のラインと、偶数ライン番号のラインとで交互に繰り返していく。これにより、図５８Ｂに示されるように、露出オーバに設定される奇数ライン番号のラインＬ＃１、Ｌ＃３、…、Ｌ＃（２ｎ−１）と、露出アンダーに設定される偶数ライン番号のラインＬ＃２、Ｌ＃４、…、Ｌ＃２ｎと、のそれぞれにおいて、露出時間が適切に設定されるようになる。
ここで、読出決定部１２３ｂは、露出時間を、ラインから読み出した画素状情報に基づき得られた特徴量を用いて設定している。そのため、読出決定部１２３ｂは、認識処理実行部１２４が認識処理を実行するために適した露出時間を設定することが可能である。
図５７Ｂと図５８Ｂとを比較すると、図５８Ｂの例では、露出オーバーとされる奇数ライン番号のラインＬ＃１、Ｌ＃３、…では輝度が抑えられ、露出アンダーとされる偶数ライン番号のラインＬ＃２、Ｌ＃４、…では輝度が高くされている。そのため、図５８Ｂの例は、奇数ライン番号のラインおよび偶数ライン番号のラインのそれぞれにおいて、図５７Ｂの例に対してより高精度に認識処理が実行されることが期待される。
なお、フレームの下端部において奇数ライン番号のラインおよび偶数ライン番号のラインにそれぞれ設定された露出時間を用いて、次のフレームにおける奇数ライン番号のラインおよび偶数ライン番号のラインそれぞれの露出時間を設定することができる。
上述した図５８Ａおよび図５８Ｂの例では、フレームの全ラインを読み出すようにしているが、これはこの例に限定されない。例えば、フレームの途中までライン読み出しを行い、その結果に応じて読み出し位置を戻すようにできる。
図５９Ａおよび図５９Ｂを用いて説明する。図５９Ａおよび図５９Ｂは、上述の図５８Ａおよび図５８Ｂの例と同様に、図５７Ａの露出パターンに従い撮像を行い、各ラインＬ＃１、Ｌ＃２、…、Ｌ＃（２ｎ−１）から読み出した画素データに応じた、統合された特徴量に基づき、各ラインＬ＃２、Ｌ＃３、…、Ｌ＃２ｎの露出時間を設定した場合の例を示している。
図５９Ａの例において、例えばラインＬ＃２から読み出した画素データに基づく認識処理実行部１２４による認識処理により、所定のオブジェクト（人とする）が認識されたものとする。例えば、認識処理実行部１２４は、人が認識されたことを示す認識情報を読出決定部１２３ｂに渡す。読出決定部１２３ｂは、この認識情報に応じて、次のフレームにおける当該ラインＬ＃２に対応するラインＬ＃２’の露出時間を設定する。図５９Ａの例では、読出決定部１２３ｂは、ラインＬ＃２’の露出時間を、ラインＬ＃２の露出時間に対して長く設定している。
読出決定部１２３ｂは、ラインＬ＃２’の露出時間を設定すると、ラインＬ＃２’を示す読出領域情報と、ラインＬ＃２’に対して設定された露出時間と、を読出部１１０に渡す。読出部１１０は、この読出領域情報および露出時間に従い、例えばラインＬ＃３の転送処理の終了後、ラインＬ＃２’の露出を開始する。
読出決定部１２３ｂは、ラインＬ＃３以降について、図５８Ａと同様にして奇数ライン番号のラインＬ＃３、Ｌ＃５、…、および、偶数ライン番号のラインＬ＃４、Ｌ＃６それぞれの露出時間を設定する。ここで、図５９Ａの例では、ラインＬ＃７の転送処理の終了の直後に、ラインＬ＃２’の露出が終了し、ラインＬ＃２’から読み出された画素データの転送が開始されている。
図５９Ｂに示されるように、ラインＬ＃２’は、図５８Ｂに示したラインＬ＃２と比較して高輝度とされ、より高精度の認識が可能となることが期待される。
なお、読出決定部１２３ｂは、ラインＬ＃２’と同一のフレームに含まれる、ラインＬ＃２’以降の各ラインＬ＃３’、Ｌ＃４’、…に対して、図５８Ａおよび図５８Ｂを用いて説明した処理と同様にして、それぞれ露出時間が設定され、読出が行われる。
ラインＬ＃２’は、前フレームのラインＬ＃２から読み出した画素データに基づく認識情報に応じて露出時間が設定されている。そのため、認識処理実行部１２４は、ラインＬ＃２’に基づく認識処理を、ラインＬ＃２に基づく認識処理と比較してより高精度に実行することが可能となる。
なお、第２の実施形態の第１０の変形例の第３の処理では、ラインの読み出し結果に基づきラインの露出時間を設定しているが、これはこの例に限定されず、ラインのアナログゲインを設定するようにしてもよい。
ここで、露出時間を長くすると、高い輝度値での撮像が可能となると共に、ノイズを低減させることが可能となる。一方で、露出時間を長くすると、例えば動的なシーンにおいてブラーが増加するおそれがある。これに対して、アナログゲインを調整してもブラーに変化が生じることが無い一方で、アナログゲインを上げると、ノイズが増加するおそれがある。
したがって、認識処理の目的や、撮像対象に応じて露出時間とアナログゲインとの何れを設定するかを選択することが好ましい。例えば、撮像対象が動的なシーンである場合にはアナログゲインを上げてブラーを抑え、撮像対象が静的なシーンである場合には露出時間を長くして明るく撮像し、ノイズを抑える、などの応用が考えられる。
図６０は、第２の実施形態の第１０の変形例に係る認識処理部１２における処理の例についてより詳細に示す模式図である。図６０に示される構成では、上述した図２２に示した構成に対して、読出決定部１２３ｂが追加されている。読出決定部１２３ｂは、内部状態更新処理１２１１により更新された、内部状態に係る特徴量１２１２が入力される。
読出決定部１２３ｂにおける処理は、次ライン決定処理１２３３と、次露出決定処理１２３４と、次ＡＧ決定処理１２３５と、を含む。これら次ライン決定処理１２３３、次露出決定処理１２３４および次ＡＧ決定処理１２３５は、それぞれ、図５３のセクション（ｂ）を用いて説明した読出領域決定部１２３０、露出時間決定部１２３１およびＡＧ量決定部１２３２それぞれにおいて実行される処理である。
次ライン決定処理１２３３、次露出決定処理１２３４および次ＡＧ決定処理１２３５は、それぞれ、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される読出パターンや認識対象に基づく教師データを用いて行われる。上述の例では、想定される読出パターンは、例えば露出オーバーのラインと露出アンダーのラインとを交互に読み出すパターンを用いることができる。
なお、上述した図５７Ａおよび図５７Ｂ、図５８Ａおよび図５８Ｂ、ならびに、図５９Ａおよび図５９Ｂでは、読出単位がラインであるものとして説明を行ったが、これはこの例に限定されない。すなわち、第２の実施形態の第１０の変形例に対して、順次隣接する複数ラインなど他の読出単位を適用させてもよい。
なお、上述した第２の実施形態およびその各変形例に係る撮像装置１は、読出単位の読み出し毎に、認識処理部１２による認識処理を行っているが、これはこの例に限定されない。例えば、読出単位毎の認識処理と、通常の認識処理、すなわちフレーム全体に対する読み出しを行い、フレーム全体から読み出された画素の画素データに基づく認識処理と、を切り替え可能としてもよい。すなわち、通常の認識処理は、フレーム全体の画素に基づき実行されるため、読出単位毎の認識処理と比較してより高精度な認識結果を得ることが可能である。
例えば、読出単位毎の認識処理に対して、一定時間毎に通常の認識処理を行うことができる。また、読出単位毎の認識処理に対して、緊急時に通常の認識処理を行い認識の安定度を向上させるようしてもよい。また、読出単位毎の認識処理から通常の認識処理に切り替える場合、通常の認識処理は読出単位毎の認識処理に対して速報性が低下するため、通常の認識処理において、装置を動作させるためのクロックをより高速のクロックに切り替えてもよい。さらに、読出単位毎の認識処理による信頼度が低い場合に、通常の認識処理に切り替えるようにし、認識処理の信頼度が高くなった場合に、読出単位毎の認識処理に戻すようにしてもよい。
［６．第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、フレーム読み出しの際のパラメータを適応的に設定する例である。フレーム読み出しの際のパラメータとしては、読出単位、読出単位によるフレーム内での読み出し順、読出領域、露出時間、アナログゲイン、などが考えられる。なお、第３の実施形態に係る撮像装置１は、全体としての機能は、図２１を用いて説明した機能を適用できるので、全体の構成の説明については省略する。
図６１は、第３の実施形態に係る機能を説明するための一例の機能ブロック図である。第３の実施形態では、認識処理部１２による認識処理が主となるので、図６１のセクション（ａ）に示される構成は、上述した図２１の構成に対して、視認処理部１４、出力制御部１５およびトリガ生成部１６と、センサ制御部１１における読出制御部１１１と、が省略されている。
一方、図６１のセクション（ａ）に示される構成は、図２１の構成に対して外部情報取得部１７が追加されていると共に、読出決定部１２３ｃに対して読出部１１０から画素データが渡される。また、読出決定部１２３ｃは、認識処理実行部１２４から認識情報を渡される。
さらに、外部情報取得部１７は、当該撮像装置１の外部において発生する外部情報を取得し、取得した外部情報を読出決定部１２３ｃに渡す。
具体的には、外部情報取得部１７は、所定の形式の信号の送受信を行うインタフェースを用いることができる。外部情報は、例えば当該撮像装置１が車載用である場合は、車両情報を適用できる。車両情報は、例えば車両のシステムから取得される情報であって、例えばステアリング情報や速度情報である。環境情報は、当該撮像装置１の周囲の環境を示す情報であって、例えば周囲の明るさである。以下では、特に記載の無い限り、当該撮像装置１が車載用として用いられ、外部情報は、当該撮像装置１が搭載される車両から取得される車両情報であるものとして説明を行う。
図６１のセクション（ｂ）は、第３の実施形態に係る読出決定部１２３ｃの機能をより詳細に説明するための一例の機能ブロック図である。図６１のセクション（ｂ）において、読出決定部１２３ｃは、読出単位パターン選択部３００と、読出順パターン選択部３０２と、読出決定処理部３０４と、を含む。読出単位パターン選択部３００は、異なる複数の読出パターンが予め格納された読出単位パターンＤＢ（データベース）３０１を含む。また、読出順パターン選択部３０２は、複数の異なる読出順パターンが予め格納された読出順パターンＤＢ３０３を含む。
読出決定部１２３ｃは、渡された認識情報、画素データ、車両情報および環境情報のうち１以上の情報に基づき、読出単位パターンＤＢ３０１に格納される各読出単位パターンと、読出順パターンＤＢ３０３に格納される各読出順パターンと、に対してそれぞれ優先度を設定する。
読出単位パターン選択部３００は、読出単位パターンＤＢ３０１に格納される各読出単位パターンのうち、最も優先度が高く設定された読出単位パターンを選択する。読出単位パターン選択部３００は、読出単位パターンＤＢ３０１から選択した読出単位パターンを、読出決定処理部３０４に渡す。同様に、読出順パターン選択部３０２は、読出順パターンＤＢ３０３に格納される各読出順パターンのうち、最も優先度が高く設定された読出順パターンを選択する。読出順パターン選択部３０２は、読出順パターンＤＢ３０３から選択した読出順パターンを、。読出決定処理部３０４に渡す。
読出決定処理部３０４は、特徴量蓄積制御部１２１から渡された読出情報と、読出単位パターン選択部３００から渡された読出単位パターンと、読出順パターン選択部３０２から渡された読出順パターンと、に従い、フレームから次に読み出しを行う読み出し領域を決定し、決定された読出領域を示す読出領域情報を読出部１１０に渡す。また、読出決定処理部３０４は、読出決定部１２３ｃに渡された画素データ、認識情報、車両情報および環境情報のうち１以上の情報に基づき、フレームから次の読み出しを行う際の露出時間およびアナログゲインそれぞれを示す情報を生成し、生成したこれら各情報を、読出部１１０に渡す。
（６−０−１．読出単位パターン、読出順パターンの設定方法）
図６１のセクション（ａ）および（ｂ）に示した構成による、第３の実施形態に係る読出単位パターンおよび読出順パターンの設定方法の例について説明する。
（６−０−１−１．読出単位パターン、読出順パターンの例）
ここで、第３の実施形態に適用可能な読出単位パターンおよび読出順パターンの例について説明する。図６２は、第３の実施形態に適用可能な読出単位パターンの例を示す模式図である。図６２の例では、読出単位パターン４１０、４１１、４１２、４１３および４１４の５つの読出単位パターンが示されている。
読出単位パターン４１０は、上述した図２４に対応し、ラインを読出単位とし、フレーム４００においてライン毎に読み出しを行う読出単位パターンである。読出単位パターン４１１は、上述した図３３に対応し、フレーム４００において所定サイズのエリアを読出単位とし、フレーム４００においてエリア毎に読み出しを行う読出パターンである。
読出単位パターン４１２は、上述した図３７に対応し、隣接しない画素を含み、且つ周期的に配置された複数の画素による画素セットを読み出し単位とし、フレーム４００においてこの複数の画素毎に読み出しを行う読出単位パターンである。読出単位パターン４１３は、上述した図４２に対応し、離散的および非周期的に配置された複数の画素（ランダムパターン）を読み出し単位とし、フレーム４００においてランダムパターンを更新しながら読み出しを行う読出単位パターンである。これら読出単位パターン４１２および４１３は、フレーム４００からより均一に画素をサンプリング可能とされる。
また、読出単位パターン４１４は、上述した図４３に対応し、認識情報に基づきパターンを適応的に生成するようにした読出単位パターンである。
図６２を用いて説明した各読出単位パターン４１０〜４１４は、図６１のセクション（ｂ）に示した読出単位パターンＤＢ３０１に予め記憶される。
なお、第３の実施形態に係る読出単位パターンとして適用可能な読出単位は、図６２に示した例に限定されない。例えば、第２の実施形態およびその各変形例で説明した各読出単位を、第３の実施形態に係る読出単位パターンとして適用可能である。
図６３は、第３の実施形態に適用可能な読出順パターンの例を示す模式図である。図６３のセクション（ａ）は、読出単位がラインとされた場合の読出順パターンの例を示す。セクション（ｂ）は、読出単位がエリアとされた場合の読出順パターンの例を示す。セクション（ｃ）は、読出単位が上述した画素セットとされた場合の読出順パターンの例を示す。
また、図６３のセクション（ａ）、（ｂ）および（ｃ）それぞれにおいて、左側の読出順パターン４２０ａ、４３０ａおよび４４０ａは、それぞれ、ライン順あるいは画素順に逐次に読み出しを行う読出順パターンの例を示している。
ここで、セクション（ａ）の読出順パターン４２０ａは、フレーム４００の上端側から下端側に向けてライン順次に読み出しを行う例である。セクション（ｂ）および（ｃ）の読出順パターン４３０ａおよび４４０ａは、それぞれ、フレーム４００の左上隅からライン方向に沿ってエリアまたは画素セット毎に順次に読み出しを行い、このライン方向の読み出しを、フレーム４００の垂直方向に繰り返して行う例である。これら読出順パターン４２０ａ、４３０ａおよび４４０ａを、順方向の読出順パターンと呼ぶ。
一方、セクション（ａ）の読出順パターン４２０ｂは、フレーム４００の下端側から上端側に向けてライン順次に読み出しを行う例である。セクション（ｂ）および（ｃ）の読出順パターン４３０ｂおよび４４０ｂは、それぞれ、フレーム４００の右下隅からライン方向に沿ってエリアまたは画素セット毎に順次に読み出しを行い、このライン方向の読み出しを、フレーム４００の垂直方向に繰り返して行う例である。これら読出順パターン４２０ｂ、４３０ｂおよび４４０ｂを、逆方向の読出順パターンと呼ぶ。
さらに、セクション（ａ）の読出順パターン４２０ｃは、ラインを間引きしながらフレーム４００の上端側から下端側に向けて読み出しを行う例である。セクション（ｂ）および（ｃ）の読出順パターン４３０ｃおよび４４０ｃは、それぞれ、フレーム４００内においてエリアを離散的な位置および読出順で読み出しを行う例である。読出順パターン４３０ｃでは、例えば４つの画素により読出単位が構成されている場合、図中に矢印で示される順序で各画素の読み出しを行う。読出順パターン４４０ｃでは、例えば図中の領域４４２に示すように、パターンの基準となる画素を、画素位置のライン方向および列方向の順序とは異なる順序で、離散的な位置に移動させながら各画素の読み出しを行う。
図６３を用いて説明した各読出順パターン４２０ａ〜４２０ｃ、読出順パターン４３０ａ〜４３０ｃ、および、読出順パターン４２０ａ〜４２０ｃは、図６１のセクション（ｂ）に示した読出順パターンＤＢ３０３に予め記憶される。
（６−０−１−２．読出単位パターンの設定方法の具体例）
上述した図６２および図６３を参照し、第３の実施形態に係る読出単位パターンの設定方法の例についてより具体的に説明する。
先ず、画像情報（画素データ）に基づく読出単位パターンの設定方法について説明する。読出決定部１２３ｃは、読出部１１０から渡された画素データに含まれるノイズを検出する。ここで、複数の画素が固めて配置された方が、単独の画素が散逸して配置された場合に比べてノイズに対する耐性が高い。そのため、読出決定部１２３ｃは、読出部１１０から渡された画素データに所定以上のノイズが含まれる場合に、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１０または４１１の優先度を、他の読出単位パターンの優先度よりも高く設定する。
次に、認識情報に基づく読出単位パターンの設定方法について説明する。第１の設定方法は、認識処理実行部１２４から渡された認識情報に基づき、フレーム４００に所定以上に大きなオブジェクトが多く認識された場合の例である。この場合、読出決定部１２３ｃは、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１２または４１３の優先度を、他の読出単位パターンの優先度よりも高く設定する。これは、フレーム４００の全体を均一的にサンプリングすることで、速報性をより高めることが可能となるためである。
第２の設定方法は、例えば画素データに基づき撮像された画像にフリッカが検知された場合の例である。この場合、読出決定部１２３ｃは、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１３の優先度を、他の読出単位パターンの優先度よりも高く設定する。これは、フリッカに対しては、ランダムパターンによりフレーム４００の全体をサンプリングすることで、フリッカによるアーティフィクトを抑制できるためである。
第３の設定方法は、認識情報に基づき読出単位の構成を適応的に変更する場合において、より効率的に認識処理を実行可能であると考えられる構成が生成された場合の例である。この場合、読出決定部１２３ｃは、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１４の優先度を、他の読出単位パターンの優先度よりも高く設定する。
次に、外部情報取得部１７により取得された外部情報に基づく読出単位パターンの設定方法について説明する。第１の設定方法は、外部情報に基づき、当該撮像装置１が搭載されている車両が左右何れかの方向に旋回した場合の例である。この場合、読出決定部１２３ｃは、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１０または４１１の優先度を、他の読出単位パターンの優先度よりも高くする。
ここで、この第１の設定方法において、読出決定部１２３ｃは、読出単位パターン４１０に対しては、画素アレイ部１０１における行列方向のうち列方向を読出単位とし、フレーム４００のライン方向に列順次に読み出しを行う設定とする。また、読出単位パターン４１１に対しては、エリアを列方向に沿って読み出し、それをライン方向に向けて繰り返す設定とする。
読出決定部１２３ｃは、車両が左方向に旋回する場合には、列順次の読み出し、あるいは、エリアの列方向に沿っての読み出しを、フレーム４００の左端側から開始するように、読出決定処理部３０４に対して設定する。一方、車両が右方向に旋回する場合には、列順次の読み出し、あるいは、エリアの列方向に沿っての読み出しを、フレーム４００の右端側から開始するように、読出決定処理部３０４に対して設定する。
なお、読出決定部１２３ｃは、車両が直進している場合には、通常のライン順次、あるいは、エリアのライン方向に沿っての読み出しとし、車両が左旋回または右旋回した場合に、例えば特徴量蓄積部１２２に蓄積された特徴量を初期化して、上述の列順次の読み出し、あるいは、エリアを列方向に沿っての読み出しにより、読み出し処理を再開することができる。
外部情報に基づく読出単位パターンの第２の設定方法は、外部情報に基づき、当該撮像装置１が搭載されている車両が高速道路走行を行っている場合の例である。この場合、読出決定部１２３ｃは、読出単位パターンＤＢ３０１に格納される各読出単位パターン４１０〜４１４のうち、読出単位パターン４１０または４１１の優先度を、他の読出単位パターンの優先度よりも高く設定する。高速道路走行の場合、遠方の小物体によるオブジェクトの認識が重要であると考えられる。そこで、フレーム４００の上端側から順次に読み出しを行うことで、遠方の小物体によるオブジェクトに対する速報性をより向上させることが可能となる。
（６−０−１−３．読出順パターンの設定方法の具体例）
上述した図６２および図６３を参照し、第３の実施形態に係る読出順パターンの設定方法の例についてより具体的に説明する。
先ず、画像情報（画素データ）に基づく読出順パターンの設定方法について説明する。読出決定部１２３ｃは、読出部１１０から渡された画素データに含まれるノイズを検出する。ここで、認識処理の対象となる領域の変化が少ない程、認識処理がノイズの影響を受け難く、認識処理が容易となる。そのため、読出決定部１２３ｃは、読出部１１０から渡された画素データに所定以上のノイズが含まれる場合に、読出順パターンＤＢ３０３に格納される各読出順パターン４２０ａ〜４２０ｃ、４３０ａ〜４３０ｃ、および、４４０ａ〜４４０ｃのうち、読出順パターン４２０ａ、４３０ａおよび４４０ａの何れかの優先度を、他の読出順パターンの優先度よりも高く設定する。これに限らず、読出順パターン４２０ｂ、４３０ｂおよび４４０ｂの何れかの優先度を、他の読出順パターンの優先度よりも高く設定してもよい。
なお、読出順パターン４２０ａ、４３０ａおよび４４０ａ、ならびに、読出順パターン４２０ｂ、４３０ｂおよび４４０ｂ、のうち何れの優先度を高く設定するかは、例えば、読出単位パターン選択部３００において読出単位パターン４１０〜４１４のうち何れの優先度を高く設定しているか、および、フレーム４００の上端側および下端側の何れから読み出しを介しているか、に基づき決めることができる。
次に、認識情報に基づく読出順パターンの設定方法について説明する。読出決定部１２３ｃは、認識処理実行部１２４から渡された認識情報に基づき、フレーム４００に所定以上に大きなオブジェクトが多く認識された場合に、読出順パターンＤＢ３０３に格納される各読出順パターン４２０ａ〜４２０ｃ、４３０ａ〜４３０ｃ、および、４４０ａ〜４４０ｃのうち、読出順パターン４２０ｃ、４３０ｃおよび４４０ｃの何れかの優先度を、他の読出順パターンの優先度よりも高く設定する。これは、フレーム４００の全体を順次に読み出すよりも、均一的にサンプリングした方が、速報性をより高めることが可能となるためである。
次に、外部情報に基づく読出順パターンの設定方法について説明する。第１の設定方法は、外部情報に基づき、当該撮像装置１が搭載されている車両が左右何れかの方向に旋回した場合の例である。この場合、読出決定部１２３ｃは、読出順パターンＤＢ３０３に格納される各読出順パターン４２０ａ〜４２０ｃ、４３０ａ〜４３０ｃ、および、４４０ａ〜４４０ｃのうち、読出順パターン４２０ａ、４３０ａおよび４４０ａのうち何れかの優先度を、他の読出単位パターンの優先度よりも高くする。
ここで、この第１の設定方法において、読出決定部１２３ｃは、読出順パターン４２０ａに対しては、画素アレイ部１０１における行列方向のうち列方向を読出単位とし、フレーム４００のライン方向に列順次に読み出しを行う設定とする。また、読出順パターン４３０ａに対しては、エリアを列方向に沿って読み出し、それをライン方向に向けて繰り返す設定とする。さらに、読出順パターン４４０ａに対しては、画素セットを列方向に沿って読み出し、それをライン方向に向けて繰り返す設定とする。
読出決定部１２３ｃは、車両が左方向に旋回する場合には、列順次の読み出し、あるいは、エリアの列方向に沿っての読み出しを、フレーム４００の左端側から開始するように、読出決定処理部３０４に対して設定する。一方、車両が右方向に旋回する場合には、列順次の読み出し、あるいは、エリアの列方向に沿っての読み出しを、フレーム４００の右端側から開始するように、読出決定処理部３０４に対して設定する。
なお、読出決定部１２３ｃは、車両が直進している場合には、通常のライン順次、あるいは、エリアのライン方向に沿っての読み出しとし、車両が左旋回または右旋回した場合に、例えば特徴量蓄積部１２２に蓄積された特徴量を初期化して、上述の列順次の読み出し、あるいは、エリアを列方向に沿っての読み出しにより、読み出し処理を再開することができる。
外部情報に基づく読出順パターンの第２の設定方法は、外部情報に基づき、当該撮像装置１が搭載されている車両が高速道路走行を行っている場合の例である。この場合、読出決定部１２３ｃは、読出順パターンＤＢ３０３に格納される各読出順パターン４２０ａ〜４２０ｃ、４３０ａ〜４３０ｃ、および、４４０ａ〜４４０ｃのうち、読出順パターン４２０ａ、４３０ａおよび４４０ａのうち何れの優先度を、他の読出順パターンの優先度よりも高くする。高速道路走行の場合、遠方の小物体によるオブジェクトの認識が重要であると考えられる。そこで、フレーム４００の上端側から順次に読み出しを行うことで、遠方の小物体によるオブジェクトに対する速報性を向上させることができる。
ここで、上述したように、読出単位パターンや読出順パターンの優先度を、複数の異なる情報（画像情報、認識情報、外部情報）に基づき設定する場合、異なる読出単位パターン同士、あるいは、異なる読出順パターン同士で衝突してしまう可能性がある。この衝突を回避するためには、例えば、それぞれの情報に基づき設定される各優先度を予め異ならせておくことが考えられる。
［６−１．第３の実施形態の第１の変形例］
次に、第３の実施形態の第１の変形例について説明する。第３の実施形態の第１の変形例は、フレーム読み出しを行う場合の読出領域を適応的に設定する例である。
図６４は、第３の実施形態の第１の変形例に係る機能を説明するための一例の機能ブロック図である。第３の実施形態の第１の変形例では、認識処理部１２による認識処理が主となるので、図６４のセクション（ａ）に示される構成は、上述した図２１の構成に対して、視認処理部１４、出力制御部１５およびトリガ生成部１６と、センサ制御部１１における読出制御部１１１と、が省略されている。また、図６４のセクション（ａ）および（ｂ）に示す読出決定部１２３ｄは、図６１に示した第３の実施形態に係る読出決定部１２３ｃと機能が異なる。
図６４のセクション（ｂ）において、読出決定部１２３ｂは、上述した図５３のセクション（ｂ）に示される読出決定部１２３ｂと対応する構成を有し、読出領域決定部１２３０’と、露出時間決定部１２３１’と、ＡＧ量決定部１２３２’と、を含む。
特徴量蓄積制御部１２１から読出決定部１２３ｄに渡された読出情報および特徴量は、これら読出領域決定部１２３０’、露出時間決定部１２３１’およびＡＧ量決定部１２３２’にそれぞれ入力される。また、読出部１１０から渡された画素データと、認識処理実行部１２４から渡された認識情報と、外部情報取得部１７から渡された車両情報および環境情報と、が読出領域決定部１２３０’、露出時間決定部１２３１’およびＡＧ量決定部１２３２’にそれぞれ入力される。
読出領域決定部１２３０’は、入力された読出情報、特徴量、画素データ、認識情報、車両情報および環境情報と、のうち少なくとも１つの情報に基づき、次に読み出しを行う読出領域を示す読出領域情報（例えばライン番号）を生成し、出力する。露出時間決定部１２３１’は、入力された読出情報、特徴量、画素データ、認識情報、車両情報および環境情報と、のうち少なくとも１つの情報に基づき、次の撮像における露出時間を示す情報を生成し、出力する。また、ＡＧ量決定部１２３２’は、入力された読出情報、特徴量、画素データ、認識情報、車両情報および環境情報と、のうち少なくとも１つの情報に基づき、次の撮像におけるアナログゲインを示す情報を生成し、出力する。
（読出領域の適応的な設定方法）
次に、第３の実施形態の第１の変形例に係る、読出領域の適応的な設定方法について、より具体的に説明する。なお、ここでは、当該撮像装置１が車載用として用いられるものとして説明を行う。
（読出領域を認識情報に基づき設定する例）
先ず、読出領域を認識情報に基づき適応的に設定する第１の設定方法について説明する。第１の設定方法では、読出決定部１２３ｄは、認識処理実行部１２４の認識処理により検出された領域やクラスを用いてフレーム内の領域を適応的に設定し、次に読み出しを行う読出領域を限定する。この第１の設定方法について、図６５を用いてより具体的に説明する。
図６５は、第３の実施形態の第１の変形例の第１の設定方法を説明するための模式図である。図６５のセクション（ａ）において、フレーム５００ａに対して、読出単位をラインとして、ライン順次、且つ、ライン間引きによりライン読み出しを行っている。図６５のセクション（ａ）の例では、認識処理実行部１２４は、ライン読み出しにより読み出された画素データに基づく認識処理をフレーム５００ａ全体に対して実行している。その結果、認識処理実行部１２４は、フレーム５００ａ内の領域５０１に特定のオブジェクト（この例では人）を検出している。認識処理実行部１２４は、この認識結果を示す認識情報を読出決定部１２３ｄに渡す。
読出決定部１２３ｄにおいて、読出領域決定部１２３０’は、認識処理実行部１２４から渡された認識情報に基づき、次に読み出しを行う読出領域を決定する。例えば、読出領域決定部１２３０’は、認識された領域５０１および当該領域５０１の周辺部を含む領域を、次に読み出しを行う読出領域を決定する。読出領域決定部１２３０’は、領域５０２による読出領域を示す読出領域情報を読出部１１０に渡す。
読出部１１０は、読出領域決定部１２３０’から渡された読出領域情報に従い、例えばライン間引きを行わずにフレーム読み出しを行い、読み出された画素データを認識処理部１２に渡す。図６５のセクション（ｂ）は、当該読出領域に従い読み出された画像の例を示す。この例では、フレーム５００ａの例えば次のフレームであるフレーム５００ｂにおいて、読出領域情報に示される領域５０２の画素データが取得され、領域５０２の外部は無視されている。認識処理部１２において、認識処理実行部１２４は、領域５０２に対して認識処理を行う。これにより、領域５０１から検出された人が歩行者であると認識される。
このように、認識処理実行部１２４により検出された領域に基づき、次に読み出しを行う読出領域を限定することで、高精度の認識処理をより高速に実行可能となる。
これに限らず、この第１の決定方法において、フレーム５００ａにおいて認識されたオブジェクトが静止体および動物体の何れかに応じて、当該オブジェクトの次のフレーム５００ｂでの位置を予測し、予測された位置に基づき次に読み出しを行う読出領域を限定することもできる。またこのとき、認識されたオブジェクトが動物体である場合には、その速度をさらに予測することで、次に読み出しを行う読出領域をより高精度に限定することが可能となる。
また、この第１の決定方法において、認識されたオブジェクトの種類に応じて、次に読み出しを行う読出領域を限定することも可能である。例えば、読出決定部１２３ｄは、フレーム５００ａにおいて認識されたオブジェクトが信号機であれば、次のフレーム５００ｂで読み出しを行う読み出し領域を、当該信号機のランプ部分に限定することができる。また、読出決定部１２３ｄは、フレーム５００ａにおいて認識されたオブジェクトが信号機であれば、フレーム読み出しの方法をフリッカの影響を低減させる読み出し方法に変更して、次のフレーム５００ｂでの読み出しを行うこともできる。フリッカの影響を低減させる読み出し方法の例としては、上述した第２の実施形態の第５の変形例に係るパターンＲｄ＃ｍ＿ｘを適用できる。
次に、読出領域を認識情報に基づき適応的に設定する第２の設定方法について説明する。第２の設定方法では、読出決定部１２３ｄは、認識処理実行部１２４における認識処理の途中の認識情報を用いて、次に読み出しを行う読出領域を限定する。この第２の設定方法について、図６６を用いてより具体的に説明する。
図６６は、第３の実施形態の第１の変形例の第２の設定方法を説明するための模式図である。この例では、認識対象のオブジェクトが車両のナンバープレートであるものとする。図６６のセクション（ａ）は、フレーム５００ｃに対するフレーム読み出しに応じた認識処理の途中の領域５０３において、バス車両を示すオブジェクトが認識された例を示す図である。この図６６のセクション（ａ）は、例えば、上述の図６５のセクション（ｂ）に示した、読出領域を領域５０２に限定して読み出しおよび認識処理を行う例に対応させることができる。
ここで、読出領域決定部１２３０’は、認識処理の途中の領域５０３において、オブジェクトがバス車両であることが認識された場合、領域５０３から認識された内容に基づき、当該バス車両のナンバープレートの位置を予測することができる。読出領域決定部１２３０’は、予測されたナンバープレートの位置に基づき、次に読み出しを行う読出領域を決定し、決定した読出領域を示す読出領域情報を読出部１１０に渡す。
読出部１１０は、読出領域決定部１２３０’から渡された読出領域情報に従い、フレーム５００ｃの例えば次のフレーム５００ｄの読み出しを行い、読み出された画素データを認識処理部１２に渡す。図６６のセクション（ｂ）は、当該読出領域に従い読み出された画像の例を示す。この例では、フレーム５００ｄにおいて、読出領域情報に示される、予測されたナンバープレートの位置を含む領域５０４の画素データが取得されている。認識処理部１２において、認識処理実行部１２４は、領域５０４に対して認識処理を行う。これにより、領域５０４に含まれるオブジェクトとしてのナンバープレートに対する認識処理が行われ、例えば領域５０３に対する認識処理で検出されたバス車両の車両ナンバーを取得することができる。
この第２の設定方法では、認識処理実行部１２４によるフレーム５００ｃの読み出しに応じた対象となるオブジェクトの全体に対する認識処理の途中で、次のフレーム５００ｄの読出領域を決定しているため、高精度の認識処理をより高速に実行可能となる。
なお、図６６のセクション（ａ）に示すフレーム５００ｃに対する認識処理において、読出決定部１２３ｄは、認識処理実行部１２４から認識途中において渡された認識情報に示される信頼度が所定以上である場合に、領域５０４を次に読み出しを行う読出領域に決定し、図６６のセクション（ｂ）に示す読み出しを行うようにできる。この場合、当該認識情報に示される信頼度が所定未満である場合には、フレーム５００ｃにおいてオブジェクトの全体に対する認識処理を実行する。
次に、読出領域を認識情報に基づき適応的に設定する第３の設定方法について説明する。第３の設定方法では、読出決定部１２３ｄは、認識処理実行部１２４における認識処理の信頼度を用いて、次に読み出しを行う読出領域を限定する。この第３の設定方法について、図６７を用いてより具体的に説明する。
図６７のセクション（ａ）において、フレーム５００ｅに対して、読出単位をラインとして、ライン順次、且つ、ライン間引きによりライン読み出しを行っている。図６７のセクション（ａ）の例では、認識処理実行部１２４は、ライン読み出しにより読み出された画素データに基づく認識処理をフレーム５００ａ全体に対して実行し、フレーム５００ｅ内の領域５０５ａに特定のオブジェクト（この例では人）を検出している。認識処理実行部１２４は、この認識結果を示す認識情報を読出決定部１２３ｄに渡す。
読出決定部１２３ｄにおいて、読出領域決定部１２３０’は、認識処理実行部１２４から渡された認識情報に示される信頼度が所定以上であれば、例えばフレーム５００ｅの次のフレームに対する読み出しを行わないことを示す読出領域情報を生成する。読出領域決定部１２３０’は、生成された読出領域情報を読出部１１０に渡す。
一方、読出領域決定部１２３０’は、認識処理実行部１２４から渡された認識情報に示される信頼度が所定未満であれば、フレーム５００ｅの次のフレームに対する読み出しを行うように、読出領域情報を生成する。例えば、読出領域決定部１２３０’は、フレーム５００ｅで特定のオブジェクト（人）が検出された領域５０５ａに対応する領域を読出領域として指定する読出領域情報を生成する。読出領域決定部１２３０’は、生成した読出領域情報を読出部１１０に渡す。
読出部１１０は、読出領域決定部１２３０’から渡された読出領域情報に従い、フレーム５００ｅの次のフレームの読み出しを行う。ここで、読出領域決定部１２３０’は、フレーム５００ｅの次のフレームの、領域５０５ａに対応する領域を、間引きを行わずに読み出す指示を、読出領域情報に付加することができる。読出部１１０は、この読出領域情報に従いフレーム５００ｅの次のフレームの読み出しを行い、読み出された画素データを認識処理部１２に渡す。
図６７のセクション（ｂ）は、当該読出領域情報に従い読み出された画像の例を示す。この例では、フレーム５００ｅの例えば次のフレームであるフレーム５００ｆにおいて、読出領域情報に示される、領域５０５ａに対応する領域５０５ｂの画素データが取得されている。フレーム５００ｆにおける領域５０５ｂ以外の部分は、例えば読み出しを行わずフレーム５００ｅの画素データをそのまま用いることができる。認識処理部１２において、認識処理実行部１２４は、領域５０５ｂに対して認識処理を行う。これにより、領域５０１から検出された人が歩行者であることを、より高い信頼度により認識することができる。
（読出領域を外部情報に基づき適応的に設定する例）
次に、読出領域を外部情報に基づき適応的に設定する、第１の設定方法について説明する。第１の設定方法では、読出決定部１２３ｄは、外部情報取得部１７から渡された車両情報に基づきフレーム内の領域を適応的に設定し、次に読み出しを行う読出領域を限定する。これにより、車両の走行に適した認識処理を実行することができる。
例えば、読出決定部１２３ｄにおいて読出領域決定部１２３０’は、車両情報に基づき車両の傾きを取得し、取得した傾きに応じて読出領域を決定する。一例として、読出領域決定部１２３０’は、車両情報に基づき、車両が段差などに乗り上げて、フロント側が持ち上がった状態であることを取得した場合、読出領域をフレームの上端側に向けて補正する。また、読出領域決定部１２３０’は、車両情報に基づき車両が旋回している状態を取得した場合、旋回方向における未観測領域（例えば左旋回であれば左端側の領域）を読出領域に決定する。
次に、読出領域を外部情報に基づき適応的に設定する、第２の設定方法について説明する。第２の設定方法では、外部情報として現在位置を逐次に反映可能な地図情報を用いる。この場合、読出領域決定部１２３０’は、現在位置が車両による走行に注意が必要なエリア（例えば学校や保育園の周辺）である場合に、例えばフレームの読み出し頻度を上げることを指示する読出領域情報を生成する。これにより、子供の飛び出しなどによる事故を防ぐことが可能である。
次に、読出領域を外部情報に基づき適応的に設定する、第３の設定方法について説明する。第３の設定方法では、外部情報として他のセンサによる検出情報を用いる。他のセンサの例としては、ＬｉＤＡＲ(Laser Imaging Detection and Ranging)方式のセンサが考えられる。読出領域決定部１２３０’は、この他のセンサによる検出情報の信頼度が所定以上の領域の読み出しをスキップする読出領域情報を生成する。これにより、フレーム読み出しおよび認識処理の省電力化および高速化が可能となる。
［６−２．第３の実施形態の第２の変形例］
次に、第３の実施形態の第２の変形例について説明する。第３の実施形態の第２の変形例は、フレーム読み出しを行う場合の露出時間およびアナログゲインのうち少なくとも一方を適応的に設定する例である。
（露出時間およびアナログゲインを画像情報に基づき適応的に設定する例）
先ず、露出時間およびアナログゲインを、画像情報（画素データ）に基づき適応的に設定する方法について説明する。読出決定部１２３ｄは、読出部１１０から渡された画素データに含まれるノイズを検出する。読出部１１０から渡された画素データに所定以上のノイズが含まれる場合に、露出時間決定部１２３１’は露出時間をより長く設定し、ＡＧ量決定部１２３２’はアナログゲインをより高く設定する。
（露出時間およびアナログゲインを認識情報に基づき適応的に設定する例）
次に、露出時間およびアナログゲインを、認識情報に基づき適応的に設定する方法について説明する。認識処理実行部１２４から渡された認識情報に示される信頼度が所定未満の場合、読出決定部１２３ｄにおいて露出時間決定部１２３１’およびＡＧ量決定部１２３２’は、それぞれ、露出時間およびアナログゲインを調整する。読出部１１０は、この調整された露出時間およびアナログゲインにより、例えば次のフレームの読み出しを行う。
（露出時間およびアナログゲインを外部情報に基づき適応的に設定する例）
次に、露出時間およびアナログゲインを、外部情報に基づき適応的に設定する方法について説明する。ここでは、外部情報として車両情報を用いる。
第１の例として、読出決定部１２３ｄにおいて露出時間決定部１２３１’およびＡＧ量決定部１２３２’は、外部情報取得部１７から渡された車両情報がヘッドライトの点灯を示している場合に、フレームの中央部と周辺部とで露出時間およびアナログゲインを異ならせる。すなわち、車両においてヘッドライトが点灯されている場合、フレームの中央部は輝度値が高く、周辺部は輝度値が低くなる。そこで、ヘッドライトが点灯されている場合には、フレーム中央部に対して、露出時間決定部１２３１’は露出時間をより短くし、ＡＧ量決定部１２３２’はアナログゲインをより高くする。一方、ヘッドライトが点灯されている場合には、フレーム周辺部に対して、露出時間決定部１２３１’は露出時間をより長くし、ＡＧ量決定部１２３２’はアナログゲインをより低くする。
第２の例として、読出決定部１２３ｄにおいて露出時間決定部１２３１’およびＡＧ量決定部１２３２’は、外部情報取得部１７から渡された車両情報に示される車両の速度に基づき、露出時間およびアナログゲインを適応的に設定する。例えば、フレーム中央部では、車両移動によるボケが少ない。そのため、フレーム中央部において、露出時間決定部１２３１’は露出時間をより長く設定し、ＡＧ量決定部１２３２’はアナログゲインをより低く設定する。一方、フレーム周辺部では、車両移動によるボケが大きくなる。そのため、フレーム周辺部において、露出時間決定部１２３１’は露出時間をより短く設定し、ＡＧ量決定部１２３２’はアナログゲインをより高く設定する。
ここで、車両情報に基づき車両の速度がより高速に変化した場合、フレーム中央部において、露出時間決定部１２３１’は露出時間をより短い時間に変更し、ＡＧ量決定部１２３２’はアナログゲインをより高いゲインに変更する。
このように、露出時間およびアナログゲインを適応的に設定することで、認識処理における撮像環境の変化の影響を抑制することができる。
［６−３．第３の実施形態の第３の変形例］
次に、第３の実施形態の第３の変形例について説明する。第３の実施形態の第３の変形例は、読出領域、露出時間、アナログゲインおよび駆動速度を、所定に指示された優先モードに応じて設定する例である。なお、駆動速度は、センサ部１０を駆動する速度であって、駆動速度をセンサ部１０に許容される範囲内で高速にすることで、例えばフレーム読み出しの速度を高速化できる。
図６８は、第３の実施形態の第３の変形例に係る撮像装置の機能を説明するための一例の機能ブロック図である。図６８のセクション（ａ）に示す構成は、図６４のセクション（ａ）に示す構成に対して、優先モード指示部２０２０が追加されている。また、読出決定部１２３ｅは、図６４に示した読出決定部１２３ｄとは異なる機能を含む。
図６８のセクション（ｂ）は、３の実施形態の第３の変形例に係る読出決定部１２３ｅの機能をより詳細に説明するための一例の機能ブロック図である。図６８のセクション（ｂ）において、読出決定部１２３ｅは、リソース調整部２０００を有し、リソース調整部２０００は、読出領域決定部２０１０と、露出時間決定部２０１１と、ＡＧ量決定部２０１２と、駆動速度決定部２０１３と、を含む。
特徴量蓄積制御部１２１から読出決定部１２３ｅに渡された読出情報および特徴量は、読出領域決定部２０１０、露出時間決定部２０１１、ＡＧ量決定部２０１２および駆動速度決定部２０１３にそれぞれ入力される。また、外部情報取得部１７から渡された車両情報および環境情報と、読出部１１０から渡された画素データと、が読出領域決定部２０１０、露出時間決定部２０１１、ＡＧ量決定部２０１２および駆動速度決定部２０１３にそれぞれ入力される。
読出領域決定部２０１０は、入力された各情報に基づき、次に読み出しを行う読出領域を示す読出領域情報（例えばライン番号）を生成し、出力する。露出時間決定部２０１１は、入力された各情報に基づき、次の撮像における露出時間を示す情報を生成し、出力する。ＡＧ量決定部２０１２は、入力された各情報に基づき、次の撮像におけるアナログゲインを示す情報を生成し、出力する。
また、駆動速度決定部２０１３は、入力された各情報に基づき、センサ部１０の駆動速度を調整するための駆動速度情報を生成し、出力する。駆動速度決定部２０１３による駆動速度の調整方法の一つとして、例えばセンサ部１０のクロック信号の周波数を変更する方法がある。この方法では、駆動速度に応じてセンサ部１０における消費電力が変わることになる。また、駆動速度の他の調整方法として、センサ部１０における消費電力を固定的として駆動速度を調整する方法がある。例えば、駆動速度決定部２０１３は、センサ部１０から読み出す画素データのビット数を変更することで、駆動速度を調整することができる。駆動速度決定部２０１３は、生成した駆動速度情報を読出部１１０に渡す。読出部１１０は、駆動速度情報を撮像制御情報に含めてセンサ部１０に渡す。
優先モード指示部２０２０は、ユーザ操作に応じた指示や上位システムからの指示に応じて、優先モードを設定するための優先モード設定情報を出力する。優先モード設定情報は、リソース調整部２０００に入力される。リソース調整部２０００は、入力された優先モード設定情報に従い、読出領域決定部２０１０による読出領域情報の生成と、露出時間決定部２０１１による露出時間の生成と、ＡＧ量決定部２０１２によるアナログゲインの生成と、駆動速度決定部２０１３による駆動速度情報の生成と、を調整する。
優先モード指示部２０２０では、様々な優先モードを指示することができる。優先モードの例としては、認識精度を優先させる精度優先モード、消費電力を優先させる省電力モード、認識結果の速報性を優先する速報性優先モード、広い領域に対する認識処理を優先する広領域優先モード、暗所の環境での撮像に対する認識処理を優先する暗所モード、小物体に対する認識処理を優先する小物体優先モード、高速で移動する物体に対する認識処理を優先する高速物体優先モード、など、様々に考えられる。優先モード指示部２０２０は、これら各優先モードから１つの優先モードを指示してもよいし、各優先モードから複数の優先モードを指示してもよい。
（優先モードの動作例）
優先モードの動作の例について説明する。第１の例として、リソース調整部２０００が、優先モード指示部２０２０に指示された優先モードに該当する設定を採用する例について説明する。例えば、第１の設定が、撮像環境が暗所環境であり、撮像された画素データに所定以上のノイズが含まれている場合を想定した設定であって、露出時間が１０［ｍｓｅｃ］、アナログゲインが１倍であるものとする。また、第２の設定が、第３の実施形態の第３の変形例に係る撮像装置１が搭載される車両が所定以上の高速で走行するなど、撮像装置１が高速に移動し、撮像画像にボケが多い場合を想定した設定であって、露出時間が１［ｍｓｅｃ］、アナログゲインが１０倍であるものとする。
この場合において、優先モード指示部２０２０によりリソース調整部２０００に対して暗所優先モードが指示されている場合には、リソース調整部２０００は、第１の設定を採用する。リソース調整部２０００は、採用した第１の設定に従い、露出時間決定部２０１１およびＡＧ量決定部２０１２に対して露出時間＝１０［ｍｓｅｃ］およびアナログゲイン＝１倍を設定するように指示する。露出時間決定部２０１１およびＡＧ量決定部２０１２は、それぞれ、指示された露出時間およびアナログゲインを、読出部１１０に渡す。読出部１１０は、露出時間決定部２０１１およびＡＧ量決定部２０１２から渡された露出時間およびアナログゲインを、センサ部１０に設定する。
第２の例として、リソース調整部２０００が、優先モード指示部２０２０に指示された優先モードに対して採用する設定を、重み付けを行って決定する例について説明する。一例として、上述の第１の設定および第２の設定を例に取ると、リソース調整部２０００は、優先モード指示部２０２０に指示された優先モードに応じて、第１の設定および第２の設定それぞれに重み付けを行う。リソース調整部２０００は、重み付けを行った第１の設定および第２の設定に従い、指示された優先モードによる設定を決定する。なお、例えば、設定を行う対象（露出時間、アナログゲインなど）と、当該対象に応じた重み付けの値は、優先モード指示部２０２０により指示可能な各優先モードについて、予め設定し記憶しておくことができる。
第３の例として、リソース調整部２０００が、優先モード指示部２０２０に指示された優先モードに対して採用する設定の頻度に重み付けを行い、当該優先モードに対する設定を決定する例について説明する。一例として、フレームの全体を略均一に読み出す均一読み出しを行う第３の設定と、フレームの周辺部分を重点的に読み出す周辺読み出しを行う第４の設定と、を考える。ここで、第３の設定を、通常時の読み出し設定とする。また、第４の設定を、信頼度が所定未満のオブジェクトが認識された場合の読み出し設定とする。
この場合において、例えば、優先モード指示部２０２０によりリソース調整部２０００に対して広領域優先モードが指示されている場合には、リソース調整部２０００は、第３の設定による読み出しおよび認識処理の頻度を、第４の設定による読み出しおよび認識処理の頻度に対して高くすることができる。具体的な例として、リソース調整部２０００は、例えばフレーム単位の時系列で、「第３の設定」、「第３の設定」、「第４の設定」、「第３の設定」、「第３の設定」、「第４の設定」、…のように指定し、第３の設定による動作の頻度を、第４の設定による動作の頻度に対して高くする。
別の例として、例えば、優先モード指示部２０２０によりリソース調整部２０００に対して精度優先モードが指示されている場合には、リソース調整部２０００は、第４の設定による読み出しおよび認識処理の頻度を、第３の設定による読み出しおよび認識処理の頻度に対して高くすることができる。具体的な例として、リソース調整部２０００は、例えばフレーム単位の時系列で、「第４の設定」、「第４の設定」、「第３の設定」、「第４の設定」、「第４の設定」、「第３の設定」、…のように実行し、第４の設定による動作の頻度を、第３の動作の頻度に対して高くする。
このようにして優先モードによる動作を決定することで、様々な状況において適切なフレーム読み出しおよび認識処理を実行することが可能となる。
（駆動速度の調整例）
駆動速度決定部２０１３は、読出決定部１２３ｄに渡される各情報に基づき、センサ部１０を駆動する駆動速度を調整することができる。例えば、駆動速度決定部２０１３は、例えば車両情報が緊急時を示している場合には、認識処理の精度や即応性を向上させるため、駆動速度を上げるようにできる。駆動速度決定部２０１３は、認識情報に基づき認識処理の信頼度が所定以下であり、フレームの読み直しが必要な場合は、駆動速度を上げるようにできる。また、駆動速度決定部２０１３は、車両情報に基づき車両が旋回しているとされ、且つ、認識情報に基づきフレームに未観測領域が出現したとされた場合は、当該未観測領域の読み出しが終了するまで、駆動速度を上げるようにできる。さらに、駆動速度決定部２０１３は、例えば現在位置を逐次に反映可能な地図情報に基づき、現在位置が車両による走行に注意が必要なエリアである場合に、駆動速度を上げるようにできる。
一方、優先モード指示部２０２０により省電力モードが指示されている場合には、上述した車両情報が緊急時を示している場合以外は、駆動速度を上げないようにできる。また、同様に省電力モードが指示されている場合には、読出領域決定部２０１０によりフレーム内において物体が認識されることが予測される領域を読出領域に決定し、駆動速度決定部２０１３は、駆動速度を下げるようにできる。
［７．第４の実施形態］
次に、本開示の第４の実施形態について説明する。上述した第１〜第３の実施形態、および、それらの各変形例では、本開示に係る認識処理の様々な形態について説明した。ここで、例えば機械学習を用いた画像認識処理用に処理した画像は、人による視認に適していない場合が多い。この第４の実施形態では、フレーム読み出しを行った画像に対する認識処理を行いつつ、人の視認に耐え得る画像を出力可能とする。
図６９は、第４の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。この図６９に示される撮像装置では、上述の図２１に示した撮像装置に対して、視認処理部１４における読出決定部１４２ａに対して、認識処理実行部１２４から認識情報が供給される点が異なっている。
図７０は、第４の実施形態に係る画像処理を概略的に説明するための模式図である。ここでは、フレーム読み出しを、図３３を用いて説明した、所定サイズのエリアＡｒ＃ｚを読出単位として、フレームの水平方向および垂直方向に順次に読み出すことで行うものとする。図７０のセクション（ａ）は、読出部１１０により各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データが順次に読み出される様子を模式的に示している。本開示に係る認識処理部１２は、この順時に読み出された各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データに基づき認識処理を実行することができる。
視認処理部１４では、例えば、この順次に読み出された各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データにより、図７０のセクション（ｂ）に示されるように、例えばフレームの画像を逐次に更新していく。これにより、視認に適した画像を生成することができる。
より具体的には、視認処理部１４は、読出部１１０により順に読み出された各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データを、画像データ蓄積制御部１４０における画像データ蓄積部１４１に蓄積する。画像データ蓄積制御部１４０は、このとき、同一のフレームから読み出された各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データについて、フレーム内での位置関係を維持した状態で、画像データ蓄積部１４１に蓄積する。すなわち、画像データ蓄積制御部１４０は、各画素データを、当該各画素データがフレーム内での各位置にマッピングされた画像データとして、画像データ蓄積部１４１に蓄積する。
画像データ蓄積制御部１４０は、例えば画像処理部１４３からの要求に応じて、画像データ蓄積部１４１に蓄積された、同一フレームの各エリアＡｒ＃１０、Ａｒ＃１１、…、Ａｒ＃１５それぞれの画素データを、当該フレームの画像データとして画像データ蓄積部１４１から読み出す。
ここで、本開示では、認識処理部１２において、フレーム読み出しの途中で例えば所望の認識結果が得られた場合に、その時点でフレームの読み出しを終了させることができる（第２の実施形態、図２６および図２７など参照）。また、認識処理部１２において、フレーム読み出しの途中で所定の認識結果が得られた場合に、その認識結果に基づき、フレーム読み出しを行う位置を、所望の認識結果が得られると予測される位置にジャンプさせることもできる（第２の実施形態の第１０の変形例、図５５、図５６など参照）。これらの場合、認識処理の終了と共にフレーム読み出しが終了し、フレーム画像において画像の欠落部分が生じる可能性がある。
そのため、第４の実施形態では、視認処理部１４は、認識処理部１２による認識処理が終了した時点でフレームにおいて読み出されていない未処理領域が存在する場合に、認識処理の終了後にこの未処理領域の読み出しを行い、フレーム画像の欠落部分を補填する。
図７１は、第４の実施形態に係る読み出し処理の例を示す図である。上述した図５５の例を参照しながら、第４の実施形態に係る読出処理について説明する。図７１のステップＳ２０は、図５５のステップＳ４ｃの処理に対応する。すなわち、図５５を参照し、ステップＳ１で、撮像装置１により、認識対象となる対象画像（手書きの数字の「８」）の撮像を開始する。ステップＳ２で、センサ制御部１１は、認識処理部１２から渡される読出領域情報に従い、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。
なお、ステップＳ２において読出部１１０により読み出された画素データは、認識処理部１２に渡されると共に、視認処理部１４にも渡される。視認処理部１４において、画像データ蓄積制御部１４０は、読出部１１０から渡された画素データを逐次、画像データ蓄積部１４１に蓄積する。
認識処理部１２において、読出決定部１２３ｆは、ステップＳ３までの認識処理の結果に基づき、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを識別可能と予測される予測ラインを指定する読出領域情報を生成し、読出部１１０に渡す。読出部１１０は、この読出領域情報に従い読み出された予測ラインを認識処理部１２に渡すと共に、視認処理部１４に渡す。視認処理部１４において画像データ蓄積制御部１４０は、読出部１１０から渡された予測ラインの画素データを画像データ蓄積部１４１に蓄積する。
認識処理部１２は、読出部１１０により渡された予測ラインの画素データに基づき認識処理を実行する（ステップＳ２０）。認識処理部１２は、ステップＳ２０でオブジェクトが確定されると、認識結果を出力する（ステップＳ２１）。
認識処理部１２において、認識処理実行部１２４は、ステップＳ２１で認識結果が出力されると、認識処理の終了を示す認識情報を視認処理部１４に渡す。視認処理部１４は、認識処理実行部１２４から渡されたこの認識情報に応じて、ステップＳ２０の時点における未処理領域の読み出しを行う（ステップＳ２２）。
より具体的には、視認処理部１４に渡された、認識処理の終了を示す認識情報を読出決定部１４２ａに渡す。読出決定部１４２ａは、渡された認識情報に応じて、未処理領域に対する読み出しを行うための読出領域を設定する。読出決定部１４２ａは、設定した読出領域を示す読出領域情報を読出部１１０に渡す。読出部１１０は、渡された読出領域情報に従いフレームにおける未処理領域の読み出しを行い、読み出された画素データを視認処理部１４に渡す。視認処理部１４において画像データ蓄積制御部１４０は、読出部１１０から渡された未処理領域の画素データを画像データ蓄積部１４１に蓄積する。
読出部１１０によるフレームの未処理領域の読み出しが終了することで、フレームの全体の読み出しが完了する。画像データ蓄積部１４１には、認識処理のために読み出された画素データと、認識処理の終了後に未処理領域から読み出された画素データと、が蓄積されている。したがって、例えば画像データ蓄積制御部１４０は、画像データ蓄積部１４１から同一フレームの画素データを読み出すことで、フレーム画像の全体による画像データを出力することができる（ステップＳ２３）。
なお、図７１で説明したステップＳ１〜ステップＳ２３の一連の処理は、１フレーム周期内で実行されると、視認処理部１４により撮像のタイミングに対して略リアルタイムの動画像を出力可能となり、好ましい。
なお、ステップＳ２０までの認識処理のための読み出しと、ステップＳ２２による視認処理のための読み出しと、がフレームのライン順次の読み出しと異なる順序で行われる。そのため、例えばセンサ部１０の撮像方式がローリングシャッタ方式の場合、読み出し順が分断された各ライン群において、読み出し順と時間との不整合によるズレ（時刻ズレと呼ぶ）が発生する。この時刻ズレは、例えば各ライン群のライン番号と、フレーム周期とに基づき画像処理により補正することができる。
また、撮像装置１が被写体に対して移動している場合、この時刻ズレはより顕著となる。この場合には、例えば撮像装置１に３方向の角速度を検知可能なジャイロが搭載されていれば、このジャイロの検知出力に基づき撮像装置１の移動方法および速度を求め、この移動方向および速度をさらに用いて、時刻ズレを補正することができる。
図７２は、第４の実施形態に係る処理を示す一例のフローチャートである。この図７２のフローチャートにおいて、ステップＳ２００〜ステップＳ２０６の処理は、上述した図５４のフローチャートにおけるステップＳ１００〜ステップＳ１０８０の処理と同等の処理となる。
すなわち、ステップＳ２００で、読出部１１０は、対象のフレームの読出ラインで示されるラインからラインデータの読み出しを行う。読出部１１０は、読み出したラインの各画素データによるラインデータを認識処理部１２および視認処理部１４に渡す。
ステップＳ２００の処理が終了すると、処理がステップＳ２０１およびステップＳ２１１に移行される。ステップＳ２０１〜ステップＳ２０８の処理は、認識処理部１２における処理である。一方、ステップＳ２１１〜ステップＳ２１４の処理は、視認処理部１４における処理である。これら認識処理部１２における処理と、視認処理部１４における処理とは、並列して実行することが可能である。
先ず、ステップＳ２０１からの認識処理部１２による処理について説明する。ステップＳ２０１で、認識処理部１２は、対象のフレームに対する認識処理が終了しているか否かを判定する。認識処理部１２は、終了していると判定した場合（ステップＳ２０１、「Ｙｅｓ」）、ステップＳ２０２以下の処理を実行しない。一方、認識処理部１２は、終了していないと判定した場合（ステップＳ２０１、「Ｎｏ」）、処理をステップＳ２０２に移行させる。
ステップＳ２０２〜ステップＳ２０８の処理は、図５４のステップＳ１０１〜ステップＳ１０８０の処理と同等である。すなわち、ステップＳ２０２で、認識処理部１２において特徴量計算部１２０は、読出部１１０から渡されたラインデータに基づきラインの特徴量を算出する。次のステップＳ２０３で、特徴量計算部１２０は、特徴量蓄積制御部１２１から、特徴量蓄積部１２２に蓄積されている特徴量を取得する。次のステップＳ２０４で、特徴量計算部１２０は、ステップＳ２０２で算出された特徴量と、ステップＳ２０３で特徴量蓄積制御部１２１から取得した特徴量と、を統合して特徴量蓄積制御部１２１に渡す。
次のステップＳ２０５で、特徴量蓄積制御部１２１は、統合された特徴量を、特徴量蓄積部１２２に蓄積する。次のステップＳ２０６で、認識処理実行部１２４は、統合された特徴量を用いて認識処理を実行する。次のステップＳ２０７で、認識処理実行部１２４は、ステップＳ２０６の認識処理による認識結果を出力する。ここで、認識処理実行部１２４は、当該認識結果を含む認識情報を、視認処理部１４の読出決定部１４２ａに渡す。
次のステップＳ２０８で、読出決定部１２３ｆにおいて読出領域決定部１２３０は、特徴量蓄積制御部１２１から渡された、読出情報と、ステップＳ２０２で算出された特徴量とステップＳ２０３で特徴量蓄積制御部１２１から取得した特徴量とを統合した特徴量と、を用いて次に読み出しを行う読出ラインを決定する。読出決定部１２３ｆは、決定された読出ラインを示す情報（読出領域情報）を、センサ制御部１１における読出制御部１１１に渡す。ステップＳ２０８の処理が終了されると、処理がステップＳ２２０に移行される。
次に、ステップＳ２１１からの視認処理部１４による処理について説明する。ステップＳ２１１で、視認処理部１４において画像データ蓄積制御部１４０は、読出部１１０から渡されたラインデータを画像データ蓄積部１４１に蓄積する。次のステップＳ２１２で、視認処理部１４において画像処理部１４３は、例えば画像データ蓄積部１４１に蓄積されたラインデータによる画像データに対して視認用の画像処理を施す。次のステップＳ２１３で、画像処理部１４３は、視認用の画像処理を施した画像データを出力する。
これに限らず、画像処理部１４３は、ステップＳ２１３で、視認用の画像処理を施した画像データを、再び画像データ蓄積部１４１に蓄積してもよい。また、画像処理部１４３は、ステップＳ２１２における画像処理を、画像データ蓄積部１４１に対象フレーム全体の画像データが蓄積された場合に、当該画像データに対する画像処理を施してもよい。
次のステップＳ２１４で、視認処理部１４において読出決定部１４２ａは、ステップＳ２００で読み出されたラインデータを示すライン情報と、ステップＳ２０７において認識処理実行部１２４から渡された認識情報と、に基づき、次に読み出しを行う読出ラインを決定する。読出決定部１４２ａは、決定された読出ラインを示す情報（読出領域情報）を、読出制御部１１１に渡す。ステップＳ２１４の処理が終了すると、処理がステップＳ２２０に移行される。
ステップＳ２２０で、読出制御部１１１は、ステップＳ２０８で認識処理部１２から渡された読出ラインと、ステップＳ２１４で視認処理部１４から渡された読出ラインと、のうち何れかの読出ラインを示す読出領域情報を、読出部１１０に渡す。ここで、認識処理部１２において認識処理が行われている場合（ステップＳ２０１、「Ｎｏ」）には、ステップＳ２０８で認識処理部１２から渡された読出ラインと、ステップＳ２１４で視認処理部１４から渡された読出ラインと、が一致する。そのため、読出制御部１１１は、認識処理部１２から渡された読出ラインと、視認処理部１４から渡された読出ラインと、の何れを示す読出領域情報を読出部１１０に渡してもよい。一方、認識処理部１２において認識処理が行われていない場合には（ステップＳ２０１、「Ｙｅｓ」）、読出制御部１１１は、視認処理部１４から渡された読出領域情報を読出部１１０に渡す。
このように、第４の実施形態では、認識処理の終了後にフレームの未処理領域を読み出すようしていているため、認識処理が途中で終了した場合や、認識処理において読み出し位置のジャンプが発生した場合であっても、フレーム全体の画像を取得することができる。
なお、上述では、視認処理部１４は、フレーム読み出しで読み出された画素データにより、フレームの画像を逐次に更新するように説明したが、これはこの例に限定されない。例えば、視認処理部１４は、フレーム読み出しで読み出された画素データを例えば画像データ蓄積部１４１に蓄積し、蓄積された同一フレームの画素データの量が閾値を超えた場合に、画像データ蓄積部１４１から当該同一フレームの画素データを纏めて読み出してもよい。また、例えばフレーム読み出しをライン間引きにより行う場合、間引きされた部分を周囲の画素データにより補間してもよい。
（画像データの出力のトリガ例）
なお、視認処理部１４は、画像データの出力がフレーム単位で行われる場合には、画像データ蓄積部１４１にフレーム分の画像データが蓄積されてから、画像データの出力を行う。一方、画像データの出力がフレーム単位ではない場合には、視認処理部１４は、例えば読出部１１０から渡されたラインデータを逐次に出力することができる。
（画像データの蓄積制御）
次に、第４の実施形態に適用可能な、画像データ蓄積部１４１の制御の例について説明する。画像データ蓄積部１４１の制御の第１の例として、画像データ蓄積制御部１４０は、画像データ蓄積部１４１に蓄積される画像データが不足している場合に、読出部１１０から渡されたラインデータを画像データ蓄積部１４１に蓄積する。
一例として、画像処理部１４３が画像処理を行う単位分の画像データが画像データ蓄積部１４１に蓄積されていない場合には、読出部１１０から渡されたラインデータを画像データ蓄積部１４１に蓄積する。より具体的な例としては、画像処理部１４３がフレーム単位で画像処理を行う場合に、画像データ蓄積部１４１に蓄積される対象フレームの画像データが１フレームに満たない場合に、読出部１１０から渡された画素データを画像データ蓄積部１４１に蓄積することが考えられる。
画像データ蓄積部１４１の制御の第２の例として、撮像対象におけるシーンが変化した場合に、画像データ蓄積部１４１に蓄積されている画像データを破棄する。撮像対象におけるシーンの変化は、例えば撮像対象の明暗、動き、画面構成などの急変により発生する。当該撮像装置１が車両に搭載されて用いられる場合、当該車両がトンネルなどに入った場合、あるいは、トンネルから出た場合に撮像対象の明暗が急変し、シーンの変化が発生する。また、当該車両が急加速、急停車した場合、あるいは、当該車両が急旋回した場合に、撮像対象の動きが急変し、シーンの変化が発生する。さらに、当該車両が込み入った場所から突然開けた場所に出た場合、撮像対象の画面構成が急変し、シーンの変化が発生する。撮像対象におけるシーンの変化は、読出部１１０から渡された画素データに基づき判定することができる。これに限らず、認識処理実行部１２４から視認処理部１４に渡される認識情報に基づき、撮像対象におけるシーンの変化を判定することも可能である。
画像データ蓄積部１４１の制御の第３の例として、読出部１１０から渡されたラインデータを画像データ蓄積部１４１に蓄積しない。図７３を用いて、第４の実施形態に係る画像データ蓄積部１４１の制御の第３の例について説明する。図７３において、ステップＳ３０は、人が認識された領域５１１が含まれるフレーム５１０において、フレーム５１０に含まれる全ての画素データが読み出された状態を示している。
次のステップＳ３１で、認識処理部１２は、ステップＳ３０から一定時間経過後に読出部１１０によりフレーム読み出しを行い、ステップＳ３０で認識された領域５１１において認識結果に変化が生じていないか否かを判定する。この例では、認識処理部１２は、人が認識された領域５１１の一部（この例ではラインＬ＃ｔｇｔ）に対して認識処理を実行することで、判定を行う。例えば、認識処理部１２は、ステップＳ３１において認識処理を実行した部分の認識スコアの、ステップＳ３０の状態に対する変化量が閾値以下の場合に、認識結果に変化が無いと判定できる。認識処理部１２は、認識結果に変化が無いと判定した場合、ステップＳ３１で読み出したラインデータの画像データ蓄積部１４１への蓄積を行わない。
例えば、領域５１１に含まれる人の髪の揺れだけが認識され、人の位置に変化が無いような場合、認識スコアが閾値より低くなり、認識結果としては変化が無いとされる場合がある。この場合、ステップＳ３１で読み出した画素データの蓄積を行わなくても、視認性の観点から、画像データの一貫性を保つことができる。このように、画像としては変化があるが、認識結果としては変化が無い場合に読み出した画素データの蓄積を行わないようにすることで、画像データ蓄積部１４１の容量を節約することができる。
［７−１．第４の実施形態の第１の変形例］
次に、第４の実施形態の第１の変形例について説明する。第４の実施形態の第１の変形例は、フレーム読み出しを行った画像を出力する際に、特定のオブジェクトが認識された、あるいは、認識されると予測される領域をマスクする例である。
図７４を用いて、第４の実施形態の第１の変形例について説明する。図７４において、認識処理部１２は、ステップＳ４１で、フレーム５２０の上端からラインＬ＃ｍの位置までラインデータの読み出しを行った時点で、領域５２１ａにおいて特定のオブジェクト（この例では人）の一部を認識している。視認処理部１４は、このラインＬ＃ｍまでのラインデータによる画像を出力する。あるいは、視認処理部１４は、このラインＬ＃ｍまでのラインデータを画像データ蓄積部１４１に蓄積する。
ここで、認識処理部１２は、当該特定のオブジェクトの一部を認識した時点で、当該特定のオブジェクトの全体（ステップＳ４２に領域５２１ｂとして示す）を予測することができる。認識処理部１２は、特定のオブジェクトが認識および予測された領域５２１ｂの情報を含む認識情報を、視認処理部１４に渡す。また、認識処理部１２は、認識処理を当該特定のオブジェクトが認識されたラインＬ＃ｍの位置で終了させる。
視認処理部１４は、ラインＬ＃ｍ以降もフレーム５２０からのラインデータの読み出しを継続し、読み出したラインデータによる画像を出力、あるいは、読み出したラインデータを画像データ蓄積部１４１に蓄積する。このとき、視認処理部１４は、特定のオブジェクトが含まれると予測された領域５２１ｂにおいて、ラインＬ＃ｍ以降に読み出された部分をマスクする（ステップＳ４２）。例えば、視認処理部１４において、画像処理部１４３は、この領域５２１ｂの一部をマスクして出力する。これに限らず、画像処理部１４３は、この領域５２１ｂの一部をマスクしたフレーム画像を、画像データ蓄積部１４１に蓄積してもよい。また、視認処理部１４は、この領域５２１ｂにおけるラインＬ＃ｍ以降の画素データを読み出さないようにしてもよい。
また、視認処理部１４は、ステップＳ４３に示されるように、特定のオブジェクトが含まれると予測された領域５２１ｂの全てをマスクしてもよい。この場合、マスクの対象は、視認処理部１４が出力するための画素データであり、例えば認識処理部１２が認識処理に用いる画素データについては、マスクを行わない。
上述では、フレーム５２０において、特定のオブジェクトが認識された領域５２１ｂをマスクし、それ以外の部分の画像を例えば出力している。これはこの例に限定されず、例えば領域５２１ｂ以外の部分をマスクし、領域５２１ｂ内の画像を例えば出力することもできる。
このように、視認用の画像において特定のオブジェクトが認識された領域５２１ｂをマスクすることで、プライバシーの保護を実現することが可能である。例えば、第４の実施形態の第１の変形例に係る撮像装置１が道路監視カメラ、ドライブレコーダ、ドローン搭載用などに適用される場合、撮像された画像データ（例えば同画像データ）から個人情報のみを消去し、扱いが容易な形式にすることができる。このような用途の場合のマスク対象となる特定のオブジェクトとしては、人、顔、車両、車両のナンバなどが挙げられる。
［７−２．第４の実施形態の第２の変形例］
次に、第４の実施形態の第２の変形例について説明する。第４の実施形態の第２の変形例は、他の方式で物体検出などを行うセンサの出力と、当該撮像装置１による出力画像とを統合して表示させるような場合に、フレームにおける、表示に適した領域を優先的に読み出すようにした例である。
図７５を用いて、第４の実施形態の第２の変形例について説明する。ここでは、他の方式のセンサとして、ＬｉＤＡＲ方式のセンサ（以下、ＬｉＤＡＲセンサと呼ぶ）を適用する。これに限らず、他の方式のセンサとして、レーダなどを適用することもできる。図示は省略するが、第４の実施形態の第２の変形例に係る撮像装置１は、この他の方式のセンサによる検知結果を、例えば認識処理実行部１２４からの認識情報の代わりに、読出決定部１４２ａに入力するものとする。
図７５において、セクション（ａ）は、ＬｉＤＡＲセンサにより取得された画像５３０の例を示している。このセクション（ａ）において、領域５３１がＬｉＤＡＲセンサから所定距離（例えば１０［ｍ］〜数１０［ｍ］）以内の範囲で取得された画像であるものとする。
図７５において、セクション（ｂ）は、第４の実施形態の第２の変形例に係る撮像装置１により撮像されるフレーム５４０の例を示している。このフレーム５４０において、斜線を付して示す領域５４１が、セクション（ａ）の領域５３１に対応し、当該撮像装置１から所定距離以内の範囲にある物体などのオブジェクトを含む。一方、領域５４２は、当該撮像装置１から所定距離以遠が撮像される領域であって、例えば空や遠方の風景が含まれる。
図７５のセクション（ａ）において、ＬｉＤＡＲセンサおよび当該撮像装置１から所定距離以内の範囲に対応する領域５３１は、オブジェクトが密であり、表示に適する領域であると考えられる。一方、領域５３１以外の部分は、オブジェクトが疎であり、重点的に表示を行う必要性が薄い領域であると考えられる。そこで、視認処理部１４において、読出決定部１４２ａは、領域５４１および５４２のうち、フレーム５４０の読み出しを、当該領域５３１に対応する領域５４１に対して優先的に実行する。例えば、読出決定部１４２ａは、領域５４１の読み出しを間引きをせずに高解像度にて実行する。一方、読出決定部１４２ａは、領域５４２に対しては、例えば間引き読み出しなどにより低解像度の読み出しを行うか、あるいは読み出しを行わない。
このように、第４の実施形態の第２の変形例に係る撮像装置１は、他の方式のセンサによる検知結果に応じてフレーム読み出しの解像度を設定することで、フレーム５４０の読み出しを最適化することが可能である。
［７−３．第４の実施形態の第３の変形例］
次に、第４の実施形態の第３の変形例について説明する。第４の実施形態の第３の変形例は、認識処理部１２および視認処理部１４によるフレーム読み出しを適応的に行う例である。第４の実施形態の第３の変形例の第１の例は、特定のオブジェクトが認識された領域の読み出しを優先して行い、その後、未処理領域の読み出しを行う。このとき、未処理領域の読み出しは、間引き読み出しなど低解像度の読み出し方法にて行う。
図７６を用いて、第４の実施形態の第３の変形例における第１の例について説明する。図７６において、認識処理部１２は、ステップＳ５０で、フレーム５４０の上端からラインＬ＃ｍの位置までラインデータの読み出しを行った時点で、領域５４１において特定のオブジェクト（この例では人）を認識している。視認処理部１４は、このラインＬ＃ｍまでのラインデータによる画像を出力する。あるいは、視認処理部１４は、このラインＬ＃ｍまでのラインデータを画像データ蓄積部１４１に蓄積する。
なお、この図７６のステップＳ５０では、上述した図７４のステップＳ４０と同様に、認識処理部１２は、当該特定のオブジェクトの一部（ラインＬ＃ｍまでの領域）を認識した時点で、当該特定のオブジェクトの全体の領域５４１を予測している。
次のステップＳ５１で、認識処理部１２は、フレーム５４０のラインＬ＃ｍより下の部分において、ステップＳ５０で認識された領域５４１を優先して読み出す。認識処理部１２は、領域５４１から読み出した画素データに基づきより詳細な認識処理を実行することが可能である。認識処理部１２は、領域５４１における特定のオブジェクトの認識がなされると、認識処理を終了させる。また、視認処理部１４は、この領域５４１の画素データによる画像を出力する。あるいは、視認処理部１４は、この領域５４１の画素データを画像データ蓄積部１４１に蓄積する。
次のステップＳ５２で、視認処理部１４は、フレーム５４０のラインＬ＃ｍ以降の領域の読み出しを行う。このとき、視認処理部１４は、ラインＬ＃ｍ以降の領域の読み出しを、ラインＬ＃ｍ以前の読み出しに対して低解像度で行うことができる。図７６の例では、視認処理部１４は、ラインＬ＃ｍ以降の読み出しを、間引き読み出しにより行っている。なお、視認処理部１４は、この読み出しを例えば領域５４１の部分を除いて行うことができる。
視認処理部１４は、間引き読み出しにより読み出した、フレーム５４０のラインＬ＃ｍ以降のラインデータによる画像を出力する。この場合、視認処理部１４において画像処理部１４３は、間引きされたラインデータをライン間で補間して出力することができる。あるいは、視認処理部１４は、ラインＬ＃ｍ以降のラインデータを画像データ蓄積部１４１に蓄積する。
このように、第４の実施形態の第３の変形例の第１の例では、認識処理部１２により特定のオブジェクトが認識された後は、未処理領域を視認処理部１４により低解像度により読み出している。そのため、特定のオブジェクトに対するより高精度の認識処理が可能となると共に、フレーム全体の画像をより高速に出力することが可能となる。
次に、第４の実施形態の第３の変形例の第２の例について説明する。この第２の例では、認識処理用と視認処理用とで読み出しの条件を変える。一例として、認識処理用と視認処理用とで、露出時間およびアナログゲインのうち少なくとも一方を異ならせる。具体的な例として、認識処理部１２は、アナログゲインを最大限に上げた撮像によりフレーム読み出しを行う。一方、視認処理部１４は、露出時間を適切に設定した撮像によりフレーム読み出しを行う。
このとき、認識処理部１２によるフレーム読み出しと、視認処理部１４によるフレーム読み出しと、をフレーム毎に交互に実行することができる。これに限らず、認識処理部１２によるフレーム読み出しと、視認処理部１４によるフレーム読み出しと、を読出単位（例えばライン）毎に切り替えて実行することもできる。これにより、認識処理および視認処理を、それぞれ適切な条件で実行することが可能となる。
［８．第５の実施形態］
次に、第５の実施形態として、本開示に係る、第１〜第４の実施形態および各変形例による撮像装置１の適用例について説明する。図７７は、上述の第１〜第４の実施形態および各変形例による撮像装置１を使用する使用例を示す図である。
上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
［本開示に係る技術のさらなる適用例］
本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図７８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図７８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（インタフェース）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２０３０は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図７８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図７９は、撮像部１２０３１の設置位置の例を示す図である。図７９では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４および１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１および１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図７９には、撮像部１２１０１〜１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２および１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２および１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１〜１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１〜１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１〜１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を基に、撮像範囲１２１１１〜１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１〜１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１〜１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１〜１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。本開示に係る撮像装置１を撮像部１２０３１に適用することで、歩行者や障害物などの認識をより高速に実行することが可能となり、また、省電力化が可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素が配列された画素領域を有する撮像部と、
前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、
前記読出制御部が前記読み出しを行う、前記画素領域に複数が設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識部と、
を備え、
前記認識部は、
前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
撮像装置。
認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（２）
前記認識部は、
同一フレーム画像における複数の前記読出単位の画素データに対してＲＮＮを用いた機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を実行する
前記（１）に記載の撮像装置。
認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（３）
前記読出単位制御部は、
前記認識部により所定の条件を満たす前記認識結果が出力された場合に、前記読出制御部に対して前記読み出しの終了を指示する、
前記（１）または（２）に記載の撮像装置。
認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（４）
前記読出単位制御部は、
前記認識部により所定の条件を満たす前記認識結果の候補が取得された場合に、前記所定の条件を満たす前記認識結果の取得が期待される位置の前記読出単位の読み出しを行うように、前記読出制御部に指示する、
前記（１）乃至（３）の何れかに記載の撮像装置。
認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（５）
前記読出単位制御部は、
前記読出制御部に対し、前記画素領域に含まれる前記画素を前記読出単位で間引きを行って前記画素信号を読み出すように指示し、前記認識部により所定の条件を満たす前記認識結果の候補が取得された場合に、前記間引きを行った前記読出単位のうち該所定の条件を満たすことが期待される読出単位の読み出しを行うように指示する、
前記（１）乃至（４）の何れかに記載の撮像装置。
認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（６）
前記読出単位制御部は、
前記認識結果に基づき、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも一方を制御するように、前記読出制御部に指示する、
前記（１）乃至（５）の何れかに記載の撮像装置。
１フレームにおける認識処理において明るいオブジェクトおよび暗いオブジェクトをそれぞれ認識可能となる。
（７）
前記読出単位制御部は、
前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき前記読出単位を制御する、
前記（１）乃至（６）の何れかに記載の撮像装置。
高精度の認識処理をより高速に実行可能となる。
（８）
前記読出単位制御部は、
前記配列の１つの行に整列される複数の前記画素からなるラインを前記読出単位に設定する、
前記（１）乃至（７）の何れかに記載の撮像装置。
フレームに対するライン読み出しの途中で有効な認識結果が得られた場合に、ライン読み出しおよび認識処理を終了させることができ、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（９）
前記読出単位制御部は、
隣接しない前記画素を含む複数の前記画素からなるパターンを前記読出単位に設定する、
前記（１）乃至（７）の何れかに記載の撮像装置。
所定の認識結果が得られた時点で認識処理を終了させることができ、認識処理における処理量の削減や、省電力化が可能となる。
（１０）
前記読出単位制御部は、
複数の前記画素を所定の規則に従い配置して前記パターンを形成する、
前記（９）に記載の撮像装置。
所定の認識結果が得られた時点で認識処理を終了させることができ、認識処理における処理量の削減や、省電力化が可能となる。
（１１）
前記読出単位制御部は、
前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき、複数の前記読出単位それぞれに対して優先度を設定する、
前記（１）乃至（１０）の何れかに記載の撮像装置。
認識結果の速報性を向上させることができる。
（１２）
前記読出単位制御部は、
前記認識処理で取得される認識情報に基づき前記認識結果に示される前記画素領域内の領域を取得し、取得した該領域に基づき前記読出単位を制御して、前記認識部が次に前記認識処理を行う領域を決定する、
前記（１）乃至（１１）の何れかに記載の撮像装置。
認識処理の短時間化および省電力化を実現することが可能となる。
（１３）
前記読出単位制御部は、
前記認識処理で取得される認識情報に基づき取得した前記領域の、前記認識結果の信頼度に応じて、前記認識部が該領域に対する前記認識処理をさらに行うための前記画素信号の読み出しを行うか否かを前記読出制御部に指示する、
前記（１）乃至（１２）の何れかに記載の撮像装置。
認識対象をより高い信頼度により認識することができる。
（１４）
前記読出単位制御部は、
前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも一方を制御して、前記画素領域に含まれる画素それぞれからの画素信号の読み出しを行うように、前記読出制御部に指示する、
前記（１）乃至（１３）の何れかに記載の撮像装置。
露出時間およびアナログゲインを適応的に設定することで、認証処理における撮像環境の変化の影響を抑制することができる。
（１５）
前記読出単位制御部は、
外部から指示された動作モードに応じて、前記読出単位と、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも１つを制御して、前記画素領域に含まれる画素それぞれからの画素信号の読み出しを行うように、前記読出制御部に指示する、
前記（１）乃至（１４）の何れかに記載の撮像装置。
様々な状況において適切なフレーム読み出しおよび認識処理を実行することが可能となる。
（１６）
前記撮像部と、前記読出制御部と、前記読出単位制御部と、前記認識部と、が一体的に形成される
前記（１）乃至（１５）の何れかに記載の撮像装置。
認識処理部とセンサ制御部との間の通信を、チップの内部のインタフェースにより高速に実行できる。
（１７）
前記撮像部と、前記読出制御部と、前記読出単位制御部と、が一体的に形成された構造とされ、前記認識部が該一体的に形成された構造の外部に置かれる
前記（１）乃至（１５）の何れかに記載の撮像装置。
認識処理部の差し替えが容易であり、多様な認識処理の実現が可能である。
（１８）
前記画素は、前記画素領域に行列状に配列され、
前記読出単位制御部は、
前記画素領域に含まれる前記画素に対して、前記配列の行および列のうち一方を単位として、前記露出および前記ゲインのうち少なくとも一方を制御するように、前記読出制御部に指示する、
前記（６）に記載の撮像装置。
認識処理を実行するために適した露出時間を設定することが可能である。
（１９）
前記画素は、前記画素領域に行列状に配列され、
前記読出単位制御部は、
前記画素領域に含まれる前記画素に対して、前記配列の行および列の両方を単位として、前記露出および前記ゲインのうち少なくとも一方を制御するように、前記読出制御部に指示する、
前記（６）に記載の撮像装置。
１のフレーム画像における認識処理において明るいオブジェクトおよび暗いオブジェクトをそれぞれ認識可能となる。
（２０）
前記読出単位制御部は、
前記画素領域において想定される下端から順次に前記ラインを読み出すように前記読出制御部に指示する、
前記（８）に記載の撮像装置。
手前側にある物体によるオブジェクトをより早期に認識することが可能となる。
（２１）
前記読出単位制御部は、
前記画素領域に含まれる前記ラインのうち順次に隣接する複数のラインを前記読出単位に設定する、
前記（８）または（２０）に記載の撮像装置。
１フレーム分の画素データをより高速に読み出すことが可能となると共に、一度の認識処理により多くの画素データを用いることが可能になり、認識の応答速度を向上させることが可能となる。
（２２）
前記読出単位制御部は、
前記画素領域に含まれる前記ラインのうち互いに隣接しない複数のラインを前記読出単位に設定する、
前記（８）または（２０）に記載の撮像装置。
認識処理をより高速化することが可能となる。
（２３）
前記読出単位制御部は、
前記ラインの一部を前記読出単位に設定する
前記（８）または（２０）または（２２）に記載の撮像装置。
より狭い帯域で画素データの転送が可能となると共に、省電力化、認識処理の高速化が可能となる。
（２４）
前記画素は、前記画素領域に行列状に配列され、
前記読出単位制御部は、
前記配列の列の方向に整列される複数の前記画素を前記読出単位に設定する、
前記（１）乃至（６）の何れかに記載の撮像装置。
フレームの左右端にある物体のオブジェクトをより早期に認識することが可能となる。
（２５）
前記読出単位制御部は、
互いに隣接する複数の前記画素を含む領域を前記読出単位に設定する、
前記（１）乃至（６）の何れかに記載の撮像装置。
冗長な読み出しを抑制することができ、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
（２６）
前記読出単位制御部は、
前記画素領域に含まれる前記画素から複数の画素を非周期に選択して前記パターンを形成する、
前記（１０）に記載の撮像装置。
サンプリングのアーティフィクトを減少させることが可能である。
（２７）
前記読出単位制御部は、
前記認識部による第１のパターンに基づく前記認識結果に応じて、該第１のパターンと異なる第２のパターンを前記読出単位として設定する、
前記（１０）に記載の撮像装置。
より高精度の認識処理が可能となると共に、認識処理における処理量の削減、省電力化、フレームレートの向上などが実現可能となる。
（２８）
前記読出単位制御部は、
互いに隣接しない前記読出単位を順次に読み出すように、前記読出制御部に指示する
前記（１）乃至（２５）の何れかに記載の撮像装置。
フレームの下部の画素データが得られるまでの遅延を短縮することが可能となると共に、フレーム内のサイズが大きなオブジェクトに対する認識応答速度を高速化でき、フレームレートを上げることが可能となる。
（２９）
前記読出単位制御部は、
前記画素情報に基づき前記画素信号に所定以上のノイズが含まれる場合に、互いに隣接する前記画素からなる前記読出単位の前記優先度を、隣接しない前記画素を含む前記読出単位の前記優先度に対して高く設定する、
前記（１１）に記載の撮像装置。
認識処理をより高精度に実行することが可能となる。
（３０）
前記読出単位制御部は、
前記認識情報に基づき所定以上の大きさでオブジェクトが認識された場合に、隣接しない前記画素を含む前記読出単位の前記優先度を、互いに隣接する前記画素からなる前記読出単位の前記優先度に対して高く設定する、
前記（１１）または（２９）に記載の撮像装置。
認識処理結果の速報性をより高めることが可能となる。
（３１）
前記画素は、前記画素領域に行列状に配列され、
前記読出単位制御部は、
前記外部情報に基づき当該撮像装置が前記配列における行の方向に旋回しているとされた場合に、互いに隣接し、且つ、前記配列の列の方向に整列される複数の前記画素からなり、さらに、前記画素領域内を前記旋回の方向に対し先頭から末尾に向けて位置が順次に更新される前記読出単位、の前記優先度を他の読出単位の前記優先度に対して高く設定する、
前記（１１）または（２９）または（３０）に記載の撮像装置。
旋回方向に対する認証結果の速報性を向上させることが可能となる。
（３２）
前記読出単位制御部は、
前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき、前記画素領域に含まれる画素それぞれから前記画素信号を読み出す際の駆動速度を制御するように、前記読出制御部に指示する、
前記（１）乃至（３１）の何れかに記載の撮像装置。
フレーム読み出しの速度を高速化できる。
（３３）
複数の画素が配列された画素領域を有する撮像部と、
前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、
前記読出制御部が前記読み出しを行う、前記画素領域に複数が設定される読出単位を制御する読出単位制御部と、
を備える撮像装置と、
前記読出単位毎の教師データを学習した認識部、
を備える情報処理装置と、
を含み、
前記認識部は、
前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
撮像システム。
（３４）
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御ステップと、
前記読出制御ステップにより前記読み出しを行う、前記画素領域に複数が設定される読出単位を制御する読出制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
を含み、
前記認識ステップは、
前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
撮像方法。
（３５）
撮像部が有する、複数の画素が配列された画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御ステップと、
前記読出制御ステップにより前記読み出しを行う、前記画素領域に複数が設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識ステップと、
をプロセッサに実行させ、
前記認識ステップは、
前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
ための撮像プログラム。
さらに、本技術は以下のような構成も取ることができる。
（３６）
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
（３７）
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してＣＮＮ（Convolution Neural Network）を利用した機械学習処理を実行する前記（３６）に記載の電子機器。
（３８）
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記ＣＮＮを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してＲＮＮ（Recurrent Neural Network）を利用した機械学習処理を実行する前記（３７）に記載の電子機器。
（３９）
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記（３６）〜（３８）の何れかに記載の電子機器。
（４０）
前記単位領域の画像データは、所定ライン数の画像データである前記（３６）〜（３９）の何れかに記載の電子機器。
（４１）
前記単位領域の画像データは、矩形領域の画像データである前記（３６）〜（３９）の何れかに記載の電子機器。
（４２）
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記（３６）〜（４１）の何れかに記載の電子機器。
１ 撮像装置
１０ センサ部
１１ センサ制御部
１２ 認識処理部
１４ 視認処理部
１１０ 読出部
１１１ 読出制御部
１２０ 特徴量計算部
１２１ 特徴量蓄積制御部
１２２ 特徴量蓄積部
１２３，１２３ａ，１２３ｂ，１２３ｃ，１２３ｄ，１２３ｅ，１２３ｆ，１４２，１４２ａ 読出決定部
１２４ 認識処理実行部
１４０ 画像データ蓄積制御部
１４１ 画像データ蓄積部
１４３ 画像処理部
３００ 読出単位パターン選択部
３０１ 読出単位パターンＤＢ
３０２ 読出順パターン選択部
３０３ 読出順パターンＤＢ
３０４ 読出決定処理部
１２３０，１２３０’，２０１０ 読出領域決定部
１２３１，１２３１’，２０１１ 露出時間決定部
１２３２，１２３２’，２０１２ ＡＧ量決定部
２０００ リソース調整部
２０１３ 駆動速度決定部
２０２０ 優先モード指示部

Claims (20)

  1. 複数の画素が配列された画素領域を有する撮像部と、
    前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、
    前記読出制御部が前記読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
    前記読出単位毎の教師データを学習した認識部と、
    を備え、
    前記認識部は、
    前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
    撮像装置。
  2. 前記認識部は、
    同一フレーム画像における複数の前記読出単位の画素データに対してＲＮＮを用いた機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を実行する
    請求項１に記載の撮像装置。
  3. 前記読出単位制御部は、
    前記認識部により所定の条件を満たす前記認識結果が出力された場合に、前記読出制御部に対して前記読み出しの終了を指示する、
    請求項１に記載の撮像装置。
  4. 前記読出単位制御部は、
    前記認識部により所定の条件を満たす前記認識結果の候補が取得された場合に、前記所定の条件を満たす前記認識結果の取得が期待される位置の前記読出単位の読み出しを行うように、前記読出制御部に指示する、
    請求項１に記載の撮像装置。
  5. 前記読出単位制御部は、
    前記読出制御部に対し、前記画素領域に含まれる前記画素を前記読出単位で間引きを行って前記画素信号を読み出すように指示し、前記候補が出力された場合に、前記間引きを行った前記読出単位のうち所定の条件を満たすことが期待される読出単位の読み出しを行うように指示する、
    請求項４に記載の撮像装置。
  6. 前記読出単位制御部は、
    前記認識結果に基づき、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも一方を制御するように、前記読出制御部に指示する、
    請求項１に記載の撮像装置。
  7. 前記読出単位制御部は、
    前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき前記読出単位を制御する、
    請求項１に記載の撮像装置。
  8. 前記読出単位制御部は、
    前記配列の１つの行に整列される複数の前記画素からなるラインを前記読出単位に設定する、
    請求項１に記載の撮像装置。
  9. 前記読出単位制御部は、
    隣接しない前記画素を含む複数の前記画素からなるパターンを前記読出単位に設定する、
    請求項１に記載の撮像装置。
  10. 前記読出単位制御部は、
    複数の前記画素を所定の規則に従い配置して前記パターンを形成する、
    請求項９に記載の撮像装置。
  11. 前記読出単位制御部は、
    前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき、複数の前記読出単位それぞれに対して優先度を設定する、
    請求項１に記載の撮像装置。
  12. 前記読出単位制御部は、
    前記認識処理で取得される認識情報に基づき前記認識結果に示される前記画素領域内の領域を取得し、取得した該領域に基づき前記読出単位を制御して、前記認識部が次に前記認識処理を行う領域を決定する、
    請求項１に記載の撮像装置。
  13. 前記読出単位制御部は、
    前記認識処理で取得される認識情報に基づき取得した領域の、前記認識結果の信頼度に応じて、前記認識部が該領域に対する前記認識処理をさらに行うための前記画素信号の読み出しを行うか否かを前記読出制御部に指示する、
    請求項１に記載の撮像装置。
  14. 前記読出単位制御部は、
    前記画素信号に基づく画素情報と、前記認識処理により生成される認識情報と、外部から取得される外部情報と、のうち少なくとも１つに基づき、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも一方を制御して、前記画素領域に含まれる画素それぞれからの画素信号の読み出しを行うように、前記読出制御部に指示する、
    請求項１に記載の撮像装置。
  15. 前記読出単位制御部は、
    外部から指示された動作モードに応じて、前記読出単位と、前記画素領域に含まれる前記画素における露出と、前記画素領域に含まれる前記画素から読み出された前記画素信号に対するゲインと、のうち少なくとも１つを制御して、前記画素領域に含まれる画素それぞれからの画素信号の読み出しを行うように、前記読出制御部に指示する、
    請求項１に記載の撮像装置。
  16. 前記撮像部と、前記読出制御部と、前記読出単位制御部と、前記認識部と、が一体的に形成される
    請求項１に記載の撮像装置。
  17. 前記撮像部と、前記読出制御部と、前記読出単位制御部と、が一体的に形成された構造とされ、前記認識部が該一体的に形成された構造の外部に置かれる
    請求項１に記載の撮像装置。
  18. 複数の画素が配列された画素領域を有する撮像部と、
    前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御部と、
    前記読出制御部が前記読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
    を備える撮像装置と、
    前記読出単位毎の教師データを学習した認識部、
    を備える情報処理装置と、
    を含み、
    前記認識部は、
    前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
    撮像システム。
  19. プロセッサにより実行される、
    撮像部が有する、複数の画素が配列された画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御ステップと、
    前記読出制御ステップにより前記読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
    前記読出単位毎の教師データを学習した認識ステップと、
    を含み、
    前記認識ステップは、
    前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
    撮像方法。
  20. 撮像部が有する、複数の画素が配列された画素領域に含まれる画素からの画素信号の読み出しを制御する読出制御ステップと、
    前記読出制御ステップにより前記読み出しを行う、前記画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
    前記読出単位毎の教師データを学習した認識ステップと、
    をプロセッサに実行させ、
    前記認識ステップは、
    前記読出単位毎の前記画素信号に対して認識処理を行い、該認識処理の結果の認識結果を出力する、
    ための撮像プログラム。
JP2019229256A 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法 Active JP7424034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024006216A JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018163700 2018-08-31
JP2019159132A JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019159132A Division JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024006216A Division JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Publications (3)

Publication Number Publication Date
JP2020043614A true JP2020043614A (ja) 2020-03-19
JP2020043614A5 JP2020043614A5 (ja) 2022-08-31
JP7424034B2 JP7424034B2 (ja) 2024-01-30

Family

ID=69166772

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159150A Active JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019229256A Active JP7424034B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019237377A Active JP7424051B2 (ja) 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159150A Active JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019237377A Active JP7424051B2 (ja) 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Country Status (7)

Country Link
US (7) US11704904B2 (ja)
EP (4) EP3846441A4 (ja)
JP (9) JP6638852B1 (ja)
KR (4) KR20210053883A (ja)
CN (4) CN112567728B (ja)
BR (4) BR112021003115A2 (ja)
WO (4) WO2020045684A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JP7492345B2 (ja) 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
WO2021192714A1 (ja) * 2020-03-24 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 レンダリングシステム及び自動運転検証システム
JPWO2021200330A1 (ja) * 2020-03-31 2021-10-07
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US20230254600A1 (en) * 2020-07-20 2023-08-10 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing program
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
JPWO2023047775A1 (ja) * 2021-09-27 2023-03-30
US20230133057A1 (en) * 2021-10-29 2023-05-04 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127614A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127612A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127653A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015136093A (ja) * 2013-12-20 2015-07-27 ソニー株式会社 撮像素子、撮像装置、および電子装置
WO2017010316A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 撮像装置、および情報処理システム
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
ATE335246T1 (de) 2001-01-22 2006-08-15 Hand Held Prod Inc Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP5677934B2 (ja) * 2008-03-27 2015-02-25 プレスライン サービシズ， インク 印刷機、折り機、及び動作方法
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) * 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP6415454B2 (ja) * 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の高度の関心領域機能
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) * 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) * 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
TWI754696B (zh) 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20210319144A1 (en) * 2018-09-06 2021-10-14 Sony Corporation Information processing system, information processing method, terminal apparatus, and information processing apparatus
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015136093A (ja) * 2013-12-20 2015-07-27 ソニー株式会社 撮像素子、撮像装置、および電子装置
WO2017010316A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 撮像装置、および情報処理システム
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム

Also Published As

Publication number Publication date
EP3846446A4 (en) 2021-10-20
JP7424051B2 (ja) 2024-01-30
WO2020045682A1 (ja) 2020-03-05
JP7500962B2 (ja) 2024-06-18
EP3846443A4 (en) 2021-09-22
JP2020048225A (ja) 2020-03-26
WO2020045686A1 (ja) 2020-03-05
CN112585531A (zh) 2021-03-30
CN112585943A (zh) 2021-03-30
US11741700B2 (en) 2023-08-29
EP3846441A4 (en) 2021-10-13
CN112585948A (zh) 2021-03-30
EP3846444A4 (en) 2021-10-06
US20210321054A1 (en) 2021-10-14
EP3846441A1 (en) 2021-07-07
WO2020045685A1 (ja) 2020-03-05
CN112567728B (zh) 2023-06-09
US11763554B2 (en) 2023-09-19
CN112567728A (zh) 2021-03-26
KR20210052446A (ko) 2021-05-10
EP3846446A1 (en) 2021-07-07
KR20210053883A (ko) 2021-05-12
JP2020039125A (ja) 2020-03-12
KR20210053884A (ko) 2021-05-12
JP2020039123A (ja) 2020-03-12
EP3846444A1 (en) 2021-07-07
US11595608B2 (en) 2023-02-28
BR112021003115A2 (pt) 2021-05-11
JP2024028531A (ja) 2024-03-04
US20210329163A1 (en) 2021-10-21
EP3846443A1 (en) 2021-07-07
US20230394813A1 (en) 2023-12-07
US20210329164A1 (en) 2021-10-21
JP7380180B2 (ja) 2023-11-15
US20240029424A1 (en) 2024-01-25
JP2020043615A (ja) 2020-03-19
JP6635222B1 (ja) 2020-01-22
JP6638851B1 (ja) 2020-01-29
US20210306586A1 (en) 2021-09-30
JP2020054007A (ja) 2020-04-02
CN112585943B (zh) 2022-12-27
US20230334848A1 (en) 2023-10-19
CN112585531B (zh) 2023-05-30
JP6638852B1 (ja) 2020-01-29
US11704904B2 (en) 2023-07-18
WO2020045684A1 (ja) 2020-03-05
BR112021003183A2 (pt) 2021-05-11
BR112021003119A2 (pt) 2021-05-11
BR112021003084A2 (pt) 2021-05-11
JP7424034B2 (ja) 2024-01-30
JP2020039124A (ja) 2020-03-12
JP2020039126A (ja) 2020-03-12
KR20210052444A (ko) 2021-05-10
JP6635221B1 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
JP6635221B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20240089577A1 (en) Imaging device, imaging system, imaging method, and computer program
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151