JP2020054007A - 撮像装置、撮像システム、撮像方法および撮像プログラム - Google Patents

撮像装置、撮像システム、撮像方法および撮像プログラム Download PDF

Info

Publication number
JP2020054007A
JP2020054007A JP2019237377A JP2019237377A JP2020054007A JP 2020054007 A JP2020054007 A JP 2020054007A JP 2019237377 A JP2019237377 A JP 2019237377A JP 2019237377 A JP2019237377 A JP 2019237377A JP 2020054007 A JP2020054007 A JP 2020054007A
Authority
JP
Japan
Prior art keywords
unit
read
reading
recognition
arbitration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019237377A
Other languages
English (en)
Other versions
JP7424051B2 (ja
JP2020054007A5 (ja
Inventor
竜太 佐藤
Ryuta Sato
竜太 佐藤
卓 青木
Taku Aoki
卓 青木
啓太郎 山本
Keitaro Yamamoto
啓太郎 山本
良仁 浴
Ryoji Eki
良仁 浴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020054007A publication Critical patent/JP2020054007A/ja
Publication of JP2020054007A5 publication Critical patent/JP2020054007A5/ja
Application granted granted Critical
Publication of JP7424051B2 publication Critical patent/JP7424051B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Character Discrimination (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供する。【解決手段】撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、読出単位に応じた教師データを学習した認識部による認識処理のために画素領域から画素信号の読み出しを行う読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、画像データを生成するために画素領域から画素信号の読み出しを行う読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、第1の読出単位候補と第2の読出単位候補とで調停を行う調停部と、を備え、読出単位制御部は、調停部による調停により、読出単位を設定する。【選択図】図52

Description

本開示は、撮像装置、撮像システム、撮像方法および撮像プログラムに関する。
近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機(スマートフォン)などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する撮像装置が開発されている。
特開2017−112409号公報
一般的に、画像認識機能において認識処理に適した画像は、人による視認に適した画像とは異なる。そのため、画像認識機能を搭載する撮像装置において認識の精度を高めようとする場合、認識処理のために撮像された画像が、視認用の画像としての情報を十分に提供することが困難になるおそれがある。
本開示は、認識処理用の撮像と視認用の撮像とを両立可能な撮像装置、撮像システム、撮像方法および撮像プログラムを提供することを目的とする。
本開示に係る撮像装置は、複数の画素が配列された画素領域を有し、画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、読出単位に応じた教師データを学習した認識部による認識処理のために画素領域から画素信号の読み出しを行う読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、画像データを生成するために画素領域から画素信号の読み出しを行う読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、第1の読出単位候補と第2の読出単位候補とで調停を行う調停部と、を備え、読出単位制御部は、調停部による調停により、読出単位を設定する。
本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置のハードウェア構成の例を示す模式図である。 各実施形態に係る撮像装置を2層構造の積層型CISにより形成した例を示す図である。 各実施形態に係る撮像装置を3層構造の積層型CISにより形成した例を示す図である。 各実施形態に適用可能なセンサ部の一例の構成を示すブロック図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式を説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式におけるライン間引きを説明するための模式図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式を説明するための模式図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。 CNNによる画像認識処理を概略的に説明するための図である。 認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。 時系列の情報を用いない場合の、DNNによる識別処理の例を概略的に示す図である。 時系列の情報を用いない場合の、DNNによる識別処理の例を概略的に示す図である。 時系列の情報を用いた場合の、DNNによる識別処理の第1の例を概略的に示す図である。 時系列の情報を用いた場合の、DNNによる識別処理の第1の例を概略的に示す図である。 時系列の情報を用いた場合の、DNNによる識別処理の第2の例を概略的に示す図である。 時系列の情報を用いた場合の、DNNによる識別処理の第2の例を概略的に示す図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 フレームの駆動速度と画素信号の読み出し量との関係について説明するための図である。 本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。 第1の実施形態に係る認識処理部による認識処理を示す一例のフローチャートである。 1フレーム分の画像データの一例を示す図である。 第1の実施形態に係る認識処理部が実行する機械学習処理の流れを説明するための図である。 第1の実施形態の応用例について説明するための模式図である。 第1の実施形態の応用例について説明するための模式図である。 第2の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第2の実施形態に係る認識処理部における処理の例についてより詳細に示す模式図である。 第2の実施形態に係る機能を説明するための一例の機能ブロック図である。 第2の実施形態に係るフレームの読み出し処理を説明するための模式図である。 第2の実施形態に係る認識処理を概略的に示す模式図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 フレーム読み出しの途中で認識処理を終了させる例について説明するための図である。 第2の実施形態に係る認識処理を示す一例のフローチャートである。 第2の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第2の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。 第2の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。 第3の実施形態に係る制御を示す一例のフローチャートである。 第3の実施形態に係る出力制御処理の例を模式的に示す模式図である。 第3の実施形態に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。 第3の実施形態の第1の変形例に係る出力制御処理の例を模式的に示す模式図である。 第3の実施形態の第1の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第1の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。 第3の実施形態の第2の変形例に係る出力制御処理の例を模式的に示す模式図である。 第3の実施形態の第2の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第2の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第2の変形例に係る処理を示す一例のフローチャートである。 第3の実施形態の第3の変形例に係る撮像装置の認識処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第3の変形例に係る撮像装置の視認処理部側の一例の機能を示す機能ブロック図である。 第3の実施形態の第3の変形例に係る処理を示す一例のフローチャートである。 第4の実施形態に係る出力制御処理の例を模式的に示す模式図である。 第4の実施形態に係る撮像装置の一例の機能を示す機能ブロック図である。 第4の実施形態に係る処理を示す一例のフローチャートである。 第4の実施形態の第1の変形例に係る撮像装置の一例の機能を示す機能ブロック図である。 第4の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。 第4の実施形態の第2の変形例に係る出力制御処理の例を模式的に示す模式図である。 第4の実施形態の第2の変形例に係る撮像装置1の一例の機能を示す機能ブロック図である。 第4の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。 第5の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。 第5の実施形態に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。 第5の実施形態に係る調停処理を説明するための模式図である。 第5の実施形態に係る調停処理を示す一例のフローチャートである。 第5の実施形態の第1の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。 第5の実施形態の第1の変形例に係る調停処理の第1の例を説明するための模式図である。 第5の実施形態の第1の変形例に係る調停処理の第2の例を説明するための模式図である。 第5の実施形態の第1の変形例に係る調停処理を示す一例のフローチャートである。 第5の実施形態の第2の変形例に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。 第5の実施形態の第2の変形例に係る調停処理を説明するための模式図である。 第5の実施形態の第2の変形例に係る調停処理を示す一例のフローチャートである。 第5の実施形態の第3の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。 第5の実施形態の第3の変形例に係る調停処理を示す一例のフローチャートである。 本開示の技術を適用した撮像装置の使用例を説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
1.本開示の各実施形態に係る構成例
2.本開示に適用可能な既存技術の例
2−1.ローリングシャッタの概要
2−2.グローバルシャッタの概要
2−3.DNN(Deep Neural Network)について
2−3−1.CNN(Convolutional Neural Network)の概要
2−3−2.RNN(Recurrent Neural Network)の概要
2−4.駆動速度について
3.本開示の概要
4.第1の実施形態
4−1.認識処理部による動作例
4−2.認識処理部による動作の具体例
4−3.第1の実施形態の応用例
5.第2の実施形態
5−0−1.第2の実施形態に係る構成例
5−0−2.第2の実施形態に係る認識処理部における処理の例
5−0−3.第2の実施形態に係る認識処理の詳細
5−0−4.第2の実施形態に係る読み出しおよび認識処理の制御例
6.第3の実施形態
6−0.第3の実施形態の概要
6−0−1.時間によるトリガ信号出力の例
6−1.第3の実施形態の第1の変形例
6−2.第3の実施形態の第2の変形例
6−3.第3の実施形態の第3の変形例
7.第4の実施形態
7−1.第4の実施形態の第1の変形例
7−2.第4の実施形態の第2の変形例
8.第5の実施形態
8−0−1.調停処理の具体例
8−1.第5の実施形態の第1の変形例
8−2.第5の実施形態の第2の変形例
8−3.第5の実施形態の第3の変形例
9.第6の実施形態
[1.本開示の各実施形態に係る構成例]
本開示に係る撮像装置の構成について、概略的に説明する。図1は、本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。図1において、撮像装置1は、センサ部10と、センサ制御部11と、認識処理部12と、メモリ13と、視認処理部14と、出力制御部15と、を含み、これら各部がCMOS(Complementary Metal Oxide Semiconductor)を用いて一体的に形成されたCMOSイメージセンサ(CIS)である。なお、撮像装置1は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。
センサ部10は、光学部30を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部10は、少なくとも1つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部10は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部10は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。
以下、センサ部10が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと呼ぶ。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部10の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部10が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部10は、後述するセンサ制御部11から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン(アナログゲイン)を制御される。
センサ制御部11は、例えばマイクロプロセッサにより構成され、センサ部10からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部11から出力された画素データは、認識処理部12および視認処理部14に渡される。
また、センサ制御部11は、センサ部10における撮像を制御するための撮像制御信号を生成する。センサ制御部11は、例えば、後述する認識処理部12および視認処理部14からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部10における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部10が撮像動作を行うために用いる制御信号(垂直同期信号、水平同期信号、など)を含む。センサ制御部11は、生成した撮像制御信号をセンサ部10に供給する。
光学部30は、被写体からの光をセンサ部10の受光面に照射させるためのもので、例えばセンサ部10に対応する位置に配置される。光学部30は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部30は、受光面に光が照射される時間を調整するシャッタ機構(メカニカルシャッタ)をさらに含んでもよい。光学部30が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部11により制御するようにできる。これに限らず、光学部30における絞りやフォーカスは、撮像装置1の外部から制御するようにもできる。また、光学部30を撮像装置1と一体的に構成することも可能である。
認識処理部12は、センサ制御部11から渡された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、DSP(Digital Signal Processor)が、教師データにより予め学習されメモリ13に学習モデルとして記憶されるプログラムを読み出して実行することで、DNN(Deep Neural Network)を用いた認識処理を行う、機械学習部としての認識処理部12が構成される。認識処理部12は、認識処理に必要な画素データをセンサ部10から読み出すように、センサ制御部11に対して指示することができる。認識処理部12による認識結果は、出力制御部15に渡される。
視認処理部14は、センサ制御部11から渡された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ISP(Image Signal Processor)が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部14が構成される。
例えば、視認処理部14は、センサ部10に含まれる各画素にカラーフィルタが設けられ、画素データがR(赤色)、G(緑色)、B(青色)の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部14は、視認処理に必要な画素データをセンサ部10から読み出すように、センサ制御部11に対して指示することができる。視認処理部14により画素データが画像処理された画像データは、出力制御部15に渡される。
出力制御部15は、例えばマイクロプロセッサにより構成され、認識処理部12から渡された認識結果と、視認処理部14から視認処理結果として渡された画像データと、のうち一方または両方を、撮像装置1の外部に出力する。出力制御部15は、画像データを、例えば表示デバイスを有する表示部31に出力することができる。これにより、ユーザは、表示部31により表示された画像データを視認することができる。なお、表示部31は、撮像装置1に内蔵されるものでもよいし、撮像装置1の外部の構成であってもよい。
図2Aおよび図2Bは、各実施形態に係る撮像装置1のハードウェア構成の例を示す模式図である。図2Aは、1つのチップ2に対して、図1に示した構成のうちセンサ部10、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15が搭載される例である。なお、図2Aにおいて、メモリ13および出力制御部15は、煩雑さを避けるため省略されている。
図2Aに示す構成では、認識処理部12による認識結果は、図示されない出力制御部15を介してチップ2の外部に出力される。また、図2Aの構成においては、認識処理部12は、認識に用いるための画素データを、センサ制御部11から、チップ2の内部のインタフェースを介して取得できる。
図2Bは、1つのチップ2に対して、図1に示した構成のうちセンサ部10、センサ制御部11、視認処理部14および出力制御部15が搭載され、認識処理部12およびメモリ13(図示しない)がチップ2の外部に置かれた例である。図2Bにおいても、上述した図2Aと同様に、メモリ13および出力制御部15は、煩雑さを避けるため省略されている。
この図2Bの構成においては、認識処理部12は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図2Bでは、認識処理部12による認識結果が、認識処理部12から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図2Bの構成において、認識処理部12は、認識結果をチップ2に戻し、チップ2に搭載される不図示の出力制御部15から出力させるようにしてもよい。
図2Aに示す構成は、認識処理部12がセンサ制御部11と共にチップ2に搭載され、認識処理部12とセンサ制御部11との間の通信を、チップ2の内部のインタフェースにより高速に実行できる。その一方で、図2Aに示す構成では認識処理部12の差し替えができず、認識処理の変更が難しい。これに対して、図2Bに示す構成は、認識処理部12がチップ2の外部に設けられるため、認識処理部12とセンサ制御部11との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部12とセンサ制御部11との間の通信は、図2Aの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部12の差し替えが容易であり、多様な認識処理の実現が可能である。
以下、特に記載の無い限り、撮像装置1は、図2Aの、1つのチップ2にセンサ部10、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15が搭載される構成を採用するものとする。
上述した図2Aに示す構成において、撮像装置1は、1つの基板上に形成することができる。これに限らず、撮像装置1を、複数の半導体チップが積層され一体的に形成された積層型CISとしてもよい。
一例として、撮像装置1を半導体チップを2層に積層した2層構造により形成することができる。図3Aは、各実施形態に係る撮像装置1を2層構造の積層型CISにより形成した例を示す図である。図3Aの構造では、第1層の半導体チップに画素部20aを形成し、第2層の半導体チップにメモリ+ロジック部20bを形成している。画素部20aは、少なくともセンサ部10における画素アレイを含む。メモリ+ロジック部20bは、例えば、センサ制御部11、認識処理部12、メモリ13、視認処理部14および出力制御部15と、撮像装置1と外部との通信を行うためのインタフェースと、を含む。メモリ+ロジック部20bは、さらに、センサ部10における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ+ロジック部20bは、例えば視認処理部14が画像データの処理のために用いるメモリをさらに含むことができる。
図3Aの右側に示されるように、第1層の半導体チップと、第2層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置1を1つの固体撮像素子として構成する。
別の例として、撮像装置1を、半導体チップを3層に積層した3層構造により形成することができる。図3Bは、各実施形態に係る撮像装置1を3層構造の積層型CISにより形成した例を示す図である。図3Bの構造では、第1層の半導体チップに画素部20aを形成し、第2層の半導体チップにメモリ部20cを形成し、第3層の半導体チップにロジック部20b’を形成している。この場合、ロジック部20b’は、例えば、センサ制御部11、認識処理部12、視認処理部14および出力制御部15と、撮像装置1と外部との通信を行うためのインタフェースと、を含む。また、メモリ部20cは、メモリ13と、例えば視認処理部14が画像データの処理のために用いるメモリを含むことができる。メモリ13は、ロジック部20b’に含めてもよい。
図3Bの右側に示されるように、第1層の半導体チップと、第2層の半導体チップと、第3層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像装置1を1つの固体撮像素子として構成する。
図4は、各実施形態に適用可能なセンサ部10の一例の構成を示すブロック図である。図4において、センサ部10は、画素アレイ部101と、垂直走査部102と、AD(Analog to Digital)変換部103と、画素信号線106と、垂直信号線VSLと、制御部1100と、信号処理部1101と、を含む。なお、図4において、制御部1100および信号処理部1101は、例えば図1に示したセンサ制御部11に含まれるものとすることもできる。
画素アレイ部101は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路100を含む。画素アレイ部101において、複数の画素回路100は、水平方向(行方向)および垂直方向(列方向)に行列状の配列で配置される。画素アレイ部101において、画素回路100の行方向の並びをラインと呼ぶ。例えば、1920画素×1080ラインで1フレームの画像が形成される場合、画素アレイ部101は、少なくとも1920個の画素回路100が含まれるラインを、少なくとも1080ライン、含む。フレームに含まれる画素回路100から読み出された画素信号により、1フレームの画像(画像データ)が形成される。
以下、センサ部10においてフレームに含まれる各画素回路100から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路100から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。
また、画素アレイ部101には、各画素回路100の行および列に対し、行毎に画素信号線106が接続され、列毎に垂直信号線VSLが接続される。画素信号線106の画素アレイ部101と接続されない端部は、垂直走査部102に接続される。垂直走査部102は、後述する制御部1100の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線106を介して画素アレイ部101へ伝送する。垂直信号線VSLの画素アレイ部101と接続されない端部は、AD変換部103に接続される。画素から読み出された画素信号は、垂直信号線VSLを介してAD変換部103に伝送される。
画素回路100からの画素信号の読み出し制御について、概略的に説明する。画素回路100からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層(FD;Floating Diffusion)に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線VSLに出力される。
より具体的には、画素回路100において、露出中は、光電変換素子と浮遊拡散層との間をオフ(開)状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線106を介して供給される選択信号に応じて浮遊拡散層と垂直信号線VSLとを接続する。さらに、画素信号線106を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧VDDまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線VSLには、浮遊拡散層のリセットレベルの電圧(電圧Aとする)が出力される。その後、画素信号線106を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン(閉)状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線VSLに対して、浮遊拡散層の電荷量に応じた電圧(電圧Bとする)が出力される。
AD変換部103は、垂直信号線VSL毎に設けられたAD変換器107と、参照信号生成部104と、水平走査部105と、を含む。AD変換器107は、画素アレイ部101の各列(カラム)に対してAD変換処理を行うカラムAD変換器である。AD変換器107は、垂直信号線VSLを介して画素回路100から供給された画素信号に対してAD変換処理を施し、ノイズ低減を行う相関二重サンプリング(CDS:Correlated Double Sampling)処理のための2つのディジタル値(電圧Aおよび電圧Bにそれぞれ対応する値)を生成する。
AD変換器107は、生成した2つのディジタル値を信号処理部1101に供給する。信号処理部1101は、AD変換器107から供給される2つのディジタル値に基づきCDS処理を行い、ディジタル信号による画素信号(画素データ)を生成する。信号処理部1101により生成された画素データは、センサ部10の外部に出力される。
参照信号生成部104は、制御部1100から入力される制御信号に基づき、各AD変換器107が画素信号を2つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル(電圧値)が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部104は、生成したランプ信号を、各AD変換器107に供給する。参照信号生成部104は、例えばDAC(Digital to Analog Converter)などを用いて構成される。
参照信号生成部104から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線VSLから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。AD変換器107は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。
AD変換器107は、生成した2つのディジタル値を信号処理部1101に供給する。信号処理部1101は、AD変換器107から供給される2つのディジタル値に基づきCDS処理を行い、ディジタル信号による画素信号(画素データ)を生成する。信号処理部1101により生成されたディジタル信号による画素信号は、センサ部10の外部に出力される。
水平走査部105は、制御部1100の制御の下、各AD変換器107を所定の順番で選択する選択走査を行うことによって、各AD変換器107が一時的に保持している各ディジタル値を信号処理部1101へ順次出力させる。水平走査部105は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
制御部1100は、センサ制御部11から供給される撮像制御信号に従い、垂直走査部102、AD変換部103、参照信号生成部104および水平走査部105などの駆動制御を行う。制御部1100は、垂直走査部102、AD変換部103、参照信号生成部104および水平走査部105の動作の基準となる各種の駆動信号を生成する。制御部1100は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部102が画素信号線106を介して各画素回路100に供給するための制御信号を生成する。制御部1100は、生成した制御信号を垂直走査部102に供給する。
また、制御部1100は、例えば、センサ制御部11から供給される撮像制御信号に含まれる、アナログゲインを示す情報をAD変換部103に渡す。AD変換部103は、このアナログゲインを示す情報に応じて、AD変換部103に含まれる各AD変換器107に垂直信号線VSLを介して入力される画素信号のゲインを制御する。
垂直走査部102は、制御部1100から供給される制御信号に基づき、画素アレイ部101の選択された画素行の画素信号線106に駆動パルスを含む各種信号を、ライン毎に各画素回路100に供給し、各画素回路100から、画素信号を垂直信号線VSLに出力させる。垂直走査部102は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部102は、制御部1100から供給される露出を示す情報に応じて、各画素回路100における露出を制御する。
このように構成されたセンサ部10は、AD変換器107が列毎に配置されたカラムAD方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
[2.本開示に適用可能な既存技術の例]
本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。
(2−1.ローリングシャッタの概要)
画素アレイ部101による撮像を行う際の撮像方式として、ローリングシャッタ(RS)方式と、グローバルシャッタ(GS)方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図5A、図5Bおよび図5Cは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図5Aに示されるように、フレーム200の例えば上端のライン201からライン単位で順に撮像を行う。
なお、上述では、「撮像」を、センサ部10が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部11に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部101において、画素信号を生成するために有効な画素回路100が配置される領域を指す。
例えば、図4の構成において、1つのラインに含まれる各画素回路100において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路100において一斉に、各画素回路100に対応する各垂直信号線VSLを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。
図5Bは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図5Bにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図5Bに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば撮像装置1と被写体との水平方向の位置関係が高速に変化する場合、図5Cに例示されるように、撮像されたフレーム200の画像に歪みが生じる。図5Cの例では、フレーム200に対応する画像202が、撮像装置1と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。
ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図6A、図6Bおよび図6Cは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図6Aに示されるように、上述した図5Aの例と同様に、フレーム200の上端のライン201からフレーム200の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。
ここでは、説明のため、1ライン間引きにより1ラインおきに撮像を行うものとする。すなわち、第nラインの撮像の次は第(n+2)ラインの撮像を行う。このとき、第nラインの撮像から第(n+2)ラインの撮像までの時間が、間引きを行わない場合の、第nラインの撮像から第(n+1)ラインの撮像までの時間と等しいものとする。
図6Bは、ローリングシャッタ方式において1ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図6Bにおいて、縦軸はライン位置、横軸は時間を示す。図6Bにおいて、露出Aは、間引きを行わない図5Bの露出と対応し、露出Bは、1ライン間引きを行った場合の露出を示している。露出Bに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図6Cに画像203として例示されるように、撮像されたフレーム200の画像に生ずる傾き方向の歪が、図5Cに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。
上述では、ローリングシャッタ方式においてフレーム200の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図7Aおよび図7Bは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図7Aに示されるように、ローリングシャッタ方式において、フレーム200の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム200の上端から下端に向けてライン順次に撮像した場合に比べ、画像202の歪の水平方向の向きが逆となる。
また、例えば画素信号を転送する垂直信号線VSLの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線VSLと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム200の上端および下端以外とすることも可能である。図7Bは、幅および高さがフレーム200の幅および高さにそれぞれ満たない矩形の領域205を撮像の範囲とした例を模式的に示している。図7Bの例では、領域205の上端のライン204からライン順次で領域205の下端に向けて撮像を行っている。
(2−2.グローバルシャッタの概要)
次に、画素アレイ部101による撮像を行う際の撮像方式として、グローバルシャッタ(GS)方式について、概略的に説明する。図8A、図8Bおよび図8Cは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図8Aに示されるように、フレーム200に含まれる全画素回路100で同時に露出を行う。
図4の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路100において光電変換素子とFDとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第1のスイッチを、当該キャパシタと浮遊拡散層との間に第2のスイッチをそれぞれ設け、これら第1および第2のスイッチそれぞれの開閉を、画素信号線106を介して供給されるパルスにより制御する構成とする。
このような構成において、露出期間中は、フレーム200に含まれる全画素回路100において、第1および第2のスイッチをそれぞれ開、露出終了で第1のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム200に含まれる全画素回路100において同時の露出が可能となる。
図8Bは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図8Bにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム200に含まれる全画素回路100において同時に露出が行われるため、図8Bに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば撮像装置1と被写体との水平方向の位置関係が高速に変化する場合であっても、図8Cに例示されるように、撮像されたフレーム200の画像206には、当該変化に応じた歪が生じない。
グローバルシャッタ方式では、フレーム200に含まれる全画素回路100における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線106により供給する各パルスのタイミングと、各垂直信号線VSLによる転送のタイミングとを制御することで、様々なパターンでのサンプリング(画素信号の読み出し)を実現できる。
図9Aおよび図9Bは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図9Aは、フレーム200に含まれる、行列状に配列された各画素回路100から、画素信号を読み出すサンプル208を市松模様状に抽出する例である。また、図9Bは、当該各画素回路100から、画素信号を読み出すサンプル208を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。
(2−3.DNNについて)
次に、各実施形態に適用可能なDNN(Deep Neural Network)を用いた認識処理について、概略的に説明する。各実施形態では、DNNのうち、CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。
(2−3−1.CNNの概要)
先ず、CNNについて、概略的に説明する。CNNによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図10は、CNNによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「8」を描画した画像50の全体の画素情報51に対して、所定に学習されたCNN52による処理を施す。これにより、認識結果53として数字の「8」が認識される。
これに対して、ライン毎の画像に基づきCNNによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図11は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図11において、画像50’は、認識対象のオブジェクトである数字の「8」を、ライン単位で部分的に取得したものである。この画像50’の画素情報51’を形成する例えばライン毎の画素情報54a、54bおよび54cに対して順次、所定に学習されたCNN52’による処理を施す。
例えば、第1ライン目の画素情報54aに対するCNN52’による認識処理で得られた認識結果53aは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。CNN52’は、この認識結果53aに基づき内部状態の更新55を行う。次に、第2ライン目の画素情報54bに対して、前回の認識結果53aにより内部状態の更新55が行われたCNN52’により認識処理が行われる。図11では、その結果、認識対象の数字が「8」または「9」の何れかであることを示す認識結果53bが得られている。さらに、この認識結果53bに基づき、CNN52’の内部情報の更新55を行う。次に、第3ライン目の画素情報54cに対して、前回の認識結果53bにより内部状態の更新55が行われたCNN52’により認識処理が行われる。図11では、その結果、認識対象の数字が、「8」または「9」のうち「8」に絞り込まれる。
ここで、この図11に示した認識処理は、前回の認識処理の結果を用いてCNNの内部状態を更新し、この内部状態が更新されたCNNにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図11に示した認識処理は、画像に対してライン順次に、CNNの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図11に示す認識処理は、ライン順次に再帰的に実行される処理であり、RNNに相当する構造を有していると考えることができる。
(2−3−2.RNNの概要)
次に、RNNについて、概略的に説明する。図12Aおよび図12Bは、時系列の情報を用いない場合の、DNNによる識別処理(認識処理)の例を概略的に示す図である。この場合、図12Aに示されるように、1つの画像をDNNに入力する。DNNにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。
図12Bは、図12Aの処理をより詳細に説明するための図である。図12Bに示されるように、DNNは、特徴抽出処理と、識別処理とを実行する。DNNにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、DNNにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。
図13Aおよび図13Bは、時系列の情報を用いた場合の、DNNによる識別処理の第1の例を概略的に示す図である。この図13Aおよび図13Bの例では、時系列上の、固定数の過去情報を用いて、DNNによる識別処理を行う。図13Aの例では、時間Tの画像[T]と、時間Tより前の時間T−1の画像[T−1]と、時間T−1より前の時間T−2の画像[T−2]と、をDNNに入力する。DNNにおいて、入力された各画像[T]、[T−1]および[T−2]に対して識別処理を実行し、時間Tにおける識別結果[T]を得る。
図13Bは、図13Aの処理をより詳細に説明するための図である。図13Bに示されるように、DNNにおいて、入力された画像[T]、[T−1]および[T−2]それぞれに対して、上述の図12Bを用いて説明した特徴抽出処理を1対1に実行し、画像[T]、[T−1]および[T−2]にそれぞれ対応する特徴量を抽出する。DNNでは、これら画像[T]、[T−1]および[T−2]に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Tにおける識別結果[T]を得る。
この図13Aおよび図13Bの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、DNNの構成が大規模になってしまうおそれがある。
図14Aおよび図14Bは、時系列の情報を用いた場合の、DNNによる識別処理の第2の例を概略的に示す図である。図14Aの例では、内部状態が時間T−1の状態に更新されたDNNに対して時間Tの画像[T]を入力し、時間Tにおける識別結果[T]を得ている。
図14Bは、図14Aの処理をより詳細に説明するための図である。図14Bに示されるように、DNNにおいて、入力された時間Tの画像[T]に対して上述の図12Bを用いて説明した特徴抽出処理を実行し、画像[T]に対応する特徴量を抽出する。DNNにおいて、時間Tより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像[T]における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。
この図14Aおよび図14Bに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたDNNを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うDNNをRNN(Recurrent Neural Network)と呼ぶ。RNNによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりDNNの内部状態を順次に更新することで、識別精度を向上させることが可能である。
本開示では、RNNをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、RNNに適用させる。これにより、CNNを用いた場合(図13B参照)と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、RNNをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。
(2−4.駆動速度について)
次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図15Aおよび図15Bを用いて説明する。図15Aは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平640画素×垂直480画素(480ライン)であるものとする。この場合、14400[ライン/秒]の駆動速度で駆動することで、30[fps(frame per second)]での出力が可能となる。
次に、ラインを間引いて撮像を行うことを考える。例えば、図15Bに示すように、1ラインずつ読み飛ばして撮像を行う、1/2間引き読み出しにて撮像を行うものとする。1/2間引きの第1の例として、上述と同様に14400[ライン/秒]の駆動速度で駆動する場合、画像から読み出すライン数が1/2になるため、解像度は低下するが、間引きを行わない場合の倍の速度の60[fps]での出力が可能となり、フレームレートを向上できる。1/2間引きの第2の例として、駆動速度を第1の例の半分の7200[fps]として駆動する場合、フレームレートは間引かない場合と同様に30[fps]となるが、省電力化が可能となる。
画像のラインを読み出す際に、間引きを行わないか、間引きを行い駆動速度を上げるか、間引きを行い駆動速度を間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。
[3.本開示の概要]
以下、本開示の各実施形態について、より詳細に説明する。先ず、本開示の各実施形態に係る処理について、概略的に説明する。図16は、本開示の各実施形態に係る認識処理を概略的に説明するための模式図である。図16において、ステップS1で、各実施形態に係る撮像装置1(図1参照)により、認識対象となる対象画像の撮像を開始する。
なお、対象画像は、例えば手書きで数字の「8」を描画した画像であるものとする。また、メモリ13には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部12は、メモリ13からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、撮像装置1は、ローリングシャッタ方式により撮像を行うものとする。なお、撮像装置1がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。
撮像が開始されると、撮像装置1は、ステップS2で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部12により、読み出されたラインによる画像から、「8」または「9」の数字が識別される(ステップS3)。例えば、数字「8」および「9」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「8」および「9」の何れかであると識別できる。
ここで、ステップS4aに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップS2で数字の「8」または「9」の何れかとして識別されたオブジェクトが数字の「8」であることが確定される。
一方、ステップS4bおよびステップS4cは、本開示に関連する処理となる。
ステップS4bに示されるように、ステップS3で読み出しを行ったライン位置からさらにラインを読み進め、数字「8」の下端に達する途中でも、認識されたオブジェクトが数字の「8」であると識別することが可能である。例えば、数字「8」の下半分と、数字「9」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップS3で認識されたオブジェクトが数字の「8」および「9」の何れであるかが識別可能となる。図16の例では、ステップS4bにおいて、当該オブジェクトが数字の「8」であると確定されている。
また、ステップS4cに示されるように、ステップS3のライン位置から、ステップS3の状態においてさらに読み出すことで、ステップS3で識別されたオブジェクトが数字の「8」または「9」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップS3で識別されたオブジェクトが数字の「8」または「9」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。
ここで、上述したステップS4bまたはステップS4cでオブジェクトが確定された場合、撮像装置1は、認識処理を終了させることができる。これにより、撮像装置1における認識処理の短時間化および省電力化を実現することが可能となる。
なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ(ラインデータ、サブサンプルされたデータなど)を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ(ラインデータ、サブサンプルされたデータなど)を適用し、出力信号として物体クラス(人体/車両/非物体)や物体の座標(x,y,h,w)などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。
[4.第1の実施形態]
次に、本開示の第1の実施形態について説明する。
(4−1.認識処理部による動作例)
第1の実施形態に係る撮像装置1において、認識処理部12は、上述したように、所定の教師データに基づき予め学習された学習モデルとしてメモリ13に記憶されるプログラムを読み出して実行することで、DNNを利用した認識器として機能する。
図17は、第1の実施形態に係る認識処理部12による認識処理を示す一例のフローチャートである。図17において、ステップS121で、撮像装置1において、認識処理部12を構成するDSPは、メモリ13から学習モデルを読み出して実行する。これにより、当該DSPが認識処理部12として機能する。
次に、ステップS122で、撮像装置1において認識処理部12は、センサ制御部11に対してセンサ部10からのフレーム読み出しを開始するように指示する。このフレーム読出しでは、例えば、1フレーム分の画像データがライン単位(行単位ともいう)で順次読み出される。認識処理部12は、1フレームにおける所定ライン数の画像データが読み出されたか否かを判定する。
認識処理部12は、1フレームにおける所定ライン数の画像データが読み出されたと判定すると(ステップS123、「YES」)、処理をステップS124に移行させる。ステップS124で、認識処理部12は、読み出された所定ライン数分の画像データに対して、CNNを利用した機械学習処理としての認識処理を実行する。すなわち、認識処理部12は、所定ライン数の画像データを単位領域として、学習モデルを用いた機械学習処理を実行する。また、CNNを利用した機械学習処理では、例えば、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き(動物体)検出、ペット検出、シーン認識、状態検出、回避対象物認識、などの認識処理や検出処理が実行される。
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き(動物体)検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン(海や山等)を認識する処理である。状態検出とは、画像データに含まれる人物等の状態(通常の状態か異常の状態か等)を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。認識処理部12により実行される機械学習処理は、これらの例に限定されない。
ステップS125で、認識処理部12は、ステップS124によるCNNを利用した機械学習処理が成功したか否かを判定する。認識処理部12は、CNNを利用した機械学習処理に成功したと判定した場合(ステップS125、「YES」)、処理をステップS129に移行させる。一方、認識処理部12は、ステップS124によるCNNを利用した機械学習処理に失敗したと判定した場合(ステップS125、「NO」)、処理をステップS126に移行させる。ステップS126で、認識処理部12は、センサ制御部11から次の所定ライン数の画像データが読み出されるのを待機する(ステップS126、「NO」)。
なお、本説明において、機械学習処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、機械学習処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
次に、ステップS126において、次の所定ライン数の画像データ(単位領域)が読み出されると(ステップS126、「YES」)、認識処理部12は、ステップS127で、読み出された所定ライン数の画像データに対して、RNNを利用した機械学習処理を実行する。RNNを利用した機械学習処理では、例えば、同一フレームの画像データに対してこれまでに実行したCNNまたはRNNを利用した機械学習処理の結果も利用される。
ステップS128で、認識処理部12は、ステップS127におけるRNNを利用した機械学習処理に成功したと判定した場合(ステップS128、「YES」)、処理をステップS129に移行させる。
ステップS129で、認識処理部12は、ステップS124またはステップS127で成功した機械学習結果が、例えば、認識処理部12から出力制御部15に供給される。このステップS129で出力される機械学習結果は、例えば認識処理部12による有効な認識結果である。認識処理部12は、当該機械学習結果をメモリ13に格納してもよい。
また、認識処理部12は、ステップS128で、ステップS127におけるRNNを利用した機械学習処理に失敗したと判定した場合(ステップS128、「NO」)、処理をステップS130に移行させる。ステップS130で、認識処理部12は、1フレーム分の画像データの読出しが完了したか否かを判定する。認識処理部12は、1フレーム分の画像データの読出しが完了していないと判定した場合(ステップS130、「NO」)、処理をステップS126に戻し、次の所定ライン数の画像データに対する処理が実行される。
一方、認識処理部12は、ステップS130で1フレーム分の画像データの読出しが完了していると判定した場合(ステップS130、「YES」)、例えば、認識処理部12は、ステップS131で、この図17のフローチャートによる一連の処理を終了するか否かを判定する。認識処理部12は、終了しないと判定した場合(ステップS131、「NO」)、処理をステップS122に戻し、次のフレームに対して同様の動作を実行する。また、認識処理部12は、終了すると判定した場合(ステップS131、「YES」)、この図17のフローチャートによる一連の処理を終了させる。
なお、ステップS131による次のフレームへ移行するか否かの判定は、例えば、撮像装置1の外部から終了の指示が入力されたか否かに基づいて行ってもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて行ってもよい。
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き(動物体)検出やシーン認識や状態検出等の機械学習処理を連続して行なう場合、直前の機械学習処理に失敗している場合には、次の機械学習処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
(4−2.認識処理部による動作の具体例)
次に、図17を用いて説明した機械学習部の動作を、具体例を用いて説明する。なお、以下では、DNNを利用して顔検出を実行する場合を例示する。
図18は、1フレーム分の画像データの一例を示す図である。図19は、第1の実施形態に係る認識処理部12が実行する機械学習処理の流れを説明するための図である。
図18に示すような画像データに対して機械学習により顔検出を実行する場合、図19のセクション(a)に示すように、認識処理部12には、まず、所定ライン数分の画像データが入力される(図17のステップS123に相当)。認識処理部12は、入力された所定ライン数分の画像データに対してCNNを利用した機械学習処理を実行することで、顔検出を実行する(図17のステップS124に相当)。ただし、図19のセクション(a)の段階では、未だ顔全体の画像データが入力されていないため、認識処理部12は、顔検出に失敗する(図17のステップS125の「NO」に相当)。
つづいて、図19のセクション(b)に示すように、認識処理部12には、次の所定ライン数分の画像データが入力される(図17のステップS126に相当)。認識処理部12は、図19のセクション(a)で入力された所定ライン数分の画像データに対して実行したCNNを利用した機械学習処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してRNNを利用した機械学習処理を実行することで、顔検出を実行する(図17のステップS127に相当)。
図19のセクション(b)の段階では、図19のセクション(a)の段階で入力された所定ライン数分の画素データと合せて、顔全体の画像データが入力されている。したがって、図19のセクション(b)の段階において、認識処理部12は、顔検出に成功する(図17のステップS128の「YES」に相当)。すると、本動作では、次以降の画像データ(図19セクション(c)〜(f)の画像データ)が読み出されることなく、顔検出の結果が出力される(図17のステップS129に相当)。
このように、所定ライン数ずつの画像データに対してDNNを利用した機械学習処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや機械学習処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮および消費電力の低減を実現することが可能となる。
なお、所定ライン数は、学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は1ラインである。
また、センサ制御部11によりセンサ部10から読み出される画像データは、列方向および行方向のうち少なくとも一方に間引かれた画像データであってもよい。その場合、例えば、列方向に1行置きに画像データを読み出す場合には、2(N−1)(Nは1以上の整数)ライン目の画像データが読み出される。
また、学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、1×1画素や5×5画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、認識処理部12が機械学習処理を実行する単位領域の画像データとして、認識処理部12に入力されてもよい。
さらに、上述では、DNNの例としてCNNとRNNとを例示したが、これらに限定されず、他の学習モデルを利用することも可能である。
(4−3.第1の実施形態の応用例)
次に、第1の実施形態の応用例について説明する。ここでは、第1の実施形態の応用例として、例えば図17のフローチャートのステップS124でのCNNによる機械学習処理の結果や、ステップS127でのRNNによる機械学習処理の結果に基づき、次に読み出しを行う所定ライン数における露出を制御する例について説明する。図20Aおよび図20Bは、第1の実施形態の応用例について説明するための模式図である。
図20Aのセクション(a)は、露出オーバーの画像60aの例を示す模式図である。画像60aは、露出オーバーのため、画像60aが全体的に白っぽくなり、例えば画像60aに含まれるオブジェクトとしてのモニタ62は、画面内が所謂白飛びしており人の目には細部の判別が困難となっている。一方、画像60aに含まれるオブジェクトとしての人61は、露出オーバーのため若干白っぽくなっているが、モニタ62と比較すると、人の目には識別が容易に見える。
図20Aのセクション(b)は、露出アンダーの画像60bの例を示す模式図である。画像60bは、露出アンダーのため、画像60bが全体的に黒っぽくなり、例えば画像60aでは見えていた人61が人の目に識別困難となってしまっている。一方、画像60bに含まれるモニタ62は、画像60aと比較して、人の目には細部まで詳細に識別可能となっている。
図20Bは、第1の実施形態の応用例に係る読み出し方法を説明するための模式図である。図20Bのセクション(a)および(b)では、上述した図17のフローチャートのステップS122において、フレーム読み出しを露出アンダーの状態で開始する場合について示されている。
図20Bのセクション(a)は、第1の実施形態の応用例における第1の例による読み出し方法を示している。図20Bのセクション(a)の画像60cにおいて、例えばフレームの先頭のラインL#1のステップS124によるCNNを利用した認識処理が失敗、あるいは、認識結果の信頼度を示すスコアが所定以下であったものとする。この場合、認識処理部12は、ステップS126で読み出すラインL#2の露出を、認識処理に適した露出に設定(この場合、露出量を多く設定)するように、センサ制御部11に指示する。なお、図20Bにおいて、ラインL#1、L#2、…は、それぞれ1本のラインであってもよいし、互いに隣接する複数ラインであってもよい。
図20Bのセクション(a)の例では、ラインL#2の露出量をラインL#1の露出量より多くしている。その結果、ラインL#2が露出オーバーになり、例えばステップS127によるRNNを利用した認識処理が失敗あるいはスコアが所定以下であったものとする。認識処理部12は、ステップS130からステップS126に処理が戻されて読み出されるラインL#3の露出量をラインL#2の露出量よりも少なく設定するように、センサ制御部11に指示する。ラインL#4、…、L#m、…についても、同様に、認識処理の結果に応じて次のラインの露出量を順次に設定していく。
このように、あるラインの認識結果に基づき次に読み出しを行うラインの露出量を調整することで、より高精度に認識処理を実行することが可能となる。
また、上述の応用例のさらなる応用として、図20Bのセクション(b)に示されるように、所定のラインまで読み出した時点で露出を再設定し、再びフレームの先頭のラインから読み出しを実行する方法も考えられる。図20Bのセクション(b)に示されるように、認識処理部12は、上述したセクション(a)と同様にして、フレームの先頭のラインL#1から例えばラインL#mまで読み出しを行い(1st)、その認識結果に基づき露出を再設定する。認識処理部12は、再設定された露出に基づき再びフレームの各ラインL#1、L#2、…の読み出しを行う(2nd)。
このように、所定数のラインの読み出しを行った結果に基づき露出を再設定し、再設定された露出に基づき再びフレームの先頭からラインL#1、L#2、…を読み直すことで、さらに高精度に認識処理を実行することが可能となる。
[5.第2の実施形態]
(5−0−1.第2の実施形態に係る構成例)
次に、本開示の第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態による認識処理を拡張したものである。図21は、第2の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。なお、図21において、図1に示される光学部30、センサ部10、メモリ13および表示部31は、省略されている。また、図21において、図1の構成に対してトリガ生成部16が追加されている。
図21において、センサ制御部11は、読出部110と読出制御部111とを含む。認識処理部12は、特徴量計算部120と、特徴量蓄積制御部121と、読出決定部123と、認識処理実行部124と、を含み、特徴量蓄積制御部121は、特徴量蓄積部122を含む。また、視認処理部14は、画像データ蓄積制御部140と、読出決定部142と、画像処理部143と、を含み、画像データ蓄積制御部140は、画像データ蓄積部141を含む。
センサ制御部11において、読出制御部111は、認識処理部12に含まれる読出決定部123から、認識処理部12において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、1または複数のラインのライン番号である。これに限らず、読出領域情報は、1つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、1以上のライン番号と、ライン内の1以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。
同様に、読出制御部111は、視認処理部14に含まれる読出決定部142から、視認処理部14において読み出しを行う読出領域を示す読出領域情報を受け取る。
読出制御部111は、これら読出決定部123および142に基づき、実際に読み出しを行う読出領域を示す読出領域情報を読出部110に渡す。例えば、読出制御部111は、読出決定部123から受け取った読出領域情報と、読出決定部142から受け取った読出領域情報と、にコンフリクトが生じている場合、調停を行い読出部110に渡す読出領域情報を調整することができる。
また、読出制御部111は、読出決定部123、あるいは、読出決定部142から露出やアナログゲインを示す情報を受け取ることができる。読出制御部111は、受け取った露出やアナログゲインを示す情報を、読出部110に渡す。
読出部110は、読出制御部111から渡された読出領域情報に従い、センサ部10からの画素データの読み出しを行う。例えば、読出部110は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部10に渡す。読出部110は、センサ部10から取得した各画素データを、読出領域情報と共に、認識処理部12および視認処理部14に渡す。
また、読出部110は、読出制御部111から受け取った露出やアナログゲインを示す情報に従い、センサ部10に対して露出やアナログゲイン(AG)を設定する。さらに、読出部110は、垂直同期信号および水平同期信号を生成し、センサ部10に供給することができる。
認識処理部12において、読出決定部123は、特徴量蓄積制御部121から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部123は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部111に渡す。
ここで、読出決定部123は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、1つ以上の画素の集合であり、認識処理部12や視認処理部14による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号[L#x]が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、当該矩形領域の画素アレイ部101における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出決定部123は、適用される読出単位が予め指定される。これに限らず、読出決定部123は、例えば読出決定部123の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出決定部123は、読出単位を制御する読出単位制御部として機能する。
なお、読出決定部123は、後述する認識処理実行部124から渡される認識情報に基づき次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。
同様に、視認処理部14において、読出決定部142は、例えば画像データ蓄積制御部140から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出決定部142は、受け取った読出情報に基づき読出領域情報を生成し、読出制御部111に渡す。
認識処理部12において、特徴量計算部120は、読出部110から渡された画素データおよび読出領域情報に基づき、当該読出領域情報に示される領域における特徴量を算出する。特徴量計算部120は、算出した特徴量を、特徴量蓄積制御部121に渡す。
特徴量計算部120は、後述するように、読出部110から渡された画素データと、特徴量蓄積制御部121から渡された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部120は、例えば読出部110から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。
認識処理部12において、特徴量蓄積制御部121は、特徴量計算部120から渡された特徴量を、特徴量蓄積部122に蓄積する。また、特徴量蓄積制御部121は、特徴量計算部120から特徴量が渡されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部123に渡す。
ここで、特徴量蓄積制御部121は、既に蓄積された特徴量と、新たに渡された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部121は、特徴量蓄積部122に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部121は、必要に応じて特徴量蓄積部122に蓄積された全ての特徴量を削除して初期化することもできる。
また、特徴量蓄積制御部121は、特徴量計算部120から渡された特徴量と、特徴量蓄積部122に蓄積される特徴量と、に基づき認識処理実行部124が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部121は、生成した特徴量を認識処理実行部124に渡す。
認識処理実行部124は、特徴量蓄積制御部121から渡された特徴量に基づき認識処理を実行する。認識処理実行部124は、認識処理により物体検出、顔検出などを行う。認識処理実行部124は、認識処理により得られた認識結果を出力制御部15に渡す。認識処理実行部124は、認識処理により生成される認識結果を含む認識情報を読出決定部123に渡すこともできる。なお、認識処理実行部124は、例えばトリガ生成部16により生成されたトリガを切掛に特徴量蓄積制御部121から特徴量を受け取って認識処理を実行することができる。
一方、視認処理部14において、画像データ蓄積制御部140は、読出部110から、読出領域から読み出された画素データと、当該画像データに対応する読出領域情報と、を受けとる。画像データ蓄積制御部140は、これら画素データおよび読出領域情報と、を関連付けて画像データ蓄積部141に蓄積する。
画像データ蓄積制御部140は、読出部110から渡された画素データと、画像データ蓄積部141に蓄積された画像データと、に基づき、画像処理部143が画像処理を行うための画像データを生成する。画像データ蓄積制御部140は、生成した画像データを画像処理部143に渡す。これに限らず、画像データ蓄積制御部140は、読出部110から渡された画素データを、そのまま画像処理部143に渡すこともできる。
また、画像データ蓄積制御部140は、読出部110から渡された読出領域情報に基づき、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出決定部142に渡す。
ここで、画像データ蓄積制御部140は、既に蓄積された画像データと、新たに渡された画素データとを、例えば加算平均などにより統合して蓄積することができる。また、画像データ蓄積制御部140は、画像データ蓄積部141に蓄積された画像データのうち、不要になった画像データを削除することができる。不要になった画像データは、例えば前フレームに係る画像データや、新たな画像データが算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された画像データなどが考えられる。また、画像データ蓄積制御部140は、必要に応じて画像データ蓄積部141に蓄積された全ての画像データを削除して初期化することもできる。
さらに、画像データ蓄積制御部140は、読出部110から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報を用いて補正した画像データを、画像データ蓄積部141に蓄積することもできる。
画像処理部143は、画像データ蓄積制御部140から渡された画像データに対して所定の画像処理を施す。例えば、画像処理部143は、当該画像データに対して所定の高画質化処理を施すことができる。また、渡された画像データがライン間引きなどにより空間的にデータが削減された画像データである場合、補間処理により間引きされた部分に画像情報を補填することも可能である。画像処理部143は、画像処理を施した画像データを出力制御部15に渡す。
なお、画像処理部143は、例えばトリガ生成部16により生成されたトリガを切掛に画像データ蓄積制御部140から画像データを受け取って画像処理を実行することができる。
出力制御部15は、認識処理実行部124から渡された認識結果と、画像処理部143から渡された画像データと、のうち一方または両方を出力する。出力制御部15は、例えばトリガ生成部16により生成されたトリガに応じて、認識結果および画像データのうち一方または両方を出力する。
トリガ生成部16は、認識処理部12から渡される認識処理に係る情報と、視認処理部14から渡される画像処理に係る情報とに基づき、認識処理実行部124に渡すトリガと、画像処理部143に渡すトリガと、出力制御部15に渡すトリガと、を生成する。トリガ生成部16は、生成した各トリガを、それぞれ所定のタイミングで認識処理実行部124と、画像処理部143と、出力制御部15と、に渡す。
(5−0−2.第2の実施形態に係る認識処理部における処理の例)
図22は、第2の実施形態に係る認識処理部12における処理の例について、より詳細に示す模式図である。ここでは、読出領域がラインとされ、読出部110が、画像60のフレーム上端から下端に向けて、ライン単位で画素データを読み出すものとする。読出部110にライン単位で読み出されたラインL#xのライン画像データ(ラインデータ)が特徴量計算部120に入力される。
特徴量計算部120では、特徴量抽出処理1200と、統合処理1202とが実行される。特徴量計算部120は、入力されたラインデータに対して特徴量抽出処理1200を施して、ラインデータから特徴量1201を抽出する。ここで、特徴量抽出処理1200は、予め学習により求めたパラメータに基づき、ラインデータから特徴量1201を抽出する。特徴量抽出処理1200により抽出された特徴量1201は、統合処理1202により、特徴量蓄積制御部121により処理された特徴量1212と統合される。統合された特徴量1210は、特徴量蓄積制御部121に渡される。
特徴量蓄積制御部121では、内部状態更新処理1211が実行される。特徴量蓄積制御部121に渡された特徴量1210は、認識処理実行部124に渡される共に、内部状態更新処理1211を施される。内部状態更新処理1211は、予め学習されたパラメータに基づき特徴量1210を削減してDNNの内部状態を更新し、更新された内部状態に係る特徴量1212を生成する。この特徴量1212が統合処理1202により特徴量1201と統合される。この特徴量蓄積制御部121による処理が、RNNを利用した処理に相当する。
認識処理実行部124は、特徴量蓄積制御部121から渡された特徴量1210に対して、例えば所定の教師データを用いて予め学習されたパラメータに基づき認識処理1240を実行し、認識結果を出力する。
上述したように、第2の実施形態に係る認識処理部12では、特徴量抽出処理1200と、統合処理1202と、内部状態更新処理1211と、認識処理1240と、において、予め学習されたパラメータに基づき処理が実行される。パラメータの学習は、例えば想定される認識対象に基づく教師データを用いて行われる。
なお、上述した特徴量計算部120、特徴量蓄積制御部121、読出決定部123および認識処理実行部124の機能は、例えば、撮像装置1が備えるDSPに、メモリ13などに記憶されるプログラムが読み込まれて実行されることで実現される。同様に、上述した画像データ蓄積制御部140、読出決定部142および画像処理部143の機能は、例えば、撮像装置1が備えるISPに、メモリ13などに記憶されるプログラムが読み込まれて実行されることで実現される。これらのプログラムは、予めメモリ13に記憶されていてもよいし、外部から撮像装置1に供給してメモリ13に書き込んでもよい。
(5−0−3.第2の実施形態に係る認識処理の詳細)
次に、第2の実施形態についてより詳細に説明する。図23は、第2の実施形態に係る機能を説明するための一例の機能ブロック図である。第2の実施形態では、認識処理部12による認識処理が主となるので、図23では、上述した図21の構成に対して、視認処理部14、出力制御部15およびトリガ生成部16を省略している。また、図23では、センサ制御部11において、読出制御部111が省略されている。
図24は、第2の実施形態に係るフレームの読み出し処理を説明するための模式図である。第2の実施形態では、読出単位がラインとされ、フレームFr(x)に対してライン順次で画素データの読み出しが行われる。図24の例では、第mのフレームFr(m)において、フレームFr(m)の上端のラインL#1からライン順次でラインL#2、L#3、…とラインの読み出しが行われる。フレームFr(m)におけるライン読み出しが完了すると、次の第(m+1)のフレームFr(m+1)において、同様にして上端のラインL#1からライン順次でラインの読み出しが行われる。
図25は、第2の実施形態に係る認識処理を概略的に示す模式図である。図25に示されるように、認識処理は、CNN52’による処理および内部情報の更新55を、各ラインL#1、L#2、L#3…の画素情報54それぞれに対して順次に実行することで行われる。そのため、CNN52’には1ライン分の画素情報54を入力すればよく、認識器56を極めて小規模に構成することが可能である。なお、認識器56は、順次に入力される情報に対してCNN52’による処理を実行し内部情報の更新55を行うことから、RNNとしての構成を有する。
ライン順次の認識処理を、RNNを用いて行うことで、フレームに含まれる全てのラインを読み出さなくても、有効な認識結果が得られる場合がある。この場合、認識処理部12は、有効な認識結果が得られた時点で、認識処理を終了させることができる。図26および図27を用いて、フレーム読み出しの途中で認識処理を終了させる例について説明する。
図26は、認識対象が数字の「8」である場合の例を示す図である。図26の例では、フレーム70において、垂直方向の3/4程度の範囲71が読み出された時点で数字「8」が認識されている。したがって、認識処理部12は、この範囲71が読み出された時点で数字の「8」が認識された旨を示す有効な認識結果を出力し、フレーム70に対するライン読み出しおよび認識処理を終了させることができる。
図27は、認識対象が人である場合の例を示す図である。図27の例では、フレーム72において、垂直方向の1/2程度の範囲73が読み出された時点で、人74が認識されている。したがって、認識処理部12は、この範囲73が読み出された時点で人74が認識された旨を示す有効な認識結果を出力し、フレーム72に対するライン読み出しおよび認識処理を終了させることができる。
このように、第2の実施形態では、フレームに対するライン読み出しの途中で有効な認識結果が得られた場合に、ライン読み出しおよび認識処理を終了させることができる。そのため、認識処理における省電力化が可能となると共に、認識処理に要する時間を短縮することが可能となる。
上述では、ライン読み出しをフレームの上端側から下端側に向けて行っているが、これはこの例に限定されない。例えば、ライン読み出しをフレームの下端側から上端側へ向けて行ってもよい。すなわち、撮像装置1に対して遠方にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの上端側から下端側に向けて行うことで、より早期に認識することが可能である。一方、撮像装置1に対して手前側にある物体によるオブジェクトは、一般的には、ライン読み出しをフレームの下端側から上端側に向けて行うことで、より早期に認識することが可能である。
例えば、当該撮像装置1を車載用として前方を撮像するように設置することを考える。この場合、手前の物体(例えば自車の前方の車両や歩行者)は、撮像される画面の下の部分に存在するため、ライン読み出しをフレームの下端側から上端側に向けて行うと、より効果的である。また、ADAS(Advanced driver-assistance systems)において即時停止が必要な場合は、該当する物体が少なくとも1つ認識されればよく、1つの物体が認識された場合に、再びフレームの下端側からライン読み出しを実行することが、より効果的であると考えられる。さらに、例えば高速道路などでは、遠方の物体が優先される場合がある。この場合には、フレームの上端側から下端側に向けてライン読み出しを実行することが好ましい。
さらに、読出単位を、画素アレイ部101における行列方向のうち列方向としてもよい。例えば、画素アレイ部101において1列に並ぶ複数の画素を、読出単位とすることが考えられる。撮像方式としてグローバルシャッタ方式を適用することで、列を読出単位とする列読み出しが可能である。グローバルシャッタ方式では、列読み出しとライン読み出しとを切り替えて実行することが可能である。読み出しを列読み出しに固定的とする場合、例えば画素アレイ部101を90°回転させ、ローリングシャッタ方式を用いることが考えられる。
例えば、撮像装置1に対して左側にある物体のオブジェクトは、列読み出しによりフレームの左端側から順次に読み出しを行うことで、より早期に認識することが可能である。同様に、撮像装置1に対して右側にある物体のオブジェクトは、列読み出しによりフレームの右端側から順次に読み出しを行うことで、より早期に認識することが可能である。
当該撮像装置1を車載用として用いる例では、例えば車両が旋回している際には、旋回側にある物体のオブジェクトが優先される場合がある。このような場合、旋回側の端から列読み出しにより読み出しを行うことが好ましい。旋回方向は、例えば車両のステアリング情報に基づき取得することができる。これに限らず、例えば撮像装置1に対して3方向の角速度を検知可能なセンサを設け、このセンサの検知結果に基づき旋回方向を取得することが可能である。
図28は、第2の実施形態に係る認識処理を示す一例のフローチャートである。この図28のフローチャートによる処理は、例えばフレームからの読出単位(例えば1ライン)の画素データの読み出しに対応する処理である。ここでは、読出単位がラインであるものとして説明を行う。例えば、読出領域情報は、読出を行うラインを示すライン番号を用いることができる。
ステップS100で、認識処理部12は、フレームの読出ラインで示されるラインからラインデータの読み出しを行う。より具体的には、認識処理部12において読出決定部123は、次に読み出しを行うラインのライン番号をセンサ制御部11に渡す。センサ制御部11において、読出部110は、渡されたライン番号に従い、センサ部10から、当該ライン番号に示されるラインの画素データをラインデータとして読み出す。読出部110は、センサ部10から読み出したラインデータを特徴量計算部120に渡す。また、読出部110は、画素データの読み出しを行った領域を示す読出領域情報(例えばライン番号)を、特徴量計算部120に渡す。
次のステップS101で、特徴量計算部120は、読出部110から渡された画素データに基づき、ラインデータに基づく特徴量を計算し、ラインの特徴量を算出する。次のステップS102で、特徴量計算部120は、特徴量蓄積制御部121から、特徴量蓄積部122に蓄積されている特徴量を取得する。次のステップS103で、特徴量計算部120は、ステップS101で算出された特徴量と、ステップS102で特徴量蓄積制御部121から取得した特徴量と、を統合する。統合された特徴量は、特徴量蓄積制御部121に渡される。特徴量蓄積制御部121は、特徴量計算部120から渡された統合された特徴量を、特徴量蓄積部122に蓄積する(ステップS104)。
なお、ステップS100からの一連の処理がフレームの先頭のラインに対する処理であり、且つ、特徴量蓄積部122が例えば初期化されている場合には、ステップS102およびステップS103による処理を省略することができる。またこのとき、ステップS104による処理は、当該先頭のラインに基づき計算されたライン特徴量を特徴量蓄積部122に蓄積する処理となる。
また、特徴量蓄積制御部121は、特徴量計算部120から渡された統合された特徴量を、認識処理実行部124にも渡す。ステップS105で、認識処理実行部124は、特徴量蓄積制御部121から渡された、統合された特徴量を用いて認識処理を実行する。次のステップS106で、認識処理実行部124は、ステップS105の認識処理による認識結果を出力する。
ステップS107で、認識処理部12において読出決定部123は、特徴量蓄積制御部121から渡された読出情報に従い次の読み出しを行う読出ラインを決定する。例えば、特徴量蓄積制御部121は、特徴量計算部120から、特徴量と共に、読出領域情報を受けとる。特徴量蓄積制御部121は、この読出領域情報に基づき、例えば予め指定された読出パターン(この例ではライン順次)に従い、次に読み出しを行う読出ラインを決定する。この決定された読出ラインに対して、ステップS100からの処理が再び実行される。
(5−0−4.第2の実施形態に係る読み出しおよび認識処理の制御例)
次に、第2の実施形態に係る読み出しおよび認識処理の制御の例について説明する。図29Aおよび図29Bは、第2の実施形態に係る読み出しおよび認識処理の制御の例を示す一例のタイムチャートである。図29Aおよび図29Bの例では、1撮像周期(1フレーム周期)内に撮像動作を行わないブランク期間blkを設ける例である。図29Aおよび図29Bにおいて、右方向に時間が進行することを示している。
図29Aは、撮像周期の例えば1/2の期間を連続的にブランク期間blkに割り当てる例である。図29Aにおいて、撮像周期は、フレーム周期であって、例えば1/30[sec]である。センサ部10からのフレームの読み出しは、このフレーム周期で行われる。撮像時間は、フレームに含まれる全てのラインの撮像を行うために要する時間である。図29Aの例では、フレームがn本のラインを含むものとし、ラインL#1〜ラインL#nのn本のラインの撮像を、1/30[sec]のフレーム周期に対して1/2の期間の1/60[sec]で完了している。1ラインの撮像に割り当てられる時間は、1/(60×n)[sec]となる。フレームにおいて最後のラインL#nを撮像したタイミングから、次のフレームの先頭のラインL#1を撮像するタイミングまでの1/30[sec]の期間は、ブランク期間blkとされている。
例えばラインL#1の撮像が終了したタイミングで、次のラインL#2の撮像が開始されると共に、認識処理部12により、当該ラインL#1に対するライン認識処理、すなわち、ラインL#1に含まれる画素データに対する認識処理が実行される。認識処理部12は、ラインL#1に対するライン認識処理を、次のラインL#2の撮像が開始される前に終了させる。認識処理部12は、ラインL#1に対するライン認識処理が終了されると、当該認識処理の認識結果を出力する。
次のラインL#2についても同様に、ラインL#2の撮像が終了したタイミングで次のラインL#3の撮像が開始されると共に、認識処理部12により、当該ラインL#2に対するライン認識処理が実行され、実行されたライン認識処理が次のラインL#3の撮像の開始前に終了される。図29Aの例では、このように、ラインL#1、L#2、#3、…、L#m、…の撮像が順次に実行される。そして、各ラインL#1、L#2、L#3、…、L#m、…それぞれにおいて、撮像の終了のタイミングで、撮像が終了されたラインの次のラインの撮像が開始されると共に、撮像が終了したラインに対するライン認識処理が実行される。
このように、読み出し単位(この例ではライン)毎に、逐次に認識処理を実行することで、認識器(認識処理部12)にフレームの画像データを全て入力しなくても、認識結果を逐次に得ることができ、認識結果が得られるまでの遅延を低減させることが可能となる。また、あるラインで有効な認識結果が得られた場合、その時点で、認識処理を終了させることができ、認識処理の時間の短縮や、省電力化が可能となる。また、各ラインの認識結果などに対し、時間軸で情報伝播を行い統合することで、認識精度を徐々に向上させていくことが可能となる。
なお、図29Aの例では、フレーム周期内のブランク期間blkにおいて、フレーム周期内に実行されるべき他の処理(例えば認識結果を用いた視認処理部14における画像処理)を実行することができる。
図29Bは、1ラインの撮像毎にブランク期間blkを設ける例である。図29Bの例では、フレーム周期(撮像周期)が図29Aの例と同様の1/30[sec]とされている。一方、撮像時間は、撮像周期と同一の1/30[sec]とされている。また、図29Bの例では、1フレーム周期において、ラインL#1〜ラインL#nのn本のラインの撮像が1/(30×n)[sec]の時間間隔で実行され、1ライン分の撮像時間が1/(60×n)[sec]であるものとする。
この場合、各ラインL#1〜L#nの撮像毎に、1/(60×n)[sec]のブランク期間blkを設けることが可能となる。この各ラインL#1〜L#nのブランク期間blkそれぞれにおいて、対応するラインの撮像画像に対して実行されるべき他の処理(例えば認識結果を用いた視認処理部14における画像処理)を実行することができる。このとき、この他の処理に対して、対象のラインの次のラインの撮像が終了する直前までの時間(この例では略1/(30×n)[sec])を、割り当てることができる。この図29Bの例では、この他の処理の処理結果をライン毎に出力することができ、他の処理による処理結果をより迅速に取得することが可能となる。
図30は、第2の実施形態に係る読み出しおよび認識処理の制御の別の例を示す一例のタイムチャートである。上述した図29の例では、フレームに含まれる全ラインL#1〜L#nの撮像を、フレーム周期の1/2の期間で完了させ、フレーム周期の残りの1/2の期間をブランク期間としていた。これに対して、図30に示す例では、フレーム周期内にブランク期間を設けずに、フレームに含まれる全ラインL#1〜L#nの撮像をフレーム周期の全期間を用いて行う。
ここで、1ラインの撮像時間を図29Aおよび図29Bと同一の1/(60×n)[sec]とし、フレームに含まれるライン数を、図29Aおよび図29Bと同一のn本とした場合、フレーム周期すなわち撮像周期は、1/60[sec]となる。したがって、図30に示すブランク期間blkを設けない例では、上述した図29Aおよび図29Bの例に対して、フレームレートを高速化することができる。
[6.第3の実施形態]
次に、本開示の第3の実施形態について説明する。第3の実施形態は、認識処理部12による認識結果と、視認処理部14による視認用の画像データと、の出力のタイミングを制御する例である。第3の実施形態では、図21を参照し、トリガ生成部16で生成されたトリガ信号に基づき、認識処理実行部124からの認識結果の出力と、画像処理部143からの画像データの出力と、を制御する。
(6−0.第3の実施形態の概要)
図31は、第3の実施形態に係る出力制御処理の概要を説明するための一例のフローチャートである。図31のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部11は、センサ部10からライン単位で画素データを読み出すものとする。
ステップS200で、読出部110は、センサ部10からライン単位の画素データ(以下、適宜、ラインデータと呼ぶ)を読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。視認処理部14は、読出部110から渡された画素データを画像データ蓄積制御部140に渡す。画像データ蓄積制御部140は、例えば、渡された画素データを例えば画像データ蓄積部141に蓄積すると共に、画像処理部143に渡す。
一方、認識処理部12は、ステップS201で、読出部110から渡されたラインデータに基づく特徴量計算部120による特徴量の計算、計算された特徴量の特徴量蓄積部122への蓄積、特徴量蓄積部122に蓄積された、統合された特徴量に基づく認識処理実行部124による認識処理、などを実行する。次のステップS202で、認識処理部12は、認識処理実行部124から認識処理による認識結果を出力する。次のステップS203で、認識処理部12において、読出決定部123は、次の読出ラインを示す読出領域情報を生成してセンサ制御部11に渡す。
次のステップS204で、トリガ生成部16は、例えばステップS202での認識結果の出力に応じて、画像処理部143から視認用画像の出力を行うか否かを判定する。トリガ生成部16は、視認用画像の出力を行わないと判定した場合(ステップS204、「No」)、処理をステップS206に移行させる。一方、トリガ生成部16は、視認用画像の出力を行うと判定した場合(ステップS204、「Yes」)、処理をステップS205に移行させる。
ステップS205で、トリガ生成部16は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部124および画像処理部143と、出力制御部15と、に渡される。認識処理実行部124および画像処理部143は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部124および画像処理部143から出力された認識結果および画像データは、それぞれ出力制御部15に渡される。
次のステップS206で、出力制御部15は、ステップS205でトリガ生成部16から渡されたトリガ信号に応じて出力制御処理を行い、認識結果および画像データを後段に出力する。
このように、トリガ生成部16により生成されたトリガ信号に応じて認識処理実行部124および画像処理部143と、出力制御部15とを制御することで、認識結果および画像データを適切なタイミングで出力することが可能となる。
(6−0−1.時間によるトリガ信号出力の例)
図32は、第3の実施形態に係る出力制御処理の例を模式的に示す模式図である。ここでは、トリガ生成部16が時間に基づきトリガ信号を出力する場合について説明する。
図32において、撮像装置1(図1参照)により、認識対象となる対象画像(手書きの数字の「8」)の撮像を開始し、ステップS10で、センサ制御部11は、認識処理部12から渡される読出領域情報に従い、時間t0において、フレームのライン単位での読み出しが開始される。センサ制御部11は、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。
ある位置までラインが読み出されると、認識処理部12により、読み出されたラインによる画像から、「8」または「9」の数字が識別される(ステップS11)。認識処理部12において、読出決定部123は、特徴量蓄積制御部121から渡された統合された特徴量に基づき、ステップS11で識別されたオブジェクトが数字の「8」または「9」の何れであるかを識別可能と予測されるラインを指定する読出領域情報を生成し、読出部110に渡す。そして、認識処理部12は、読出部110により指定されたラインを読み出した画素データに基づき認識処理を実行する(ステップS12)。
トリガ生成部16は、読み出し開始の時間t0から所定時間が経過した時間tTRGにおいて、トリガ信号を出力する。例えば、フレームのライン単位での読み出しがフレーム周期で行われる場合、トリガ生成部16は、フレーム周期に対応する一定時間毎にトリガ信号を出力することになる。この図32の例では、ステップS12の処理の時点で時間tTRGが経過し、トリガ生成部16がトリガ信号を出力している。このトリガ信号に応じて、認識処理実行部124から認識結果が出力されると共に、画像処理部143から画像データが出力される。また、出力制御部15は、このトリガ信号に応じて、認識処理実行部124から出力された認識結果と、画像処理部143から出力された画像データと、を後段に出力する。
なお、認識処理部12は、視認処理部14やトリガ生成部16などとは異なるタイミングで処理を実行する。そのため、認識処理部12は、時間tTRGより時間的に前に認識処理が完了している場合がある。その場合には、認識処理部12は、トリガ生成部16から時間tTRGにトリガ信号が出力されるまで、次の処理を待機する。
またこの場合、視認処理部14は、認識処理部12における認識処理が完了した時点でフレームから読み出されていない未処理のラインが存在する場合には、その未処理のラインをさらに読み出すことができる。出力制御部15は、視認処理部14に読み出された未処理のラインのラインデータを、認識処理部12による認識処理のために読み出したラインデータと合わせて出力することができる。
一方、認識処理部12は、時間tTRGの時点で認識処理が完了していない場合もある。その場合には、認識処理部12は、トリガ信号に応じて、時間tTRGの時点での認識結果を出力する。
図33Aおよび図33Bは、それぞれ、第3の実施形態に係る撮像装置1の、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ示す機能ブロック図である。図33Aおよび図33Bは、それぞれ、上述した図21の構成から、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ抜き出して示している。
図33Aに示されるように、トリガ生成部16aは、一定時間毎にトリガ信号を認識処理実行部124に対して出力する。また、図33Bに示されるように、トリガ生成部16aは、一定時間毎にトリガ信号を画像処理部143に対して出力する。
図34は、第3の実施形態に係る、時間に応じてトリガ信号を出力する場合の処理を示す一例のフローチャートである。図34において、ステップS200〜ステップS203の処理は、上述した図31のフローチャートによるステップS200〜ステップS203の処理と同様である。
すなわち、ステップS200で、読出部110は、センサ部10からラインデータを読み出して、認識処理部12および視認処理部14に渡す。視認処理部14は、読出部110から渡された画素データを画像データ蓄積制御部140に渡す。画像データ蓄積制御部140は、例えば、渡された画素データを例えば画像データ蓄積部141に蓄積すると共に、画像処理部143に渡す。
認識処理部12は、ステップS201で、読出部110から渡されたラインデータに基づく特徴量の計算、計算された特徴量の蓄積、蓄積された、統合された特徴量に基づく認識処理、などを実行する。次のステップS202で、認識処理部12は、認識処理実行部124から認識処理による認識結果を出力する。次のステップS203で、認識処理部12において、読出決定部123は、次の読出ラインを示す読出領域情報を生成してセンサ制御部11に渡す。
次のステップS2040で、トリガ生成部16は、ステップS200のライン読み出し開始から一定時間が経過したか否かを判定する。経過していないと判定した場合(ステップS2040、「No」)、この図34のフローチャートによる一連の処理が終了される。一方、トリガ生成部16は、一定時間が経過したと判定した場合(ステップS2040、「Yes」)、処理をステップS205に移行させる。
ステップS205で、トリガ生成部16は、出力処理を実行して、トリガ信号を出力する。トリガ信号は、認識処理実行部124および画像処理部143と、出力制御部15と、に渡される。認識処理実行部124および画像処理部143は、このトリガ信号に応じて、それぞれ認識結果および画像データを出力する。これら認識処理実行部124および画像処理部143から出力された認識結果および画像データは、それぞれ出力制御部15を介して後段に出力される。
このように、第3の実施形態では、トリガ生成部16により一定周期でトリガ信号が出力されるため、認識結果および視認用の画像データを、一定周期、例えばフレーム周期で出力することができる。
[6−1.第3の実施形態の第1の変形例]
次に、第3の実施形態の第1の変形例について説明する。第3の実施形態の第1の変形例は、トリガ信号を、センサ制御部11によりフレームから読み出された領域に応じて生成する例である。
図35は、第3の実施形態の第1の変形例に係る出力制御処理の例を模式的に示す模式図である。図35において、セクション(a)は、センサ制御部11がフレームから読み出した領域の、フレーム全体に対する割合(読出領域の割合)の時間変化を示している。また、セクション(b)は、上述した図32に対応する図であって、センサ制御部11によるフレーム読み出しの様子を模式的に示している。すなわち、ステップS10でフレームがライン順次で読み出され、ステップS11でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップS12で認識結果が出力される。
図35のセクション(a)において、読出領域の割合は、ステップS11まで一定の速度で変化し、ステップS11からは、ステップS11よりも小さい速度で変化している。ここで、トリガ生成部16は、読出領域の割合が閾値Rthに達した時間tTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部124から認識結果が出力されると共に、画像処理部143から画像データが出力される。また、出力制御部15は、このトリガ信号に応じて、認識処理実行部124から出力された認識結果と、画像処理部143から出力された画像データと、を後段に出力する。
図36Aおよび図36Bは、それぞれ、第3の実施形態の第1の変形例に係る撮像装置1の、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ示す機能ブロック図である。図36Aおよび図36Bは、それぞれ、上述した図21の構成から、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ抜き出して示している。
図36Aおよび図36Bにそれぞれに示されるように、トリガ生成部16bは、センサ制御部11の読出制御部111から読出領域情報を受け取り、受け取った読出領域情報に基づき読出領域の割合を求める。トリガ生成部16bは、求めた読出領域の割合が閾値Rthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部124と(図36A参照)、画像処理部143と(図36B参照)と、に対してそれぞれ出力する。
図37は、第3の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。図37において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。ステップS203で、認識処理部12において、読出決定部123により、次の読出ラインを示す読出領域情報がセンサ制御部11に渡されると、処理がステップS2041に移行される。
ステップS2041で、トリガ生成部16bは、センサ制御部11から受け取った読出領域情報に基づき、読出領域の割合が閾値Rthを超えているか否かを判定する。超えていないと判定した場合(ステップS2041、「No」)、この図37のフローチャートによる一連の処理が終了される。その後、例えばステップS200から、次のラインデータの読み出しが行われる。
一方、トリガ生成部16bは、読出領域の割合が閾値Rthを超えていると判定した場合(ステップS2041、「Yes」)、処理をステップS205に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部124および画像処理部143により、それぞれ認識結果および画像データが出力される。
このように、第3の実施形態の第1の変形例では、トリガ生成部16bにより読出領域の割合に応じてトリガ信号が出力されるため、フレームにおける一定以上の領域の画像データを、視認用の画像データとして出力することができる。
[6−2.第3の実施形態の第2の変形例]
次に、第3の実施形態の第2の変形例について説明する。第3の実施形態の第2の変形例は、トリガ信号を、認識処理実行部124による認識処理の結果の確からしさを示す認識確信度に応じて生成する例である。
図38は、第3の実施形態の第1の変形例に係る出力制御処理の例を模式的に示す模式図である。図38において、セクション(a)は、センサ制御部11がフレームから読み出したラインデータに対する認識処理実行部124による認識処理の認識確信度を示す認識確信度スコアの時間変化を示している。また、セクション(b)は、上述した図32に対応する図であって、センサ制御部11によるフレーム読み出しの様子を模式的に示している。すなわち、ステップS10でフレームがライン順次で読み出され、ステップS11でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップS12で認識結果が出力される。
図38のセクション(a)において、認識確信度スコアは、ステップS11まで一定の速度で変化し、ステップS11で「8」または「9」の数字が識別されてからは、ステップS11よりも大きな速度で変化している。ここで、トリガ生成部16は、認識確信度スコアが閾値Cthに達した時間tTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部124から認識結果が出力されると共に、画像処理部143から画像データが出力される。また、出力制御部15は、このトリガ信号に応じて、認識処理実行部124から出力された認識結果と、画像処理部143から出力された画像データと、を後段に出力する。
図39Aおよび図39Bは、それぞれ、第3の実施形態の第2の変形例に係る撮像装置1の、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ示す機能ブロック図である。図39Aは、上述した図21の構成から、認識処理部12側の一例の機能を抜き出して示している。
図39Aおよび図39Bにそれぞれに示されるように、認識処理実行部124は、認識確信度スコアを含む認識結果を随時、出力する。トリガ生成部16cは、認識処理実行部124から認識結果を受け取り、受け取った認識結果に含まれる認識確信度スコアを取得する。トリガ生成部16cは、取得した認識確信度スコアが閾値Cthを超えたと判定すると、トリガ信号を生成し、生成したトリガ信号を、認識処理実行部124と(図39A参照)、画像処理部143と(図39B参照)と、に対してそれぞれ出力する。
図40は、第3の実施形態の第2の変形例に係る処理を示す一例のフローチャートである。図40において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。ステップS203で、認識処理部12において、読出決定部123により、次の読出ラインを示す読出領域情報がセンサ制御部11に渡されると、処理がステップS2041に移行される。
ステップS2042で、トリガ生成部16cは、認識処理実行部124から受け取った認識結果に含まれる認識確信度スコアが閾値Cthを超えているか否か判定する。超えていないと判定した場合(ステップS2042、「No」)、この図40のフローチャートによる一連の処理が終了される。その後、例えばステップS200から、次のラインデータの読み出しが行われる。
一方、トリガ生成部16cは、認識確信度スコアが閾値Cthを超えていると判定した場合(ステップS2042、「Yes」)、処理をステップS205に移行させ、出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部124および画像処理部143により、それぞれ認識結果および画像データが出力される。
このように、第3の実施形態の第2の変形例では、トリガ生成部16により認識確信度スコアに応じてトリガ信号が出力されるため、視認用の画像データに含まれるオブジェクトに関するより高精度な認識情報を取得できる。
[6−3.第3の実施形態の第3の変形例]
次に、第3の実施形態の第3の変形例について説明する。第3の実施形態の第3の変形例は、トリガ信号を、当該撮像装置1の外部から取得される外部情報に応じて生成する例である。
図41Aおよび図41Bは、それぞれ、第3の実施形態の第3の変形例に係る撮像装置1の、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ示す機能ブロック図である。図41Aおよび図41Bは、それぞれ、上述した図21の構成から、認識処理部12側の一例の機能と、視認処理部14側の一例の機能と、をそれぞれ抜き出して示している。
図41Aおよび図41B2それぞれ示されるように、第3の実施形態の第3の変形例に係る撮像装置1は、外部からの情報を取得する外部情報取得部17を備えている。外部情報取得部17は、外部から取得された外部情報をトリガ生成部16dに渡す。トリガ生成部16dは、外部情報取得部17から渡された外部情報に応じてトリガ信号を生成し、生成したトリガ信号を、認識処理実行部124と(図41A参照)、画像処理部143と(図41B参照)と、に対してそれぞれ出力する。
ここで、外部情報取得部17が取得する外部情報としては、外部からのトリガ信号、外部の認識装置による認識結果など、当該撮像装置1の外部から取得可能な様々な情報を適用できる。このような外部情報を出力する外部装置としては、他の撮像装置、LiDAR(Laser Imaging Detection and Ranging)方式のセンサ(LiDARセンサと呼ぶ)、レーダ装置などが考えられる。例えば当該撮像装置1が車載の用途に用いられる場合、同じ車両に搭載される他の撮像装置、LiDARセンサ、レーダ装置などから出力される認識情報、トリガ信号、車両情報などの外部情報を当該撮像装置1に入力できるようにする。
一例として、外部情報が、他の撮像装置による認識結果や、LiDARセンサあるいはレーダ装置による認識結果である場合、トリガ生成部16dは、外部情報取得部17により外部情報として取得された認識結果の認識確信度スコアに応じて、トリガ信号の生成を行うことが考えられる。
なお、これら外部装置から出力される外部情報を用いる場合には、当該撮像装置1の撮像画像に対する位置および時間に関するキャリブレーションを実行することが好ましい。また、上述では、外部装置をマスタとして、当該撮像装置1は、外部装置から出力される外部情報に応じてトリガ信号を出力するように説明したが、これはこの例に限定されない。例えば、撮像装置1をマスタとし、トリガ生成部16dは、他の方法(時間、読出領域の割合、認識確信度スコアなど)により生成したトリガ信号を、外部装置に対して出力することも可能である。
上述の例に限らず、GNSS(Global Navigation Satellite System)を利用して取得した時間情報を外部情報として用いることもできる。さらに、当該撮像装置1が車載用途の場合、外部情報取得部17は、当該撮像装置1が搭載される車両の車両情報(ステアリング情報、速度情報、ブレーキ情報、方向指示情報など)を外部情報として取得することもできる。
図42は、第3の実施形態の第3の変形例に係る処理を示す一例のフローチャートである。図42において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。ステップS203で、認識処理部12において、読出決定部123により、次の読出ラインを示す読出領域情報がセンサ制御部11に渡されると、処理がステップS2043に移行される。
ステップS2043で、トリガ生成部16dは、外部情報取得部17により所定の外部情報が取得されたか否かを判定する。取得されていないと判定した場合(ステップS2043、「No」)、この図42のフローチャートによる一連の処理が終了される。その後、例えばステップS200から、次のラインデータの読み出しが行われる。
一方、トリガ生成部16dは、外部情報取得部17により所定の外部情報が取得されたと判定した場合(ステップS2043、「Yes」)、処理をステップS205に移行させる。トリガ生成部16dは、外部装置から外部情報取得部17に入力された所定の外部情報を外部情報取得部17から取得する。トリガ生成部16dは、取得した所定の外部情報に応じて出力処理を実行して、トリガ信号を出力する。このトリガ信号に応じて、認識処理実行部124および画像処理部143により、それぞれ認識結果および画像データが出力される。
このように、第3の実施形態の第3の変形例では、外部から入力された外部情報に応じてトリガ信号が出力されることにより、複数のセンサ装置による認識結果を利用可能である。そのため、第3の実施形態の第3の変形例に係る撮像装置1は、外部装置との連携が可能となる。
[7.第4の実施形態]
次に、第4の実施形態について説明する。第4の実施形態は、認識処理部12による認識結果の出力と、視認処理部14による視認用の画像データの出力と、のズレに対応する例である。
図43は、第4の実施形態に係る出力制御処理の例を模式的に示す模式図である。第4の実施形態では、認識処理実行部124に対するトリガ信号と、画像処理部143に対するそれぞれトリガ信号と、をそれぞれ独立して出力する。また、以下の例では、認識処理実行部124および画像処理部143それぞれに対するトリガ信号は、第3の実施形態の第2の変形例で説明した、それぞれの処理において読み出された読出領域のフレームに対する割合に応じて、出力される。認識処理実行部124に対する読出領域の割合の閾値を閾値Rth1とし、画像処理部143に対する読出領域の割合の閾値を閾値Rth2とする。
図43において、フレーム読み出しが時間t0で開始され(ステップS10)、ステップS11でフレームがライン順次で読み出される。この例では、ステップS11の後、ステップS20でオブジェクトを識別可能であると予測されるラインにジャンプして、読み出しが行われる。ここで、ステップS20の処理において、認識処理実行部124による処理に対する読出領域の割合が時間tTRG1で閾値Rth1に達したものとする。この場合、時間tTRG1において認識処理実行部124に対してトリガ信号が出力される。認識処理実行部124は、このトリガ信号に応じて認識結果を出力する。認識処理実行部124により時間tTRG1に出力された認識結果は、所定の記憶領域(キャッシュメモリと呼ぶ)にキャッシュされる(ステップS21)。認識処理部12は、認識結果が出力されキャッシュされると、認識処理を終了させる。
ここで、時間tTRG1の時点では、フレーム読み出しが開始された時間t0から所定時間、例えばフレーム周期が経過してないものとする。
視認処理部14は、ステップS21において認識処理部12による認識処理が終了した後、読出開始の時間t0から所定時間、例えばフレーム周期が経過するまで、フレーム読み出しを実行する。ここで、画像処理部143よる処理に対する読出領域の割合が時間tTRG2で閾値Rth2に達したものとする。この時間tTRG2において、画像処理部143に対してトリガ信号が出力される。
画像処理部143は、この時間tTRG2でのトリガ信号に応じて視認用の画像データを出力する。また、ステップS21でキャッシュされた認識結果が、この時間tTRG2でのトリガ信号に応じて、キャッシュメモリから読み出されて出力される。これにより、視認用の画像データと、認識結果との同時出力が可能となる。
なお、上述では、ステップS21において、認識結果のみをキャッシュしているが、これはこの例に限定されず、視認用の画像データをさらにキャッシュしてもよい。
図44は、第4の実施形態に係る撮像装置1の一例の機能を示す機能ブロック図である。図44において、撮像装置1に対し、認識処理実行部124に対するトリガ信号を生成するトリガ生成部16e1と、画像処理部143に対するトリガ信号を生成するトリガ生成部16e2と、の2つのトリガ生成部が設けられている。
トリガ生成部16e1は、認識処理実行部124における読出領域の割合に対する閾値Rth1が設定される。同様に、トリガ生成部16e2は、画像処理部143における読出領域の割合に対する閾値Rth2が設定される。これら閾値Rth1およびRth2は、トリガ生成部16e1および16e2に対して予め設定されていてもよいし、例えばフレーム読み出しの状態に応じて適応的に設定してもよい。
また、出力制御部15aは、認識結果をキャッシュするキャッシュメモリ150と、視認用の画像データをキャッシュするキャッシュメモリ151と、を含む。
読出制御部111は、次に読み出す読み出しラインを示す読出領域情報をトリガ生成部16e1および16e2にそれぞれ渡す。トリガ生成部16e1および16e2は、渡された読出領域情報に基づき現在の読出領域の割合を求める。トリガ生成部16e1は、求めた現在の読出領域の割合が閾値Rth1に達した場合に、認識処理実行部124に対してトリガ信号を出力する。同様に、トリガ生成部16e2は、求めた現在の読出領域の割合が閾値Rth2に達した場合に、画像処理部143に対してトリガ信号を出力する。
トリガ信号に応じて認識処理実行部124から出力された認識結果は、出力制御部15aに渡され、キャッシュメモリ150に格納される。同様に、トリガ信号に応じて画像処理部143から出力された視認用の画像データは、出力制御部15aに渡され、キャッシュメモリ151に格納される。出力制御部15aは、キャッシュメモリ150および151にそれぞれ格納した認識結果および視認用の画像データを、所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
図45は、第4の実施形態に係る処理を示す一例のフローチャートである。図45において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。ステップS203で、認識処理部12において、読出決定部123により、次の読出ラインを示す読出領域情報がセンサ制御部11に渡されると、処理がステップS2044に移行される。
ステップS2044、および、ステップS2044の次のステップS205の処理は、トリガ生成部16e1および16e2それぞれにおいて例えば並列的に実行される。
トリガ生成部16e1においては、ステップS2044で、認識処理実行部124に対して認識結果の出力をさせるか否かを判定する。より具体的には、ステップS2044で、トリガ生成部16e1は、ステップS203において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Rth1に達した場合に、認識処理実行部124に対して認識結果を出力させると判定する。トリガ生成部16e1は、現時点では認識結果を出力させないと判定した場合(ステップS2044、「No」)、処理をステップS2060に移行させる。
一方、トリガ生成部16e1は、認識結果を出力させると判定した場合(ステップS2044、「Yes」)、処理をステップS205に移行させる。ステップS205で、トリガ生成部16e1は、認識処理実行部124に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップS2060に移行される。
トリガ生成部16e2における処理も、トリガ生成部16e1の処理と同様である。すなわち、トリガ生成部16e2においては、ステップS2044で、画像処理部143に対して視認用の画像データの出力をさせるか否かを判定する。より具体的には、ステップS2044で、トリガ生成部16e2は、ステップS203において決定された次の読出ラインを示す読出領域情報に基づき現在の読出領域の割合を求め、求めた現在の読出領域の割合が閾値Rth2に達した場合に、画像処理部143に対して視認用の画像データを出力させると判定する。トリガ生成部16e2は、現時点では認識結果を出力させないと判定した場合(ステップS2044、「No」)、処理をステップS2060に移行させる。
一方、トリガ生成部15fは、ステップS2044で認識結果を出力させると判定した場合(ステップS2044、「No」)、処理をステップS205に移行させる。ステップS205で、トリガ生成部16e2は、画像処理部143に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップS2060に移行される。
ステップS2060、および、ステップS2060の次のステップS2061の処理は、出力制御部15aによる処理となる。出力制御部15aは、認識処理実行部124から出力された認識結果と、画像処理部143から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
出力制御部15aは、認識処理実行部124から出力された認識結果に対しては、ステップS2060で、キャッシュメモリ150に格納し、出力蓄積処理を行う。出力制御部15aは、認識結果をキャッシュメモリ150に格納すると、処理をステップS2061に移行させる。ステップS2061で、出力制御部15aは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ150に格納された認識結果を出力する、出力制御処理を実行する。
同様に、出力制御部15aは、画像処理部143から出力された視認用の画像データに対しては、ステップS2060で、キャッシュメモリ151に格納し、出力蓄積処理を行う。出力制御部15aは、視認用の画像データをキャッシュメモリ150に格納すると、処理をステップS2061に移行させる。ステップS2061で、出力制御部15aは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ151に格納された視認用の画像データを出力する、出力制御処理を実行する。
ここで、出力制御部15aは、ステップS2061における認識結果の出力と、視認用の画像データの出力とを同期させて実行する。これにより、認識結果と、視認用の画像データとが、時間的なズレが無く出力される。
ステップS2061で認識結果および視認用の画像データに対する出力処理が実行されると、例えばステップS200から、次の読出ラインのラインデータの読み出しが行われる。
このように、第4の実施形態では、認識結果と視認用の画像データとをそれぞれキャッシュし、キャッシュされた認識結果と視認用の画像データとを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
[7−1.第4の実施形態の第1の変形例]
次に、第4の実施形態の第1の変形例について説明する。上述した第4の実施形態では、認識結果と視認用の画像データとの時間的なズレを抑制しているが、この第4の実施形態の第1の変形例では、認識結果と視認用の画像データとの空間的なズレを抑制する。例えば、車載の用途などにより、撮像装置1が撮像中に高速に移動している場合、認識結果と視認用の画像データとの間に、空間的なズレ(例えばオブジェクトの2次元面内の位置ズレ)が発生する場合がある。また、高速で移動する動物体を撮像装置1で撮像した場合も、この動物体の画像データ内におけるオブジェクトにおいて、空間的なズレが発生する場合がある。第4の実施形態の第1の変形例では、このようなズレを、外部センサから取得する情報に基づき抑制する。
図46は、第4の実施形態の第1の変形例に係る撮像装置1の一例の機能を示す機能ブロック図である。この図46に示す構成は、撮像装置1が高速に移動する場合に発生する空間的なズレを抑制する場合の例である。
図46に示す構成では、上述した図44で示した構成に対して、出力制御部15bに対して外部センサ18の出力が供給されている。外部センサ18は、例えば当該撮像装置1の動きを検知可能な装置であって、当該撮像装置1に搭載される角速度センサを適用できる。例えば、3軸のジャイロセンサを用いて各方向の角速度を計測し、撮像装置1の動き情報を取得し、取得した動き情報を、出力制御部15bに入力する。また、外部センサ18として、動き検出を用いて動画圧縮あるいは手ブレ補正などを行う他の撮像装置を用いることもできる。この他の撮像装置を、当該撮像装置1と一体的あるいは同期して移動可能に設置し、この他の撮像装置における動き検出の検出結果を、撮像装置1の動き情報として出力制御部15bに入力する。
出力制御部15bは、外部センサ18から入力された動き情報と、トリガ生成部16e1および16e2により出力された各トリガ信号の出力タイミングと、に基づき、認識結果と視認用の画像データと、の空間的なズレ量を推測する。例えば、出力制御部15bは、トリガ生成部16e1および16e2により出力された各トリガ信号の出力タイミングの差分を求める。
なお、出力制御部15bに対する、認識処理実行部124からの認識結果の入力タイミングと、画像処理部143からの視認用の画像データの入力タイミングと、をそれぞれトリガ生成部16e1および16e2により出力された各トリガ信号の出力タイミングと見做すことができる。
また、出力制御部15bは、外部センサ18から入力された動き情報に基づき、当該撮像装置1の動き方向と速度とを求める。出力制御部15bは、これら、各トリガ信号の出力タイミングの差分と、当該撮像装置1の動き方向および速度と、に基づき、認識結果と視認用の画像データとの空間的なズレ量を算出する。出力制御部15bは、算出した空間的なズレ量に基づき、キャッシュメモリ151に格納された視認用の画像データを補正する。補正は、例えば視認用の画像データに対するトリミングや、傾き補正などが考えられる。出力制御部15bは、補正した視認用の画像データを、キャッシュメモリ151に格納する。
出力制御部15bは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ150に格納された認識結果と、キャッシュメモリ151に格納された、補正した視認用の画像データと、を出力する。
上述では、出力制御部15bは、算出した空間的なズレ量に基づきキャッシュメモリ151に格納された視認用の画像データを補正するように説明したが、これはこの例に限定されない。すなわち、出力制御部15bは、算出した空間的なズレ量に基づき、キャッシュメモリ150に格納された認識結果を補正することもできる。出力制御部15bは、算出した空間的なズレ量に基づき、例えば認識結果に含まれる認識されたオブジェクトなどの座標情報を補正することが考えられる。また、出力制御部15bは、認識結果および視認用の画像データをそれぞれ補正してもよい。
図47は、第4の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。図47において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。また、図47のステップS204およびステップS205の処理は、上述した図45のステップS2044およびステップS205の処理と同様の処理であって、トリガ生成部16e1および16e2それぞれにおいて例えば並列的に実行される。これらステップS2044およびステップS205の処理については、ここでの詳細な説明を省略する。
トリガ生成部16e1においては、ステップS2044で、認識処理実行部124に対して認識結果の出力をさせるか否かを、上述した図45のフローチャートのステップS2044と同様にして判定する。トリガ生成部16e1は、現時点では認識結果を出力させないと判定した場合(ステップS2044、「No」)、処理をステップS2060に移行させる。
一方、トリガ生成部15fは、ステップS2044で認識結果を出力させると判定した場合(ステップS2044、「Yes」)、処理をステップS205に移行させる。ステップS205で、トリガ生成部16e1は、認識処理実行部124に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップS2060に移行される。
トリガ生成部16e2における処理も、トリガ生成部16e1の処理と同様である。すなわち、トリガ生成部16e2においては、ステップS2044で、画像処理部143に対して視認用の画像データの出力をさせるか否かを判定する。トリガ生成部16e1は、現時点では認識結果を出力させないと判定した場合(ステップS2044、「No」)、処理をステップS2060に移行させる。一方、トリガ生成部15fは、認識結果を出力させると判定した場合(ステップS2044、「Yes」)、処理をステップS205に移行させる。ステップS205で、トリガ生成部16e2は、画像処理部143に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップS2060に移行される。
ステップS2060、および、ステップS2060の次のステップS2062の処理は、出力制御部15bによる処理となる。出力制御部15bは、認識処理実行部124から出力された認識結果と、画像処理部143から出力された視認用の画像データと、に対して、それぞれ出力制御処理を実行する。
出力制御部15bは、認識処理実行部124から出力された認識結果に対しては、ステップS2060で、キャッシュメモリ150に格納し、出力蓄積処理を行う。出力制御部15aは、認識結果をキャッシュメモリ150に格納すると、処理をステップS2062に移行させる。
ステップS2062で、出力制御部15bは、外部センサ18から入力された動き情報を用いて、ステップS2060でキャッシュメモリ151に格納された視認用の画像データの補正処理を行い、補正された視認用の画像データをキャッシュメモリ151に格納する。これに限らず、ステップS2062で、出力制御部15bは、ステップS2060でキャッシュメモリ150に格納された認識結果に対して補正処理を行ってもよい。出力制御部15bは、補正された認識結果をキャッシュメモリ150に格納する。
出力制御部15bは、キャッシュメモリ150に格納された認識結果と、キャッシュメモリ151に格納された補正された視認用の画像データと、を所定のタイミングで出力する。
このように、第4の実施形態の第1の変形例では、認識結果と視認用の画像データとをそれぞれキャッシュし、外部センサ18から入力された動き情報を用いて、認識結果または視認用の画像データを補正している。そのため、認識結果と視認用の画像データとの空間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
[7−2.第4の実施形態の第2の変形例]
次に、第4の実施形態の第2の変形例について説明する。第4の実施形態の第2の変形例は、認識処理部12による認識処理の後に視認処理部14において行われる画素データの読み出しを高速に行い、認識結果の出力タイミングと、視認用の画像データの出力タイミングと、の差分を抑制する例である。
図48は、第4の実施形態の第2の変形例に係る出力制御処理の例を模式的に示す模式図である。図48において、ステップS10〜ステップS12は、上述した図32に対応する図であって、センサ制御部11によるフレーム読み出しの様子を模式的に示している。すなわち、ステップS10でフレームがライン順次で読み出され、ステップS11でオブジェクトを識別可能であると予測されるラインにジャンプして、読出が行われる。そして、ステップS12で認識結果が出力される。
図48において、ステップS12でフレームの全てのラインデータを読み出していない状態で認識結果が出力されているので、次のステップS20で、視認処理部14は、フレームにおける、ステップS12までの処理で読み出されていないラインの読み出しを行う。このとき、視認処理部14は、ステップS12までの処理で認識処理部12により行われていた読み出しの読み出し速度よりも高速の読み出し速度で、フレーム読み出しを実行する。視認処理部14は、所定のタイミングで読み出しを終了させ、視認用の画像データを出力する。
第4の実施形態の第2の変形例は、これにより、認識結果の出力タイミングと、視認用の画像データの出力タイミングとの時間差が抑制可能である。
図49は、第4の実施形態の第2の変形例に係る撮像装置1の一例の機能を示す機能ブロック図である。図49において、トリガ生成部16fは、認識処理実行部124から認識結果が随時、供給され、トリガ信号を、第3の実施形態の第2の変形例で説明(図38〜図40参照)した、認識処理実行部124から認識結果に含まれて渡される、認識確信度スコアに応じて生成する。
トリガ生成部16fは、認識処理実行部124から渡された認識結果に含まれる認識確信度スコアが閾値Cthに達した時間tTRGにおいて、トリガ信号を生成する。このトリガ信号に応じて、認識処理実行部124から出力制御部15cに対して認識結果が渡される。出力制御部15cは、渡された認識結果をキャッシュメモリ150に格納する。
一方、トリガ生成部16fは、認識処理実行部124に対してトリガ信号を出力すると共に、センサ部10から画素データをより高速に読み出すように指示する高速読出指示を生成し、生成した高速読出指示を、読出決定部142に渡す。
読出決定部142は、出力制御部15bから渡された高速読出指示を含んだ読出領域情報を生成し、生成した読出領域情報をセンサ制御部11に渡す。センサ制御部11において、高速読出指示を含んだ読出領域情報は、読出制御部111から読出部110に渡される。読出部110は、読出領域情報に含まれる高速読出指示に応じて、センサ部10をトリガ信号以前の駆動速度よりも高速の駆動速度で駆動するための撮像制御信号を生成する。センサ部10は、この撮像制御信号に従いセンサ部10を高速に駆動し、トリガ信号以前より高速に画素データを読み出す。
読出部110に読み出された画素データは、画像データ蓄積制御部140を介して視認用の画像データとして画像処理部143に渡される。画像処理部143は、渡された画像データに対して処理の画像処理を施して出力制御部15cに渡す。出力制御部15cは、画像処理部143から渡された画像データをキャッシュメモリ151に格納する。出力制御部15cは、所定のタイミング、例えばフレーム周期に同期したタイミングで、キャッシュメモリ150に格納された認識結果と、キャッシュメモリ151に格納された視認用の画像データと、を読み出し、それぞれ出力する。
図50は、第4の実施形態の第1の変形例に係る処理を示す一例のフローチャートである。図50において、ステップS200〜ステップS203の処理は、上述した図34のフローチャートによるステップS200〜ステップS203の処理と同様であるので、ここでの説明を省略する。また、図50のステップS204およびステップS205の処理は、上述した図50のステップS2044およびステップS205の処理と同様の処理であって、トリガ生成部16e1および16e2それぞれにおいて例えば並列的に実行される。これらステップS2044およびステップS205の処理については、ここでの詳細な説明を省略する。
トリガ生成部16e1においては、ステップS2044で、認識処理実行部124に対して認識結果の出力をさせるか否かを、上述した図45のフローチャートのステップS2044と同様にして判定する。トリガ生成部16e1は、現時点では認識結果を出力させないと判定した場合(ステップS2044、「No」)、処理をステップS2063に移行させる。一方、トリガ生成部16fは、認識結果を出力させると判定した場合(ステップS2044、「Yes」)、処理をステップS205に移行させる。ステップS205で、トリガ生成部16e1は、認識処理実行部124に対してトリガ信号を出力する出力処理を実行する。出力処理が実行されると、処理がステップS2051に移行される。
ステップS2051では、高速読出処理が行われる。すなわち、ステップS2051で、トリガ生成部16fは、高速読出指示を生成して読出決定部142に渡す。この高速読出指示は、読出決定部142により生成される読出領域情報に含められてセンサ制御部11に渡される。センサ制御部11は、渡された読出領域情報を読出部110に渡す。読出部110は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部10をより高速に駆動する。このとき、読出部110は、センサ部10に対して間引き読み出しを行って読み出し速度を高速化してもよいし、読み出す画像データのビット数を削減して読み出し速度を高速化してもよい。
読出部110は、高速に駆動されるセンサ部10から画素データを読み出して視認処理部14に渡す。視認処理部14は、読出部110から渡された画素データを画像データ蓄積制御部140を介して画像処理部143に渡す。画像処理部143は、渡された画像データに対して処理の画像処理を施して、視認用の画像データとして出力する。画像処理部143から出力された視認用の画像データは、出力制御部15cに渡され、キャッシュメモリ151に格納される。
次のステップS2063で、出力制御部15cは、キャッシュメモリ150に格納された認識結果と、キャッシュメモリ151に格納された補正された視認用の画像データと、を所定のタイミング、例えばフレーム周期に同期したタイミングで出力する。
このように、第4の実施形態の第2の変形例では、認識結果が出力された後に高速読み出しにより視認用の画像データを取得し、取得した視認用の画像データと認識結果とを所定のタイミングで出力している。そのため、認識結果と視認用の画像データとの時間的なズレを抑制した状態で、認識結果と視認用の画像データとを出力することができる。
なお、上述では、認識結果の出力後に、視認用の画像データのための高速読み出しを行っているが、これはこの例に限定されない。すなわち、視認用の画像データの読み出し終了後に、認識処理のための高速読み出しを行ってもよい。
この場合、トリガ生成部16fは、画像処理部143に対するトリガ信号の出力に応じて高速読出指示を生成し、生成した高速読出指示を、図49において点線で示される経路により読出決定部123に渡す。この高速読出指示は、読出決定部142により生成される読出領域情報に含められてセンサ制御部11に渡される。センサ制御部11は、渡された読出領域情報を読出部110に渡す。読出部110は、渡された読出領域情報に含まれる高速読出指示に応じて、センサ部10をより高速に駆動する。読出部110は、高速に駆動されるセンサ部10から画素データを読み出して認識処理部12に渡す。
[8.第5の実施形態]
次に、第5の実施形態について説明する。第5の実施形態は、認識処理部12が読み出しを行う読出領域と、視認処理部14が読み出しを行う読出領域と、で調停を行う例である。例えば、認識処理部12と視認処理部14とのうち一方がライン間引きによりライン読み出しを行い、他方がライン順次で読み出しを行う場合、あるタイミングで認識処理部12と視認処理部14とで読み出しの対象とするラインが異なるものとなる。このような場合、認識処理部12と視認処理部14と間で読出領域の調停を行い、読出対象のラインを決定する。
図51は、第5の実施形態に係る調停処理の概要を説明するための一例のフローチャートである。図51のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。以下では、読出単位をラインとし、センサ制御部11は、センサ部10からライン単位で画素データを読み出すものとする。
図21を参照しながら、図51のフローチャートによる処理について説明する。ステップS300で、読出部110は、センサ部10からライン単位の画素データ(ラインデータ)を読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。視認処理部14は、読出部110から渡された画素データを画像データ蓄積制御部140に渡す。画像データ蓄積制御部140は、渡された画素データを例えば画像データ蓄積部141に蓄積すると共に、画像処理部143に渡す。
ステップS300の処理が終了すると、処理がステップS301およびステップS311に移行される。ステップS301〜ステップS303の処理は、認識処理部12における処理である。一方、ステップS311〜ステップS313の処理は、視認処理部14における処理である。これら認識処理部12における処理と、視認処理部14における処理とは、並列して実行することが可能である。
先ず、ステップS301からの認識処理部12による処理について説明する。認識処理部12は、ステップS301で、読出部110から渡されたラインデータに基づく特徴量計算部120による特徴量の計算、計算された特徴量の特徴量蓄積部122への蓄積、特徴量蓄積部122に蓄積された、統合された特徴量に基づく認識処理実行部124による認識処理、などを実行する。次のステップS302で、認識処理部12は、認識処理実行部124から認識処理による認識結果を出力する。次のステップS303で、認識処理部12において、読出決定部123は、統合された特徴量を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。ステップS303の処理が終了すると、処理がステップS320aに移行される。
次に、ステップS311からの視認処理部14による処理について説明する。視認処理部14は、ステップS311で、読出部110から渡されたラインデータの画像データ蓄積部141への蓄積、画像データ蓄積部141に蓄積された画像データに対する画像処理部143による画像処理、などを実行する。次のステップS312で、視認処理部14において画像処理部143は、ステップS311で画像処理を行った画像データを出力する。次のステップS312で、視認処理部14において読出決定部142は、ステップS300で読み出されたラインのライン情報と、ステップS302で認識処理部12により出力された認識結果と、を用いて、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。ステップS313の処理が終了すると、処理がステップS320aに移行される。
ステップS320aで、センサ制御部11は、後述する調停制御部により、読出領域の調停に用いるための調停情報を取得する。調停情報の具体例については、後述する。
次のステップS321で、調停制御部は、ステップS320aで取得した調停情報を用いて、ステップS303で認識処理部12から渡された読出ライン情報が示す読出ラインと、ステップS313で視認処理部14から渡された読出ライン情報が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップS322で、センサ制御部11は、ステップS321で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第5の実施形態では、調停制御部により、所定に取得された調停情報に基づき、認識処理部12と視認処理部14との間で、次に読み出しを行う読出ラインの調停を行っている。そのため、例えば認識処理部12と視認処理部14とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
(8−0−1.調停処理の具体例)
次に、第5の実施形態に係る調停処理について、より具体的に説明する。図52は、第5の実施形態に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
図52に示される構成は、図21に示した構成に対し、センサ制御部11における読出制御部111aが、調停制御部1110と、読出処理制御部1111と、を含む。調停制御部1110は、認識処理部12の読出決定部123と、視認処理部14の読出決定部142と、からそれぞれ1または複数の読出領域情報が、それぞれ調停処理を制御するための制御信号として入力される。換言すれば、この例における調停制御部1110は、この制御信号を、調停制御を行うための調停情報として用いる。
ここで、1つの読出領域情報は、1本のラインを示しているものとする。すなわち、調停制御部1110は、読出決定部123および142それぞれから、1または複数のライン情報が入力される。
第5の実施形態では、調停制御部1110は、読出決定部123から入力された制御信号と、視認処理部14から入力された制御信号と、に対して論理積を取って、次に読み出しを行う1本の読出ラインを決定する。
読出処理制御部1111は、調停制御部1110は、調停処理により決定された読出ラインを示す制御信号を、読出処理制御部1111に渡す。読出処理制御部1111は、渡された制御信号を、読出ラインを示す読出領域情報として、読出部110に渡す。
なお、図52の構成において、出力制御部15は、認識処理実行部124から出力される認識結果と、画像処理部143から出力される視認用の画像データと、を後段の装置に出力する。ここで、後段の装置は、認識処理を行う他のセンサ装置を適用することができ、この場合、当該撮像装置1から出力される認識結果や視認用の画像データを、当該他のセンサ装置における認識処理に適用することも可能である。
図53は、第5の実施形態に係る調停処理を説明するための模式図である。図53は、調停制御部1110が制御信号に基づき調停処理を行う例である。ここで、制御信号として、読出領域情報を用いる。
図53において、右方向に時間の経過を示している。また、縦方向は、上から認識処理部12による認識制御、視認処理部14による視認制御、センサ部10から読み出される読出画像、調停制御部1110による調停結果、についてそれぞれ示している。上述したように、調停制御部1110は、認識処理部12が出力する制御信号(読出領域情報)と、視認処理部14が出力する制御信号と、の論理積を取ることで、調停を行う。
ステップS40では、認識処理部12および視認処理部14により、第i行目(第iライン)を読み出す読出領域情報が生成される。認識処理部12は、第(i+1)ライン、第(i+2)ライン、第(i+3)ラインの3ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部14も同様に、第(i+1)ライン、第(i+2)ライン、第(i+3)ラインの3ラインを読み出すための制御信号をそれぞれ出力している。認識処理部12から出力された各読出領域情報と、視認処理部14から出力された各読出領域情報とは、それぞれ、調停制御部1110が調停制御を行うための制御信号として、調停制御部1110に入力される。
調停制御部1110は、これら認識処理部12からの第(i+1)ライン、第(i+2)ライン、第(i+3)ラインの各制御信号と、視認処理部14からの、第(i+1)ライン、第(i+2)ライン、第(i+3)ラインの各制御信号に対して論理積を取る。ここでは、認識処理部12からの各制御信号と、視認処理部14からの各制御信号とが一致しているため、各制御信号が示す全てのラインを読み出すことができる。調停制御部1110は、第(i+1)ライン、第(i+2)ライン、第(i+3)ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部1110は、例えば、最初に、第(i+1)ライン、第(i+2)ライン、第(i+3)ラインのうちフレーム上端に最も近い第(i+1)ラインを示す制御信号を、調停結果として選択する。調停制御部1110は、以降、第(i+2)ラインを示す制御信号、第(i+3)ラインを示す制御信号、と、ライン順次で1つずつ制御信号を選択する。
調停制御部1110は、調停結果として選択した制御信号を読出処理制御部1111に渡す。読出処理制御部1111は、調停制御部1110から渡された制御信号を、読出領域情報として読出部110に渡す。読出部110は、この読出領域情報に示されるライン(第(i+1)ライン)のラインデータを、センサ部10から読み出す。読出部110は、センサ部10から読み出された第(i+1)ラインのラインデータを、認識処理部12および視認処理部14に渡す。
これにより、ステップS40では、図53の読出画像として示されるように、例えばフレームの上端側のラインL#iからフレームの下端側に向けて、ライン順次でラインデータが読み出される。
ライン順次でフレームを読み出しを行い、フレームの例えば中央付近の第j行目(第jライン)まで読み出した時点で、認識処理部12により、読み出されたラインデータに基づき例えば数字の「8」または「9」が認識されたものとする(ステップS41)。
認識処理部12は、ステップS41で認識されたオブジェクトが数字の「8」または「9」の何れであるかを識別可能と予測されるラインまでラインを飛ばして読み出すことができる。この例では、認識処理部12は、1ラインずつ間引いて読み出しを行うように、第(j+3)ライン、第(j+5)ライン、第(j+7)ラインの3ラインを読み出すための読出領域情報をそれぞれ出力している。認識処理部12から出力された各読出領域情報は、調停制御部1110が調停制御を行うための各制御情報として、調停制御部1110に入力される。
一方、視認用の画像は、認識比で密である必要があるため、視認処理部14は、第(j+1)ライン、第(j+2)ライン、第(j+3)ラインの、ライン順次で3ラインを読み出すための読出領域情報をそれぞれ出力している。視認処理部14から出力された各読出領域情報は、調停制御部1110が調停制御を行うための各制御情報として、調停制御部1110に入力される。
調停制御部1110は、認識処理部12から渡された各制御信号と、視認処理部14から渡された各制御信号と、の論理積を取る。この場合、認識処理部12から渡された各制御信号が第(j+3)ライン、第(j+5)ライン、第(j+7)ラインを示し、視認処理部14から渡された各制御信号が第(j+1)ライン、第(j+2)ライン、第(j+3)ラインである。そのため、調停制御部1110により論理積を取ることで、第(j+3)ラインを示す制御信号が、調停結果として調停制御部1110から出力される。
次に、ステップS42で、上述の第jラインよりフレームの下端側の第kラインを読み出した時点で、ステップS41において数字の「8」または「9」の何れかとして識別されたオブジェクトが、数字の「8」であることが確定したとする。この場合、認識処理部12は、認識処理を終了させることができる。認識処理が終了した場合、認識処理部12から調停制御部1110に入力される制御信号は、任意で良い。
一方、視認用の画像としては、さらにラインを読み出す必要がある。この例では、視認処理部14は、第(k+1)ライン、第(k+2)ライン、第(k+3)ラインの、ライン順次で3ラインを読み出すための読出領域情報をそれぞれ出力している。
調停制御部1110は、例えば認識処理部12による認識処理が終了した場合、認識処理部12から入力される制御信号を無視する。そのため、調停制御部1110は、例えば、視認処理部14から入力された制御信号に示される第(k+1)ライン、第(k+2)ライン、第(k+3)ラインを、フレーム内の読み出し順に従い一つずつ選択し、順次に出力する。調停制御部1110は、例えば、最初に、第(k+1)ライン、第(k+2)ライン、第(k+3)ラインのうちフレーム上端に近い第(k+1)ラインを示す制御信号を、調停結果として選択する。
このように、第5の実施形態では、調停制御部1110により、認識処理部12から入力された各制御信号と、視認処理部14から入力された各制御信号と、の論理積を取ることで調停を行い、次に読み出しを行う読出ラインを決定している。そのため、そのため、例えば認識処理部12と視認処理部14とが異なるラインを読出ラインとして決定している場合であっても、ラインの読み出しに支障が生じることを回避することができる。
なお、認識処理部12から入力される制御信号が示すラインと、視認処理部14から入力される制御信号が示すラインと、に重複が無い場合が有り得る。例えば、認識処理部12から調停制御部1110に入力される各制御信号が第(i+1)ライン、第(i+3)ライン、第(i+5)ラインであり、視認処理部14から調停制御部1110に入力される各制御信号が第(i+2)ライン、第(i+4)ライン、第(i+6)ラインであれば、両者の間に重複が無い。
調停制御部1110において両者の論理積を取ると、出力が空集合となり、次に読み出しを行う読出ラインが決定されないことになる。これを回避するための第1の例として、認識処理部12から入力される制御信号と、視認処理部14から入力される制御信号と、のうち優先的に用いる制御信号を予め決めておくことが考えられる。一例として、認識処理部12から入力される制御信号を、視認処理部14から入力される制御信号に対して優先的に選択する。このとき、優先とされた認識処理部12から入力される各制御信号の中で、視認処理部14から入力される制御信号に近い制御信号を採用することが考えられる。
第2の例として、認識処理部12および視認処理部14において、出力が可能な読出領域情報の数に予め制限を設けることが考えられる。例えば、認識処理部12および視認処理部14それぞれにおいて、順次に隣接する5ラインから3ラインを候補として選択する。
図54は、第5の実施形態に係る調停処理を示す一例のフローチャートである。図54のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップS300で、読出部110は、センサ部10からラインデータを読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。以降、図54のステップS301〜ステップS303の認識処理部12側の処理と、ステップS311〜ステップS313の視認処理部14側の処理は、上述した図51の対応する処理と同一であるので、ここでの説明を省略する。
図54において、ステップS303で、上述したようにして、認識処理部12は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110に入力される。同様に、ステップS313で、視認処理部14は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110に入力される。
ステップS303およびステップS313で認識処理部12および視認処理部14から調停制御部1110に制御信号が入力されると、処理がステップS321に移行される。ステップS321で、調停制御部は、認識処理部12および視認処理部14から入力された各制御信号を調停情報として用いて、各制御信号の調停を行う。この調停により、ステップS303で認識処理部12から渡された制御信号が示す読出ラインと、ステップS313で視認処理部14から渡された制御信号が示す読出ラインと、のうち、何れを次に読み出しを行う読出ラインとするかを決定する。次のステップS322で、センサ制御部11は、ステップS321で調停制御部により決定された読出ラインの読み出しを行うためのライン制御処理を実行する。
[8−1.第5の実施形態の第1の変形例]
次に、第5の実施形態の第1の変形例について説明する。第5の実施形態の第1の変形例は、調停制御部1110が調停処理に用いる調停情報として、認識処理部12による認識結果を適用する例である。図55は、第5の実施形態の第1の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
図55に示される構成は、上述した図51に示した構成に対して、調停制御部1110aに対して認識処理実行部124から出力される認識結果が入力されている。第5の実施形態の第1の変形例に係る調停制御部1110aは、この認識結果を調停情報として用いて、認識処理部12から入力される読出領域情報と、視認処理部14から入力される読出領域情報と、の調停処理を行う。
図56は、第5の実施形態の第1の変形例に係る調停処理の第1の例を説明するための模式図である。図56において、右方向に時間の経過を示している。また、縦方向に、上から、読出制御および認識結果、センサ制御部11により読み出された読出画像、調停制御部1110aによる調停結果をそれぞれ示している。また、図56の例では、当該撮像装置1が車載の用途とされ、フレームを下端側から上端側に向けてライン単位で読み出すものとしている。
この図56の例では、認識処理において動物体が認識された場合に、視認処理部14の制御を優先させる。
フレームの下端側において(ステップS50)、ラインデータに基づき、認識処理部12において認識処理実行部124により、路面が認識されている。この場合、認識対象が路面であるため、ある程度ラインをスキップして読み出すことができる。また、調停制御部1110aは、認識結果に基づき認識処理に従い調停を行う。例えば、調停制御部1110aは、路面が認識された認識結果に応じて、認識処理部12から入力される読出領域情報を、視認処理部14から入力される読出領域情報に対して優先して選択して、読出処理制御部1111に渡す。例えば、認識処理部12がラインを間引きして読む制御を行う場合、ラインを所定の間隔で間引いて生成された読出領域情報が調停制御部1110aに入力される。調停制御部1110aは、この間引きを示す読出領域情報を、読出処理制御部1111に渡す。
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部12により、動物体が認識されたものとする。図56の例では、ステップS51で、認識処理実行部124により、フレームの1/2のライン位置の少し手前で物体が検出されたことを示す物体検出結果が取得され、またその検出された物体が動物体(人体)であることが検出される。認識処理部12において、認識処理実行部124は、この人体が認識されたことを示す認識結果を、調停制御部1110aに渡す。
動物体は、時間による位置変化などが大きいため、例えばラインをスキップして読み出すライン読み出しでは、認識されたオブジェクトの、読み出したライン毎における位置のズレが大きくなり、ズレの補正が必要になる。そのため、調停制御部1110aは、人体が認識されたことを示す認識結果に基づき視認用の制御を優先させ、視認処理部14から入力される読出領域情報を、認識処理部12から入力される読出領域情報に対して優先して選択して、読出処理制御部1111に渡す。この場合、視認処理部14は、例えばライン順次で読み出しを行う読出領域情報を生成し、調停制御部1110aに入力する。
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部12において認識処理実行部124により路面外を示す認識結果が得られたものとする。路面外では、ステップS50で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部12は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部1110aに入力する。調停制御部1110aは、認識処理実行部124から出力された、路面外を示す認識結果に応じて、認識処理部12から入力される読出領域情報を、視認処理部14から入力される読出領域情報に対して優先して選択して、読出処理制御部1111に渡す。
図56において、ステップS52は、この読出領域情報に従いフレーム上端側における路面外の領域が、フレーム下端側の路面の領域に対してさらに疎らに読み出されている様子が示されている。また、ステップS52において、フレームにおいて人体が検出されている中央部分は、視認用に密に読み出されている様子が示されている。
図57は、第5の実施形態の第1の変形例に係る調停処理の第2の例を説明するための模式図である。図57における各部の意味は、上述の図56と同様であるので、ここでの説明を省略する。また、図57に例示される各画像は、全体的に輝度が低く暗めの画像となっており、手前側(フレームの下端側)が若干輝度が高く明るい画像となっている。
この第2の例では、調停制御部1110aは、認識結果の確からしさを示す確信度を調停情報として用いて、認識処理部12から入力された読出領域情報と、視認処理部14から入力された読出領域情報と、の調停を行う。
フレームの下端側からライン読み出しが開始され、ラインデータに基づき、認識処理部12において認識処理実行部124により、路面が所定以上の確信度(高確信度)で認識されたものとする(ステップS60)。この場合、撮像対象が路面であるため、ある程度ラインをスキップして読み出すことができる。認識処理部12は、認識結果に応じて、ラインを所定の間隔で間引いた読出領域情報を生成し、調停制御部1110aに入力する。
調停制御部1110aは、認識処理実行部124から出力された認識結果が高確信度であるため、認識結果を信頼し、認識処理部12から入力された読出領域情報と、視認処理部14から入力された読出領域情報と、のうち認識処理部12から入力された、この間引きを示す読出領域情報を選択する。調停制御部1110aは、この間引きを示す読出領域情報を、読出処理制御部1111に渡す。
間引きを行いながらライン読み出しを行ったラインデータに基づき、認識処理部12により、動物体が認識されたものとする。図57の例では、ステップS51で、認識処理実行部124により、フレームの1/2のライン位置の少し手前で動物体(人体)が認識されている。ここで、図57の例では、人体が認識された部分の輝度が低く、認識処理実行部124は、この人体の検出を、所定未満の確信度(低確信度)で認識したものとする。認識処理実行部124は、認識処理実行部124は、この人体が低確信度で認識されたことを示す認識結果を、調停制御部1110aに渡す。
この場合、人体が低確信度で認識されているので、人が視認で確認する必要があると考えられる。そのため、調停制御部1110aは、視認処理部14から出力される読出領域情報を、認識処理部12から出力される読出領域情報に対して優先する。
ここで、調停制御部1110aは、認識処理実行部124から出力された確信度に応じて読出処理制御部1111に対して視認が容易となるような読み出し指示を与えることができる。例えば、低確信度で人体が認識されたライン範囲のラインを複数回読み出させる制御が考えられる。この場合、視認処理部14において画像処理部143などにより、読み出したラインデータを位置が対応するライン同士で合成し、さらに画像処理(例えば高解像度化処理、コントラストの調整)などを施して、低確信度で認識された人物の画像を明確化させることが考えられる。
また、当該撮像装置1が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル(例えばレベル2〜4)に応じて、読出回数、画像処理の内容などを設定することも考えられる。
さらにフレームの上端側に向けてライン読み出しを行い、認識処理部12において認識処理実行部124により路面外を示す認識結果が高確信度で得られたものとする(ステップS62)。路面外では、ステップS60で認識された路面に対して、さらに疎らに間引きを行ってライン読み出しを行っても問題ないと考えられる。そのため、認識処理部12は、路面の場合よりも間引きの間隔を大きくした読出領域情報を生成し、調停制御部1110aに入力する。
なお、視認用の画像において、路面外の画像に対しては高画質が要求されないと考えられる。そのため、視認処理部14は、認識処理実行部124により路面外の認識がなれた場合に、デフォルトの画質設定で視認用の画像データを出力することが考えられる。
図58は、第5の実施形態の第1の変形例に係る調停処理を示す一例のフローチャートである。図58のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップS300で、読出部110は、センサ部10からラインデータを読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。以降、図58のステップS301〜ステップS303の認識処理部12側の処理と、ステップS311〜ステップS313の視認処理部14側の処理は、上述した図51の対応する処理と同一であるので、ここでの説明を省略する。
図58において、ステップS303で、上述したようにして、認識処理部12は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110aに入力される。同様に、ステップS313で、視認処理部14は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110aに入力される。
ステップS303およびステップS313で認識処理部12および視認処理部14から調停制御部1110aに制御信号が入力されると、処理がステップS320bに移行される。ステップS320bで、調停制御部1110aは、認識処理実行部124から出力される認識結果を、調停情報として取得する。
次のステップS321で、調停制御部1110bは、ステップS320bで取得した認識結果に示される確信度に応じて、ステップS303で認識処理部12から渡された読出領域情報と、ステップS313で視認処理部14から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップS322で、センサ制御部11は、ステップS321で調停制御部1110bにより決定された読出領域情報を読出処理制御部1111に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第5の実施形態の第1の変形例では、ラインデータに基づく認識結果に応じて、認識処理部12から出力された読出領域情報と、視認処理部14から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像対象の様々なシーンに応じて適切な視認用画像を得ることが可能である。
[8−2.第5の実施形態の第2の変形例]
次に、第5の実施形態の第2の変形例について説明する。第5の実施形態の第2の変形例は、調停制御部1110が調停処理に用いる調停情報として、視認処理部14から出力される視認用画像を適用する例である。図59は、第5の実施形態の第2の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
図59に示される構成は、上述した図51に示した構成に対して、調停制御部1110bに対して画像処理部143が画像処理を行った信号処理結果が入力されている。この信号処理結果は、画像処理部143から出力される視認用の画像データそのものであってもよいし、調停制御部1110bによる判定が容易なように加工した画像データであってもよい。第5の実施形態の第2の変形例に係る調停制御部1110bは、この信号処理結果を調停情報として用いて、認識処理部12から入力される読出領域情報と、視認処理部14から入力される読出領域情報と、の調停処理を行う。
図60は、第5の実施形態の第2の変形例に係る調停処理を説明するための模式図である。図60における各部の意味は、上述の図60と同様であるので、ここでの説明を省略する。また、図60に例示される各画像は、上述した図57で用いた各画像と対応するものであって、全体的に輝度が低く暗めの画像となっており、手前側(フレームの下端側)が若干輝度が高く明るい画像となっている。
ステップS70に示すように、フレームの下端側からライン読み出しが開始され、画像処理部143は、読み出されたラインデータの輝度値(例えばラインに含まれる各画素データの輝度値の平均値)を求め、求めた輝度値を含む信号処理結果を調停制御部1110bに渡す。調停制御部1110bは、画像処理部143から渡された信号処理結果に含まれる輝度値が第1の閾値以上である場合、読み出された領域が明るく視認に適しているとして、視認優先の制御を行う。具体的には、調停制御部1110bは、認識処理部12から入力された読出領域情報と、視認処理部14から入力された読出領域情報と、のうち視認処理部14から出力された読出領域情報を選択する。調停制御部1110bは、選択した視認処理部14から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する。
なお、図60の例では、視認処理部14に対して、ラインの輝度値が所定以上の場合に、ライン間引きを行うように要求されているものとする。このフレームの下端部において、視認処理部14は、ライン間引きを行うような読出領域情報を生成し、調停制御部1110に渡す。
続けてライン読み出しを行ったラインデータに基づき、画像処理部143より、ラインデータの輝度値を含む信号処理結果が調停制御部1110bに渡される。調停制御部1110bは、渡された信号処理結果に含まれる輝度値が第1の閾値未満である場合、読み出された領域が暗く視認に適していないとして、認識優先の制御を行う。具体的には、調停制御部1110bは、認識処理部12から入力された読出領域情報と、視認処理部14から入力された読出領域情報と、のうち認識処理部12から入力された読出領域情報を選択する(ステップS71)。
さらにフレームの上端側に向けてライン読み出しを行い、画像処理部143より、ラインデータの輝度値を含む信号処理結果が調停制御部1110bに渡される。調停制御部1110bは、画像処理部143から渡された信号処理結果に含まれる輝度値が第1の閾値以上である場合、読み出された領域が明るく視認に適しているとして、制御を視認優先の制御に戻す。具体的には、調停制御部1110bは、認識処理部12から入力された読出領域情報と、視認処理部14から入力された読出領域情報と、のうち視認処理部14から出力された読出領域情報を、次に読み出しを行うラインを示す読出領域情報として選択する(ステップS72)。
なお、上述では、輝度値の判定を第1の閾値のみで行っているが、これはこの例に限定されない。例えば、第1の閾値よりも輝度値が高い第2の輝度値を設け、この第2の閾値を、視認優先の制御の際に適用することができる。この第2の閾値を用いることで、視認優先の制御において、輝度値が飽和した所謂「白飛び」の状態を回避することが可能である。
図61は、第5の実施形態の第2の変形例に係る調停処理を示す一例のフローチャートである。図61のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップS300で、読出部110は、センサ部10からラインデータを読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。以降、図61のステップS301〜ステップS303の認識処理部12側の処理と、ステップS311〜ステップS313の視認処理部14側の処理は、上述した図51の対応する処理と同一であるので、ここでの説明を省略する。
図61において、ステップS303で、上述したようにして、認識処理部12は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110bに入力される。同様に、ステップS313で、視認処理部14は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110bに入力される。
ステップS303およびステップS313で認識処理部12および視認処理部14から調停制御部1110bに制御信号が入力されると、処理がステップS320cに移行される。ステップS320cで、調停制御部1110bは、画像処理部143から出力される信号処理結果を、調停情報として取得する。
次のステップS321で、調停制御部1110bは、ステップS320cで取得した信号処理結果に含まれる輝度値に応じて、ステップS303で認識処理部12から渡された読出領域情報と、ステップS313で視認処理部14から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。次のステップS322で、センサ制御部11は、ステップS321で調停制御部1110bにより決定された読出領域情報を読出処理制御部1111に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第5の実施形態の第2の変形例では、ラインデータに基づく輝度値に応じて、認識処理部12から出力された読出領域情報と、視認処理部14から出力された読出領域情報と、のうち何れを次に読み出しを行う読出ラインを示す読出領域情報として用いるかを、適応的に決定することができる。そのため、撮像環境の明るさに応じて適切な視認用画像を得ることが可能である。
[8−3.第5の実施形態の第3の変形例]
次に、第5の実施形態の第3の変形例について説明する。この第5の実施形態の第3の変形例は、調停制御部1110が調停処理に用いる調停情報として、外部から供給される外部制御情報を適用する例である。図62は、第5の実施形態の第3の変形例に適用可能な撮像装置1の機能を説明するための一例の機能ブロック図である。
図62に示される構成は、上述した図51に示した構成に対して、調停制御部1110cに対して外部制御情報を入力可能としたものである。外部制御情報としては、当該撮像装置1が自動運転可能な車両に搭載される場合、当該車両が対応可能な自動運転のレベル(例えばレベル2〜4)を示す情報が適用できる。これに限らず、外部制御情報として、他のセンサの出力信号を適用することもできる。この場合、他のセンサとしては、他の撮像装置、LiDARセンサ、レーダ装置などが適用できる。さらに、カメラとディスプレイとを用いて車両の周囲の状況を確認する電子ミラーのカメラによる出力を、外部制御情報として用いることも可能である。また、外部制御情報として、例えば外部装置の動作モードを示す情報を用いてもよい。
第5の実施形態の第3の変形例に係る調停制御部1110cは、この外部制御情報を調停情報として用いて、認識処理部12から入力される読出領域情報と、視認処理部14から入力される読出領域情報と、の調停処理を行う。
図63は、第5の実施形態の第3の変形例に係る調停処理を示す一例のフローチャートである。図63のフローチャートによる処理は、読出単位の読み出し毎に実行される処理である。
ステップS300で、読出部110は、センサ部10からラインデータを読み出す。読出部110は、センサ部10から読み出されたラインデータを、認識処理部12および視認処理部14に渡す。以降、図63のステップS301〜ステップS303の認識処理部12側の処理と、ステップS311〜ステップS313の視認処理部14側の処理は、上述した図51の対応する処理と同一であるので、ここでの説明を省略する。
図63において、ステップS303で、上述したようにして、認識処理部12は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110cに入力される。同様に、ステップS313で、視認処理部14は、次の読出ラインを示す読出ライン情報を読出領域情報として生成してセンサ制御部11に渡す。センサ制御部11に渡された読出領域情報は、制御情報として調停制御部1110cに入力される。
ステップS303およびステップS313で認識処理部12および視認処理部14から調停制御部1110bに制御信号が入力されると、処理がステップS320dに移行される。ステップS320dで、調停制御部1110cは、外部装置から入力される外部制御情報を、調停情報として取得する。
次のステップS321で、調停制御部1110cは、ステップS320cで取得した外部制御情報に応じて、ステップS303で認識処理部12から渡された読出領域情報と、ステップS313で視認処理部14から渡された読出領域情報と、のうち、何れを次に読み出しを行うラインを示す読出領域情報とするかを決定する。
このとき、調停制御部1110cは、外部制御情報として、他のセンサから入力される例えば認識情報を用いる際に、当該認識情報の信頼度が低い場合には、ステップS303で認識処理部12から渡された読出領域情報を選択しないようにする。また、外部制御情報として、当該撮像装置1が自動運転可能な車両に搭載され、当該車両が対応可能な自動運転のレベル(例えばレベル2〜4)を示す情報を用いる場合に、ステップS303で認識処理部12から渡された読出領域情報を優先的に用いるようにすることが考えられる。
次のステップS322で、センサ制御部11は、ステップS321で調停制御部1110cにより決定された読出領域情報を読出処理制御部1111に渡し、当該読出領域情報に示される読出ラインの読み出しを行うためのライン制御処理を実行する。
このように、第5の実施形態の第3の変形例では、外部装置から出力される外部制御情報を調停情報として用いて、調停制御部1110cによる調停を行っている。そのため、多様な場面における活用が可能となり、また、外部装置が視認用の画像データの出力を持たない外部センサである場合に、当該外部センサに対して視認用の画像データによる画像を提供可能となる。
[9.第6の実施形態]
次に、第6の実施形態として、本開示に係る、第1〜第5の実施形態および各変形例による撮像装置1の適用例について説明する。図64は、上述の第1〜第5の実施形態および各変形例による撮像装置1を使用する使用例を示す図である。
上述した撮像装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
[本開示に係る技術のさらなる適用例]
本開示に係る技術(本技術)は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図65は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図65に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、および統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、および車載ネットワークI/F(インタフェース)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット12030は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図65の例では、出力装置として、オーディオスピーカ12061、表示部12062およびインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図66は、撮像部12031の設置位置の例を示す図である。図66では、車両12100は、撮像部12031として、撮像部12101、12102、12103、12104および12105を有する。
撮像部12101、12102、12103、12104および12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101および車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101および12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図66には、撮像部12101〜12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112および12113は、それぞれサイドミラーに設けられた撮像部12102および12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101〜12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101〜12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101〜12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101〜12104から得られた距離情報を基に、撮像範囲12111〜12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101〜12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101〜12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101〜12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101〜12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101〜12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。本開示に係る撮像装置1を撮像部12031に適用することで、認識処理用の撮像と視認用の撮像とが両立可能となり、認識処理および人による視認それぞれに対して十分な情報を提供することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
また、本技術は以下のような構成も取ることができる。
(1)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定部と、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停部と、
を備え、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像装置。
(2)
前記調停部は、
前記第1の読出単位と前記第2の読出単位との論理積により、前記調停を行う、
前記(1)に記載の撮像装置。
(3)
前記調停部は、
前記認識処理の結果に基づき前記調停を行う、
前記(1)に記載の撮像装置。
(4)
前記調停部は、
前記認識処理の結果が動物体の認識を示している場合、前記第2の読出領域を選択する、
前記(3)に記載の撮像装置。
(5)
前記調停部は、
前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第2の読出単位を選択する、
前記(3)または(4)に記載の撮像装置。
(6)
前記調停部は、
前記第2の読出単位から読み出された前記画素信号に基づき前記調停を行う、
前記(1)に記載の撮像装置。
(7)
前記調停部は、
前記画素信号に基づく輝度が閾値を超える場合に、前記第2の読出単位を選択する、
前記(6)に記載の撮像装置。
(8)
前記調停部は、
当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
前記(1)乃至(7)の何れかに記載の撮像装置。
(9)
前記調停部は、
前記外部から供給される動作モードに応じて前記調停を行う、
前記(8)に記載の撮像装置。
(10)
前記調停部は、
前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
前記(8)または(9)に記載の撮像装置。
(11)
複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
前記画素領域の一部として設定される読出単位を制御する読出単位制御部と、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域から前記画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定部と、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定部と、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停部と、
を備える撮像装置と、
前記認識処理を実行する認識部、
を備える情報処理装置と、
を含み、
前記読出単位制御部は、
前記調停部による調停により、前記読出単位を設定する、
撮像システム。
(12)
プロセッサにより実行される、
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定ステップと、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停ステップと、
を含み、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
撮像方法。
(13)
撮像部が有する、複数の画素が配列された画素領域の一部として設定される読出単位を制御する読出単位制御ステップと、
前記読出単位毎の教師データを学習した認識処理のために前記画素領域に含まれる画素から画素信号を読み出す第1の読出単位を設定する、第1の読出単位設定ステップと、
後段に出力するために前記画素領域から前記画素信号を読み出す第2の読出単位を設定する第2の読出単位設定ステップと、
前記第1の読出単位と前記第2の読出単位とで調停を行う調停ステップと、
をプロセッサに実行させ、
前記読出単位制御ステップは、
前記調停ステップによる調停により、前記読出単位を設定する、
るための撮像プログラム。
さらに、本技術は以下のような構成も取ることができる。
(14)
画像データを生成する撮像部と、
前記撮像部から読み出された単位領域ごとの画像データに対して学習モデルを用いた機械学習処理を実行する機械学習部と、
前記機械学習処理の結果に基づいて、所定の機能を実行する機能実行部と、
を備える電子機器。
(15)
前記機械学習部は、同一フレームの画像データにおける最初に入力された単位領域の画像データに対してCNN(Convolution Neural Network)を利用した機械学習処理を実行する前記(14)に記載の電子機器。
(16)
前記機械学習部は、前記最初に入力された単位領域の画像データに対する前記CNNを利用した機械学習処理に失敗した場合、前記同一フレームの画像データにおける次に入力された単位領域の画像データに対してRNN(Recurrent Neural Network)を利用した機械学習処理を実行する前記(15)に記載の電子機器。
(17)
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記機械学習部には、前記ライン単位で前記画像データが入力される
前記(14)乃至(16)の何れかに記載の電子機器。
(18)
前記単位領域の画像データは、所定ライン数の画像データである前記(1)乃至(17)の何れかに記載の電子機器。
(19)
前記単位領域の画像データは、矩形領域の画像データである前記(14)乃至(17)の何れかに記載の電子機器。
(20)
前記学習モデルのプログラムを記録するメモリをさらに備え、
前記機械学習部は、前記メモリから前記プログラムを読み出して実行することで、前記機械学習処理を実行する
前記(14)乃至(19)の何れかに記載の電子機器。
1 撮像装置
10 センサ部
11 センサ制御部
12 認識処理部
14 視認処理部
110 読出部
111 読出制御部
120 特徴量計算部
121 特徴量蓄積制御部
122 特徴量蓄積部
123 読出決定部
124 認識処理実行部
140 画像データ蓄積制御部
141 画像データ蓄積部
143 画像処理部

Claims (14)

  1. 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
    前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
    前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、
    画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、
    前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停部と、
    を備え、
    前記読出単位制御部は、
    前記調停部による調停により、前記読出単位を設定する、
    撮像装置。
  2. 前記調停部は、
    前記第1の読出単位候補と前記第2の読出単位候補との論理積により、前記調停を行う、
    請求項1に記載の撮像装置。
  3. 前記調停部は、
    前記第1の読出単位候補と前記第2の読出単位候補との論理積が空集合の場合、前記第1の読出単位候補と前記第2の読出単位候補とのうち何れか一方を優先するように、前記調停を行う、
    請求項2に記載の撮像装置。
  4. 前記調停部は、
    前記認識処理の結果に基づき前記調停を行う、
    請求項1に記載の撮像装置。
  5. 前記調停部は、
    前記認識処理の結果が動物体の認識を示している場合、前記第2の読出単位候補から読出単位を選択する、
    請求項4に記載の撮像装置。
  6. 前記調停部は、
    前記認識処理の結果が閾値以下の認識確信度を示している場合に、前記第2の読出単位候補から読出単位を選択する、
    請求項4に記載の撮像装置。
  7. 前記調停部は、
    前記第2の読出単位候補から選択され読み出された前記画素信号に基づき前記調停を行う、
    請求項1に記載の撮像装置。
  8. 前記調停部は、
    前記画素信号に基づく輝度が閾値を超える場合に、前記第2の読出単位候補から読出単位を選択する、
    請求項7に記載の撮像装置。
  9. 前記調停部は、
    当該撮像装置の外部から供給される外部情報に基づき前記調停を行う、
    請求項1に記載の撮像装置。
  10. 前記調停部は、
    前記外部から供給される動作モードに応じて前記調停を行う、
    請求項9に記載の撮像装置。
  11. 前記調停部は、
    前記外部から供給される他のセンサ装置の検知出力に応じて前記調停を行う、
    請求項9に記載の撮像装置。
  12. 複数の画素が配列された画素領域を有し、該画素領域に含まれる画素から画素信号を読み出して出力する撮像部と、
    前記画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御部と、
    前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定部と、
    画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定部と、
    前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停部と、
    を備える撮像装置と、
    前記認識部、
    を備える情報処理装置と、
    を含み、
    前記読出単位制御部は、
    前記調停部による調停により、前記読出単位を設定する、
    撮像システム。
  13. プロセッサにより実行される、
    撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
    前記読出単位に応じた教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定ステップと、
    画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定ステップと、
    前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停ステップと、
    を含み、
    前記読出単位制御ステップは、
    前記調停ステップによる調停により、前記読出単位を設定する、
    撮像方法。
  14. 撮像部が有する、複数の画素が配列された画素領域の一部として画素信号を読み出す読出単位を制御する読出単位制御ステップと、
    前記読出単位毎の教師データを学習した認識部による認識処理のために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第1の読出単位候補を設定する、第1の読出単位候補設定ステップと、
    画像データを生成するために前記画素領域から前記画素信号の読み出しを行う前記読出単位の候補である第2の読出単位候補を設定する第2の読出単位候補設定ステップと、
    前記第1の読出単位候補と前記第2の読出単位候補とで調停を行う調停ステップと、
    をプロセッサに実行させ、
    前記読出単位制御ステップは、
    前記調停ステップによる調停により、前記読出単位を設定する、
    ための撮像プログラム。
JP2019237377A 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム Active JP7424051B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018163700 2018-08-31
JP2019159151A JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019159151A Division JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (3)

Publication Number Publication Date
JP2020054007A true JP2020054007A (ja) 2020-04-02
JP2020054007A5 JP2020054007A5 (ja) 2022-08-30
JP7424051B2 JP7424051B2 (ja) 2024-01-30

Family

ID=69166772

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159150A Active JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019229256A Active JP7424034B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019237377A Active JP7424051B2 (ja) 2018-08-31 2019-12-26 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2019159151A Active JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159150A Active JP6638851B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159133A Active JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019159132A Active JP6635221B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2019229257A Active JP7500962B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2019229256A Active JP7424034B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置および認識処理方法
JP2019229783A Active JP7380180B2 (ja) 2018-08-31 2019-12-19 固体撮像素子、撮像装置、撮像方法および撮像プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024006216A Pending JP2024028531A (ja) 2018-08-31 2024-01-18 情報処理装置、固体撮像素子および情報処理方法

Country Status (7)

Country Link
US (7) US11704904B2 (ja)
EP (4) EP3846444A4 (ja)
JP (9) JP6638852B1 (ja)
KR (4) KR20210052446A (ja)
CN (4) CN112585531B (ja)
BR (4) BR112021003115A2 (ja)
WO (4) WO2020045685A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
KR20220134538A (ko) * 2020-01-31 2022-10-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 촬상 방법
JP7492345B2 (ja) * 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
DE112021001771T5 (de) * 2020-03-24 2023-01-05 Sony Semiconductor Solutions Corporation Renderingsystem und system zur verifizierung automatisierten fahrens
US20230162468A1 (en) * 2020-03-31 2023-05-25 Sony Group Corporation Information processing device, information processing method, and information processing program
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US20230254600A1 (en) * 2020-07-20 2023-08-10 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing program
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
US12075175B1 (en) * 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
WO2023047775A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 画像生成方法、プロセッサ、及びプログラム
US12119989B2 (en) * 2021-10-29 2024-10-15 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127614A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127654A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JPWO2023127615A1 (ja) * 2021-12-28 2023-07-06
CN118451721A (zh) * 2021-12-28 2024-08-06 索尼集团公司 信息处理设备、信息处理方法、信息处理程序和信息处理系统
JPWO2023127653A1 (ja) * 2021-12-28 2023-07-06
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2024090345A (ja) * 2022-12-23 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017010316A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 撮像装置、および情報処理システム
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
WO2018110303A1 (ja) * 2016-12-14 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
EP1354291B1 (en) 2001-01-22 2006-08-02 Hand Held Products, Inc. Optical reader having partial frame operating mode
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
WO2009120582A2 (en) * 2008-03-27 2009-10-01 Pressline Services, Inc Printing press, folder, and methods of operation
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP5987306B2 (ja) 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术(北京)有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
US9979904B2 (en) * 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技(天津)有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) * 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
EP4064679A1 (en) * 2016-09-16 2022-09-28 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像データ抽出装置及び画像データ抽出方法
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
CN112585605A (zh) * 2018-09-06 2021-03-30 索尼公司 信息处理系统、信息处理方法、终端装置和信息处理装置
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017010316A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 撮像装置、および情報処理システム
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
WO2018110303A1 (ja) * 2016-12-14 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Also Published As

Publication number Publication date
US11595608B2 (en) 2023-02-28
BR112021003119A2 (pt) 2021-05-11
EP3846446A4 (en) 2021-10-20
CN112585943B (zh) 2022-12-27
BR112021003084A2 (pt) 2021-05-11
JP2020039126A (ja) 2020-03-12
CN112585943A (zh) 2021-03-30
WO2020045686A1 (ja) 2020-03-05
US20210306586A1 (en) 2021-09-30
US20230334848A1 (en) 2023-10-19
KR20210052446A (ko) 2021-05-10
CN112567728A (zh) 2021-03-26
JP7424051B2 (ja) 2024-01-30
EP3846441A4 (en) 2021-10-13
EP3846441A1 (en) 2021-07-07
EP3846443A4 (en) 2021-09-22
JP2024028531A (ja) 2024-03-04
JP7500962B2 (ja) 2024-06-18
EP3846446A1 (en) 2021-07-07
US11763554B2 (en) 2023-09-19
US20240029424A1 (en) 2024-01-25
JP7424034B2 (ja) 2024-01-30
US11704904B2 (en) 2023-07-18
EP3846444A4 (en) 2021-10-06
JP7380180B2 (ja) 2023-11-15
WO2020045685A1 (ja) 2020-03-05
CN112585948B (zh) 2024-09-13
JP2020039124A (ja) 2020-03-12
KR20210053884A (ko) 2021-05-12
CN112585531B (zh) 2023-05-30
KR20210052444A (ko) 2021-05-10
EP3846443A1 (en) 2021-07-07
US11741700B2 (en) 2023-08-29
JP2020039125A (ja) 2020-03-12
JP2020048225A (ja) 2020-03-26
JP2020043615A (ja) 2020-03-19
CN112585948A (zh) 2021-03-30
JP6635222B1 (ja) 2020-01-22
JP2020039123A (ja) 2020-03-12
JP6635221B1 (ja) 2020-01-22
BR112021003115A2 (pt) 2021-05-11
CN112585531A (zh) 2021-03-30
US20210329164A1 (en) 2021-10-21
BR112021003183A2 (pt) 2021-05-11
US20210321054A1 (en) 2021-10-14
US20210329163A1 (en) 2021-10-21
WO2020045684A1 (ja) 2020-03-05
US12080061B2 (en) 2024-09-03
JP6638851B1 (ja) 2020-01-29
EP3846444A1 (en) 2021-07-07
KR20210053883A (ko) 2021-05-12
CN112567728B (zh) 2023-06-09
US20230394813A1 (en) 2023-12-07
WO2020045682A1 (ja) 2020-03-05
JP6638852B1 (ja) 2020-01-29
JP2020043614A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6638852B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2022019025A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151