JP2019062324A - 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 - Google Patents

撮像制御装置、撮像装置、および、撮像制御装置の制御方法 Download PDF

Info

Publication number
JP2019062324A
JP2019062324A JP2017184263A JP2017184263A JP2019062324A JP 2019062324 A JP2019062324 A JP 2019062324A JP 2017184263 A JP2017184263 A JP 2017184263A JP 2017184263 A JP2017184263 A JP 2017184263A JP 2019062324 A JP2019062324 A JP 2019062324A
Authority
JP
Japan
Prior art keywords
image data
signal
processing
predetermined
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017184263A
Other languages
English (en)
Other versions
JP7144926B2 (ja
Inventor
杉山　聡
Satoshi Sugiyama
聡 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017184263A priority Critical patent/JP7144926B2/ja
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US16/648,997 priority patent/US11228696B2/en
Priority to CN201880060598.XA priority patent/CN111095909B/zh
Priority to PCT/JP2018/029570 priority patent/WO2019064939A1/en
Priority to DE112018005515.9T priority patent/DE112018005515T5/de
Priority to CN202210295513.4A priority patent/CN114584710A/zh
Publication of JP2019062324A publication Critical patent/JP2019062324A/ja
Priority to US17/544,184 priority patent/US11553117B2/en
Application granted granted Critical
Publication of JP7144926B2 publication Critical patent/JP7144926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】複数の画像データを撮像する撮像装置において、消費電力を低減する。【解決手段】撮像装置は、信号処理部および制御部を具備する。信号処理部は、複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と複数の画像データのいずれかに対して信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する。制御部は、測定された所定の物理量と所定の閾値との比較結果に基づいて所定の制御信号を信号処理部に供給して複眼処理および単眼処理の一方から他方へ切り替えさせる。【選択図】図１

Description

本技術は、撮像制御装置、撮像装置、および、撮像制御装置の制御方法に関する。詳しくは、複数の固体撮像素子を設けた撮像制御装置、撮像装置、および、撮像制御装置の制御方法に関する。
従来より、複数の画像データを同時に撮像するために、複数の固体撮像素子を設けた複眼の撮像装置が用いられている。例えば、カラーフィルタを有する固体撮像素子によりカラー画像データを撮像し、カラーフィルタの無い固体撮像素子によりモノクロ画像データを撮像する撮像装置が提案されている（例えば、特許文献１参照。）。ここで、モノクロ画像データは、カラーフィルタにより入射光が減衰しない分、カラー画像データよりも明るい画像となる。この撮像装置は、それらのカラー画像データおよびモノクロ撮像データを同時に撮像して合成する。
特開２０１１−２３９２６０号公報
上述の従来技術では、比較的明るいモノクロ画像データをカラー画像データに合成することにより、合成しない場合よりも明るいカラー画像データを生成することができる。しかしながら、複数枚の画像データを合成する合成処理は、１枚の画像データを処理する場合よりも処理量が多いため、合成しない場合と比較して撮像装置の消費電力が増大するという問題がある。消費電力が増大すると、撮像装置のバッテリー残量の低下速度や撮像装置の発熱量が増大するおそれがあるため、消費電力を低減することが望ましい。
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像データを撮像する撮像装置において、消費電力を低減することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と上記複数の画像データのいずれかに対して上記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、測定された所定の物理量と所定の閾値との比較結果に基づいて上記所定の制御信号を上記信号処理部に供給して上記複眼処理および上記単眼処理の一方から他方へ切り替えさせる制御部とを具備する撮像制御装置、および、その制御方法である。これにより、物理量に応じて信号処理部の処理が複眼処理および単眼処理の一方から他方へ切り替わるという作用をもたらす。
また、この第１の側面において、上記所定の物理量は、撮像環境に応じて変動する物理量であってもよい。これにより、撮像環境に応じて信号処理部の処理が複眼処理および単眼処理の一方から他方へ切り替わるという作用をもたらす。
また、この第１の側面において、上記所定の物理量として温度を測定する温度センサをさらに具備し、上記制御部は、上記温度が上記所定の閾値より高い場合には上記複眼処理を上記単眼処理へ切り替えさせてもよい。これにより、温度が閾値より高い場合に信号処理部の処理が複眼処理から単眼処理へ切り替わるという作用をもたらす。
また、この第１の側面において、上記信号処理部は、上記所定の物理量として入射光の光量を測定して測光量として取得する処理を含み、上記制御部は、上記測光量が上記所定の閾値より大きい場合には上記複眼処理を上記単眼処理へ切り替えさせてもよい。これにより、測光量が閾値より大きい場合に信号処理部の処理が複眼処理から単眼処理へ切り替わるという作用をもたらす。
また、この第１の側面において、上記信号処理部は、上記所定の物理量として被写体の動き量を測定する処理を含み、上記制御部は、上記動き量が上記所定の閾値より大きい場合には上記単眼処理を上記複眼処理へ切り替えさせてもよい。これにより、被写体の動き量が閾値より大きい場合に信号処理部の処理が単眼処理から複眼処理へ切り替わるという作用をもたらす。
また、この第１の側面において、上記複数の画像データは、所定の同期信号に同期して撮像された画像であり、上記信号処理部は、所定周期が経過するたびに合成比率を変更して合成する遷移処理を実行した後に上記一方から上記他方への切り替えを行ってもよい。これにより、合成比率を徐々に変更した後に処理が切り替わるという作用をもたらす。
また、本技術の第２の側面は、複数の画像データを合成して合成画像データとして出力する合成処理部と、上記合成画像データを上記複数の画像データのいずれかである単一画像データとともに単一の通信チャネルを介して送信する単一チャネル送信処理と上記単一画像データおよび上記合成画像データのそれぞれを互いに異なる通信チャネルを介して送信する複数チャネル送信処理とのいずれかを所定の制御信号に従って行う送信部と、測定された所定の物理量と所定の閾値との比較結果に基づいて上記所定の制御信号を上記信号処理部に供給して上記単一チャネル送信処理および上記複数チャネル送信処理の一方から他方へ切り替えさせる制御部とを具備する撮像制御装置である。これにより、物理量に応じて単一チャネル送信処理および複数チャネル送信処理の一方から他方へ切り替わるという作用をもたらす。
また、この第２の側面において、上記複数の画像データのいずれかを縮小するスケーリング処理部をさらに具備し、上記制御部は、上記所定の物理量と所定の閾値との比較結果に基づいて上記スケーリング処理部を制御して縮小率を変更させてもよい。これにより、物理量に応じて縮小率が変更されるという作用をもたらす。
また、この第２の側面において、所定の同期信号を供給する同期制御部をさらに具備し、上記複数の画像データのそれぞれは、上記所定の同期信号に同期して撮像された画像データであり、上記制御部は、上記所定の物理量と所定の閾値との比較結果に基づいて上記同期制御部を制御して上記所定の同期信号の周波数を変更させてもよい。これにより、物理量に応じて同期信号の周波数が変更されるという作用をもたらす。
また、本技術の第３の側面は、複数の画像データを撮像するカメラモジュールと、上記複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と上記複数の画像データのいずれかに対して上記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、測定された所定の物理量と所定の閾値との比較結果に基づいて上記所定の制御信号を上記信号処理部に供給して上記複眼処理および上記単眼処理の一方から他方へ切り替えさせる制御部とを具備する撮像装置である。これにより、物理量に応じて、カメラモジュールからの画像データに対する処理が複眼処理および単眼処理の一方から他方へ切り替わるという作用をもたらす。
本技術によれば、複数の画像データを撮像する撮像装置において、消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるカメラモジュールの一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の断面図の一例である。 本技術の第１の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるカラー画像信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における合成処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における合成処理を行わない場合の撮像装置の状態の一例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態の第１の変形例における信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態の第２の変形例におけるカラー画像信号処理部の一構成例を示すブロック図である。 本技術の第２の実施の形態における信号処理部の一構成例を示すブロック図である。 本技術の第２の実施の形態におけるアプリケーションプロセッサの一構成例を示すブロック図である。 本技術の第２の実施の形態の変形例における撮像装置の一構成例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（温度が閾値より高いと複眼処理から単眼処理へ切り替える例）
２．第２の実施の形態（温度が閾値より高いと２チャネルから１チャネルに切り替える例）
３．移動体への応用例
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像するものであり、カメラモジュール１１０および１３０と撮像制御装置２００とアプリケーションプロセッサ１５０とを備える。撮像装置１００としては、スマートフォン、アクションカム、ＩｏＴ（Internet of Things）カメラや車載カメラなどが想定される。
カメラモジュール１１０および１３０は、所定周波数（３０ヘルツなど）の垂直同期信号ＶＳＹＮＣに同期して画像データを撮像するものである。これらのカメラモジュール１１０および１３０は、同一の垂直同期信号ＶＳＹＮＣに同期して、同時に撮像を行う。そして、カメラモジュール１１０は、信号線１１９を介して画像データを撮像制御装置２００に供給し、カメラモジュール１３０は、信号線１３９を介して画像データを撮像制御装置２００に供給する。
また、カメラモジュール１１０は、撮像制御装置２００からのイネーブル信号ＥＮｃ１に従って動作または停止し、カメラモジュール１３０は、撮像制御装置２００からのイネーブル信号ＥＮｃ２に従って動作または停止する。イネーブル信号ＥＮｃ１は、信号線２１７を介して伝送され、イネーブル信号ＥＮｃ２は、信号線２１８を介して伝送される。
撮像制御装置２００は、撮像装置１００の撮像動作を制御するものであり、制御部２１０、温度センサ２２０および信号処理部２４０を備える。
温度センサ２２０は、撮像装置１００の温度を測定するものである。この温度センサ２２０は、測定値を示す温度データを制御部２１０に信号線２２９を介して供給する。
信号処理部２４０は、カメラモジュール１１０および１３０からの２枚の画像データに対して所定の信号処理を行うものである。この信号処理部２４０は、制御部２１０の制御に従って、複眼処理または単眼処理を実行する。ここで、複眼処理は、２枚の画像データのそれぞれに対して信号処理を行い、それらを合成する処理である。また、単眼処理は、２枚の画像データの一方にのみ信号処理を行う処理である。信号処理部２４０は、処理後の画像データをアプリケーションプロセッサ１５０に信号線２０９を介して供給する。
また、信号処理部２４０は、カメラモジュール１１０および１３０の露光量やフォーカスレンズの位置を制御する。
アプリケーションプロセッサ１５０は、信号処理部２４０からの画像データに対して、物体認識処理やフィルタ処理などの様々な画像処理を実行するものである。このアプリケーションプロセッサ１５０は、例えば、処理後の画像データを不揮発性のメモリ（不図示）などに記録する。また、アプリケーションプロセッサ１５０は、例えば、処理後の画像データを表示装置（不図示）に供給して表示させる。
制御部２１０は、測定された所定の物理量と所定の閾値とを比較した結果に基づいてカメラモジュール１１０および１３０と信号処理部２４０とを制御するものである。測定対象の物理量は、撮像環境に応じて変動するものが望ましい。そのような物理量として、例えば、温度が用いられる。制御部２１０は、撮像を行うための所定のアプリケーションが実行された際に、イネーブル信号ＥＮｃ１およびＥＮｃ２を信号処理部２４０に供給してカメラモジュール１１０および１３０の両方を動作させる。また、その際に制御部２１０は、イネーブル信号ＥＮｓ１、ＥＮｓ２およびＥＮｓ３を信号処理部２４０に供給して信号処理部２４０に複眼処理を実行させる。イネーブル信号ＥＮｓ１乃至ＥＮｓ３の詳細については後述する。これらのイネーブル信号ＥＮｓ１乃至ＥＮｓ３は、信号線２１９を介して伝送される。なお、イネーブル信号ＥＮｓ１、ＥＮｓ２およびＥＮｓ３は、特許請求の範囲に記載の制御信号の一例である。
そして、制御部２１０は、温度を監視し、温度が所定の上限閾値より高いか否かを判断する。温度が上限閾値より高くなると、制御部２１０は、イネーブル信号ＥＮｓ１、ＥＮｓ２およびＥＮｓ３を信号処理部２４０に供給して信号処理部２４０を制御して、複眼処理から単眼処理への切り替えを開始させる。そして、切替えが完了すると制御部２１０は、イネーブル信号ＥＮｃ１またはＥＮｃ２を信号処理部２４０に供給してカメラモジュール１１０および１３０の一方を停止させる。
このように、温度が上限閾値より高くなったときにカメラモジュール１１０および１３０の一方を停止し、単眼処理へ切り替えることにより、消費電力が小さくなり、温度上昇が抑制される。
また、単眼処理への切替え後に、制御部２１０は、温度が所定の下限閾値より低いか否かを判断する。温度が下限閾値より低くなると、制御部２１０は、イネーブル信号ＥＮｓ１、ＥＮｓ２およびＥＮｓ３により信号処理部２４０を制御して、単眼処理から複眼処理への切り替えを開始させる。そして、切替えが完了すると制御部２１０は、イネーブル信号ＥＮｃ１およびＥＮｃ２によりカメラモジュール１１０および１３０の両方を動作させる。
［カメラモジュールの構成例］
図２は、本技術の第１の実施の形態におけるカメラモジュール１１０および１３０の一構成例を示すブロック図である。同図におけるａは、カメラモジュール１１０の一構成例を示すブロック図であり、同図におけるｂは、カメラモジュール１３０の一構成例を示すブロック図である。
カメラモジュール１１０は、光学系１１１および固体撮像素子１２０を備える。光学系１１１は、絞りやフォーカスレンズを含む複数の光学部品からなり、入射光を集光して固体撮像素子１２０に導く。固体撮像素子１２０は、垂直同期信号ＶＳＹＮＣに同期して、色情報および輝度情報を含むカラー画像データを撮像するものである。
信号処理部２４０は、光学系１１１の絞り値や、固体撮像素子１２０の露光時間を制御して、露光量を適正値にする。また、信号処理部２４０は、光学系１１１のフォーカスレンズの位置を制御して焦点を合わせる。
また、カメラモジュール１３０は、光学系１３１および固体撮像素子１４０を備える。光学系１３１の構成は、光学系１１１と同様である。固体撮像素子１４０は、垂直同期信号ＶＳＹＮＣに同期して、輝度情報のみを含むモノクロ画像データを撮像するものである。信号処理部２４０は、カメラモジュール１３０の露光量や焦点も制御する。
なお、光学系１１１および固体撮像素子１２０と、光学系１３１および固体撮像素子１４０とを別々のカメラモジュールに配置しているが、これら全てを単一のカメラモジュール内に配置してもよい。
図３は、本技術の第１の実施の形態における固体撮像素子１２０および１４０の断面図の一例である。同図におけるａは、固体撮像素子１２０の断面図の一例であり、同図におけるｂは、固体撮像素子１４０の断面図の一例である。
固体撮像素子１２０の受光面には、画素毎にマイクロレンズ１２１が設けられる。マイクロレンズ１２１から、その焦点への方向を下方向として、マイクロレンズ１２１のそれぞれの下層には、カラーフィルタ１２２が設けられる。カラーフィルタ１２２のそれぞれの下層には、受光素子１２３が配置される。このカラーフィルタ１２２は、赤色、緑色および青色のいずれかの波長の光を透過する。それらの透過した光に対する光電変換により、Ｒ(Red)、Ｇ(Green)およびＢ(Blue)のそれぞれの画素信号を二次元格子状に配列したカラー画像データが生成される。受光素子１２３の下層には、配線層１２４が設けられる。このように、配線層１２４を表面として、表面に対する裏面に光が照射される固体撮像素子１２０は、裏面照射型の固体撮像素子と呼ばれる。
固体撮像素子１４０の受光面には、画素毎にマイクロレンズ１４１が設けられる。マイクロレンズ１４１のそれぞれの下層には、受光素子１４３が配置される。受光素子１４３の下層には、配線層１４４が設けられる。固体撮像素子１４０にはカラーフィルタが設けられていないため、固体撮像素子１４０によりモノクロ画像データが撮像される。また、固体撮像素子１４０では、カラーフィルタにより入射光が減衰することが無いため、同一光量の光源下において、カラー画像データよりも明るいモノクロ画像データが得られる。
なお、裏面照射型の固体撮像素子を固体撮像素子１２０および１４０として用いているが、表面照射型の固体撮像素子を用いることもできる。
［信号処理部の構成例］
図４は、本技術の第１の実施の形態における信号処理部２４０の一構成例を示すブロック図である。この信号処理部２４０は、カラー画像信号処理部２４１、モノクロ画像信号処理部２４７、合成処理部２５０および送信部２４８を備える。
カラー画像信号処理部２４１は、カメラモジュール１１０からのカラー画像データに対して所定の信号処理を実行するものである。このカラー画像信号処理部２４１は、処理後のカラー画像データを合成処理部２５０に供給する。また、カラー画像信号処理部２４１は、制御部２１０からのイネーブル信号ＥＮｓ１に従って、動作または停止する。
モノクロ画像信号処理部２４７は、カメラモジュール１３０からのモノクロ画像データに対して所定の信号処理を実行するものである。このモノクロ画像信号処理部２４７は、処理後のモノクロ画像データを合成処理部２５０に供給する。また、モノクロ画像信号処理部２４７は、制御部２１０からのイネーブル信号ＥＮｓ２に従って、動作または停止する。
合成処理部２５０は、信号処理後のカラー画像データおよびモノクロ画像データを合成するものである。この合成処理部２５０は、垂直同期信号ＶＳＹＮＣに同期して、カラー画像データおよびモノクロ画像データを合成して合成画像データを生成する。そして、合成処理部２５０は、制御部２１０からのイネーブル信号ＥＮｓ３に従って合成比率を変更する。ここでイネーブル信号ＥＮｓ３は、合成の開始および終了のいずれかを指示する信号である。合成比率の変更方法については後述する。合成処理部２５０は、処理後の画像データを出力画像データとして送信部２４８に供給する。
送信部２４８は、出力画像データを送信するものである。この送信部２４８は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）規格に従って出力画像データをアプリケーションプロセッサ１５０に送信する。
図５は、本技術の第１の実施の形態におけるカラー画像信号処理部２４１の一構成例を示すブロック図である。このカラー画像信号処理部２４１は、デモザイク処理部２４２、検波部２４３、露光制御部２４４およびフォーカス制御部２４５を備える。
デモザイク処理部２４２は、カラー画像データに対し、画素毎に足りない色情報を周囲の画素から補間するデモザイク処理を行うものである。デモザイク処理により、画素毎に、Ｒ、ＧおよびＢの信号を含むカラー画像データが生成される。このデモザイク処理部２４２は、デモザイク処理後のカラー画像データを合成処理部２５０に供給する。なお、カラー画像信号処理部２４１は、デモザイク処理の他、フィルタ処理や、欠陥画素の補間処理などの他の処理をさらに実行してもよい。
検波部２４３は、カラー画像データから入射光の光量を測定して測光量として取得するものである。例えば、中央重点測光方式やスポット測光方式により測光量が検波値として求められる。検波部２４３は、検波値（測光量）を露光制御部２４４に供給する。
露光制御部２４４は、検波値に基づいて、露光量を適正値に制御するものである。この露光制御部２４４は、カメラモジュール１１０の絞り値や露光時間を制御して、露光量を適正値にする。
フォーカス制御部２４５は、カメラモジュール１１０の焦点を合わせるものである。このフォーカス制御部２４５は、例えば、像面位相差検出法やコントラスト検出法を用いて、焦点の合う位置を検出し、その位置にカメラモジュール１１０のフォーカスレンズを移動させる。
なお、モノクロ画像信号処理部２４７の構成は、デモザイク処理を実行しない点以外は、カラー画像信号処理部２４１と同様である。
［合成処理部の構成例］
図６は、本技術の第１の実施の形態における合成処理部２５０の一構成例を示すブロック図である。この合成処理部２５０は、位置合わせ処理部２５１、ＹＣ変換部２５２、輝度信号合成部２５３、ＲＧＢ変換部２５４およびスイッチ２５５を備える。
位置合わせ処理部２５１は、カラー画像データとモノクロ画像データとの位置を合わせるものである。この位置合わせ処理部２５１は、カメラモジュール１１０および１３０の取り付け誤差や視差に起因する２枚の画像データの位置ずれを、平行移動や回転などにより補正する。位置合わせ処理部２５１は、位置合わせ後のカラー画像データをＹＣ変換部２５２に供給し、モノクロ画像データを輝度信号合成部２５３に供給する。
ＹＣ変換部２５２は、カラー画像データにおいて画素毎に、Ｒ、ＧおよびＢの信号を次の式により、輝度信号Ｙ１と、色差信号ＣｂおよびＣｒとに変換するものである。
Ｙ１＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８
ＹＣ変換部２５２は、輝度信号Ｙ１を輝度信号合成部２５３に供給し、色差信号ＣｂおよびＣｒをＲＧＢ変換部２５４に供給する。
輝度信号合成部２５３は、画素毎に、カラー画像データの輝度信号Ｙ１とモノクロ画像データの輝度信号Ｙ２とを次の式により合成するものである。
Ｙ３＝Ｙ１×（Ａ／１００）＋Ｙ２×（１−Ａ）／１００
上式において、Ａは、パーセント表記の合成比率であり、Ｙ３は、合成後の輝度信号である。
輝度信号合成部２５３は、合成後の輝度信号Ｙ３をＲＧＢ変換部２５４に供給する。
ＲＧＢ変換部２５４は、画素毎に、輝度信号Ｙ３と色差信号ＣｒおよびＣｂとを次の式によりＲ、ＧおよびＢの信号に変換するものである。ＲＧＢ変換部２５４は、変換後の画像データをスイッチ２５５に供給する。
Ｒ＝１．１６４（Ｙ３−１６）−１．５９６（Ｃｒ−１２８）
Ｇ＝１．１６４（Ｙ３−１６）−０．３９１（Ｃｂ−１２８）
−０．８１３（Ｃｒ−１２８）
Ｂ＝１．１６４（Ｙ３−１６）−２．０１８（Ｃｂ−１２８）
スイッチ２５５は、輝度信号合成部２５３の制御に従って、ＲＧＢ変換部２５４からの画像データと、カラー画像信号処理部２４１からのカラー画像データとのいずれかを選択するものである。初期状態においては、ＲＧＢ変換部２５４からの画像データが選択される。このスイッチ２５５は、選択した画像データを出力画像データとして送信部２４８に供給する。
イネーブル信号ＥＮｓ３により合成開始が指示されると、輝度信号合成部２５３は、合成比率Ａに初期値（例えば、「０」）を設定して合成を開始する。そして、その合成開始後にイネーブル信号ＥＮｓ３により合成終了が指示されると、輝度信号合成部２５３は、垂直同期信号ＶＳＹＮＣの周期であるフレーム周期が経過するたびに、合成比率Ａを増加させる遷移処理を実行する。例えば、フレーム周期毎に、合成比率Ａを「１０」パーセント（％）ずつ増加させる場合、１０フレーム周期で合成比率Ａは「１００」パーセント（％）になり、遷移処理は終了する。遷移処理の終了時に、輝度信号合成部２５３は、スイッチ２５５を制御して、カラー画像信号処理部２４１からのカラー画像データを選択させる。この遷移処理の実行により、出力画像データにおける明るさの急激な変化を抑制することができる。
そして、合成終了の後にイネーブル信号ＥＮｓ３により合成開始が指示されると、輝度信号合成部２５３は、フレーム周期が経過するたびに、合成比率Ａを減少させる遷移処理を実行する。また、輝度信号合成部２５３は、スイッチ２５５を制御して、ＲＧＢ変換部２５４からの画像データを選択させる。
なお、合成処理部２５０は、モノクロ画像データおよびカラー画像データを合成しているが、合成対象の画像データの組合せは、モノクロおよびカラーに限定されない。例えば、合成処理部２５０は、２枚のカラー画像データを合成してもよい。また、合成処理部２５０は、輝度信号と色差信号とを分離して合成を行っているが、これらを分離せずに合成を行ってもよい。
図７は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。撮像開始前において、イネーブル信号ＥＮｃ１、ＥＮｃ２、ＥＮｓ１、ＥＮｓ２およびＥＮｓ３の全ては、例えば、ディセーブルに設定される。
タイミングＴ０において撮像を行うためのアプリケーションなどが実行されると、制御部２１０は、イネーブル信号ＥＮｃ１、ＥＮｃ２、ＥＮｓ１、ＥＮｓ２およびＥＮｓ３の全てをイネーブルに設定する。これにより、カメラモジュール１１０および１３０は、動作を開始する。また、信号処理部２４０は、複眼処理を実行し、合成画像データを出力する。
カメラモジュール１１０および１３０の動作と、信号処理部２４０の処理量の増大とにより、撮像装置１００の消費電力や発熱量が増大し、撮像装置１００の温度が徐々に上昇する。そして、タイミングＴ１において、温度が上限閾値Ｔｈ１より高くなる。ここで、電子装置においては、熱による回路の破損を防止するために、ある停止閾値より装置の温度が高くなると、回路の動作を停止させる安全回路が組み込まれることが多い。上限閾値Ｔｈ１には、そのような停止閾値よりも低い値が設定される。
タイミングＴ１において、制御部２１０は、温度と上限閾値Ｔｈ１との比較結果に基づいて、イネーブル信号ＥＮｓ３をディセーブルに設定することにより、複眼処理から単眼処理への切り替えを開始させる。
イネーブル信号ＥＮｓ３に従って、合成処理部２５０は、合成比率を徐々に変更する遷移処理を実行する。この遷移処理は、一定時間経過後に終了する。例えば、フレーム周期毎に、合成比率Ａを「１０」パーセント（％）ずつ増加させる場合、１０フレーム周期で合成比率Ａは「１００」パーセント（％）になり、遷移処理が終了する。
制御部２１０は、遷移処理の終了するタイミングＴ２においてイネーブル信号ＥＮｃ２およびイネーブル信号ＥＮｓ２によりカメラモジュール１３０およびモノクロ画像信号処理部２４７を停止させる。モノクロ画像信号処理部２４７の停止により、信号処理部２４０は、単眼処理を開始し、カラー画像データを出力する。
カメラモジュール１３０の停止と複眼処理から単眼処理への切替えとにより、撮像装置１００の消費電力や発熱量が減少し、撮像装置１００の温度が徐々に低下する。
そして、タイミングＴ３において温度が下限閾値Ｔｈ２より低くなると、制御部２１０は、イネーブル信号ＥＮｓ２およびＥＮｓ３をイネーブルに設定することにより、単眼処理から複眼処理への切り替えを開始させる。
イネーブル信号ＥＮｓ２に従って、モノクロ画像信号処理部２４７は動作を開始し、イネーブル信号ＥＮｓ３に従って、合成処理部２５０は、合成比率を徐々に変更する遷移処理を実行する。
なお、信号処理部２４０は、イネーブル信号により切替えが指示されると遷移処理を実行してから、切替え先の処理（単眼処理または複眼処理）を実行しているが、遷移処理を実行せずに、それらの処理を実行する構成としてもよい。
図８は、本技術の第１の実施の形態における合成処理を行わない場合の撮像装置の状態の一例を示すブロック図である。温度が上限閾値Ｔｈ１より高くなると制御部２１０は、イネーブル信号ＥＮｃ２、ＥＮｓ２およびＥＮｓ３をディセーブルにする。これにより、カメラモジュール１３０およびモノクロ画像信号処理部２４７は動作を停止し、合成処理部２５０は、合成処理を停止する。したがって、撮像装置１００の消費電力および発熱量が低減する。
例えば、録画中に撮像装置１００の温度が上昇して停止閾値より高くなると、撮像装置１００内の回路の保護やユーザの安全のために一部の回路が自動停止し、録画が中断されるおそれがある。しかし、その停止閾値より低い上限閾値Ｔｈ１より温度が高くなると、撮像装置１００は、複眼処理から単眼処理に切り替えて消費電力および発熱量を低減するため、温度上昇が抑制され、録画を継続することができる。
［撮像装置の動作例］
図９は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像を行うための処理のアプリケーションが実行されたときに開始される。
撮像装置１００は、カラー画像データおよびモノクロ画像データの撮像を開始する（ステップＳ９０１）。そして、撮像装置１００は、カラー画像データおよびモノクロ画像データの合成処理を行う（ステップＳ９０２）。
撮像装置１００は、温度が上限閾値Ｔｈ１より高いか否かを判断する（ステップＳ９０３）。温度が上限閾値Ｔｈ１以下の場合に（ステップＳ９０３：Ｎｏ）、撮像装置１００は、ステップＳ９０２以降を再度実行する。
一方、温度が上限閾値Ｔｈ１より高い場合に（ステップＳ９０３：Ｙｅｓ）、撮像装置１００は、遷移処理を実行し（ステップＳ９０４）、単眼処理を実行する（ステップＳ９０５）。
そして、撮像装置１００は、温度が下限閾値Ｔｈ２より低いか否かを判断する（ステップＳ９０６）。温度が下限閾値Ｔｈ２以上の場合に（ステップＳ９０６：Ｎｏ）、撮像装置１００は、ステップＳ９０５以降を再度実行する。
一方、温度が下限閾値Ｔｈ２より低い場合に（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、遷移処理を実行し（ステップＳ９０７）、ステップＳ９０２以降を繰り返し実行する。
このように、本技術の第１の実施の形態では、温度が上限閾値Ｔｈ１より高くなると制御部２１０が、信号処理部２４０を制御して複眼処理から単眼処理へ切り替えさせるため、信号処理部２４０の処理量を低下させて、その消費電力を低減することができる。
［第１の変形例］
上述の第１の実施の形態では、制御部２１０は、温度が上限閾値Ｔｈ１より高くなったときに複眼処理から単眼処理へ切り替えて消費電力を低減していた。しかし、温度上昇に応じて切り替える方法では、消費電力を十分に低減することができないおそれがある。例えば、撮像装置１００の外部の気温が非常に低い場合には、外気により撮像装置１００が冷却されて温度が閾値以下となり、単眼処理への切替えが実行されないことがある。この第１の実施の形態の第１の変形例の制御部２１０は、温度以外の物理量に応じて複眼処理から単眼処理へ切り替える点において第１の実施の形態と異なる。
図１０は、本技術の第１の実施の形態の第１の変形例における撮像装置１００の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例の撮像装置１００は、温度センサ２２０の代わりに統計処理部２３０を備える点において第１の実施の形態と異なる。
統計処理部２３０は、信号処理部２４０からの検波値の統計量（平均値や合計値など）を求めるものである。信号処理部２４０は、カラー画像データの検波値と、モノクロ画像データの検波値とを統計処理部２３０に信号線２３８を介して供給する。そして、統計処理部２３０は、それらの検波値の統計量を求めて、信号線２３９を介して制御部２１０に供給する。
制御部２１０は、統計処理部２３０からの統計量と閾値とを比較し、その比較結果に基づいて単眼処理と複眼処理とを切り替えさせる。この統計量は、２枚の画像データから得られた測光量を示す。例えば、統計量（測光量）が、上限閾値より大きくなると制御部２１０は、複眼処理から単眼処理へ切り替えさせる。これにより、撮像環境が明るい場合には、合成による輝度向上の必要が無いために単眼処理が実行され、消費電力が低減する。一方、測光量が下限閾値より小さくなると、制御部２１０は、単眼処理から複眼処理へ切り替えさせる。
図１１は、本技術の第１の実施の形態の第１の変形例における信号処理部２４０の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例において、カラー画像信号処理部２４１およびモノクロ画像信号処理部２４７は、検波値を統計処理部２３０に供給する。
このように、本技術の第１の実施の形態の第１の変形例では、測光量が閾値より大きくなると制御部２１０が複眼処理から単眼処理へ切り替えさせるため、測光量に応じて信号処理部２４０の処理量を低下させて、その消費電力を低減することができる。
［第２の変形例］
上述の第１の実施の形態の第１の変形例では、制御部２１０は、測光量が閾値より大きくなったときに複眼処理から単眼処理へ切り替えて消費電力を低減していた。しかし、測光量に応じて切り替える方法では、消費電力を十分に低減することができないおそれがある。例えば、撮像装置１００の撮像環境が暗い場合には、測光量が閾値より小さくなり、単眼処理への切替えが実行されないことがある。この第１の実施の形態の第２の変形例の制御部２１０は、測光量以外の物理量に応じて複眼処理から単眼処理へ切り替える点において第１の実施の形態の第１の変形例と異なる。
図１２は、本技術の第１の実施の形態の第２の変形例におけるカラー画像信号処理部２４１の一構成例を示すブロック図である。この第１の実施の形態の第２の変形例のカラー画像信号処理部２４１は、動き量測定部２４６をさらに備える点において第１の実施の形態の第１の変形例と異なる。
動き量測定部２４６は、時系列順に撮像された複数のカラー画像データに基づいて被写体の動き量を測定するものである。この動き量測定部２４６は、例えば、所定枚数のカラー画像データを一時的に保持し、フレーム間差分法や背景差分法などを用いて動体を検出する。そして、動き量測定部２４６は、異なるタイミングで撮像された２枚のカラー画像データの一方で検出された動体の代表位置（重心など）から、他方で検出された動体の代表位置までのベクトルの長さを動き量として測定する。動き量測定部２４６は、測定した動き量を統計処理部２３０に供給する。
また、モノクロ画像信号処理部２４７も、動き量を測定して統計処理部２３０に供給する。統計処理部２３０は、動き量の統計量（平均値など）を求めて制御部２１０に供給する。制御部２１０は、例えば、統計量が閾値以上になると単眼処理から複眼処理へ切り替えさせる。一方、制御部２１０は、統計量が閾値より小さくなると複眼処理から単眼処理へ切り替えさせる。これにより、被写体に動きの無い場合に、輝度を向上させる合成処理を停止して、消費電力を削減することができる。
なお、撮像装置１００は、動き量と閾値との比較結果に基づいて複眼処理と単眼処理とを切り替えているが、バッテリ残量と閾値との比較結果に基づいて切り替えることもできる。この場合には、バッテリ残量を測定するバッテリ残量測定部を追加し、制御部２１０は、例えば、バッテリ残量が閾値より小さくなったときに信号処理部２４０を制御して複眼処理から単眼処理へ切り替えさせればよい。
このように、本技術の第１の実施の形態の第２の変形例では、動き量が閾値より小さくなると制御部２１０が複眼処理から単眼処理へ切り替えさせるため、動き量に応じて信号処理部２４０の処理量を低下させて、その消費電力を低減することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、制御部２１０は、温度が上限閾値Ｔｈ１より高くなったときに複眼処理から単眼処理へ切り替えて消費電力を低減していた。しかし、単眼処理に切り替えると、輝度を向上させる合成処理が停止するため、明るさが不足して画像データの画質が低下するおそれがある。この第２の実施の形態の撮像装置１００は、温度が上限閾値Ｔｈ１より高いときに合成処理を実行しつつ、インターフェースの消費電力を低減する点において第１の実施の形態と異なる。
図１３は、本技術の第２の実施の形態における信号処理部２４０の一構成例を示すブロック図である。この第２の実施の形態の信号処理部２４０は、スケーリング処理部２４９をさらに備える点において第１の実施の形態と異なる。
スケーリング処理部２４９は、信号処理後のモノクロ画像データの画像サイズを所定の縮小率により縮小するものである。ここで、縮小率Ｒは、例えば、次の式により表される。
Ｒ＝（縮小後の画像サイズ）／（縮小前の画像サイズ）
このスケーリング処理部２４９は、縮小後の画像データを縮小画像データとして送信部２４８に供給する。また、スケーリング処理部２４９には、制御部２１０からの切替信号ＳＷ１が入力される。この切替信号ＳＷ１は、縮小率について初期値および目標値の一方から他方への切替えを指示する信号である。また、目標値には、初期値より小さく、合成画像データに縮小画像データを重畳して１チャネルで送信することができる程度の値が設定される。なお、初期値は、縮小が実行されない値である「１」であってもよい。
また、第２の実施の形態の送信部２４８には、制御部２１０からの切替信号ＳＷ２が入力される。この切替信号ＳＷ２は、画像データを伝送する通信チャネル数について１チャネルおよび２チャネルの一方から他方への切り替えを指示する信号である。ここで、通信チャネルとして、例えば、ＭＩＰＩ規格における仮想チャネルが用いられる。１チャネルで送信する場合、送信部２４８は、合成画像データに縮小画像データを重畳して送信する。
第２の実施の形態の制御部２１０は、撮像開始時にイネーブル信号ＥＮｓ１乃至ＥＮｓ３をイネーブルにし、切替信号ＳＷ１によりスケーリング処理部２４９に初期値の縮小率で縮小を行わせる。また、制御部２１０は、切替信号ＳＷ２により通信チャネルを２チャネルにして、合成画像データおよび縮小画像データを送信させる。これらの画像データは、互いに異なる通信チャネルを介して送信される。
そして、温度が上限閾値Ｔｈ１より高くなると、制御部２１０は、切替信号ＳＷ１により縮小率について初期値から目標値への切替えをスケーリング処理部２４９に指示する。スケーリング処理部２４９は、フレーム周期毎に縮小率を目標値まで段階的に小さくする遷移処理を実行する。また、制御部２１０は、切替信号ＳＷ２により通信チャネル数を２チャネルから１チャネルに切り替えさせる。一方、第２の実施の形態では、温度が上昇しても合成処理は、継続して実行される。
そして、温度が下限閾値Ｔｈ２より低くなると、制御部２１０は、切替信号ＳＷ１により縮小率について初期値への切替えをスケーリング処理部２４９に指示する。スケーリング処理部２４９は、フレーム周期毎に縮小率を初期値まで段階的に大きくする遷移処理を実行する。また、制御部２１０は、切替信号ＳＷ２により通信チャネル数を１チャネルから２チャネルに切り替えさせる。
図１４は、本技術の第２の実施の形態におけるアプリケーションプロセッサ１５０の一構成例を示すブロック図である。このアプリケーションプロセッサ１５０は、受信部１５１、画像認識部１５２およびメモリ１５３を備える。
受信部１５１は、撮像制御装置２００からの画像データを受信するものである。この受信部１５１は、１チャネルまたは２チャネルの通信チャネルを介して縮小画像データおよび合成画像データを受信する。そして、受信部１５１は、縮小画像データを画像認識部１５２に供給し、合成画像データをメモリ１５３に保持させる。
画像認識部１５２は、縮小画像データにおいて顔認識や物体認識などの画像認識処理を実行するものである。認識結果は、例えば、合成画像データを不揮発性メモリに記録（すなわち、録画）するか否かを判断するために用いられる。
メモリ１５３は、合成画像データを保持するものである。メモリ１５３として、例えば、ＤＲＡＭ（Dynamic RAM）が用いられる。メモリ１５３に保持された合成画像データは、例えば、表示装置や不揮発性のメモリに供給される。
上述したように、通信チャネル数の削減により、送信部２４８および受信部１５１を含むインターフェースの消費電力を低減することができる。
なお、撮像装置１００は、温度と閾値との比較結果に基づいて通信チャネル数を切り替えているが、温度以外の物理量と閾値との比較結果に基づいて切り替えてもよい。例えば、撮像装置１００は、測光量、被写体の動き量や、バッテリ残量などの物理量を切り替えの判断に用いることができる。
このように、本技術の第２の実施の形態では、温度が上限閾値Ｔｈ１より高くなると制御部２１０が通信チャネル数を削減させるため、インターフェースの消費電力を低減することができる。
［変形例］
上述の第２の実施の形態では、温度が上限閾値Ｔｈ１より高くなると、制御部２１０が、通信チャネル数を削減しても画像データを送信できる程度の小さい値に縮小率を変更させていた。しかし、縮小率を小さくすると縮小画像データの画像サイズが小さくなり、画像認識の認識精度が低下してしまう。この第２の実施の形態の変形例の撮像装置１００は、温度が上限閾値Ｔｈ１より高くなると、縮小率を変更せずにフレームレートを低下させる点において第１の実施の形態と異なる。
図１５は、本技術の第２の実施の形態の変形例における撮像装置１００の一構成例を示すブロック図である。この第２の実施の形態の変形例の撮像装置１００は、撮像制御装置２００内に同期制御部２６０をさらに設けた点において第２の実施の形態と異なる。
同期制御部２６０は、カメラモジュール１１０および１３０と、信号処理部２４０とに垂直同期信号ＶＳＹＮＣを供給するものである。この同期制御部２６０には、信号線２６９を介して、制御部２１０からの切替信号ＳＷ３が入力される。この切替信号ＳＷ３は、垂直同期信号ＶＳＹＮＣの周波数（言い換えれば、フレームレート）について、初期値および目標値の一方から他方への切替えを指示する信号である。目標値には、初期値よりも低く、合成画像データに縮小画像データを重畳して１チャネルで送信することができるような値が設定される。
また、第２の実施の形態の変形例の信号処理部２４０には、縮小率を切り替えるための切替信号ＳＷ１は入力されない。
温度が上限閾値Ｔｈ１より高くなると、制御部２１０は、切替信号ＳＷ３によりフレームレートについて初期値から目標値への切替えを指示する。そして、温度が下限閾値Ｔｈ２より低くなると、制御部２１０は、切替信号ＳＷ３によりフレームレートについて初期値への切替えを指示する。一方、第２の実施の形態の変形例では、縮小率が変更されない。
このように、本技術の第２の実施の形態の変形例では、温度が上限閾値Ｔｈ１より高くなると制御部２１０が通信チャネル数を削減させ、フレームレートを低下させるため、縮小率を変えずにインターフェースの消費電力を低減することができる。
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１７は、撮像部１２０３１の設置位置の例を示す図である。
図１７では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、図１６の撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１の消費電力を低減することができるため、車載のバッテリの消耗を抑制することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、
測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記複眼処理および前記単眼処理の一方から他方へ切り替えさせる制御部と
を具備する撮像制御装置。
（２）前記所定の物理量は、撮像環境に応じて変動する物理量である
前記（１）の撮像制御装置。
（３）前記所定の物理量として温度を測定する温度センサをさらに具備し、
前記制御部は、前記温度が前記所定の閾値より高い場合には前記複眼処理を前記単眼処理へ切り替えさせる
前記（２）記載の撮像制御装置。
（４）前記信号処理部は、前記所定の物理量として入射光の光量を測定して測光量として取得する処理を含み、
前記制御部は、前記測光量が前記所定の閾値より大きい場合には前記複眼処理を前記単眼処理へ切り替えさせる
前記（２）記載の撮像制御装置。
（５）前記信号処理部は、前記所定の物理量として被写体の動き量を測定する処理を含み、
前記制御部は、前記動き量が前記所定の閾値より大きい場合には前記単眼処理を前記複眼処理へ切り替えさせる
前記（１）記載の撮像制御装置。
（６）前記複数の画像データは、所定の同期信号に同期して撮像された画像であり、
前記信号処理部は、所定周期が経過するたびに合成比率を変更して合成する遷移処理を実行した後に前記一方から前記他方への切り替えを行う
前記（１）から（５）のいずれかに記載の撮像制御装置。
（７）複数の画像データを合成して合成画像データとして出力する合成処理部と、
前記合成画像データを前記複数の画像データのいずれかである単一画像データとともに単一の通信チャネルを介して送信する単一チャネル送信処理と前記単一画像データおよび前記合成画像データのそれぞれを互いに異なる通信チャネルを介して送信する複数チャネル送信処理とのいずれかを所定の制御信号に従って行う送信部と、
測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記単一チャネル送信処理および前記複数チャネル送信処理の一方から他方へ切り替えさせる制御部と
を具備する撮像制御装置。
（８）前記複数の画像データのいずれかを縮小するスケーリング処理部をさらに具備し、
前記制御部は、前記所定の物理量と所定の閾値との比較結果に基づいて前記スケーリング処理部を制御して縮小率を変更させる
前記（７）記載の撮像装置。
（９）所定の同期信号を供給する同期制御部をさらに具備し、
前記複数の画像データのそれぞれは、前記所定の同期信号に同期して撮像された画像データであり、
前記制御部は、前記所定の物理量と所定の閾値との比較結果に基づいて前記同期制御部を制御して前記所定の同期信号の周波数を変更させる
前記（７）記載の撮像装置。
（１０）複数の画像データを撮像するカメラモジュールと、
前記複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、
測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記複眼処理および前記単眼処理の一方から他方へ切り替えさせる制御部と
を具備する撮像装置。
（１１）測定された所定の物理量と所定の閾値とを比較して当該比較結果に基づいて所定の制御信号を信号処理部に供給する比較手順と、
複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理との一方から他方への切替えを前記所定の制御信号に従って実行する切替手順と
を具備する撮像制御装置の制御方法。
１００ 撮像装置
１１０、１３０ カメラモジュール
１１１、１３１ 光学系
１２０、１４０ 固体撮像素子
１２１、１４１ マイクロレンズ
１２２ カラーフィルタ
１２３、１４３ 受光素子
１２４、１４４ 配線層
１５０ アプリケーションプロセッサ
１５１ 受信部
１５２ 画像認識部
１５３ メモリ
２００ 撮像制御装置
２１０ 制御部
２２０ 温度センサ
２３０ 統計処理部
２４０ 信号処理部
２４１ カラー画像信号処理部
２４２ デモザイク処理部
２４３ 検波部
２４４ 露光制御部
２４５ フォーカス制御部
２４６ 動き量測定部
２４７ モノクロ画像信号処理部
２４８ 送信部
２４９ スケーリング処理部
２５０ 合成処理部
２５１ 位置合わせ処理部
２５２ ＹＣ変換部
２５３ 輝度信号合成部
２５４ ＲＧＢ変換部
２５５ スイッチ
２６０ 同期制御部
１２０３１ 撮像部

Claims (11)

  1. 複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、
    測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記複眼処理および前記単眼処理の一方から他方へ切り替えさせる制御部と
    を具備する撮像制御装置。
  2. 前記所定の物理量は、撮像環境に応じて変動する物理量である
    請求項１の撮像制御装置。
  3. 前記所定の物理量として温度を測定する温度センサをさらに具備し、
    前記制御部は、前記温度が前記所定の閾値より高い場合には前記複眼処理を前記単眼処理へ切り替えさせる
    請求項２記載の撮像制御装置。
  4. 前記信号処理部は、前記所定の物理量として入射光の光量を測定して測光量として取得する処理を含み、
    前記制御部は、前記測光量が前記所定の閾値より大きい場合には前記複眼処理を前記単眼処理へ切り替えさせる
    請求項２記載の撮像制御装置。
  5. 前記信号処理部は、前記所定の物理量として被写体の動き量を測定する処理を含み、
    前記制御部は、前記動き量が前記所定の閾値より大きい場合には前記単眼処理を前記複眼処理へ切り替えさせる
    請求項１記載の撮像制御装置。
  6. 前記複数の画像データは、所定の同期信号に同期して撮像された画像であり、
    前記信号処理部は、所定周期が経過するたびに合成比率を変更して合成する遷移処理を実行した後に前記一方から前記他方への切り替えを行う
    請求項１記載の撮像制御装置。
  7. 複数の画像データを合成して合成画像データとして出力する合成処理部と、
    前記合成画像データを前記複数の画像データのいずれかである単一画像データとともに単一の通信チャネルを介して送信する単一チャネル送信処理と前記単一画像データおよび前記合成画像データのそれぞれを互いに異なる通信チャネルを介して送信する複数チャネル送信処理とのいずれかを所定の制御信号に従って行う送信部と、
    測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記単一チャネル送信処理および前記複数チャネル送信処理の一方から他方へ切り替えさせる制御部と
    を具備する撮像制御装置。
  8. 前記複数の画像データのいずれかを縮小するスケーリング処理部をさらに具備し、
    前記制御部は、前記所定の物理量と所定の閾値との比較結果に基づいて前記スケーリング処理部を制御して縮小率を変更させる
    請求項７記載の撮像装置。
  9. 所定の同期信号を供給する同期制御部をさらに具備し、
    前記複数の画像データのそれぞれは、前記所定の同期信号に同期して撮像された画像データであり、
    前記制御部は、前記所定の物理量と所定の閾値との比較結果に基づいて前記同期制御部を制御して前記所定の同期信号の周波数を変更させる
    請求項７記載の撮像装置。
  10. 複数の画像データを撮像するカメラモジュールと、
    前記複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理とのいずれかを所定の制御信号に従って実行する信号処理部と、
    測定された所定の物理量と所定の閾値との比較結果に基づいて前記所定の制御信号を前記信号処理部に供給して前記複眼処理および前記単眼処理の一方から他方へ切り替えさせる制御部と
    を具備する撮像装置。
  11. 測定された所定の物理量と所定の閾値とを比較して当該比較結果に基づいて所定の制御信号を信号処理部に供給する比較手順と、
    複数の画像データのそれぞれに対して信号処理を行って合成する複眼処理と前記複数の画像データのいずれかに対して前記信号処理を行う単眼処理との一方から他方への切替えを前記所定の制御信号に従って実行する切替手順と
    を具備する撮像制御装置の制御方法。
JP2017184263A 2017-09-26 2017-09-26 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 Active JP7144926B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017184263A JP7144926B2 (ja) 2017-09-26 2017-09-26 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
CN201880060598.XA CN111095909B (zh) 2017-09-26 2018-08-07 摄像控制设备、摄像设备、控制方法及计算机可读介质
PCT/JP2018/029570 WO2019064939A1 (en) 2017-09-26 2018-08-07 IMAGE CAPTURE CONTROL APPARATUS, IMAGE CAPTURE APPARATUS, CONTROL METHOD FOR IMAGE CAPTURE CONTROL APPARATUS, AND NON-TRANSIENT COMPUTER-READABLE MEDIUM
DE112018005515.9T DE112018005515T5 (de) 2017-09-26 2018-08-07 Bildaufnahmesteuervorrichtung, bildaufnahmevorrichtung, steuerverfahren für die bildaufnahmesteuervorrichtung und ein nicht flüchtiges computerlesbares medium
US16/648,997 US11228696B2 (en) 2017-09-26 2018-08-07 Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
CN202210295513.4A CN114584710A (zh) 2017-09-26 2018-08-07 摄像控制设备、摄像设备及摄像控制设备的控制方法
US17/544,184 US11553117B2 (en) 2017-09-26 2021-12-07 Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017184263A JP7144926B2 (ja) 2017-09-26 2017-09-26 撮像制御装置、撮像装置、および、撮像制御装置の制御方法

Publications (2)

Publication Number Publication Date
JP2019062324A true JP2019062324A (ja) 2019-04-18
JP7144926B2 JP7144926B2 (ja) 2022-09-30

Family

ID=63452695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017184263A Active JP7144926B2 (ja) 2017-09-26 2017-09-26 撮像制御装置、撮像装置、および、撮像制御装置の制御方法

Country Status (5)

Country Link
US (2) US11228696B2 (ja)
JP (1) JP7144926B2 (ja)
CN (2) CN114584710A (ja)
DE (1) DE112018005515T5 (ja)
WO (1) WO2019064939A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215116A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 画像認識装置及び画像認識方法
JP7466367B2 (ja) 2020-04-24 2024-04-12 日立Astemo株式会社 画像処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113612929B (zh) * 2021-10-11 2021-12-21 北京创米智汇物联科技有限公司 复眼摄像装置及其控制方法、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265804A (ja) * 1995-03-20 1996-10-11 Canon Inc 撮像装置
JP2002090851A (ja) * 2000-09-20 2002-03-27 Eastman Kodak Japan Ltd 電子カメラ
JP2009081693A (ja) * 2007-09-26 2009-04-16 Nikon Corp 電子カメラ
JP2015005932A (ja) * 2013-06-21 2015-01-08 富士通株式会社 携帯端末装置、端末制御プログラム及び端末制御方法
JP2015041852A (ja) * 2013-08-21 2015-03-02 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016119693A (ja) * 2016-02-02 2016-06-30 株式会社ソニー・インタラクティブエンタテインメント 画像撮像装置および画像撮像方法
JP2017158075A (ja) * 2016-03-03 2017-09-07 オリンパス株式会社 撮像装置、および撮像方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628337B1 (en) 2001-04-18 2003-09-30 Eastman Kodak Company Electronic camera with internal temperature increase controlled
CN101111748B (zh) * 2004-12-03 2014-12-17 弗卢克公司 具有激光指示器的可见光和ir组合的图像照相机
JPWO2008099685A1 (ja) * 2007-02-01 2010-05-27 ソニー株式会社 画像再生装置と画像再生方法および撮像装置とその制御方法
KR101279507B1 (ko) * 2009-12-15 2013-06-28 한국전자통신연구원 병렬 처리 기반 파이프라인 복호화 장치 및 방법
JP5545016B2 (ja) 2010-05-12 2014-07-09 ソニー株式会社 撮像装置
JP5501311B2 (ja) * 2011-08-24 2014-05-21 富士フイルム株式会社 インク組成物、インクセット、及び画像形成方法
JP5978573B2 (ja) * 2011-09-06 2016-08-24 ソニー株式会社 映像信号処理装置および映像信号処理方法
JP6230366B2 (ja) * 2013-10-16 2017-11-15 オリンパス株式会社 画像出力装置および画像出力方法
WO2016007799A1 (en) 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
JP2017002187A (ja) * 2015-06-10 2017-01-05 株式会社リコー 活性エネルギー線硬化型組成物、活性エネルギー線硬化型インク、組成物収容容器、像の形成方法及び像の形成装置、並びに成形加工品
CN105163028B (zh) 2015-09-11 2018-09-28 青岛海信移动通信技术股份有限公司 一种双摄像头的控制方法及装置
CN105872474A (zh) * 2016-05-18 2016-08-17 西安银石科技发展有限责任公司 基于暗光补偿双摄像头视频识别的机车检修系统及方法
CN106791379A (zh) * 2016-12-05 2017-05-31 奇酷互联网络科技（深圳）有限公司 基于双摄像头图像合成的方法及装置
CN106993136B (zh) * 2017-04-12 2021-06-15 深圳市知赢科技有限公司 移动终端及其基于多摄像头的图像降噪方法和装置
CN106973209B (zh) * 2017-05-15 2020-05-12 奇酷互联网络科技（深圳）有限公司 移动终端及其双摄像头模组

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265804A (ja) * 1995-03-20 1996-10-11 Canon Inc 撮像装置
JP2002090851A (ja) * 2000-09-20 2002-03-27 Eastman Kodak Japan Ltd 電子カメラ
JP2009081693A (ja) * 2007-09-26 2009-04-16 Nikon Corp 電子カメラ
JP2015005932A (ja) * 2013-06-21 2015-01-08 富士通株式会社 携帯端末装置、端末制御プログラム及び端末制御方法
JP2015041852A (ja) * 2013-08-21 2015-03-02 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016119693A (ja) * 2016-02-02 2016-06-30 株式会社ソニー・インタラクティブエンタテインメント 画像撮像装置および画像撮像方法
JP2017158075A (ja) * 2016-03-03 2017-09-07 オリンパス株式会社 撮像装置、および撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215116A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 画像認識装置及び画像認識方法
JP7466367B2 (ja) 2020-04-24 2024-04-12 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
CN111095909B (zh) 2022-04-15
US20200288047A1 (en) 2020-09-10
JP7144926B2 (ja) 2022-09-30
DE112018005515T5 (de) 2020-07-02
CN111095909A (zh) 2020-05-01
US11553117B2 (en) 2023-01-10
US11228696B2 (en) 2022-01-18
CN114584710A (zh) 2022-06-03
WO2019064939A1 (en) 2019-04-04
US20220166908A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
US20180302551A1 (en) Signal processing apparatus and imaging apparatus
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN110073652B (zh) 成像装置以及控制成像装置的方法
US20220207850A1 (en) Image recognition device and image recognition method
CN114270798B (zh) 摄像装置
US11375136B2 (en) Imaging device for high-speed read out, method of driving the same, and electronic instrument
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
CN110012215B (zh) 图像处理装置和图像处理方法
US11368620B2 (en) Image processing apparatus, image processing method, and electronic device
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
US10999488B2 (en) Control device, imaging device, and control method
WO2018142969A1 (ja) 表示制御装置および方法、並びにプログラム
US11201997B2 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220916

R150 Certificate of patent or registration of utility model

Ref document number: 7144926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150