JP2018098613A - 撮像装置、および、撮像装置の制御方法 - Google Patents

撮像装置、および、撮像装置の制御方法 Download PDF

Info

Publication number
JP2018098613A
JP2018098613A JP2016240580A JP2016240580A JP2018098613A JP 2018098613 A JP2018098613 A JP 2018098613A JP 2016240580 A JP2016240580 A JP 2016240580A JP 2016240580 A JP2016240580 A JP 2016240580A JP 2018098613 A JP2018098613 A JP 2018098613A
Authority
JP
Japan
Prior art keywords
imaging
distance
unit
imaging apparatus
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016240580A
Other languages
English (en)
Inventor
隆一 唯野
Ryuichi Tadano
隆一 唯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016240580A priority Critical patent/JP2018098613A/ja
Priority to US16/342,398 priority patent/US20210297589A1/en
Priority to CN201780075273.4A priority patent/CN110073652B/zh
Priority to PCT/JP2017/032486 priority patent/WO2018110002A1/ja
Publication of JP2018098613A publication Critical patent/JP2018098613A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Abstract

【課題】フレームを撮像する撮像装置において、フレームの処理量を低減する。
【解決手段】撮像装置は、測距センサ、制御部および撮像部を具備する。この撮像装置において測距センサは、撮像対象となる複数の領域のそれぞれについて距離を測定する。また、制御部は、複数の領域のそれぞれについてデータレートを指示する信号を距離に基づいて生成して制御信号として供給する。また、撮像部は、その制御信号に従って前記複数の領域を含むフレームを撮像する。
【選択図】図１

Description

本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、画像データの撮像および測距を行う撮像装置、および、撮像装置の制御方法に関する。
従来より、デジタルビデオカメラなどの撮像装置においては、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子では、一般的に、画素アレイ内の複数の行を順に読み出してＡＤ（Analog to Digital）変換するために、列ごとにＡＤＣ（Analog to Digital Converter）が設けられる。ただし、この構成では、行や列を間引いてフレーム全体の解像度を変更することができるが、フレームの一部のみの解像度を変更することができない。そこで、フレームの一部の解像度を変更するなどの目的で、例えば、画素アレイを複数のエリアに分割し、エリアごとにＡＤＣを配置した固体撮像素子が提案されている（例えば、特許文献１参照。）。
特開２０１６−０１９０７６号公報
上述の従来技術では、一定の解像度および撮像間隔により複数の画像データ（フレーム）を順に撮像して、それらのフレームからなる動画データを生成することができる。しかしながら、この従来技術では、フレーム全体の解像度や、動画データのフレームレートが高くなるほど、フレームの処理量が増大してしまうという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、フレームを撮像する撮像装置において、フレームの処理量を低減することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、上記複数の領域のそれぞれについてデータレートを指示する信号を上記距離に基づいて生成して制御信号として供給する制御部と、上記制御信号に従って上記複数の領域を含むフレームを撮像する撮像部とを具備する撮像装置、および、制御方法である。これにより、複数の領域のそれぞれについて、距離に基づいてデータレートが制御されるという作用をもたらす。
また、この第１の側面において、上記データレートは、解像度を含んでもよい。これにより、距離に基づいて解像度が制御されるという作用をもたらす。
また、この第１の側面において、上記データレートは、フレームレートを含んでもよい。これにより、距離に基づいてフレームレートが制御されるという作用をもたらす。
また、この第１の側面において、上記制御部は、上記距離が撮像レンズの被写界深度内であるか否かにより上記データレートを変更してもよい。これにより、被写界深度内であるか否かによりデータレートが変更されるという作用をもたらす。
また、この第１の側面において、上記制御部は、上記距離から錯乱円の直径を算出して当該直径に応じた上記データレートを指示してもよい。これにより、錯乱円の直径に応じてデータレートが制御されるという作用をもたらす。
また、この第１の側面において、上記フレームに対して所定の信号処理を実行する信号処理部をさらに具備してもよい。これにより、所定の信号処理が実行されるという作用をもたらす。
また、この第１の側面において、上記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、上記撮像部は、光を受光する複数の通常画素を備え、上記信号処理部は、上記複数の位相差検出画素と上記複数の通常画素とのそれぞれの受光量から上記フレームを生成してもよい。これにより、複数の位相差検出画素と複数の通常画素とのそれぞれの受光量からフレームが生成されるという作用をもたらす。
また、この第１の側面において、上記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、上記信号処理部は、上記複数の位相差検出画素のそれぞれの受光量から上記フレームを生成してもよい。これにより、複数の位相差画素のそれぞれの受光量からフレームが生成されるという作用をもたらす。
本技術によれば、フレームを撮像する撮像装置において、フレームの処理量を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における測距センサの一構成例を示すブロック図である。 本技術の第１の実施の形態における静止した被写体までの距離の一例を示す図である。 本技術の第１の実施の形態における解像度の設定例を説明するための図である。 本技術の第１の実施の形態における動被写体までの距離の一例を示す図である。 本技術の第１の実施の形態におけるフレームレートの設定例を説明するための図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第２の実施の形態におけるレンズユニットの一構成例を示すブロック図である。 本技術の第２の実施の形態における撮像制御部の一構成例を示すブロック図である。 本技術の第２の実施の形態における解像度の設定例を説明するための図である。 本技術の第２の実施の形態における焦点位置および被写界深度の一例を示す図である。 本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第３の実施の形態における錯乱円の算出方法について説明するための図である。 本技術の第４の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第４の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第４の実施の形態における位相差画素の一構成例を示す平面図である。 本技術の第４の実施の形態の変形例における画素アレイ部の一構成例を示す平面図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（距離に基づいてデータレートを制御する例）
２．第２の実施の形態（被写界深度内のデータレートを低下させる例）
３．第３の実施の形態（距離から算出した錯乱円の直径に応じたデータレートに制御する例）
４．第４の実施の形態（位相差画素により求めた距離に基づいてデータレートを制御する例）
５．移動体への応用例
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データ（フレーム）を撮像する装置であり、撮像レンズ１１１、固体撮像素子２００、信号処理部１２０、設定情報記憶部１３０、撮像制御部１４０、測距センサ１５０および測距演算部１６０を備える。撮像装置１００としては、デジタルビデオカメラや監視カメラの他、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。
撮像レンズ１１１は、被写体からの光を集光して固体撮像素子２００に導くものである。
固体撮像素子２００は、撮像制御部１４０の制御に従って、所定の垂直同期信号ＶＳＹＮＣに同期してフレームを撮像するものである。この垂直同期信号ＶＳＹＮＣは、撮像のタイミングを示す信号であり、所定の周波数（例えば、６０ヘルツ）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。固体撮像素子２００は、撮像したフレームを信号処理部１２０に信号線２０９を介して供給する。このフレームは、複数の単位エリアに分割される。ここで、単位エリアは、フレームにおいて解像度またはフレームレートを制御する単位であり、固体撮像素子２００は、単位エリアごとに解像度またはフレームレートを制御することができる。なお、固体撮像素子２００は、特許請求の範囲に記載の撮像部の一例である。
測距センサ１５０は、垂直同期信号ＶＳＹＮＣに同期して、撮像対象となる複数の単位エリアのそれぞれについて被写体までの距離を測定するものである。この測距センサ１５０は、例えば、ＴｏＦ（Time-of-Flight）方式で距離の測定を行う。ここで、ＴｏＦ方式は、照射光を照射して、照射光に対する反射光を受光し、それらの光の位相差から距離を測定する測距方式である。測距センサ１５０は、単位エリアのそれぞれの受光量を示すデータを測距演算部１６０に信号線１５９を介して供給する。
測距演算部１６０は、単位エリアごとの受光量から、その単位エリアに対応する距離を演算するものである。この測距演算部１６０は、単位エリアごとの距離を配列したデプスマップを生成し、撮像制御部１４０および信号処理部１２０に信号線１６９を介して出力する。また、デプスマップは、必要に応じて撮像装置１００の外部へ出力される。なお、測距演算部１６０を測距センサ１５０の外部に配置しているが、測距センサ１５０の内部に配置する構成であってもよい。
なお、測距センサ１５０は、ＴｏＦ方式で測距を行っているが、単位エリアごとに距離を測定することができるのであれば、ＴｏＦ方式以外の方式で距離を測定してもよい。
設定情報記憶部１３０は、データレートの制御に用いられる基準値を示す設定情報を記憶するものである。ここで、データレートは、単位時間当たりのデータ量を示すパラメータであり、具体的には、フレームレートや解像度などである。設定情報として、例えば、最大の解像度の下で特定の物体（顔など）を信号処理部１２０が検知することができる距離の最大値Ｌmaxが設定される。もしくは、撮像装置１００から所定距離Ｌｃの位置を所定速度で通過する特定の物体（車両など）を信号処理部１２０が検知することができるフレームレートの最小値Ｆminと、その距離Ｌｃとが設定される。
撮像制御部１４０は、フレーム内の単位エリアのそれぞれについて、そのエリアに対応する距離に基づいてデータレートを制御するものである。この撮像制御部１４０は、信号線１３９を介して設定情報記憶部１３０から設定情報を読み出し、その設定情報とデプスマップとに基づいて単位エリアごとにデータレートを制御する。ここで、撮像制御部１４０は、解像度およびフレームレートのいずれか一方のみを制御してもよいし、両方を制御してもよい。
解像度を制御する場合、撮像制御部１４０は、例えば、距離が長いほど、その距離に対応する単位エリアの画素数（すなわち、解像度）を高くする。具体的には、解像度の最大値をＲmaxとし、測定された距離をＬｍとすると、撮像制御部１４０は、対応する単位エリアの解像度を次の式により表される値Ｒｍに制御する。
Ｒｍ＝（Ｌｍ／Ｌmax）×Ｒmax ・・・式１
上式において、距離ＬｍおよびＬmaxの単位は例えば、メートル（ｍ）である。なお、式１の右辺が最大値Ｒmaxを越えた場合には、解像度にＲmaxが設定されるものとする。
また、フレームレートを制御する場合、撮像制御部１４０は、例えば、距離が長いほど、その距離に対応する単位エリアのフレームレートを低くする。具体的には、測定された距離をＬｍとすると、撮像制御部１４０は、対応する単位エリアの解像度を次の式により表されるＦｍに制御する。
Ｆｍ＝Ｆmin×Ｌｃ／Ｌｍ ・・・式２
上式において、フレームレートＦｍおよびＦminの単位は、例えば、ヘルツ（Ｈｚ）である。なお、式２の右辺がフレームレートの下限値より小さくなった場合には、その下限値がＦｍに設定されるものとする。
なお、撮像制御部１４０は、距離が長いほど解像度を高くしているが、逆に解像度を低くしてもよい。また、撮像制御部１４０は、距離が長いほどフレームレートを低くしているが、逆に解像度を高くしてもよい。解像やフレームレートの制御方法は、フレームを利用するアプリケーションの要求に応じて決定される。
撮像制御部１４０は、式１や式２で求めたデータレートの値を指示する制御信号や、垂直同期信号ＶＳＹＮＣを生成して固体撮像素子２００に信号線１４８を介して供給する。また、撮像制御部１４０は、データレートを指示する制御信号などを信号処理部１２０に信号線１４９を介して供給する。また、撮像制御部１４０は、垂直同期信号ＶＳＹＮＣを測距センサ１５０に信号線１４６を介して供給する。なお、撮像制御部１４０は、特許請求の範囲に記載の制御部の一例である。
信号処理部１２０は、固体撮像素子２００からのフレームに対して所定の信号処理を実行するものである。例えば、デモザイク処理や、特定の物体（顔や車両など）を検知するための処理が実行される。信号処理部１２０は、処理結果を信号線１２９を介して外部に出力する。
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、積層された上側基板２０１および下側基板２０２を備える。上側基板２０１には、走査回路２１０および画素アレイ部２２０が設けられる。また、下側基板２０２には、ＡＤ変換部２３０が設けられる。
画素アレイ部２２０は、複数の単位エリア２２１に分割される。それぞれの単位エリア２２１には、二次元格子状に複数の画素が配列される。画素のそれぞれは、走査回路２１０の制御に従って光を光電変換してアナログの画素データを生成し、ＡＤ変換部２３０に出力する。
走査回路２１０は、画素のそれぞれを駆動して画素データを出力させるものである。この走査回路２１０は、制御信号に従って単位エリア２２１のそれぞれについて、フレームレートおよび解像度の少なくとも一方を制御する。例えば、垂直同期信号ＶＳＹＮＣのフレームレートの１／Ｊ（Ｊは、実数）倍にフレームレートを制御する場合、走査回路２１０は、垂直同期信号ＶＳＹＮＣの周期のＪ倍の周期が経過するたびに、対応する単位エリア２２１を駆動する。また、単位エリア２２１内の画素数をＭ（Ｍは、整数）個とし、解像度を最大値の１／Ｋ（Ｋは、実数）倍に制御する場合、走査回路２１０は、対応する単位エリア内のＭ画素のうちＭ／Ｋ個のみを選択して駆動する。
ＡＤ変換部２３０には、単位エリア２２１と同じ個数のＡＤＣ２３１が設けられる。ＡＤＣ２３１のそれぞれは、互いに異なる単位エリア２２１と１対１で接続されている。単位エリア２２１の個数をＰ×Ｑ個とすると、ＡＤＣ２３１もＰ×Ｑ個、配置される。ＡＤＣ２３１は、対応する単位エリア２２１からのアナログの画素データをＡＤ変換してデジタルの画素データを生成する。これらのデジタルの画素データを配列したフレームが信号処理部１２０へ出力される。
［測距センサの構成例］
図３は、本技術の第１の実施の形態における測距センサ１５０の一構成例を示すブロック図である。この測距センサ１５０は、走査回路１５１、画素アレイ部１５２およびＡＤ変換部１５４を備える。
画素アレイ部１５２は、複数の測距エリア１５３に分割される。測距エリア１５３のそれぞれは、互いに異なる単位エリア２２１と１対１で対応するものとする。それぞれの測距エリア１５３には、二次元格子状に複数の画素が配列される。画素のそれぞれは、走査回路１５１の制御に従って光を光電変換してアナログの受光量を示すデータを生成し、ＡＤ変換部１５４に出力する。
なお、測距エリア１５３と単位エリア２２１との対応関係は１対１に限定されない。例えば、１つの測距エリア１５３に複数の単位エリア２２１が対応する構成であってもよい。また、１つの単位エリア２２１に複数の測距エリア１５３が対応する構成であってもよい。この場合には、単位エリア２２１の距離として、対応する複数の測距エリア１５３のそれぞれの距離の平均が用いられる。
ＡＤ変換部１５４は、画素アレイ部１５２からのアナログのデータをＡＤ変換して測距演算部１６０に供給するものである。
図４は、本技術の第１の実施の形態における静止した被写体までの距離の一例を示す図である。例えば、被写体５１１、５１２および５１３を撮像装置１００が撮像するものとする。また、撮像装置１００から被写体５１１までの距離がＬ１である。さらに、撮像装置１００から被写体５１２までの距離がＬ２であり、撮像装置１００から被写体５１３までの距離がＬ３である。例えば、距離Ｌ１が最も大きく、距離Ｌ３が最も小さいものとする。
図５は、本技術の第１の実施の形態における解像度の設定例を説明するための図である。図４に例示した被写体を撮像したフレームにおいて、被写体５１１を含む矩形の領域５１４の解像度をＲ１とし、被写体５１２を含む矩形の領域５１５の解像度をＲ２とする。また、被写体５１３を含む矩形の領域５１６の解像度をＲ３とし、領域５１４、５１５および５１６以外の残りの領域５１０の解像度をＲ０とする。これらの領域のそれぞれは、単位エリア２２１からなる。
撮像制御部１４０は、式１を用いて、それぞれの領域に対応する距離から、解像度Ｒ０，Ｒ１、Ｒ２およびＲ３を算出する。この結果、解像度Ｒ０、Ｒ１、Ｒ２およびＲ３のうち、Ｒ０に最も高い値が設定され、Ｒ１、Ｒ２およびＲ３の順で低い値が設定される。このように、距離が短いほど解像度を低くするのは、一般に、距離が短い（言い換えれば、近い）ほど被写体が大きく写り、解像度が低くても物体の検知に失敗するおそれが低いためである。
図６は、本技術の第１の実施の形態における動被写体までの距離の一例を示す図である。例えば、車両５２１および５２２を撮像装置１００が撮像するものとする。また、車両５２２の方が、車両５２１より撮像装置１００に近いものとする。
図７は、本技術の第１の実施の形態におけるフレームレートの設定例を説明するための図である。図６の被写体を撮像したフレームにおいて、車両５２１を含む矩形の領域５２３のフレームレートをＦ１とし、車両５２２を含む矩形の領域５２４のフレームレートをＦ２とする。また、領域５２３および５２４以外の背景の領域のうち、比較的近い場所からなる領域５２５のフレームレートをＦ３とし、領域５２３、５２４および５２５以外の残りの領域５２０のフレームレートをＦ０とする。
撮像制御部１４０は、式２を用いて、それぞれの領域に対応する距離からフレームレートＦ０、Ｆ１、Ｆ２およびＦ３を算出する。この結果、フレームレートＦ０、Ｆ１、Ｆ２およびＦ３のうち、Ｆ３に最も高い値が設定され、Ｆ２、Ｆ１およびＦ０の順で低い値が設定される。このように、距離が短いほどフレームレートを高くするのは、一般に、距離が近いほど被写体が撮像装置１００を通過する時間が短くなり、フレームレートが低いと物体の検知に失敗するおそれがあるためである。
［撮像装置の動作例］
図８は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、撮像装置１００において、撮像を開始させるための操作（シャッターボタンの押下など）が行われたときに開始する。撮像装置１００は、まず、デプスマップを生成する（ステップＳ９０１）。そして、撮像装置１００は、デプスマップに基づいて単位エリアごとにデータレート（解像度やフレームレート）を制御する（ステップＳ９０２）。
撮像装置１００は、画像データ（フレーム）を撮像し（ステップＳ９０３）、そのフレームに対して信号処理を実行する（ステップＳ９０４）。そして、撮像装置１００は、撮像を終了させるための操作が行われたか否かを判断する（ステップＳ９０５）。撮像終了のための操作が行われていない場合に（ステップＳ９０５：Ｎｏ）、撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。一方、撮像終了のための操作が行われた場合に（ステップＳ９０５：Ｙｅｓ）、撮像装置１００は、撮像のための動作を終了する。
このように、本技術の第１の実施の形態によれば、撮像装置１００は、単位エリアごとに距離に基づいてデータレートを制御するため、単位エリアごとのデータレートを必要最小限の値に制御して、処理量の増大を抑制することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、撮像装置１００は、距離が短いほど被写体が大きく写り、視認性が向上すると仮定して解像度を低くしていたが、距離が長い場合であっても、被写体の視認性が高くなる場合がある。例えば、距離が長い場合であっても、その距離が被写界深度内である場合には、ピントが合うために視認性が高くなる。したがって、距離が被写界深度内であるか否かにより、解像度を変更することが望ましい。この第２の実施の形態における撮像装置１００は、距離が被写界深度内であるか否かにより解像度を変更する点において第１の実施の形態と異なる。
図９は、本技術の第２の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第２の実施の形態の撮像装置１００は、レンズユニット１１０を備える点において第１の実施の形態と異なる。
図１０は、本技術の第２の実施の形態におけるレンズユニット１１０の一構成例を示すブロック図である。このレンズユニット１１０は、撮像レンズ１１１、絞り１１２、レンズパラメータ保持部１１３、レンズ駆動部１１４および絞り制御部１１５を備える。
撮像レンズ１１１は、例えば、フォーカスレンズやズームレンズなどの様々なレンズを含む。絞り１１２は、通過する光の量を調整する遮蔽部材である。
レンズパラメータ保持部１１３は、許容錯乱円の直径ｃ０や焦点距離ｆの制御範囲などの各種のレンズパラメータを保持するものである。
レンズ駆動部１１４は、撮像制御部１４０の制御に従って撮像レンズ１１１内のフォーカスレンズやズームレンズを駆動するものである。
絞り制御部１１５は、撮像制御部１４０の制御に従って、絞り１１２の絞り量を制御するものである。
図１１は、本技術の第２の実施の形態における撮像制御部１４０の一構成例を示すブロック図である。この第２の実施の形態の撮像制御部１４０は、レンズパラメータ取得部１４１、露光制御部１４２、オートフォーカス制御部１４３、ズーム制御部１４４およびデータレート制御部１４５を備える。
レンズパラメータ取得部１４１は、撮像前において、レンズユニット１１０からレンズパラメータを予め取得するものである。このレンズパラメータ取得部１４１は、取得したレンズパラメータを設定情報記憶部１３０に記憶させる。
第２の実施の形態において設定情報記憶部１３０は、レンズパラメータと、解像度ＲＨおよびＲＬとを設定情報として記憶する。ここで、ＲＬは、被写界深度内の被写体を撮像する際の解像度であり、ＲＨは、被写界深度外の被写体を撮像する際の解像度である。解像度ＲＨは、例えば、解像度ＲＬよりも高い値に設定される。
露光制御部１４２は、測光量に基づいて、露光量を制御するものである。この露光制御部１４２は、露光制御において、例えば、絞り値Ｎを決定し、その値を指示する制御信号を信号線１４７を介してレンズユニット１１０に供給する。また、露光制御部１４２は、絞り値Ｎをデータレート制御部１４５に供給する。なお、露光制御部１４２は、固体撮像素子２００に制御信号を供給してシャッタースピードを制御してもよい。
オートフォーカス制御部１４３は、ユーザの操作に従って被写体にピントを合わせるものである。このオートフォーカス制御部１４３は、ユーザによりフォーカスポイントが指定されると、そのフォーカスポイントに対応する距離ｄＯをデプスマップから取得する。そして、オートフォーカス制御部１４３は、その距離ｄＯにピントが合う位置までフォーカスレンズを駆動させるための駆動信号を生成してレンズユニット１１０に信号線１４７を介して供給する。また、オートフォーカス制御部１４３は、ピントを合わせた被写体までの距離ｄＯをデータレート制御部１４５に供給する。
ズーム制御部１４４は、ユーザのズーム操作に従って焦点距離ｆを制御するものである。このズーム制御部１４４は、ズーム操作に従ってレンズパラメータの示す制御範囲内で焦点距離ｆを設定する。そして、ズーム制御部１４４は、設定した焦点距離ｆに対応する位置までズームレンズおよびフォーカスレンズを駆動するための駆動信号を生成してレンズユニット１１０に供給する。ここで、フォーカスレンズおよびズームレンズは、焦点を合わせた状態でズームレンズを駆動するときの軌跡を示すカムカーブに沿って制御される。また、ズーム制御部１４４は、設定した焦点距離ｆをデータレート制御部１４５に供給する。
データレート制御部１４５は、距離に基づいて単位エリア２２１ごとにデータレートを制御するものである。このデータレート制御部１４５は、レンズパラメータを参照して例えば、次の式により、被写界深度の前端ＤＮおよび後端ＤＦを算出する。
Ｈ≒ｆ／（Ｎｃ０） ・・・式３
ＤＮ≒ｄＯ（Ｈ−ｆ）／（Ｈ＋ｄＯ−２ｆ） ・・・式４
ＤＦ≒ｄＯ（Ｈ−ｆ）／（Ｈ−ｄＯ） ・・・式５
そして、データレート制御部１４５は、デプスマップを参照して、単位エリア２２１ごとに、対応する距離Ｌｍが前端ＤＮから後端ＤＦまでの範囲内（すなわち、被写界深度内）であるか否かを判断する。データレート制御部１４５は、被写界深度内である場合に低い方の解像度ＲＬを、その単位エリア２２１に設定し、被写界深度外である場合に高い方の解像度ＲＨを設定する。そして、データレート制御部１４５は、それぞれの単位エリア２２１の解像度を指示する制御信号を固体撮像素子２００および信号処理部１２０に供給する。
なお、撮像制御部１４０は、被写界深度内であるか否かにより解像度などを切り替えているが、一般には、ピントの合った距離ｄＯに近いほど、鮮明さの度合いが大きくなり、遠いほどボケの度合いが大きくなる。このため、撮像制御部１４０は、距離ｄＯに近いほど解像度を低くし、遠いほど解像度を高くしてもよい。また、撮像制御部１４０は、被写界深度内であるか否かにより解像度を変更しているが、解像度の代わりにフレームレートを変更してもよい。
図１２は、本技術の第２の実施の形態における解像度の設定例を説明するための図である。フレーム５３０において、被写体５３１にピントが合わせられたものとする。このため、被写体５３１を含む領域５３２は鮮明であり、それ以外の領域はぼやけている。この領域５３２に対応する距離（デプス）は、被写界深度内である。撮像装置１００は、その被写界深度内の領域５３２に低い方の解像度ＲＬを設定し、それ以外の領域に高い方の解像度ＲＨを設定する。このように被写界深度内の領域の解像度を低下させるのは、その領域はピントが合って鮮明に映り、解像度を低下させても検知精度が不足するおそれが低いためである。
図１３は、本技術の第２の実施の形態における焦点位置および被写界深度の一例を示す図である。被写体５３１にピントを合わせたい場合にユーザは、撮像装置１００を操作して、その被写体５３１の位置までフォーカスポイントを移動させる。そのフォーカスポイントに対応する距離ｄＯにピントが合うように撮像装置１００はフォーカスレンズを駆動させる。この結果、距離ｄＯの手前の前端ＤＮから、後端ＤＦまでの被写界深度内にピントが合った像が固体撮像素子２００に結像される。撮像装置１００は、そのピントの合った領域の解像度を低下させたフレームを撮像する。
図１４は、本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。撮像装置１００は、デプスマップを生成し（ステップＳ９０１）、距離ｄＯや焦点距離ｆなどのパラメータを取得する（ステップＳ９１１）。そして、撮像装置１００は、式３乃至式５を用いて被写界深度の前端ＤＮおよび後端ＤＦを算出し、デプスマップ内の距離（デプス）Ｌｍが被写界深度内であるか否かによりデータレートを変更する（ステップＳ９１２）。ステップＳ９１２の後に撮像装置１００は、ステップＳ９０３以降を実行する。
このように、本技術の第２の実施の形態では、距離が被写界深度内であるか否かにより解像度を変更するため、ピントの合った領域のデータレートを変更することができる。
＜３．第３の実施の形態＞
上述の第２の実施の形態では、撮像装置１００は、被写界深度内であれば鮮明に映ると想定してデータレート（例えば、解像度）を一定の値ＲＬに低下させていたが、鮮明さの度合いは一定とは限らない。一般にピントの合う距離（デプス）ｄＯに、被写体が近づくほど錯乱円が小さくなって鮮明さの度合いが高くなるが、その距離ｄＯから離れるほど鮮明さの度合いが低下する。このため、鮮明さの度合いに応じて解像度を変更することが望ましい。この第３の実施の形態の撮像装置１００は、鮮明さの度合いに応じて解像度を制御する点において第２の実施の形態と異なる。
図１５は、本技術の第３の実施の形態における錯乱円の算出方法について説明するための図である。撮像装置１００は、ある距離ｄＯにピントを合わせたものとする。その距離ｄＯより撮像レンズ１１１に近い距離をｄｎとする。同図において一点鎖線は、距離ｄＯの位置Ｏからの光線を示す。この位置Ｏからの光は、撮像レンズ１１１により、その撮像レンズ１１１よりも像側の位置Ｌに集光される。撮像レンズ１１１から位置Ｌまでの距離はｄｉである。
また、点線は、距離ｄｎの位置Ｏｎからの光線を示す。この位置Ｏｎからの光は、撮像レンズ１１１により、その撮像レンズ１１１よりも像側の位置Ｌｎに集光される。撮像レンズ１１１から位置Ｌｎまでの距離はｄｃである。
ここで、撮像レンズ１１１の開口径をａとし、位置Ｌｎの錯乱円の直径をｃとする。また、開口径の両端の一方をＡとし、他方をＢとする。錯乱円の両端の一方はＡ'とし、他方をＢ'とする。この場合、Ａ'、Ｂ'およびＬｎからなる三角形と、Ａ、ＢおよびＬｎからなる三角形とが相似であるため、次の式が成立する。
ａ：ｃ＝ｄｃ：ｄｃ−ｄｉ ・・・式６
式６は、次の式に変形することができる。
ｃ＝ａ（ｄｃ−ｄｉ）／ｄｃ ・・・式７
ここで、レンズの公式より、次の式が得られる。
ｄｃ＝ｄｎｆ／（ｄｎ−ｆ） ・・・式８
ｄｉ＝ｄＯｆ／（ｄＯ−ｆ） ・・・式９
式８および式９の右辺を式７に代入することにより、次の式が得られる。
ｃ＝ａｆ（ｄＯ−ｄｎ）／｛ｄｎ（ｄＯ−ｆ）｝ ・・・式１０
第３の実施の形態の撮像制御部１４０の構成は、第２の実施の形態と同様である。ただし、撮像制御部１４０は、単位エリア２２１ごとに、そのエリアに対応する距離Ｌｍの値を式１０のｄｎに代入し、錯乱円の直径ｃを算出する。そして、撮像制御部１４０は、次の式により、解像度Ｒｍを算出する。
Ｒｍ＝（ｃ／ｃ０）×ＲＨ ・・・式１１
上式においてｃ０は、許容錯乱円の直径であり、このｃ０は、設定情報記憶部１３０に保持される。
式１１により、被写界深度内において錯乱円の直径が小さいほど低い解像度が設定される。このように制御するのは、錯乱円が小さいほど像の鮮明さの度合いが高くなり、解像度を低くしても検知精度が低下するおそれが少ないためである。
なお、錯乱円の直径ｃが許容錯乱円の直径ｃ０を超える場合には、被写界深度外であるため、高い解像度ＲＨが設定される。また、撮像制御部１４０錯乱円の直径に応じて解像度を制御しているが、解像度の代わりにフレームレートを制御することもできる。
このように、本技術の第３の実施の形態では、撮像装置１００は、錯乱円の直径が小さい（すなわち、像の鮮明さの度合いが高い）ほど低い解像度に制御するため、鮮明さの度合いに応じてデータレートを制御することができる。
＜４．第４の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００の外部に設けられた測距センサ１５０により距離を測定していたが、像面位相差方式により測距センサ１５０を設けずに距離を測定することもできる。ここで、像面位相差方式は、瞳分割された一対の像の位相差を検出するための複数の位相差画素を固体撮像素子内に配置して、その位相差から距離を測定する方式である。この第４の実施の形態における撮像装置１００は、像面位相差方式により距離を測定する点において第１の実施の形態と異なる。
図１６は、本技術の第４の実施の形態における撮像装置１００の一構成例を示すブロック図である。この第４の実施の形態の撮像装置１００は、固体撮像素子２００および測距センサ１５０の代わりに固体撮像素子２０５を備え、測距演算部１６０の代わりに位相差検出部１６１を備える点において第１の実施の形態と異なる。また、第４の実施の形態の撮像装置１００は、信号処理部１２０の代わりに信号処理部１２１を備える。
固体撮像素子２０５内の画素アレイ部２２０には、複数の位相差画素と、位相差画素以外の画素（以下、「通常画素」と称する。）とが配列される。固体撮像素子２０５は、位相差画素の受光量を示すデータを位相差検出部１６１に供給する。
位相差検出部１６１は、複数の位相差画素のそれぞれの受光量から、瞳分割された一対の像の位相差を検出するものである。この位相差検出部１６１は、測位エリアごとの距離を位相差から算出し、デプスマップを生成する。
また、信号処理部１２１は、位相差画素の受光量から、その画素の画素データを生成する。
図１７は、本技術の第４の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。この画素アレイ部２２０には、複数の通常画素２２２と、複数の位相差画素２２３とが配列される。通常画素２２２として例えば、赤色の光を受光するＲ（Red）画素と、緑色を受光するＧ(Green)画素と、青色を受光するＢ(Blue)画素とがベイヤー配列で配置される。また、位相差画素２２３は、例えば、単位エリア２２１ごとに２つ配置される。これらの位相差画素２２３により、固体撮像素子２０５は、像面位相差方式で距離を測定することができる。
なお、位相差画素２２３、走査回路２１０およびＡＤ変換部２３０からなる回路は、特許請求の範囲に記載の測距センサの一例であり、通常画素２２２、走査回路２１０およびＡＤ変換部２３０からなる回路は、特許請求の範囲に記載の撮像部の一例である。
図１８は、本技術の第４の実施の形態における位相差画素２２３の一構成例を示す平面図である。この位相差画素２２３には、マイクロレンズ２２４、Ｌ側フォトダイオード２２５、および、Ｒ側フォトダイオード２２６が配置される。
マイクロレンズ２２４は、Ｒ、ＧおよびＢのいずれかの光を集光するものである。Ｌ側フォトダイオード２２５は、瞳分割された２つの像の一方からの光を光電変換するものであり、Ｒ側フォトダイオード２２６は、その２つの像の他方からの光を光電変換するものである。
位相差検出部１６１は、所定の方向に沿って配列された複数のＬ側フォトダイオード２２５のそれぞれの受光量から左側の像を取得し、その方向に沿って配列された複数のＲ側フォトダイオード２２６のそれぞれの受光量から右側の像を取得する。これらの一対の像の位相差は、一般に距離が近いほど大きくなる。この性質に基づいて位相差検出部１６１は、一対の像の位相差から、距離を算出する。
また、信号処理部１２１は、位相差画素２２３ごとに、その内部のＬ側フォトダイオード２２５の受光量とＲ側フォトダイオード２２６の受光量との加算値または加算平均を演算して、Ｒ、ＧおよびＢのいずれかの画素データとする。
ここで、一般的な位相差画素では、位相差画素の一部が遮光され、フォトダイオードは１つしか配置されない。このような構成では、画像データ（フレーム）を生成する際に、位相差画素の画素データが欠けてしまうため、周囲の画素から補間する必要がある。これに対して、遮光せずにＬ側フォトダイオード２２５およびＲ側フォトダイオード２２６を設ける位相差画素２２３の構成では、画素データが欠けることが無く、補間処理を行わなくてよいため、フレームの画質を向上させることができる。
このように、本技術の第４の実施の形態では、撮像装置１００が、位相差画素２２３により検出された位相差から距離を測定するため、測距センサを配置せずにデプスマップを生成することができる。これにより、測距センサの分、コストや回路規模を削減することができる。
［変形例］
上述の第４の実施の形態では、単位エリア２２１ごとに２つの位相差画素２２３を配置していたが、単位エリア２２１ごとに２つでは、測距精度が不足するおそれがある。この第４の実施の形態における変形例の撮像装置１００は、測距精度を向上させた点において第４の実施の形態と異なる。
図１９は、本技術の第４の実施の形態の変形例における画素アレイ部２２０の一構成例を示す平面図である。この第４の実施の形態の変形例の画素アレイ部２２０は、位相差画素２２３のみが配置され、通常画素２２２が配置されない点において第４の実施の形態と異なる。このように、通常画素２２２の代わりに位相差画素２２３が配置されるため、その分、位相差画素２２３の画素数が多くなり、測距精度が向上する。
また、第４の実施の形態の変形例の信号処理部１２１は、位相差画素２２３ごとに、加算または加算平均の演算により画素データを生成する。
このように、本技術の第４の実施の形態における変形例では、通常画素２２２の代わりに位相差画素２２３を配置したため、その分、位相差画素２２３の画素数を多くして測距精度を向上させることができる。
＜５．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２１は、撮像部１２０３１の設置位置の例を示す図である。
図２１では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０および撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１内に図１の撮像レンズ１１１、固体撮像素子２００および撮像制御部１４０が配置され、車外情報検出ユニット１２０３０内に、図１の信号処理部１２０、測距センサ１５０および測距演算部１６０が配置される。車外情報検出ユニット１２０３０および撮像部１２０３１に本開示に係る技術を適用することにより、フレームの処理量を低減することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御部と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像部と
を具備する撮像装置。
（２）前記データレートは、解像度を含む
前記（１）記載の撮像装置。
（３）前記データレートは、フレームレートを含む
前記（１）または（２）に記載の撮像装置。
（４）前記制御部は、前記距離が撮像レンズの被写界深度内であるか否かにより前記データレートを変更する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記制御部は、前記距離から錯乱円の直径を算出して当該直径に応じた前記データレートを指示する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）前記フレームに対して所定の信号処理を実行する信号処理部をさらに具備する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記撮像部は、光を受光する複数の通常画素を備え、
前記信号処理部は、前記複数の位相差検出画素と前記複数の通常画素とのそれぞれの受光量から前記フレームを生成する
前記（６）記載の撮像装置。
（８）前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
前記信号処理部は、前記複数の位相差検出画素のそれぞれの受光量から前記フレームを生成する
前記（６）記載の撮像装置。
（９）撮像対象となる複数の領域のそれぞれについて距離を測定する測距手順と、
前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御手順と、
前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像手順と
を具備する撮像装置の制御方法。
１００ 撮像装置
１１０ レンズユニット
１１１ 撮像レンズ
１１２ 絞り
１１３ レンズパラメータ保持部
１１４ レンズ駆動部
１１５ 絞り制御部
１２０、１２１ 信号処理部
１３０ 設定情報記憶部
１４０ 撮像制御部
１４１ レンズパラメータ取得部
１４２ 露光制御部
１４３ オートフォーカス制御部
１４４ ズーム制御部
１４５ データレート制御部
１５０ 測距センサ
１５３ 測距エリア
１６０ 測距演算部
１６１ 位相差検出部
２００、２０５ 固体撮像素子
２０１ 上側基板
２０２ 下側基板
２１０、１５１ 走査回路
２２０、１５２ 画素アレイ部
２２１ 単位エリア
２２２ 通常画素
２２３ 位相差画素
２２４ マイクロレンズ
２２５ Ｌ側フォトダイオード
２２６ Ｒ側フォトダイオード
２３０、１５４ ＡＤ変換部
２３１ ＡＤＣ
１２０３０ 車外情報検出ユニット
１２０３１ 撮像部

Claims (9)

  1. 撮像対象となる複数の領域のそれぞれについて距離を測定する測距センサと、
    前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御部と、
    前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像部と
    を具備する撮像装置。
  2. 前記データレートは、解像度を含む
    請求項１記載の撮像装置。
  3. 前記データレートは、フレームレートを含む
    請求項１記載の撮像装置。
  4. 前記制御部は、前記距離が撮像レンズの被写界深度内であるか否かにより前記データレートを変更する
    請求項１記載の撮像装置。
  5. 前記制御部は、前記距離から錯乱円の直径を算出して当該直径に応じた前記データレートを指示する
    請求項１記載の撮像装置。
  6. 前記フレームに対して所定の信号処理を実行する信号処理部をさらに具備する
    請求項１記載の撮像装置。
  7. 前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
    前記撮像部は、光を受光する複数の通常画素を備え、
    前記信号処理部は、前記複数の位相差検出画素と前記複数の通常画素とのそれぞれの受光量から前記フレームを生成する
    請求項６記載の撮像装置。
  8. 前記測距センサは、一対の像の位相差を検出するための複数の位相差検出画素を備え、
    前記信号処理部は、前記複数の位相差検出画素のそれぞれの受光量から前記フレームを生成する
    請求項６記載の撮像装置。
  9. 撮像対象となる複数の領域のそれぞれについて距離を測定する測距手順と、
    前記複数の領域のそれぞれについてデータレートを指示する信号を前記距離に基づいて生成して制御信号として供給する制御手順と、
    前記制御信号に従って前記複数の領域を含むフレームを撮像する撮像手順と
    を具備する撮像装置の制御方法。
JP2016240580A 2016-12-12 2016-12-12 撮像装置、および、撮像装置の制御方法 Pending JP2018098613A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016240580A JP2018098613A (ja) 2016-12-12 2016-12-12 撮像装置、および、撮像装置の制御方法
US16/342,398 US20210297589A1 (en) 2016-12-12 2017-09-08 Imaging device and method of controlling imaging device
CN201780075273.4A CN110073652B (zh) 2016-12-12 2017-09-08 成像装置以及控制成像装置的方法
PCT/JP2017/032486 WO2018110002A1 (ja) 2016-12-12 2017-09-08 撮像装置、および、撮像装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016240580A JP2018098613A (ja) 2016-12-12 2016-12-12 撮像装置、および、撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018098613A true JP2018098613A (ja) 2018-06-21

Family

ID=62558340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016240580A Pending JP2018098613A (ja) 2016-12-12 2016-12-12 撮像装置、および、撮像装置の制御方法

Country Status (4)

Country Link
US (1) US20210297589A1 (ja)
JP (1) JP2018098613A (ja)
CN (1) CN110073652B (ja)
WO (1) WO2018110002A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020009351A (ja) * 2018-07-12 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022153896A1 (ja) * 2021-01-12 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP7258989B1 (ja) 2021-11-19 2023-04-17 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313940A (zh) * 2019-11-14 2021-02-02 深圳市大疆创新科技有限公司 一种变焦跟踪方法和系统、镜头、成像装置和无人机

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261871A (ja) * 2005-03-16 2006-09-28 Victor Co Of Japan Ltd ハンズフリーカメラにおける画像処理装置
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
CN100527792C (zh) * 2006-02-07 2009-08-12 日本胜利株式会社 摄像方法以及摄像装置
DE102008001076A1 (de) * 2008-04-09 2009-10-15 Robert Bosch Gmbh Verfahren, Vorrichtung sowie Computerprogramm zur Auflösungsreduktion eines Eingangsbilds
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5231277B2 (ja) * 2009-02-12 2013-07-10 オリンパスイメージング株式会社 撮像装置、撮像方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
JP4779041B2 (ja) * 2009-11-26 2011-09-21 株式会社日立製作所 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP5824972B2 (ja) * 2010-11-10 2015-12-02 カシオ計算機株式会社 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
JP5938281B2 (ja) * 2012-06-25 2016-06-22 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP6239862B2 (ja) * 2013-05-20 2017-11-29 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
CN104243823B (zh) * 2014-09-15 2018-02-13 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020009351A (ja) * 2018-07-12 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7327911B2 (ja) 2018-07-12 2023-08-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022153896A1 (ja) * 2021-01-12 2022-07-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP7258989B1 (ja) 2021-11-19 2023-04-17 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム
JP2023075670A (ja) * 2021-11-19 2023-05-31 キヤノン株式会社 移動装置、撮像装置、制御方法およびプログラム

Also Published As

Publication number Publication date
WO2018110002A1 (ja) 2018-06-21
CN110073652B (zh) 2022-01-11
US20210297589A1 (en) 2021-09-23
CN110073652A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
KR102499586B1 (ko) 촬상 장치
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
CN108139484B (zh) 测距装置和测距装置的控制方法
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP2019134271A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN103661163A (zh) 移动体和存储介质
WO2018110002A1 (ja) 撮像装置、および、撮像装置の制御方法
CN212719323U (zh) 照明装置和测距模块
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP6817780B2 (ja) 測距装置、および、測距装置の制御方法
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
TWI794207B (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020166284A1 (ja) 撮像装置
WO2018207665A1 (ja) 固体撮像装置、駆動方法、及び電子機器
JP2021099271A (ja) 測距装置およびその制御方法、並びに、電子機器