JP2017146155A - 撮像装置及び撮像制御方法 - Google Patents

撮像装置及び撮像制御方法 Download PDF

Info

Publication number
JP2017146155A
JP2017146155A JP2016026944A JP2016026944A JP2017146155A JP 2017146155 A JP2017146155 A JP 2017146155A JP 2016026944 A JP2016026944 A JP 2016026944A JP 2016026944 A JP2016026944 A JP 2016026944A JP 2017146155 A JP2017146155 A JP 2017146155A
Authority
JP
Japan
Prior art keywords
signal
irradiation
correlation function
code
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016026944A
Other languages
English (en)
Inventor
隆一 唯野
Ryuichi Tadano
隆一 唯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016026944A priority Critical patent/JP2017146155A/ja
Priority to PCT/JP2017/003732 priority patent/WO2017141715A1/ja
Priority to US15/578,364 priority patent/US10816667B2/en
Publication of JP2017146155A publication Critical patent/JP2017146155A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮像装置から被写体までの距離に応じて測距精度を変える。【解決手段】撮像装置は、照射コードを含む照射信号及び参照コードを含む参照信号の出力を制御する制御部と、光電変換素子を備え、光電変換素子に入射する受信光と参照信号との相関を示す画素信号を生成し、第１の組み合わせの照射信号と参照信号を用いた場合の第１の画素信号と、第２の組み合わせの照射信号と参照信号を用いた場合の第２の画素信号との比率に基づいて、被写体までの距離に基づく距離画素信号を生成する撮像部とを備える。第１の組み合わせの照射信号と参照信号との相関を示す第１の相関関数、及び、第２の組み合わせの照射信号と参照信号との相関を示す第２の相関関数が非線形であり、第１の相関関数と前記第２の相関関数との和がほぼ一定である。本技術は、例えば、距離画像を撮影するカメラに適用できる。【選択図】図１１

Description

本技術は、撮像装置及び撮像制御方法に関し、特に、ＴｏＦ（Time of Flight）法を用いた撮像装置及び撮像制御方法に関する。
従来、車両識別装置から所定の方向に所定のＰＮ符号で変調した送信信号を送信するとともに、ＰＮ符号を所定のビット数ずつ遅延させた符号を用いて、車両から受信した信号との相関をとることにより、上記の方向において異なる距離に存在する複数の車両の車両情報を同時に取得できるようにする技術が提案されている（例えば、特許文献１参照）。
特開平６−２３６４９７号公報
しかしながら、特許文献１には、撮像装置から被写体までの距離に応じて距離の測定精度（測距精度）を変えることは検討されていない。
本技術は、このような状況に鑑みてなされたものであり、撮像装置から被写体までの距離に応じて測距精度を変えることができるようにするものである。
本技術の一側面の撮像装置は、照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御する制御部と、光電変換素子を備え、前記光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との第１の比率に基づいて、被写体までの距離に基づく距離画素信号を生成する撮像部とを備え、所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和をほぼ一定にすることができる。
前記照射コード及び前記参照コードのうちいずれか一方のコードを、他方のコードとの相互相関がインパルス状になる基本コードの位相を異なるシフト量だけシフトした複数の単位コードを重み付け加算したコードとし、前記第１の組み合わせにおける前記一方のコードを、複数の前記単位コードを第１の重みを用いて重み付け加算したコードとし、前記第２の組み合わせにおける前記一方のコードを、複数の前記単位コードを第２の重みを用いて重み付け加算したコードとすることができる。
前記制御部には、前記第１の重み及び前記第２の重みを制御可能とさせることができる。
前記所定の位相の範囲内において、前記第１の相関関数及び前記第２の相関関数のうち一方を単調増加関数とし、他方を単調減少関数とすることができる。
前記撮像部には、前記第１の比率に加えて、第３の組み合わせの前記照射信号と前記参照信号を用いた場合の第３の画素信号と、第４の組み合わせの前記照射信号と前記参照信号を用いた場合の第４の画素信号との第２の比率に基づいて、前記距離画素信号を生成させ、前記所定の位相の範囲内において、前記第３の組み合わせにおける前記照射信号と前記参照信号との相関を示す第３の相関関数、及び、前記第４の組み合わせにおける前記照射信号と前記参照信号との相関を示す第４の相関関数を非線形とし、各位相における前記第３の相関関数と前記第４の相関関数との和をほぼ一定にすることができる。
前記第１の相関関数及び前記第２の相関関数の周期と、前記第３の相関関数及び前記第４の相関関数の周期とを異ならせ、前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより急峻な範囲、並びに、前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより緩やかな範囲を存在させることができる。
本技術の一側面の撮像制御方法は、照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御し、光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との比率に基づいて、被写体までの距離に基づく距離画素信号を生成するとともに、所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定である。
本技術の一側面においては、照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力が制御され、光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号が生成され、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との比率に基づいて、被写体までの距離に基づく距離画素信号が生成され、所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形となり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定となる。
本技術の一側面によれば、撮像装置から被写体までの距離に応じて測距精度を変えることができる。
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術を適用した撮像装置の構成例を示すブロック図である。 撮像素子の構成例を示すブロック図である。 単位画素の断面の模式図である。 単位画素の等価回路である。 距離画像の生成方法の第１の例を説明するためのタイミングチャートである。 画素信号の波形の第１の例を示すグラフである。 距離画像の生成方法の第２の例を説明するためのタイミングチャートである。 画素信号の波形の第２の例を示すグラフである。 基本コードの条件を説明するための図である。 基本コードの例を示すグラフである。 相関関数の第１の例を示すグラフである。 相関関数の第２の例を示すグラフである。 単位コードの第１の例を示すグラフである。 照射コードの第１の例を示すグラフである。 照射コードの第２の例を示すグラフである。 参照コードと照射コードの関係の第１の例を示すグラフである。 単位コードの第２の例を示すグラフである。 参照コードの例を示すグラフである。 参照コードと照射コードの関係の第２の例示すグラフである。 相関関数の第３の例を示すグラフである。 撮像装置の使用例を示す図である。
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
３．撮像装置の使用例
＜１．実施の形態＞
｛撮像装置１１の構成例｝
図１は、本技術を適用した撮像装置の一実施の形態を示すブロック図である。撮像装置１１は、例えば、ＴｏＦ法を用いて距離画像の撮影を行う装置である。ここで、距離画像とは、被写体の撮像装置１１からの奥行き方向の距離を画素毎に検出し、検出した距離に基づく距離画素信号からなる画像のことである。
撮像装置１１は、照明部２１、撮像部２２、制御部２３、表示部２４、及び、記憶部２５を備える。
照明部２１は、照明制御部３１及び光源３２を備える。
照明制御部３１は、制御部２３の制御の下に、光源３２が照射光を照射するパターンを制御する。具体的には、照明制御部３１は、制御部２３から供給される照射信号に含まれる照射コードに従って、光源３２が照射光を照射するパターンを制御する。例えば、照射コードは、１（Ｈｉｇｈ）と０（Ｌｏｗ）の２値からなり、照明制御部３１は、照射コードの値が１のとき光源３２を点灯させ、照射コードの値が０のとき光源３２を消灯させる。
光源３２は、照明制御部３１の制御の下に、所定の波長域の光（照射光）を発する。光源３２は、例えば、赤外線レーザダイオードからなる。なお、光源３２の種類、及び、照射光の波長域は、撮像装置１１の用途等に応じて任意に設定することが可能である。
撮像部２２は、レンズ４１、撮像素子４２、及び、信号処理回路４３を備える。
レンズ４１は、入射光を撮像素子４２の撮像面に結像させる。なお、レンズ４１の構成は任意であり、例えば、複数のレンズ群によりレンズ４１を構成することも可能である。
撮像素子４２は、例えば、ＴｏＦ法を用いたＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサからなる。撮像素子４２は、制御部２３の制御の下に、被写体１２及び被写体１３等の撮像を行い、その結果得られた画素信号を信号処理回路４３に供給する。具体的には、撮像素子４２は、制御部２３から供給される参照信号と、光源３２から照射された照射光が被写体１２及び被写体１３等により反射された反射光を含む受信光との相関を示す画素信号を生成し、信号処理回路４３に供給する。
なお、参照信号は、受信光との相関の検出に用いるパターンを示す参照コードを含む。
信号処理回路４３は、制御部２３の制御の下に、撮像素子４２から供給される画素信号の処理を行う。例えば、信号処理回路４３は、撮像素子４２から供給される画素信号に基づいて、距離画像を生成する。信号処理回路４３は、生成した距離画像を制御部２３に供給する。
制御部２３は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等の制御回路やプロセッサ等により構成される。制御部２３は、照明制御部３１、撮像素子４２、及び、信号処理回路４３の制御を行う。また、制御部２３は、撮像部２２から取得した距離画像を表示部２４に供給し、表示部２４に表示させる。さらに、制御部２３は、撮像部２２から取得した距離画像を記憶部２５に記憶させる。また、制御部２３は、撮像部２２から取得した距離画像を外部に出力する。
表示部２４は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等のパネル型表示装置からなる。
記憶部２５は、任意の記憶装置や記憶媒体等により構成することができ、距離画像等を記憶する。
｛撮像素子４２の構成例｝
図２は、撮像素子４２の構成例を示している。
撮像素子４２は、画素アレイ部１０１、垂直駆動部１０２、カラム処理部１０３、水平駆動部１０４、システム制御部１０５、画素駆動線１０６、垂直信号線１０７ａ，１０７ｂ、信号処理部１０８、及び、データ格納部１０９を含むように構成される。
画素アレイ部１０１は、被写体から入射した光の量に応じた電荷を生成して蓄積する光電変換素子を有する画素からなる。画素アレイ部１０１を構成する画素は、図中、横方向（行方向）および縦方向（列方向）に２次元に配置されている。
例えば、画素アレイ部１０１では、行方向に配列された画素からなる画素行ごとに、画素駆動線１０６が行方向に沿って配線され、列方向に配列された画素からなる画素列ごとに、垂直信号線１０７ａ，１０７ｂが列方向に沿って配線されている。
垂直駆動部１０２は、シフトレジスタやアドレスデコーダなどからなり、複数の画素駆動線１０６を介して各画素に信号等を供給することで、画素アレイ部１０１の各画素を全画素同時に、または行単位等で駆動する。
カラム処理部１０３は、画素アレイ部１０１の画素列ごとに垂直信号線１０７ａ，１０７ｂを介して各画素から信号を読み出して、ノイズ除去処理、相関二重サンプリング処理、A/D（Analog to Digital）変換処理などを行なって画素信号を生成する。
水平駆動部１０４は、シフトレジスタやアドレスデコーダなどからなり、カラム処理部１０３の画素列に対応する単位回路を順番に選択する。この水平駆動部１０４による選択走査により、カラム処理部１０３において単位回路ごとに信号処理された画素信号が順番に信号処理部１０８に出力される。
システム制御部１０５は、各種のタイミング信号を生成するタイミングジェネレータなどからなり、タイミングジェネレータで生成されたタイミング信号に基づいて、垂直駆動部１０２、カラム処理部１０３、及び、水平駆動部１０４の駆動制御を行なう。
信号処理部１０８は、必要に応じてデータ格納部１０９にデータを一時的に格納しながら、カラム処理部１０３から供給された画素信号に対して演算処理等の信号処理を行ない、各画素信号からなる画像信号を出力する。
｛単位画素１５１の構成例｝
次に、図３及び図４を参照して、撮像素子４２の画素アレイ部１０１を構成する単位画素１５１の構成例について説明する。図３は、単位画素１５１の断面の模式図であり、図４は、単位画素１５１の等価回路を示している。
単位画素１５１は、光電変換素子１６１、転送ゲート１６２ａ，１６２ｂ、ＦＤ（浮遊拡散領域）１６３ａ，１６３ｂ、リセットトランジスタ１６４ａ，１６４ｂ、選択トランジスタ１６５、及び、増幅トランジスタ１６６ａ，１６６ｂを備えている。
なお、図３及び図４では、リセットトランジスタ１６４ａ及び１６４ｂ、選択トランジスタ１６５、並びに、増幅トランジスタ１６６ａ及び１６６ｂに、ＮチャネルのＭＯＳトランジスタを用いた例を示している。しかし、リセットトランジスタ１６４ａ及び１６４ｂ、選択トランジスタ１６５、並びに、増幅トランジスタ１６６ａ及び１６６ｂの導電型の組み合わせは、この例に限定されるものではない。
光電変換素子１６１は、例えば、埋め込み型フォトダイオードからなる。具体的には、光電変換素子１６１は、ｐ型の半導体基板１８１に対して、ｐ型層１８２を基板表面側に形成し、ｎ型埋め込み層１８３を埋め込むことによって形成される。
転送ゲート１６２ａは、ゲート電極１６２Ａａを備えている。ゲート電極１６２Ａａは、半導体基板１８１の表面に形成されている絶縁膜１８４を介して、光電変換素子１６１とＦＤ１６３ａの間の領域を覆うように形成されている。ゲート電極１６２Ａａには、画素駆動線１０６を介して、垂直駆動部１０２から転送信号ＴＸａが供給される。そして、転送信号ＴＸａの電圧が所定のＨｉｇｈレベルに設定され、転送ゲート１６２ａが導通状態になると、光電変換素子１６１により生成された電荷が、転送ゲート１６２ａを介してＦＤ１６３ａに転送される。
転送ゲート１６２ｂは、ゲート電極１６２Ａｂを備えている。ゲート電極１６２Ａｂは、半導体基板１８１の表面に形成されている絶縁膜１８４を介して、光電変換素子１６１とＦＤ１６３ｂの間の領域を覆うように形成されている。ゲート電極１６２Ａｂには、画素駆動線１０６を介して、垂直駆動部１０２から転送信号ＴＸｂが供給される。そして、転送信号ＴＸｂの電圧が所定のＨｉｇｈレベルに設定され、転送ゲート１６２ｂが導通状態になると、光電変換素子１６１により生成された電荷が、転送ゲート１６２ｂを介してＦＤ１６３ｂに転送される。
なお、転送信号ＴＸａは、制御部２３からシステム制御部１０５に供給される参照信号と同じ信号とされ、転送信号ＴＸｂは、参照信号をビット反転した信号とされる。従って、光電変換素子１６１により生成された電荷は、ＦＤ１６３ａ又はＦＤ１６３ｂに分配される。そして、光電変換素子１６１に入射する受信光と参照信号との相関が高いほど、ＦＤ１６３ａに転送され蓄積される電荷量が多くなり、ＦＤ１６３ｂに転送され蓄積される電荷量が少なくなり、両者の差が大きくなる。一方、光電変換素子１６１に入射する受信光と参照信号との相関が低いほど、ＦＤ１６３ａに転送され蓄積される電荷量と、ＦＤ１６３ｂに転送され蓄積される電荷量との差が小さくなる。
絶縁膜１８４は、ＦＤ１６３ａの上方の一部、及び、ＦＤ１６３ｂの上方の一部を除いて、半導体基板１８１の表面全体を覆うように形成されている。
遮光膜１８５は、光電変換素子１６１の上方、ＦＤ１６３ａの上方の一部、及び、ＦＤ１６３ｂの上方の一部を除いて、半導体基板１８１の上方全体を覆うように形成されている。
ＦＤ１６３ａは、転送ゲート１６２ａを介して光電変換素子１６１から転送された電荷を蓄積するとともに、蓄積した電荷を電圧に変換する。
ＦＤ１６３ｂは、転送ゲート１６２ｂを介して光電変換素子１６１から転送された電荷を蓄積するとともに、蓄積した電荷を電圧に変換する。
リセットトランジスタ１６４ａのドレイン電極は、画素電源Ｖｄｄに接続され、ソース電極は、ＦＤ１６３ａ及び増幅トランジスタ１６６ａのゲート電極に接続されている。リセットトランジスタ１６４ａのゲート電極には、画素駆動線１０６を介して、垂直駆動部１０２からリセット信号ＲＳＴａが供給される。そして、リセット信号ＲＳＴａの電圧が所定のＨｉｇｈレベルに設定され、リセットトランジスタ１６４ａがオンすると、ＦＤ１６３ａがリセットされ、ＦＤ１６３ａから電荷が排出される。
リセットトランジスタ１６４ｂのドレイン電極は、画素電源Ｖｄｄに接続され、ソース電極は、ＦＤ１６３ｂ及び増幅トランジスタ１６６ｂのゲート電極に接続されている。リセットトランジスタ１６４ｂのゲート電極には、画素駆動線１０６を介して、垂直駆動部１０２からリセット信号ＲＳＴｂが供給される。そして、リセット信号ＲＳＴｂの電圧が所定のＨｉｇｈレベルに設定され、リセットトランジスタ１６４ｂがオンすると、ＦＤ１６３ｂがリセットされ、ＦＤ１６３ｂから電荷が排出される。
選択トランジスタ１６５のドレイン電極は、画素電源Ｖｄｄに接続され、ソース電極は、増幅トランジスタ１６６ａのドレイン電極、及び、増幅トランジスタ１６６ｂのドレイン電極に接続されている。増幅トランジスタ１６６ａのソース電極は、垂直信号線１０７ａに接続されている。増幅トランジスタ１６６ｂのソース電極は、垂直信号線１０７ｂに接続されている。
選択トランジスタ１６５のゲート電極には、画素駆動線１０６を介して、垂直駆動部１０２から選択信号ＳＥＬが供給される。そして、選択信号ＳＥＬの電圧が所定のＨｉｇｈレベルに設定され、選択トランジスタ１６５がオンすることにより、画素信号を読み出す対象となる単位画素１５１が選択される。すなわち、増幅トランジスタ１６６ａは、選択トランジスタ１６５がオンしているとき、ＦＤ１６３ａの電圧を示す信号ＳＰａを、垂直信号線１０７ａを介して、カラム処理部１０３に供給する。増幅トランジスタ１６６ｂは、選択トランジスタ１６５がオンしているとき、ＦＤ１６３ｂの電圧を示す信号ＳＰｂを、垂直信号線１０７ｂを介して、カラム処理部１０３に供給する。
そして、撮像素子４２の信号処理部１０８は、カラム処理部１０３を介して各単位画素１５１から供給される信号ＳＰａと信号ＳＰｂの差分信号を生成する。また、信号処理部１０８は、その差分信号を各単位画素１５１の画素信号として信号処理回路４３に供給する。従って、撮像素子４２から出力される画素信号は、参照信号と各単位画素１５１の受信光との相関を示す信号となる。すなわち、参照信号と受信光との相関が高いほど、画素信号の値は大きくなり、参照信号と受信光との相関が低いほど、画素信号の値は小さくなる。
｛撮像装置１１の処理｝
次に、図５乃至図１５を参照して、撮像装置１１の処理について説明する。
撮像装置１１は、異なる組み合わせの照射信号及び参照信号を用いて、複数回撮影を行うことにより、距離画像を生成する。
まず、図５及び図６を参照して、距離画像の生成方法の第１の例について説明する。
図５は、照射信号、参照信号ａ、参照信号ｂ、及び、受信光のタイミングチャートを示している。横軸は時間を示している。
図６は、被写体までの距離と単位画素１５１から出力される画素信号の関係を模式的に示すグラフである。図６の横軸は、被写体までの距離を示し、縦軸は、画素信号の値を示している。
この例では、１回目の撮影時に照射信号及び参照信号ａの組み合わせが用いられる。照射信号と参照信号ａは、同じ位相及びパルス幅Ｔのパルスを含む信号である。光源３２から発せられる照射光は、照射信号と略同じ波形となる。
光源３２から発せられた照射光の一部は、照射方向にある被写体において反射され、反射光の一部が撮像素子４２の各単位画素１５１の光電変換素子１６１に入射する。ここで、光電変換素子１６１に入射する受信光は、撮像装置１１と被写体との間の距離に応じて、照射信号（照射光）に対して遅延時間Δｔだけ遅れて光電変換素子１６１に入射する。
このとき、単位画素１５１から出力される画素信号Ｓａの値は、参照信号ａと受信光が重複する時間に比例する。すなわち、画素信号Ｓａの値は、参照信号ａのパルスの立ち上がりを基準にして（参照信号ａのパルスの立ち上がりの時刻を０として）、時刻０のとき最大となり、時間Ｔ−Δｔに比例する。そして、遅延時間Δｔがパルス幅Ｔ以上になると、画素信号Ｓａの値は０になる。
２回目の撮影時には、照射信号及び参照信号ｂの組み合わせが用いられる。参照信号ｂは、参照信号ａと比較して、パルス幅Ｔと同じ時間だけ位相が遅れた波形を有する。
このとき、単位画素１５１から出力される画素信号Ｓｂの値は、参照信号ｂと受信光が重複する時間に比例する。すなわち、画素信号Ｓｂの値は、遅延時間Δｔが０からＴの間は、遅延時間Δｔに比例し、遅延時間ΔｔがＴから２Ｔの間は、時間２Ｔ−Δｔに比例する。そして、遅延時間Δｔが２Ｔ以上になると、画素信号Ｓｂの値は０になる。
ここで、受信光は、照射信号（照射コード）と同じパターンで照射される照射光の反射光を含み、受信光の波形は、照射信号の位相をシフトした波形と類似する。従って、図６の画素信号Ｓａの波形は、参照信号ａと照射信号の相関関数の波形と類似し、図６の画素信号Ｓｂの波形は、参照信号ｂと照射信号の相関関数の波形と類似する。なお、ここでの画素信号Ｓａの波形は、図内の点線で示される距離が負の値の領域を含む波形を指している。
そして、被写体までの距離は、次式（１）に示されるように、画素信号Ｓａと画素信号Ｓｂの和に占める画素信号Ｓｂの比率に比例する。
Figure 2017146155
例えば、信号処理回路４３は、画素信号Ｓａと画素信号Ｓｂの和に占める画素信号Ｓｂの比率に基づいて、被写体までの距離に基づく距離画素信号を画素毎に生成し、距離画素信号からなる距離画像を生成する。そして、距離画像に基づいて、例えば、画素毎に被写体までの距離を測定したり、距離の違いを認識したりすることが可能になる。
ここで、距離の測定精度（測距精度）は、図６に示されるように、距離に対する画素信号Ｓａと画素信号Ｓｂの傾きが一定なので、距離に関わらず一定となる。
また、距離の測定が可能な範囲（測距範囲）は、画素信号Ｓａが０になるまでの範囲となり、具体的には、０からｃ×Ｔ／２までの範囲となる。
図７及び図８は、図５及び図６の例に対して、照射信号、参照信号ａ、及び、参照信号ｂのパルス幅を１／４に設定した場合の例を示している。
図７は、図５と同様に、照射信号、参照信号ａ、参照信号ｂ、及び、受信光のタイミングチャートを示している。図８は、図６と同様に、被写体までの距離と単位画素１５１から出力される画素信号の関係を模式的に示すグラフである。
図８に示されるように、照射信号、参照信号ａ、及び、参照信号ｂのパルス幅を短くすることにより、図６の例と比較して、画素信号Ｓａ及び画素信号Ｓｂの傾きが急峻になる。これにより、測距精度が向上する。ただし、距離に対する画素信号Ｓａと画素信号Ｓｂの傾きが一定なので、距離に関わらず測距精度は一定となる。
一方、測距範囲は、０からｃ×Ｔ／８までの範囲となり、図６の例と比較して狭くなる。
このように、パルス状の照射信号及び参照信号を用いた場合、測距範囲を広げようとすると、測距精度が低下し、測距精度を向上させようとすると、測距範囲が狭くなる。また、測距精度は、測距範囲内において、被写体までの距離に関わらず一定になる。
これに対して、被写体までの距離に応じて測距精度を変えることが望ましい場合が想定される。例えば、ジェスチャ検出や３次元形状測定等を行う場合には、撮像装置１１からの距離が近くなるほど測距精度を高くすることが望ましい。逆に、例えば、遠距離になるほど照射光の光量が低下し、測距精度が低下することを考慮して、撮像装置１１からの距離が遠くなるほど測距精度を高くすることが望ましい場合も想定される。
そこで、以下、所望の測距範囲内で、被写体までの距離に応じて測距精度を変化させる方法について説明する。
まず、照射コード及び参照コードのうちいずれか一方のコードとして、所定のコード（以下、基本コードＡと称する）がそのまま用いられる。一方、他方のコードとして、所定のコード（以下、基本コードＢと称する）の位相をシフトすることにより得られる、位相が異なる複数の単位コードを重み付け加算したコードが用いられる。なお、単位コードには、基本コードＢの位相をシフトせずにそのまま用いるコード（すなわち、基本コードＢと同じコード）も含まれ得る。
基本コードＡと基本コードＢは、以下の条件を満たせば、同じコードに設定しても、異なるコードに設定してもよい。すなわち、基本コードＡと基本コードＢとの相関関数の波形が、図９に示されるようにインパルス状になるように、基本コードＡ及び基本コードＢを設定すればよい。
なお、図９の横軸は距離を表し、縦軸は相関係数を表している。ここで、基本コードＡと基本コードＢの相関関数は、例えば、位相差Δｔの関数として与えられるが、ここでは、位相差Δｔを距離（＝ｃ×Δｔ／２）に換算することにより、相関関数を距離の関数として表している。
例えば、上記の条件を満たすコードとして、図１０の上側に示されるように、基本コードＡと基本コードＢを同じパルス信号に設定することが可能である。すなわち、基本コードＡと基本コードＢを同じパルス幅及び位相のパルスを含む信号に設定することが可能である。また、例えば、図１０の下側に示されるように、基本コードＡと基本コードＢを、同じ値の疑似ランダム系列（例えば、Ｍ系列）に設定することが可能である。
なお、以下、基本コードＡと基本コードＢを同じパルス信号に設定する場合を例に挙げて説明する。従って、基本コードＡと基本コードＢは同じコードなので、以下、単に基本コードと称する。また、以下、基本コードのパルス幅Ｔを、撮像装置１１のクロック信号の１ビット分の幅とする。さらに、以下、基本コードを参照コードに用い、単位コードを重み付け加算したコードを照射コードに用いる場合について説明する。
例えば、単位コードの位相が基本コードと一致する場合、すなわち、単位コードが基本コードと一致する場合、参照コード（＝基本コード）と単位コードの相関関数の波形は、図９に示される波形と同じ波形になる。一方、基本コードに対して単位コードの位相をずらした場合、参照コードと単位コードの相関関数の波形は、単位コードの位相をずらした分だけシフトする。また、単位コードに重みｗを乗じると、参照コードと単位コードの相関関数の波形のピークが、重みｗに応じて増減する。
図１１Ａ及び図１１Ｂは、基本コードに対して位相をｉビット（ｉ＝０，１，２，・・・，ｎ）ずつシフトした単位コードを、重みｗi（ｉ＝０，１，２，・・・，ｎ）を用いて重み付け加算した照射コードを用いた場合の参照信号と照射信号の相関関数の例を示している。
なお、図１１Ａ及び図１１Ｂの横軸は、距離を示し、縦軸は、相関係数を示している。ここで、照射信号と参照信号の相関関数は、例えば位相差Δｔの関数として与えられるが、ここでは、位相差Δｔを距離ｄ（＝ｃ×Δｔ／２）に換算することにより、相関関数を距離の関数として表している。
図１１Ａは、ｗ0＞ｗ1＞ｗ2＞・・・ｗn-1＞ｗn＝０となるように重みｗiを設定した場合の、参照信号と照射信号の相関関数ｈａ（ｄ）を示している。図内の点線で示される三角形の各波形は、参照コードと各位相の単位コードとの相関関数の波形を示している。そして、各波形のピークを結ぶことにより、実線の波形で示される相関関数ｈａ（ｄ）が近似される。相関関数ｈａ（ｄ）は、距離が０のときピークとなり、距離がｄｍａｘまでの測距範囲において、距離が遠くなるにつれて減少する単調減少関数となる。なお、距離ｄｍａｘ＝ｃ×ｎＴ／２となる。
図１１Ｂは、ｗ0＝０＜ｗ1＜ｗ2＜・・・ｗn-1＜ｗnとなるように重みｗiを設定した場合の、参照信号と照射信号の相関関数ｈｂ（ｄ）を示している。図内の点線で示される三角形の各波形は、参照コードと各単位コードとの相関関数の波形を示している。そして、各波形のピークを結ぶことにより、実線の波形で示される相関関数ｈｂ（ｄ）が近似される。相関関数ｈｂ（ｄ）は、距離が０のとき０となり、距離がｄｍａｘまでの測距範囲において、距離が遠くなるにつれて増加する単調増加関数となる。
なお、以下、相関関数ｈａ（ｄ）に対する重みｗiと相関関数ｈｂ（ｄ）に対する重みｗiとを区別する場合、前者を重みｗａiとし、後者を重みｗｂiとする。
ここで、測距範囲内において、相関関数ｈａ（ｄ）＋相関関数ｈｂ（ｄ）の値が一定になるように、重みｗａi＋重みｗｂiが一定の値に設定される。従って、測距範囲に対応する位相の範囲内において、相関関数ｈａ（ｄ）＋相関関数ｈｂ（ｄ）の値が一定になる。
なお、図１１は、相関関数ｈｂ（ｄ）及びｈａ（ｄ）が次式（２）及び（３）の関数になるように、重みｗｂi及び重みｗａiを設定した場合の例を示している。
Figure 2017146155
従って、相関関数ｈａ（ｄ）及びｈｂ（ｄ）は、測距範囲内において非線形であり、距離ｄが近くなるほど傾きが急峻になり（傾きの絶対値が大きくなり）、距離ｄが遠くなるほど傾きが緩やかになる（傾きの絶対値が小さくなる）。
ここで、相関関数ｈａ（ｄ）に対応する参照信号及び照射信号を用いた場合の画素信号をＳａとすると、上述したように、画素信号Ｓａの波形は、相関関数ｈａ（ｄ）の波形と類似する。また、相関関数ｈｂ（ｄ）に対応する参照信号及び照射信号を用いた場合の画素信号をＳｂとすると、上述したように、画素信号Ｓｂの波形は、相関関数ｈｂ（ｄ）の波形と類似する。そして、被写体までの距離ｄは、次式（４）に示されるように、画素信号Ｓａと画素信号Ｓｂの和に占める画素信号Ｓｂの比率の二乗に距離ｄｍａｘを乗じた値に基づいて求められる。
Figure 2017146155
そして、例えば、信号処理回路４３は、式（４）に基づく距離画素信号を画素毎に生成し、距離画素信号からなる距離画像を生成する。
ここで、上述したように、相関関数ｈａ（ｄ）及びｈｂ（ｄ）の傾きは、距離ｄが近くなるほど急峻になり、距離ｄが遠くなるほど緩やかになる。従って、被写体までの距離ｄが近いほど測距精度が高くなり、被写体までの距離ｄが遠くなるほど測距精度が低くなる。
次に、図１２乃至図１５を参照して、単位コードの重み付け加算の方法について説明する。
例えば、参照信号と照射信号の相関関数を、図１２に示される相関関数に設定する場合の例について説明する。この例では、重みｗ0＝８に設定し、重みｗ1＝４に設定し、重みｗ2＝２に設定し、重みｗ3＝１に設定した場合の相関関数の例が示されている。
この相関関数は、例えば、照射コードｃを、次式（５）に示されるように、図１３の単位コードｕ0乃至ｕ3を重み付け加算することにより得られる。
ｃ＝ｗ0×ｕ0＋ｗ1×ｕ1＋ｗ2×ｕ2＋ｗ3×ｕ3 ・・・（５）
なお、単位コードｕ0は、基本コードと位相が同じコードである。単位コードｕ1乃至ｕ3は、それぞれ基本コードの位相を１ビット、２ビット、３ビット分だけ進めたコードである。
なお、式（５）の重み付け加算は、例えば、値方向に加算することにより実現してもよいし、時間方向に加算することにより実現してもよい。
図１４は、値方向に重み付け加算した場合の照射信号（照射コード）の波形の例を示している。この照射信号の値は、１ビット目が単位コードｕ3と等しくなり、２ビット目が単位コードｕ2の２倍になり、３ビット目が単位コードｕ1の４倍になり、４ビット目が単位コードｕ0の８倍になる。すなわち、照射信号の各ビットの値の比率が、各単位コードに対する重みの比率と等しくなる。
そして、例えば、照射信号の値に従って、光源３２から発せられる照射光の強さが制御される。例えば、重みｗi＝１の場合の照射光の強さを基準にした場合、照射光の強さは、照射コードの１ビット目に基準の１倍に設定され、２ビット目に基準の２倍に設定され、３ビット目に基準の４倍に設定され、４ビット目に基準の８倍に設定される。
この照射光の強さの制御は、例えば、光源３２の明るさを制御することにより実現してもよいし、複数の光源３２を設けて、点灯する光源３２の数を制御することにより実現してもよい。
一方、図１５は、時間方向に重み付け加算した場合の照射信号（照射コード）の波形を示している。この照射信号においては、期間Ｔ１において、単位コードｕ0が時間方向に８個インタリーブされる。次の期間Ｔ２において、単位コードｕ1が時間方向に４個インタリーブされる。次の期間Ｔ３において、単位コードｕ2が時間方向に２個インタリーブされる。次の期間Ｔ４において、単位コードｕ3が１個インタリーブされる。これにより、期間Ｔ１乃至Ｔ４を１フレームとすると、１フレーム内の単位コードｕ0乃至ｕ3の個数の比率が、各単位コードに対する重みの比率と等しくなる。
図１６は、図１５の照射信号を参照信号と比較した図である。
この例では、参照信号においては、基本コード（＝単位コードｕ0）が繰り返しインタリーブされている。従って、期間Ｔ１において、参照信号と照射信号のパルスの位相が等しくなる。期間Ｔ２において、照射信号のパルスが参照信号のパルスより１ビット進む。期間Ｔ３において、照射信号のパルスが参照信号のパルスより２ビット進む。期間Ｔ４において、照射信号のパルスが参照信号のパルスより３ビット進む。
なお、例えば、図１５の期間Ｔ１乃至Ｔ４のコードを１セットとし、１フレーム内にそのセットを複数並べることにより、照射コードを生成するようにしてもよい。
また、単位コードは、必ずしも位相順に並べる必要はなく、１フレーム内の各単位コードの個数の比率が、各単位コードに対する重みの比率と等しければ、任意の順序で並べることが可能である。
さらに、基本コードがＭ系列等の複数のパルスからなる場合も、上述した方法と同様にして、値方向又は時間方向に重み付け加算することが可能である。
また、複数の光源３２を設ける場合、例えば、各光源３２をそれぞれ位相が異なる単位コードに対応させ、対応する単位コードに従って各光源３２を同時に点滅させるようにしてもよい。これにより、図１５及び図１６のように単位コードを時間方向にインタリーブせずに、同じタイムスロット内に位相が異なる複数の単位コードを重畳することが可能になる。
＜２．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上の説明では、参照コードの位相を固定したまま、位相が異なる単位コードを重畳して照射コードを生成する例を示したが、例えば、照射コードの位相を固定したまま、位相が異なる単位コードを重畳して参照コードを生成するようにしてもよい。
ここで、図１７乃至図１９を参照して、照射コードの位相を固定したまま、位相が異なる単位コードを重畳して参照コードを生成する場合の例について説明する。具体的には、参照信号と照射信号の相関関数を、上述した図１２に示される相関関数に設定する場合の例について説明する。
この相関関数は、例えば、参照コードｃを、次式（６）に示されるように、図１７の単位コードｕ0乃至ｕ3を重み付け加算することにより得られる。
ｃ＝ｗ0×ｕ0＋ｗ1×ｕ1＋ｗ2×ｕ2＋ｗ3×ｕ3 ・・・（６）
なお、単位コードｕ0は、基本コードと位相が同じコードである。単位コードｕ1乃至ｕ3は、それぞれ基本コードの位相を１ビット、２ビット、３ビット分だけ遅延させたコードである。
なお、式（６）の重み付け加算は、例えば、図１８に示されるように、時間方向に加算することにより実現される。
図１８の照射信号においては、期間Ｔ１において、単位コードｕ0が時間方向に８個インタリーブされる。次の期間Ｔ２において、単位コードｕ1が時間方向に４個インタリーブされる。次の期間Ｔ３において、単位コードｕ2が時間方向に２個インタリーブされる。次の期間Ｔ４において、単位コードｕ3が１個インタリーブされる。これにより、期間Ｔ１乃至Ｔ４を１フレームとすると、１フレーム内の単位コードｕ0乃至ｕ3の個数の比率が、各単位コードに対する重みの比率と等しくなる。
図１９は、図１８の参照信号を照射信号と比較した図である。
この例では、照射信号においては、基本コード（＝単位コードｕ0）が繰り返しインタリーブされている。従って、期間Ｔ１において、参照信号と照射信号のパルスの位相が等しくなる。期間Ｔ２において、参照信号のパルスが照射信号のパルスより１ビット遅延する。期間Ｔ３において、参照信号のパルスが照射信号のパルスより２ビット遅延する。期間Ｔ４において、参照信号のパルスが照射信号のパルスより３ビット遅延する。
なお、照射コードの場合と同様に、例えば、図１８の期間Ｔ１乃至Ｔ４のコードを１セットとし、１フレーム内にそのセットを複数並べることにより、参照コードを生成するようにしてもよい。
また、単位コードは、必ずしも位相順に並べる必要はなく、１フレーム内の各単位コードの個数の比率が、各単位コードに対する重みの比率と等しければ、任意の順序で並べることが可能である。
さらに、基本コードがＭ系列等の複数のパルスからなる場合も、上述した方法と同様にして、時間方向に重み付け加算することが可能である。
また、例えば、参照コード及び照射コードの両方を、位相の異なる単位コードを重畳して生成するようにしてもよい。
さらに、以上の説明では、参照コードの基本コードと照射コードの基本コードを同じコードにする例を示したが、図９を参照して上述した条件を満たしていれば、必ずしも同じコードにしなくてもよい。
また、以上の説明では、照射コードを１と０の２値からなるコードとしたが、３値以上からなるコードとしてもよい。
さらに、制御部２３は、重みｗａi及びｗｂiを制御し、参照信号と照射信号の相関関数の傾きを制御することにより、測距精度を自由に制御することが可能である。例えば、距離が遠くなるほど相関関数の傾きを急峻にし、距離が近くなるほど相関関数の傾きを緩やかにすることにより、距離が遠くなるほど測距精度を高くし、距離が近くなるほど測距精度を低くすることができる。さらに、例えば、所望の距離の範囲内の相関関数の傾きを急峻にすることにより、所望の距離の範囲内の測距精度を高くすることもできる。また、例えば、相関関数の傾きが急峻になる範囲を複数設けることにより、所望の複数の距離の範囲内の測距精度を高くすることもできる。
さらに、以上の説明では、単位コード間の位相差を同じにする例を示したが、必ずしも単位コード間の位相差は同じにしなくてもよい。
また、例えば、図２０に示されるように、２組の相関関数を用いて、被写体の距離を測定するようにしてもよい。
例えば、１回目の測定時に、図２０Ａの相関関数ｈａ１（ｄ）に対応する照射信号と参照信号、及び、図２０Ｂの相関関数ｈｂ１（ｄ）に対応する照射信号と参照信号を用い、２回目の測定時に、図２０Ａの相関関数ｈａ２（ｄ）に対応する照射信号と参照信号、及び、図２０Ｂの相関関数ｈｂ２（ｄ）に対応する照射信号と参照信号を用いて、被写体の距離を測定するようにしてもよい。
具体的には、相関関数ｈａ１（ｄ）は、コサイン波に近い形状の波形で、周期が距離ｄｍａｘ／２の関数である。相関関数ｈｂ１（ｄ）は、コサイン波の位相をπラジアンだけ遅延させた波形に近い形状の波形で、周期が距離ｄｍａｘ／２の関数である。また、距離０から距離ｄｍａｘの測距範囲内において、ｈａ１（ｄ）＋ｈｂ１（ｄ）が一定になる。
そして、相関関数ｈａ１（ｄ）に対応する照射信号と参照信号を用いた場合の画素信号をＳａ１とし、相関関数ｈｂ１（ｄ）に対応する照射信号と参照信号を用いた場合の画素信号をＳｂ１とすると、１回目の測定で、次式（７）を満たす測定値ｖ１（を示す距離画素信号）が得られる。
Figure 2017146155
すなわち、測定値ｖ１は、画素信号Ｓａ１と画素信号Ｓｂ１の和に占める画素信号Ｓｂ１の比率に比例する。
一方、相関関数ｈａ２（ｄ）は、測距範囲内において単調減少関数であり、相関関数ｈｂ２（ｄ）は、測距範囲内において単調増加関数である。また、測距範囲内において、ｈａ２（ｄ）＋ｈｂ２（ｄ）が一定になる。さらに、相関関数ｈａ２（ｄ）の傾きは、相関関数ｈａ１（ｄ）の正又は負のピーク付近で相関関数ｈａ１（ｄ）の傾きが緩やかになる範囲において急峻になり、それ以外の範囲においてほぼ０に近い負の値となる。一方、相関関数ｈｂ２（ｄ）の傾きは、相関関数ｈｂ１（ｄ）の正又は負のピーク付近で相関関数ｈｂ１（ｄ）の傾きが緩やかになる範囲において急峻になり、それ以外の範囲においてほぼ０に近い正の値となる。
そして、相関関数ｈａ２（ｄ）に対応する照射信号と参照信号を用いた場合の画素信号をＳａ２とし、相関関数ｈｂ２（ｄ）に対応する照射信号と参照信号を用いた場合の画素信号をＳｂ２とすると、２回目の測定で、次式（８）を満たす測定値ｖ２（を示す距離画素信号）が得られる。
Figure 2017146155
すなわち、測定値ｖ２は、画素信号Ｓａ２と画素信号Ｓｂ２の和に占める画素信号Ｓｂ２の比率に比例する。
ここで、相関関数ｈａ１（ｄ）及びｈｂ１（ｄ）は、相関関数ｈａ２（ｄ）及びｈｂ２（ｄ）と比較して、周期が短く、測距範囲内のほとんどにおいて傾きが急峻である。従って、測定値ｖ１を用いた場合、測定値ｖ２を用いた場合と比較して、測距範囲の大部分において測距精度が高くなる。一方、相関関数ｈａ１（ｄ）及びｈｂ１（ｄ）は、測距範囲内において異なる距離で相関係数が等しくなる場合があり、測定値ｖ１を用いた場合、被写体までの距離が一意に定まらず、複数の距離が候補となる場合がある。
一方、相関関数ｈａ２（ｄ）及びｈｂ２（ｄ）は、相関関数ｈａ１（ｄ）及びｈｂ１（ｄ）と比較して、周期が長く、測距範囲内のほとんどにおいて傾きが緩やかである。従って、測定値ｖ２を用いた場合、測定値ｖ１を用いた場合と比較して、測距範囲の大部分において測距精度が低くなる。ただし、相関関数ｈａ１（ｄ）及びｈｂ１（ｄ）の傾きがほぼ０になる範囲において、相関関数ｈａ２（ｄ）及びｈｂ２（ｄ）の傾きが急峻になるため、当該範囲においては、測定値ｖ２を用いることにより、測距精度が高くなる。また、相関関数ｈａ２（ｄ）及びｈｂ２（ｄ）は、測距範囲内において単調減少又は単調増加するため、測定値ｖ２を用いた場合、被写体までの距離が一意に定まる。
従って、測定値ｖ１を用いて求めた距離、及び、測定値ｖ２を用いて求めた距離に基づいて、被写体までの距離を一意に求めることができる。また、例えば、相関関数ｈａ１（ｄ）及びｈｂ１（ｄ）の傾きが、相関関数ｈａ２（ｄ）及びｈｂ２（ｄ）の傾きより急峻な範囲では、測定値ｖ１を用いて求めた距離を採用し、それ以外の範囲では、測定値ｖ２を用いて求めた距離を採用することにより、測距精度をより高めることができる。
また、上述した撮像素子４２の構成例はその一例であり、参照信号と受信光との相関を示す画素信号を出力可能な任意の構成の撮像素子を採用することが可能である。
さらに、例えば、信号処理回路４３の一部又は全部を撮像素子４２に設けたり、撮像素子４２の信号処理部１０８の一部又は全部を信号処理回路４３に設けたりするようにしてもよい。
＜３．撮像装置の使用例＞
図２１は、上述の撮像装置１１の使用例を示す図である。
上述した撮像装置１１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は以下のような構成も取ることができる。
（１）
照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御する制御部と、
光電変換素子を備え、前記光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との第１の比率に基づいて、被写体までの距離に基づく距離画素信号を生成する撮像部と
を備え、
所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定である
撮像装置。
（２）
前記照射コード及び前記参照コードのうちいずれか一方のコードが、他方のコードとの相互相関がインパルス状になる基本コードの位相を異なるシフト量だけシフトした複数の単位コードを重み付け加算したコードであり、
前記第１の組み合わせにおける前記一方のコードは、複数の前記単位コードを第１の重みを用いて重み付け加算したコードであり、
前記第２の組み合わせにおける前記一方のコードは、複数の前記単位コードを第２の重みを用いて重み付け加算したコードである
前記（１）に記載の撮像装置。
（３）
前記制御部は、前記第１の重み及び前記第２の重みを制御可能である
前記（２）に記載の撮像装置。
（４）
前記所定の位相の範囲内において、前記第１の相関関数及び前記第２の相関関数のうち一方が単調増加関数であり、他方が単調減少関数である
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記撮像部は、前記第１の比率に加えて、第３の組み合わせの前記照射信号と前記参照信号を用いた場合の第３の画素信号と、第４の組み合わせの前記照射信号と前記参照信号を用いた場合の第４の画素信号との第２の比率に基づいて、前記距離画素信号を生成し、
前記所定の位相の範囲内において、前記第３の組み合わせにおける前記照射信号と前記参照信号との相関を示す第３の相関関数、及び、前記第４の組み合わせにおける前記照射信号と前記参照信号との相関を示す第４の相関関数が非線形であり、各位相における前記第３の相関関数と前記第４の相関関数との和がほぼ一定である
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記第１の相関関数及び前記第２の相関関数の周期と、前記第３の相関関数及び前記第４の相関関数の周期とが異なり、
前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより急峻な範囲、並びに、前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより緩やかな範囲が存在する
前記（５）に記載の撮像装置。
（７）
照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御し、
光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との比率に基づいて、被写体までの距離に基づく距離画素信号を生成するとともに、
所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定である
撮像制御方法。
１１ 撮像装置， ２１ 照明部， ２２ 撮像部， ２３ 制御部， ３１ 照明制御部， ３２ 光源， ４２ 撮像素子， ４３ 信号処理回路， １０１ 画素アレイ部， １０２ 垂直駆動部， １０３ カラム処理部， １０４ 水平駆動部， １０５ システム制御部， １０８ 信号処理部， １６１ 光電変換素子， １６２ａ，１６２ｂ 転送ゲート， １６３ａ，１６３ｂ ＦＤ， １６４ａ，１６４ｂ リセットトランジスタ， １６５ 選択トランジスタ， １６６ａ，１６６ｂ 増幅トランジスタ

Claims (7)

  1. 照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御する制御部と、
    光電変換素子を備え、前記光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との第１の比率に基づいて、被写体までの距離に基づく距離画素信号を生成する撮像部と
    を備え、
    所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定である
    撮像装置。
  2. 前記照射コード及び前記参照コードのうちいずれか一方のコードが、他方のコードとの相互相関がインパルス状になる基本コードの位相を異なるシフト量だけシフトした複数の単位コードを重み付け加算したコードであり、
    前記第１の組み合わせにおける前記一方のコードは、複数の前記単位コードを第１の重みを用いて重み付け加算したコードであり、
    前記第２の組み合わせにおける前記一方のコードは、複数の前記単位コードを第２の重みを用いて重み付け加算したコードである
    請求項１に記載の撮像装置。
  3. 前記制御部は、前記第１の重み及び前記第２の重みを制御可能である
    請求項２に記載の撮像装置。
  4. 前記所定の位相の範囲内において、前記第１の相関関数及び前記第２の相関関数のうち一方が単調増加関数であり、他方が単調減少関数である
    請求項１に記載の撮像装置。
  5. 前記撮像部は、前記第１の比率に加えて、第３の組み合わせの前記照射信号と前記参照信号を用いた場合の第３の画素信号と、第４の組み合わせの前記照射信号と前記参照信号を用いた場合の第４の画素信号との第２の比率に基づいて、前記距離画素信号を生成し、
    前記所定の位相の範囲内において、前記第３の組み合わせにおける前記照射信号と前記参照信号との相関を示す第３の相関関数、及び、前記第４の組み合わせにおける前記照射信号と前記参照信号との相関を示す第４の相関関数が非線形であり、各位相における前記第３の相関関数と前記第４の相関関数との和がほぼ一定である
    請求項１に記載の撮像装置。
  6. 前記第１の相関関数及び前記第２の相関関数の周期と、前記第３の相関関数及び前記第４の相関関数の周期とが異なり、
    前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより急峻な範囲、並びに、前記第１の相関関数及び前記第２の相関関数の傾きが、前記第３の相関関数及び前記第４の相関関数の傾きより緩やかな範囲が存在する
    請求項５に記載の撮像装置。
  7. 照射光を照射するパターンの制御に用いる照射コードを含む照射信号、及び、前記照射光の反射光を含む受信光との相関の検出に用いるパターンを示す参照コードを含む参照信号の出力を制御し、
    光電変換素子に入射する前記受信光と前記参照信号との相関を示す画素信号を生成し、第１の組み合わせの前記照射信号と前記参照信号を用いた場合の第１の画素信号と、第２の組み合わせの前記照射信号と前記参照信号を用いた場合の第２の画素信号との比率に基づいて、被写体までの距離に基づく距離画素信号を生成するとともに、
    所定の位相の範囲内において、前記第１の組み合わせにおける前記照射信号と前記参照信号との相関を示す第１の相関関数、及び、前記第２の組み合わせにおける前記照射信号と前記参照信号との相関を示す第２の相関関数が非線形であり、各位相における前記第１の相関関数と前記第２の相関関数との和がほぼ一定である
    撮像制御方法。
JP2016026944A 2016-02-16 2016-02-16 撮像装置及び撮像制御方法 Pending JP2017146155A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016026944A JP2017146155A (ja) 2016-02-16 2016-02-16 撮像装置及び撮像制御方法
PCT/JP2017/003732 WO2017141715A1 (ja) 2016-02-16 2017-02-02 撮像装置及び撮像制御方法
US15/578,364 US10816667B2 (en) 2016-02-16 2017-02-02 Imaging apparatus and imaging control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016026944A JP2017146155A (ja) 2016-02-16 2016-02-16 撮像装置及び撮像制御方法

Publications (1)

Publication Number Publication Date
JP2017146155A true JP2017146155A (ja) 2017-08-24

Family

ID=59625733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016026944A Pending JP2017146155A (ja) 2016-02-16 2016-02-16 撮像装置及び撮像制御方法

Country Status (3)

Country Link
US (1) US10816667B2 (ja)
JP (1) JP2017146155A (ja)
WO (1) WO2017141715A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022534629A (ja) * 2019-03-21 2022-08-03 京東方科技集團股▲ふん▼有限公司 表示装置、電子デバイス及び表示装置の駆動方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11796677B2 (en) * 2018-07-19 2023-10-24 Silc Technologies, Inc. Optical sensor system
US11205279B2 (en) * 2019-12-13 2021-12-21 Sony Semiconductor Solutions Corporation Imaging devices and decoding methods thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3090806B2 (ja) 1993-02-08 2000-09-25 三菱プレシジョン株式会社 車両識別装置
JP2007170856A (ja) * 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
WO2014119241A1 (ja) * 2013-01-31 2014-08-07 パナソニック株式会社 測距方法および測距システム
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
JP6386798B2 (ja) 2014-06-09 2018-09-05 浜松ホトニクス株式会社 測距装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022534629A (ja) * 2019-03-21 2022-08-03 京東方科技集團股▲ふん▼有限公司 表示装置、電子デバイス及び表示装置の駆動方法
JP7244518B2 (ja) 2019-03-21 2023-03-22 京東方科技集團股▲ふん▼有限公司 表示装置、電子デバイス及び表示装置の駆動方法

Also Published As

Publication number Publication date
US10816667B2 (en) 2020-10-27
US20180149752A1 (en) 2018-05-31
WO2017141715A1 (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
US20200059615A1 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP6799538B2 (ja) 固体撮像装置の駆動方法
WO2017141715A1 (ja) 撮像装置及び撮像制御方法
US20140198183A1 (en) Sensing pixel and image sensor including same
WO2017169885A1 (ja) 撮像装置、駆動方法、および、電子機器
TW201114251A (en) Image taking device and camera system
JP2011205512A5 (ja)
KR101020999B1 (ko) 촬영 장치 및 이의 영상 제어방법
CN110024375B (zh) 固态摄像装置和测距摄像装置
CN110389351B (zh) Tof距离传感器、传感阵列及基于tof距离传感器的测距方法
US10230874B2 (en) Imaging device and imaging control method
JP7096658B2 (ja) 固体撮像素子及び撮像装置
JP6025081B2 (ja) 距離画像センサ
JP6716902B2 (ja) 電子機器
US20190361123A1 (en) Tof range finder
US11741622B2 (en) Imaging devices and multiple camera interference rejection
US9258502B2 (en) Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor
JP6735515B2 (ja) 固体撮像装置
JP2012523692A (ja) 赤外線検出器
CN109709531A (zh) 光传感器、距离测量装置及电子设备
WO2020184028A1 (ja) 測距装置
JP2008008687A (ja) 距離測定システム及び距離測定方法
JP5578045B2 (ja) 検出装置、センサーデバイス及び電子機器
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
WO2017169821A1 (ja) 固体撮像装置、信号処理方法、および電子機器