JP2018066701A - 測距装置、および、測距装置の制御方法 - Google Patents

測距装置、および、測距装置の制御方法 Download PDF

Info

Publication number
JP2018066701A
JP2018066701A JP2016206912A JP2016206912A JP2018066701A JP 2018066701 A JP2018066701 A JP 2018066701A JP 2016206912 A JP2016206912 A JP 2016206912A JP 2016206912 A JP2016206912 A JP 2016206912A JP 2018066701 A JP2018066701 A JP 2018066701A
Authority
JP
Japan
Prior art keywords
data
distance
resolution
unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016206912A
Other languages
English (en)
Other versions
JP2018066701A5 (ja
JP6817780B2 (ja
Inventor
大木　光晴
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2016206912A priority Critical patent/JP6817780B2/ja
Priority to US16/334,538 priority patent/US11454723B2/en
Priority to PCT/JP2017/031939 priority patent/WO2018074085A1/ja
Publication of JP2018066701A publication Critical patent/JP2018066701A/ja
Publication of JP2018066701A5 publication Critical patent/JP2018066701A5/ja
Application granted granted Critical
Publication of JP6817780B2 publication Critical patent/JP6817780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

【課題】光の位相差から距離を測定する装置において、アップサンプリングを正確に行う。【解決手段】連続光受光部には、連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックが配置される。間欠光受光部には、間欠光の受光量を示す間欠光受光データを生成する間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けられる。測距部は、画素ブロックごとの前記連続光受光データの平均値と連続光受光データと間欠光受光データとを用いて複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する。【選択図】図２

Description

本技術は、測距装置、および、測距装置の制御方法に関する。詳しくは、光の位相差から距離を測定する測距装置、および、測距装置の制御方法に関する。
測距センサのひとつとして、ＴｏＦ（Time of Flight）と呼ばれる方式がある。ＴｏＦでは、装置が、サイン波や矩形波の照射光をエミッタから発光し、対象物に当たり反射してきた反射光をセンサで受光することで測距を行う。
受光するセンサ（ＴｏＦセンサ）は、２次元アレイ状に配置された画素より構成される。これらの各画素は、受光素子を有し、光を取り込むことができる。より詳細に述べると、各画素は、照射光の位相に対して、所定のＲ度からＲ＋１８０度までに、その画素に到達する反射光の総量（光量）を露光する構成となっている。通常、ＴｏＦセンサは、Ｒを０、１８０、９０、２７０度として受光を行う。それぞれのＲにおいて受光された光量（正確には、受光された光量を光電変換した電荷量）をＱ１、Ｑ２、Ｑ３、Ｑ４とする。これらの測定された４つの電荷信号（Ｑ１乃至Ｑ４）から所定の計算により距離Ｄを求めることが出来る。
ＴｏＦセンサは構造が複雑なため、画素サイズが大きい。従って、通常の固体撮像素子の画素数は数メガピクセルもあるのに対し、ＴｏＦセンサの画素数は、例えば、ＶＧＡサイズ程度である。
また、ＴｏＦセンサは、通常の固体撮像素子と併設して使用されることが多い。そこで、通常の固体撮像素子の画像データをヒントとして使い、ＴｏＦセンサから得られる低解像度の距離データを、アップサンプリングして、高解像度の距離データに変換する方法が提案されている（例えば、非特許文献１参照。）。
このアップサンプリングについて図１２や図１０を用いて説明する。ＴｏＦセンサおよび通常の固体撮像素子は２次元的な測距および撮影をするが、説明の便宜上、図１２では画素位置を１次元的に図示している。ここでは、通常のイメージセンサとして、モノクロ画像データを撮像する固体撮像素子を用いている。すなわち、図１０に示すように、ＴｏＦセンサ２００と固体撮像素子１３０とが併設されており、物体表面を測距および撮影をしているとする。
ＴｏＦセンサ２００は画素数が少ないので、測距する方向は、図１０の実線（５１１など）である。一方、白黒イメージセンサ２００は画素数が多いので、撮影する方向は、実線よりも多い、点線（５０１乃至５０５など）となる。ここでは図を簡略化するため、ＴｏＦセンサ２００の画素数は４個、白黒イメージセンサ２００の画素数は２１個としている。各点線および実線が画素に対応している。
従来のアップサンプリングでは、点線の方向を撮影した２１画素より成る画像データをヒントに、実線の方向を測距した４画素より成る距離データをアップサンプリングして２１画素の距離データを作成している。
図１０から分かるように、実線５１１と点線５０１乃至５０５は物体表面の同じ位置を測距および撮影している。そこで、図１２におけるｄに示すように、実線５１１の方向の画素が測距した距離データと、それぞれに対応する点線５０１乃至５０５のそれぞれの方向の画素が撮影した輝度データとの関係を用いて、距離データのアップサンプリングが行われる。その結果、図１２におけるｃの２１個の距離データを得ることが出来る。このような対応関係（図１２におけるｄの対応関係）を用いて従来のアップサンプリングが行われていた。
D.Chan et al., A Noise-Aware Filter for Real-Time Depth Upsampling, ECCV Workshops 2008.
図１２におけるｄに例示するように、従来技術では、ＴｏＦセンサ２００の１画素が、対応する固体撮像素子の１画素に係る物体上の位置までの距離をピンポイントに測距するものと想定して、アップサンプリングを行っている。しかしながら、ＴｏＦセンサ２００の実際の画素は、ある程度の大きさを持っている。従って、各画素が測距する物体表面の位置はピンポイントではなく、ある面積を持った領域の平均的な距離を測定していることになる。このため、従来技術では、正確なアップサンプリングを行うことができないという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、光の位相差から距離を測定する装置において、アップサンプリングを正確に行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、間欠光の受光量を示す間欠光受光データを生成する間欠光画素を上記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、上記画素ブロックごとの上記連続光受光データの平均値と上記連続光受光データと上記間欠光受光データとを用いて上記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部とを具備する測距装置、および、その制御方法である。これにより、画素ブロックごとの連続光受光データの平均値と連続光受光データと間欠光受光データとから、高解像度距離データが生成されるという作用をもたらす。
また、この第１の側面において、上記測距部は、所定のフィルタと、上記画素ブロックごとに上記平均値を演算して上記所定のフィルタに入力する平均演算部とを備えてもよい。これにより、所定のフィルタによって高解像度の距離データが生成されるという作用をもたらす。
また、この第１の側面において、上記所定のフィルタは、クロスバイラテラルフィルタであってもよい。これにより、クロスバイラテラルフィルタによって高解像度の距離データが生成されるという作用をもたらす。
また、この第１の側面において、上記測距部は、上記間欠光受光データに基づいて上記間欠光画素ごとに距離データを低解像度距離データとして生成して上記所定のフィルタに入力する低解像度距離データ生成部をさらに備え、上記所定のフィルタは、上記低解像度距離データと上記平均値と上記連続光受光データとから上記高解像度距離データを生成してもよい。これにより、低解像度距離データと平均値と連続光受光データとから高解像度の距離データが生成されるという作用をもたらす。
また、この第１の側面において、上記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、上記測距部は、上記間欠光画素ごとに上記第１および第２の低解像度電荷信号の差分データと上記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して上記所定のフィルタに入力する差分データ生成部と、上記連続光画素ごとに高解像度差分データを上記高解像度距離データに変換する高解像度差分データ変換部とをさらに備え、上記所定のフィルタは、上記低解像度差分データと上記平均値と上記連続光受光データとから上記高解像度差分データを生成してもよい。これにより、低解像度差分データと平均値と連続光受光データとから高解像度差分データが生成されるという作用をもたらす。
また、この第１の側面において、上記測距部は、上記画素ブロックごとに上記平均値を演算する平均演算部と上記平均値から所定の関数を回帰分析により求める回帰分析部とを備えてもよい。これにより、回帰分析により所定の関数が求められるという作用をもたらす。
また、この第１の側面において、上記測距部は、上記間欠光受光データに基づいて上記間欠光画素ごとに距離データを低解像度距離データとして生成して上記回帰分析部に入力する低解像度距離データ生成部と、上記連続光受光データを上記所定の関数に入力して上記高解像度距離データを生成する高解像度距離データ生成部とをさらに備え、上記回帰分析部は、上記低解像度距離データと上記平均値との関係を示す関数を上記所定の関数として求めてもよい。これにより、低解像度距離データと平均値との関係を示す関数が求められるという作用をもたらす。
また、この第１の側面において、上記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、上記測距部は、上記間欠光画素ごとに上記第１および第２の低解像度電荷信号の差分データと上記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して上記回帰分析部に入力する差分データ生成部と、上記連続光受光データを上記所定の関数に入力して上記連続光画素ごとに高解像度差分データを生成する高解像度距離データ生成部と上記連続光画素ごとに上記高解像度差分データを上記高解像度距離データに変換する高解像度差分データ変換部とをさらに備え、上記回帰分析部は、上記低解像度差分データと上記平均値との関係を示す関数を上記所定の関数として求めてもよい。これにより、低解像度差分データと平均値との関係を示す関数が求められるという作用をもたらす。
また、本技術の第２の側面は、連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、間欠光の受光量を示す間欠光受光データを生成する間欠光画素を上記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、エネルギー最小化計算により上記間欠光受光データと上記連続光受光データとから上記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部とを具備する測距装置、および、その制御方法である。これにより、エネルギー最小化計算によって高解像度距離データが生成されるという作用をもたらす。
また、この第２の側面において、上記測距部は、上記間欠光受光データに基づいて上記間欠光画素ごとに距離データを低解像度距離データとして生成する低解像度距離データ生成部と、上記画素ブロックごとに上記高解像度距離データの平均値と上記低解像度距離データとの差を最小にする上記エネルギー最小化計算により上記高解像度距離データを生成するエネルギー最小化計算部とを備えてもよい。これにより、画素ブロックごとに高解像度距離データの平均値と低解像度距離データとの差を最小にするエネルギー最小化計算によって高解像度距離データが生成されるという作用をもたらす。
また、この第２の側面において、上記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、上記測距部は、上記間欠光画素ごとに上記第１および第２の低解像度電荷信号の差分データと上記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成する差分データ生成部と、上記画素ブロックごとに高解像度差分データの平均値と上記低解像度差分データとの差を最小にする上記エネルギー最小化計算により上記高解像度差分データを生成するエネルギー最小化計算部と、上記連続光画素ごとに上記高解像度差分データを上記高解像度距離データに変換する高解像度差分データ変換部とを備えてもよい。これにより、エネルギー最小化計算によって高解像度差分データが生成されるという作用をもたらす。
また、この第２の側面において、上記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、上記距離部は、上記画素ブロックごとに第１、第２、第３および第４の高解像度電荷信号の平均値と第１、第２、第３および第４の低解像度電荷信号との差を最小にする上記エネルギー最小化計算により上記第１、第２、第３および第４の高解像度電荷信号を生成するエネルギー最小化計算部と、上記第１、第２、第３および第４の高解像度電荷信号を上記高解像度距離データに変換する高解像度電荷信号変換部と
を備えてもよい。これにより、エネルギー最小化計算によって第１、第２、第３および第４の高解像度電荷信号が生成されるという作用をもたらす。
本技術によれば、光の位相差から距離を測定する装置において、測距精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における携帯端末機の斜視図の一例である。 本技術の第１の実施の形態における携帯端末機の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＴｏＦセンサの一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子とＴｏＦセンサとのそれぞれの投影面上の画素の位置関係の一例を示す図である。 本技術の第１の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子が受光する連続光の光線とＴｏＦセンサが受光する間欠光の光線との関係の一例を示す図である。 本技術の第１の実施の形態におけるＴｏＦセンサの画素毎の測距範囲の一例を示す図である。 本技術の第１の実施の形態における画素ごとの距離データおよび輝度データの一例を示す図である。 本技術の第１の実施の形態におけるフィルタ処理の一例を示す図である。 本技術の第１の実施の形態における携帯端末機の動作の一例を示すフローチャートである。 本技術の第１の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第２の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第２の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第３の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第３の実施の形態における輝度データと距離データとの関係の一例を示すグラフである。 本技術の第３の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第４の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第４の実施の形態における輝度データと差分データとの関係の一例を示すグラフである。 本技術の第４の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第５の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第５の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第６の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第６の実施の形態における測距処理の一例を示すフローチャートである。 本技術の第７の実施の形態における測距部の一構成例を示すブロック図である。 本技術の第７の実施の形態における測距処理の一例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（平均値と距離データとをフィルタに入力する例）
２．第２の実施の形態（平均値と差分データとをフィルタに入力する例）
３．第３の実施の形態（平均値と距離データとを回帰分析する例）
４．第４の実施の形態（平均値と差分データとを回帰分析する例）
５．第５の実施の形態（距離データについてエネルギー最小化計算を行う例）
６．第６の実施の形態（差分データについてエネルギー最小化計算を行う例）
７．第７の実施の形態（電荷信号についてエネルギー最小化計算を行う例）
８．移動体への応用例
＜１．第１の実施の形態＞
［携帯端末機の構成例］
図１は、本技術の第１の実施の形態における携帯端末機１００の斜視図の一例である。同図は、携帯端末機１００のディスプレイが向いた方向を前方として、その前方に対して斜め後方から見た斜視図である。この携帯端末機１００の背面には、ＴｏＦセンサ２００が設けられる。また、背面において、ＴｏＦセンサ２００の近傍に固体撮像素子１３０が設けられる。携帯端末機１００としては、スマートフォン、タブレット端末やノート型パーソナルコンピュータなどが想定される。なお、携帯端末機１００は、特許請求の範囲に記載の測距装置の一例である。
図２は、本技術の第１の実施の形態における携帯端末機１００の一構成例を示すブロック図である。この携帯端末機１００は、発光部１１０、制御部１２０、ＴｏＦセンサ２００、固体撮像素子１３０、測距部３００および距離データ処理部１４０を備える。
発光部１１０は、周期的に明るさが変動する間欠光を発して物体に照射するものである。この発光部１１０は、例えば、矩形波の発光制御信号ＣＬＫｐに同期して間欠光を発生する。また、例えば、発光部１１０として発光ダイオードが用いられ、間欠光として近赤外光などが用いられる。なお、発光制御信号ＣＬＫｐは、周期信号であれば、矩形波に限定されない。例えば、発光制御信号ＣＬＫｐは、サイン波であってもよい。
制御部１２０は、携帯端末機１００全体を制御するものである。この制御部１２０は、発光制御信号ＣＬＫｐを生成して発光部１１０およびＴｏＦセンサ２００に信号線１２８を介して供給する。この発光制御信号ＣＬＫｐの周波数は、例えば、２０メガヘルツ（ＭＨｚ）である。なお、発光制御信号ＣＬＫｐの周波数は、２０メガヘルツ（ＭＨｚ）に限定されず、５メガヘルツ（ＭＨｚ）などであってもよい。
また、制御部１２０は、発光制御信号ＣＬＫｐより周波数の低い垂直同期信号ＶＳＹＮＣを生成してＴｏＦセンサ２００および固体撮像素子１３０に信号線１２９を介して供給する。例えば、６０ヘルツ（Ｈｚ）の周期信号が垂直同期信号ＶＳＹＮＣとして用いられる。なお、垂直同期信号ＶＳＹＮＣの周波数は、６０ヘルツ（Ｈｚ）に限定されず、３０ヘルツ（Ｈｚ）や１２０ヘルツ（Ｈｚ）であってもよい。
ＴｏＦセンサ２００は、物体の表面で反射した間欠光を光電変換するものである。このＴｏＦセンサ２００には、複数の画素が二次元格子状に配置される。これらの画素は、物体表面で反射した間欠光を受光し、その受光量に応じた受光データを生成して測距部３００に信号線２０９を介して供給する。それぞれの画素の受光データは、電荷信号Ｑ１（u） obs、Ｑ２（u） obs、Ｑ３（u） obsおよびＱ４（u） obsからなる。ここで、添え字のｕは、ＴｏＦセンサ２００における画素位置を示す。なお、ＴｏＦセンサ２００は、特許請求の範囲に記載の間欠光受光部の一例である。また、ＴｏＦセンサ２００における画素は、特許請求の範囲に記載の間欠光画素の一例である。
固体撮像素子１３０は、可視光や赤外光などの連続光を光電変換して画像データを生成するものである。この固体撮像素子１３０には、複数の画素が二次元格子状に配置される。また、固体撮像素子１３０の受光面の面積はＴｏＦセンサ２００と同程度であり、また、画素数はＴｏＦセンサ２００より多いものとする。すなわち、固体撮像素子１３０の画素密度（解像度）は、ＴｏＦセンサ２００より高い。固体撮像素子１３０上の画素のそれぞれは、連続光を受光し、その連続光の受光量に応じた受光データを生成して測距部３００に信号線１３９を介して供給する。それぞれの画素の受光データは、色情報を含まず、輝度データＧ（Ｐ）のみを含む。このため、これらの受光データからなる画像データは、モノクロ画像データとなる。また、添え字のＰは、固体撮像素子１３０における画素位置を示す。なお、固体撮像素子１３０は、特許請求の範囲に記載の連続光受光部の一例である。また、固体撮像素子１３０における画素は、特許請求の範囲に記載の連続光画素である。
測距部３００は、ＴｏＦセンサ２００からの電荷信号と固体撮像素子１３０からの輝度データとに基づいて物体までの距離（言い換えれば、デプス）を測定し、かつ、高解像度化するものである。この測距部３００は、ＴｏＦセンサ２００からの電荷信号を使用して、画素ごとの距離データを配列したデプスマップを生成する。前述したように、ＴｏＦセンサ２００の画素数は、固体撮像素子１３０より少ないため、電荷信号から生成されたデプスマップの解像度は、モノクロ画像データよりも低い。
そして、測距部３００は、モノクロ画像データを用いてデプスマップの解像度を高くする。測距部３００は、解像度を向上させたデプスマップを距離データ処理部１４０に信号線３０９を介して供給する。
距離データ処理部１４０は、デプスマップを用いて所定の処理を実行するものである。例えば、距離に応じた度合いのぼかし処理を行う画像処理や、距離に応じて物体を検出して物体のみを切り抜く処理などが実行される。
なお、発光部１１０、制御部１２０、ＴｏＦセンサ２００、固体撮像素子１３０、測距部３００および距離データ処理部１４０を同一の機器に設けているが、これらを複数の装置や機器に分散して配置してもよい。例えば、固体撮像素子１３０およびＴｏＦセンサ２００を外部のセンサモジュールに配置し、残りをノート型パーソナルコンピュータやタブレット端末に配置してもよい。
［ＴｏＦセンサの構成例］
図３は、第１の実施の形態におけるＴｏＦセンサ２００の一構成例を示すブロック図である。このＴｏＦセンサ２００は、行走査回路２１０と、画素アレイ部２２０と、タイミング制御部２４０と、複数のＡＤ（Analog to Digital）変換部２５０と、列走査回路２６０と信号処理部２７０とを備える。画素アレイ部２２０には、二次元格子状に複数の画素回路２３０が配置される。以下、所定の方向に配列された画素回路２３０の集合を「行」と称し、行に垂直な方向に配列された画素回路２３０の集合を「列」と称する。前述のＡＤ変換部２５０は、列ごとに設けられる。
タイミング制御部２４０は、垂直同期信号ＶＳＹＮＣに同期して行走査回路２１０、ＡＤ変換部２５０および列走査回路２６０を制御するものである。
行走査回路２１０は、発光制御信号ＣＬＫｐに同期して全行を同時に露光させ、露光終了後に行を順に選択して画素信号を出力させるものである。画素回路２３０は、行走査回路２１０の制御に従って反射光を受光し、受光量に応じた電荷信号を出力するものである。
ＡＤ変換部２５０は、対応する列からの電荷信号をＡＤ変換するものである。このＡＤ変換部２５０は、列走査回路２６０の制御に従って、ＡＤ変換した電荷信号を信号処理部２７０に出力する。列走査回路２６０は、ＡＤ変換部２５０を順に選択して電荷信号を出力させるものである。
信号処理部２７０は、電荷信号に対して、所定の信号処理を行うものである。この信号処理部２７０は、信号処理後の電荷信号を測距部３００に供給する。
なお、ＴｏＦセンサ２００には、実際には反射光を集光するためのレンズがさらに設けられるが、このレンズは図２において、記載の便宜上、省略されている。
［画素回路の構成例］
図４は、第１の実施の形態における画素回路２３０の回路の一例を示すブロック図である。この画素回路２３０は、受光素子２３１と、転送スイッチ２３２と、電荷蓄積部２３３および２３４と、選択スイッチ２３５および２３６とを備える。
受光素子２３１は、光を光電変換して電荷を生成するものである。この受光素子２３１として、例えば、フォトダイオードが用いられる。
転送スイッチ２３２は、行走査回路２１０の制御に従って受光素子２３１を電荷蓄積部２３３、電荷蓄積部２３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ２３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。
電荷蓄積部２３３および２３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部２３３および２３４として、例えば、浮遊拡散層が用いられる。
選択スイッチ２３５は、行走査回路２１０の制御に従って、電荷蓄積部２３３とＡＤ変換部２５０との間の線路を開閉するものである。選択スイッチ２３６は、行走査回路２１０の制御に従って、電荷蓄積部２３４とＡＤ変換部２５０との間の線路を開閉するものである。例えば、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ２３５が閉状態に遷移し、行走査回路２１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ２３６が閉状態に遷移する。これらの選択スイッチ２３５および２３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
図５は、第１の実施の形態におけるＱ１Ｑ２検出期間内の画素の露光制御の一例を示すタイミングチャートである。間欠光の照射が開始されると画素回路２３０は、電荷信号Ｑ１（u） obsおよびＱ２（u） obsの生成と、電荷信号Ｑ３（u） obsおよびＱ４（u） obsの生成とを交互に繰り返し行う。以下、電荷信号Ｑ１（u） obsおよびＱ２（u） obsの検出期間を「Ｑ１Ｑ２検出期間」と称し、電荷信号Ｑ３（u） obsおよびＱ４（u） obsの検出期間を「Ｑ３Ｑ４検出期間」と称する。Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。また、Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間からなる期間を以下、「測距期間」と称する。この測距期間は、垂直同期信号ＶＳＹＮＣの２周期分の期間（例えば、１／３０秒）となる。
ここで、電荷信号Ｑ１（u） obs、は、間欠光の発光制御信号ＣＬＫｐの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｑ１をＱ１Ｑ２検出期間に亘って累積したものである。発光制御信号ＣＬＫｐの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量は非常に少なく、検出が困難である。このため、画素回路２３０は、発光制御信号ＣＬＫｐの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２検出期間に亘って、受光量ｑ１のそれぞれを累積し、その総量を示す信号を電荷信号Ｑ１（u） obs、として生成する。また、電荷信号Ｑ２（u） obs、は、１８０度から３６０度までの反射光の受光量ｑ２をＱ１Ｑ２検出期間に亘って累積したものである。
また、電荷信号Ｑ３（u） obs、は、９０度から２７０度までの反射光の受光量ｑ３をＱ３Ｑ４検出期間に亘って累積したものである。また、電荷信号Ｑ４（u） obs、は、２７０度から９０度までの反射光の受光量ｑ４をＱ３Ｑ４検出期間に亘って累積したものである。
これらの電荷信号Ｑ１（u） obs、Ｑ２（u） obs、Ｑ３（u） obsおよびＱ４（u） obsから、携帯端末機１００は、物体までの距離を画素毎に算出することができる。
例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２検出期間において、その期間の電荷信号Ｑ１（u） obsおよびＱ２（u） obsが検出される。まず、行走査回路２１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部２３３および２３４の電荷蓄積量が初期化される。
そして、行走査回路２１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の０度から１８０度までに亘って全行についてハイレベルのＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｑ１が蓄積される。
また、行走査回路２１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の１８０度から３６０度までに亘って全行についてミドルレベルのＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｑ２が蓄積される。
そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ１（u） obsおよびＱ２（u） obsが読み出される。次に、行走査回路２１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して電荷信号を読み出す。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
このように、Ｑ１Ｑ２検出期間において画素回路２３０のそれぞれは、０度から１８０度までの電荷信号Ｑ１（u） obsと、１８０度から３６０度までの電荷信号Ｑ２（u） obsとを生成する。
図６は、第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路２３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４検出期間において、その期間の電荷信号Ｑ３（u） obsおよびＱ４（u） obsが生成される。まず、行走査回路２１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。また、行走査回路２１０は、ローレベルのＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子２３１の電荷を初期化する。
そして、行走査回路２１０は、最初の０度から９０度において、全行についてミドルレベルのＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｑ４が蓄積される。以降において行走査回路２１０は、発光制御信号ＣＬＫｐの周期内の９０度から２７０度までに亘って全行についてハイレベルのＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３３に転送させる。この制御により、電荷蓄積部２３３に受光量ｑ３が蓄積される。
また、行走査回路２１０は、Ｑ３Ｑ４検出期間において、発光制御信号ＣＬＫｐの周期内の２７０度から９０度までに亘って全行についてミドルレベルのＦＤ選択信号ＳＥＬ_ＦＤにより受光素子２３１が生成した電荷を電荷蓄積部２３４に転送させる。この制御により、電荷蓄積部２３４に受光量ｑ４が蓄積される。
そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路２１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の電荷信号Ｑ３（u） obs、およびＱ４（u） obsが読み出される。以下、同様に行走査回路２１０は、行を順に選択して電荷信号を読み出す。
このように、Ｑ３Ｑ４検出期間において画素回路２３０のそれぞれは、９０度から２７０度までの電荷信号Ｑ３（u） obs、と、２７０度から９０度までの電荷信号Ｑ４（u） obs、とを生成する。
［固体撮像素子の構成例］
図７は、本技術の第１の実施の形態における固体撮像素子１３０の一構成例を示すブロック図である。この固体撮像素子１３０は、行走査回路１３１と、画素アレイ部１３２と、タイミング制御部１３５と、複数のＡＤ変換部１３６と、列走査回路１３７と信号処理部１３８とを備える。また、画素アレイ部１３２には、複数の画素回路１３４が二次元格子状に配置される。この固体撮像素子１３０の画素密度は、前述したように、ＴｏＦセンサ２００よりも高く、また、固体撮像素子１３０は、ＴｏＦセンサ２００の近傍に設けられる。このＴｏＦセンサ２００の１画素は、一定の角度範囲内の物体上の面までの平均的な距離を測距している。その１画素が測距する面は、固体撮像素子１３０上の複数の画素により撮像される。このため、ある物体表面の所定の反射位置で反射した間欠光が、ＴｏＦセンサ２００上の１つの画素に入射する場合、その反射位置からの連続光は、固体撮像素子１３０上の複数の画素に入射される。このように、ＴｏＦセンサ２００上の１画素に対応する複数の画素回路１３４からなる領域を以下、画素ブロック１３３と称する。
例えば、ＴｏＦセンサ２００の総画素数をＭ（Ｍは整数）とし、ＴｏＦセンサ２００上の１画素について、固体撮像素子１３０上のＮ（Ｎは２以上の整数）画素が対応する場合について考える。この場合、画素ブロック１３３の個数はＭ個となり、固体撮像素子１３０の総画素数は、Ｎ×Ｍとなる。固体撮像素子１３０においても所定の方向に配列された画素回路１３４の集合を「行」と称し、行に垂直な方向に配列された画素回路１３４の集合を「列」と称する。前述のＡＤ変換部１３６は、列ごとに設けられる。
タイミング制御部１３５は、垂直同期信号ＶＳＹＮＣに同期して行走査回路１３１、ＡＤ変換部１３６および列走査回路１３７を制御するものである。
行走査回路１３１は、行のそれぞれを選択して輝度信号を出力させるものである。画素回路１３４は、行走査回路１３１の制御に従って連続光を受光し、受光量に応じた輝度信号を出力するものである。
ＡＤ変換部１３６は、対応する列からの輝度信号をＡＤ変換するものである。このＡＤ変換部１３６は、列走査回路１３７の制御に従って、ＡＤ変換した輝度信号を輝度データとして信号処理部１３８に出力する。列走査回路１３７は、ＡＤ変換部１３６を順に選択して輝度データを出力させるものである。
信号処理部１３８は、輝度データに対して、ＣＤＳ処理などの信号処理を行うものである。この信号処理部１３８は、信号処理後の輝度データを測距部３００に供給する。
前述したように、ＴｏＦセンサ２００の測距期間は、垂直同期信号ＶＳＹＮＣの２周期分である。ＴｏＦセンサ２００の動作に合わせて、固体撮像素子１３０も、この測距期間（２周期）ごとに１枚のモノクロ画像データを生成するものとする。
図８は、本技術の第１の実施の形態における固体撮像素子１３０とＴｏＦセンサ２００とのそれぞれの投影面上の画素の位置関係の一例を示す図である。
ＴｏＦセンサ２００の光軸中心を原点とした座標系を（Ｘｔ、Ｙｔ、Ｚｔ）とし、固体撮像素子１３０の光軸中心を原点とした座標系を（Ｘｃ、Ｙｃ、Ｚｃ）とする。これらの座標系の一方から他方への変換は、３行３列の回転行列Ｒと、３次元の並進ベクトルＴとにより行われるものとする。これらの回転行列Ｒおよび並進ベクトルＴは、既知の値であり、固体撮像素子１３０とＴｏＦセンサ２００とのそれぞれの光学系の位置関係により一意に決定される。
ここで、ＴｏＦセンサ２００に付随するレンズの焦点距離をＦｔとすると、ＴｏＦセンサ２００の投影面上のＺｔ座標の値は、既知のＦｔとなる。そして、（０、０、Ｆｔ）ｔが、ＴｏＦセンサ２００の投影面の座標系（Ｕｔｘ、Ｕｔｙ）の原点となる。Ｘｔ軸とＵｔｘ軸とは平行である。また、Ｙｔ軸とＵｔｙ軸とが平行である。
また、固体撮像素子１３０に付随するレンズの焦点距離をＦｃとすると、固体撮像素子１３０の投影面上のＺｃ座標の値は、既知のＦｃとなる。そして、（０、０、Ｆｃ）ｔが、固体撮像素子１３０の投影面の座標系（Ｕｃｘ、Ｕｃｙ）の原点となる。Ｘｃ軸とＵｃｘ軸とは平行である。また、Ｙｃ軸とＵｃｙ軸とが平行である。
ＴｏＦセンサ２００の投影面上の位置５２１に着目すると、この位置５２１（すなわち、画素位置Ｕ）は、二次元平面上の座標を用いて次の式により表されるとする。
Figure 2018066701
ＴｏＦセンサ２００に対応する座標系（Ｘｔ、Ｙｔ、Ｚｔ）において、位置５２１に投影されている物体表面の反射点５２２への方向は、式１より（Ｕｘ、Ｕｙ、Ｆｔ）ｔで表すことができる。ここで、上付きのｔは、転置を意味する。ＴｏＦセンサ２００の光軸中心から反射点５２２までの距離をＤ（Ｕ）が測距された場合、その距離データＤ（Ｕ）と方向（Ｕｘ、Ｕｙ、Ｆｔ）ｔとに基づいて、反射点５２２の３次元位置Ｐｒを次の式により表すことができる。
Figure 2018066701
固体撮像素子１３０に対応する座標系において、式２の示す位置は、回転行列Ｒおよび並進ベクトルＴを用いて次の式により表すことができる。
Figure 2018066701
反射点５２２が、固体撮像素子１３０の投影面に投影される位置５２３の２次元位置Ｐｐは、その投影面の座標系（Ｕｃｘ、Ｕｃｙ）において、次の式により表すことができる。
Figure 2018066701
まとめると、ＴｏＦセンサ２００の投影面上の位置５２１（画素位置Ｕ）に投影されている物体は、固体撮像素子１３０の投影面においては式４の位置５２３に投影される。ただし、式４の右辺の座標は、式３により定義される。
次に、ＴｏＦセンサ２００の１つの画素が、固体撮像素子１３０のいくつの画素に対応するかについて考える。ある画素と、その隣接画素では、焦点距離の逆数だけ異なる角度を撮像または測距することになる。したがって、ＴｏＦセンサ２００の１画素により測距される範囲は、縦方向について固体撮像素子１３０が撮像する範囲の「Ｆｃ／Ｆｔ」倍である。横方向についても同様である。すなわち、ＴｏＦセンサ２００の１画素が測距する範囲は、固体撮像素子１３０の一辺がＦｃ／Ｆｔ画素の矩形の領域である。ここで、ＴｏＦセンサ２００よりも固体撮像素子１３０の方が解像度が高いため、ＦｃはＦｔより大きい。
上述の関係に基づいて測距部３００は、ＴｏＦ２００が生成した距離データをアップサンプリングする。ここで、ＴｏＦセンサ２００上に、長さが１の複数の正方格子を想定し、それらの正方格子ごとに測距データが生成されるものと考える。この場合、アップサンプリングにより、長さが「Ｆｔ／Ｆｃ」の正方格子ごとに距離データが生成される。長さが１の正方格子の位置の集合をＬとし、アップサンプリング前の画素位置ｕは次の式により表される。
Figure 2018066701
また、長さが「Ｆｔ／Ｆｃ」の正方格子の位置の集合をＨとすると、アップサンプリング後の画素位置Ｕは、次の式により表される。
Figure 2018066701
［測距部の構成例］
図９は、本技術の第１の実施の形態における測距部３００の一構成例を示すブロック図である。この測距部３００は、低解像度距離データ生成部３１１、投影位置供給部３１２、平均演算部３１３、および、クロスバイラテラルフィルタ３１４を備える。
低解像度距離データ生成部３１１は、電荷信号に基づいてＴｏＦセンサ２００の画素ごとに距離データＤ（u） obsを生成するものである。この距離データＤ（u） obsは、例えば、次の式により求められる。
Figure 2018066701
Figure 2018066701
Figure 2018066701
ここで、式９において距離データＤ（u） obsの単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。arctan（）は、正接関数の逆関数を示す。式７乃至式９におけるＩ（u） obsおよびＱ（u） obsは、電荷信号の差分データである。
低解像度距離データ生成部３１１は、生成した距離データＤ（u） obsを低解像度距離データとして投影位置供給部３１２とクロスバイラテラルフィルタ３１４とに供給する。
投影位置供給部３１２は、ＴｏＦセンサ２００上の画素位置ｕに対応する、固体撮像素子１３０上の投影位置ｐ（ｕ）を演算するものである。
投影位置供給部３１２は、画素位置ｕのＸ座標ｕｘおよびＹ座標ｕｙを取得し、次の式により投影位置ｐ（ｕ）を求める。
Figure 2018066701
この式１０の右辺におけるＸ（ｕ）、Ｙ（ｕ）およびＺ（ｕ）は、次の式により表される。
Figure 2018066701
式１０および式１１により演算された投影位置ｐ（ｕ）を中心とし、一辺の長さがＦｃ／Ｆｔの正方形の領域が画素ブロック１３３に該当する。投影位置供給部３１２は、この投影位置ｐ（ｕ）をクロスバイラテラルフィルタ３１４および平均演算部３１３に供給する。
平均演算部３１３は、画素ブロック１３３ごとに、輝度データＧ（Ｐ）の平均値を演算するものである。この平均演算部３１３は、投影位置ｐ（ｕ）ごとに、次の式により平均データＧ（p(u)） avgを演算する。
Figure 2018066701
 上式において、Ｍｐ（ｕ）は、投影位置ｐ（ｕ）に対応する画素ブロック１３３内の画素位置Ｖの集合を示す。また、Ｇ（Ｖ）は、画素位置Ｖの輝度データを示す。Ｎは、画素ブロック１３３内の画素数を示す。
平均演算部３１３は、式１２により演算した平均データＧ（p(u)） avgをクロスバイラテラルフィルタ３１４に供給する。
クロスバイラテラルフィルタ３１４は、関数演算部３１５および３１６と、距離データアップサンプリング部３１７とを備える。
関数演算部３１５は、画素ブロック１３３内の画素位置Ｐと、投影位置ｐ（ｕ）との間のユークリッド距離をガウス関数ｈ（）に入力して、そのユークリッド距離が大きいほど小さな重みを演算するものである。この関数演算部３１５は、演算結果ｈ（）を距離データアップサンプリング部３１７に供給する。
関数演算部３１６は、画素ブロック１３３内の輝度データＧ（Ｐ）と、平均データＧ（p(u)） avgとの差分絶対値をガウス関数ｇ（）に入力して、その差分絶対値が大きいほど小さな重みを演算するものである。この関数演算部３１６は、演算結果ｇ（）を距離データアップサンプリング部３１７に供給する。
距離データアップサンプリング部３１７は、次の式により、低解像度距離データＤ（u） obsをアップサンプリングするものである。ここで、添え字Ｐ付のオメガは、白黒イメージセンサ２００上の位置Ｐの近傍の画素位置の集合を示している。
Figure 2018066701
Figure 2018066701
距離データアップサンプリング部３１７は、式１３および式１４を用いて演算した距離データＤ（Ｐ）を高解像度距離データとして距離データ処理部１４０に供給する。
なお、測距部３００は、クロスバイラテラルフィルタ３１４によりアップサンプリングを行っているが、アップサンプリングを行うことができるものであれば、用いるフィルタはクロスバイラテラルフィルタ３１４に限定されない。
図１０は、本技術の第１の実施の形態における固体撮像素子１３０が受光する連続光の光線とＴｏＦセンサ２００が受光する間欠光の光線との関係の一例を示す図である。同図において、点線は連続光の光線を示し、実線は、間欠光の光線を示す。
前述したように固体撮像素子１３０の画素密度は、ＴｏＦセンサ２００よりも高く、また、固体撮像素子１３０は、ＴｏＦセンサ２００の近傍に設けられる。このＴｏＦセンサ２００の１画素は、一定の角度範囲内の物体上の面（例えば、光線５１１を中心とした物体上の面）までの平均的な距離を測距している。その１画素が測距する面は、固体撮像素子１３０上の複数の画素により撮像される。例えば、ある反射位置で反射した反射光の光線５１１がＴｏＦセンサ２００上の１つの画素に入射される場合、その反射位置からの連続光の光線５０１、５０２、５０３、５０４および５０５は、固体撮像素子１３０上の互いに異なる画素に入射される。したがって、間欠光の光線５１１により測定された距離は、連続光５０１、５０２、５０３、５０４および５０５のそれぞれに対応する画素までの各距離の平均値となる。
図１１は、本技術の第１の実施の形態におけるＴｏＦセンサ２００の画素毎の測距範囲の一例を示す図である。同図における実線は、間欠光の光線を示す。また、両端が矢印の弧は、ＴｏＦセンサ２００上の１画素に入射される間欠光の範囲を示す。このＴｏＦセンサ２００の１画素には、実線を中心とする一定の角度範囲の間欠光が入射される。そして、ＴｏＦセンサ２００は、画素毎に、その角度範囲内の物体上の面までの平均的な距離を測定する。
図１２は、本技術の第１の実施の形態における画素ごとの距離データおよび輝度データの一例を示す図である。同図におけるａは、画素ごとの低解像度の距離データＤ（u） obsの一例を示す図である。同図のａにおいて、縦軸は距離データＤ（u） obsの値を示し、横軸はＴｏＦセンサ２００上の画素位置ｕを示す。画素位置ｕ１、ｕ２、ｕ３およびｕ４などにおいて、距離データＤ（u） obsが測定される。
図１２におけるｂは、画素ごとの輝度データＧ（Ｐ）の一例を示す図である。同図のｂにおいて、縦軸は輝度データＧ（Ｐ）の値を示し、横軸は固体撮像素子１３０上の画素位置Ｐを示す。画素位置ｕ１やｕ２などの画素位置ｕごとに、複数の輝度データＧ（Ｐ）が対応付けられる。
図１２におけるｃは、画素ごとの高解像度の距離データＤ（ｐ）の一例を示す図である。同図のｃにおいて、縦軸は距離データＤ（Ｐ）の値を示し、横軸は固体撮像素子１３０上の画素位置Ｐを示す。式１３および式１４に例示したクロスバイラテラルフィルタにより、距離データがアップサンプリングされ、画素位置Ｐごとに距離データＤ（ｐ）が算出される。
図１２におけるｄは、ＴｏＦセンサ２００の１画素が、一定の面積の物体上の面でなく、物体上の一点までの距離をピンポイントで測距するものと想定する比較例の輝度データの一例を示す図である。同図のｂにおいて、縦軸は輝度データの値を示し、横軸は固体撮像素子上の画素位置Ｐを示す。この比較例では、図１２におけるｂと異なり、ＴｏＦセンサの画素ごとに、１つの輝度データが対応付けられる。
前述したようにＴｏＦセンサ２００の実際の画素は、ある程度の大きさを持っている。従って、ＴｏＦセンサ２００の各画素が測距する物体表面の位置はピンポイントではなく、ある面積を持った領域の平均的な距離を測定していることになる。このため、図１２におけるｄの比較例では、正確なアップサンプリングを行うことができない。これに対して、図１２におけるｂでは、ＴｏＦセンサ２００の画素ごとに、その画素が測距する面に係る複数の輝度データを対応づけている。このため、それらの輝度データの平均を演算することにより、携帯端末機１００は、比較例よりも正確にアップサンプリングを行うことができる。
図１３は、本技術の第１の実施の形態におけるフィルタ処理の一例を示す図である。携帯端末機１００は、ＴｏＦセンサ２００上の画素ごとに、低解像度距離データＤ（u） obsを生成し、固体撮像素子１３０の画素ごとに輝度データＧ（Ｐ）を生成する。ＴｏＦセンサ２００の解像度は、固体撮像素子１３０より低く、ＴｏＦセンサ２００の１画素について、固体撮像素子１３０上の複数の画素からなる画素ブロックが対応付けられる。例えば、ＴｏＦセンサ２００の画素１１と、固体撮像素子１３０上の画素００、０１、０２、１０、１１、１２、２０、２１および２２からなる画素ブロックとが対応付けられる。
携帯端末機１００は、画素ブロックごとに輝度データの平均値を算出する。例えば、画素００、０１、０２、１０、１１、１２、２０、２１および２２の輝度データが「２２」、「２１」、「２２」、「１９」、「２０」、「１８」、「２３」、「２１」および「２３」である場合、それらの平均値として「２１」が算出される。
クロスバイラテラルフィルタ３１４において、画素位置Ｐの輝度データと画素ブロックの平均値との差分絶対値がガウス関数ｇ（）に入力される。そして、そのガウス関数ｇ（）と、ガウス関数ｈ（）とが低解像度距離データＧ(u) obsに乗算されて、画素位置Ｐごとの距離データＤ（ｐ）が出力される。
［携帯端末機の動作例］
図１４は、本技術の第１の実施の形態における携帯端末機の動作の一例を示すフローチャートである。この動作は、例えば、デプスマップを用いるアプリケーションが実行されたときに開始される。ＴｏＦセンサ２００は、画素ごとに電荷信号Ｑ１（u） obs乃至Ｑ４（u） obsを生成する（ステップＳ９０１）。また、固体撮像素子１３０は、画素ごとに輝度データＧ（Ｐ）を生成する（ステップＳ９０２）。
そして、測距部３００は、高解像度のデプスマップを生成するための測距処理を実行する（ステップＳ９１０）。距離データ処理部１４０は、デプスマップにおける距離データＤ（Ｐ）を処理する（ステップＳ９０３）。
携帯端末機１００は、アプリケーションの終了などにより測距を終了するか否かを判断する（ステップＳ９０３）。測距を終了しない場合に（ステップＳ９０３：Ｎｏ）、携帯端末機１００は、ステップＳ９０１以降を繰り返し実行する。一方、測距を終了する場合に（ステップＳ９０３：Ｙｅｓ）、携帯端末機１００は、デプスマップを生成するための動作を終了する。
図１５は、本技術の第１の実施の形態における測距処理の一例を示すフローチャートである。測距部３００は、電荷信号Ｑ１（u） obs乃至Ｑ４（u） obsから、低解像度の距離データＤ（u） obsを生成し（ステップＳ９１１）、画素位置ｕごとに投影位置ｐ（u）を演算する（ステップＳ９１２）。また、測距部３００は、画素ブロックごとに平均データＧ（p(u)） avgを演算する（ステップＳ９１３）。そして、測距部３００は、クロスバイラテラルフィルタにより、距離データＤ（u） obsをアップサンプリングする（ステップＳ９１４）。ステップＳ９１４の後に測距部３００は、測距処理を終了する。
このように、本技術の第１の実施の形態によれば、画素ブロック内の輝度の平均データを低解像度の距離データとともにフィルタに入力するため、その平均データを基準値として高解像度の距離データを演算することができる。これにより、アップサンプリングを正確に行うことができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、距離データをアップサンプリングしていたが、その代わりに式７および式８における差分データをアップサンプリングすることもできる。この第２の実施の形態の携帯端末機１００は、差分データをアップサンプリングする点において第１の実施の形態と異なる。
図１６は、本技術の第２の実施の形態における測距部３００の一構成例を示すブロック図である。この第２の実施の形態の測距部３００は、距離データアップサンプリング部３１７の代わりに差分データアップサンプリング部３２３を備え、高解像度差分データ変換部３２４をさらに備える点において第１の実施の形態と異なる。
第２の実施の形態の低解像度距離データ生成部３１１は、画素毎に低解像度距離データＤ（u） obsに加えて、差分データＩ（u） obsおよびＱ（u） obsをさらに生成してクロスバイラテラルフィルタ３１４に供給する。
差分データアップサンプリング部３２３は、次の式により差分データＩ（u） obsおよびＱ（u） obsをアップサンプリングするものである。
Figure 2018066701
Figure 2018066701
差分データアップサンプリング部３２３は、式１５および式１６により演算した差分データＩ（Ｐ）およびＱ（Ｐ）を高解像度差分データとして高解像度差分データ変換部３２４に供給する。
高解像度差分データ変換部３２４は、次の式により、高解像度差分データＩ（Ｐ）およびＱ（Ｐ）を高解像度距離データＤ（Ｐ）に変換して距離データ処理部１４０に出力するものである。
Figure 2018066701
図１７は、本技術の第２の実施の形態における測距処理の一例を示すフローチャートである。この第２の実施の形態の測距処理は、ステップＳ９１１およびＳ９１４の代わりにステップＳ９２１およびＳ９２４を実行し、ステップＳ９２５をさらに実行する点において第１の実施の形態と異なる。
測距部３００は、画素位置ｕごとに差分データＩ（u） obsおよびＱ（u） obsを生成し（ステップＳ９２１）、ステップＳ９１２およびＳ９１３を実行する。そして、測距部３００は、クロスバイラテラルフィルタにより、差分データＩ（u） obsおよびＱ（u） obsをアップサンプリングする（ステップＳ９２４）。測距部３００は、アップサンプリング後の差分データを高解像度距離データＤ（Ｐ）に変換し（ステップＳ９２５）、測距処理を終了する。
なお、第１および第２の実施の形態において固体撮像素子１３０は、モノクロ画像データを生成しているが、モノクロ画像データの代わりにカラー画像データを生成してもよい。この場合、例えば、クロスバイラテラルフィルタの式１２乃至式１６の輝度データＧ（Ｐ）および平均データＧ（p(u)） avgは、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)の３次元ベクトルとなる。また、式１３乃至式１６における、ガウス関数ｇ（）への入力値は、Ｒ、ＧおよびＢの３次元ベクトル上の２点間の距離となる。
このように、本技術の第２の実施の形態では、画素ブロック内の輝度の平均データを低解像度の差分データとともにフィルタに入力するため、その平均データを基準値として高解像度の差分データを演算することができる。これにより、アップサンプリングを正確に行うことができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、携帯端末機１００は、クロスバイラテラルフィルタ３１４を用いて、距離データをアップサンプリングしていた。しかし、携帯端末機１００は、クロスバイラテラルフィルタ３１４を用いずに距離データをアップサンプリングすることもできる。例えば、携帯端末機１００は、距離データと平均データとの間の関係を示す関数を回帰分析により求めて、その関数を用いて距離データをアップサンプリングしてもよい。この第３の実施の形態の携帯端末機１００は、回帰分析により求めた関数を用いて距離データをアップサンプリングする点において第１の実施の形態と異なる。
図１８は、本技術の第３の実施の形態における測距部３００の一構成例を示すブロック図である。この第３の実施の形態の測距部３００は、クロスバイラテラルフィルタ３１４の代わりに、回帰分析部３３１および高解像度距離データ生成部３３２を備える点において第１の実施の形態と異なる。
回帰分析部３３１は、距離データＤと輝度データＧとの関係を示す関数ｆ（）を回帰分析により求めるものである。この関数ｆ（）は、例えば、次の式により表される。
Ｄ＝ｆ（Ｇ）＝ａ×Ｇ＋ｂ ・・・式１８
上式において、ａおよびｂは実数の係数である。
回帰分析部３３１は、例えば、輝度データの平均データＧ（p(u)） avgを式１８に入力した結果と、低解像度距離データＤ（u） obsとの差分の二乗和が最小になるときの係数ａおよびｂを求める最小二乗法を用いて回帰分析を行う。そして、回帰分析部３３１は、求めた係数ａおよびｂを回帰直線係数として高解像度距離データ生成部３３２に供給する。
高解像度距離データ生成部３３２は、式１８に、各画素位置Ｐの輝度データＧ（Ｐ）を入力して高解像度距離データＤ（Ｐ）を生成し、距離データ処理部１４０に出力するものである。
図１９は、本技術の第３の実施の形態における輝度データと距離データとの関係の一例を示すグラフである。同図において縦軸は、輝度データＧであり、横軸は距離データＤである。また、黒丸は、対応する低解像度距離データＤ（u） obsと平均データＧ（p(u)） avgとの組合せのそれぞれをプロットしたものである。白丸は、高解像度の固体撮像素子１３０の画素位置Ｐにおける距離データＤ（Ｐ）と対応する高解像度輝度データＧ(Ｐ)の組をプロットしたものである。また、回帰直線５３１は、式１８により表される直線である。
回帰分析部３３１は、固体撮像素子１３０上の着目した画素位置Ｐについて、ｐ（ｕ）がその近傍内にあるというｕに関して、距離データＤ（u） obsと平均データＧ（p(u)） avgとの組合せを２次元空間上にプロットする。そして、回帰分析部３３１は、プロットした黒丸の集合に対して回帰分析を行い、回帰直線５３１を求める。高解像度距離データ生成部３３２は、得られた回帰直線５３１において、輝度データＧ(Ｐ)に対応する距離データを高解像度距離データＤ（Ｐ）として演算する。
図２０は、本技術の第３の実施の形態における測距処理の一例を示すフローチャートである。この第３の実施の形態の測距処理は、ステップＳ９１４の代わりにステップＳ９３４およびＳ９３５を実行する点において第１の実施の形態と異なる。
測距部３００は、ステップＳ９１１乃至Ｓ９１３を実行した後に、低解像度距離データＤ（u） obsと平均データＧ（p(u)） avgとに対して回帰分析を行い、回帰直線を求める（ステップＳ９３４）。そして、高解像度距離データ生成部３３２は、その回帰直線により、距離データをアップサンプリングし（ステップＳ９３５）、測距処理を終了する。
このように、本技術の第３の実施の形態では、携帯端末機１００は、平均データと低解像度の距離データとを回帰分析して、それらの関係を示す関数を求めるため、その関数を用いて距離データを高い精度でアップサンプリングすることができる。
＜４．第４の実施の形態＞
上述の第３の実施の形態では、回帰直線を用いて距離データをアップサンプリングしていたが、その代わりに式７および式８における差分データをアップサンプリングすることもできる。この第４の実施の形態の携帯端末機１００は、回帰直線を用いて差分データをアップサンプリングする点において第３の実施の形態と異なる。
図２１は、本技術の第４の実施の形態における測距部３００の一構成例を示すブロック図である。この第４の実施の形態の測距部３００は、回帰分析部３３１および高解像度距離データ生成部３３２の代わりに回帰分析部３４１および高解像度差分データ生成部３４２を備え、高解像度差分データ変換部３２４をさらに備える点で第３の実施の形態と異なる。高解像度差分データ変換部３２４の構成は、第２の実施の形態と同様である。
第４の実施の形態の低解像度距離データ生成部３１１は、画素毎に低解像度距離データＤ（u） obsに加えて、差分データＩ（u） obsおよびＱ（u） obsをさらに生成して回帰分析部３４１に供給する。
回帰分析部３４１は、差分データＩおよびＱと輝度データＧとの関係を示す関数を回帰分析により求めるものである。この関数は、例えば、次の式により表される。
（Ｉ−Ｉ０）／ｃ＝（Ｑ−Ｑ０）／ｄ＝（Ｇ−Ｇ０）／ｅ・・・式１９
上式において、ｃ、ｄ、ｅ、Ｉ０、Ｑ０およびＧ０は実数の係数である。
そして、回帰分析部３４１は、求めた係数ｃ、ｄ、ｅ、Ｉ０、Ｑ０およびＧ０を回帰直線係数として高解像度差分データ生成部３４２に供給する。
高解像度差分データ生成部３４２は、式１９に、各画素位置Ｐの輝度データＧ（Ｐ）を入力して高解像度差分データＩ（Ｐ）およびＱ（Ｐ）を生成し、高解像度差分データ変換部３２４に出力するものである。
図２２は、本技術の第４の実施の形態における輝度データと差分データとの関係の一例を示すグラフである。同図において直交する３軸の１つは、輝度データＧを示し、残りの２つは差分データＩおよびＱを示す。また、黒丸は、対応する低解像度差分データＩ（u） obsおよびＱ（u） obsと平均データＧ（p(u)） avgとの組合せのそれぞれをプロットしたものである。白丸は、高解像度の固体撮像素子１３０の画素位置Ｐにおける輝度データＧ(Ｐ)と対応する高解像度差分データＩ（Ｐ）およびＱ（Ｐ）の組をプロットしたものである。また、回帰直線５３２は、式１９により表される直線である。
回帰分析部３４１は、固体撮像素子１３０上の着目した画素位置Ｐについて、ｐ（ｕ）がその近傍内にあるというｕに関して、差分データＩ（u） obsおよびＱ（u） obsと平均データＧ（p(u)） avgとの組合せを３次元空間上にプロットする。そして、回帰分析部３４１は、プロットした黒丸の集合に対して回帰分析を行い、回帰直線５３２を求める。高解像度差分データ生成部３４２は、得られた回帰直線５３２において、輝度データＧ(Ｐ)に対応する差分データを高解像度距離データＩ（Ｐ）およびＱ（Ｐ）として演算する。
図２３は、本技術の第４の実施の形態における測距処理の一例を示すフローチャートである。この第４の実施の形態の測距処理は、ステップＳ９１１の代わりにステップＳ９２１を実行し、ステップＳ９３４およびＳ９３５の代わりにステップＳ９４４およびＳ９４５を実行し、ステップＳ９２５をさらに実行する点において第３の実施の形態と異なる。
測距部３００は、画素ごとに差分データＩ（u） obsおよびＱ（u） obsを生成し（ステップＳ９２１）、ステップＳ９１２およびＳ９１３を実行する。測距部３００は、低解像度差分データＩ（u） obsおよびＱ（u） obsと平均データＧ（p(u)） avgとに対して回帰分析を行い、回帰直線を求める（ステップＳ９４４）。そして、高解像度距離データ生成部３３２は、その回帰直線により、差分データをアップサンプリングする（ステップＳ９４５）。測距部３００は、アップサンプリング後の差分データを高解像度距離データＤ（Ｐ）に変換し（ステップＳ９２５）、測距処理を終了する。
このように、本技術の第４の実施の形態では、携帯端末機１００は、平均データと低解像度の差分データとを回帰分析して、それらの関係を示す関数を求めるため、その関数を用いて差分データを高い精度でアップサンプリングすることができる。
＜５．第５の実施の形態＞
上述の第１の実施の形態では、携帯端末機１００は、クロスバイラテラルフィルタ３１４を用いて、距離データをアップサンプリングしていた。しかし、携帯端末機１００は、クロスバイラテラルフィルタ３１４を用いずに距離データをアップサンプリングすることもできる。例えば、携帯端末機１００は、エネルギー最小化計算により、距離データをアップサンプリングしてもよい。この第５の実施の形態の携帯端末機１００は、エネルギー最小化計算により距離データをアップサンプリングする点において第１の実施の形態と異なる。
図２４は、本技術の第５の実施の形態における測距部３００の一構成例を示すブロック図である。この第５の実施の形態の測距部３００は、投影位置供給部３１２、平均演算部３１３およびクロスバイラテラルフィルタ３１４の代わりにエネルギー最小化計算部３５１を備える点において第１の実施の形態と異なる。
エネルギー最小化計算部３５１は、画素ブロックごとに高解像度距離データの平均値と低解像度距離データとの差を最小にするエネルギー最小化計算により高解像度距離データを生成するものである。このエネルギー最小化計算部３５１は、次の式を満たす高解像度距離データＤ（Ｕ）を求める。
Figure 2018066701
Figure 2018066701
Figure 2018066701
Figure 2018066701
式２０の右辺の第１項はデータ項であり、第２項はスムーズ項である。式２１における添え字ｕ付の集合オメガは、ＴｏＦセンサ２００上の画素位置ｕを中心とした、一辺の長さが１の正方領域内の画素位置の集合である。式２３におけるｎ（ｕ）は、画素位置ｕにおける勾配の方向を示す単位ベクトルであり、ｍ（ｕ）は、ｎ（ｕ）に直交する単位ベクトルである。また、式２２および式２３における関数Ｔ１／２は、非等方性拡散テンソルである。この非等方性拡散テンソルについては、「D. Ferstl, Image Guided Depth Upsampling Using Anisotropic Total Generalized Variation, ICCV 2013」に記載されている。式２０および式２３におけるＡ、Ｂおよびｒは、所望の定数である。
式２３のＧ（Ｕ）は、白黒イメージセンサ２００上の次の式で示される位置における輝度データである。
Figure 2018066701
この式２４における座標Ｘ'（ｕ）、Ｙ'（ｕ）およびＺ'（ｕ）は、次の式により表される。
Figure 2018066701
式２０のデータ項ｄＴｅｒｍは、式２１に例示するように、低解像度距離データＤ（u） obsと、対応する画素ブロック内の高解像度距離データＤ（Ｕ）の平均値との差の二乗和を示す。エネルギー最小化計算部３５１は、そのデータ項が最小になるときの高解像度距離データＤ（Ｕ）を演算して距離データ処理部１４０に供給する。すなわち、低解像度距離データＤ（u） obsと、対応する画素ブロック内の高解像度距離データＤ（Ｕ）の平均値との差が最小になるときの高解像度距離データＤ（Ｕ）が演算される。また、式２２のスムーズ項ｓＴｅｒｍにより、ＴｏＦセンサ２００上の各位置ｕに対応する固体撮像素子１３０上の位置における輝度データＧ（Ｕ）に段差がない場合には、同様に距離データＤ（Ｕ）もなるべくスムーズになるように演算される。
このように、第１乃至第４の実施の形態と同様に、第５の実施の形態においても、低解像度距離データＧ(u) obsは、対応する画素ブロック内の複数の画素のそれぞれの距離の平均を示すことを想定して演算を行っている。
図２５は、本技術の第５の実施の形態における測距処理の一例を示すフローチャートである。この第５の実施の形態の測距処理は、ステップＳ９１２乃至Ｓ９１４の代わりにステップＳ９５２を実行する点において第１の実施の形態と異なる。
測距部３００は、電荷信号Ｑ１（u） obs乃至Ｑ４（u） obsから、低解像度の距離データＤ（u） obsを生成する（ステップＳ９１１）。そして、測距部３００は、エネルギー最小化計算により、距離データをアップサンプリングする（ステップＳ９５２）。
このように、本技術の第５の実施の形態では、画素ブロックごとに高解像度距離データの平均値と低解像度距離データとの差を最小にするエネルギー最小化計算を行うため、フィルタを用いずに距離データをアップサンプリングすることができる。
＜６．第６の実施の形態＞
上述の第５の実施の形態では、距離データをアップサンプリングしていたが、その代わりに式７および式８における差分データをアップサンプリングすることもできる。この第６の実施の形態の携帯端末機１００は、差分データをアップサンプリングする点において第５の実施の形態と異なる。
図２６は、本技術の第６の実施の形態における測距部３００の一構成例を示すブロック図である。この第６の実施の形態の測距部３００は、低解像度距離データ生成部３１１の代わりに低解像度差分データ生成部３６１を備える点において第５の実施の形態と異なる。また、第６の実施の形態の測距部３００は、エネルギー最小化計算部３５１の代わりにエネルギー最小化計算部３６２を備え、高解像度差分データ変換部３２４をさらに備える点においても第５の実施の形態と異なる。高解像度差分データ変換部３２４の構成は、第２の実施の形態と同様である。
低解像度差分データ生成部３６１は、式８および式９により、画素ごとに差分データＩ（u） obsおよびＱ（u） obsを生成してエネルギー最小化計算部３６２に供給するものである。
エネルギー最小化計算部３６２は、画素ブロックごとに高解像度差分データの平均値と低解像度差分データとの差を最小にするエネルギー最小化計算により高解像度差分データを生成するものである。このエネルギー最小化計算部３６２は、次の式を満たす高解像度差分データＩ（Ｕ）およびＱ（Ｕ）を求める。
Figure 2018066701
Figure 2018066701
Figure 2018066701
Figure 2018066701
ここで、画素位置Ｕは、式２４および式２５と次の式とにより表される。
Figure 2018066701
式２６乃至式２９により、低解像度差分データＩ（u） obsおよびＱ（u） obsと、対応する画素ブロック内の高解像度差分データＩ（Ｕ）およびＱ（Ｕ）の平均値との差が最小になるときの高解像度差分データＩ（Ｕ）およびＱ（Ｕ）が演算される。
高解像度差分データ変換部３２４は、次の式を用いて高解像度距離データＤ（Ｕ）を演算して距離データ処理部１４０に供給する。
Figure 2018066701
図２７は、本技術の第６の実施の形態における測距処理の一例を示すフローチャートである。この第６の実施の形態の測距処理は、ステップＳ９１１の代わりにステップＳ９２１を実行し、ステップＳ９５２の代わりにステップＳ９６２を実行し、ステップＳ９２５をさらに実行する点において第５の実施の形態と異なる。
測距部３００は、画素位置ｕごとに差分データＩ（u） obsおよびＱ（u） obsを生成し（ステップＳ９２１）、エネルギー最小化計算により、差分データをアップサンプリングする（ステップＳ９６２）。そして、測距部３００は、アップサンプリング後の差分データを高解像度距離データＤ（Ｐ）に変換し（ステップＳ９２５）、測距処理を終了する。
このように、本技術の第６の実施の形態では、画素ブロックごとに高解像度差分データの平均値と低解像度差分データとの差を最小にするエネルギー最小化計算を行うため、フィルタを用いずに差分データをアップサンプリングすることができる。
＜７．第７の実施の形態＞
上述の第５の実施の形態では、距離データをアップサンプリングしていたが、その代わりに電荷信号をアップサンプリングすることもできる。この第７の実施の形態の携帯端末機１００は、電荷信号をアップサンプリングする点において第５の実施の形態と異なる。
図２８は、本技術の第７の実施の形態における測距部３００の一構成例を示すブロック図である。この第７の実施の形態の測距部３００は、エネルギー最小化計算部３７１および高解像度電荷信号変換部３７２を備える。
エネルギー最小化計算部３７１は、画素ブロックごとに高解像度電荷信号の平均値と低解像度電荷信号との差を最小にするエネルギー最小化計算により高解像度電荷信号を生成するものである。まず、ＴｏＦ方式の原理に基づいて、次の式に示す制約条件が定義される。
Figure 2018066701
エネルギー最小化計算部３７１は、式３２の制約条件の下で次の式を満たす高解像度電荷信号Ｑ１（Ｕ）乃至Ｑ４（Ｕ）を求める。
Figure 2018066701
Figure 2018066701
Figure 2018066701
Figure 2018066701
また、画素位置Ｕは、式２４および式２５と次の式とにより表される。
Figure 2018066701
式３３乃至式３６により、低解像度電荷信号Ｑｉ（ｕ） ｏｂｓと、対応する画素ブロック内の高解像度電荷信号Ｑｉ（Ｕ）の平均値との差が最小になるときの高解像度電荷信号Ｑｉ（Ｕ）が演算される。
高解像度電荷信号変換部３７２は、次の式を用いて、高解像度距離データＤ（Ｕ）を演算して距離データ処理部１４０に供給するものである。
Figure 2018066701
図２９は、本技術の第７の実施の形態における測距処理の一例を示すフローチャートである。測距部３００は、エネルギー最小化計算により、低解像度電荷信号Ｑｉ（ｕ） ｏｂｓをアップサンプリングし（ステップＳ９７１）、アップサンプリング後の電荷信号Ｑｉ（Ｕ）から高解像度距離データＤ（Ｕ）を生成する（ステップＳ９７２）。ステップＳ９７２の後に、測距部３００は、測距処理を終了する。
なお、輝度データＧについての定義について補足しておく。引数がＶあるいはＰで表現されているＧ（）（すなわち、第１乃至第４の実施の形態にて使用されているＧ（Ｖ）あるいはＧ（Ｐ））は、固体撮像素子１３０上の画素位置ＶあるいはＰの輝度データをそれぞれ示している。一方、引数がＵで表現されいているＧ（）（すなわち、第５乃至第７の実施の形態にて使用されているＧ（Ｕ））は、ＴｏＦセンサ２００上の位置Ｕ＝（Ｕｘ，Ｕｙ）tに対応する式２４で示される固体撮像素子１３０上の画素位置の輝度データを示している。ここで、Ｕ＝（Ｕｘ，Ｕｙ）ｔに対応する式２４で表現される２次元位置の導出には、式２５を使用する。
このように、本技術の第７の実施の形態では、画素ブロックごとに高解像度電荷信号の平均値と低解像度電荷信号との差を最小にするエネルギー最小化計算を行うため、フィルタを用いずに電荷信号をアップサンプリングすることができる。
＜８．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３１は、撮像部１２０３１の設置位置の例を示す図である。
図３１では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１と撮像部１２１０１ないし１２１０４とに適用され得る。具体的には、撮像部１２１０１ないし１２１０４がいずれかが電荷信号を生成し、残りが輝度データを生成し、マイクロコンピュータ１２０５１がデプスマップを生成する。マイクロコンピュータ１２０５１と撮像部１２１０１ないし１２１０４とに本開示に係る技術を適用することにより、測距精度を向上させることができるため、障害物などを正確に検知して車両の安全性を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、
間欠光の受光量を示す間欠光受光データを生成する間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、
前記画素ブロックごとの前記連続光受光データの平均値と前記連続光受光データと前記間欠光受光データとを用いて前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部と
を具備する測距装置。
（２）前記測距部は、
所定のフィルタと、
前記画素ブロックごとに前記平均値を演算して前記所定のフィルタに入力する平均演算部とを備える
前記（１）記載の測距装置。
（３）前記所定のフィルタは、クロスバイラテラルフィルタである
前記（２）記載の測距装置。
（４）前記測距部は、前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成して前記所定のフィルタに入力する低解像度距離データ生成部をさらに備え、
前記所定のフィルタは、前記低解像度距離データと前記平均値と前記連続光受光データとから前記高解像度距離データを生成する
前記（２）または（３）に記載の測距装置。
（５）前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
前記測距部は、
前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して前記所定のフィルタに入力する差分データ生成部と、
前記連続光画素ごとに高解像度差分データを前記高解像度距離データに変換する高解像度差分データ変換部とをさらに備え、
前記所定のフィルタは、前記低解像度差分データと前記平均値と前記連続光受光データとから前記高解像度差分データを生成する
前記（２）または（３）に記載の測距装置。
（６）前記測距部は、
前記画素ブロックごとに前記平均値を演算する平均演算部と
前記平均値から所定の関数を回帰分析により求める回帰分析部と
を備える
前記（１）記載の測距装置。
（７）前記測距部は、
前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成して前記回帰分析部に入力する低解像度距離データ生成部と、
前記連続光受光データを前記所定の関数に入力して前記高解像度距離データを生成する高解像度距離データ生成部と
をさらに備え、
前記回帰分析部は、前記低解像度距離データと前記平均値との関係を示す関数を前記所定の関数として求める
請求項６記載の測距装置。
（８）前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
前記測距部は、
前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して前記回帰分析部に入力する差分データ生成部と、
前記連続光受光データを前記所定の関数に入力して前記連続光画素ごとに高解像度差分データを生成する高解像度距離データ生成部と
前記連続光画素ごとに前記高解像度差分データを前記高解像度距離データに変換する高解像度差分データ変換部とをさらに備え、
前記回帰分析部は、前記低解像度差分データと前記平均値との関係を示す関数を前記所定の関数として求める
前記（６）記載の測距装置。
（９）連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、
間欠光の受光量を示す間欠光受光データを生成する間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、
エネルギー最小化計算により前記間欠光受光データと前記連続光受光データとから前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部と
を具備する測距装置。
（１０）前記測距部は、
前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成する低解像度距離データ生成部と、
前記画素ブロックごとに前記高解像度距離データの平均値と前記低解像度距離データとの差を最小にする前記エネルギー最小化計算により前記高解像度距離データを生成するエネルギー最小化計算部と
を備える前記（９）記載の測距装置。
（１１）前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
前記測距部は、
前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成する差分データ生成部と、
前記画素ブロックごとに高解像度差分データの平均値と前記低解像度差分データとの差を最小にする前記エネルギー最小化計算により前記高解像度差分データを生成するエネルギー最小化計算部と、
前記連続光画素ごとに前記高解像度差分データを前記高解像度距離データに変換する高解像度差分データ変換部と
を備える前記（９）記載の測距装置。
（１２）前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
前記距離部は、
前記画素ブロックごとに第１、第２、第３および第４の高解像度電荷信号の平均値と第１、第２、第３および第４の低解像度電荷信号との差を最小にする前記エネルギー最小化計算により前記第１、第２、第３および第４の高解像度電荷信号を生成するエネルギー最小化計算部と、
前記第１、第２、第３および第４の高解像度電荷信号を前記高解像度距離データに変換する高解像度電荷信号変換部と
を備える前記（９）記載の測距装置。
（１３）複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部において前記複数の連続光画素が連続光の受光量を示す連続光受光データを生成する連続光受光手順と、
間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部において前記間欠光画素が間欠光の受光量を示す間欠光受光データを生成する間欠光受光手順と、
前記画素ブロックごとの前記連続光受光データの平均値と前記連続光受光データと前記間欠光受光データとを用いて前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距手順と
を具備する測距装置の制御方法。
（１４）複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部において前記複数の連続光画素が連続光の受光量を示す連続光受光データを生成する連続光受光手順と、
間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部において前記間欠光画素が間欠光の受光量を示す間欠光受光データを生成する間欠光受光手順と、
エネルギー最小化計算により前記間欠光受光データと前記連続光受光データとから前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距手順と
を具備する測距装置の制御方法。
１００ 携帯端末機
１１０ 発光部
１２０ 制御部
１３０ 固体撮像素子
１３１、２１０ 行走査回路
１３２、２２０ 画素アレイ部
１３３ 画素ブロック
１３４、２３０、 画素回路
１３５、２４０ タイミング制御部
１３６、２５０ ＡＤ変換部
１３７、２６０ 列走査回路
１３８、２７０ 信号処理部
１４０ 距離データ処理部
２００ ＴｏＦセンサ
２３１ 受光素子
２３２ 転送スイッチ
２３３、２３４ 電荷蓄積部
２３５、２３６ 選択スイッチ
３００ 測距部
３１１ 低解像度距離データ生成部
３１２ 投影位置供給部
３１３ 平均演算部
３１４ クロスバイラテラルフィルタ
３１５、３１６ 関数演算部
３１７ 距離データアップサンプリング部
３２３ 差分データアップサンプリング部
３２４ 高解像度差分データ変換部
３３１、３４１ 回帰分析部
３３２ 高解像度距離データ生成部
３４２ 高解像度差分データ生成部
３５１、３６２、３７１ エネルギー最小化計算部
３６１ 低解像度差分データ生成部
３７２ 高解像度電荷信号変換部
１２１０１、１２１０２、１２１０３、１２１０４、１２１０５ 撮像部
１２０５１ マイクロコンピュータ

Claims (14)

  1. 連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、
    間欠光の受光量を示す間欠光受光データを生成する間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、
    前記画素ブロックごとの前記連続光受光データの平均値と前記連続光受光データと前記間欠光受光データとを用いて前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部と
    を具備する測距装置。
  2. 前記測距部は、
    所定のフィルタと、
    前記画素ブロックごとに前記平均値を演算して前記所定のフィルタに入力する平均演算部とを備える
    請求項１記載の測距装置。
  3. 前記所定のフィルタは、クロスバイラテラルフィルタである
    請求項２記載の測距装置。
  4. 前記測距部は、前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成して前記所定のフィルタに入力する低解像度距離データ生成部をさらに備え、
    前記所定のフィルタは、前記低解像度距離データと前記平均値と前記連続光受光データとから前記高解像度距離データを生成する
    請求項２記載の測距装置。
  5. 前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
    前記測距部は、
    前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して前記所定のフィルタに入力する差分データ生成部と、
    前記連続光画素ごとに高解像度差分データを前記高解像度距離データに変換する高解像度差分データ変換部とをさらに備え、
    前記所定のフィルタは、前記低解像度差分データと前記平均値と前記連続光受光データとから前記高解像度差分データを生成する
    請求項２記載の測距装置。
  6. 前記測距部は、
    前記画素ブロックごとに前記平均値を演算する平均演算部と
    前記平均値から所定の関数を回帰分析により求める回帰分析部と
    を備える
    請求項１記載の測距装置。
  7. 前記測距部は、
    前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成して前記回帰分析部に入力する低解像度距離データ生成部と、
    前記連続光受光データを前記所定の関数に入力して前記高解像度距離データを生成する高解像度距離データ生成部と
    をさらに備え、
    前記回帰分析部は、前記低解像度距離データと前記平均値との関係を示す関数を前記所定の関数として求める
    請求項６記載の測距装置。
  8. 前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
    前記測距部は、
    前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成して前記回帰分析部に入力する差分データ生成部と、
    前記連続光受光データを前記所定の関数に入力して前記連続光画素ごとに高解像度差分データを生成する高解像度距離データ生成部と
    前記連続光画素ごとに前記高解像度差分データを前記高解像度距離データに変換する高解像度距離データ変換部とをさらに備え、
    前記回帰分析部は、前記低解像度差分データと前記平均値との関係を示す関数を前記所定の関数として求める
    請求項６記載の測距装置。
  9. 連続光の受光量を示す連続光受光データを生成する複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部と、
    間欠光の受光量を示す間欠光受光データを生成する間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部と、
    エネルギー最小化計算により前記間欠光受光データと前記連続光受光データとから前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距部と
    を具備する測距装置。
  10. 前記測距部は、
    前記間欠光受光データに基づいて前記間欠光画素ごとに距離データを低解像度距離データとして生成する低解像度距離データ生成部と、
    前記画素ブロックごとに前記高解像度距離データの平均値と前記低解像度距離データとの差を最小にする前記エネルギー最小化計算により前記高解像度距離データを生成するエネルギー最小化計算部と
    を備える請求項９記載の測距装置。
  11. 前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
    前記測距部は、
    前記間欠光画素ごとに前記第１および第２の低解像度電荷信号の差分データと前記第３および第４の低解像度電荷信号の差分データとのそれぞれを低解像度差分データとして生成する差分データ生成部と、
    前記画素ブロックごとに高解像度差分データの平均値と前記低解像度差分データとの差を最小にする前記エネルギー最小化計算により前記高解像度差分データを生成するエネルギー最小化計算部と、
    前記連続光画素ごとに前記高解像度差分データを前記高解像度距離データに変換する高解像度差分データ変換部と
    を備える請求項９記載の測距装置。
  12. 前記間欠光受光データは、第１、第２、第３および第４の低解像度電荷信号を含み、
    前記距離部は、
    前記画素ブロックごとに第１、第２、第３および第４の高解像度電荷信号の平均値と第１、第２、第３および第４の低解像度電荷信号との差を最小にする前記エネルギー最小化計算により前記第１、第２、第３および第４の高解像度電荷信号を生成するエネルギー最小化計算部と、
    前記第１、第２、第３および第４の高解像度電荷信号を前記高解像度距離データに変換する高解像度電荷信号変換部と
    を備える請求項９記載の測距装置。
  13. 複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部において前記複数の連続光画素が連続光の受光量を示す連続光受光データを生成する連続光受光手順と、
    間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部において前記間欠光画素が間欠光の受光量を示す間欠光受光データを生成する間欠光受光手順と、
    前記画素ブロックごとの前記連続光受光データの平均値と前記連続光受光データと前記間欠光受光データとを用いて前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距手順と
    を具備する測距装置の制御方法。
  14. 複数の連続光画素が各々に設けられた所定数の画素ブロックを配置した連続光受光部において前記複数の連続光画素が連続光の受光量を示す連続光受光データを生成する連続光受光手順と、
    間欠光画素を前記所定数の画素ブロックのそれぞれに対応付けて設けた間欠光受光部において前記間欠光画素が間欠光の受光量を示す間欠光受光データを生成する間欠光受光手順と、
    エネルギー最小化計算により前記間欠光受光データと前記連続光受光データとから前記複数の連続光画素のそれぞれについて距離データを高解像度距離データとして生成する測距手順と
    を具備する測距装置の制御方法。
JP2016206912A 2016-10-21 2016-10-21 測距装置、および、測距装置の制御方法 Active JP6817780B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016206912A JP6817780B2 (ja) 2016-10-21 2016-10-21 測距装置、および、測距装置の制御方法
US16/334,538 US11454723B2 (en) 2016-10-21 2017-09-05 Distance measuring device and distance measuring device control method
PCT/JP2017/031939 WO2018074085A1 (ja) 2016-10-21 2017-09-05 測距装置、および、測距装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016206912A JP6817780B2 (ja) 2016-10-21 2016-10-21 測距装置、および、測距装置の制御方法

Publications (3)

Publication Number Publication Date
JP2018066701A true JP2018066701A (ja) 2018-04-26
JP2018066701A5 JP2018066701A5 (ja) 2019-11-07
JP6817780B2 JP6817780B2 (ja) 2021-01-20

Family

ID=62019690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016206912A Active JP6817780B2 (ja) 2016-10-21 2016-10-21 測距装置、および、測距装置の制御方法

Country Status (3)

Country Link
US (1) US11454723B2 (ja)
JP (1) JP6817780B2 (ja)
WO (1) WO2018074085A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020194650A1 (ja) * 2019-03-28 2020-10-01 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JP2021532648A (ja) * 2018-07-31 2021-11-25 ウェイモ エルエルシー ハイブリッド飛行時間型イメージャモジュール
US12032097B2 (en) 2023-02-21 2024-07-09 Waymo Llc Hybrid time-of-flight and imager module

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210368080A1 (en) * 2018-08-09 2021-11-25 Corephotonics Ltd. Multi-cameras with shared camera apertures
US11486984B2 (en) * 2018-12-26 2022-11-01 Beijing Voyager Technology Co., Ltd. Three-dimensional light detection and ranging system using hybrid TDC and ADC receiver
US11506764B2 (en) 2018-12-26 2022-11-22 Beijing Voyager Technology Co., Ltd. System and methods for ranging operations using multiple signals

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) * 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
EP2466901A2 (en) * 2010-12-14 2012-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. Depth data upsampling
US20120169848A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics Co., Ltd. Image Processing Systems
JP2014150521A (ja) * 2013-02-01 2014-08-21 Mitsubishi Electric Corp 奥行き画像の解像度を増大させる方法とシステム
JP2015175752A (ja) * 2014-03-17 2015-10-05 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
JP2016510396A (ja) * 2012-12-17 2016-04-07 エルエスアイ コーポレーション 異なる奥行き撮像技術を用いて生成された奥行き画像をマージするための方法および装置
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US11254439B2 (en) * 2018-12-11 2022-02-22 Hamilton Sundstrand Corporation Catalytic fuel tank inerting apparatus for aircraft

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267494A1 (en) * 2007-04-30 2008-10-30 Microsoft Corporation Joint bilateral upsampling
EP2466901A2 (en) * 2010-12-14 2012-06-20 Vestel Elektronik Sanayi ve Ticaret A.S. Depth data upsampling
US20120169848A1 (en) * 2010-12-29 2012-07-05 Samsung Electronics Co., Ltd. Image Processing Systems
JP2016510396A (ja) * 2012-12-17 2016-04-07 エルエスアイ コーポレーション 異なる奥行き撮像技術を用いて生成された奥行き画像をマージするための方法および装置
JP2014150521A (ja) * 2013-02-01 2014-08-21 Mitsubishi Electric Corp 奥行き画像の解像度を増大させる方法とシステム
JP2015175752A (ja) * 2014-03-17 2015-10-05 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
JP2017150893A (ja) * 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FERSTL, DAVID, ET AL.: ""Image Guided Depth Upsampling using Anisotropic Total Generalized Variation"", COMPUTER VISION (ICCV), 2013 IEEE INTERNATIONAL CONFERENCE ON, JPN6017045320, 8 December 2013 (2013-12-08), pages 993 - 1000, XP032573130, ISSN: 0004297345, DOI: 10.1109/ICCV.2013.127 *
YANG, QINGXIONG, ET AL.: ""Spatial-Depth Super Resolution for Range Images"", COMPUTER VISION AND PATTERN RECOGNITION, 2007. CVPR '07. IEEE CONFERENCE ON, JPN6017045321, 22 June 2007 (2007-06-22), ISSN: 0004297347 *
松尾清史、外１名: ""第２編 応用技術 第５章 三次元センシング向けセンサの開発 第１節 色情報とレンジデータのフュージ", 三次元画像センシングの新展開, vol. 初版, JPN6017045318, 29 May 2015 (2015-05-29), pages 187 - 194, ISSN: 0004297344 *
長谷川昂宏、外４名: ""ＩＲ反射強度画像を用いたガイデットフィルタによる距離画像の高品質化"", ＳＳＩＩ２０１５ 第２１回 画像センシングシンポジウム ダイジェスト集, JPN6017045319, 12 June 2015 (2015-06-12), pages 1 - 19, ISSN: 0004297346 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021532648A (ja) * 2018-07-31 2021-11-25 ウェイモ エルエルシー ハイブリッド飛行時間型イメージャモジュール
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
JP7321246B2 (ja) 2018-07-31 2023-08-04 ウェイモ エルエルシー ハイブリッド飛行時間型イメージャモジュール
WO2020194650A1 (ja) * 2019-03-28 2020-10-01 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
JPWO2020194650A1 (ja) * 2019-03-28 2021-10-21 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
JP7081720B2 (ja) 2019-03-28 2022-06-07 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
US11776143B2 (en) 2019-03-28 2023-10-03 Nec Corporation Foreign matter detection device, foreign matter detection method, and program
JP2020180941A (ja) * 2019-04-26 2020-11-05 株式会社デンソー 光測距装置およびその方法
JP7259525B2 (ja) 2019-04-26 2023-04-18 株式会社デンソー 光測距装置およびその方法
US12032097B2 (en) 2023-02-21 2024-07-09 Waymo Llc Hybrid time-of-flight and imager module

Also Published As

Publication number Publication date
JP6817780B2 (ja) 2021-01-20
US20210286082A1 (en) 2021-09-16
US11454723B2 (en) 2022-09-27
WO2018074085A1 (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
KR102499586B1 (ko) 촬상 장치
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
JP2015179063A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US20210297589A1 (en) Imaging device and method of controlling imaging device
CN110832346A (zh) 电子装置和电子装置的控制方法
US20220357155A1 (en) Distance measuring device, distance measuring method, program, electronic apparatus, learning model generating method, manufacturing method, and depth map generating method
WO2017195459A1 (ja) 撮像装置、および撮像方法
JPWO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020195936A1 (ja) 固体撮像装置、及び電子機器
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2021166344A1 (ja) センシングシステム、および、測距システム
WO2021235033A1 (ja) センシングシステム
WO2022190848A1 (ja) 測距装置、測距システム及び測距方法
WO2022004441A1 (ja) 測距装置および測距方法
WO2020153262A1 (ja) 計測装置および測距装置
WO2020129474A1 (ja) 測距装置および計測装置
JP2023003094A (ja) 測距装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201225

R150 Certificate of patent or registration of utility model

Ref document number: 6817780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150