JP2020118567A - 測距装置、車載システム及び測距方法 - Google Patents

測距装置、車載システム及び測距方法 Download PDF

Info

Publication number
JP2020118567A
JP2020118567A JP2019010563A JP2019010563A JP2020118567A JP 2020118567 A JP2020118567 A JP 2020118567A JP 2019010563 A JP2019010563 A JP 2019010563A JP 2019010563 A JP2019010563 A JP 2019010563A JP 2020118567 A JP2020118567 A JP 2020118567A
Authority
JP
Japan
Prior art keywords
circuit
histogram
unit
calculation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019010563A
Other languages
English (en)
Inventor
陽介 森田
Yosuke Morita
陽介 森田
長谷川　浩一
Koichi Hasegawa
浩一 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019010563A priority Critical patent/JP2020118567A/ja
Priority to PCT/JP2020/001607 priority patent/WO2020153275A1/ja
Priority to US17/423,243 priority patent/US20220066038A1/en
Publication of JP2020118567A publication Critical patent/JP2020118567A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873—Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by at least one potential-jump barrier or surface barrier, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier or surface barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier or surface barrier the potential barrier working in avalanche mode, e.g. avalanche photodiode

Abstract

【課題】測距精度の低下を低減する。【解決手段】実施形態に係る測距装置は、それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、前記受光素子それぞれから検出信号を読み出す読出し回路と、それぞれ前記アレイ部における異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて当該領域の画角内に存在する物体までの距離に関する深度情報を生成する複数の演算部とを備え、前記複数の演算部は、少なくとも一部が互いに異なる演算係数を使用して前記深度情報を生成する。【選択図】図１３

Description

本開示は、測距装置、車載システム及び測距方法に関する。
近年、ＴｏＦ（Time-of-Flight）法により距離計測を行う距離画像センサ（以下、ＴｏＦセンサという）が注目されている。例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）半導体集積回路技術を用いて作製された、平面的に配置する複数のＳＰＡＤ（Single Photon Avalanche Diode）を利用して対象物までの距離を計測するＴｏＦセンサが存在する。
ＳＰＡＤを利用したＴｏＦセンサでは、光源が発光してからその反射光（以下、エコーという）がＳＰＡＤに入射までの時間（以下、飛行時間という）を物理量として複数回計測し、その計測結果から生成された物理量のヒストグラムに基づいて、対象物までの距離が特定される。
特表２０１６−５３３１４０号公報
以上のような、対象物からのエコーの光量を飛行時間ごとのヒストグラムとして取得するＴｏＦセンサでは、対象物までの距離を算出する演算処理で使用する最適な演算係数が、対象物までの距離に応じて異なる。例えば、対象物が近距離に存在する場合には、検出された光からエコーの成分を抽出するための閾値として高い閾値が好ましく、遠距離に存在する場合には、低い閾値が好ましい。また、対象物が近距離に存在する場合のノイズ成分は低周波であり、遠距離に存在する場合のノイズ成分は高周波であるため、対象物が近距離に存在する場合には低周波成分を除去するフィルタ係数とし、遠距離に存在する場合には高周波成分を除去するフィルタ係数とすることが好ましい。
しかしながら、従来では、対象物までの距離に関わらず、同じ演算係数を用いて距離を算出する演算処理が実行されていた。そのため、測距範囲内に近距離の物体と遠距離の物体とが存在する場合、測距精度が低下してしまうという問題があった。
そこで本開示では、測距精度の低下を低減することが可能な測距装置、車載システム及び測距方法を提案する。
上記の課題を解決するために、本開示に係る一形態の測距装置は、それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、前記受光素子それぞれから検出信号を読み出す読出し回路と、それぞれ前記アレイ部における異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて当該領域の画角内に存在する物体までの距離に関する深度情報を生成する複数の演算部とを備え、前記複数の演算部は、少なくとも一部が互いに異なる演算係数を使用して前記深度情報を生成する。
第１の実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示すブロック図である。 第１の実施形態に係るＴｏＦセンサの光学システムを説明するための図である。 第１の実施形態に係る受光部の概略構成例を示すブロック図である。 第１の実施形態に係る使用ＳＰＡＤアレイの概略構成例を示す模式図である。 第１の実施形態に係るＳＰＡＤ画素の概略構成例を示す回路図である。 第１の実施形態に係るＳＰＡＤ加算部のより詳細な構成例を示すブロック図である。 第１の実施形態に係るＴｏＦセンサにより取得される深度画像の一例を示す図である。 図７における第１領域を担当するＳＰＡＤ領域から得られたフレーム画像に基づいて生成されるヒストグラムの一例を示す図である。 図７における第４領域を担当するＳＰＡＤ領域から得られたフレーム画像に基づいて生成されるヒストグラムの一例を示す図である。 比較例に係る演算部の概略構成例を示すブロック図である。 第１の実施形態に係る演算部の概略構成例を示すブロック図である。 第１の実施形態に係る演算係数の例を示す図である。 第１の実施形態に係る演算部の概略構成例を示すブロック図である。 第１の実施形態に係る演算部への演算係数の設定を説明するための図である。 第１の実施形態の変形例に係る演算部への演算係数の設定を説明するための図である。 第１の実施形態に係るＴｏＦセンサにおける受光部及び演算部の積層構造例を示す図である。 第１の実施形態に係る受光チップにおける受光面の平面レイアウトの一例を示す図である。 第１の実施形態に係る回路チップにおける受光チップ側の面の平面レイアウト例を示す図である。 第２の実施形態に係る演算部の概略構成例を示すブロック図である。 第２の実施形態に係る回路チップの受光チップ側の面の平面レイアウト例を示す図である。 第３の実施形態に係る演算部の概略構成例を示すブロック図である。 第３の実施形態に係る回路チップの受光チップ側の面の平面レイアウト例を示す図である。 第４の実施形態の第１例に係る測距システムの概略構成例を示す図である。 第４の実施形態の第２例に係る測距システムの概略構成例を示す図である。 第４の実施形態の第３例に係る測距システムの概略構成例を示す図である。 第５の実施形態に係る車載システムの概略構成例を示すブロック図である。 第５の実施形態に係る演算係数切替動作の概略例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１ 測距装置（ＴｏＦセンサ）
１．２ 光学システム
１．３ 受光部
１．４ 使用ＳＰＡＤアレイ
１．５ ＳＰＡＤ画素
１．６ ＳＰＡＤ画素の概略動作例
１．７ ＳＰＡＤ加算部
１．８ サンプリング周期
１．９ 深度画像
１．１０ ヒストグラム
１．１１ 演算係数を共通化した場合の課題
１．１２ 第１実施形態に係る演算処理
１．１３ 演算係数の例
１．１４ 演算部の概略構成例
１．１５ レジスタブロックへの演算係数の設定
１．１６ 受光部及び演算部のチップ構成例
１．１７ 各チップの平面レイアウト例
１．１８ 作用・効果
２．第２の実施形態
２．１ 演算部の概略構成例
２．２ 回路チップの平面レイアウト例
２．３ 作用・効果
３．第３の実施形態
３．１ 演算部の概略構成例
３．２ 回路チップの平面レイアウト例
３．３ 作用・効果
４．第４の実施形態
４．１ 第１例
４．２ 第２例
４．３ 第３例
４．４ 作用・効果
５．第５の実施形態
５．１ 車載システム
５．２ 演算係数切替動作
５．３ 作用・効果
６．応用例
１．第１の実施形態
まず、第１の実施形態について、以下に図面を参照して詳細に説明する。
１．１ 測距装置（ＴｏＦセンサ）
図１は、本実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示すブロック図である。図１に示すように、ＴｏＦセンサ１は、制御部１１と、発光部１３と、受光部１４と、演算部１５と、外部インタフェース（Ｉ／Ｆ）１９とを備える。
制御部１１は、例えば、ＣＰＵ（Central Processing Unit）などの情報処理装置で構成され、ＴｏＦセンサ１の各部を制御する。
外部Ｉ／Ｆ１９は、例えば、無線ＬＡＮ（Local Area Network）や有線ＬＡＮの他、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークを介して外部のホスト８０と通信を確立するための通信アダプタであってよい。
ここで、ホスト８０は、例えば、ＴｏＦセンサ１が自動車等に実装される場合には、自動車等に搭載されているＥＣＵ（Engine Control Unit）などであってよい。また、ＴｏＦセンサ１が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト８０は、その自律移動体を制御する制御装置等であってよい。
発光部１３は、例えば、１つ又は複数の半導体レーザダイオードを光源として備えており、所定時間幅のパルス状のレーザ光Ｌ１を所定周期（発光周期ともいう）で出射する。また、発光部１３は、例えば、１ＭＨｚ（メガヘルツ）の周期で、１ｎｓ（ナノ秒）の時間幅のレーザ光Ｌ１を出射する。発光部１３から出射したレーザ光Ｌ１は、例えば、測距範囲内に物体９０が存在する場合には、この物体９０で反射して、反射光Ｌ２として、受光部１４に入射する。
受光部１４は、その詳細については後述するが、例えば、２次元格子状に配列した複数のＳＰＡＤ画素を備え、発光部１３の発光後にフォトンの入射を検出したＳＰＡＤ画素の数（以下、検出数という）に関する情報（例えば、後述における検出信号の数に相当）を出力する。受光部１４は、例えば、発光部１３の１回の発光に対し、所定のサンプリング周期でフォトンの入射を検出してその検出数を出力する。
演算部１５は、受光部１４から出力された検出数を複数のＳＰＡＤ画素（例えば、後述する１又は複数のマクロ画素に相当）ごとに集計し、その集計により得られた画素値に基づいて、横軸を飛行時間とし、縦軸を累積画素値としたヒストグラムを作成する。例えば、演算部１５は、発光部１３の１回の発光に対して所定のサンプリング周波数で検出数を集計して画素値を求めることを、発光部１３の複数回の発光に対して繰返し実行することで、横軸（ヒストグラムのビン）を飛行時間に相当するサンプリング周期とし、縦軸を各サンプリング周期で求められた画素値を累積することで得られた累積画素値としたヒストグラムを作成する。
また、演算部１５は、作成したヒストグラムに対して所定のフィルタ処理を施した後、フィルタ処理後のヒストグラムから累積画素値がピークとなる際の飛行時間を特定する。そして、演算部１５は、特定した飛行時間に基づいて、ＴｏＦセンサ１又はこれを搭載するデバイスから測距範囲内に存在する物体９０までの距離を算出する。なお、演算部１５で算出された距離の情報は、例えば、外部Ｉ／Ｆ１９を介してホスト８０等に出力されてもよい。
１．２ 光学システム
図２は、本実施形態に係るＴｏＦセンサの光学システムを説明するための図である。なお、図２では、受光部１４の画角を水平方向に走査する、いわゆるスキャン型の光学システムを例示するが、これに限定されず、例えば、受光部１４の画角が固定された、いわゆるフラッシュ型のＴｏＦセンサとすることも可能である。
図２に示すように、ＴｏＦセンサ１は、光学システムとして、光源１３１と、コリメータレンズ１３２と、ハーフミラー１３３と、ガルバノミラー１３５と、受光レンズ１４６と、ＳＰＡＤアレイ１４１とを備える。光源１３１、コリメータレンズ１３２、ハーフミラー１３３及びガルバノミラー１３５は、例えば、図１における発光部１３に含まれる。また、受光レンズ１４６及びＳＰＡＤアレイ１４１は、例えば、図１における受光部１４に含まれる。
図２に示す構成において、光源１３１から出射したレーザ光Ｌ１は、コリメータレンズ１３２により、断面の強度スペクトルが垂直方向に長い矩形の平行光に変換され、その後、ハーフミラー１３３に入射する。ハーフミラー１３３は、入射したレーザ光Ｌ１の一部を反射する。ハーフミラー１３３で反射したレーザ光Ｌ１は、ガルバノミラー１３５に入射する。ガルバノミラー１３５は、例えば、制御部１１からの制御に基づいて動作する駆動部１３４により、所定の回転軸を振動中心として水平方向に振動する。これにより、ガルバノミラー１３５で反射したレーザ光Ｌ１の画角ＳＲが測距範囲ＡＲを水平方向に往復走査するように、レーザ光Ｌ１が水平走査される。なお、駆動部１３４には、ＭＥＭＳ（Micro Electro Mechanical System）やマイクロモーター等を用いることができる。
ガルバノミラー１３５で反射したレーザ光Ｌ１は、測距範囲ＡＲ内に存在する物体９０で反射し、反射光Ｌ２としてガルバノミラー１３５に入射する。ガルバノミラー１３５に入射した反射光Ｌ２の一部は、ハーフミラー１３３を透過して受光レンズ１４６に入射し、それにより、ＳＰＡＤアレイ１４１における特定の使用ＳＰＡＤアレイ１４２に結像される。なお、使用ＳＰＡＤアレイ１４２は、ＳＰＡＤアレイ１４１の全体であってもよいし、一部であってもよい。
１．３ 受光部
図３は、本実施形態に係る受光部の概略構成例を示すブロック図である。図３に示すように、受光部１４は、ＳＰＡＤアレイ１４１と、タイミング制御回路１４３と、駆動回路１４４と、出力回路１４５とを備える。
ＳＰＡＤアレイ１４１は、２次元格子状に配列する複数のＳＰＡＤ画素２０を備える。複数のＳＰＡＤ画素２０に対しては、列ごとに画素駆動線ＬＤ（図面中の上下方向）が接続され、行ごとに出力信号線ＬＳ（図面中の左右方向）が接続される。画素駆動線ＬＤの一端は、駆動回路１４４の各列に対応した出力端に接続され、出力信号線ＬＳの一端は、出力回路１４５の各行に対応した入力端に接続される。
本実施形態では、ＳＰＡＤアレイ１４１の全部又は一部を使用して、反射光Ｌ２を検出する。ＳＰＡＤアレイ１４１における使用する領域（使用ＳＰＡＤアレイ１４２）は、レーザ光Ｌ１全体が反射光Ｌ２として反射された場合にＳＰＡＤアレイ１４１に結像される反射光Ｌ２の像と同じ、垂直方向に長い矩形であってよい。ただし、これに限定されず、ＳＰＡＤアレイ１４１に結像される反射光Ｌ２の像よりも大きな領域や小さな領域など、種々変形されてよい。
駆動回路１４４は、シフトレジスタやアドレスデコーダなどを含み、ＳＰＡＤアレイ１４１の各ＳＰＡＤ画素２０を、全画素同時や列単位等で駆動する。そこで、駆動回路１４４は、少なくとも、ＳＰＡＤアレイ１４１内の選択列における各ＳＰＡＤ画素２０に、後述するクエンチ電圧Ｖ＿ＱＣＨを印加する回路と、選択列における各ＳＰＡＤ画素２０に、後述する選択制御電圧Ｖ＿ＳＥＬを印加する回路とを含む。そして、駆動回路１４４は、読出し対象の列に対応する画素駆動線ＬＤに選択制御電圧Ｖ＿ＳＥＬを印加することで、フォトンの入射を検出するために用いるＳＰＡＤ画素２０を列単位で選択する。
駆動回路１４４によって選択走査された列の各ＳＰＡＤ画素２０から出力される信号（検出信号という）Ｖ＿ＯＵＴは、出力信号線ＬＳの各々を通して出力回路１４５に入力される。出力回路１４５は、各ＳＰＡＤ画素２０から入力された検出信号Ｖ＿ＯＵＴを、後述するマクロ画素ごとに設けられたＳＰＡＤ加算部４０へ出力する。
タイミング制御回路１４３は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路１４４及び出力回路１４５を制御する。
１．４ 使用ＳＰＡＤアレイ
図４は、本実施形態に係る使用ＳＰＡＤアレイの概略構成例を示す模式図である。図４に示すように、使用ＳＰＡＤアレイ１４２は、例えば、複数のＳＰＡＤ画素２０が２次元格子状に配列した構成を備える。複数のＳＰＡＤ画素２０は、行及び／又は列方向に配列する所定数ずつのＳＰＡＤ画素２０で構成された複数のマクロ画素３０にグループ化されている。各マクロ画素３０の最外周に位置するＳＰＡＤ画素２０の外側の縁を結んだ領域の形状は、所定の形状（例えば、矩形）をなしている。
使用ＳＰＡＤアレイ１４２は、例えば、垂直方向（列方向に相当）に配列する複数のマクロ画素３０で構成されている。本実施形態では、使用ＳＰＡＤアレイ１４２は、例えば、垂直方向に複数の領域（以下、ＳＰＡＤ領域という）に分割されている。図４に示す例では、使用ＳＰＡＤアレイ１４２が４つのＳＰＡＤ領域１４２−１〜１４２−４に分割されている。最下に位置するＳＰＡＤ領域１４２−１は、例えば、使用ＳＰＡＤアレイ１４２の画角ＳＲにおける最下の１／４領域に相当し、その上のＳＰＡＤ領域１４２−２は、例えば、画角ＳＲにおける下から２番目の１／４領域に相当し、その上のＳＰＡＤ領域１４２−３は、例えば、画角ＳＲにおける下から３番目の１／４領域に相当し、最上のＳＰＡＤ領域１４２−４は、例えば、画角ＳＲにおける最上の１／４領域に相当する。
１．５ ＳＰＡＤ画素
図５は、本実施形態に係るＳＰＡＤ画素の概略構成例を示す回路図である。図５に示すように、ＳＰＡＤ画素２０は、受光素子としてのフォトダイオード２１と、フォトダイオード２１にフォトンが入射したことを検出する読出し回路２２とを備える。フォトダイオード２１は、そのアノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。
読出し回路２２は、クエンチ抵抗２３と、デジタル変換器２５と、インバータ２６と、バッファ２７と、選択トランジスタ２４とを備える。クエンチ抵抗２３は、例えば、Ｎ型のＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor。以下、ＮＭＯＳトランジスタという）で構成され、そのドレインがフォトダイオード２１のアノードに接続され、そのソースが選択トランジスタ２４を介して接地されている。また、クエンチ抵抗２３を構成するＮＭＯＳトランジスタのゲートには、当該ＮＭＯＳトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧Ｖ＿ＱＣＨが、駆動回路１４４から画素駆動線ＬＤを介して印加される。
本実施形態において、フォトダイオード２１はＳＰＡＤである。ＳＰＡＤは、そのアノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧が印加されるとガイガーモードで動作するアバランシェフォトダイオードであり、１つのフォトンの入射を検出可能である。
デジタル変換器２５は、抵抗２５１とＮＭＯＳトランジスタ２５２とを備える。ＮＭＯＳトランジスタ２５２は、そのドレインが抵抗２５１を介して電源電圧ＶＤＤに接続され、そのソースが接地されている。また、ＮＭＯＳトランジスタ２５２のゲートには、フォトダイオード２１のアノードとクエンチ抵抗２３との接続点Ｎ１の電圧が印加される。
インバータ２６は、Ｐ型のＭＯＳＦＥＴ（以下、ＰＭＯＳトランジスタという）２６１とＮＭＯＳトランジスタ２６２とを備える。ＰＭＯＳトランジスタ２６１は、そのドレインが電源電圧ＶＤＤに接続され、そのソースがＮＭＯＳトランジスタ２６２のドレインに接続されている。ＮＭＯＳトランジスタ２６２は、そのドレインがＰＭＯＳトランジスタ２６１のソースに接続され、そのソースが接地されている。ＰＭＯＳトランジスタ２６１のゲート及びＮＭＯＳトランジスタ２６２のゲートには、それぞれ抵抗２５１とＮＭＯＳトランジスタ２５２のドレインとの接続点Ｎ２の電圧が印加される。インバータ２６の出力は、バッファ２７に入力される。
バッファ２７は、インピーダンス変換のための回路であり、インバータ２６から出力信号を入力すると、その入力した出力信号をインピーダンス変換し、検出信号Ｖ＿ＯＵＴとして出力する。
選択トランジスタ２４は、例えば、ＮＭＯＳトランジスタであり、そのドレインがクエンチ抵抗２３を構成するＮＭＯＳトランジスタのソースに接続され、そのソースが接地されている。選択トランジスタ２４は、駆動回路１４４に接続されており、選択トランジスタ２４のゲートに駆動回路１４４からの選択制御電圧Ｖ＿ＳＥＬが画素駆動線ＬＤを介して印加されると、オフ状態からオン状態に変化する。
１．６ ＳＰＡＤ画素の概略動作例
図５に例示した読出し回路２２は、例えば、以下のように動作する。すなわち、まず、駆動回路１４４から選択トランジスタ２４に選択制御電圧Ｖ＿ＳＥＬが印加されて選択トランジスタ２４がオン状態となっている期間、フォトダイオード２１には降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加される。これにより、フォトダイオード２１の動作が許可される。
一方、駆動回路１４４から選択トランジスタ２４に選択制御電圧Ｖ＿ＳＥＬが印加されておらず、選択トランジスタ２４がオフ状態となっている期間、逆バイアス電圧Ｖ＿ＳＰＡＤがフォトダイオード２１に印加されないことから、フォトダイオード２１の動作が禁止される。
選択トランジスタ２４がオン状態であるときにフォトダイオード２１にフォトンが入射すると、フォトダイオード２１においてアバランシェ電流が発生する。それにより、クエンチ抵抗２３にアバランシェ電流が流れ、接続点Ｎ１の電圧が上昇する。接続点Ｎ１の電圧がＮＭＯＳトランジスタ２５２のオン電圧よりも高くなると、ＮＭＯＳトランジスタ２５２がオン状態になり、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化する。そして、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化すると、ＰＭＯＳトランジスタ２６１がオフ状態からオン状態に変化すると共にＮＭＯＳトランジスタ２６２がオン状態からオフ状態に変化し、接続点Ｎ３の電圧が０Ｖから電源電圧ＶＤＤに変化する。その結果、バッファ２７からハイレベルの検出信号Ｖ＿ＯＵＴが出力される。
その後、接続点Ｎ１の電圧が上昇し続けると、フォトダイオード２１のアノードとカソードとの間に印加されている電圧が降伏電圧よりも小さくなり、それにより、アバランシェ電流が止まって、接続点Ｎ１の電圧が低下する。そして、接続点Ｎ１の電圧がＮＭＯＳトランジスタ４５２のオン電圧よりも低くなると、ＮＭＯＳトランジスタ４５２がオフ状態になり、バッファ２７からの検出信号Ｖ＿ＯＵＴの出力が停止する（ローレベル）。
このように、読出し回路２２は、フォトダイオード２１にフォトンが入射してアバランシェ電流が発生し、これによりＮＭＯＳトランジスタ４５２がオン状態になったタイミングから、アバランシェ電流が止まってＮＭＯＳトランジスタ４５２がオフ状態になるタイミングまでの期間、ハイレベルの検出信号Ｖ＿ＯＵＴを出力する。出力された検出信号Ｖ＿ＯＵＴは、出力回路１４５を介して、マクロ画素３０ごとのＳＰＡＤ加算部４０に入力される。したがって、各ＳＰＡＤ加算部４０には、１つのマクロ画素３０を構成する複数のＳＰＡＤ画素２０のうちでフォトンの入射が検出されたＳＰＡＤ画素２０の数（検出数）の検出信号Ｖ＿ＯＵＴが入力される。
１．７ ＳＰＡＤ加算部
図６は、本実施形態に係るＳＰＡＤ加算部のより詳細な構成例を示すブロック図である。なお、ＳＰＡＤ加算部４０は、受光部１４に含まれる構成であってもよいし、演算部１５に含まれる構成であってもよい。
図６に示すように、ＳＰＡＤ加算部４０は、例えば、パルス整形部４１と、受光数カウント部４２とを備える。
パルス整形部４１は、ＳＰＡＤアレイ１４１から出力回路１４５を介して入力した検出信号Ｖ＿ＯＵＴのパルス波形を、ＳＰＡＤ加算部４０の動作クロックに応じた時間幅のパルス波形に整形する。
受光数カウント部４２は、対応するマクロ画素３０からサンプリング周期ごとに入力された検出信号Ｖ＿ＯＵＴをカウントすることで、フォトンの入射が検出されたＳＰＡＤ画素２０の個数（検出数）をサンプリング周期ごとに計数し、この計数値をマクロ画素３０の画素値として出力する。
１．８ サンプリング周期
ここで、サンプリング周期とは、発光部１３がレーザ光Ｌ１を出射してから受光部１４でフォトンの入射が検出されるまでの時間（飛行時間）を計測する周期である。このサンプリング周期には、発光部１３の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、発光部１３から出射して物体９０で反射したフォトンの飛行時間を算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体９０までの距離を算出することが可能となることを意味している。
例えば、発光部１３がレーザ光Ｌ１を出射して、このレーザ光Ｌ１が物体９０で反射し、この反射光Ｌ２が受光部１４に入射するまでの飛行時間をｔとすると、光速Ｃが一定（Ｃ≒３００，０００，０００ｍ（メートル）／ｓ（秒）であることから、物体９０までの距離Ｌは、以下の式（１）ように算出することができる。
Ｌ＝Ｃ×ｔ／２ （１）
そこで、サンプリング周波数を１ＧＨｚとすると、サンプリング周期は１ｎｓ（ナノ秒）となる。その場合、１つのサンプリング周期は、１５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を１ＧＨｚとした場合の測距分解能が１５ｃｍであることを示している。また、サンプリング周波数を２倍の２ＧＨｚとすると、サンプリング周期は０．５ｎｓ（ナノ秒）となるため、１つのサンプリング周期は、７．５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を２倍とした場合、測距分解能を１／２にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く、物体９０までの距離を算出することが可能となる。
１．９ 深度画像
図７は、本実施形態に係るＴｏＦセンサにより取得される深度画像の一例を示す図であって、車両の前方へ向けた状態で設置されたＴｏＦセンサ１により取得される深度画像の一例を示す図である。図７に示すように、本実施形態では、レーザ光Ｌ１を横方向に一回走査する度に、測距範囲ＡＲに相当する深度画像５０が、測距範囲ＡＲ内に存在する物体までの深度情報として取得される。したがって、図４に例示したように、縦長の使用ＳＰＡＤアレイ１４２を縦方向に４分割した場合、深度画像５０は、縦方向に並ぶ４つの領域５０−１〜５０−４に分割することができる。なお、第１領域５０−１は、ＳＰＡＤ領域１４２−１で取得された深度画像であり、第２領域５０−２は、ＳＰＡＤ領域１４２−２で取得された深度画像であり、第３領域５０−３は、ＳＰＡＤ領域１４２−３で取得された深度画像であり、第４領域５０−４は、ＳＰＡＤ領域１４２−４で取得された深度画像である。
最下に位置する第１領域５０−１は、例えば、ＴｏＦセンサ１が搭載された車両の足元付近の深度画像である。したがって、第１領域５０−１には、例えば、路面や白線や縁石など、車両から近距離に存在する物体が含まれる可能性が高い。
最上に位置する第４領域５０−４は、例えば、車両の上方付近の深度画像である。したがって、第４領域５０−４には、例えば、標識や看板など、車両から遠距離に存在する物体が含まれる可能性が高い。
第２領域５０−２は、例えば、車両の前方下方の深度画像である。したがって、第２領域５０−２には、例えば、車間の狭い先行車両や路面など、近距離と遠距離との中間の距離の物体が含まれる可能性が高い。
第３領域５０−３は、例えば、車両の前方上方の深度画像である。したがって、第３領域５０−３には、例えば、車間の開いた先行車両や信号機等の路上工作物など、近距離と遠距離との中間の距離であって第２領域５０−２に含まれる可能性の高い物体よりも遠距離に存在する物体が含まれる可能性が高い。
なお、水平線Ｈ１は、第２領域５０−２に含まれてもよいし、第３領域５０−３に含まれてもよい。また、これらに限定されず、第１又は第４領域５０−１又は５０−４に含まれてもよいし、いずれの領域５０−１〜５０−４にも含まれていなくてもよい。
また、ある領域（画角）の深度画像を取得するためのレーザ光Ｌ１の一度又は複数回の発光に対しては、図７において破線で示されている、使用ＳＰＡＤアレイ１４２の画角に相当する領域のフレーム画像が取得される。したがって、使用ＳＰＡＤアレイ１４２を縦方向に４分割した場合では、ある領域（画角）の深度画像を取得するためのレーザ光Ｌ１の一度又は複数回の発光に対して、ＳＰＡＤ領域１４２−１の画角に対応するフレーム画像５１−１と、ＳＰＡＤ領域１４２−２の画角に対応するフレーム画像５１−２と、ＳＰＡＤ領域１４２−３の画角に対応するフレーム画像５１−３と、ＳＰＡＤ領域１４２−４の画角に対応するフレーム画像５１−４とが取得される。なお、フレーム画像５１−１〜５１−４は、レーザ光Ｌ１の横方向への走査に併せて横方向へスライドする。
１．１０ ヒストグラム
ここで、最下に位置する第１領域５０−１と最上に位置する第４領域５０−４とに着目すると、一般的に、第１領域５０−１に相当するデバイスの足元付近に存在する物体はデバイスの近傍に位置し、第４領域５０−４に相当するデバイスの上方付近に存在する物体はデバイスの遠方に位置する。したがって、図８に示すように、第１領域５０−１を担当するＳＰＡＤ領域１４２−１から得られたフレーム画像５１−１に基づいて生成されるヒストグラムＧ１では、早い飛行時間で累積画素値がピークとなる一方、図９に示すように、第４領域５０−４を担当するＳＰＡＤ領域１４２−４から得られたフレーム画像５１−４に基づいて生成されるヒストグラムＧ４では、遅い飛行時間で累積画素値がピークとなる。
１．１１ 演算係数を共通化した場合の課題
そのため、図１０に示すように、ＳＰＡＤ領域１４２−１〜１４２−４それぞれから得られたフレーム画像５１−１〜５１−４に対し、共通の演算部９１５及び共通の演算係数９１６を用いて物体までの距離を算出する演算処理を実行した場合、それぞれの測距結果９１７−１〜９１７−４が最適な演算係数を用いて算出されているとは限られず、それにより、測距精度が低下してしまう可能性が存在する。
１．１２ 第１実施形態に係る演算処理
そこで本実施形態では、図１１に示すように、演算部１５を４つのＳＰＡＤ領域１４２−１〜１４２−４それぞれに対して一対一となるように４つの演算部１５−１〜１５−４に分割し、それぞれの演算部１５−１〜１５−４に対して、個別の演算係数１６−１〜１６−４を設定する。
このような構成とすることで、演算部１５−１〜１５−４ごとに、物体までの予測される距離に応じた個別の演算係数１６−１〜１６−４を設定することが可能となるため、それぞれの測距結果１７−１〜１７−４を最適な演算係数を用いて算出することが可能となる。それにより、測距範囲ＡＲ内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
例えば、物体が近距離に存在し易いＳＰＡＤ領域１４２−１に対応する演算部１５−１に対しては、演算係数１６−１として、検出された光から反射光Ｌ２の成分を抽出するための閾値として高い閾値Ｓｔｈ１（図８参照）を設定するとともに、低周波のノイズ成分を除去するフィルタ係数を設定する一方、物体が遠距離に存在し易いＳＰＡＤ領域１４２−４に対応する演算部１５−４に対しては、演算係数１６−４として、閾値として低い閾値Ｓｔｈ４（図９参照）を設定するとともに、高周波のノイズ成分を除去するフィルタ係数を設定することが可能となる。
また、演算部１５−２及び１５−３に対しても同様に、第２領域５０−２及び第３領域５０−３それぞれで予測される物体までの距離に応じて最適な演算係数１６−２及び１６−３を設定することが可能となる。
１．１３ 演算係数の例
本実施形態に係る演算部１５−１〜１５−４に設定される演算係数１６−１〜１６−４としては、例えば、図１２に例示するように、上述した、検出された光から反射光Ｌ２の成分を抽出するための閾値（以下、エコー閾値という）と、ノイズ成分を除去するためのフィルタ係数（以下、単にフィルタ係数という）との他に、取得する深度画像の解像度（以下、単に解像度という）や、使用ＳＰＡＤアレイ１４２から深度画像を読み出すフレームレート（以下、単にフレームレートという）や、ヒストグラムの出力範囲（時間帯）（以下、（以下、ヒストグラム出力範囲という）などを例示することができる。
エコー閾値は、上述したように、ＳＰＡＤ画素２０で検出された光から反射光Ｌ２の成分を抽出するための閾値であり、図１２に例示するように、例えば、物体が近距離に存在する可能性の高い第１領域５０−１ほど高く、物体が遠距離に存在する可能性の高い第４領域５０−４ほど低い値に設定されてよい。
フィルタ係数は、上述したように、作成されたヒストグラムからノイズ成分を除去するためのフィルタ係数であり、図１２に例示するように、例えば、第１領域５０−１ほど低周波成分をカットするフィルタ係数が設定され、第４領域５０−４ほど高周波成分をカットするフィルタ係数が設定されてよい。
解像度は、上述したように、例えば、１つの画素を構成するマクロ画素３０の数を変更することで、変更することができる。この解像度は、図１２に例示するように、例えば、第１領域５０−１ほど高く、第４領域５０−４ほど低い値に設定されてよい。解像度を低くすることで、１画素のダイナミックレンジを広げることが可能となるため、遠距離の物体で反射した弱い反射光Ｌ２を検出することが可能となる。一方、解像度を高くすることで、よりきめ細やかな深度画像を取得することが可能となるため、測距精度を高めることが可能となる。
フレームレートは、例えば、後述するヒストグラム回路１５２が作成するヒストグラムのビン数及び発光部１３の発光周期を変更することで、変更することができる。例えば、ヒストグラムのビン数を１／２とし、発光部１３の発光周期を２倍とすることで、フレームレートを２倍にすることができる。このフレームレートは、図１２に例示するように、例えば、第１領域５０−１ほど高く、第４領域５０−４ほど低い値に設定されてよい。フレームレートを高くすることで、より高サイクルで物体までの距離を測定することが可能となるため、物体に対する反応を迅速に開始することが可能となる。一方、フレームレートを低くすることで、データ処理量を削減することが可能となるため、処理時間の短縮や消費電力の削減を達成することができる。
ヒストグラム出力範囲は、例えば、作成したヒストグラムのうちの出力する範囲（時間帯）を変更することで、変更することができる。例えば、近距離に位置する物体までの距離を算出する場合には、ヒストグラムにおける前の時間帯を出力することで、出力帯域を削減することが可能となる。一方、遠距離に位置する物体までの距離を算出する場合には、ヒストグラムにおける後の時間帯を出力することで、同様に、出力帯域を削減することが可能となる。このヒストグラムの出力範囲は、図１２に例示するように、例えば、第１領域５０−１ほどヒストグラムにおける前の時間帯とし、第４領域５０−４ほど後の時間帯とされてよい。ヒストグラムの出力範囲を絞り込むことで、データ処理量を削減することが可能となるため、処理時間の短縮や消費電力の削減を達成することができる。
ただし、上述した演算係数は、単なる例に過ぎず、種々追加・変更することが可能である。例えば、ヒストグラムから外乱光によるノイズを引算する際の値や、サンプリング周波数などを、演算係数に含めることも可能である。
１．１４ 演算部の概略構成例
図１３は、本実施形態に係る演算部の概略構成例を示すブロック図である。図１３に示すように、各演算部１５−１〜１５−４は、サンプリング回路１５１と、ヒストグラム回路１５２と、フィルタ回路１５３と、エコー検出回路１５４と、レジスタブロック１５５とを備える。
レジスタブロック１５５は、例えば、ＳＲＡＭ（Static Random Access Memory）等で構成されたメモリ領域であり、同演算部に属するサンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４それぞれが実行する演算処理において使用する個別の演算係数を格納する。
サンプリング回路１５１は、例えば、同演算部のレジスタブロック１５５に格納されている演算係数のうちの解像度に従って、ＳＰＡＤ加算部４０から出力されたマクロ画素３０ごとの検出信号を所定数のマクロ画素単位で加算することで、１画素あたりの画素値を算出する。この加算は、使用ＳＰＡＤアレイ１４２全体で同期して実行されてよい。
ヒストグラム回路１５２は、例えば、同演算部のレジスタブロック１５５に格納されている演算係数のうちのフレームレート及び／又はヒストグラムの作成範囲に従って、サンプリング回路１５１で同期して算出された画素ごとの画素値を、当該画素のヒストグラムにおけるサンプリング周期に対応したビン、言い換えれば、飛行時間に対応したビンの値に加算することで、画素ごとのヒストグラム（例えば、図８又は図９参照）を作成する。
フィルタ回路１５３は、例えば、同演算部のレジスタブロック１５５に格納されている演算係数のうちのノイズカットのフィルタ係数に従って、ヒストグラム回路１５２で作成されたヒストグラムに対してフィルタ処理を実行することで、フィルタ係数に応じた周波数帯のノイズを除去する。
エコー検出回路１５４は、例えば、同演算部のレジスタブロック１５５に格納されている演算係数のうちのエコー閾値に従って、ノイズ除去後のヒストグラムから反射光Ｌ２の成分を抽出し、抽出した反射光Ｌ２の成分において、累積画素値がピークとなるビン番号（飛行時間）から、各画素に写された物体までの距離を算出する。
以上のようにして算出された物体までの距離で構成されたフレーム画像５１−１〜５１−４は、例えば、制御部１１や外部Ｉ／Ｆ１９を介してホスト８０へ入力されてよい。
１．１５ レジスタブロックへの演算係数の設定
各演算部１５−１〜１５−４のレジスタブロック１５５に対する演算係数の設定は、図１４に例示するように、例えば、演算部１５−１〜１５−４それぞれに対して一対一に設けられたパラメータ設定部１５６−１〜１５６−４を介して実行されてよい。パラメータ設定部１５６−１〜１５６−４は、制御部１１の一部であってもよいし、制御部１１とは別の構成であってもよい。
各パラメータ設定部１５６−１〜１５６−４は、例えば、ホスト８０から指示された演算係数を、この演算係数とともに入力されたレジスタアドレスに基づいて、各演算部１５−１〜１５−４におけるレジスタブロック１５５に格納する。
また、図１５に例示するように、パラメータ設定部１５６−１〜１５６−４とは別に、各演算部１５−１〜１５−４におけるレジスタブロック１５５それぞれに対して共通のブロードキャストパラメータ設定部１５６−５が設けられてもよい。その場合、ブロードキャストパラメータ設定部１５６−５が、ホスト８０から指示された演算係数を、この演算係数とともに入力されたレジスタアドレスに基づいて、各演算部１５−１〜１５−４におけるレジスタブロック１５５に格納してよい。
なお、ホスト８０に代えて、ＴｏＦセンサ１内の制御部１１が、各パラメータ設定部１５６−１〜１５６−４又はブロードキャストパラメータ設定部１５６−５に対して、演算係数及びレジスタアドレスを入力する構成とすることも可能である。
さらに、ホスト８０又は制御部１１から各パラメータ設定部１５６−１〜１５６−４又はブロードキャストパラメータ設定部１５６−５に入力される演算係数は、予め固定値として設定されていてもよいし、ホスト８０又は制御部１１が過去のフレーム画像等に基づいて生成してもよいし、ユーザがホスト８０又は制御部１１に対して設定してもよい。
１．１６ 受光部及び演算部のチップ構成例
図１６は、本実施形態に係るＴｏＦセンサにおける受光部及び演算部の積層構造例を示す図である。図１６に示すように、受光部１４及び演算部１５は、受光チップ１０１と回路チップ１０２とが上下に貼り合わされた貼合せチップ１００の構造を備える。受光チップ１０１は、例えば、受光部１４のＳＰＡＤ画素２０におけるフォトダイオード２１が配列するＳＰＡＤアレイ１４１を備える半導体チップであり、回路チップ１０２は、例えば、受光部１４におけるＳＰＡＤ画素２０のフォトダイオード２１以外の構成及び図１における演算部１５が配置された半導体チップである。
受光チップ１０１と回路チップ１０２との接合には、例えば、それぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合を用いることができる。ただし、これに限定されず、例えば、互いの接合面に形成された銅（Ｃｕ）製の電極パッド同士をボンディングする、いわゆるＣｕ−Ｃｕ接合や、その他、バンプ接合などを用いることも可能である。
また、受光チップ１０１と回路チップ１０２とは、例えば、半導体基板を貫通するＴＳＶ（Through-Silicon Via）などの接続部を介して電気的に接続される。ＴＳＶを用いた接続には、例えば、受光チップ１０１に設けられたＴＳＶと受光チップ１０１から回路チップ１０２にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインＴＳＶ方式や、受光チップ１０１から回路チップ１０２まで貫通するＴＳＶで両者を接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。
ただし、受光チップ１０１と回路チップ１０２との接合にＣｕ−Ｃｕ接合やバンプ接合を用いた場合には、Ｃｕ−Ｃｕ接合部やバンプ接合部を介して両者が電気的に接続される。
なお、図１６に示す貼合せチップ１００には、受光部１４及び演算部１５に限られず、発光部１３や制御部１１やその他の部が含まれていてもよい。
１．１７ 各チップの平面レイアウト例
図１７は、受光チップ１０１における受光面の平面レイアウトの一例を示す図である。図１７に示すように、受光チップ１０１の受光面における有効画素領域１２０には、複数のフォトダイオード２１が２次元格子状に配列した構成を備える。使用ＳＰＡＤアレイ１４２に属するＳＰＡＤ画素２０のフォトダイオード２１は、有効画素領域１２０の一部のフォトダイオード２１であってよいし、全部のフォトダイオード２１であってもよい。
図１８は、回路チップ１０２における受光チップ１０１側の面の平面レイアウト例を示す図である。図１８に示すように、回路チップ１０２における使用ＳＰＡＤアレイ１４２の領域と対応する領域には、ＳＰＡＤ画素２０における読出し回路２２が２次元格子状に配列する読出し回路領域２２Ａが配置されている。また、読出し回路領域２２Ａに隣接する領域には、４つの演算部１５−１〜１５−４が並列に配置されている。
各演算部１５−１〜１５−４では、読出し回路領域２２Ａに近い領域から順に、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４が配置されている。このように、読出し回路２２から出力された検出信号に対して処理を実行する順に配置することで、読出しから出力までの配線長を短くすることが可能となるため、信号遅延などを低減することが可能となる。
また、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４の並びに対して並行するように、レジスタブロック１５５が配置されている。このように、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４に対して近接するようにレジスタブロック１５５を配置することで、レジスタブロック１５５から各回路への信号線の引回しを簡素化することが可能となる。
さらに、以上のように、演算部を４つの演算部１５−１〜１５−４に分割することで、１つ１つの演算部の回路設計が容易化するとともに、１つの演算部の回路パターンを他の４つの演算部に使い回すことが可能となるため、回路設計に要する手間や時間を大幅に短縮することが可能となるというメリットも得られる。
１．１８ 作用・効果
以上のように、本実施形態によれば、使用ＳＰＡＤアレイ１４２の画角を複数の領域（フレーム画像５１−１〜５１−４に相当）に分割し、領域ごとに独立した演算係数を設定することが可能となるため、それぞれの領域に写される可能性の高い物体までの距離に応じて領域ごとに最適な演算係数を設定することが可能となる。それにより、それぞれの領域で最適な演算係数を用いて物体までの距離を算出すことが可能となるため、例えば、測距範囲ＡＲ内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
また、各領域に対する演算部１５−１〜１５−４を同じ回路パターンとすることが可能となるため、回路設計に要する手間や時間を大幅に短縮することも可能となる。
さらに、例えば、一部の領域に対しては測距処理を行なわない場合には、該当する演算部（演算部１５−１〜１５−４の何れか）に対する電力供給を停止することが可能となるため、状況に応じて消費電力を削減できるというメリットも存在する。
なお、本実施形態では、使用ＳＰＡＤアレイ１４２の画角ＳＲを水平方向へ往復走査する場合を例示したが、これに限定されず、使用ＳＰＡＤアレイ１４２の長手方向を水平方向とし、使用ＳＰＡＤアレイ１４２の画角ＳＲを垂直方向へ往復走査するように構成することも可能である。
また、ＳＰＡＤアレイ１４１の有効画素領域全体を画角とし、この画角を固定した、いわゆるフラッシュ型のＴｏＦセンサにおいて、図７に示すように、深度画像５０を複数の領域５０−１〜５０−４に分割するように構成することも可能である。
２．第２の実施形態
つぎに、第２の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、上述した第１の実施形態と同様の構成については、それを引用することで、その重複する説明を省略する。
上述した第１の実施形態では、分割された４つの演算部１５−１〜１５−４それぞれが、個別のレジスタブロック１５５を備える場合（図１３又は図１４等参照）を例示した。これに対し、第２の実施形態では、レジスタブロックを複数の演算部で共用する場合を例示する。
２．１ 演算部の概略構成例
図１９は、本実施形態に係る演算部の概略構成例を示すブロック図である。図１９に示すように、本実施形態では、演算部１５（図１参照）が、４つの演算部２５−１〜２５−４と、共用されるレジスタブロック２５５とで構成されている。
各演算部２５−１〜２５−４は、第１の実施形態に係る演算部１５−１〜１５−４と同様に、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４を備える。
レジスタブロック２５５は、それぞれの演算部２５−１〜２５−４が担当する領域５０−１〜５０−４に応じた演算係数１６−１〜１６−４を格納し、各演算部２５−１〜２５−４におけるサンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４それぞれに対して適切な演算係数１６−１〜１６−４を設定する。
２．２ 回路チップの平面レイアウト例
また、図２０は、本実施形態に係る回路チップの受光チップ側の面の平面レイアウト例を示す図である。図２０に示すように、本実施形態に係る回路チップ１０２では、読出し回路領域２２Ａに隣接する領域に、４つの演算部２５−１〜２５−４が並列に配置されている。レジスタブロック２５５は、例えば、４つの演算部２５−１〜２５−４が配列する領域に対し、この配列方向において隣接する側に配置されている。ただし、これに限定されず、４つの演算部２５−１〜２５−４を挟んで読出し回路領域２２Ａとは反対側にレジスタブロック２５５を配置したレイアウトとすることも可能である。
２．３ 作用・効果
以上のような構成によっても、第１の実施形態と同様に、領域ごとに最適な演算係数を用いて物体までの距離を算出すことが可能となるため、例えば、測距範囲ＡＲ内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
３．第３の実施形態
また、第２の実施形態では、レジスタブロック２５５を複数の演算部２５−１〜２５−４で共用する場合を例示した。これに対し、第３の実施形態では、演算部を複数のＳＰＡＤ領域１４２−１〜１４２−４で共用する場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成については、それを引用することで、その重複する説明を省略する。
３．１ 演算部の概略構成例
図２１は、本実施形態に係る演算部の概略構成例を示すブロック図である。図２１に示すように、本実施形態に係る演算部１５（図１参照）は、４つのＳＰＡＤ領域１４２−１〜１４２−４で共有されるサンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４と、各ＳＰＡＤ領域１４２−１〜１４２−４に対して個別の演算係数１６−１〜１６−４を格納するレジスタブロック１５５−１〜１５５−４とを備える。
サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４それぞれにおける一部の領域とレジスタブロック１５５−１とは、ＳＰＡＤ領域１４２−１から読み出された信号に対して演算処理を実行する演算部３５−１を構成する。同様に、サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４それぞれにおける一部の領域とレジスタブロック１５５−２とは、ＳＰＡＤ領域１４２−２から読み出された信号に対して演算処理を実行する演算部３５−１を構成し、サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４それぞれにおける一部の領域とレジスタブロック１５５−３とは、ＳＰＡＤ領域１４２−３から読み出された信号に対して演算処理を実行する演算部３５−１を構成し、サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４それぞれにおける一部の領域とレジスタブロック１５５−４とは、ＳＰＡＤ領域１４２−４から読み出された信号に対して演算処理を実行する演算部３５−１を構成する。
サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４における演算部３５−１に属する領域には、レジスタブロック１５５−１に格納された演算係数１６−１が設定される。
同様に、サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４における演算部３５−２〜３５−４それぞれに属する領域それぞれには、レジスタブロック１５５−２〜１５５−４に格納された演算係数１６−２〜１６−４が適宜設定される。
３．２ 回路チップの平面レイアウト例
また、図２２は、本実施形態に係る回路チップの受光チップ側の面の平面レイアウト例を示す図である。図２２に示すように、本実施形態に係る回路チップ１０２では、読出し回路領域２２Ａに隣接する領域に、共用されるサンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４が順に配列する。また、サンプリング回路３５１、ヒストグラム回路３５２、フィルタ回路３５３及びエコー検出回路３５４を挟んで読出し回路領域２２Ａと反対側の領域には、各演算部３５−１〜３５−４のレジスタブロック１５５−１〜１５５−４が配置される。
３．３ 作用・効果
以上のような構成によっても、第１の実施形態と同様に、領域ごとに最適な演算係数を用いて物体までの距離を算出すことが可能となるため、例えば、測距範囲ＡＲ内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
４．第４の実施形態
なお、上述した実施形態では、ＴｏＦセンサ１に実装された演算部１５が、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３、エコー検出回路１５４及びレジスタブロック１５５を備える場合を例示したが、サンプリング回路１５１、ヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４のうちの一部を、例えば、ホスト８０などの外部機器に実装することも可能である。
４．１ 第１例
例えば、図２３に示す測距システム４０１のように、ＴｏＦセンサ１の各演算部１５−１〜１５−４におけるヒストグラム回路１５２、フィルタ回路１５３及びエコー検出回路１５４と、レジスタブロック１５５の一部とをホスト８０へ実装し、ＴｏＦセンサ１の各演算部１５−１〜１５−４には、サンプリング回路１５１及びそのレジスタブロック１５５を実装した構成とすることも可能である。
４．２ 第２例
また、例えば、図２４に示す測距システム４０２のように、ＴｏＦセンサ１の各演算部１５−１〜１５−４におけるフィルタ回路１５３及びエコー検出回路１５４と、レジスタブロック１５５の一部とをホスト８０へ実装し、ＴｏＦセンサ１の各演算部１５−１〜１５−４には、サンプリング回路１５１及びヒストグラム回路１５２と、そのレジスタブロック１５５とを実装した構成とすることも可能である。
４．３ 第３例
さらに、例えば、図２５に示す測距システム４０４のように、ＴｏＦセンサ１の各演算部１５−１〜１５−４におけるエコー検出回路１５４及びそのレジスタブロック１５５をホスト８０へ実装し、ＴｏＦセンサ１の各演算部１５−１〜１５−４には、サンプリング回路１５１、ヒストグラム回路１５２及びフィルタ回路１５３と、そのレジスタブロック１５５とを実装した構成とすることも可能である。
４．４ 作用・効果
以上のような構成によっても、第１の実施形態と同様に、領域ごとに最適な演算係数を用いて物体までの距離を算出すことが可能となるため、例えば、測距範囲ＡＲ内に近距離の物体と遠距離の物体とが存在する場合でも、測距精度が低下することを低減することが可能となる。
なお、図２３〜図２５では、説明の簡略化のため、ＴｏＦセンサ１における一部の構成が省略されている。また、本実施形態では、第１の実施形態とベースとした場合を例示するが、ベースとする実施形態は、第１の実施形態に限定されず、他の実施形態とすることも可能である。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
５．第５の実施形態
次に、第５の実施形態について、図面を参照して詳細に説明する。第５の実施形態では、上述した実施形態に係るＴｏＦセンサ１を、自動運転機能を搭載した車両に搭載した場合について、例を挙げて説明する。なお、以下の説明では、第１の実施形態に係るＴｏＦセンサ１を用いた場合を例示するが、これに限定されず、他の実施形態に係るＴｏＦセンサ１を用いることも可能である。
５．１ 車載システム
図２６は、本実施形態に係る車載システムの概略構成例を示すブロック図である。図２６に示すように、車載システム５００は、例えば、ＴｏＦセンサ１と、自動運転モジュール５０１と、ＥＣＵ（Engine Control Unit）５０２とを備える。
ＥＣＵ５０２は、例えば、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、表示制御部、音声制御部、ＳＳＤ（Solid State Drive、フラッシュメモリ）等を備え、車両の走行や車内環境等に関する種々の制御を実行する。また、ＥＣＵ５０２は、自動運転モジュール５０１へ、車両の走行や車内環境等に関する種々の情報を通知する。
自動運転モジュール５０１は、例えば、ＥＣＵ５０２から通知された車両の走行や車内環境等に関する種々の情報に基づき、ＴｏＦセンサ１からの測距結果に基づいて車両の走行を自動制御する種々の処理を実行する。
また、自動運転モジュール５０１は、ＥＣＵ５０２から通知された車両の走行や車内環境等に関する種々の情報に基づき、ＴｏＦセンサ１の各演算部１５−１〜１５−４に設定する演算係数１６−１〜１６−４を、ＴｏＦセンサ１に入力する。この自動運転モジュール５０１は、例えば、上述した実施形態におけるホスト８０に相当する。
５．２ 演算係数切替動作
次に、図２６に示すような車載システム５００において、ＴｏＦセンサ１における演算処理の演算係数を切り替える際の動作について、例を挙げて説明する。なお、本説明では、自動運転モジュール５０１の動作に着目する。
図２７は、本実施形態に係る演算係数切替動作の概略例を示すフローチャートである。図２７に示すように、本動作では、起動後、自動運転モジュール５０１は、ＥＣＵ５０２から提供された情報に従い、車両が走行中であるか否かを判断し（ステップＳ１０１）、車両が走行を開始するまで待機する（ステップＳ１０１のＮＯ）。
車両が走行を開始すると（ステップＳ１０１のＹＥＳ）、自動運転モジュール５０１は、まず、不図示の照度センサ等で検出された現在の車外の照度Ｓが照度閾値Ｓ１以下であるか否かを判定する（ステップＳ１０２）。照度Ｓが照度閾値Ｓ１より大きい場合（ステップＳ１０２のＮＯ）、自動運転モジュール５０１は、ステップＳ１０５へ進む。一方、照度Ｓが照度閾値Ｓ１以下である場合（ステップＳ１０２のＹＥＳ）、自動運転モジュール５０１は、第１領域５０−１〜第４領域５０−４の全ての領域に対するエコー閾値を下げるように演算係数１６−１〜１６−４を変更するととともに（ステップＳ１０３）、例えば、第４領域５０−４の解像度を上げるように演算係数１６−４を変更し（ステップＳ１０４）、その後、ステップＳ１１５へ進む。
なお、ステップＳ１０２では、現在の照度Ｓと照度閾値Ｓ１との比較に代えて、例えば、特定の時間帯（主に夜間）であるか否かを判断してもよい。また、ステップＳ１０３におけるエコー閾値の下げ幅は、予め設定されていてもよいし、現在の照度Ｓに応じた下げ幅であってもよい。さらに、ステップＳ１０４における解像度の下げ幅は、予め設定されていてもよいし、現在の照度Ｓに応じた下げ幅であってもよい。さらにまた、ステップＳ１０４において解像度を下げる領域は、第４領域５０−４に限定されず、第３領域５０−３など、種々追加・変更することが可能である。
ステップＳ１０５では、自動運転モジュール５０１は、第１領域５０−１〜第４領域５０−４のうち、車両又はＴｏＦセンサ１からＴｏＦセンサ１の測距領域ＡＲ内に存在する物体までの距離Ｄが距離閾値Ｄ１以下である領域が存在するか否かを判定する。距離Ｄが距離閾値Ｄ１以下である領域が存在しない場合（ステップＳ１０５のＮＯ）、自動運転モジュール５０１は、ステップＳ１０９へ進む。一方、距離Ｄが距離閾値Ｄ１以下である領域が存在する場合（ステップＳ１０５のＹＥＳ）、自動運転モジュール５０１は、該当する領域のエコー閾値を上げ（ステップＳ１０６）、同じく該当する領域のフィルタ係数を低周波除去用のフィルタ係数に変更するとともに（ステップＳ１０７）、該当する領域のフレームレートを上げ（ステップＳ１０８）、その後、ステップＳ１１５へ進む。
なお、ステップＳ１０６では、ＴｏＦセンサ１で取得された前フレームに限られず、不図示のイメージセンサ等で取得された画像に基づいて、物体までの距離Ｄが算出されてもよい。また、ステップＳ１０６におけるエコー閾値の上げ幅は、予め設定されていてもよいし、現在の距離Ｄに応じた上げ幅であってもよい。さらに、ステップＳ１０７において、変更後の除去対象とする周波数帯は、予め設定しておいた周波数帯であってもよいし、現在の距離Ｄに応じた周波数帯であってもよい。さらにまた、ステップＳ１０８におけるフレームレートの上げ幅は、ステップＳ１０６におけるエコー閾値の上げ幅は、予め設定されていてもよいし、現在の距離Ｄに応じた上げ幅であってもよい。
ステップＳ１０９では、自動運転モジュール５０１は、ＥＣＵ５０２から提供された情報に従い、現在の車速Ｖが速度閾値Ｖ１以上であるか否かを判断する。車速Ｖが速度閾値Ｖ１未満である場合（ステップＳ１０９のＮＯ）、自動運転モジュール５０１は、ステップＳ１１１へ進む。一方、車速Ｖが速度閾値Ｖ１以上である場合（ステップＳ１０９のＹＥＳ）、自動運転モジュール５０１は、全領域のフレームレートを上げ（ステップＳ１１０）、その後、ステップＳ１１５へ進む。
なお、ステップＳ１１０におけるフレームレートの上げ幅は、ステップＳ１０６におけるエコー閾値の上げ幅は、予め設定されていてもよいし、現在の車速Ｖに応じた上げ幅であってもよい。
ステップＳ１１１では、自動運転モジュール５０１は、ＥＣＵ５０２から提供された情報に従い、手動又は自動により一定旋回角以上のハンドルが操作されたか否かを判定する。一定旋回角以上のハンドル操作がされていない場合（ステップＳ１１１のＮＯ）、自動運転モジュール５０１は、ステップＳ１１５へ進む。一方、一定旋回角以上のハンドル操作がされた場合（ステップＳ１１１のＹＥＳ）、自動運転モジュール５０１は、ハンドルの操作量に基づき、車両が右折するか否かを判定する（ステップＳ１１２）。車両が右折する場合（ステップＳ１１２のＹＥＳ）、自動運転モジュール５０１は、測距領域ＡＲにおける右側の領域に対するフレームレートを上げ（ステップＳ１１３）、その後、ステップＳ１１５へ進む。一方、右折でない場合、すなわち、車両が左折する場合（ステップＳ１１２のＮＯ）、自動運転モジュール５０１は、測距領域ＡＲにおける左側の領域に対するフレームレートを上げ（ステップＳ１１４）、その後、ステップＳ１１５へ進む。
ステップＳ１１５では、自動運転モジュール５０１は、例えば、ＥＣＵ５０２からの指示に従い、本動作を終了するか否かを判定し、終了する場合（ステップＳ１１５のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ１１５のＮＯ）、自動運転モジュール５０１は、ステップＳ１０１へリターンし、以降の動作を継続して実行する。
５．３ 作用・効果
以上のように、本実施形態によれば、車両の走行状態や車外状況等に応じて、各領域に対する演算係数を変更することが可能となる。それにより、車両の走行状態や車外状況等に応じた最適な測距が可能となる。
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
６．応用例
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図２９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図２８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図２８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
なお、図１を用いて説明した本実施形態に係るＴｏＦセンサ１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係るＴｏＦセンサ１は、図２８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、ＴｏＦセンサ１の制御部１１、演算部１５及び外部Ｉ／Ｆ１９は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。ただし、これに限定されず、車両制御システム７０００が図１におけるホスト８０に相当してもよい。
また、図１を用いて説明した本実施形態に係るＴｏＦセンサ１の少なくとも一部の構成要素は、図２８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した本実施形態に係るＴｏＦセンサ１が、図２８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、
前記受光素子それぞれから検出信号を読み出す読出し回路と、
それぞれ前記アレイ部における異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて当該領域の画角内に存在する物体までの距離に関する深度情報を生成する複数の演算部と、
を備え、
前記複数の演算部は、少なくとも一部が互いに異なる演算係数を使用して前記深度情報を生成する
測距装置。
（２）
前記演算部それぞれは、前記受光素子それぞれから所定のサンプリング周期で読み出された前記検出信号の数を、前記受光素子を１つ以上含む画素単位で集計することで、前記サンプリング周期ごとに各画素の画素値を生成するサンプリング回路を含む前記（１）に記載の測距装置。
（３）
前記演算部それぞれは、前記サンプリング回路で集計された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに生成するヒストグラム回路をさらに含む前記（２）に記載の測距装置。
（４）
前記演算部それぞれは、前記ヒストグラム回路で生成された前記画素ごとのヒストグラムからノイズ成分を除去するフィルタ回路をさらに含む前記（３）に記載の測距装置。
（５）
前記演算部それぞれは、前記フィルタ回路でノイズ成分が除去された前記ヒストグラムから特定の光の成分を抽出するエコー検出回路をさらに含む前記（４）に記載の測距装置。
（６）
前記演算係数それぞれは、前記エコー検出回路が前記ヒストグラムから前記特定の光の成分を抽出するための閾値と、前記フィルタ回路が前記ヒストグラムからノイズ成分を除去するためのフィルタ係数と、前記サンプリング回路が１つの前記画素に含める前記受光素子の数を決定する解像度と、前記アレイ部から前記深度情報を読み出すフレームレートと、前記ヒストグラムにおける出力する範囲を示す出力範囲とのうちの少なくとも１つを含む前記（５）に記載の測距装置。
（７）
前記アレイ部は、第１領域と、前記第１領域とは異なる第２領域とを含み、
前記複数の演算部は、前記第１領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第１領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第１演算部と、前記第２領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第２領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第２演算部とを含み、
前記演算係数は、前記エコー検出回路が前記ヒストグラムから前記特定の光の成分を抽出するための閾値を含み、
前記第１演算部に設定される前記演算係数における前記閾値は、前記第２演算部に設定される前記演算係数における前記閾値よりも高い値である
前記（５）に記載の測距装置。
（８）
前記アレイ部は、第１領域と、前記第１領域とは異なる第２領域とを含み、
前記複数の演算部は、前記第１領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第１領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第１演算部と、前記第２領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第２領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第２演算部とを含み、
前記演算係数は、前記フィルタ回路が前記ヒストグラムからノイズ成分を除去するためのフィルタ係数を含み、
前記第１演算部に設定される前記演算係数における前記フィルタ係数は、前記第２演算部に設定される前記演算係数における前記フィルタ係数よりも低い周波数成分を除去するフィルタ係数である
前記（５）に記載の測距装置。
（９）
前記アレイ部は、一列に配列する複数の領域に区画され、
前記演算部それぞれは、前記領域に対して一対一に対応する
前記（１）〜（８）の何れか１項に記載の測距装置。
（１０）
前記演算部それぞれは、前記深度情報を生成する際に使用する個別の演算係数を格納するレジスタブロックを含む前記（１）〜（９）の何れか１項に記載の測距装置。
（１１）
前記演算部それぞれに対して設定される個別の演算係数を格納する共通のレジスタブロックをさらに備える前記（１）〜（９）の何れか１項に記載の測距装置。
（１２）
前記アレイ部を備える第１チップと、
前記読出し回路及び前記複数の演算部を備える第２チップと、
を有し、
前記第１チップと前記第２チップとは、互いに貼り合わされた積層チップを構成し、
前記第２チップにおいて、前記複数の演算部は、前記読出し回路に対して並列に配置されている
前記（１）〜（１１）の何れか１項に記載の測距装置。
（１３）
前記演算部それぞれは、
前記受光素子それぞれから所定のサンプリング周期で読み出された前記検出信号の数を、前記受光素子を１つ以上含む画素単位で集計することで、前記サンプリング周期ごとに各画素の画素値を生成するサンプリング回路と、
前記サンプリング回路で集計された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに生成するヒストグラム回路と、
前記ヒストグラム回路で生成された前記画素ごとのヒストグラムからノイズ成分を除去するフィルタ回路と、
前記フィルタ回路でノイズ成分が除去された前記ヒストグラムから特定の光の成分を抽出するエコー検出回路と、
を含み、
前記演算部それぞれにおいて、前記サンプリング回路、前記ヒストグラム回路、前記フィルタ回路及び前記エコー検出回路は、前記読出し回路の近い側から、前記サンプリング回路、前記ヒストグラム回路、前記フィルタ回路及び前記エコー検出回路の順で配置されている
前記（１２）に記載の測距装置。
（１４）
前記アレイ部の画角を所定周期で所定方向に走査する光学システムをさらに備える前記（１）〜（１３）の何れか１項に記載の測距装置。
（１５）
所定波長のレーザ光を所定の発光周期で出力する発光部をさらに備え、
前記受光素子それぞれは、前記レーザ光の反射光を検出する
前記（１）〜（１４）の何れか１項に記載の測距装置。
（１６）
前記（１）〜（１５）の何れか１項に記載の測距装置と、
前記測距装置に対して前記演算係数を入力するモジュールと、
前記モジュールに対して車両の走行及び／又は車内環境に関する情報を通知する制御ユニットと、
を備え、
前記モジュールは、前記制御ユニットから通知された前記車両の走行及び／又は前記車内環境に関する前記情報に基づいて、前記測距装置に入力する前記演算係数を変更する
車載システム。
（１７）
それぞれフォトンの入射を検出する複数の受光素子それぞれから検出信号を読み出す読出しステップと、
異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて前記異なる領域それぞれの画角内に存在する物体までの距離に関する深度情報を生成する演算ステップと、
を含み、
前記演算ステップは、少なくとも一部が互いに異なる演算係数を使用して前記異なる領域それぞれの前記深度情報を生成する
測距方法。
１ ＴｏＦセンサ
１１ 制御部
１３ 発光部
１３１ 光源
１３２ コリメータレンズ
１３３ ハーフミラー
１３４ 駆動部
１３５ ガルバノミラー
１４ 受光部
１４１ ＳＰＡＤアレイ
１４２ 使用ＳＰＡＤアレイ
１４２−１〜１４２−４ ＳＰＡＤ領域
１４３ タイミング制御回路
１４４ 駆動回路
１４５ 出力回路
１４６ 受光レンズ
１５、１５−１〜１５−４、２５−１〜２５−４、３５−１〜３５−４ 演算部
１６−１〜１６−４ 演算係数
１７−１〜１７−４ 測距結果
１９ 外部Ｉ／Ｆ
２０ ＳＰＡＤ画素
２１ フォトダイオード
２２ 読出し回路
２２Ａ 読出し回路領域
２３ クエンチ抵抗
２４ 選択トランジスタ
２５ デジタル変換器
２５１ 抵抗
２５２ ＮＭＯＳトランジスタ
２６ インバータ
２６１ ＰＭＯＳトランジスタ
２６２ ＮＭＯＳトランジスタ
２７ バッファ
３０ マクロ画素
４０ ＳＰＡＤ加算部
４１ パルス整形部
４２ 受光数カウント部
５０ 深度画像
５０−１〜５０−４ 第１領域〜第４領域
５１−１〜５１−４ フレーム画像
８０ ホスト
９０ 物体
１００ 貼合せチップ
１０１ 受光チップ
１０２ 回路チップ
１２０ 有効画素領域
１５１、３５１ サンプリング回路
１５２、３５２ ヒストグラム回路
１５３、３５３ フィルタ回路
１５４、３５４ エコー検出回路
１５５、１５５−１〜１５５−４、２５５ レジスタブロック
１５６−１〜１５６−４ パラメータ設定部
１５６−５ ブロードキャストパラメータ設定部
４０１〜４０３ 測距システム
５００ 車載システム
５０１ 自動運転モジュール
５０２ ＥＣＵ
ＡＲ 測距領域
Ｈ１ 水平線
Ｌ１ レーザ光
Ｌ２ 反射光
ＬＤ 画素駆動線
ＬＳ 出力信号線
ＳＲ 画角

Claims (17)

  1. それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、
    前記受光素子それぞれから検出信号を読み出す読出し回路と、
    それぞれ前記アレイ部における異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて当該領域の画角内に存在する物体までの距離に関する深度情報を生成する複数の演算部と、
    を備え、
    前記複数の演算部は、少なくとも一部が互いに異なる演算係数を使用して前記深度情報を生成する
    測距装置。
  2. 前記演算部それぞれは、前記受光素子それぞれから所定のサンプリング周期で読み出された前記検出信号の数を、前記受光素子を１つ以上含む画素単位で集計することで、前記サンプリング周期ごとに各画素の画素値を生成するサンプリング回路を含む請求項１に記載の測距装置。
  3. 前記演算部それぞれは、前記サンプリング回路で集計された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに生成するヒストグラム回路をさらに含む請求項２に記載の測距装置。
  4. 前記演算部それぞれは、前記ヒストグラム回路で生成された前記画素ごとのヒストグラムからノイズ成分を除去するフィルタ回路をさらに含む請求項３に記載の測距装置。
  5. 前記演算部それぞれは、前記フィルタ回路でノイズ成分が除去された前記ヒストグラムから特定の光の成分を抽出するエコー検出回路をさらに含む請求項４に記載の測距装置。
  6. 前記演算係数それぞれは、前記エコー検出回路が前記ヒストグラムから前記特定の光の成分を抽出するための閾値と、前記フィルタ回路が前記ヒストグラムからノイズ成分を除去するためのフィルタ係数と、前記サンプリング回路が１つの前記画素に含める前記受光素子の数を決定する解像度と、前記アレイ部から前記深度情報を読み出すフレームレートと、前記ヒストグラムにおける出力する範囲を示す出力範囲とのうちの少なくとも１つを含む請求項５に記載の測距装置。
  7. 前記アレイ部は、第１領域と、前記第１領域とは異なる第２領域とを含み、
    前記複数の演算部は、前記第１領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第１領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第１演算部と、前記第２領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第２領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第２演算部とを含み、
    前記演算係数は、前記エコー検出回路が前記ヒストグラムから前記特定の光の成分を抽出するための閾値を含み、
    前記第１演算部に設定される前記演算係数における前記閾値は、前記第２演算部に設定される前記演算係数における前記閾値よりも高い値である
    請求項５に記載の測距装置。
  8. 前記アレイ部は、第１領域と、前記第１領域とは異なる第２領域とを含み、
    前記複数の演算部は、前記第１領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第１領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第１演算部と、前記第２領域に属する前記受光素子から読み出された前記検出信号に基づいて当該第２領域の画角内に存在する物体までの距離に関する前記深度情報を生成する第２演算部とを含み、
    前記演算係数は、前記フィルタ回路が前記ヒストグラムからノイズ成分を除去するためのフィルタ係数を含み、
    前記第１演算部に設定される前記演算係数における前記フィルタ係数は、前記第２演算部に設定される前記演算係数における前記フィルタ係数よりも低い周波数成分を除去するフィルタ係数である
    請求項５に記載の測距装置。
  9. 前記アレイ部は、一列に配列する複数の領域に区画され、
    前記演算部それぞれは、前記領域に対して一対一に対応する
    請求項１に記載の測距装置。
  10. 前記演算部それぞれは、前記深度情報を生成する際に使用する個別の演算係数を格納するレジスタブロックを含む請求項１に記載の測距装置。
  11. 前記演算部それぞれに対して設定される個別の演算係数を格納する共通のレジスタブロックをさらに備える請求項１に記載の測距装置。
  12. 前記アレイ部を備える第１チップと、
    前記読出し回路及び前記複数の演算部を備える第２チップと、
    を有し、
    前記第１チップと前記第２チップとは、互いに貼り合わされた積層チップを構成し、
    前記第２チップにおいて、前記複数の演算部は、前記読出し回路に対して並列に配置されている
    請求項１に記載の測距装置。
  13. 前記演算部それぞれは、
    前記受光素子それぞれから所定のサンプリング周期で読み出された前記検出信号の数を、前記受光素子を１つ以上含む画素単位で集計することで、前記サンプリング周期ごとに各画素の画素値を生成するサンプリング回路と、
    前記サンプリング回路で集計された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに生成するヒストグラム回路と、
    前記ヒストグラム回路で生成された前記画素ごとのヒストグラムからノイズ成分を除去するフィルタ回路と、
    前記フィルタ回路でノイズ成分が除去された前記ヒストグラムから特定の光の成分を抽出するエコー検出回路と、
    を含み、
    前記演算部それぞれにおいて、前記サンプリング回路、前記ヒストグラム回路、前記フィルタ回路及び前記エコー検出回路は、前記読出し回路の近い側から、前記サンプリング回路、前記ヒストグラム回路、前記フィルタ回路及び前記エコー検出回路の順で配置されている
    請求項１２に記載の測距装置。
  14. 前記アレイ部の画角を所定周期で所定方向に走査する光学システムをさらに備える請求項１に記載の測距装置。
  15. 所定波長のレーザ光を所定の発光周期で出力する発光部をさらに備え、
    前記受光素子それぞれは、前記レーザ光の反射光を検出する
    請求項１に記載の測距装置。
  16. 請求項１に記載の測距装置と、
    前記測距装置に対して前記演算係数を入力するモジュールと、
    前記モジュールに対して車両の走行及び／又は車内環境に関する情報を通知する制御ユニットと、
    を備え、
    前記モジュールは、前記制御ユニットから通知された前記車両の走行及び／又は前記車内環境に関する前記情報に基づいて、前記測距装置に入力する前記演算係数を変更する
    車載システム。
  17. それぞれフォトンの入射を検出する複数の受光素子それぞれから検出信号を読み出す読出しステップと、
    異なる領域に属する前記受光素子から読み出された前記検出信号に基づいて前記異なる領域それぞれの画角内に存在する物体までの距離に関する深度情報を生成する演算ステップと、
    を含み、
    前記演算ステップは、少なくとも一部が互いに異なる演算係数を使用して前記異なる領域それぞれの前記深度情報を生成する
    測距方法。
JP2019010563A 2019-01-24 2019-01-24 測距装置、車載システム及び測距方法 Pending JP2020118567A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019010563A JP2020118567A (ja) 2019-01-24 2019-01-24 測距装置、車載システム及び測距方法
PCT/JP2020/001607 WO2020153275A1 (ja) 2019-01-24 2020-01-17 測距装置、車載システム及び測距方法
US17/423,243 US20220066038A1 (en) 2019-01-24 2020-01-17 Distance measuring device, vehicle-mounted system, and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019010563A JP2020118567A (ja) 2019-01-24 2019-01-24 測距装置、車載システム及び測距方法

Publications (1)

Publication Number Publication Date
JP2020118567A true JP2020118567A (ja) 2020-08-06

Family

ID=71735431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019010563A Pending JP2020118567A (ja) 2019-01-24 2019-01-24 測距装置、車載システム及び測距方法

Country Status (3)

Country Link
US (1) US20220066038A1 (ja)
JP (1) JP2020118567A (ja)
WO (1) WO2020153275A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244508A1 (ja) * 2021-05-19 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距システム
WO2022254786A1 (ja) * 2021-06-03 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出システム、および光検出方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882455A (zh) * 2021-01-13 2021-06-01 北京中科慧眼科技有限公司 一种车速获取方法、系统和智能终端
US20220342094A1 (en) * 2021-04-22 2022-10-27 Lightcode Photonics Oü Three-dimensional imaging system
CN116960133A (zh) * 2022-04-15 2023-10-27 浙桂(杭州)半导体科技有限责任公司 一种高填充系数雪崩二极管传感器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007026777A1 (ja) * 2005-08-30 2007-03-08 National University Corporation Shizuoka University 半導体測距素子及び固体撮像装置
US7781811B2 (en) * 2005-08-30 2010-08-24 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
EP2315045B1 (de) * 2009-10-22 2012-08-01 Sick Ag Messung von Entfernungen oder Entfernungsänderungen
EP2405663A1 (en) * 2010-06-15 2012-01-11 Thomson Licensing Method of driving an image sensor
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9368936B1 (en) * 2013-09-30 2016-06-14 Google Inc. Laser diode firing system
JP5962637B2 (ja) * 2013-11-29 2016-08-03 株式会社デンソー 計測装置
JP6825569B2 (ja) * 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US20170242102A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar System with Dichroic Photodetector for Tracking the Targeting of a Scanning Ladar Transmitter
CN107506358A (zh) * 2016-06-14 2017-12-22 索尼公司 信息处理设备和信息处理方法
US10133280B2 (en) * 2016-06-23 2018-11-20 Lg Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
EP3370048B1 (en) * 2016-09-02 2023-07-26 Sony Semiconductor Solutions Corporation Image pickup device
WO2018091970A1 (en) * 2016-11-16 2018-05-24 Innoviz Technologies Ltd. Lidar systems and methods
US10515390B2 (en) * 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US10261183B2 (en) * 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
GB201622429D0 (en) * 2016-12-30 2017-02-15 Univ Court Of The Univ Of Edinburgh The Photon sensor apparatus
US11105925B2 (en) * 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
CN110537124B (zh) * 2017-03-01 2021-12-07 奥斯特公司 用于lidar的准确光检测器测量
JP6887856B2 (ja) * 2017-04-11 2021-06-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
US11520050B2 (en) * 2017-05-31 2022-12-06 Sharp Kabushiki Kaisha Three-dimensional image element and optical radar device comprising an optical conversion unit to convert scanned pulse light into fan-like pulse light
JP2019002760A (ja) * 2017-06-14 2019-01-10 オムロンオートモーティブエレクトロニクス株式会社 距離計測装置
JP6791055B2 (ja) * 2017-08-08 2020-11-25 株式会社デンソー 光検出装置、運転支援システム、及び自動運転システム
EP3688492B1 (en) * 2017-09-26 2023-12-20 Innoviz Technologies Ltd. Lidar systems and methods
JP7131099B2 (ja) * 2018-06-06 2022-09-06 株式会社デンソー 光学的測距装置およびその方法
JP6863342B2 (ja) * 2018-07-02 2021-04-21 株式会社デンソー 光測距装置
EP3614174B1 (en) * 2018-08-21 2021-06-23 Omron Corporation Distance measuring device and distance measuring method
EP3757616A4 (en) * 2018-08-31 2021-05-05 Shenzhen Goodix Technology Co., Ltd. TIME-OF-FLIGHT-BASED DISTANCE MEASUREMENT PROCESS AND DISTANCE MEASUREMENT SYSTEM
CN113795773A (zh) * 2019-03-08 2021-12-14 欧司朗股份有限公司 用于lidar传感器系统的部件，lidar传感器系统，lidar传感器装置，用于lidar传感器系统的方法和用于lidar传感器装置的方法
US11821990B2 (en) * 2019-11-07 2023-11-21 Nio Technology (Anhui) Co., Ltd. Scene perception using coherent doppler LiDAR

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022244508A1 (ja) * 2021-05-19 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距システム
DE112022002675T5 (de) 2021-05-19 2024-03-07 Sony Semiconductor Solutions Corporation Lichtdetektionsvorrichtung und entfernungsmessungssystem
WO2022254786A1 (ja) * 2021-06-03 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置、光検出システム、および光検出方法

Also Published As

Publication number Publication date
WO2020153275A1 (ja) 2020-07-30
US20220066038A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2020153275A1 (ja) 測距装置、車載システム及び測距方法
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
WO2020116039A1 (ja) 測距装置及び測距方法
JPWO2020170841A1 (ja) アバランシェフォトダイオードセンサ及び測距装置
JP2021128084A (ja) 測距装置および測距方法
WO2020022137A1 (ja) 受光装置及び測距装置
WO2021161712A1 (ja) 撮像装置及び車両制御システム
US20220003849A1 (en) Distance measuring device and distance measuring method
WO2021153254A1 (ja) 撮像装置及び撮像方法
WO2020121736A1 (ja) 光検出装置及び測距装置
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021161858A1 (ja) 測距装置および測距方法
WO2022044686A1 (ja) Ａｐｄセンサ及び測距システム
US20240006850A1 (en) Semiconductor laser driving apparatus, lidar including semiconductor laser driving apparatus, and vehicle including semiconductor laser driving apparatus
WO2021053958A1 (ja) 受光装置、並びに、測距装置及び測距装置の制御方法
WO2021161857A1 (ja) 測距装置および測距方法
WO2022244508A1 (ja) 光検出装置及び測距システム
WO2023281825A1 (ja) 光源装置、測距装置及び測距方法
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023145344A1 (ja) 受光素子、および電子機器
WO2023162734A1 (ja) 測距装置
WO2022176532A1 (ja) 受光装置、測距装置及び受光装置の信号処理方法
WO2023223928A1 (ja) 測距装置及び測距システム