JP2021050988A

JP2021050988A - 測距装置及び電子機器

Info

Publication number: JP2021050988A
Application number: JP2019173696A
Authority: JP
Inventors: 一輝大橋; Kazuteru Ohashi
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2021-04-01
Also published as: WO2021059699A1; US20220373682A1

Abstract

【課題】エイリアス距離にある物体の測距結果を無効にし、正しい距離（真の距離）が測定されている物体の測距結果のみを出力することができる測距装置、及び、当該測距装置を有する電子機器を提供する。【解決手段】本開示の測距装置は、被写体からの光を受光する光検出部、光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、を備える。本開示の電子機器は、上記の構成の測距装置を有する。【選択図】図９

Description

本開示は、測距装置及び電子機器に関する。

被写体までの距離情報（距離画像情報）を取得する測距装置（距離測定装置）として、ＴｏＦ（Time of Flight：光飛行時間）方式を利用した装置（センサ）がある。ＴｏＦ方式は、被写体（測定対象物）に対して光源から光を照射し、その照射光が被写体で反射されて光検出部に戻ってまでの光の飛行時間を検出することにより、被写体までの距離を測定する方式である。

ＴｏＦ方式の一つとして、光源から発した所定の周期のパルス光が被写体で反射し、その反射光を光検出部が受光した際の周期を検出し、発光の周期と受光の周期との位相差から光飛行時間を計測することにより、被写体までの距離を測定する間接（indirect）ＴｏＦ方式がある（例えば、特許文献１参照）。

特開２０１６−０３５３９８号公報

間接ＴｏＦ方式の測距装置では、光源から出射されるレーザ光の発光周波数（発光周期）に応じて測距可能な最大距離が決まるが、その最大距離を超えると、エイリアシングと呼称される折り返しひずみ（折り返した距離）が発生してしまう。そして、エイリアシングが発生する距離（エイリアス距離）にある物体については、実際の測定距離が、本来の正しい距離（真の距離）よりも近くなる。これにより、エイリアス距離にある物体の測距結果については、誤った測距結果として出力され、当該測距結果に基づいて各種の制御を行う後段のシステムでは、誤った制御が行われることになる。

本開示は、エイリアス距離にある物体の測距結果を無効にし、正しい距離（真の距離）が測定されている物体の測距結果のみを出力することができる測距装置、及び、当該測距装置を有する電子機器を提供することを目的とする。

上記の目的を達成するための本開示の測距装置は、
被写体からの光を受光する光検出部、
光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
深度計算部が算出した深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
を備える。

また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距装置を有する。

図１は、ＴｏＦ方式の測距システムの概念図である。図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。図３は、測距装置における光検出部の構成の一例を示すブロック図である。図４は、光検出部における画素の回路構成の一例を示す回路図である。図５は、ＴｏＦ方式の測距装置における距離の算出について説明するためのタイミング波形図である。図６は、測距装置における測距部の距離画像計算部の構成の一例を示すブロック図である。図７は、レーザ駆動周波数が１００ＭＨｚのときの真の深度と測距深度との関係を示す図である。図８Ａは、真の深度１．０ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを示す図であり、図８Ｂは、真の深度２．５ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを示す図である。図９は、本開示の実施形態に係る測距装置によって実行される、エイリアシング課題を解決するための処理の一例を示すフローチャートである。図１０は、本開示の実施形態の変形例を示すブロック図である。図１１Ａは、本開示の電子機器の具体例１に係るスマートフォンの正面側から見た外観図であり、図１１Ｂは、裏面側から見た外観図である。図１２Ａは、本開示の電子機器の具体例２に係るデジタルスチルカメラの正面側から見た外観図であり、図１２Ｂは、裏面側から見た外観図である。

以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の測距装置及び電子機器、全般に関する説明
２．ＴｏＦ方式の測距システム
３．本開示の技術が適用される測距装置
３−１．システム構成
３−２．光検出部の構成例
３−３．画素の回路構成例
３−４．距離画像計算部の構成例
３−５．エイリアシング課題について
４．本開示の実施形態
４−１．エイリアシング課題を解決するための処理例
４−２．セグメントのピクセル数の閾値設定
５．変形例
６．応用例
７．本開示の電子機器
７−１．具体例１（スマートフォンの例）
７−２．具体例２（デジタルスチルカメラの例）
８．本開示がとることができる構成

＜本開示の測距装置及び電子機器、全般に関する説明＞
本開示の測距装置及び電子機器にあっては、アーティファクト除去部について、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する構成とすることができる。また、アーティファクト除去部について、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付ける構成とすることができる。また、コンポーネントオブジェクトについて、セグメントのピクセル数及び深度平均値である構成とすることができる。

上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、アーティファクト除去部について、測距装置からのセグメントの距離に応じて所定の閾値を変更する構成とすることができる。また、アーティファクト除去部について、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する構成とすることができる。

＜ＴｏＦ方式の測距システム＞
図１は、ＴｏＦ方式の測距システムの概念図である。本例に係る測距装置１では、測定対象物である被写体１０までの距離を測定する測定方式として、ＴｏＦ方式が採用されている。ＴｏＦ方式は、被写体１０に向けて照射した光が、当該被写体１０で反射されて戻ってくるまでの時間を測定する方式である。ＴｏＦ方式による距離測定を実現するために、測距装置１は、被写体１０に向けて照射する光（例えば、赤外の波長領域にピーク波長を有するレーザ光）を出射する光源２０、及び、被写体１０で反射されて戻ってくる反射光を検出する光検出部３０を備えている。

＜本開示の技術が適用される測距装置＞
［システム構成］
図２は、本開示の技術が適用されるＴｏＦ方式の測距装置の構成の一例を示すブロック図である。本適用例に係る測距装置１（即ち、本開示の測距装置１）は、光源２０及び光検出部３０の他に、光検出部３０が出力する信号値に基づいて露光制御を行うＡＥ（Automatic Exposure：自動露光）制御部４０、及び、測距部５０を備えている。そして、本適用例に係るＴｏＦ方式の測距装置１は、光検出部３０の画素毎に距離情報を検出し、高精度な距離画像（ＤｅｐｔｈＭａｐ：深度マップ）を撮像フレームの単位で取得することができる。

本適用例に係る測距装置１は、間接（Indirect）ＴｏＦ方式の測距装置（所謂、間接ＴｏＦ方式の距離画像センサ）である。間接ＴｏＦ方式の測距装置１は、光源２０から発した所定の周期のパルス光が測定対象物（被写体）で反射し、その反射光を光検出部３０が受光した際の周期を検出する。そして、発光の周期と受光の周期との位相差から光飛行時間を計測することで、測定対象物までの距離を測定する。

光源２０は、ＡＥ制御部４０による制御の下に、オン／オフ動作を所定の周期で繰り返すことによって測定対象物に向けて光を照射する。光源２０の照射光としては、例えば、８５０ｎｍ付近の近赤外光が利用されることが多い。光検出部３０は、光源２０からの照射光が測定対象物で反射されて戻ってくる光を受光し、画素毎に距離情報を検出する。光検出部３０からは、画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データ、及び、発光・露光設定情報が出力され、ＡＥ制御部４０及び測距部５０に供給される。

ＡＥ制御部４０は、次フレーム発光・露光条件計算部４１及び次フレーム発光・露光制御部４２を有する構成となっている。次フレーム発光・露光条件計算部４１は、光検出部３０から供給される現フレームのＲＡＷ画像データ、及び、発光・露光設定情報に基づいて、次フレームの発光・露光条件を計算する。次フレームの発光・露光条件は、次フレームの距離画像を取得する際の光源２０の発光時間や発光強度、及び、光検出部３０の露光時間である。次フレーム発光・露光制御部４２は、次フレーム発光・露光条件計算部４１で算出された次フレームの発光・露光条件に基づいて、次フレームの光源２０の発光時間や発光強度、及び、光検出部３０の露光時間を制御する。

測距部５０は、距離画像を計算する距離画像計算部５１を有する構成となっている。距離画像計算部５１は、光検出部３０の画素毎に検出した距離情報を含む現フレームのＲＡＷ画像データを用いて計算を行うことによって距離画像を算出し、被写体の奥行き情報である深度、及び、光検出部３０の受光情報である信頼値の各情報を含む距離画像情報として測距装置１外へ出力する。ここで、距離画像とは、例えば、画素毎に検出した距離情報に基づく距離値（深度／奥行きの値）がそれぞれ画素に反映された画像である。

［光検出部の構成例］
ここで、光検出部３０の具体的な構成例について、図３を用いて説明する。図３は、光検出部３０の構成の一例を示すブロック図である。

光検出部３０は、センサチップ３１、及び、当該センサチップ３１に対して積層された回路チップ３２を含む積層構造を有している。この積層構造において、センサチップ３１と回路チップ３２とは、ビア（ＶＩＡ）やＣｕ−Ｃｕ接合などの接続部（図示せず）を通して電気的に接続される。尚、図３では、センサチップ３１の配線と回路チップ３２の配線とが、上記の接続部を介して電気的に接続された状態を図示している。

センサチップ３１上には、画素アレイ部３３が形成されている。画素アレイ部３３は、センサチップ３１上に２次元のグリッドパターンで行列状（アレイ状）に配置された複数の画素３４を含んでいる。画素アレイ部３３において、複数の画素３４はそれぞれ、入射光（例えば、近赤外光）を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部３３には、画素列毎に、２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂が配線されている。画素アレイ部３３の画素列の数をＭ（Ｍは、整数）とすると、合計で（２×Ｍ）本の垂直信号線ＶＳＬが画素アレイ部３３に配線されている。

複数の画素３４はそれぞれ、第１のタップＡ及び第２のタップＢ（その詳細については後述する）を有している。２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂のうち、垂直信号線ＶＳＬ₁には、対応する画素列の画素３４の第１のタップＡの電荷に基づくアナログの画素信号ＡＩＮ_P1が出力される。また、垂直信号線ＶＳＬ₂には、対応する画素列の画素３４の第２のタップＢの電荷に基づくアナログの画素信号ＡＩＮ_P2が出力される。アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2については後述する。

回路チップ３２上には、行選択部３５、カラム信号処理部３６、出力回路部３７、及び、タイミング制御部３８が配置されている。行選択部３５は、画素アレイ部３３の各画素３４を画素行の単位で駆動し、画素信号ＡＩＮ_P1，ＡＩＮ_P2を出力させる。行選択部３５による駆動の下に、選択行の画素３４から出力されたアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2は、２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂を通してカラム信号処理部３６に供給される。

カラム信号処理部３６は、画素アレイ部３３の画素列に対応して、例えば、画素列毎に設けられた複数のアナログ−デジタル変換器（ＡＤＣ）３９を有する構成となっている。アナログ−デジタル変換器３９は、垂直信号線ＶＳＬ₁，ＶＳＬ₂を通して供給されるアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2に対して、アナログ−デジタル変換処理を施し、出力回路部３７に出力する。出力回路部３７は、カラム信号処理部３６から出力されるデジタル化された画素信号ＡＩＮ_P1，ＡＩＮ_P2に対してＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理などを実行し、回路チップ３２外へ出力する。

タイミング制御部３８は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、行選択部３５、カラム信号処理部３６、及び、出力回路部３７等の駆動制御を行う。

［画素の回路構成例］
図４は、光検出部３０における画素３４の回路構成の一例を示す回路図である。

本例に係る画素３４は、光電変換部として、例えば、フォトダイオード３４１を有している。画素３４は、フォトダイオード３４１の他、オーバーフロートランジスタ３４２、２つの転送トランジスタ３４３，３４４、２つのリセットトランジスタ３４５，３４６、２つの浮遊拡散層３４７，３４８、２つの増幅トランジスタ３４９、３５０、及び、２つの選択トランジスタ３５１，３５２を有する構成となっている。２つの浮遊拡散層３４７，３４８は、先述した図３に示す第１，第２のタップＡ，Ｂ（以下、単に、「タップＡ，Ｂ」と記述する場合がある）に相当する。

フォトダイオード３４１は、受光した光を光電変換して電荷を生成する。フォトダイオード３４１については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。

オーバーフロートランジスタ３４２は、フォトダイオード３４１のカソード電極と電源電圧Ｖ_DDの電源ラインとの間に接続されており、フォトダイオード３４１をリセットする機能を持つ。具体的には、オーバーフロートランジスタ３４２は、行選択部３５から供給されるオーバーフローゲート信号ＯＦＧに応答して導通状態になることで、フォトダイオード３４１の電荷をシーケンシャルに電源電圧Ｖ_DDの電源ラインに排出する。

２つの転送トランジスタ３４３，３４４は、フォトダイオード３４１のカソード電極と２つの浮遊拡散層３４７，３４８（タップＡ，Ｂ）のそれぞれとの間に接続されている。そして、転送トランジスタ３４３，３４４は、行選択部３５から供給される転送信号ＴＲＧに応答して導通状態になることで、フォトダイオード３４１で生成された電荷を、浮遊拡散層３４７，３４８にそれぞれシーケンシャルに転送する。

第１，第２のタップＡ，Ｂに相当する浮遊拡散層３４７，３４８は、フォトダイオード３４１から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2を生成する。

２つのリセットトランジスタ３４５，３４６は、２つの浮遊拡散層３４７，３４８のそれぞれと電源電圧Ｖ_DDの電源ラインとの間に接続されている。そして、リセットトランジスタ３４５，３４６は、行選択部３５から供給されるリセット信号ＲＳＴに応答して導通状態になることで、浮遊拡散層３４７，３４８のそれぞれから電荷を引き抜いて、電荷量を初期化する。

２つの増幅トランジスタ３４９、３５０は、電源電圧Ｖ_DDの電源ラインと２つの選択トランジスタ３５１，３５２のそれぞれとの間に接続されており、浮遊拡散層３４７，３４８のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。

２つの選択トランジスタ３５１，３５２は、２つの増幅トランジスタ３４９、３５０のそれぞれと垂直信号線ＶＳＬ₁，ＶＳＬ₂のそれぞれとの間に接続されている。そして、選択トランジスタ３５１，３５２は、行選択部３５から供給される選択信号ＳＥＬに応答して導通状態になることで、増幅トランジスタ３４９、３５０のそれぞれで増幅された電圧信号を、アナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2として２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂に出力する。

２本の垂直信号線ＶＳＬ₁，ＶＳＬ₂は、画素列毎に、カラム信号処理部３６内の１つのアナログ−デジタル変換器３９の入力端に接続されており、画素列毎に画素３４から出力されるアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2をアナログ−デジタル変換器３９に伝送する。

尚、画素３４の回路構成については、光電変換によってアナログの画素信号ＡＩＮ_P1，ＡＩＮ_P2を生成することができる回路構成であれば、図３に例示した回路構成に限定されるものではない。

ここで、ＴｏＦ方式による距離の算出について図５を用いて説明する。図５は、ＴｏＦ方式の測距装置１における距離の算出について説明するためのタイミング波形図である。ＴｏＦ方式の測距装置１における光源２０及び光検出部３０は、図５のタイミング波形図に示すタイミングで動作する。

光源２０は、ＡＥ制御部４０による制御の下に、所定の期間、例えば、パルス発光時間Ｔ_pの期間だけ、測定対象物に対して光を照射する。光源２０から発せられた照射光は、測定対象物で反射されて戻ってくる。この反射光（active光）が、フォトダイオード３４１によって受光される。測定対象物への照射光の照射が開始されてから、フォトダイオード３４１が反射光を受光する時間、即ち、光飛行時間は、測距装置１から測定対象物までの距離に応じた時間となる。

図４において、フォトダイオード３４１は、照射光の照射が開始された時点から、パルス発光時間Ｔ_pの期間だけ、測定対象物からの反射光を受光する。このとき、フォトダイオード３４１が受光する光には、測定対象物に照射された光が、当該測定対象物で反射されて戻ってくる反射光（active光）の他に、物体や大気などで反射・散乱された環境光（ambient光）も含まれている。

１回の受光の際に、フォトダイオード３４１で光電変換された電荷が、タップＡ（浮遊拡散層３４７）に転送され、蓄積される。そして、タップＡから、浮遊拡散層３４７に蓄積した電荷量に応じた電圧値の信号ｎ₀が取得される。タップＡの蓄積タイミングが終了した時点で、フォトダイオード３４１で光電変換された電荷が、タップＢ（浮遊拡散層３４８）に転送され、蓄積される。そして、タップＢから、浮遊拡散層３４８に蓄積した電荷量に応じた電圧値の信号ｎ₁が取得される。

このように、タップＡ及びタップＢに対して、蓄積タイミングの位相を１８０度異ならせた駆動（位相を全く逆にした駆動）が行われることで、信号ｎ₀及び信号ｎ₁がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号ｎ₀及び信号ｎ₁の蓄積、積算が行われることで、蓄積信号Ｎ₀及び蓄積信号Ｎ₁がそれぞれ取得される。

例えば、１つの画素３４について、１つのフェーズに２回受光が行われ、タップＡ及びタップＢに４回ずつ、即ち、０度、９０度、１８０度、２７０度の信号が蓄積される。このようにして取得した蓄積信号Ｎ₀及び蓄積信号Ｎ₁を基に、測距装置１から測定対象物までの距離Ｄが算出される。

蓄積信号Ｎ₀及び蓄積信号Ｎ₁には、測定対象物で反射されて戻ってくる反射光（active光）の成分の他に、物体や大気などで反射・散乱された環境光（ambient光）の成分も含まれている。従って、上述した動作では、この環境光（ambient光）の成分の影響を除き、反射光（active光）の成分を残すため、環境光に基づく信号ｎ₂に関しても蓄積、積算が行われ、環境光成分についての蓄積信号Ｎ₂が取得される。

このようにして取得された、環境光成分を含む蓄積信号Ｎ₀及び蓄積信号Ｎ₁、並びに、環境光成分についての蓄積信号Ｎ₂を用いて、以下の式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出することができる。

式（１）及び式（２）において、Ｄは測距装置１から測定対象物までの距離を表し、ｃは光速を表し、Ｔ_pはパルス発光時間を表している。

図２に示した距離画像計算部５１は、環境光成分を含む蓄積信号Ｎ₀及び蓄積信号Ｎ₁、並びに、環境光成分についての蓄積信号Ｎ₂を用いて、光検出部３０から出力される、上記した式（１）及び式（２）に基づく演算処理により、測距装置１から測定対象物までの距離Ｄを算出し、距離画像情報として出力する。距離画像情報としては、例えば、距離Ｄに応じた濃度の色で色付けされた画像情報を例示することができる。尚、ここでは、算出した距離Ｄを距離画像情報として出力するとしたが、算出した距離Ｄをそのまま距離情報として出力するようにしてもよい。

［距離画像計算部の構成例］
測距装置１における測距部５０の距離画像計算部５１の構成の一例を図６に示す。本例に係る距離画像計算部５１は、深度計算部５１１、較正部５１２、ノイズ低減部５１３、及び、アーティファクト除去部５１４を有する構成となっている。

上記の構成の距離画像計算部５１において、深度計算部５１１は、光検出部３０から与えられるＲＡＷ画像データを用いて、光源２０から出射された光が被写体で反射し、その反射光の光検出部３０への到達位相差から深度情報及び信頼値情報を計算する。ここで、「深度」とは、被写体の奥行き情報（距離情報）のことであり、「信頼値」とは、光検出部３０の受光情報であり、光源２０から出射された光が、被写体で反射されて光検出部３０に戻ってくる反射光の量（度合い）のことである。

較正部５１２は、例えば、光源２０から出射された光と光検出部３０に入射する光との位相を合わせたり、波形補正や温度補正等の較正処理を行ったりする。ノイズ低減部５１３は、例えば、ローパスフィルタから成り、ノイズを低減する処理を行う。アーティファクト除去部５１４は、種々のフィルタ機能を備えており、ノイズ低減部５１３を経た深度及び信頼値の各情報について、測距が間違っているものや、光検出部３０の受光の信頼値の低いものを排除する処理を行う。

尚、ここでは、較正部５１２、ノイズ低減部５１３、及び、アーティファクト除去部５１４について、その順番で配置された構成を例示しているが、その配置の順番については任意である、即ち、変更してもよい。

［エイリアシング課題について］
ところで、上述した間接ＴｏＦ方式の測距装置では、光源２０から出射されるレーザ光の発光周波数（発光周期）に応じて測距可能な最大距離が決まる。一例として、光源２０のレーザ駆動周波数（発光周波数）が１００ＭＨｚのときの真の深度と測距深度との関係を図７に示す。この例の場合、測距可能な最大距離は１．５ｍである。

間接ＴｏＦ方式の測距装置では、位相差に基づく測距であり、１周すると同じ位相に戻ることから、被写体までの距離が測距可能な最大距離を超えると、エイリアシング（折り返した距離）が発生してしまう。エイリアシング課題は、金属やガラスなど、鏡面反射成分が大きい高反射率な被写体で特に発生しやすい。

そして、エイリアス距離（エイリアシングが発生する距離）にある物体については、実際の測定距離（測距深度）が、本来の正しい距離（真の深度）よりも近くなる。例えば、２．５ｍの距離にある被写体の実際の測定距離（測距深度）が１．０ｍとなる。このように、エイリアス距離にある物体の測距結果については、誤った測距結果として測距装置１から出力されることになる。

その結果、測距装置１の測距結果（深度及び信頼値を含む距離画像情報）に基づいて各種の制御を行う後段のシステムでは、測距装置１の誤った測距結果に基づいて誤った制御が行われることになる。一例として、測距装置１の測距結果を、自動的にカメラの焦点（ピント）を合わせるオートフォーカスに応用する場合には、正確なフォーカス制御が行われないことになる。

ここで、画像に映る被写体の大きさについて考察する。真の深度１．０ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを図８Ａに示し、真の深度２．５ｍ、測距深度１．０ｍの場合の画像に映る被写体の大きさを図８Ｂに示す。図８Ｂは、エイリアス距離にある被写体の場合の例である。

図８Ａの場合も、図８Ｂの場合も、測距距離（測距深度）が同じ１．０ｍである。図８Ａと図８Ｂとの対比から明らかなように、同じ１．０ｍの距離として測距されるが、被写体の映る大きさが異なる。すなわち、真の深度２．５ｍの場合（図８Ｂ）の方が、真の深度１．０ｍの場合（図８Ａ）よりも、画像に映る被写体の大きさが小さくなる。これは、画像に映る被写体の大きさが、測距装置１からの被写体の距離によって異なることを意味する。

＜本開示の実施形態＞
本開示の実施形態では、上記のように、画像に映る被写体の大きさが、測距装置１からの被写体の距離によって変化する性質を利用して、間接ＴｏＦ方式の測距装置特有の課題であるエイリアシング課題を解決するようにする。このエイリアシング課題を解決する処理は、本実施形態にあっては、測距部５０の距離画像計算部５１内のアーティファクト除去部５１４において、フィルタ機能の一つとして実行される。

［エイリアシング課題を解決するための処理例］
以下に、アーティファクト除去部５１４において実行される、エイリアシング課題を解決するための処理の一例について、図９のフローチャートを用いて説明する。

以下では、アーティファクト除去部５１４の機能をプロセッサによって実現する構成の場合において、アーティファクト除去部５１４を構成するプロセッサによる制御の下に、エイリアシング課題を解決するための一連の処理が実行されることとする。

アーティファクト除去部５１４を構成するプロセッサ（以下、単に「プロセッサ」と記述する）は、図６の深度計算部５１１で算出された深度情報を基に、画像を各セグメント（部分／物体）に分けるセグメント化処理を行う（ステップＳ１１）。このセグメント化処理では、一例として、図８Ａ、図８Ｂの場合を例に挙げると、背景の大きい部分と、真ん中の丸い部分とをそれぞれセグメントとして分ける処理が行われる。

次に、プロセッサは、各セグメントに対してラベル１〜ｎ（ｎは２以上の整数）を付けるラベル付け処理を行う（ステップＳ１２）。このラベル付け処理では、画像を１行ずつ走査し、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント（部分／物体）毎に異なるラベルを付与する処理が行われる。

次に、プロセッサは、各ラベル１〜ｎについて、コンポーネントオブジェクトを作成する（ステップＳ１３）。ここで、「コンポーネントオブジェクト」とは、セグメントのピクセル数、及び、深度平均値（距離平均値）のことである。

次に、プロセッサは、ラベルカウンタｉをインクリメントし（ステップＳ１４）、次いで、ラベル１（ｉ＝１）について深度平均値から、セグメントのピクセル数の閾値を決定する（ステップＳ１５）。ステップＳ１５の処理では、各セグメント毎に距離を考慮してセグメントのピクセル数の閾値を決定する、より具体的には、測距装置１からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する。

近距離／遠距離については、所定の距離（例えば、１ｍ）を基準（閾値）として定義することができる。但し、セグメントのピクセル数の閾値については、近距離／遠距離の２パターンに限られるものではなく、更に細分化して３パターン以上に増やすようにしてもよい。セグメントのピクセル数の閾値設定の詳細については後述する。

続いて、プロセッサは、ラベル１のセグメントについてピクセル数が閾値を超えるか否かを判断する（ステップＳ１６）。この判断処理において、プロセッサは、ピクセル数が閾値を超えると判断した場合には（Ｓ１６のＹＥＳ）、そのセグメントを有効とし（ステップＳ１７）、ピクセル数が閾値以下であると判断した場合には（Ｓ１６のＮＯ）、そのセグメントを無効とする（ステップＳ１８）。

ステップＳ１７の処理、又は、ステップＳ１８の処理の終了後、プロセッサは、全ラベル１〜ｎについて、セグメントの有効／無効の処理が終了したか否かを判断し（ステップＳ１９）、終了していれば（Ｓ１９のＹＥＳ）、エイリアシング課題を解決するための上述した一連の処理を終了する。また、プロセッサは、全ラベル１〜ｎについて終了していなければ（Ｓ１９のＮＯ）、ステップＳ１４に戻ってラベルカウンタｉをインクリメントし、以降、ステップＳ１５〜ステップＳ１９の処理を、全ラベル１〜ｎについて、セグメントの有効／無効の処理が終了したと判断するまで繰り返して実行する。

上述したように、本実施形態に係る測距装置１では、光検出部３０から与えられるＲＡＷ画像データに基づいて深度計算部５１１で被写体の深度情報を算出し、当該深度情報を基にセグメント化処理を行い、ピクセル数が閾値よりも小さいセグメントを無効にする処理が行われる。この処理により、間接ＴｏＦ方式の測距装置特有の課題であるエイリアシング課題を解決することができる。すなわち、エイリアス距離にある物体の測距結果については、誤った測距結果として測距装置１から出力されることはなく、正しい距離（真の距離）が測定されている物体の測距結果のみを出力することができる。

［セグメントのピクセル数の閾値設定］
ここで、セグメントの有効／無効の判断基準となる、セグメントのピクセル数の閾値設定について説明する。

測距対象の被写体（物体）の大きさを定義し、光検出部３０の焦点距離や画素ピッチから、距離毎に撮像されるセグメントのピクセル数を算出し、この算出したピクセル数を閾値とすることができる。
・測距対象の被写体については、エイリアシング課題が特に発生しやすい物体、例えば、金属やガラスなど、鏡面反射成分が大きい高反射率な物体から選ぶようにする。
・エイリアシング課題は、エイリアシング課題が発生しやすい物体全体で発生する訳ではなく、レーザ光が正対する領域付近で発生しやすい。そのため、大きなる物体（被写体）であっても、エイリアシング課題が発生する領域の大きさを設定する場合もある。

＜変形例＞
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、セグメントのピクセル数の閾値について、深度平均値を基に決定するとしたが、これに限られるものではなく、次のような構成をとることもできる。

例えば、図１０に示すように、ＲＧＢカメラ６１を用いるとともに、各被写体毎の閾値を予め設定しておく。そして、ＲＧＢカメラ６１の撮像出力を基に、物体認識部６２で被写体認識を行い、その認識結果を基にパラメータ制御部６３によって、予め設定した閾値を決めるようにする。但し、被写体認識については、ＲＧＢカメラ６１の出力を基に行うのではなく、測距装置１の最終出力、即ち、深度及び信頼値の各情報を含む距離画像情報を基に行うようにしてもよいし、ＲＧＢカメラ６１の出力、及び、測距装置１の最終出力の両方を基に行うようにしてもよい。

＜応用例＞
本開示の測距装置は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）等のいずれかの種類の移動体に搭載される測距装置として用いることができる。また、上記の実施形態では、本開示の測距装置について、距離画像（深度マップ）を取得する手段として用いる場合を例に挙げて説明したが、単に距離画像を取得する手段として用いるだけでなく、自動的にカメラの焦点（ピント）を合わせるオートフォーカスに応用することができる。

＜本開示の電子機器＞
以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。

以下に、本開示の測距装置を用いる電子機器の具体例として、スマートフォン及びデジタルスチルカメラを例示する。スマートフォン及びデジタルスチルカメラに搭載される測距装置の距離画像情報（深度情報）は、オートフォーカスのためのレンズ駆動情報として用いられる。但し、ここで例示する具体例は一例に過ぎず、これらの具体例に限られるものではない。

［具体例１：スマートフォンの例］
本開示の電子機器の具体例１に係るスマートフォンについて、正面側から見た外観図を図１１Ａに示し、背面側から見た外観図を図１１Ｂに示す。本具体例に係るスマートフォン１００は、筐体１１０の正面側に表示部１２０を備えている。また、スマートフォン１００は、例えば、筐体１１０の裏面側の上方部に撮像部１３０を備えている。

先述した本開示の実施形態に係る測距装置１は、例えば、上記の構成のモバイル機器の一例であるスマートフォン１００に搭載して用いることができる。この場合、測距装置１の光源２０及び光検出部３０については、例えば図１１Ｂに示すように、撮像部１３０の近傍に配置することができる。但し、図１１Ｂに示す光源２０及び光検出部３０の配置例は、一例であって、この配置例に限られるものではない。

上述したように、具体例１に係るスマートフォン１００は、本開示の実施形態に係る測距装置１を搭載することによって作製される。そして、具体例１に係るスマートフォン１００は、上記の測距装置１を搭載することにより、エイリアシング課題を解決しつつ正確な測距結果を得ることができるため、当該測距結果に基づいてピントの合った撮像画像を得ることができる。

［具体例２：デジタルスチルカメラの例］
本開示の電子機器の具体例２に係るレンズ交換式一眼レフレックスタイプのデジタルスチルカメラについて、正面側から見た外観図であり、図１２Ｂは、裏面側から見た外観図である。

レンズ交換式一眼レフレックスタイプのデジタルスチルカメラ２００は、例えば、カメラ本体部（カメラボディ）２１１の正面右側に交換式の撮影レンズユニット（交換レンズ）２１２を有し、正面左側に撮影者が把持するためのグリップ部２１３を有している。そして、カメラ本体部２１１の背面略中央にはモニター２１４が設けられている。モニター２１４の上部には、ビューファインダ（接眼窓）２１５が設けられている。撮影者は、ビューファインダ２１５を覗くことによって、撮影レンズユニット２１２によって導かれた被写体の光像を視認して構図決定を行うことが可能である。

先述した本開示の実施形態に係る測距装置１は、例えば、上記の構成のモバイル機器の一例であるデジタルスチルカメラ２００に搭載して用いることができる。この場合、測距装置１の光源２０及び光検出部３０については、例えば図１２Ａに示すように、撮影レンズユニット２１２の近傍に配置することができる。但し、図１２Ａに示す光源２０及び光検出部３０の配置例は、一例であって、この配置例に限られるものではない。

上述したように、具体例２に係るデジタルスチルカメラ２００は、本開示の実施形態に係る測距装置１を搭載することによって作製される。そして、具体例２に係るデジタルスチルカメラ２００は、上記の測距装置１を搭載することにより、エイリアシング課題を解決しつつ正確な測距結果を得ることができるため、当該測距結果に基づいてピントの合った撮像画像を得ることができる。

＜本開示がとることができる構成＞
尚、本開示は、以下のような構成をとることもできる。

≪Ａ．測距装置≫
［Ａ−１］被写体からの光を受光する光検出部、
光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
深度計算部が算出した深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
を備える測距装置。
［Ａ−２］アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
上記［Ａ−１］に記載の測距装置。
［Ａ−３］アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
上記［Ａ−２］に記載の測距装置。
［Ａ−４］コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
上記［Ａ−２］又は上記［Ａ−３］に記載の測距装置。
［Ａ−５］アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
上記［Ａ−１］乃至上記［Ａ−４］のいずれかに記載の測距装置。
［Ａ−６］アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
上記［Ａ−５］に記載の測距装置。

≪Ｂ．電子機器≫
［Ｂ−１］被写体からの光を受光する光検出部、
光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
深度計算部が算出した深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
を備える測距装置を有する電子機器。
［Ｂ−２］アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
上記［Ｂ−１］に記載の電子機器。
［Ｂ−３］アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
上記［Ｂ−２］に記載の電子機器。
［Ｂ−４］コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
上記［Ｂ−２］又は上記［Ｂ−３］に記載の電子機器。
［Ｂ−５］アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
上記［Ｂ−１］乃至上記［Ｂ−４］のいずれかに記載の電子機器。
［Ｂ−６］アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
上記［Ｂ−５］に記載の電子機器。

１・・・測距装置、１０・・・被写体（測定対象物）、２０・・・光源、３０・・・光検出部、４０・・・ＡＥ制御部、４１・・・次フレーム発光・露光条件計算部、４２・・・次フレーム発光・露光制御部、５０・・・測距部、５１・・・距離画像計算部、６１・・・ＲＧＢカメラ、６２・・・物体認識部、６３・・・パラメータ制御部

Claims

被写体からの光を受光する光検出部、
光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
深度計算部が算出した深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
を備える測距装置。
アーティファクト除去部は、各セグメントに対してラベル付けを行い、各ラベルについて、コンポーネントオブジェクトを作成する、
請求項１に記載の測距装置。
アーティファクト除去部は、近傍画素と深度情報が連続する画素に対して同じラベルを付ける処理により、セグメント毎に異なるラベルを付与する、
請求項２に記載の測距装置。
コンポーネントオブジェクトは、セグメントのピクセル数及び深度平均値である、
請求項２に記載の測距装置。
アーティファクト除去部は、測距装置からのセグメントの距離に応じて所定の閾値を変更する、
請求項１に記載の測距装置。
アーティファクト除去部は、測距装置からのセグメントの距離が、相対的に近い近距離用の閾値を大きく設定し、相対的に遠い遠距離用の閾値を小さく設定する、
請求項５に記載の測距装置。
被写体からの光を受光する光検出部、
光検出部の出力に基づいて、被写体の深度情報を計算する深度計算部、及び、
深度情報を基に画像を各セグメントに分け、各セグメントのピクセル数が所定の閾値を超えるセグメントを有効とし、所定の閾値以下のセグメントを無効とするアーティファクト除去部、
を備える測距装置を有する電子機器。