JP2020190418A - 距離画像生成装置 - Google Patents

Abstract

【課題】一例として、距離値のバラツキを低減することができる距離画像生成装置を提供する。【解決手段】本開示の一例としての距離画像生成装置は、フィルタ部と、フィルタ前距離バラツキ推定部とを備える。フィルタ部は、距離値を画素値とする距離画像に対し、距離バラツキを低減するフィルタを用いたフィルタリングを行うことにより、フィルタ後距離画像を生成する。フィルタ前距離バラツキ推定部は、輝度値を画素値とする距離画像に対応した輝度画像に基づき、距離バラツキの程度を画素ごとに推定する。また、フィルタ部は、フィルタにおける各画素の重みを、当該画素について推定された距離バラツキの程度に応じて決定する。【選択図】図２

Description

本開示は、距離画像生成装置に関する。

従来、変調光を照射し、その反射光の位相差を用いて距離を測定することにより、測定結果である距離値を画素値とする距離画像を生成する距離画像生成装置が知られている。

特開２０１２−２２０２８５号公報 特開２０１７−０５３７６９号公報

上記従来技術において、距離の測定精度は、測定対象物から返ってくる反射光の光量に依存する。このため、たとえば測定対象物までの距離が離れている場合や、測定対象物の反射率が低い場合など、反射光の光量が得られにくい状況において距離値のバラツキが大きくなるおそれがある。

本開示の課題の一つは、距離値のバラツキを低減することができる距離画像生成装置を提供することにある。

本開示に係る距離画像生成装置は、一例として、距離値を画素値とする距離画像に対し、距離バラツキを低減するフィルタを用いたフィルタリングを行うことにより、フィルタ後距離画像を生成するフィルタ部と、輝度値を画素値とする前記距離画像に対応した輝度画像に基づき、前記距離バラツキの程度を画素ごとに推定するフィルタ前距離バラツキ推定部とを備え、前記フィルタ部は、前記フィルタにおける各画素の重みを、当該画素について推定された前記距離バラツキの程度に応じて決定する。フィルタにおける各画素の重みを、当該画素について推定された距離バラツキの程度に応じて決定することで、最適な距離バラツキ削減効果のあるフィルタリングを実現することができる。よって、一例としては、距離値のバラツキを低減することができる。

上記距離画像生成装置では、一例として、前記フィルタ前距離バラツキ推定部は、前記輝度値の逆数を変数とする一次関数を用いて前記距離バラツキの程度を推定する。距離値の測定精度は、測定対象物から返ってくる反射光の光量が少なくなるほど低くなる。そこで、輝度値の逆数を変数とする一次関数を用いて距離バラツキの程度を推定することで、距離バラツキの程度の推定に要する計算量を削減することができる。

上記距離画像生成装置では、一例として、前記フィルタは、バイラテラルフィルタであり、前記フィルタ部は、前記画素について推定された前記距離バラツキの程度に予め決められた正の係数を乗じた値を、前記バイラテラルフィルタにおける、注目画素の前記距離値と周辺画素の前記距離値との差分に応じた重み付けを制御するパラメータとして決定する。これにより、最適な距離バラツキ削減効果のあるフィルタリングを実現することができる。

上記距離画像生成装置では、一例として、前記フィルタ部は、前記フィルタにおける注目画素の座標と周辺画素の座標との差である距離差を、前記注目画素について推定された前記距離バラツキの程度に予め決められた正の係数を乗じた値である閾値と比較し、前記距離差が前記閾値以下である場合には前記周辺画素の前記重みを１に決定し、前記距離差が前記閾値よりも大きい場合には前記周辺画素の前記重みを０に決定する。よって、一例としては、フィルタリングの計算量を削減することができる。

上記距離画像生成装置では、一例として、前記フィルタ部によって決定された前記画素の前記重みと、当該画素について推定された前記距離バラツキの程度とに基づき、当該画素についての前記距離バラツキの程度を再度推定するフィルタ後距離バラツキ推定部と、前記フィルタ部によって生成された前記フィルタ後距離画像を、前記フィルタ後距離バラツキ推定部によって推定された前記距離バラツキの程度に基づいてマスクするマスク部とをさらに備える。フィルタ後距離バラツキ推定部によって推定される距離バラツキの程度は、フィルタ部によるフィルタリングの効果により、フィルタ前距離バラツキ推定部によって推定される距離バラツキの程度よりも小さくなる。したがって、フィルタ後距離バラツキ推定部によって推定された距離バラツキの程度を用いることで、フィルタ前距離バラツキ推定部によって推定される距離バラツキの程度を用いた場合と比較して、マスク部においてマスクされる画素の数を低減することができる。

図１は、実施形態に係る距離画像生成装置の構成を示すブロック図である。 図２は、距離計算部の構成を示すブロック図である。 図３は、フィルタ前距離バラツキ（σ_b）と明るさ（I）との関係を示す図である。 図４は、フィルタ前距離バラツキ（σ_b）と、１／明るさ（I）との関係を示す図である。 図５は、空間フィルタリングの説明図である。 図６は、測定対象物の中心付近に位置する注目画素のフィルタ範囲と、測定対象物のエッジ付近に位置する注目画素のフィルタ範囲とを示した図である。 図７は、距離画像生成処理の手順を示すフローチャートである。

以下に、本開示による距離画像生成装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本開示に係る距離画像生成装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．距離画像生成装置の構成〕
まず、実施形態に係る距離画像生成装置の構成について図１を参照して説明する。図１は、実施形態に係る距離画像生成装置の構成を示すブロック図である。

図１に示すように、実施形態に係る距離画像生成装置１は、光源部２と、センサ部３と、制御部４と、距離計算部５とを備える。

光源部２は、発光素子２１と、温度測定部２２とを備える。発光素子２１は、たとえばＬＥＤ（Light Emitting Diode）であり、測定対象物Ｔに対して変調光を照射する。なお、発光素子２１は、変調されたレーザー光を測定対象物Ｔに照射するものであってもよい。温度測定部２２は、発光素子２１の温度を測定する。

光源部２は、後述する制御部４から出力される光源駆動用の矩形パルスに基づき、発光素子２１を矩形パルスに応じた変調周波数の周期で発光させる。また、光源部２は、発光素子２１の温度を温度測定部２２により測定し、測定結果を距離計算部５へ出力する。

センサ部３は、たとえばＣＭＯＳ（Complementary metal-oxide-semiconductor）やＣＣＤ（Charged-coupled devices）であり、発光素子２１から照射され、測定対象物Ｔによって反射された変調光を受光する。センサ部３は、受光した変調光の光量に基づく生画像を生成し、生成した生画像を距離計算部５へ出力する。生画像とは、たとえば、各画素の輝度情報のみを持つ画像のことである。

センサ部３は、後述する制御部４から出力されるセンサ駆動の矩形パルスに基づき、発光素子２１と同期するようにシャッタータイミングが調整される。

制御部４は、光源部２およびセンサ部３を制御する。具体的には、制御部４は、発光素子２１を駆動するためのある変調周波数の矩形パルスを生成する光源駆動波形生成部４１と、センサ部３を制御するための矩形パルスを生成するセンサ制御波形生成部４２とを備える。

距離計算部５は、センサ部３によって受光された変調光に基づいて測定対象物Ｔまでの距離値を画素値とする距離画像（マスク後距離画像）を生成する。

ここで、距離計算部５において距離値の算出に用いられるＴＯＦ（Time Of Flight）方式について説明する。

ＴＯＦ方式は、投光パルス（発光素子２１から照射される光に相当）と受光パルス（センサ部３において受光される光に相当）との位相遅れの程度を計測することによって距離を測定する。具体的には、ＴＯＦ方式では、変調周波数freqMで生成した投光パルスを複数の位相（例えば、２位相方式の場合には0°と180°、４位相方式の場合には0°、90°、180°および270°）でずらしたタイミングで受光して電荷を蓄積し、それぞれのタイミングの電荷量の比率に基づいて時間差を算出して、算出された時間差から距離を算出する。

一例として、２位相方式では、投光パルスと同位相(0°)、逆位相（180°）の２つのタイミングで受光パルスを受光して、それぞれ電荷を蓄積する。0°で蓄積した電荷をq₀、180°で蓄積した電荷をq₁₈₀とすると、出力光と反射光の位相差（Δφ）は、下記の数式（１）で表される。

そして、距離をd、光速をcとすると、距離dは、下記の数式（２）で表される。

測定対象物が近い場合、電荷q₁₈₀と比べて電荷q₀が多くなり、測定対象物が遠い場合には、電荷q₀と比べて電荷q₁₈₀が多くなる。この関係を利用して、電荷q₀と電荷q₁₈₀との比率から投光パルスと受光パルスの時間差を求めることができる。ここでは、２位相方式を用いて説明したが、２位相方式に限らず、たとえば４位相方式など他の方式を用いることも可能である。

〔２．距離計算部の具体的構成〕
次に、距離計算部５の具体的な構成について図２を参照して説明する。図２は、距離計算部５の構成を示すブロック図である。

図２に示すように、距離計算部５は、位相算出部５１と、距離算出部５２と、輝度算出部５３と、フィルタ前距離バラツキ推定部５４と、フィルタ部５５と、フィルタ後距離バラツキ推定部５６と、マスク部５７とを備える。

＜位相算出部５１＞
位相算出部５１は、センサ部３によって異なる位相のタイミングで受光された反射光により生成された複数の生画像に基づいて位相画像を算出する。たとえば、２位相方式の場合、位相算出部５１は、発光素子２１から照射された光と同位相（0°）のタイミングで受光された反射光を用いて算出された生画像と、逆位相（180°）のタイミングで受光された反射光を用いて算出された生画像とを用い、上記数式（１）により位相画像を算出する。

位相算出部５１は、算出した位相画像を距離算出部５２に出力する。なお、位相画像とは、位相差（Δφ）を画素値とする画像である。

＜距離算出部５２＞
距離算出部５２は、位相算出部５１から入力された位相画像に基づいて距離画像を算出する。具体的には、距離算出部５２は、位相画像に含まれる各画素の位相差（Δφ）と、位相差と距離との関係式である上記数式（２）を用いて、画素ごとに距離値（d）を算出する。このようにして、距離算出部５２は、距離値（d）を画素値とする距離画像を生成し、生成した距離画像（以下、「フィルタ前距離画像」と記載する）をフィルタ部５５へ出力する。

＜輝度算出部５３＞
輝度算出部５３は、センサ部３によって異なる位相のタイミングで受光された反射光により生成された複数の生画像に基づいて輝度画像を算出する。輝度画像とは、輝度値を画素値とする画像である。

輝度算出部５３は、複数の生画像を足し合わせることによって輝度画像を算出する。たとえば、２位相方式の場合、輝度算出部５３は、発光素子２１から照射された光と同位相（0°）のタイミングで受光された反射光を用いて算出された生画像と、逆位相（180°）のタイミングで受光された反射光を用いて算出された生画像とを足し合わせることによって輝度画像を算出する。輝度算出部５３は、算出した輝度画像をフィルタ前距離バラツキ推定部５４へ出力する。

＜フィルタ前距離バラツキ推定部５４＞
フィルタ前距離バラツキ推定部５４は、輝度算出部５３から入力された輝度画像に基づいて距離バラツキ（σ_b）（以下、「フィルタ前距離バラツキ（σ_b）」と記載する）を推定する。フィルタ前距離バラツキ（σ_b）は、輝度算出部５３によって算出された距離値（d）のバラツキの程度を示す値であり、画素ごとに算出される。

図３は、フィルタ前距離バラツキ（σ_b）と明るさ（I）との関係を示す図である。また、図４は、フィルタ前距離バラツキ（σ_b）と、１／明るさ（I）との関係を示す図である。

距離算出部５２により算出される距離値（d）にはバラツキがある。すなわち、同一の測定位置から同一の測定対象物Ｔまでの距離を複数回測定した場合、距離値（d）は測定ごとにばらつく。これは、光ショットノイズや回路ノイズ等に起因する。

距離値（d）の測定精度は、測定対象物Ｔから返ってくる反射光の光量が少なくなるほど低くなる。すなわち、図３に示すように、ある画素におけるフィルタ前距離バラツキ（σ_b）は、その画素の輝度値である明るさ（I）と反比例の関係にあり、明るさ（I）が大きくなるほど（すなわち明るくなるほど）フィルタ前距離バラツキ（σ_b）は大きくなり、明るさ（I）が小さくなるほど（すなわち暗くなるほど）フィルタ前距離バラツキ（σ_b）は小さくなる。

そこで、フィルタ前距離バラツキ推定部５４は、フィルタ前距離バラツキ（σ_b）と明るさ（I）との関係を示す式を用いてフィルタ前距離バラツキ（σ_b）を画素ごとに推定する。具体的には、フィルタ前距離バラツキ（σ_b）と、明るさ（I）の逆数（1/I）とは正比例の関係にあり、一次関数である下記の数式（３）で表すことができる。フィルタ前距離バラツキ推定部５４は、数式（３）を用いることにより、フィルタ前距離バラツキ（σ_b）を容易に算出することができる。

なお、数式（３）中の傾きαおよび切片βは、センサ部３の性能、画素数、レンズの明るさ、発光素子２１の個数、明るさ等によって変わることから、距離画像生成装置１を用いた実験等を事前に行って取得しておくことが望ましい。

フィルタ前距離バラツキ推定部５４は、フィルタ前距離バラツキ（σ_b）を画素ごとに算出し、算出したフィルタ前距離バラツキ（σ_b）をフィルタ部５５およびフィルタ後距離バラツキ推定部５６へ出力する。

＜フィルタ部５５＞
フィルタ部５５は、フィルタ前距離バラツキ（σ_b）を低減させるために、距離算出部５２から入力されたフィルタ前距離画像のフィルタリング処理を行って、フィルタ後の距離画像（以下、「フィルタ後距離画像」と記載する）を生成する。ここでは、注目画素および注目画素の周辺に位置する複数の周辺画素の距離値（d）を用いて空間的にフィルタリングする空間フィルタリングを行うものとする。ただし、フィルタリングの手法は空間フィルタリングに限定されるものではなく、たとえば、注目画素の時間的に前後する複数の距離値（d）を用いて時間的にフィルタリングを行ってもよい。

図５は、空間フィルタリングの説明図である。図５に示すように、空間フィルタリングは、注目画素Ｐおよびその周辺画素の画素値とフィルタの重み（フィルタ係数）との積和を計算し、得られた値を注目画素Ｐの距離値として置き換える。具体的には、フィルタ後における注目画素Ｐの距離値（出力画像）をg(i,j)、フィルタ前の距離値（入力画像）をf(i,j)、フィルタの重みをh(m,n)、カーネルサイズを2w+1とすると、フィルタ後における注目画素Ｐの距離値g(i,j)は、下記の数式（４）で表される。

なお、（i,j）は、注目画素Ｐの座標を表し、(m,n)は、注目画素Ｐの座標を基準とする画素（周辺画素または注目画素Ｐ）の座標を表す。たとえば、(m,n)＝(-2,-2)は、注目画素Ｐから右に２画素、上に２画素ずれた位置にある周辺画素の座標を示している。また、(m,n)＝(0,0)は、注目画素Ｐの座標を示している。フィルタ後における注目画素Ｐの距離値g(i,j)は、注目画素Ｐを距離画像の左上から順番に変更していくことにより、画素ごとに算出される。

ここで、ある周辺画素に映った物体が注目画素Ｐに映った物体と異なる場合、その周辺画素の距離値と注目画素Ｐの距離値とは大きく異なるおそれがある。このような場合、その周辺画素の距離値を使用することでフィルタリングの精度が低下してしまうおそれがある。図６は、測定対象物Ｔの中心付近に位置する注目画素Ｐ１のフィルタ範囲と、測定対象物Ｔのエッジ付近に位置する注目画素Ｐ２のフィルタ範囲とを示した図である。図６に示すように、注目画素Ｐ２のフィルタ範囲には、注目画素Ｐ２に映った測定対象物Ｔとは異なる物体（たとえば背景）を映した周辺画素が含まれる。このため、注目画素Ｐ２のフィルタリング精度は、測定対象物Ｔの中心付近に位置する注目画素Ｐ１のフィルタリング精度と比べて低下する。

このようなフィルタリング精度の低下を抑制するため、たとえばバイラテラルフィルタのように、注目画素Ｐと周辺画素との差分値を求め、その差分値の大きさに応じてその周辺画素の重み付けを変更する手法が用いられる。すなわち、注目画素Ｐから遠く離れた周辺画素については、注目画素Ｐに映った物体とは異なる物体を写した画素であると判定して、その重み付けを小さくすることとしている。

バイラテラルフィルタは、下記の数式（５）で表される。

数式（５）中、σ₁は、注目画素Ｐの座標と周辺画素の座標との距離に応じた重み付けを制御する第１パラメータ（Space Coefficient）である。また、σ₂は、注目画素Ｐの距離値と周辺画素の距離値との差分に応じた重み付けを制御する第２パラメータ（Color Coefficient）である。バイラテラルフィルタを用いる場合、これら２つのパラメータσ_１,σ_２を決める必要があり、最適なパラメータは撮影する領域や測定対象物によって異なる。

注目画素Ｐのフィルタ前距離バラツキ（σ_b）が大きい場合、第２パラメータ（σ₂）の値を大きくしないと、周辺画素の重みが小さくなりノイズ削減効果が少なくなってしまう。つまり、フィルタ前距離バラツキ（σ_b）が大きいと、仮に、注目画素Ｐと周辺画素とが同一の物体で実際には距離値の差がほとんど無い場合であっても、注目画素Ｐと周辺画素との距離値の差が大きくなる可能性がある。よって、フィルタ前距離バラツキ（σ_b）が大きい画素ほど、第２パラメータ（σ₂）を大きく設定した方が、フィルタ前距離バラツキ（σ_b）の削減効果が大きいといえる。

そこで、フィルタ部５５は、フィルタ前距離バラツキ推定部５４によって推定された注目画素Ｐのフィルタ前距離バラツキ（σ_b）に応じて第２パラメータ（σ₂）を決定する。これにより、最適な距離バラツキ削減効果のあるフィルタリングを実現することができる。

たとえば、フィルタ部５５は、下記の数式（６）に示すように、注目画素Ｐのフィルタ前距離バラツキ（σ_b）をγ倍した値を第２パラメータ（σ₂）として決定してもよい。数式（６）中、γは予め決定された正の係数であり、たとえば1≦γ≦5の範囲で決定される。なお、第１パラメータ（σ₁）は固定値であり、たとえば1≦σ₁≦10の範囲で決定される。

また、フィルタ部５５は、上記手法に代えて、たとえば、下記の数式（７）に示すように、注目画素Ｐの距離値と周辺画素の距離値との差が閾値（a×σ_b）以下であるか否かに応じて、フィルタの重みh(m,n)を1または0に決定する手法を用いてもよい。数式（７）中、aは予め決定された正の係数であり、たとえば0.5≦σ₁≦3の範囲で決定される。

このように、フィルタ部５５は、注目画素Ｐの座標と周辺画素の座標との差をフィルタ前距離バラツキ（σ_b）に応じた閾値（a×σ_b）と比較し、閾値以下である場合には周辺画素の重みh(m,n)を1とし、閾値よりも大きい場合には周辺画素の重みh(m,n)を0としてもよい。この手法を用いることで、数式（５）で示されるバイラテラルフィルタの式のExpの項が無くなるため、計算量を削減することができる。また、積分画像を使うことにより計算量のさらなる削減を図ることが可能である。

フィルタ部５５は、生成したフィルタ後距離画像をマスク部５７へ出力する。また、フィルタ部５５は、算出したフィルタの重みh(m,n)をフィルタ後距離バラツキ推定部５６へ出力する。

＜フィルタ後距離バラツキ推定部５６＞
フィルタ後距離バラツキ推定部５６は、フィルタ部５５から入力された重みh(m,n)と、フィルタ後距離バラツキ推定部５６から入力されたフィルタ前距離バラツキ（σ_b）とに基づき、注目画素Ｐの距離バラツキ（σ_a）（以下、「フィルタ後距離バラツキ（σ_a）」と記載する）を算出する。

具体的には、フィルタ後距離バラツキ推定部５６は、下記の数式（８）を用いて、注目画素Ｐおよび周辺画素のフィルタの重みh(m,n)の総和ｈ_allを算出する。

つづいて、フィルタ後距離バラツキ推定部５６は、下記の数式（９）および数式（１０）を用いて、フィルタ後距離バラツキ（σ_a）を算出する。

距離バラツキ改善効果は、周辺画素の重み付けの大きさに関係する（周辺画素の重みづけが大きいほど距離バラツキ改善効果が高い）。このため、フィルタ前距離バラツキ（σ_b）に対し、周辺画素の重みの大きさを作用させることにより、フィルタ後距離バラツキ（σ_a）を推定することができる。フィルタ後距離バラツキ推定部５６は、算出したフィルタ後距離バラツキ（σ_b）をマスク部５７へ出力する。

フィルタ後距離バラツキ（σ_a）は、フィルタリングの効果により、フィルタ前距離バラツキ（σ_b）と比べて小さくなる。したがって、フィルタ後距離バラツキ（σ_a）を算出することにより、フィルタ前距離バラツキ（σ_b）を用いた場合と比較して、後段のマスク部５７においてマスクされる画素の数を低減することができる。言い換えれば、フィルタ前距離バラツキ（σ_b）を用いた場合と比較して、距離画像生成装置１から外部のアプリケーション等に出力される距離画像の有効画素数を増やすことができる。

＜マスク部５７＞
マスク部５７は、フィルタ部５５から入力されたフィルタ後距離画像を、フィルタ後距離バラツキ推定部５６から入力されたフィルタ後距離バラツキ（σ_a）に基づいてマスクする。すなわち、マスク部５７は、フィルタ後距離画像の画素ごとに、フィルタ後距離バラツキ（σ_a）に基づいて注目画素Ｐの距離値の有効・無効を判定する。

具体的には、マスク部５７は、フィルタ後距離バラツキ（σ_a）が予め設定した閾値（σ_th）より大きい場合、その画素の距離値を無効と判定し、たとえばNanなどの無効な値、すなわち、後段のアプリケーション等において使用されない値に置き換える。一方、マスク部５７は、フィルタ後距離バラツキ（σ_a）が予め設定した閾値（σ_th）以下である場合には、その画素の距離値を有効と判定する。

マスク部５７は、マスク処理後のフィルタ後距離画像であるマスク後距離画像を外部のアプリケーション等に出力する。

フィルタ後距離画像の距離バラツキは、フィルタ部５５によるフィルタリングによって改善しているがすべての画素において改善しているわけではない。たとえば、画素によっては、測定対象物Ｔの反射率が低くもともと距離バラツキが大きいために距離バラツキが改善されない場合や、測定対象物Ｔのエッジ付近の画素であるため周辺画素の重みが小さく設定されて距離バラツキが十分に改善されない場合がある。そこで、マスク部５７は、そのような信頼性の低い画素の距離値については、後段のアプリケーション等で使用されないようにマスク（無効化）する。これにより、信頼性の高い距離画像を出力することができる。

〔３．距離計算部の具体的動作〕
次に、上述した距離計算部５による距離画像生成処理の手順について図７を参照して説明する。図７は、距離画像生成処理の手順を示すフローチャートである。なお、図７には、位相算出部５１による位相画像の算出、距離算出部５２によるフィルタ前距離画像の算出および輝度算出部５３による輝度画像の算出を終えた後の処理、すなわち、フィルタ前距離バラツキ推定部５４以降の処理手順を示している。

図７に示すように、距離計算部５は、輝度画像から１つの注目画素Ｐを選択する（ステップＳ１０１）。たとえば、距離計算部５は、輝度画像の左上（座標（0,0））に位置する画素を注目画素Ｐとして選択する。

つづいて、距離計算部５は、注目画素Ｐの輝度値に基づき、たとえば数式（３）を用いてフィルタ前距離バラツキ（σ_b）を算出する（ステップＳ１０２）。

つづいて、距離計算部５は、フィルタ前距離バラツキ（σ_b）に基づいてフィルタの重みh(m,n)を算出する（ステップＳ１０３）。このとき、距離計算部５は、バイラテラルフィルタの第２パラメータ（σ₂）を数式（６）を用いて算出してもよい。また、距離計算部５は、数式（７）を用いて重みh(m,n)を1または0に決定してもよい。

つづいて、距離計算部５は、たとえば数式（４）を用い、注目画素Ｐおよびその周辺画素の距離値を用いたフィルタリングを行う（ステップＳ１０４）。これにより、距離計算部５は、フィルタ後距離画像を生成する。

つづいて、距離計算部５は、フィルタ前距離バラツキ（σ_b）とフィルタの重みh(m,n)とに基づき、たとえば数式（８）〜数式（１０）を用いて注目画素Ｐのフィルタ後距離バラツキ（σ_a）を算出する（ステップＳ１０５）。

つづいて、距離計算部５は、フィルタ後距離バラツキ（σ_a）に基づき、注目画素Ｐの距離値の有効・無効を判定する（ステップＳ１０６）。すなわち、距離計算部５は、フィルタ後距離バラツキ（σ_a）が閾値（σ_th）以下であれば、注目画素Ｐの距離値を有効と判定する。一方、距離計算部５は、フィルタ後距離バラツキ（σ_a）が閾値（σ_th）を超える場合には、注目画素Ｐの距離値を無効と判定し、その距離値を無効値に置き換える。

つづいて、距離計算部５は、輝度画像の全ての画素を注目画素Ｐとして選択し終えたか否かを判定する（ステップＳ１０７）。この処理において、注目画素Ｐとして未選択の画素が存在する場合（ステップＳ１０７，Ｎｏ）、距離計算部５は、ステップＳ１０１へ移行し、次の画素を注目画素ＰとしてステップＳ１０１〜Ｓ１０７の処理を行う。なお、距離計算部５は、輝度画像上の左上から右下に向かって順番に注目画素Ｐを選択していく（ラスタスキャン）。

一方、ステップＳ１０７において、輝度画像の全ての画素を注目画素Ｐとして選択し終えたと判定した場合（ステップＳ１０７，Ｙｅｓ）、距離計算部５は、マスク後距離画像を出力して処理を終える。

上述してきたように、実施形態に係る距離画像生成装置（一例として、距離画像生成装置１）は、フィルタ部（一例として、フィルタ部５５）と、フィルタ前距離バラツキ推定部（一例として、フィルタ前距離バラツキ推定部５４）とを備える。フィルタ部は、距離値を画素値とする距離画像に対し、距離バラツキを低減するフィルタ（一例として、バイラテラルフィルタ）を用いたフィルタリングを行うことにより、フィルタ後距離画像を生成する。フィルタ前距離バラツキ推定部は、輝度値を画素値とする距離画像に対応した輝度画像に基づき、距離バラツキの程度（一例として、フィルタ前距離バラツキσ_b）を画素ごとに推定する。また、フィルタ部は、フィルタにおける各画素の重み（一例として、h(m,n)）を、当該画素について推定された距離バラツキの程度に応じて決定する。

フィルタにおける各画素の重みを、当該画素について推定された距離バラツキの程度に応じて決定することで、最適な距離バラツキ削減効果のあるフィルタリングを実現することができる。したがって、距離値のバラツキを低減することができる。

なお、距離バラツキとは、光ショットノイズや回路ノイズ等に起因する、距離画像における距離値のバラツキのことである。また、「距離画像に対応した輝度画像」とは、距離画像と同一の撮像領域を距離画像と同一の撮像タイミングで撮像することによって得られた輝度画像であることを意味する。すなわち、距離画像の生成に用いられた電荷と同一の電荷を用いて生成された輝度画像であることを意味する。

フィルタ前距離バラツキ推定部は、輝度値の逆数を変数とする一次関数（一例として、数式（３）で表される一次関数）を用いて距離バラツキの程度を推定してもよい。距離値の測定精度は、測定対象物Ｔから返ってくる反射光の光量が少なくなるほど低くなる。そこで、輝度値の逆数を変数とする一次関数を用いて距離バラツキの程度を推定することで、距離バラツキの程度の推定に要する計算量を削減することができる。

上記フィルタは、バイラテラルフィルタであってもよい。この場合、フィルタ部は、画素について推定された距離バラツキの程度に予め決められた正の係数（一例として、γ）を乗じた値を、バイラテラルフィルタにおける、注目画素の距離値と周辺画素の距離値との差分に応じた重み付けを制御するパラメータ（一例として、第２パラメータσ₂）として決定してもよい。これにより、最適な距離バラツキ削減効果のあるフィルタリングを実現することができる。

フィルタ部は、フィルタにおける注目画素の座標と周辺画素の座標との差である距離差を、注目画素について推定された距離バラツキの程度に予め決められた正の係数（一例として、a）を乗じた値である閾値（一例として、σ_th）と比較し、距離差が閾値以下である場合には周辺画素の重みを１に決定し、距離差が閾値よりも大きい場合には周辺画素の重みを０に決定してもよい。これにより、フィルタリングの計算量を削減することができる。

実施形態に係る距離画像生成装置は、フィルタ後距離バラツキ推定部（一例として、フィルタ後距離バラツキ推定部５６）と、マスク部（一例として、マスク部５７）とをさらに備えていてもよい。フィルタ後距離バラツキ推定部は、フィルタ部によって決定された画素の重みと、当該画素について推定された距離バラツキの程度とに基づき、当該画素についての距離バラツキの程度（一例として、フィルタ後距離バラツキσ_a）を再度推定する。マスク部は、フィルタ部によって生成されたフィルタ後距離画像を、フィルタ後距離バラツキ推定部によって推定された距離バラツキの程度に基づいてマスクする。

フィルタ後距離バラツキ推定部によって推定される距離バラツキの程度は、フィルタ部によるフィルタリングの効果により、フィルタ前距離バラツキ推定部によって推定される距離バラツキの程度よりも小さくなる。したがって、フィルタ後距離バラツキ推定部によって推定された距離バラツキの程度を用いることで、フィルタ前距離バラツキ推定部によって推定される距離バラツキの程度を用いた場合と比較して、マスク部においてマスクされる画素の数を低減することができる。

以上、本開示の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…距離画像生成装置、２…光源部、３…センサ部、４…制御部、５…距離計算部、２１…発光素子、２２…温度測定部、４１…光源駆動波形生成部、４２…センサ制御波形生成部、５１…位相算出部、５２…距離算出部、５３…輝度算出部、５４…フィルタ前距離バラツキ推定部、５５…フィルタ部、５６…フィルタ後距離バラツキ推定部、５７…マスク部。

Claims (5)

1. 距離値を画素値とする距離画像に対し、距離バラツキを低減するフィルタを用いたフィルタリングを行うことにより、フィルタ後距離画像を生成するフィルタ部と、
   輝度値を画素値とする前記距離画像に対応した輝度画像に基づき、前記距離バラツキの程度を画素ごとに推定するフィルタ前距離バラツキ推定部と
   を備え、
   前記フィルタ部は、
   前記フィルタにおける各画素の重みを、当該画素について推定された前記距離バラツキの程度に応じて決定する、距離画像生成装置。
2. 前記フィルタ前距離バラツキ推定部は、
   前記輝度値の逆数を変数とする一次関数を用いて前記距離バラツキの程度を推定する、請求項１に記載の距離画像生成装置。
3. 前記フィルタは、バイラテラルフィルタであり、
   前記フィルタ部は、
   前記画素について推定された前記距離バラツキの程度に予め決められた正の係数を乗じた値を、前記バイラテラルフィルタにおける、注目画素の前記距離値と周辺画素の前記距離値との差分に応じた重み付けを制御するパラメータとして決定する、請求項１または２に記載の距離画像生成装置。
4. 前記フィルタ部は、
   前記フィルタにおける注目画素の座標と周辺画素の座標との差である距離差を、前記注目画素について推定された前記距離バラツキの程度に予め決められた正の係数を乗じた値である閾値と比較し、前記距離差が前記閾値以下である場合には前記周辺画素の前記重みを１に決定し、前記距離差が前記閾値よりも大きい場合には前記周辺画素の前記重みを０に決定する、請求項１または２に記載の距離画像生成装置。
5. 前記フィルタ部によって決定された前記画素の前記重みと、当該画素について推定された前記距離バラツキの程度とに基づき、当該画素についての前記距離バラツキの程度を再度推定するフィルタ後距離バラツキ推定部と、
   前記フィルタ部によって生成された前記フィルタ後距離画像を、前記フィルタ後距離バラツキ推定部によって推定された前記距離バラツキの程度に基づいてマスクするマスク部と
   をさらに備える、請求項１〜４のいずれか一つに記載の距離画像生成装置。

Images