JP2010286488A - 映像処理装置および方法 - Google Patents

Abstract

【課題】 映像処理装置が提供される。
【解決手段】 映像処理装置は、深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の取得の時間差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出する第１算出部と、前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定する第２算出部と、を含んでもよい。
【選択図】 図１

Description

本発明における一部の実施形態は、深さ映像獲得のための深さカメラのノイズを除去してノイズが減少する深さ映像を提供する映像処理装置および方法に関する。

最近、３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）情報に対する関心が高まっている。３Ｄ情報は、形状情報とカラー情報で構成される。カラー情報は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを採用するカメラによって取得され、形状情報は深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）によって取得される。

深さカメラは、赤外線（Ｉｎｆｒａ Ｒｅｄ、ＩＲ）のような光を被写体に照射し、反射器をセンサで検出して光照射と反射光の受光との間の飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、ＴＯＦ）を測定することによって深さ映像を生成することができる。

ところで、一般的に前記ＴＯＦタイプの深さカメラに採用される深さセンサは、センサ自体の電気的および／または熱的ノイズの影響だけでなく、周辺の光源および物体の材質特性などの影響を受けることから、深さカメラによって生成される深さ映像の深さ値もノイズの影響を受けることになる。また、このようなノイズは３Ｄモデリングの品質を低下する要因として作用する。

かかるノイズの除去は様々な方法によって試みられるが、既存の方法によれば、同じ被写体に対して複数回測定することによって取得される深さ映像を平均することによってノイズを除去する方法が提案された。

上記の方法は、被写体が静的であるときは優れた特性を見せるものの、被写体が動的であるときは、むしろ歪み（例えば、モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒｒｉｎｇ））を発生させる場合もある。

本発明の一実施形態は、動的な被写体に対する深さ映像を生成する場合、ノイズを効率的に除去する映像処理装置および方法を提供することにある。

また、本発明の一実施形態は、深さ映像に対するノイズ除去において、モーションブラー等の歪みを最小化する映像処理装置および方法を提供することにある。

本発明の一実施形態によれば、深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の取得の時間差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出する第１算出部と、前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定する第２算出部と、を含む映像処理装置が提供される。

この場合、前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値と前記第２重み付け値との差を大きく決めてもよい。例えば、前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値に対する前記第２重み付け値の比率が小さくなるよう決めてもよい。

本発明の一実施形態によれば、前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値に対する前記第２重み付け値の比率がガウス曲線分布に応じて小さくなるよう決定される決定される。

一方、本発明の一実施形態によれば、前記映像処理装置は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１算出部によって算出された前記第１フレーム深さ値に対する第１重み付け値、および前記第２フレーム深さ値に対する第２重み付け値を再調整する第３算出部をさらに含む。

この場合、前記第２算出部は、前記第１ピクセルの第１フレーム深さ値に前記第３算出部によって再調整された前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第３算出部によって再調整された前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決めてもよい。

一方、前記第３算出部は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率は小さくなるよう再調整してもよい。

例えば、前記第３算出部は、第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなるよう再調整してもよい。

本発明の他の実施形態によれば、深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出する第１算出部と、前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定する第２算出部と、を含む映像処理装置が提供される。

この場合、前記第１算出部は、第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率は小さくなるよう決めてもよい。

例えば、前記第１算出部は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなるよう決めてもよい。

本発明のまた他の実施形態によれば、深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の取得の時間差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出するステップと、前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定するステップと、を含む映像処理方法が提供される。

ここで、前記取得の時間差が大きくなるほど前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなってもよい。

一方、本発明の一部実施形態において、前記映像処理方法は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を再調整するステップをさらに含んでもよい。

この場合、前記第１ピクセルの補正された第１フレーム深さ値を決定するステップにおいては、前記第１ピクセルの第１フレーム深さ値に前記再調整された第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記再調整された第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決めてもよい。

本発明の更なる実施形態によれば、深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出するステップと、前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定するステップと、を含む映像処理方法が提供される。

本発明の一実施形態によれば、動的な被写体に対する深さ映像を生成する場合、ノイズを効率的に除去した深さ映像を提供することができる。

また、本発明の一実施形態によれば、深さ映像に対するノイズ除去において、モーションブラーなどの歪みを最小化することができる。

本発明の一実施形態に係る映像処理装置を示す。 本発明の一実施形態に係る映像処理装置に入力される複数フレームの深さ映像を示す。 本発明の一実施形態に係る映像処理装置に入力される、図２内の特定ピクセルの深さ値の測定値を時間の流れに応じて表すグラフである。 図３のグラフに対応する深さ値を従来の時間平均フィルタによって処理した結果を表すグラフである。 本発明の一実施形態に係る、フレーム間深さ値の取得の時間差に対する時間重み付け値の変化を表すグラフである。 本発明の一実施形態に係る、フレーム間深さ値の差に対する重み付け範囲の変化を表すグラフである。 本発明の一実施形態により、図３のグラフに対応する深さ値を処理した結果を表すグラフである。 本発明の一実施形態に係る映像処理方法を示す。

以下、本発明の一実施形態を添付の図面を参照して詳細に説明する。しかし、本発明が実施形態によって制限されたり、または限定されることはない。各図面に提示された同じ参照符号は同じ部材を示す。

図１は、本発明の一実施形態に係る映像処理装置１００を示す。

映像処理装置１００は、深さカメラ１０１から提供される複数フレームの深さ映像（または特定のピクセルに対する複数フレームの深さ値）が提供され、バッファメモリ１１０内に格納する。

本発明の一実施形態によれば、映像処理装置１００は、時間重み付け値（ｔｅｍｐｏｒａｌ ｗｅｉｇｈｔ）を算出する時間重み付け値算出部１２１を含む。

時間重み付け値算出部１２１は、第１ピクセルの第１フレーム深さ値を補正するために第１ピクセルの少なくとも１つの第２フレーム深さ値のそれぞれに適用される時間重み付け値を算出する。時間重み付け値は、フレーム間取得の時間差によって適用される重み付け値である。

第１ピクセルに対する第１フレーム深さ値をｄ（ｉ、ｊ、ｔ）として、第２フレーム深さ値をｄ（ｉ、ｊ、ｔ−ｋ）とすれば、（但し、ｋは実数であって、フレーム間取得の時間差）時間重み付け値算出部１２１は、ｋが大きいほど第２フレームに適用される重み付け値を小さい値に決定する。

本発明の一実施形態によれば、ｋの増加によって時間重み付け値は指数的に減少することもある。特に、この場合、ガウス（ｇａｕｓｓｉａｎ）曲線に応じて減少することもある。時間重み付け値算出部１２１の詳細な動作は図５を参照して詳細に後述する。

重み付け範囲算出部１２２は、第１ピクセルの第１フレーム深さ値を補正するために第１ピクセルの少なくとも１つの第２フレーム深さ値のそれぞれに適用される重み付け範囲（ｒａｎｇｅ ｗｅｉｇｈｔ）を算出する。重み付け範囲は、深さ値の差に応じて適用する重み付け値である。

本発明の一実施形態によれば、ｄ（ｉ、ｊ、ｔ）とｄ（ｉ、ｊ、ｔ−ｋ）との差が大きくなることによって、距離重み付けの比率は指数的に減少することがある。また、ガウス曲線に応じて減少することもある。この場合、重み付け範囲算出部１２２が重み付け範囲を算出するという詳細な過程は、図６を参照して詳細に後述する。

また、補正された深さ値算出部１２３は、算出された重み付け値および／または重み付け範囲を適用し、第１ピクセルの第１フレーム深さ値と少なくとも１つ以上の第２フレーム深さ値の線形和（ｌｉｎｅａｒ ｓｕｍ）であって、第１ピクセルの補正された第１フレーム深さ値を算出する。

補正された深さ値算出部１２３の動作は、図６〜図７を参照してより詳細に後述する。

図２は、本発明の一実施形態に係る映像処理装置に入力される複数フレームの深さ映像を示す。

深さ映像２１０は、時間ｔ＝２０において、カラー映像２０１に対応するオブジェクト空間から取得されるものである。また、深さ映像２２０は、時間ｔ＝３０において、カラー映像２０２に対応するオブジェクト空間から取得されるものであり、深さ映像２３０は、時間ｔ＝４０においてカラー映像２０３に対応するオブジェクト空間から取得されるものである。

すなわち、深さ映像２１０〜深さ映像２３０は、互いに同じオブジェクト空間に対して時間を別にして獲得された複数の深さ映像フレームである。

深さ映像２１０の領域２１１、深さ映像２２０の領域２２１、および深さ映像２３０の領域２３１を比較して観察すれば、深さ映像内のピクセルが前述のようにノイズの影響を受けたことを確認することができる。

本発明の一実施形態によれば、複数フレームの深さ映像２１０〜２３０のうち、いずれか１つのフレームの深さ映像（例えば、深さ映像２３０）の特定ピクセルが選択される。

例えば、ｔ＝４０である場合に取得される深さ映像２３０内において、「Ｘ」表示で識別される第１ピクセル２３２が選択されたと仮定する。この場合、第１ピクセル２３２は、ｔ＝２０である場合に取得される深さ映像２１０内の「Ｘ」表示で識別されるピクセル２１２に対応する。また、第１ピクセル２３２は、ｔ＝３０である場合に取得される深さ映像２２０内の「Ｘ」表示で識別されるピクセル２２２にも対応する。

時間の流れに応じて測定された第１ピクセル２３２の深さ値の例示的のグラフが図３に示される。

図３は、本発明の一実施形態に係る映像処理装置に入力される図２の第１ピクセル２３２の深さ値の例示的な測定値を時間の流れに応じて表すグラフである。

横軸は深さ値測定時間に対応し、縦軸は測定された深さ値である。深さ値のパターンを観察すればノイズの影響を確認することができる。

ところで、測定時間ｔが略２５である部分において、深さ値が大きく増加したことが観察される。すなわち、ｔ＜２５である部分と、ｔ＞２５である部分は深さ値が大きく異なる。これは被写体の動きによるものと判断される。

再び、図２を参照すれば、ｔ＝２０におけるピクセル２１２の深さ値は、被写体である人の手に該当する深さ値であるが、手が動いてｔ＝３０におけるピクセル２２２またはｔ＝４０におけるピクセル２３２は、バックグラウンド部分に該当する深さ値である。したがって、図３のグラフにおいて、ｔが概略２５である部分において深さ値が大きく増加したのである。

上記のように、従来には深さ映像のノイズを除去するために複数フレームの深さ映像の深さ値を単に平均した値を補正された（ノイズが除去された、以下同一）深さ映像値に提供した。

例えば、現在の深さ値がｄ（ｉ、ｊ、ｔ）であると仮定する。ここで、ｉとｊは、深さ映像内で特定ピクセルを識別させる行と列の値であり、ｔは現在の時間である。

上記のように、従来の時間平均フィルタ（ｔｅｍｐｏｒａｌ ａｖｅｒａｇｅ ｆｉｌｔｅｒｉｎｇ）方法は、現在フレーム以外の複数フレームのうち、例えば２つのフレームの深さ値を反映して現在フレームの深さ値を補正する方法である。

この場合、前のフレームの深さ値を、深さ値ｄ（ｉ、ｊ、ｔ−ｋ１）と深さ値ｄ（ｉ、ｊ、ｔ−ｋ２）のように表す場合（ｋ１およびｋ２は測定時間差）、時間平均フィルタ方法は、現在フレームの深さ値ｄ（ｉ、ｊ、ｔ）、前のフレームの深さ値ｄ（ｉ、ｊ、ｔ−ｋ１）、およびｄ（ｉ、ｊ、ｔ−ｋ２）に同じ重み付け値である１／３を適用して補正された深さ値ｄ’（ｉ、ｊ、ｔ）を算出する。

すなわち、ｄ’（ｉ、ｊ、ｔ）＝１／３×（ｄ（ｉ、ｊ、ｔ）＋ｄ（ｉ、ｊ、ｔ−ｋ１＋ｄ（ｉ、ｊ、ｔ−ｋ２）のように算出される。

このような方法は、被写体の動きがない静的である場合にはノイズが比較的に良好に除去され、特別な問題が起らずに済む場合もある。

しかし、図２の実施形態において観察されるよう、被写体の動きがある動的な場合は深さ値の間のぼけ（ｂｌｕｒｒｉｎｇ）が生じ、むしろ深さ値を歪曲するという問題がある。このような現象をモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒｒｉｎｇ）ともいう。

図４は、図３のグラフに対応する深さ値を従来の時間平均フィルタによって処理した結果、モーションブラーが発生した場合を示す。

グラフの一部分４１０でモーションブラーが観察される。本来、時間平均フィルタ方法は、前のフレームの深さ値と現在フレームの深さ値は相関しているという点に着眼して提示されるものであるが、図２の実施形態においてｔが略２５である時点に被写体の動きによってピクセルの深さ値が明確に変わったため、問題が発生したのである。

このようなモーションブラーは、上記のようにノイズ除去のため算出に反映する前のフレーム深さ値に同じ重み付け値（上記では１／３）を適用したことから著しく発生した。

本発明の一実施形態によれば、このような場合にノイズ除去のために算出に反映する前のフレーム深さ値に互いに異なる重み付け値を適用する。

例えば、前のフレームの深さ値が取得される時点が現在フレームの深さ値の取得される時点と離れるほど重み付け値を小さく適用する。すなわち、フレーム間取得の時間差が大きいほど関連度が小さいと仮定するものである。かかる方式を適宜適用される時間重み付け値（または単に時間重み付け値）と称することにする。

本実施形態に対する詳細な説明は図５を参照してさらに詳細に後述する。

一方、本発明の他の一実施形態によれば、時間重み付け値とともに、または別に、前のフレームの深さ値と現在フレームの深さ値との差が大きいほど重み付け値を小さく適用する。すなわち、深さ値の差が大きいほどノイズによるものでなく、実際被写体の状態が変更されて深さ値が変わる場合の確率が大きいと仮定する。実際にノイズは、白色ガウスの特性を有すると知られているため、上記の仮定は合理的である。

前述した実施形態に対する詳細な説明は、図６を参照してより詳細に後述する。

図５は、本発明の一実施形態に係るフレーム間の深さ値取得の時間差に対する時間重み付け値の変化を表すグラフである。

上記の式のように、第１ピクセルに対する現在フレームの深さ値をｄ（ｉ、ｊ、ｔ）として、前のフレーム深さ値をｄ（ｉ、ｊ、ｔ−ｋ）とする。この場合、ｋは実数であってフレーム間取得の時間差である。

ｋが大きい前のフレームであるほど低い重み付け値を与える。したがって、時間的に隣接するフレームの深さ値であるほど補正された第１ピクセルの深さ値にさらに大きく反映される。

図５のグラフにおいて、横軸は取得の時間差ｋに対応し、縦軸は現在フレームの深さ値に対する重み付け値（第１重み付け値）に対する前のフレームの深さ値に対する重み付け値（第２重み付け値）の比率（ｔｅｍｐｏｒａｌ ｗｅｉｇｈｔ ｒａｔｉｏ）に対応する。

本発明の一実施形態によれば、ｋの増加によって重み付け値の比率は指数的に減少することがある。また、ガウス曲線に応じて減少することもある。この場合、前のフレーム深さ値ｄ（ｉ、ｊ、ｔ−ｋ）に適用される重み付け値Ｆ（ｔ、ｔ−ｋ）は下記の式（１）のように算出される。

Ｆ（ｔ、ｔ−ｋ_１）＝ｅｘｐ（−σ_ｔ×ｋ_１ ^２）／（Σｅｘｐ（−σ_ｔ×ｋｎ^２）） （１）
σ_ｔは減衰係数であって、正の実数である。

ここで、Σｅｘｐ（−σ_ｔ×ｋｎ^２）は、現在フレームを含んで反映されるｎ個のフレームに対する重み付け値Ｆ（ｔ、ｔ−ｋ）を標準化（ｎｏｒｍａｌｉｚｅ）する。したがって、ΣＦ（ｔ、ｔ−ｋ）＝１の等式が保障される。

本発明の式を図５のグラフと比較すると、グラフの横軸は取得の時間差ｋに対応し、グラフの縦軸はＦ（ｔ、ｔ−ｋ）を表す。

図６は、本発明の一実施形態に係るフレーム間深さ値の差に対する距離重み付けの比率（ｒａｎｇｅ ｗｅｉｇｈｔ ｒａｔｉｏ）の変化を表すグラフである。

図５の例のように、第１ピクセルに対する現在フレームの深さ値をｄ（ｉ、ｊ、ｔ）といい、前のフレーム深さ値をｄ（ｉ、ｊ、ｔ−ｋ）という。この場合、ｋは実数であって、フレーム間取得の時間差である。

本発明の一実施形態によれば、ｄ（ｉ、ｊ、ｔ）とｄ（ｉ、ｊ、ｔ−ｋ）との差が大きくなることによって、距離重み付けの比率は指数的に減少することがある。また、ガウス曲線に応じて減少することもある。この場合、前のフレーム深さ値ｄ（ｉ、ｊ、ｔ−ｋ）に適用される重み付け値Ｇ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ））は下記の式（２）のように算出される。

Ｇ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ_１））＝ｅｘｐ（−σ_Ｒ×（ｄ（ｉ、ｊ、ｔ）−ｄ（ｉ、ｊ、ｔ−ｋ_１））^２）／（Σｅｘｐ（−σ_Ｒ×（ｄ（ｉ、ｊ、ｔ）−ｄ（ｉ、ｊ、ｔ−ｋ_ｎ））^２） （２）

σ_Ｒは減衰係数であって正の実数である。一方、分母（Σｅｘｐ（−σ_Ｒ×（ｄ（ｉ、ｊ、ｔ）−ｄ（ｉ、ｊ、ｔ−ｋ_ｎ））^２）は、現在フレームを含んで反映されるｎ個のフレームに対する重み付け値Ｇ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ_ｎ））を標準化する。したがって、ΣＧ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ））＝１の等式が保障される。

本発明の式を図６のグラフと比較すると、グラフの横軸は取得時間深さ値の差（ｄ（ｉ、ｊ、ｔ）−ｄ（ｉ、ｊ、ｔ−ｋ_１））に対応し、グラフの縦軸はＧ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ））を表す。

本発明の一実施形態によれば、重み付け範囲と重み付け値が乗算され、最終の重み付け値になり得る。もちろん、２つの重み付け値のいずれか１つだけを適用して第１ピクセル値を算出することも可能である。

以下は、２つの重み付け値をともに適用する場合に第１ピクセルの補正された深さ値の算出方法を式（３）を参照して提示する。

上記の式（３）においてｄ（ｉ、ｊ、ｔ）は、現在フレームである第１フレームの第１ピクセルの補正前の深さ値であり、ｄ’（ｉ、ｊ、ｔ）は補正後の深さ値である。

また、ｄ（ｉ、ｊ、ｔ−ｋ）は第１フレームと取得の時間差がｋである第２フレーム深さ値であり、Ｆ（ｔ、ｔ−ｋ）は第２フレーム深さ値に適用される時間重み付け値であり、Ｇ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ））は第２フレーム深さ値に適用される重み付け範囲である。各重み付け値に対する詳細な説明は式（１）〜（２）を参照して前述したとおりである。

上記の式（３）が表すよう明確になる。

第１ピクセルの第１フレーム深さ値ｄ（ｉ、ｊ、ｔ）を補正した新しい深さ値ｄ（ｉ、ｊ、ｔ−ｋ）を算出する場合、第１フレームと時間を別にして取得される異なるフレーム（少なくとも１つ以上の第２フレーム）の深さ値ｄ（ｉ、ｊ、ｔ−ｋ）を用いて、重み付け値が乗算される線形和により求めてもよい。

このとき、第２フレーム深さ値ｄ（ｉ、ｊ、ｔ−ｋ）に乗算される重み付け値Ｆ（ｔ、ｔ−ｋ）は、第１フレーム深さ値と第２フレーム深さ値の取得の時間差ｋが大きくなるほど小さくなる（例えば、図５の場合のようにｋの増加によって重み付け値はガウス曲線に応じて小さくなり得る）。

また、第２フレーム深さ値ｄ（ｉ、ｊ、ｔ−ｋ）に乗算される重み付け範囲Ｇ（ｄ（ｉ、ｊ、ｔ）、ｄ（ｉ、ｊ、ｔ−ｋ））は、第１フレーム深さ値ｄ（ｉ、ｊ、ｔ）と第２フレーム深さ値ｄ（ｉ、ｊ、ｔ−ｋ）との差が大きくなるほど小さくなる（同様に、図６の場合のようにｋの増加によって重み付け値はガウス曲線に応じて小さくなり得る）。

図７は、本発明の一実施形態によって式（３）を用いて図３のグラフに対応する深さ値を処理する例示的な結果を表すグラフである。

グラフにおいて表される第１ピクセルの深さ値（補正された値）は、ノイズが減少して全体的にスムースした特性を表し、被写体の変化があるｔ＝２５付近のモーションブラーも明確に減少したことが分かる。

図８は、本発明の一実施形態に係る映像処理方法を示す。

深さカメラから測定される複数フレームの深さ映像から抽出された第１ピクセルの複数フレームの深さ値が映像処理装置１００に入力される。（Ｓ８１０）

本発明の一実施形態によれば、ステップＳ８２０において、第１ピクセルの複数フレームの深さ値に適用される重み付け値が算出される。

重み付け値の算出は、式（１）を参照して前述したとおりである。本発明の一実施形態では、重み付け値だけを適用して第１ピクセルの第１フレーム深さ値を補正する。

しかし、本発明の他の実施形態において重み付け値の代わりに、あるいはそれとともに重み付け範囲が適用されて第１ピクセルの第１フレーム値が補正される。

この場合、ステップＳ８３０において、第１ピクセルの複数フレームの深さ値に適用される重み付け範囲が算出される。

本ステップにおける詳細な算出は、式（２）を参照して前述したとおりである。

ステップＳ８４０において、算出された重み付け値および／または重み付け範囲を適用し、第１ピクセルの第１フレーム深さ値を補正した新しい深さ値を算出する。このステップで補正された第１ピクセルの第１フレーム深さ値を算出する過程は、式（３）を例に挙げて前述した。

本発明の一実施形態によれば、第１ピクセルに対するステップＳ８１０〜ステップＳ８４０を行った後、第１フレーム内の他のピクセルに対しても繰り返しステップＳ８１０〜ステップＳ８４０を行ってもよい。

このように複数のピクセルに対するノイズの除去過程は順次に行われてもよいが、本発明の他の実施形態では並列的に行われてもよい。このような場合、深さ値に対するマトリックス演算が用いられてもよい。

本発明の一実施形態に係る方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うため１つ以上のソフトウェアモジュールとして作動するよう構成され、その逆も同様である。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

Claims (22)

1. 深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の取得の時間差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出する第１算出部と、
   前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定する第２算出部と、
   を含むことを特徴とする映像処理装置。
2. 前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値と前記第２重み付け値との差を大きく決定することを特徴とする請求項１に記載の映像処理装置。
3. 前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値に対する前記第２重み付け値の比率が小さくなるよう決定することを特徴とする請求項１に記載の映像処理装置。
4. 前記第１算出部は、前記取得の時間差が大きいほど前記第１重み付け値に対する前記第２重み付け値の比率がガウス曲線分布に応じて小さくなるよう決定することを特徴とする請求項３に記載の映像処理装置。
5. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１算出部によって算出された前記第１フレーム深さ値に対する第１重み付け値、および前記第２フレーム深さ値に対する第２重み付け値を再調整する第３算出部をさらに含み、
   前記第２算出部は、前記第１ピクセルの第１フレーム深さ値に前記第３算出部によって再調整された前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第３算出部によって再調整された前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定することを特徴とする請求項１に記載の映像処理装置。
6. 前記第２算出部は、深さ値差が大きいほど前記第１重み付け値および前記第２重み付け値の差を大きく決定することを特徴とする請求項５に記載の映像処理装置。
7. 前記第３算出部は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率は小さくなるよう再調整することを特徴とする請求項５に記載の映像処理装置。
8. 前記第３算出部は、第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなるよう再調整することを特徴とする請求項７に記載の映像処理装置。
9. 深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出する第１算出部と、
   前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定する第２算出部と、
   を含むことを特徴とする映像処理装置。
10. 前記第２算出部は、深さ値差が大きいほど前記第１重み付け値と前記第２重み付け値との差を大きく決定することを特徴とする請求項９に記載の映像処理装置。
11. 前記第１算出部は、第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率は小さくなるよう決定することを特徴とする請求項９に記載の映像処理装置。
12. 前記第１算出部は、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなるよう決定することを特徴とする請求項１１に記載の映像処理装置。
13. 深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の取得の時間差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出するステップと、
    前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定するステップと、
    を含むことを特徴とする映像処理方法。
14. 前記取得の時間差が大きくなるほど前記第１重み付け値に対する前記第２重み付け値の比率は小さくなることを特徴とする請求項１３に記載の映像処理方法。
15. 前記取得の時間差が大きくなるほど前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなることを特徴とする請求項１４に記載の映像処理方法。
16. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を再調整するステップをさらに含み、
    前記第１ピクセルの補正された第１フレーム深さ値を決定するステップは、前記第１ピクセルの第１フレーム深さ値に前記再調整された第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記再調整された第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定することを特徴とする請求項１３に記載の映像処理方法。
17. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はさらに小さくなるよう再調整されることを特徴とする請求項１６に記載の映像処理方法。
18. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなるよう再調整されることを特徴とする請求項１７に記載の映像処理方法。
19. 深さ映像の第１ピクセルの複数フレームの深さ値のうち、前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差に基づいて、前記第１フレーム深さ値に対する第１重み付け値および前記第２フレーム深さ値に対する第２重み付け値を算出するステップと、
    前記第１ピクセルの第１フレーム深さ値に前記第１重み付け値を適用し、前記第１ピクセルの第２フレーム深さ値に前記第２重み付け値を適用して算出した線形和を用いて、前記第１ピクセルの補正された第１フレーム深さ値を決定するステップと、
    を含むことを特徴とする映像処理方法。
20. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きくなるほど、前記第１重み付け値に対する前記第２重み付け値の比率は小さくなることを特徴とする請求項１９に記載の映像処理方法。
21. 前記第１ピクセルの第１フレーム深さ値と前記第１ピクセルの第２フレーム深さ値との間の差が大きいほど、前記第１重み付け値に対する前記第２重み付け値の比率はガウス曲線分布に応じて小さくなることを特徴とする請求項２０に記載の映像処理方法。
22. 請求項１３〜請求項２１のいずれか一項において、前記映像処理方法を行うための命令語を収録することを特徴とするコンピュータ読み取り可能記録媒体。