JP2010171949A - 深さ情報を用いた深さノイズフィルタリング方法および装置 - Google Patents

Abstract

【課題】 深さノイズフィルタリング方法および装置を提供する。
【解決手段】 深さノイズフィルタリング方法は、深さ情報に応じて空間的フィルタリングを実行したり、または時間的フィルタリングを実行したりすることができる。空間的フィルタリングを実行するために、深さノイズフィルタリング方法は、深さ情報に応じて空間フィルタの特性を決定することができる。また、時間的フィルタリングを実行するために、深さノイズフィルタリング方法は、深さ情報に応じて参照フレームの個数を決定することができる。深さノイズフィルタリング方法は、深さ情報に応じて適応的に深さノイズを除去することで、ノイズフィルタリングの性能を向上させることができる。
【選択図】 図１

Description

本発明は、３Ｄ映像を処理する映像処理に関し、より詳細には、深さによって発生する深さノイズをフィルタリングする深さノイズフィルタリング方法および装置に関する。

３Ｄ映像の需要が増加するに伴い、３Ｄ映像を収集することができる３Ｄカメラが現れている。３Ｄカメラは、物体のカラー情報と深さ情報を取得して２Ｄ映像に立体感を提供することができる。このとき、深さ情報は、物体とカメラの間の距離に応じて決定される。

３Ｄカメラの映像収集特性上、物体の距離に応じて深さ情報に含まれた深さノイズの特性が異なって現れることがある。深さノイズが多い深さ情報を用いて３Ｄ映像を構成する場合には、３Ｄ映像の品質が低下することがある。

したがって、物体とカメラの間の距離による深さノイズを除去することができる方法が求められている。

大韓民国登録特許第１０−０８０６２０１号公報 大韓民国公開特許第２００８−００５９４６２号公報 公開特許第１９９６−０１８８５２号公報 公開特許第２００１−１８９８７８号公報 公開特許第２００１−１８９９４４号公報

本発明は、上述した問題点を解決するために案出されたものであって、深さ情報に応じて空間的フィルタリングを実行することによって適応的に深さノイズを除去する深さノイズフィルタリング方法および装置を提供することを目的とする。

また、本発明は、深さ情報に応じて時間的フィルタリングを実行することによって適応的に深さノイズを除去する深さノイズフィルタリング方法および装置を提供することを他の目的とする。

また、本発明は、空間的フィルタリングを実行するために深さ情報に応じて空間フィルタのサイズまたは係数を計算することで、深さ情報による深さノイズを効果的に除去する深さノイズフィルタリング方法および装置を提供することを他の目的とする。

さらに、本発明は、時間的フィルタリングを実行するために深さ情報に応じて参照フレームの個数を決定することで、深さ情報による深さノイズを効果的に除去する深さノイズフィルタリング方法および装置を提供することをさらに他の目的とする。

上述した目的を達成するために、本発明の一実施形態に係る深さノイズフィルタリング方法は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、前記深さ情報を用いて前記領域に対する空間フィルタを生成するステップと、前記領域の深さ情報に空間フィルタを適用して前記立体映像の深さノイズフィルタリングを実行するステップとを含む。

本発明の一実施形態によれば、前記深さ情報は、前記領域に対する映像収集装置とオブジェクトとの距離であり、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの個数のうちの少なくとも１つを決定する。

本発明の一実施形態によれば、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちのいずれか１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定する。

本発明の一側によれば、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの個数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照し、前記深さ情報に対応する前記空間フィルタを生成する。

本発明の一側によれば、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報が近距離であるほど前記空間フィルタのサイズを減少させる。

本発明の一側によれば、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報が近距離であるほど前記空間フィルタの個数に対する減少率を増加させ、前記空間フィルタの個数は、前記空間フィルタリングの中心から周辺に行くほど減少する。

本発明の一側によれば、前記領域は、前記フィルタリング対象フレームを構成するピクセルまたはブロックのうちのいずれか１つである。

本発明の一実施形態に係る深さノイズフィルタリング方法は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、前記深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップとを含む。

本発明の一側によれば、前記深さ情報に空間フィルタ（ｓｐａｔｉａｌ ｆｉｌｔｅｒ）を適用するステップをさらに含み、前記参照フレームの個数を計算するステップは、前記空間フィルタが適用された深さ情報を用いて参照フレームの個数を計算する。

本発明の一実施形態によれば、深さノイズフィルタリング方法は、前記取得した深さ情報に時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）を実行するステップをさらに含む。

本発明の一実施形態によれば、深さノイズフィルタリング方法は、前記アップデートした深さ情報に空間的フィルタリングを実行するステップをさらに含む。

本発明の一実施形態によれば、深さノイズフィルタリング方法は、前記アップデートした深さ情報を用いて空間フィルタを生成するステップと、前記空間フィルタをアップデートした深さ情報に適用するステップとをさらに含む。

本発明の一実施形態によれば、前記深さノイズフィルタリング方法は、深さ情報に空間的フィルタリングを実行し、この後に時間的フィルタリングを実行することができる。

本発明の一実施形態によれば、前記深さノイズフィルタリング方法は、深さ情報に時間的フィルタリングを実行し、この後に空間的フィルタリングを実行することができる。

本発明の一実施形態に係る深さノイズフィルタリング方法は、前記参照フレームそれぞれの領域に対するアップデートした深さ情報に加重値を適用するステップをさらに含み、前記加重値は、計算された参照フレームの個数に基づいて決定される。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記参照フレームの個数を計算するステップは、前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報に基づいた参照フレームの個数を計算する。

本発明の一側によれば、前記参照フレームの個数を計算するステップは、前記領域に対して深さ情報が近距離であるほど前記参照フレームの個数を減少させる。

本発明の一側によれば、前記フィルタリング対象フレームで領域の深さ情報をアップデートするステップは、前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報をアップデートする。

本発明の一実施形態に係る深さノイズフィルタリング方法は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、前記深さ情報に応じて前記領域に対する空間フィルタを生成して前記領域の深さ情報に適用するステップと、前記空間フィルタが適用されたフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップとを含む。

本発明の一側によれば、前記深さ情報は、前記領域に対する映像収集装置とオブジェクトとの距離であり、前記領域に対する前記空間フィルタを生成して前記領域の深さ情報に適用するステップは、前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは個数のうちの少なくとも１つを決定する。

本発明の一側によれば、前記領域に対する前記空間フィルタを生成するステップは、前記深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの個数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照し、前記深さ情報に対応する前記空間フィルタを生成する。

本発明の一側によれば、前記領域に対する前記空間フィルタを生成して前記領域の深さ情報に適用するステップは、前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定する。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記領域に対して参照フレームの個数を計算するステップは、前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報によるフレームの個数を計算する。

本発明の一側によれば、前記フィルタリング対象フレームで前記領域の深さ情報を決定するステップは、前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報を決定する。

本発明の一実施形態に係る深さノイズフィルタリング方法は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップと、前記領域に対する空間フィルタを前記領域の深さ情報に適用するために前記アップデートした深さ情報を用いて前記領域に対する空間フィルタを生成するステップとを含む。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記参照フレームの個数を計算するステップは、前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報に基づいた参照フレームの個数を計算する。

本発明の一側によれば、前記フィルタリング対象フレームで領域の深さ情報をアップデートするステップは、前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報をアップデートする。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記領域に対する空間フィルタを生成するステップは、前記アップデートした深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの個数のうちの少なくとも１つを決定する。

本発明の一側によれば、前記領域に対する空間フィルタを生成するステップは、前記アップデートした深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの個数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照し、前記アップデートした深さ情報に対応する前記空間フィルタを生成する。

本発明の一側によれば、前記領域に対する空間フィルタを生成するステップは、前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記アップデートした深さ情報による前記空間フィルタのサイズを決定する。

本発明の一実施形態に係る空間フィルタ生成方法は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、前記深さ情報を用いて前記領域に対する空間フィルタの特徴を決定するステップと、前記空間フィルタの特徴に基づいて前記領域に適用する空間フィルタを生成するステップとを含む。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記領域に対する空間フィルタの特徴を決定するステップは、前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの個数のうちの少なくとも１つを決定する。

本発明の一側によれば、前記領域に適用する前記空間フィルタを生成するステップは、前記深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの個数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照し、前記深さ情報に対応する前記空間フィルタを生成する。

本発明の一側によれば、前記領域に対する前記空間フィルタの特徴を決定するステップは、前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定する。

本発明の一側によれば、前記領域に対する前記空間フィルタの特徴を決定するステップは、前記アップデートする深さ情報が近距離であるほど前記空間フィルタのサイズを減少させる。

本発明の一側によれば、前記領域に対する前記空間フィルタの特徴を決定するステップは、前記アップデートする深さ情報が近距離であるほど前記空間フィルタの個数に対する減少率を増加させ、前記空間フィルタの個数は、前記空間フィルタの中心から周辺に行くほど減少する。

本発明の一実施形態に係る深さノイズフィルタリング装置は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対する空間フィルタを生成する空間フィルタ生成部と、前記領域の深さ情報に前記空間フィルタを適用して前記立体映像の深さノイズフィルタリングを実行するフィルタリング実行部とを備える。

本発明の一側によれば、前記深さ情報は、前記領域に対して映像収集装置とオブジェクトとの距離であり、前記空間フィルタ生成部は、前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの個数のうちの少なくとも１つを決定する。

本発明の一側によれば、前記空間フィルタ生成部は、前記深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの個数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照し、前記深さ情報に対応する前記空間フィルタを生成する。

本発明の一実施形態に係る深さノイズフィルタリング装置は、立体映像のフィルタリング対象フレームを構成する領域の第１深さ情報を用いて前記領域に対して参照フレームの個数を計算するフレーム個数計算部と、前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の第２深さ情報を決定する深さ情報決定部とを備える。

本発明の一側によれば、前記深さ情報決定部は、前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の第２深さ情報を決定する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、前記第２深さ情報を用いて時間的フィルタリングを実行する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、前記第２深さ情報を用いて空間的フィルタリングを実行する。

本発明の一側によれば、前記深さ情報決定部は、前記第２深さ情報によって空間フィルタを生成して第３深さ情報を決定し、前記第２深さ情報に前記空間フィルタを適用する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、空間的フィルタリングを実行し、この後に時間的フィルタリングを実行する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、時間的フィルタリングを実行し、その後に空間的フィルタリングを実行する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、前記深さ情報決定部は、前記参照フレームそれぞれに対して領域の深さ情報に加重値を適用し、前記加重値は、前記計算された参照フレームの個数に基づいて決定される。

本発明の一側によれば、前記深さノイズフィルタリング装置は、前記第１深さ情報を生成するために深さ情報に空間フィルタを適用する。

本発明の一側によれば、前記深さノイズフィルタリング装置は、前記第１深さ情報および前記第２深さ情報とは異なる深さ情報を用いて空間フィルタを生成する。

本発明の一実施形態によれば、深さ情報に応じて空間的フィルタリングを実行することによって適応的に深さノイズを除去する深さノイズフィルタリング方法および装置が提供される。

また、本発明の一実施形態によれば、深さ情報に応じて時間的フィルタリングを実行することによって適応的に深さノイズを除去する深さノイズフィルタリング方法および装置が提供される。

また、本発明の一実施形態によれば、空間的フィルタリングを実行するために深さ情報に応じて空間フィルタのサイズまたは係数を計算することで、深さ情報による深さノイズを効果的に除去する深さノイズフィルタリング方法および装置が提供される。

さらに、本発明の一実施形態によれば、時間的フィルタリングを実行するために深さ情報に応じて参照フレームの個数を決定することで、深さ情報による深さノイズを効果的に除去する深さノイズフィルタリング方法および装置が提供される。

本発明の一実施形態に係る深さノイズフィルタリング装置を用いて３Ｄ映像を再構成する過程を説明するための図である。 本発明の一実施形態によって深さノイズを除去するために空間的フィルタリングを実行する全体過程を示すフローチャートである。 本発明の一実施形態によって深さノイズを除去するために時間的フィルタリングを実行する全体過程を示すフローチャートである。 本発明の一実施形態によって深さノイズを除去するために空間的フィルタリングと時間的フィルタリングを実行する全体過程を示すフローチャートである。 本発明の一実施形態によって深さノイズを除去するために時間的フィルタリングと空間的フィルタリングを実行する全体過程を示すフローチャートである。 本発明の一実施形態によって深さ情報による深さノイズの差を表す一例を示すフローチャートである。 本発明の一実施形態によって深さ情報に応じて空間フィルタのサイズを計算する過程を説明するための図である。 本発明の一実施形態によって深さ情報に応じて空間フィルタの係数を計算する過程を説明するための図である。 本発明の一実施形態によって深さ情報に空間フィルタを適用する一例を示す図である。 本発明の一実施形態によって深さ情報に応じて参照フレームの個数を決定して時間的フィルタリングを実行する一例を示す図である。 本発明の一実施形態によって空間的フィルタリングを実行するための深さノイズフィルタリング装置の全体構成を示すブロック図である。 本発明の一実施形態によって時間的フィルタリングを実行するための深さノイズフィルタリング装置の全体構成を示すブロック図である。

以下、添付の図面に記載された内容を参照しながら、本発明に係る好ましい実施形態について詳細に説明する。ただし、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。深さノイズフィルタリング方法は、深さノイズフィルタリング装置によって実行することができる。

図１は、本発明の一実施形態に係る深さノイズフィルタリング装置を用いて３Ｄ映像を再構成する過程を説明するための図である。

図１において、映像収集装置１０２は、オブジェクト１０１を撮影して映像を収集することができる。また、映像収集装置１０２は、オブジェクト１０１から３Ｄ映像を収集することができるが、より具体的に、映像収集装置１０２は、オブジェクト１０１のカラー情報と深さ情報を収集することができる。ここで、カラー情報は、映像収集装置１０２のＣＣＤまたはＣＭＯＳイメージセンサによって収集される情報を意味することができる。さらに、深さ情報は、映像収集装置１０２からオブジェクト１０１の各ポイントまでの距離を意味する。

一例として、映像収集装置１０２は、オブジェクト１０１に光を照らして戻ってくる時間を測定した後、光の速度を用いて映像収集装置１０２とオブジェクト１０１との距離を測定することができる。このように測定された距離を用いて、映像収集装置１０２は、深さ情報を収集することができる。このとき、映像収集装置１０２が収集する深さ情報には、オブジェクト１０１との距離による深さノイズが発生することがあり、深さノイズフィルタリング装置１０３は、フィルタリングを実行してこのような深さノイズを除去することができる。すなわち、深さノイズフィルタリング装置１０３は、低域通過フィルタ（ＬＰＦ）を用いてフィルタリングを実行して深さノイズを除去することができる。

一例として、深さノイズフィルタリング装置１０３は、深さ情報に応じて空間的（ｓｐａｔｉａｌ）フィルタリングを実行することができる。また、深さノイズフィルタリング装置１０３は、深さ情報に応じて時間的（ｔｅｍｐｏｒａｌ）フィルタリングを実行することができる。また、深さノイズフィルタリング装置１０３は、深さ情報に応じて空間的フィルタリングと時間的フィルタリングを共に実行することができる。さらに、深さノイズフィルタリング装置１０３は、空間的フィルタリングと時間的フィルタリングを順次に実行することができる。

このとき、深さノイズフィルタリング装置１０３は、深さ情報に応じてフィルタのサイズまたは係数を計算してフィルタを生成し、フィルタを適用して空間的フィルタリングを実行することができる。または、深さノイズフィルタリング装置１０３は、深さ情報に応じて参照フレームの個数を計算して時間的フィルタリングを実行することができる。

結局、フィルタリングされた深さ情報とカラー情報を再構成することによって、品質が向上した３Ｄ映像１０４を生成することができる。

図２は、本発明の一実施形態によって深さノイズを除去するために空間的フィルタリングを実行する全体過程を示すフローチャートである。

ステップＳ２０１で、深さノイズフィルタリング装置１０３は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得することができる。このとき、領域は、フィルタリング対象フレームを構成するピクセルまたはブロックとすることができる。すなわち、深さノイズフィルタリング装置１０３は、ピクセル単位またはブロック単位によってフィルタリングを実行することができる。また、深さ情報は、領域に対して映像収集装置１０２とオブジェクト１０１との距離を意味する。

このとき、深さノイズフィルタリング装置１０３は、映像収集装置１０２によって映像収集装置１０２とオブジェクト１０１との距離である深さ情報を取得することができる。

ステップＳ２０２で、深さノイズフィルタリング装置１０３は、深さ情報を用いて領域に対する空間フィルタを生成することができる。一例として、深さノイズフィルタリング装置１０３は、深さ情報を用いて領域に適用する空間フィルタのサイズまたは係数のうちの少なくとも１つを決定することができる。

このとき、深さノイズフィルタリング装置１０３は、深さ情報、映像収集装置１０２の測定最大距離、測定最小距離、および測定最大距離であるときの空間フィルタの最大サイズを用いて深さ情報による空間フィルタのサイズを決定することができる。一例として、深さノイズフィルタリング装置１０３は、式（１）によって空間フィルタのサイズを決定することができる。

ここで、ｄｅｐｔｈは深さ情報を意味し、ｓｉｚｅは深さ情報による空間フィルタのサイズを意味する。また、ｍｉｎ Ｄｉｓｔａｎｃｅは映像収集装置１０２の測定最小距離を意味し、ｍａｘ Ｄｉｓｔａｎｃｅは映像収集装置１０２の測定最大距離を意味する。さらに、ｍａｘ ｆｉｌｔｅｒｓｉｚｅは、映像収集装置１０２の測定最大距離であるときの空間フィルタのサイズを意味する。

例えば、映像収集装置１０２の測定最大距離が３．５ｍであり、測定最小距離が０．５ｍであり、測定最大距離であるときの空間フィルタのサイズが９であると仮定する。また、実際の深さ映像が１．５ｍ〜３．０ｍの間であると仮定する。もし、深さ情報が１．５ｍである場合、空間フィルタのサイズは、定数である３で決定されるようになる。そうなれば、空間フィルタは３×３のフィルタとすることができる。このとき、空間フィルタの各係数は、１／９で決定されることができる。また、深さ情報が１．９ｍである場合、空間フィルタのサイズは４．２で決定され、空間フィルタは４×４のフィルタとすることができる。このとき、空間フィルタの各係数は、１／１６で決定されることができる。ここで、空間フィルタの係数は、立体映像のフィルタリング対象フレームに適用される加重値の係数を意味する。

式（１）によれば、深さノイズフィルタリング装置１０３は、深さ情報が近距離であるほど空間フィルタのサイズを減少させ、深さ情報が遠距離であるほど空間フィルタのサイズを増加させることができる。

一例として、深さノイズフィルタリング装置１０３は、深さ情報に応じて空間フィルタの係数を決定することができる。このとき、深さノイズフィルタリング装置１０３は、フィルタのサイズが同じ場合に、深さ情報に応じて空間フィルタの係数を異なるように決定することができる。

ここで、空間フィルタの係数は、空間フィルタの中心から周辺に行くほど減少する。ただし、空間フィルタの中心から周辺までの空間フィルタの係数に対する減少率は、深さ情報に応じて異なるように決定されることがある。より具体的に、深さ情報が近距離であるほど、深さノイズフィルタリング装置１０３は、空間フィルタの係数に対する減少率を大きく決定することができる。また、深さ情報が遠距離であるほど、深さノイズフィルタリング装置１０３は、空間フィルタの係数に対する減少率を小さく決定することができる。

一例として、空間フィルタの係数に対する減少率は、ガウス関数（Ｇａｕｓｓｉａｎ Ｆｕｎｃｔｉｏｎ）で表すことができる。このとき、ガウス関数の幅はシグマ値によって決定され、深さ情報が近距離であるほどシグマ値は小さく設定され、深さ情報が遠距離であるほどシグマ値は大きく設定される。

深さノイズフィルタリング装置１０３は、深さ情報に応じて空間フィルタのサイズと係数を同時に決定することができる。深さ情報による空間フィルタのサイズと係数は、上述した説明によって決定される。

すなわち、深さノイズフィルタリング装置１０３は、深さ情報に応じて演算過程を実行して空間フィルタをリアルタイムで生成することができる。また、一例として、深さノイズフィルタリング装置１０３は、深さ情報に応じて予め設定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）空間フィルタのサイズ、または予め設定された空間フィルタの係数のうちの少なくとも１つの空間フィルタの情報が格納されたテーブルを参照して、深さ情報に対応する空間フィルタを生成することができる。言い替えれば、深さノイズフィルタリング装置１０３は、特定の深さ情報に対して空間フィルタの特徴を予め演算した後、入力された深さ情報に適合する空間フィルタを即時に生成することができる。

このとき、空間フィルタを生成しようとする深さ情報Ｄ１がテーブルに設定されていない場合、深さノイズフィルタリング装置１０３は、テーブルを用いて予め設定した深さ情報を組み合わせて空間フィルタを生成することができる。より具体的に、深さノイズフィルタリング装置１０３は、テーブルに予め設定した深さ情報のうちで深さ情報Ｄ１を含むことができる２つの深さ情報Ｄ２、Ｄ３を決定することができる。また、深さ情報Ｄ２、Ｄ３それぞれの空間フィルタを深さ情報Ｄ１との差によって加重値を適用し、深さ情報Ｄ１の空間フィルタを生成することができる。

ステップＳ２０３で、深さノイズフィルタリング装置１０３は、領域の深さ情報に空間フィルタを適用して立体映像の深さノイズフィルタリングを実行することができる。上述したように、領域は、フィルタリング対象フレームを構成するピクセルまたはブロックとすることができる。空間フィルタを適用することによって、高周波成分である深さノイズを除去することができる。特に、深さ情報が遠距離であるほど高周波成分が深さノイズとして現れるため、深さノイズフィルタリング装置１０３は、深さノイズフィルタリング強度を強く調節して深さノイズを除去することができる。空間フィルタを適用する一例は、図９を参照しながら具体的に説明する。

結局、空間的フィルタリングは、立体映像を構成する１つのフィルタリング対象フレームにおいて、フィルタリング対象フレームを構成する領域に対して空間フィルタを適用して深さノイズを除去することを意味する。また、オブジェクト１０１との距離が遠いほど深さノイズが多く発生するため、深さノイズフィルタリング装置１０３は、オブジェクト１０１との距離が遠いほどフィルタリングの強度を高めて深さノイズを除去する効果を高めることができる。

図３は、本発明の一実施形態によって深さノイズを除去するために時間的フィルタリングを実行する全体過程を示すフローチャートである。

ステップＳ３０１で、深さノイズフィルタリング装置１０３は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得することができる。このとき、深さノイズフィルタリング装置１０３は、映像収集装置１０２から深さ情報を取得することができる。領域と深さ情報は、図２で説明したものと同じである。

ステップＳ３０２で、深さノイズフィルタリング装置１０３は、深さ情報を用いて領域に対して参照フレームの個数を計算することができる。領域ごとに深さ情報は異なるため、領域ごとに計算される参照フレームの個数も異なるようになる。このとき、参照フレームは、フィルタリング対象フレームに対して深さノイズを除去するために参照する時間的に以前または以後に存在するフレームを意味する。

深さノイズフィルタリング装置１０３は、深さ情報、映像収集装置１０２の測定最小距離、測定最大距離、および測定最大距離であるときのフレームの個数を用いて深さ情報に基づいた参照フレームの個数を計算することができる。一例として、深さノイズフィルタリング装置１０３は、式（２）によって参照フレームの個数を計算することができる。

ここで、ｄｅｐｔｈは深さ情報を意味し、Ｎｕｍ^２は参照フレームの個数を意味する。また、ｍｉｎ Ｄｉｓｔａｎｃｅは映像収集装置１０２の測定最小距離を意味し、ｍａｘ Ｄｉｓｔａｎｃｅは映像収集装置１０２の測定最大距離を意味する。さらに、ｍａｘ Ｎｕｍ ｏｆ ｆｒａｍｅｓは、映像収集装置１０２の測定最大距離であるときの参照フレームの最大個数を意味する。

例えば、映像収集装置１０２の測定最大距離が３．５ｍであり、測定最小距離が０．５ｍであり、測定最大距離であるときの参照フレームの最大個数が２５であると仮定する。また、実際の深さ映像が１．５ｍ〜３．０ｍの間であると仮定する。もし、深さ情報が１．５ｍである場合、Ｎｕｍは定数である３で決定され、参照フレームの個数は９個となる。さらに、深さ情報が１．９ｍである場合、Ｎｕｍは４．２で決定され、参照フレームの個数は１６個となる。

このとき、参照フレームの個数により、参照フレームの領域に適用される加重値は反比例して決定される。すなわち、参照フレームの個数が９個である場合、９個の参照フレームで該当する領域それぞれの深さ情報に加重値１／９が適用される。

式（２）によれば、深さノイズフィルタリング装置１０３は、深さ情報が近距離であるほど参照フレームの個数を減少させ、深さ情報が遠距離であるほど参照フレームの個数を増加させることができる。

ステップＳ３０３で、深さノイズフィルタリング装置１０３は、参照フレームの個数に対応する参照フレームを用いてフィルタリング対象フレームで領域の深さ情報を決定することができる。一例として、深さノイズフィルタリング装置１０３は、参照フレームの深さ情報を平均してフィルタリング対象フレームで領域の深さ情報を決定することができる。

例えば、参照フレームの個数が９個である場合、深さノイズフィルタリング装置１０３は、フィルタリング対象フレームの領域に対応する９個の参照フレームの領域それぞれに深さ情報に加重値１／９を適用した後、これを算術平均してフィルタリング対象フレームの領域の深さ情報を決定することができる。

図４は、本発明の一実施形態によって深さノイズを除去するために空間的フィルタリングと時間的フィルタリングを実行する全体過程を示すフローチャートである。

ステップＳ４０１で、深さノイズフィルタリング装置１０３は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得することができる。領域と深さ情報についての説明は、図２を参照することができる。

ステップＳ４０２で、深さノイズフィルタリング装置１０３は、深さ情報に応じて領域に対する空間フィルタを生成して領域の深さ情報に適用することができる。ステップＳ４０１とステップＳ４０２は、空間的フィルタリングを意味する。ステップＳ４０１とステップＳ４０２についての具体的な説明は、図２を参照することができる。

ステップＳ４０３で、深さノイズフィルタリング装置１０３は、空間フィルタが適用されたフィルタリング対象フレームを構成する領域の深さ情報を用いて領域に対して参照フレームの個数を計算することができる。

ステップＳ４０４で、深さノイズフィルタリング装置１０３は、個数に対応する参照フレームを用いてフィルタリング対象フレームで領域のアップデートした深さ情報を決定することができる。ステップＳ４０３とステップＳ４０４は、時間的フィルタリングを意味することができる。ステップＳ４０３とステップＳ４０４についての説明は、図３を参照することができる。

すなわち、図４は、立体映像に対して空間的フィルタリングを適用した後、時間的フィルタリングを適用したことを意味する。

図５は、本発明の一実施形態によって深さノイズを除去するために時間的フィルタリングと空間的フィルタリングを実行する全体過程を示すフローチャートである。

ステップＳ５０１で、深さノイズフィルタリング装置１０３は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得することができる。領域と深さ情報についての説明は、図２を参照することができる。

ステップＳ５０２で、深さノイズフィルタリング装置１０３は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて領域に対して参照フレームの個数を計算することができる。

ステップＳ５０３で、深さノイズフィルタリング装置１０３は、個数に対応する参照フレームを用いてフィルタリング対象フレームで領域の深さ情報を決定することができる。

ステップＳ５０２とステップＳ５０３は、時間的フィルタリングを適用する過程に関するものであり、より具体的な説明は、図３を参照することができる。

ステップＳ５０４で、深さノイズフィルタリング装置１０３は、決定された深さ情報に応じて領域に対する空間フィルタを生成して領域の深さ情報に適用することができる。

ステップＳ５０４は、空間的フィルタリングを適用する過程に関するものであり、より具体的な説明は、図２を参照することができる。

すなわち、図５、は立体映像に対して時間的フィルタリングを適用した後、空間的フィルタリングを適用したことを意味する。

図６は、本発明の一実施形態によって深さ情報による深さノイズの差を表す一例を示すフローチャートである。図６を参照するに、映像収集装置１０２とオブジェクト１０１との距離である深さ情報による深さノイズの程度を確認することができる。図１で上述したように、深さ情報は、映像収集装置１０２が放出した光がオブジェクト１０１に反射して戻ってくる時間を光の速度で割ることによって決定することができる。このとき、映像収集装置１０２の近くに位置したオブジェクト１０１から反射して戻ってくる光の強度は強いため、深さ情報の正確度は高い。したがって、オブジェクト１０１との距離が近いほど深さノイズは小さい。これとは反対に、映像収集装置１０２と遠く離れたオブジェクト１０１の場合、反射して戻ってくる光の強度が少なく、深さ情報の正確度が低くなることがある。この場合、深さ情報に対する深さノイズが大きく発生する恐れがある。

結局、映像収集装置１０２とオブジェクト１０１の距離が遠いほど深さノイズは増加し、映像収集装置１０２とオブジェクト１０１の距離が近いほど深さノイズは減少するようになる。これにより、本発明の一実施形態に係る深さノイズフィルタリング装置１０３は、映像収集装置１０２とオブジェクト１０１の距離が遠いほど、深さノイズに対するフィルタリングの強度を増加させることができる。

より具体的に、深さノイズフィルタリング装置１０３は、映像収集装置１０２とオブジェクト１０１の距離が遠いほど、空間的フィルタリングのための空間フィルタのサイズを増加させることができる。また、深さノイズフィルタリング装置１０３は、中心から周辺に行くほど係数が減少するように空間フィルタを生成することができる。このとき、深さノイズフィルタリング装置１０３は、係数の減少率を深さ情報に応じて相違して決定することができる。例えば、深さノイズフィルタリング装置１０３は、映像収集装置１０２とオブジェクト１０１の距離が遠いほど、空間フィルタの係数に対する減少率を減少させることができる。また、深さノイズフィルタリング装置１０３は、映像収集装置１０２とオブジェクト１０１の距離が遠いほど、時間的フィルタリングのための参照フレームの個数を増加させることができる。

図７は、本発明の一実施形態によって深さ情報に応じて空間フィルタのサイズを計算する過程を説明するための図である。図６で説明したように、深さノイズフィルタリング装置１０３は、オブジェクト１０１と映像収集装置１０２の間の距離が遠いほど、空間的フィルタリングのための空間フィルタのサイズを増加させることができる。すなわち、映像収集装置１０２とオブジェクト１０１の距離が遠距離である場合には、５×５サイズの空間フィルタ７０１が決定される。また、映像収集装置１０２とオブジェクト１０１の距離が中間距離である場合には、４×４サイズの空間フィルタ７０２が決定されることができる。さらに、映像収集装置１０２とオブジェクト１０１の距離が近距離である場合には、３×３サイズの空間フィルタ７０３が決定される。

より具体的に空間フィルタのサイズを決定する過程は、式（１）を参照することができる。

図８は、本発明の一実施形態によって深さ情報に応じて空間フィルタの係数を計算する過程を説明するための図である。

図８で、空間フィルタ８０１、８０２、８０３、８０４のサイズは同じであると仮定する。また、空間フィルタが適用された結果が空間フィルタの横に示されている。

図６で説明したように、深さノイズフィルタリング装置１０３は、オブジェクト１０１と映像収集装置１０２の間の距離が遠いほど、空間的フィルタリングのための空間フィルタの係数に対する減少率を減少させることができる。より具体的に、深さノイズフィルタリング装置１０３は、空間フィルタの中心から周辺に行くほど、空間フィルタの係数を減少することができる。このとき、深さノイズフィルタリング装置１０３は、深さ情報に応じて空間フィルタの係数に対する減少率を相違して決定することができる。

深さノイズフィルタリング装置１０３は、深さ情報が近距離であるほど、空間フィルタの係数に対する減少率を増加させることができる。すなわち、空間的フィルタリングを実行するとき、空間フィルタが適用される領域は、周辺領域の深さ情報の影響を少なく受けることができる。また、深さノイズフィルタリング装置１０３は、深さ情報が遠距離であるほど、空間フィルタの係数に対する減少率を減少させることができる。すなわち、空間的フィルタリングを実行するとき、空間フィルタが適用される領域は、周辺領域の深さ情報の影響を大きく受けることができる。

図８に示すように、空間フィルタの係数に対する減少率は、ガウス関数で表現することができる。ここで、ガウス関数の幅を決定するシグマ値は、空間フィルタの係数に対する減少率を意味し、深さ情報に応じて相違して設定することができる。一例として、深さ情報が近距離である場合にはガウス関数のシグマ値は小さく設定され、深さ情報が遠距離である場合にはガウス関数のシグマ値は大きく設定される。

図８で、映像収集装置１０２とオブジェクト１０１の距離が遠いほど深さノイズが強いため、深さノイズフィルタリング装置１０３は、フィルタリング強度を高めることができる。すなわち、フィルタリング強度が高いほど、深さ情報の高周波成分を多く除去することができる。これとは反対に、映像収集装置１０２とオブジェクト１０１の距離が近いほど深さノイズは弱いため、深さノイズフィルタリング装置１０３は、フィルタリング強度を弱くすることができる。一例として、深さ情報が遠距離である場合、立体映像の高周波成分はノイズ成分とすることができる。このとき、深さノイズフィルタリング装置１０３は、フィルタリング強度を調節して立体映像のノイズ成分である高周波成分を除去することができる。一方、深さ情報が近距離である場合、立体映像の高周波成分は、ノイズ成分ではない立体映像の本来の成分とすることができる。このとき、深さノイズフィルタリング装置１０３は、フィルタリング強度を調節して立体映像の本来の成分である高周波成分をそのままにすることができる。

図９は、本発明の一実施形態によって深さ情報に空間フィルタを適用する一例を示す図である。

図面符号９０１は、深さノイズフィルタリング装置１０３によって生成された空間フィルタを示す。また、図面符号９０２は、空間フィルタが適用される領域の深さ情報を意味する。このとき、空間フィルタは、領域ｅに適用されることを意味する。領域ｅは、ピクセルであったり、またはピクセルで構成されたブロックであったりする。

さらに、図面符号９０３は、空間フィルタが適用された領域の深さ情報を意味する。すなわち、図面符号９０３は、空間的フィルタリングが実行された結果を示す。ｅ’は、空間的フィルタリングが実行された深さ情報を意味する。

一例として、空間的フィルタリングが実行された深さ情報は、式（３）によって決定することができる。

ｅ’＝（Ａ×ａ）＋（Ｂ×ｂ）＋（Ｃ×ｃ）＋（Ｄ×ｄ）＋（Ｅ×ｅ）＋（Ｆ×ｆ）＋（Ｇ×ｇ）＋（Ｈ×ｈ）＋（Ｉ×ｉ） （３）

式（３）を詳察すれば、空間的フィルタリングは、空間フィルタが適用される領域の周辺領域の深さ情報を用いて実行することができる。このようなフィルタリング過程を、マスク基盤のフィルタリングと言うことができる。本発明の一実施形態によれば、フィルタリングが実行される領域ｅの深さ情報に応じて空間フィルタのサイズまたは係数が決定される。

図１０は、本発明の一実施形態によって深さ情報に応じて参照フレームの個数を決定して時間的フィルタリングを実行する一例を示す図である。図１０を参考すれば、立体映像を構成する複数のフレームが示されている。このとき、複数のフレームは、時間的フィルタリングを実行するための参照フレームを意味する。また、図面符号１００１は、フィルタリング対象フレームであると仮定する。ここで、フィルタリング対象フレーム１００１は、領域１００２、１００３、１００４で構成することができる。

フィルタリング対象フレーム１００１で、領域１００２の深さ情報は、映像収集装置１０２から遠距離に位置したオブジェクト１０１から取得したものであると仮定する。また、領域１００３の深さ情報は、映像収集装置１０２から中間距離に位置したオブジェクト１０１から取得したものであり、領域１００４の深さ情報は、映像収集装置１０２から近距離に位置したオブジェクト１０１から取得したものであると仮定する。

本発明の一実施形態に係る深さノイズフィルタリング装置１０３は、深さ情報を用いて領域に対する参照フレームの個数を計算することができる。一例として、深さノイズフィルタリング装置１０３は、領域に対する深さ情報が遠距離であるほど参照フレーム個数を増加させ、領域に対する深さ情報が近距離であるほど参照フレーム個数を減少させることができる。

図１０を参照すれば、領域１００４の場合、深さ情報が近距離であるため、参照フレームの個数１００７が決定される。また、領域１００３の場合、深さ情報が中間距離であるため、参照フレームの個数１００６は参照フレームの個数１００７よりも多いことが分かる。また、領域１００２の場合、深さ情報が遠距離であるため、参照フレームの個数１００５が決定されることができる。このとき、参照フレームの個数１００５は、参照フレームの個数１００６、１００７よりも大きいことが分かる。

すなわち、深さノイズフィルタリング装置１０３は、フィルタリング対象フレーム１００１において、深さ情報が近距離であるほど参照フレームの個数を減少させ、遠距離であるほど参照フレームの個数を増加させることができる。参考までに、領域１００３に対して時間的フィルタリングを実行する場合、深さノイズフィルタリング装置１０３は、参照フレームの個数１００６に対応する参照フレームで領域１００３の深さ情報を平均して領域１００３の深さ情報を更新することができる。

図１１は、本発明の一実施形態によって空間的フィルタリングを実行するための深みノイズフィルタリング装置の全体構成を示すブロック図である。図１１を参照すれば、深さノイズフィルタリング装置１０３は、空間フィルタ生成部１１０１と、フィルタリング実行部１１０２とを備えることができる。

空間フィルタ生成部１１０１は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて領域に対する空間フィルタを生成することができる。一例として、空間フィルタ生成部１１０１は、深さ情報に応じて空間フィルタのサイズまたは係数のうちの少なくとも１つを計算することができる。また、空間フィルタ生成部１１０１は、空間フィルタのサイズおよび係数を同時に計算することもできる。図１で上述したように、領域は、フィルタリング対象フレームを構成するピクセルまたはブロックとすることができる。また、深さ情報は、映像収集装置とオブジェクトとの距離を意味する。

このとき、空間フィルタ生成部１１０１は、深さ情報、映像収集装置の測定最大距離、測定最小距離、および測定最大距離であるときの空間フィルタの最大サイズを用いて深さ情報による空間フィルタのサイズを決定することができる。

また、空間フィルタ生成部１１０１は、深さ情報が近距離であるほど空間フィルタのサイズを減少させ、深さ情報が遠距離であるほど空間フィルタのサイズを増加させることができる。また、空間フィルタ生成部１１０１は、空間フィルタの中心から周辺に行くほど係数が減少するように空間フィルタを生成することができる。一例として、空間フィルタ生成部１１０１は、深さ情報に応じて減少率を相違して決定することができる。例えば、空間フィルタ生成部１１０１は、深さ情報が近距離であるほど空間フィルタの係数に対する減少率を増加させ、深さ情報が遠距離であるほど空間フィルタの係数に対する減少率を減少させることができる。

すなわち、空間フィルタ生成部１１０１は、深さ情報に応じて演算過程を実行して空間フィルタをリアルタイムで生成することができる。また、一例として、空間フィルタ生成部１１０１は、深さ情報に応じて予め設定された空間フィルタのサイズまたは予め設定された空間フィルタの係数のうちの少なくとも１つの空間フィルタの情報が格納されたテーブルを参照して、深さ情報に対応する空間フィルタを生成することができる。言い替えれば、空間フィルタ生成部１１０１は、特定の深さ情報に対して空間フィルタの特徴を予め演算した後、入力された深さ情報に適合する空間フィルタを即時に生成することができる。

このとき、テーブルに空間フィルタを生成しようとする深さ情報Ｄ１が存在しない場合、空間フィルタ生成部１１０１は、テーブル上に存在する深さ情報を組み合わせて空間フィルタを生成することができる。より具体的に、空間フィルタ生成部１１０１は、空間フィルタを生成しようとする深さ情報Ｄ１を含む２つの深さ情報Ｄ２、Ｄ３に該当する空間フィルタを深さ情報に応じて加重値を適用して、空間フィルタを生成しようとする深さ情報Ｄ１による空間フィルタを生成することができる。

フィルタリング実行部１１０２は、領域の深さ情報に空間フィルタを適用して立体映像の深さノイズフィルタリングを実行することができる。このとき、深さノイズフィルタリングは、マスク基盤の空間フィルタを適用して領域の周辺領域の深さ情報に応じて実行されるようになる。

図１２は、本発明の一実施形態によって時間的フィルタリングを実行するための深さノイズフィルタリング装置の全体構成を示すブロック図である。図１２を参照すれば、深さノイズフィルタリング装置１０３は、フレーム個数計算部１２０１と、深さ情報決定部１２０２とを備えることができる。

フレーム個数計算部１２０１は、立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて領域に対して参照フレームの個数を計算することができる。一例として、フレーム個数計算部１２０１は、深さ情報、映像収集装置の測定最小距離、測定最大距離、および測定最大距離であるときのフレームの個数を用いて深さ情報に基づいた参照フレームの個数を計算することができる。ここで、フレーム個数計算部１２０１は、領域に対して深さ情報が遠距離であるほど参照フレーム個数を増加させ、領域に対して深さ情報が近距離であるほど参照フレーム個数を減少させることができる。

深さ情報決定部１２０２は、個数に対応する参照フレームを用いてフィルタリング対象フレームで領域の深さ情報を決定することができる。一例として、深さ情報決定部１２０２は、参照フレームの領域に対する深さ情報を平均してフィルタリング対象フレームで領域の深さ情報を決定することができる。

図１１および図１２で説明しなかった部分は、図１〜図１０の説明を参照することができる。

なお、本発明の一実施形態に係る深さノイズフィルタリング方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１０１ オブジェクト
１０２ 映像収集装置
１０３ 深さノイズフィルタリング装置
１０４ ３Ｄ映像

Claims (50)

1. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、
   前記深さ情報を用いて前記領域に対する空間フィルタを生成するステップと、
   前記領域の深さ情報に前記空間フィルタを適用して前記立体映像の深さノイズフィルタリングを実行するステップと、
   を含むことを特徴とする深さノイズフィルタリング方法。
2. 前記深さ情報は、
   前記領域に対する映像収集装置とオブジェクトとの距離であり、
   前記領域に対する前記空間フィルタを生成するステップは、
   前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの係数のうちの少なくとも１つを決定することを特徴とする請求項１に記載の深さノイズフィルタリング方法。
3. 前記領域に対する前記空間フィルタを生成するステップは、
   前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定することを特徴とする請求項２に記載の深さノイズフィルタリング方法。
4. 前記領域に対する前記空間フィルタを生成するステップは、
   前記深さ情報に応じて予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの係数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照して、前記深さ情報に対応する前記空間フィルタを生成することを特徴とする請求項２に記載の深さノイズフィルタリング方法。
5. 前記領域に対する前記空間フィルタを生成するステップは、
   前記深さ情報が近距離であるほど前記空間フィルタのサイズを減少させることを特徴とする請求項２に記載の深さノイズフィルタリング方法。
6. 前記領域に対する前記空間フィルタを生成するステップは、
   前記深さ情報が近距離であるほど前記空間フィルタの係数に対する減少率を増加させ、
   前記空間フィルタの係数は、
   前記空間フィルタの中心から周辺に行くほど減少することを特徴とする請求項２に記載の深さノイズフィルタリング方法。
7. 前記領域は、
   前記フィルタリング対象フレームを構成するピクセルまたはブロックのうちのいずれか１つであることを特徴とする請求項１に記載の深さノイズフィルタリング方法。
8. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、
   前記深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、
   前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップと、
   を含むことを特徴とする深さノイズフィルタリング方法。
9. 前記深さ情報に空間フィルタを適用するステップ、
   をさらに含み、
   前記参照フレームの個数を計算するステップは、
   前記空間フィルタが適用された深さ情報を用いて参照フレームの個数を計算することを特徴とする請求項８に記載の深さノイズフィルタリング方法。
10. 前記取得した深さ情報に時間的フィルタリングを実行するステップ、
    をさらに含む請求項８に記載の深さノイズフィルタリング方法。
11. 前記アップデートした深さ情報に空間的フィルタリングを実行するステップ、
    をさらに含む請求項８に記載の深さノイズフィルタリング方法。
12. 前記アップデートした深さ情報を用いて空間フィルタを生成するステップと、
    前記空間フィルタをアップデートした深さ情報に適用するステップと、
    をさらに含む請求項８に記載の深さノイズフィルタリング方法。
13. 前記深さノイズフィルタリング方法は、
    深さ情報に空間的フィルタリングを実行し、この後に時間的フィルタリングを実行することを特徴とする請求項８に記載の深さノイズフィルタリング方法。
14. 前記深さノイズフィルタリング方法は、
    深さ情報に時間的フィルタリングを実行し、この後に空間的フィルタリングを実行することを特徴とする請求項８に記載の深さノイズフィルタリング方法。
15. 前記参照フレームそれぞれの領域に対するアップデートした深さ情報に加重値を適用するステップ、
    をさらに含み、
    前記加重値は、計算された参照フレームの個数に基づいて決定されることを特徴とする請求項８に記載の深さノイズフィルタリング方法。
16. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記参照フレームの個数を計算するステップは、
    前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報に基づいた参照フレームの個数を計算することを特徴とする請求項８に記載の深さノイズフィルタリング方法。
17. 前記参照フレームの個数を計算するステップは、
    前記領域に対して深さ情報が近距離であるほど前記参照フレーム個数を減少させることを特徴とする請求項１６に記載の深さノイズフィルタリング方法。
18. 前記フィルタリング対象フレームで領域の深さ情報をアップデートするステップは、
    前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報をアップデートすることを特徴とする請求項８に記載の深さノイズフィルタリング方法。
19. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、
    前記深さ情報に応じて前記領域に対する空間フィルタを生成して前記領域の深さ情報に適用するステップと、
    前記空間フィルタが適用されたフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、
    前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップと、
    を含むことを特徴とする深さノイズフィルタリング方法。
20. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記領域に対する前記空間フィルタを生成して前記領域の深さ情報に適用するステップは、
    前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは係数のうちの少なくとも１つを決定することを特徴とする請求項１９に記載の深さノイズフィルタリング方法。
21. 前記領域に対する前記空間フィルタを生成するステップは、
    前記深さ情報に応じて予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの係数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照して、前記深さ情報に対応する前記空間フィルタを生成することを特徴とする請求項２０に記載の深さノイズフィルタリング方法。
22. 前記領域に対する前記空間フィルタを生成して前記領域の深さ情報に適用するステップは、
    前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定することを特徴とする請求項２０に記載の深さノイズフィルタリング方法。
23. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記領域に対して参照フレームの個数を計算するステップは、
    前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報によるフレームの個数を計算することを特徴とする請求項１９に記載の深さノイズフィルタリング方法。
24. 前記フィルタリング対象フレームで前記領域の深さ情報を決定するステップは、
    前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報を決定することを特徴とする請求項１９に記載の深さノイズフィルタリング方法。
25. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対して参照フレームの個数を計算するステップと、
    前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の深さ情報をアップデートするステップと、
    前記領域に対する空間フィルタを前記領域の深さ情報に適用するために前記アップデートした深さ情報を用いて前記領域に対する空間フィルタを生成するステップと、
    を含むことを特徴とする深さノイズフィルタリング方法。
26. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記参照フレームの個数を計算するステップは、
    前記深さ情報、前記映像収集装置の測定最小距離、測定最大距離、または前記測定最大距離であるときのフレームの個数のうちの少なくとも１つの情報を用いて前記深さ情報に基づいた参照フレームの個数を計算することを特徴とする請求項２５に記載の深さノイズフィルタリング方法。
27. 前記フィルタリング対象フレームで領域の深さ情報をアップデートするステップは、
    前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の深さ情報をアップデートすることを特徴とする請求項２５に記載の深さノイズフィルタリング方法。
28. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記領域に対する空間フィルタを生成するステップは、
    前記アップデートした深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの係数のうちの少なくとも１つを決定することを特徴とする請求項２５に記載の深さノイズフィルタリング方法。
29. 前記領域に対する空間フィルタを生成するステップは、
    前記アップデートした深さ情報に応じて予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの係数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照して、前記アップデートした深さ情報に対応する前記空間フィルタを生成することを特徴とする請求項２８に記載の深さノイズフィルタリング方法。
30. 前記領域に対する空間フィルタを生成するステップは、
    前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記アップデートした深さ情報による前記空間フィルタのサイズを決定することを特徴とする請求項２８に記載の深さノイズフィルタリング方法。
31. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を取得するステップと、
    前記深さ情報を用いて前記領域に対する空間フィルタの特徴を決定するステップと、
    前記空間フィルタの特徴に基づいて前記領域に適用する前記空間フィルタを生成するステップと、
    を含むことを特徴とする空間フィルタ生成方法。
32. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記領域に対する空間フィルタの特徴を決定するステップは、
    前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの係数のうちの少なくとも１つを決定することを特徴とする請求項３１に記載の空間フィルタ生成方法。
33. 前記領域に適用する前記空間フィルタを生成するステップは、
    前記深さ情報に応じて予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの係数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照して、前記深さ情報に対応する前記空間フィルタを生成することを特徴とする請求項３２に記載の空間フィルタ生成方法。
34. 前記領域に対する前記空間フィルタの特徴を決定するステップは、
    前記深さ情報、前記映像収集装置の測定最大距離、測定最小距離、または前記測定最大距離であるときの前記空間フィルタの最大サイズのうちの少なくとも１つの情報を用いて前記深さ情報による前記空間フィルタのサイズを決定することを特徴とする請求項３２に記載の空間フィルタ生成方法。
35. 前記領域に対する前記空間フィルタの特徴を決定するステップは、
    前記アップデートする深さ情報が近距離であるほど前記空間フィルタのサイズを減少させることを特徴とする請求項３２に記載の空間フィルタ生成方法。
36. 前記領域に対する前記空間フィルタの特徴を決定するステップは、
    前記アップデートする深さ情報が近距離であるほど前記空間フィルタの係数に対する減少率を増加させ、
    前記空間フィルタの係数は、
    前記空間フィルタの中心から周辺に行くほど減少することを特徴とする請求項３２に記載の空間フィルタ生成方法。
37. 請求項１〜２９のうちのいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
38. 立体映像のフィルタリング対象フレームを構成する領域の深さ情報を用いて前記領域に対する空間フィルタを生成する空間フィルタ生成部と、
    前記領域の深さ情報に前記空間フィルタを適用して前記立体映像の深さノイズフィルタリングを実行するフィルタリング実行部と、
    を備えることを特徴とする深さノイズフィルタリング装置。
39. 前記深さ情報は、
    前記領域に対して映像収集装置とオブジェクトとの距離であり、
    前記空間フィルタ生成部は、
    前記深さ情報を用いて前記領域に適用する前記空間フィルタのサイズまたは前記空間フィルタの係数のうちの少なくとも１つを決定することを特徴とする請求項３８に記載の深さノイズフィルタリング装置。
40. 前記空間フィルタ生成部は、
    前記深さ情報によって予め設定された前記空間フィルタのサイズまたは予め設定された前記空間フィルタの係数のうちの少なくとも１つの前記空間フィルタの情報が格納されたテーブルを参照して、前記深さ情報に対応する前記空間フィルタを生成することを特徴とする請求項３９に記載の深さノイズフィルタリング装置。
41. 立体映像のフィルタリング対象フレームを構成する領域の第１深さ情報を用いて前記領域に対して参照フレームの個数を計算するフレーム個数計算部と、
    前記個数に対応する参照フレームを用いて前記フィルタリング対象フレームで前記領域の第２深さ情報を決定する深さ情報決定部と、
    を備えることを特徴とする深さノイズフィルタリング装置。
42. 前記深さ情報決定部は、
    前記参照フレームの領域に対する深さ情報を平均して前記フィルタリング対象フレームで前記領域の第２深さ情報を決定することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
43. 前記深さノイズフィルタリング装置は、
    前記第２深さ情報を用いて時間的フィルタリングを実行することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
44. 前記深さノイズフィルタリング装置は、
    前記第２深さ情報を用いて空間的フィルタリングを実行することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
45. 前記深さ情報決定部は、
    前記第２深さ情報によって空間フィルタを生成して第３深さ情報を決定し、前記第２深さ情報に前記空間フィルタを適用することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
46. 前記深さノイズフィルタリング装置は、
    空間的フィルタリングを実行し、この後に時間的フィルタリングを実行することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
47. 前記深さノイズフィルタリング装置は、
    時間的フィルタリングを実行し、この後に空間的フィルタリングを実行することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
48. 前記深さ情報決定部は、
    前記参照フレームそれぞれに対して領域の深さ情報に加重値を適用し、
    前記加重値は、
    前記計算された参照フレームの個数に基づいて決定されることを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
49. 前記深さノイズフィルタリング装置は、
    前記第１深さ情報を生成するために深さ情報に空間フィルタを適用することを特徴とする請求項４１に記載の深さノイズフィルタリング装置。
50. 前記深さノイズフィルタリング装置は、
    前記第１深さ情報および前記第２深さ情報とは異なる深さ情報を用いて空間フィルタを生成することを特徴とする請求項４９に記載の深さノイズフィルタリング装置。

Images