JP2005151568A

JP2005151568A - 中間映像合成のための時間的平滑化装置及び方法

Info

Publication number: JP2005151568A
Application number: JP2004329286A
Authority: JP
Inventors: Jun-Ho Sung; ▲じゅん▼ 豪成
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-11-13
Filing date: 2004-11-12
Publication date: 2005-06-09
Also published as: CN1638491A; KR20050046108A; CN100450193C; US9159136B2; US20050105610A1; KR100524077B1

Abstract

【課題】映像の状態によって適応的に時間的平滑化を適用することによって、映像品質の低下なしに中間映像のフリッカ現象を除去しうる中間映像合成のための適応的時間的平滑化装置及び方法を提供する。
【解決手段】過去及び現在映像を受信して、所定サイズのブロック別に過去及び現在ディスパリティーベクトルを生成するディスパリティーベクトル推定器と、過去及び現在映像と過去及び現在ディスパリティーベクトルとを受信して、時間的平滑化ディスパリティーベクトルを生成する時間的平滑化部とを含み、時間的平滑化部は、過去及び現在映像のＭＡＤに基づいてフレーム毎に異なる時間的平滑化ディスパリティーベクトルを生成する。
【選択図】図３

Description

本発明は中間映像合成のための時間的平滑化装置及び方法に係り、特に中間映像合成において過去映像と現在映像の反映程度を映像の類型によって適応的に調整可能な時間的平滑化装置及び方法に関する。

ＴＶなど映像ディスプレイシステムは、より豊かな現実感を与える方向に進歩しており、これにより３次元映像媒体を必要とし、それに相応する映像処理部を必要とする。３次元ディスプレイ装置は、光学的接近及び映像処理的接近の２つの分野に大別でき、特に３次元映像処理分野は映像信号の圧縮、復元、伝送、そして合成などに主眼点をおいて発展しつつある。現在、最も単純な３次元情報端末機であるステレオ（２視点）方式がゲーム産業や医療産業などに適用されており、日本ではそれを用いた３次元放送を実現している状況である。

図１は、３次元映像処理の概要図である。３次元映像処理は物体を多視点で撮像してあらかじめ決定された映像イメージフォーマットで構成及び圧縮する段階、圧縮された映像を伝送されて圧縮解除して各視点の映像から中間映像を合成する段階、合成された中間映像と伝送された各視点の映像とをディスプレイ装置で処理できる形に変換するインターフェース段階、各視点の映像を組合わせてディスプレイすることによって視聴者に最終的に３次元映像を提供する段階よりなる。

多視点３次元映像ディスプレイ装置は、数多くの視点で獲得された映像を必要とするが、帯域の制限によって限定された視点で獲得された映像だけが伝送される。このような制限のために、視聴者は特定の位置に目の位置を固定しなければならない視聴上の不便さを感じることになる。このような不便さを減少させるために、複数視点のカメラで獲得された映像から中間視点の映像を合成する中間映像合成技術が使われる。このような中間映像合成技術は、非特許文献１及び非特許文献２に詳細に記述されている。

このような中間映像合成技術を用いて中間映像を合成する時、ノイズや微細な振れによるフレーム間時差推定の差が発生しうる。このような時差推定の差は合成された中間映像に存在する物体の境界で多発し、これはユーザにフリッカ現象として見られる。このようなフリッカ現象を除去するために時間的平滑化技術が用いられる。

図２は、従来の時間的平滑化技術の構成を示す図である。

中間映像は左側映像及び右側映像の２映像から生成される。左側ディスパリティーベクトル推定器２１０は過去時間Ｔ−１での左側映像ＬＩ_Ｔ−１２１１及び現在時間Ｔでの左側映像ＬＩ_Ｔ２１２から各時間に該当する左側ディスパリティーベクトル２２１、２２２を生成する。ディスパリティーベクトルは基準映像を基準に対象映像内の特定ブロックが動いた変位を示す値である。したがって左側ディスパリティーベクトルは右側映像を基準に左側映像内の既定のサイズのブロックが移動した変位を示す。

左側時間的平滑化部２２０は生成された過去及び現在の左側ディスパリティーベクトル２２１、２２２から平滑化ディスパリティーベクトル２３１を生成する。平滑化ディスパリティーベクトルは過去のディスパリティーベクトルに現在のディスパリティーベクトルを合わせた値であって、右側映像を基準に左側映像の特定ブロックが動いた変位の累積値を示す。ＤＶ密化部（ｄｉｓｐａｒｉｔｙｖｅｃｔｏｒｄｅｎｓｉｆｉｅｒ）２３０は特定ブロックを基準に生成されたディスパリティーベクトルを画素別にスケーリングすることによって画素ディスフェリーティーベクトル２３２を生成する。

右側ディスパリティーベクトル生成過程も左側での過程と同一である。右側ディスパリティーベクトル推定器２１５、右側時間的平滑化部２２５及び右側ディスパリティーベクトル密化部２３５を通じて左側映像を基準とする右側映像の画素ディスパリティーベクトル２３７が生成される。

ディスパリティーベクトルマッッピング部２４０は左側及び右側画素ディスパリティーベクトル２３２、２３７からマッピングディスパリティーベクトル２４１を生成する。マッピングディスパリティーベクトル２４１は中間映像を合成するために使われる最終ディスパリティーベクトルである。ディスパリティーベクトルマッッピング部２４０は、まず左側及び右側画素ディスパリティーベクトルの一致如何を検査した後、一致したディスパリティーベクトルだけを基準に再スケーリングすることによって中間映像ディスパリティーベクトル２４１を生成する。中間視点再構成器（ＩｎｔｅｒｍｅｄｉａｔｅＶｉｅｗＲｅｃｏｎｓｔｒｕｃｔｉｏｎ；ＩＶＲ）２５０は中間映像ディスパリティーベクトル２４１、左側及び右側映像２１２、２１６から中間映像２５１を生成する。

しかし、従来の時間的平滑化技術は映像の種類に関係なく、時間的平滑化動作が画一的になされるために問題が発生する。例えば、動映像の状態が静的である時は、または動映像に存在する静的な物体に対しては平滑化が円滑になされるが、動映像の状態が動的な場合に時間的平滑化はむしろどんでもない中間映像を合成する結果を招く。
"ＡｎＯｂｊｅｃｔ−ｂａｓｅｄＳｙｓｔｅｍｆｏｒＳｔｅｒｅｏｓｃｏｐｉｃＶｉｅｗｐｏｉｎｔＳｙｎｔｈｅｓｉｓ" ｂｙＪ＿Ｒ．Ｏｈｍ，ＩＥＥＥＴｒａｎｓ．ＣｉｒｃｕｉｔａｎｄＳｙｓｔｅｍｆｏｒＶｉｄｅｏＴｅｃｈ．Ｖｏｌ．７，Ｎｏ．５，ｐｐ．８０１ − ８１１Ｏｃｔｏｂｅｒ１９９７ "ＲｏｂｕｓｔＱｕａｄｔｒｅｅ−ｂａｓｅｄＤｉｓｐａｒｉｔｙＥｓｔｉｍａｔｉｏｎｆｏｒｔｈｅＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＩｎｔｅｒｍｅｄｉａｔｅＳｔｅｒｅｏｓｃｏｐｉｃＩｍａｇｅｓ" ｂｙＡ．Ｍａｎｃｉｎｉ，ＳａｎＪｏｓｅ，ＵＳＡＳＰＩＥ，Ｊａｎｕａｒｙ１９９８．

したがって、本発明は前述した問題点を解決するために案出されたものであって、映像の状態によって適応的に時間的平滑化を適用することによって映像品質の低下無しに中間映像のフリッカ現象を除去した中間映像合成方法及び装置を提供するところにその目的がある。

前述した課題を解決するための本発明に係る時間的平滑化装置は、過去及び現在映像を受信して所定サイズのブロック別に過去及び現在ディスパリティーベクトルを生成するディスパリティーベクトル推定器と、前記過去及び現在映像と前記過去及び現在ディスパリティーベクトルを受信して時間的平滑化ディスパリティーベクトルを生成する時間的平滑化部を含み、前記時間的平滑化部は前記過去及び現在映像の平均絶対値差（ｍｅａｎａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ；ＭＡＤ）に基づいてフレーム毎に異なる時間的平滑化ディスパリティーベクトルを生成することを特徴とする。

この際、前記時間的平滑化部は、前記過去及び現在映像のＭＡＤに基づいて時間的平滑化係数Ｃを生成する相関器と、前記過去及び現在ディスパリティーベクトルを受信して時間的平滑化ディスパリティーベクトルを生成する平滑化ディスパリティーベクトル生成器とを含み、前記平滑化ディスパリティーベクトル生成器は前記時間的平滑化係数に基づいて前記過去及び現在ディスパリティーベクトルの寄与程度を調整することを特徴とする。

また、前記相関器は、前記過去及び現在映像を受信し、所定サイズのブロック単位でブロックマッチングを行った後、マッチングされるブロックのレベル値のＭＡＤを生成するＭＡＤ生成器と、前記生成されたＭＡＤによって時間的平滑化係数をマッチングさせた係数決定関数を用いて時間的平滑化係数を検出する時間的平滑化係数検出器を含むことを特徴とする。

また本発明は、中間映像合成装置で、左側（または右側の）映像ソースから抽出された過去及び現在映像から左側（または右側の）過去及び現在ディスパリティーベクトルを生成する左側（または右側）ディスパリティーベクトル推定器と、前記左側（または右側の）過去及び現在映像と、左側（または右側の）過去及び現在ディスパリティーベクトルを受信して左側（または右側）平滑化ディスパリティーベクトルを生成する左側（または右側）時間的平滑化部と、前記左側（または右側）平滑化ディスパリティーベクトルを画素別にスケーリングすることによって左側（または右側）画素平滑化ディスパリティーベクトルを生成する左側（または右側）ディスパリティーベクトル密化部と、前記左側及び右側画素ディスパリティーベクトルを受信して前記左側及び右側画素ディスパリティーベクトルの一致如何を検査し、一致していない画素ディスパリティーベクトルは除去した後、一致している画素ディスパリティーベクトルを基準にスケーリングすることによって最終ディスパリティーベクトルを生成するディスパリティーベクトルマッピング部と、前記左側及び右側現在映像に前記最終ディスパリティーベクトルを適用することによって中間映像を生成する中間映像再構成部とを含む。

また本発明は、中間映像合成のための時間的平滑化方法であって、過去及び現在映像を受信して所定サイズのブロック別に過去及び現在ディスパリティーベクトルを生成するディスパリティーベクトル推定段階と、前記過去及び現在映像と前記過去及び現在ディスパリティーベクトルとを受信して、時間的平滑化ディスパリティーベクトルを生成する時間的平滑化段階とを含み、前記時間的平滑化段階は、前記過去及び現在映像のＭＡＤに基づいてフレーム毎に相異なる時間的平滑化ディスパリティーベクトルを生成する段階を含むことを特徴とする。

また本発明は、中間映像合成方法であって、左側（または右側の）映像ソースから抽出された過去及び現在映像から左側（または右側の）過去及び現在ディスパリティーベクトルを生成する左側（または右側）ディスパリティーベクトル推定段階と、前記左側（または右側の）過去及び現在映像と、左側（または右側の）過去及び現在ディスパリティーベクトルとを受信して左側（または右側）平滑化ディスパリティーベクトルを生成する左側（または右側）時間的平滑化段階と、前記左側（または右側）平滑化ディスパリティーベクトルを画素別にスケーリングすることによって、左側（または右側）画素平滑化ディスパリティーベクトルを生成する左側（または右側）ディスパリティーベクトル密化段階と、前記左側及び右側画素ディスパリティーベクトルを受信して前記左側及び右側画素ディスパリティーベクトルの一致如何を検査し、一致していない画素ディスパリティーベクトルは除去した後、一致している画素ディスパリティーベクトルを基準にスケーリングすることによって最終ディスパリティーベクトルを生成するディスパリティーベクトルマッピング段階と、前記左側及び右側現在映像に前記最終ディスパリティーベクトルを適用することによって中間映像を生成する中間映像再構成段階とを含むことを特徴とする。

本発明に係る時間的平滑化装置及び方法によれば、映像の状態によって適応的に時間的平滑化を適用することによって、映像品質の低下なしに中間映像のフリッカ現象を除去しうる。

以下、添付された図面を参照して本発明に係る望ましい一実施例を詳細に説明する。

図３は、本発明に係る平滑化ディスパリティーベクトルを生成する過程を示すブロック図である。本発明に係る時間的平滑化部３００は、平滑化ディスパリティーベクトル生成器３１０及び相関器３２０を含む。

図４は、ディスパリティーベクトルの概念を示す図である。

ディスパリティーベクトル推定器２１０は過去映像２１１及び現在映像２１２から現在及び過去ディスパリティーベクトル２２１、２２２を生成する。現在ディスパリティーベクトル２２１は現在右側（または左側）映像を基準に現在左側（または右側）映像の該当ブロックが変位された距離を示す。

図４において、物体Ｑ及びＰは２台のカメラから撮像される。この際、２台のカメラの位置の差のために視角差θ_ｑ、θ_ｐが発生する。このような視角差θ_ｑ、θ_ｐはそれぞれのカメラが撮影した映像で‘変位’として現れる。図４において、左側映像は左側カメラが撮像した画面を示し、右側映像は右側カメラが撮像した画面を示す。左側映像における物体Ｑ、Ｐは画面の右側に片寄っているが、右側映像における物体Ｑ、Ｐは画面の左側に片寄っていることが分かる。ディスパリティーベクトルは次の式（１）のように定義される。

ｄ_ｐ＝ │ｄ_ｐｒ − ｄ_ｐｌ│
ｄ_ｑ＝ │ｄ_ｑｒ − ｄ_ｑｌ│ （１）
ここで、ｄ_ｐ、ｄ_ｑは物体Ｐ、Ｑのディスパリティーベクトル、ｄ_ｐｒ、ｄ_ｑｒは右側映像の基準面から物体の距離、ｄ_ｐｌ、ｄ_ｑｌは左側映像の基準面からの物体の距離を示す。図４における基準面として各映像の右側境界面が使われた。

ディスパリティーベクトルを生成するために、左側（右側）映像で特定領域が右側（左側）映像の何処に位置しているかを発見する過程が必要である。すなわち、同じレベル値を有する特定領域が左側映像と右側映像の何処に位置するかを発見せねばならない。ディスパリティーベクトル生成は、ブロックマッチング段階とディスパリティーベクトル演算段階とに分けられる。ここで、特定領域は‘ブロック’と定義され、既定の画素数を有する。望ましい実施例で、このブロックは１６×１６の画素数を有する。

図５は、本発明の一実施例に係るディスパリティーベクトル推定方法として、クワッドツリー基盤の方法（Ｑｕａｄｔｒｅｅ−ｂａｓｅｄｍｅｔｈｏｄ）を示す図である。クワッドツリー基盤の方法において、前述したブロックは階層的に定義される。このようなクワッドツリー基盤方法は、Ｄ．Ｊ．Ｖａｉｓｅｙ及びＡ．．Ｇｅｒｓｈｏにより１９８７年に発行された“ｖａｒｉａｂｌｅｂｌｏｃｋ−ｓｉｚｅＩｍａｇｅｃｏｄｉｎｇ，ｃａｎａｄａ＆ＵＳＡ”，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ及びＲ．Ｌ．Ｂａｋｅｒにより１９９０年に発行された“ＥｆｆｉｃｉｅｎｔＱｕａｄｔｒｅｅｃｏｄｉｎｇｏｆｉｍａｇｅｓａｎｄｖｉｄｅｏ，ＵＣＬＡ，ＵＳＡ”及びＡ．Ｍａｎｃｉｎｉ及びＫ．Ｋｏｎｒａｄにより１９９８年に発行された“ＲｏｂｕｓｔＱｕａｄｔｒｅｅ−ｂａｓｅｄＤｉｓｐａｒｉｔｙＥｓｔｉｍａｔｉｏｎｆｏｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＩｎｔｅｒｍｅｄｉａｔｅＳｔｅｒｅｏｓｃｏｐｉｃＩｍａｇｅｓ，ＩＮＲＳＴｅｌｅｃｏｍｍ，ｃａｎａｄａ”に詳細に記述されている。

クワッドツリー基盤方法で、１つの画面は巨大マクロブロック（ｌａｒｇｅｍａｃｒｏｂｌｏｃｋ；ＬＭＢ）に分割され、ＬＭＢは再び４つの中間サブブロック（ｍｅｄｉｕｍｓｕｂ−ｂｌｏｃｋ；ＭＳＢ）に分割され、ＭＳＢは再び４つの微小サブブロック（ｓｍａｌｌｓｕｂ−ｂｌｏｃｋ；ＳＳＢ）に分割される。

一般的に、ＳＳＢは４×４の画素を有するので、ＭＳＢは８×８の画素を有し、巨大サブブロックは１６×１６の画素を有する。１次的にブロックマッチングはＬＭＢ単位で行われる。その後、もし、該当ＬＭＢ内のサブブロックの平均絶対差値に大差があれば、ＬＭＢを４つに分割した領域のＭＳＢ単位でブロックマッチングが行われる。この際、同じＭＳＢが発見されれば、ブロックマッチングは終了し、もしＭＳＢ内のサブブロックの平均絶対差値に大差があれば、再びＳＳＢ単位でブロックマッチングを行う。このような階層的ブロックマッチングは演算量の大きな増加なしに精密なレベルまでのブロックマッチングを行ってより精密な合成映像を得られる長所を有する。

本発明の特徴によって、生成されたディスパリティーベクトルは相関器３２０に入力されて適応的時間的平滑化動作に用いられる。

相関器３２０は過去左側映像２１１及び現在左側映像２１２を比較し、該当映像が変化の多い動的動映像であるか、フィールド間変化の少ない静的動映像であるかを区分する。相関器３２０はＭＡＤ生成器３３０及び時間的平滑化係数検出器３４０を含む。

ＭＡＤ生成器３３０は過去左側映像２１１及び現在左側映像２１２間にブロックマッチングを行った後、マッチングされるブロックのレベル値のＭＡＤ値を抽出する。ブロックマッチングの実行単位はハードウェアの要求条件によって変わり、望ましくは１６×１６画素を有するブロック別に行われる。ＭＡＤ値が大きいほど動的動映像である。ブロックマッチングの単位が１６×１６画素のＲＧＢ色構造の場合ＭＡＤ値は式（２）により生成される。

ここで、Ｒ（Ｔ）、Ｇ（Ｔ）、Ｂ（Ｔ）は現在映像のｋ番目の画素に対するＲ、Ｇ、Ｂのそれぞれのレベル値、Ｒ（Ｔ−１）、Ｇ（Ｔ−１）、Ｂ（Ｔ−１）は過去映像のｋ番目の画素に対するＲ、Ｇ、Ｂのそれぞれのレベル値、ＭＡＤ（Ｒ）、ＭＡＤ（Ｇ）、ＭＡＤ（Ｂ）はＲ、Ｇ、Ｂ各々に対するＭＡＤ値であり、ＭＡＤ（Ｔ）は該当ブロックの全体ＭＡＤ値である。

また、もし色構造が４：２：２のＹＵＶであれば、ＭＡＤ値は式（３）のように定義されうる。

ここで、Ｙ（Ｔ）、Ｕ（Ｔ）、Ｖ（Ｔ）は現在映像のｋ番目の画素に対するＹ、Ｕ、Ｖのそれぞれのレベル値、Ｙ（Ｔ−１）、Ｕ（Ｔ−１）、Ｖ（Ｔ−１）は過去映像のｋ番目の画素に対するＹ、Ｕ、Ｖのそれぞれのレベル値、ＭＡＤ（Ｙ）、ＭＡＤ（Ｕ）、ＭＡＤ（Ｖ）はＹ、Ｕ、Ｖ各々に対するＭＡＤ値であり、ＭＡＤ（Ｔ）は該当ブロックの全体ＭＡＤ値である。

図６は、時間的平滑化係数の生成原理を示す図である。

時間的平滑化係数検出器３４０は、ＭＡＤ生成器３３０からＭＡＤ値を受信して、該当フレームの時間的平滑化係数Ｃ３４１を生成する。時間的平滑化係数３４１は、過去映像と現在映像との比較によりフレーム毎に決定される特定値である。本発明の思想によって、時間的平滑化係数が大きければ動的動映像であり、時間的平滑化係数が小さければ静的動映像である。

図６において、Ｅ_ｌｏｗ及びＥ_ｈｉｇｈは各々該当フレームの最小及び最大ＭＡＤ値を示す。したがって、使われたレベル値の範囲が２５６であれば、最大ＭＡＤ値は２５５以下であり、最小ＭＡＤ値は０以上の値を有する。

Ｃ_ｍａｘ及びＣ_ｍｉｎは最大及び最小時間的平滑化係数を示す。最大時間的平滑化係数は、該当フレームが最小ＭＡＤ値を有する時の時間的平滑化係数である。これは、ユーザにより設定されてフレームの映像の種類によって異なって設定されうる。Ｃ_ｍａｘ値を１に近く設定するほど、中間映像の生成に過去映像を反映する比率が高まるので、画面の静的指向が近いほど１に近い値を有する。

生成されたＭＡＤ値３３１が０ないしＥ_ｌｏｗの範囲にあれば、時間的平滑化係数Ｃ３４１はＣ_ｍａｘ値に固定される。また、生成されたＭＡＤ値３３１がＥ_ｈｉｇｈ以上の範囲にあれば、時間的平滑化係数Ｃ３４１はＣ_ｍｉｎ値に固定される。生成されたＭＡＤ値３３１がＥ_ｌｏｗないしＥ_ｈｉｇｈの範囲にある場合、時間的平滑化係数３４１は平滑化係数決定関数ｆ（Ｅ）により決まる。これを式で表現すると、式（４）のように表現される。

Ｃ＝Ｃ_ｍａｘ，Ｅ＜Ｅ_ｌｏｗである場合
Ｃ＝ｆ（Ｅ），Ｅ_ｌｏｗ＜＝Ｅ＜＝Ｅ_ｈｉｇｈである場合（４）
Ｃ＝Ｃ_ｍｉｎ，Ｅ＞Ｅ_ｈｉｇｈである場合
平滑化係数決定関数ｆ（Ｅ）はＭＡＤ値と時間的平滑化係数とが反比例関係を有する任意の関数のうち選択されうる。これは静的動映像であるほど、時間的平滑化係数を大値として選択するためである。平滑化係数決定関数ｆ（Ｅ）は１次関数、２次関数または最大及び最小値で非線形的に飽和値を有する非線形関数などが可能である。図６の実施例で、平滑化係数決定関数ｆ（Ｅ）は一次関数が使われた。

図７は、本発明の他の実施例に係る平滑化係数決定関数を示す図である。図７の実施例において、平滑化係数決定関数はその出力値が量子化された値を有する関数である。ＭＡＤ値がＥ１ないしＥ２値を有せば、平滑化係数ＣはＣ１値を有し、Ｅ２ないしＥ３値を有せば、平滑化係数ＣはＣ２値を有し，．．．，かかる方式のマッピングが続く。このような平滑化係数決定関数を使用すれば、乗算無しにマッピングテーブルで具現できるので、ハードウェアー的具現が容易である。

平滑化ディスパリティーベクトル生成器３１０は時間的平滑化係数３４１、過去ディスパリティーベクトル２２１及び現在ディスパリティーベクトル２２２を受信して平滑化ディスパリティーベクトル３１１を生成する。本発明の一実施例によって平滑化ディスパリティーベクトルは式（５）により生成される。

ＤＶ_{ｓｍｏｏｔｈｅｄ} ＝Ｃ×ＤＶ_{ｐｒｅｖｉｏｕｓ} ＋（１−Ｃ）×ＤＶ_{ｐｒｅｓｅｎｔ} （５）
ここで、ＤＶ_{ｓｍｏｏｔｈｅｄ}は平滑化ディスパリティーベクトル、ＤＶ_{ｐｒｅｖｉｏｕｓ}及びＤＶ_{ｐｒｅｓｅｎｔ}は過去及び現在ディスパリティーベクトル、Ｃは時間的平滑化係数を示す。

式（５）によって、時間的平滑化係数が高いほど平滑化ディスパリティーベクトルは過去ディスパリティーベクトルの値が多く反映される。したがって平滑化ディスパリティーベクトルを用いて合成された中間映像は、時間的平滑化係数が高いほど過去映像がさらに多く反映される。時間的平滑化係数は各フレーム毎に生成されるので、フレーム毎に平滑化ディスパリティーベクトルは他の値を有することになり、その結果、生成された中間映像は各フレーム毎に過去映像または現在映像を反映した比率が異なる。したがって、適応的中間映像合成が可能である。

図３ないし図７では、左側映像についてだけ平滑化ディスパリティーベクトル生成方法が説明されたが、右側映像についても同じ方法で平滑化ディスパリティーベクトルが生成される。

ＤＶ密化部２３０、２３５、ＤＶマッピング部２４０及び中間映像再構成部２５０での動作は図２での動作と同一である。

ＤＶ密化部２３０、２３５は、各々平滑化ディスパリティーベクトル２３１、２３６を受信して画素ディスパリティーベクトル２３２、２３７を生成する。時間的平滑化部で生成された平滑化ディスパリティーベクトル２３１、２３６は、最小４×４画素を有するブロック（ＳＳＢ）に対して計算されたディスパリティーベクトルである。したがって、中間映像合成のためには画素別にレベル値を決定するために、ディスパリティーベクトルを各画素単位で密化させる必要がある。密化動作はまず、ブロックＳＳＢ、ＭＳＢ、ＬＳＢで生成されたディスパリティーベクトルを両末端値と定義し、両末端値間に必要な画素数ほど新しい値を与えるスケーリング方法により行われる。この際、新たな値は一般的に線形的な平均値である。

ＤＶマッピング部２４０は左側及び右側画素ディスパリティーベクトル２３２、２３７を受信して最終ディスパリティーベクトル２４１を生成する。ＤＶマッピング部２４０は、まず左側及び右側画素ディスパリティーベクトル２３２、２３７の一致如何を検査し、一致するディスパリティーベクトルだけ残し、一致していないディスパリティーベクトルは除去する。次いで、残されたディスパリティーベクトルを両末端値としてスケーリングする。したがって、一致するディスパリティーベクトルを基準に新しいディスパリティーベクトル２４１が画素毎に生成される。

中間映像再構成部２５０は、最終ディスパリティーベクトル２４１、左側映像２１２及び右側映像２１６を受信して中間映像２５１を生成する。中間映像再構成動作には中間視点再構成方法（Intermediate View Reconstruction:IVR）が用いられる。

図８は、中間視点再構成方法の概念を説明する図である。図８において、左側映像ＬＩ及び右側映像ＲＩは物体Ａ１、Ａ２、Ａ３を視覚ｌｅｆｔ、ｒｉｇｈｔで撮像した場合、生成された映像を示す。左側映像ＬＩは４つの下部領域Ｌ１、Ｌ２、Ｌ３、Ｌ５で構成される。領域Ｌ１、Ｌ５は背景領域であり、領域Ｌ２は物体Ａ２を左側視点で撮像した領域、領域Ｌ３は物体Ａ１を左側視点で撮像した領域である。物体Ａ３は左側視点で見られないために左側映像ＬＩには現れない。右側映像ＲＩは４つの下部領域Ｒ１、Ｒ３、Ｒ４、Ｒ５で構成される。領域Ｒ１、Ｒ５は背景領域であり、領域Ｒ３は物体Ａ１を右側視点で撮像した領域、領域Ｒ４は物体Ａ３を右側視点で撮像した領域である。物体Ａ２は右側視点で見られないために右側映像ＲＩには現れない。

図８において矢印は、ディスパリティーベクトルを示す。ディスパリティーベクトルは各領域に属する画素が移動した距離及び方向を示すので、このような情報から中間映像のどの位置に如何なるレベル値を有する画素が対応するかについての情報を得られる。例えば、領域Ｌ１は領域Ｒ１に対応するので、中間映像の領域Ｍ１は領域Ｌ１、Ｒ１及び領域Ｌ１、Ｒ１領域に含まれた画素の最終ディスパリティーベクトル２４１から中間映像の領域Ｍ１を生成しうる。同様に、Ｌ３、Ｌ５はＲ３、Ｒ５に対応するので、これに該当する中間映像の領域Ｍ３、Ｍ５はこれと同じ方法で生成される。

左側映像ＬＩは物体Ａ３についての情報を有していないために、物体Ａ３に該当する中間映像の領域Ｍ４は右側映像の領域Ｒ４及び領域Ｒ４の最終ディスパリティーベクトルだけを用いて生成される。同様に、右側映像ＲＩは物体Ａ２についての情報を有していないために、物体Ａ２に該当する中間映像の領域Ｍ２は左側映像の領域Ｌ２及び領域Ｌ２の最終ディスパリティーベクトルだけを用いて生成される。

図９は、中間映像の画素のレベル値を決定する方法を示す図である。図８で画素の対応する位置が決定されれば、その位置にいかなるレベル値を有する中間映像を生成するかが決定されねばならない。本発明の一実施例で、レベル値の決定は以下の式（６）を通じて決定される。

ＭＩ［ｘ＋ α×ｄ_ｋ（ｘ，ｙ），ｙ］＝（１−α）×ＬＩ［ｘ，ｙ］＋ α×ＲＩ［ｘ＋ｄ_ｋ（ｘ，ｙ），ｙ］（６）
ここで、ＬＩ、ＲＩ、ＭＩは各々左側映像、右側映像及び中間映像の該当画素でのレベル値であり、ｄ_ｋ（ｘ，ｙ）は該当画素のディスパリティーベクトルから抽出されたｘ方向の変位を示し、αは中間映像合成係数を示す。図９で左右方向だけの移動があったので、ｘ方向への変位だけが考慮され、数式は左側映像の座標を基準として生成した。

中間映像合成係数αは中間映像の合成において左側映像及び右側映像のレベル値を反映する比率を示す。αは０ないし１の範囲を有する。もし、α＝０．５であれば、左側映像の該当画素のレベル値と右側映像の該当画素のレベル値の平均値が中間映像の該当画素のレベル値になる。もし、α＜０．５であれば、中間映像の該当画素のレベル値生成に左側映像の該当画素のレベル値がさらに多く反映され、α＞０．５の場合にはその反対である。

中間映像合成係数αは生成される中間映像の数を決定する。もし、生成しようとする中間映像の数が１つ以上であれば、多様なα値を有する中間映像を複数個生成する。すなわち、１つ以上の中間映像を生成するためには、中間視点再構成部２５０でα値だけ変更して中間映像を反復生成すればよく、それ以前の動作は反復する必要がない。

図１０は、本発明の他の実施例に係る中間映像合成方法を示す図である。

本発明の一実施例に係る中間映像合成装置は、前処理部４００を追加的に含む。前処理部４００は左側または右側映像処理過程のうち何れか一方にのみ位置する。図１０の実施例で、前処理部４００は右側映像処理部に位置した。前処理部４００はＤＶ推定器２１５の前段に位置する。

ステレオカメラのＣＣＤ及び光学的特性の差によって発生する左右映像信号の輝度及び色相の差はディスパリティー推定の歪曲を発生させる。このような歪曲を除去するために何れか一側の映像を基準に他側映像の輝度または色相信号を補正する必要がある。

このような補正のために、前処理部４００は、現在右側及び左側映像ＬＩ_Ｔ、ＲＩ_Ｔを受信して補正された右側映像ＲＩ_Ｔ’を生成する。このような補正は、映像の輝度及び色相信号に対して利得及びオフセットを調整することによって行われる。ここで、利得及びオフセットとは、映像の特定ラインのレベル値分布を示す特性グラフから抽出される。利得及びオフセット調整は以下式（７）で表現される。

ＲＩ_Ｔ’ ＝Ｇ × ＲＩ_Ｔ＋Ｆ（７）
ここで、Ｇ、Ｆは左側映像を基準にした右側映像の利得及びオフセット補正値である。

本発明の他の実施例に係る中間映像合成装置は、空間的平滑化及び営外補正部４１０を追加的に含む。空間的平滑化及び営外補正部４１０は、時間的平滑化部３１０、３１５とＤＶ密化部２３０、２３５間に位置する。

空間的平滑化は、特定ブロックに対して生成された平滑化ディスパリティーベクトル２３１、２３６が周辺の他のブロックのディスパリティーベクトルに比べて過度に高いか、低い場合に、これを平均値の適切な値に変換する。空間的平滑化は一般的にメディアンフィルター等を通じて行われる。営外補正は、既定の範囲の数値を外れる値は除去するフィルタリングを通じて映像マッチングで発生する誤ったディスパリティーベクトルを除去する。このような空間的平滑化及び営外補正は当業者に広く知られている。

以上、本発明に対してその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者ならば、本発明が本発明の本質的な特性から外れない範囲で変形された形に具現できることを理解しうる。したがって、開示された実施例は、限定的な観点でなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明でなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる違いは本発明に含まれたものと解釈されるべきである。

本発明は３次元映像を生成するのに用いられる時間的平滑化装置及び方法に係る技術分野に適用可能である。

３次元映像処理の概要図である。従来の時間的平滑化技術の構成を示す図である。本発明に係る平滑化ディスパリティーベクトルを生成する過程を示すブロック図である。ディスパリティーベクトルの概念を示す図である。本発明の一実施例に係るディスパリティーベクトル推定方法を示す図である。時間的平滑化係数の生成原理を示す図である。本発明の他の実施例に係る平滑化係数決定関数を示す図である。中間視点再構成方法の概念を説明する図である。中間映像の画素のレベル値を決定する方法を示す図である。本発明の他の実施例に係る中間映像合成方法を示す図である。

符号の説明

２１０左側ディスパリティーベクトル推定器
３００時間的平滑化部
３１０平滑化ディスパリティーベクトル生成器
３２０相関器
３３０ＭＡＤ生成器
３４０時間的平滑化係数検出器

Claims

中間映像合成のための時間的平滑化装置において、
過去及び現在映像を受信して、所定サイズのブロック別に過去及び現在ディスパリティーベクトルを生成するディスパリティーベクトル推定器と、
前記過去及び現在映像と前記過去及び現在ディスパリティーベクトルとを受信して時間的平滑化ディスパリティーベクトルを生成する時間的平滑化部とを含み、
前記時間的平滑化部は、前記過去及び現在映像の平均絶対値差に基づいてフレーム毎に相異なる時間的平滑化ディスパリティーベクトルを生成することを特徴とする時間的平滑化装置。
前記時間的平滑化部は、
前記過去及び現在映像の平均絶対値差に基づいて、時間的平滑化係数Ｃを生成する相関器と、
前記過去及び現在ディスパリティーベクトルを受信して、時間的平滑化ディスパリティーベクトルを生成する平滑化ディスパリティーベクトル生成器とを含み、
前記平滑化ディスパリティーベクトル生成器は、前記時間的平滑化係数に基づいて前記過去及び現在ディスパリティーベクトルの寄与程度を調整することを特徴とする請求項１に記載の時間的平滑化装置。
前記相関器は、
前記過去及び現在映像を受信し、所定サイズのブロック単位でブロックマッチングを行った後、マッチングされるブロックのレベル値の平均絶対値差を生成する平均絶対値差生成器と、
前記生成された平均絶対値差によって時間的平滑化係数をマッチングさせる係数決定関数を用いて時間的平滑化係数を検出する時間的平滑化係数検出器とを含むことを特徴とする請求項２に記載の時間的平滑化装置。
前記過去及び現在映像はＲＧＢ色構造を有し、
前記平均絶対値差生成器は、現在映像のｋ番目の画素に対するＲ、Ｇ、Ｂのそれぞれのレベル値Ｒ（Ｔ）、Ｇ（Ｔ）、Ｂ（Ｔ）と、過去映像のｋ番目の画素に対するＲ、Ｇ、Ｂのそれぞれのレベル値Ｒ（Ｔ−１）、Ｇ（Ｔ−１）、Ｂ（Ｔ−１）との差の平均値に基づいて平均絶対値差を生成することを特徴とする請求項３に記載の時間的平滑化装置。
前記過去及び現在映像は４：２：２のＹＵＶ色構造を有し、前記平均絶対値生成器は、現在映像のｋ番目の画素に対するＹ、Ｕ、Ｖのそれぞれのレベル値Ｙ（Ｔ）、Ｕ（Ｔ）、Ｖ（Ｔ）と、過去映像のｋ番目の画素に対するＹ、Ｕ、Ｖのそれぞれのレベル値との差の平均値に基づいて平均絶対値差を生成することを特徴とする請求項３に記載の時間的平滑化装置。
前記係数決定関数は、前記平均絶対値差と前記時間的平滑化係数とが反比例関係を有することを特徴とする請求項３に記載の時間的平滑化装置。
前記係数決定関数は前記平均絶対値差が臨界範囲を有し、前記臨界範囲より大きい範囲での前記時間的平滑化係数は一定の値を有することを特徴とする請求項６に記載の時間的平滑化装置。
前記係数決定関数は１次関数であることを特徴とする請求項７に記載の時間的平滑化装置。
前記係数決定関数は２次関数であることを特徴とする請求項７に記載の時間的平滑化装置。
前記係数決定関数は、臨界範囲以上の平均絶対値差で飽和曲線を有する非線形関数であることを特徴とする請求項７に記載の時間的平滑化装置。
前記係数決定関数は、前記平均絶対値差と前記時間的平滑化係数とは量子化された関係を有することを特徴とする請求項７に記載の時間的平滑化装置。
前記平滑化ディスパリティーベクトル生成器は、前記時間的平滑化係数が大きいほど前記過去ディスパリティーベクトルの寄与程度が大きくなるように前記平滑化ディスパリティーベクトルを生成することを特徴とする請求項３に記載の時間的平滑化装置。
前記平滑化ディスパリティーベクトル生成器は、次の式、
ＤＶ_{ｓｍｏｏｔｈｅｄ} ＝Ｃ×ＤＶ_{ｐｒｅｖｉｏｕｓ} ＋（１−Ｃ）×ＤＶ_{ｐｒｅｓｅｎｔ}
によって平滑化ディスパリティーベクトルを生成し、
ここで、ＤＶ_{ｓｍｏｏｔｈｅｄ}は平滑化ディスパリティーベクトル、ＤＶ_{ｐｒｅｖｉｏｕｓ}及びＤＶ_{ｐｒｅｓｅｎｔ}は過去及び現在ディスパリティーベクトル、Ｃは時間的平滑化係数を示す請求項１２に記載の時間的平滑化装置。
中間映像合成装置において、
左側及び右側の映像ソースから抽出された過去及び現在映像から左側及び右側の過去及び現在ディスパリティーベクトルを生成する左側及び右側ディスパリティーベクトル推定器と、
前記左側及び右側の過去及び現在映像と、左側及び右側の過去及び現在ディスパリティーベクトルとを受信して、左側及び右側平滑化ディスパリティーベクトルを生成する左側及び右側時間的平滑化部と、
前記左側及び右側平滑化ディスパリティーベクトルを画素別にスケーリングすることによって、左側及び右側画素平滑化ディスパリティーベクトルを生成する左側及び右側ディスパリティーベクトル密化部と、
前記左側及び右側画素ディスパリティーベクトルを受信して、前記左側及び右側画素ディスパリティーベクトルの一致如何を検査し、一致していない画素ディスパリティーベクトルは除去した後、一致する画素ディスパリティーベクトルを基準にスケーリングすることによって、最終ディスパリティーベクトルを生成するディスパリティーベクトルマッピング部と、
前記左側及び右側現在映像に前記最終ディスパリティーベクトルを適用することによって中間映像を生成する中間映像再構成部とを含むことを特徴とする時間的平滑化装置。
前記時間的平滑化部は、
前記過去及び現在映像の平均絶対値差（ＭＡＤ）に基づいて、フレーム毎に異なる時間的平滑化ディスパリティーベクトルを生成することを特徴とする請求項１４に記載の時間的平滑化装置。
前記時間的平滑化部は、
前記過去及び現在映像の平均絶対値差に基づいて時間的平滑化係数Ｃを生成する相関器と、
前記過去及び現在ディスパリティーベクトルを受信して時間的平滑化ディスパリティーベクトルを生成する平滑化ディスパリティーベクトル生成器とを含み、
前記平滑化ディスパリティーベクトルは前記時間的平滑化係数に基づいて前記過去及び現在ディスパリティーベクトルの寄与程度を調整することを特徴とする請求項１５に記載の時間的平滑化装置。
前記相関器は、
前記過去及び現在映像を受信し、所定サイズのブロック単位でブロックマッチングを行った後、マッチングされるブロックのレベル値の平均絶対値差を生成する平均絶対値差生成器と、
前記生成された平均絶対値差によって、時間的平滑化係数をマッチングさせる係数決定関数を用いて、時間的平滑化係数を検出する時間的平滑化係数検出器とを含むことを特徴とする請求項１６に記載の時間的平滑化装置。
前記係数決定関数は前記平均絶対値差が臨界範囲を有し、前記臨界範囲より大きい範囲での前記時間的平滑化係数は一定の値を有することを特徴とする請求項１７に記載の時間的平滑化装置。
前記平滑化ディスパリティーベクトル生成器は、次の式、
ＤＶ_{ｓｍｏｏｔｈｅｄ} ＝Ｃ×ＤＶ_{ｐｒｅｖｉｏｕｓ} ＋（１−Ｃ）×ＤＶ_{ｐｒｅｓｅｎｔ}
によって平滑化ディスパリティーベクトルを生成し、
ここで、ＤＶ_{ｓｍｏｏｔｈｅｄ}は平滑化ディスパリティーベクトル、ＤＶ_{ｐｒｅｖｉｏｕｓ}及びＤＶ_{ｐｒｅｓｅｎｔ}は過去及び現在ディスパリティーベクトル、Ｃは時間的平滑化係数を示す請求項１６に記載の時間的平滑化装置。
前記左側及び右側現在映像を受信して前記左側または右側現在映像のうち何れか一方を基準に他方の映像のレベル値を補正することによって補正された左側または右側現在映像を生成する前処理部をさらに含むことを特徴とする請求項１７に記載の時間的平滑化装置。
前記前処理部は、
前記他方の映像のレベル値に対して利得及びオフセット値を調整することによって補正された左側または右側現在映像を生成することを特徴とする請求項１８に記載の時間的平滑化装置。
前記時間的平滑化部から前記平滑化ディスパリティーベクトルを受信して空間平滑化及び営外補正を行う空間的平滑化及び営外補正部をさらに含むことを特徴とする請求項１７に記載の時間的平滑化装置。
前記空間的平滑化はメディアンフィルターにより行われることを特徴とする請求項２２に記載の時間的平滑化装置。
前記中間映像再構成部は、中間視点再構成方法（ＩＶＲ）を行うことによって、前記中間映像を生成することを特徴とする請求項１７に記載の時間的平滑化装置。
中間映像合成のための時間的平滑化方法において、
過去及び現在映像を受信して、所定サイズのブロック別に過去及び現在ディスパリティーベクトルを生成するディスパリティーベクトル推定段階と、
前記過去及び現在映像と前記過去及び現在ディスパリティーベクトルとを受信して時間的平滑化ディスパリティーベクトルを生成する時間的平滑化段階とを含み、
前記時間的平滑化段階は、前記過去及び現在映像の平均絶対値差に基づいてフレーム毎に相異なる時間的平滑化ディスパリティーベクトルを生成する段階を含むことを特徴とする時間的平滑化方法。
前記時間的平滑化段階は、
前記過去及び現在映像の平均絶対値差に基づいて時間的平滑化係数Ｃを生成する相関段階と、
前記過去及び現在ディスパリティーベクトルを受信して時間的平滑化ディスパリティーベクトルを生成する平滑化ディスパリティーベクトル生成段階とを含み、
前記平滑化ディスパリティーベクトル生成段階は前記時間的平滑化係数に基づいて前記過去及び現在ディスパリティーベクトルの寄与程度を調整する段階を含むことを特徴とする請求項２５に記載の時間的平滑化方法。
前記相関段階は、
前記過去及び現在映像を受信し、所定サイズのブロック単位でブロックマッチングを行ってマッチングされるブロックのレベル値の平均絶対値差を生成する平均絶対値差生成段階と、
前記生成された平均絶対値差によって時間的平滑化係数をマッチングさせる係数決定関数を用いて時間的平滑化係数を検出する時間的平滑化係数検出段階とを含むことを特徴とする請求項２６に記載の方法。
前記係数決定関数は、前記平均絶対値差と前記時間的平滑化係数とが反比例関係を有することを特徴とする請求項２５に記載の時間的平滑化方法。
前記係数決定関数は前記平均絶対値差が臨界範囲を有し、前記臨界範囲より大きい範囲での前記時間的平滑化係数は一定の値を有することを特徴とする請求項２８に記載の時間的平滑化方法。
前記係数決定関数は１次関数であることを特徴とする請求項２９に記載の時間的平滑化方法。
前記係数決定関数は臨界範囲以上の平均絶対値差で飽和曲線を有する非線形関数であることを特徴とする請求項２９に記載の時間的平滑化方法。
前記係数決定関数において前記平均絶対値差及び前記時間的平滑化係数は量子化された関係を有することを特徴とする請求項２９に記載の時間的平滑化方法。
前記平滑化ディスパリティーベクトル生成段階は、前記時間的平滑化係数が大きいほど前記過去ディスパリティーベクトルの寄与程度が大きいように前記平滑化ディスパリティーベクトルを生成する段階を含むことを特徴とする請求項２７に記載の時間的平滑化方法。
前記平滑化ディスパリティーベクトル生成段階は、次の式、
ＤＶ_{ｓｍｏｏｔｈｅｄ} ＝Ｃ×ＤＶ_{ｐｒｅｖｉｏｕｓ} ＋（１−Ｃ）×ＤＶ_{ｐｒｅｓｅｎｔ}
によって平滑化ディスパリティーベクトルを生成する段階を含み、
ここで、ＤＶ_{ｓｍｏｏｔｈｅｄ}は平滑化ディスパリティーベクトル、ＤＶ_{ｐｒｅｖｉｏｕｓ}及びＤＶ_{ｐｒｅｓｅｎｔ}は過去及び現在ディスパリティーベクトル、Ｃは時間的平滑化係数を示す請求項３３に記載の時間的平滑化方法。