JP2013527646A - 立体映像エラー改善方法及び装置 - Google Patents

Abstract

本発明は、立体映像エラー改善方法及び装置に関する。本発明の一実施形態は、入力された映像データに対するデプスマップ情報（Ｄｅｐｔｈ Ｍａｐ）を利用して空間ヒストグラム（Ｈｉｓｔｏｇｒａｍ）情報を生成する空間ヒストグラム生成部と、前記入力された映像データに対する２Ｄ映像データを利用してピーク（Ｐｅａｋ）周波数を生成するピーク周波数生成部と、前記空間ヒストグラムと前記ピーク周波数に基づいて前記入力された映像データの各々のフレーム（Ｆｒａｍｅ）に対するエラーを判別するオブジェクト分析部と、前記フレームに対する前記エラーが判別されると、前記エラーが改善されるように前記デプスマップ情報を修正するデプスマップエラー修正部と、前記修正されたデプスマップ情報を利用して立体映像である左側視野用イメージ及び右側視野用イメージを生成するレンダリング（Ｒｅｎｄｅｒｉｎｇ）処理部と、を含むことを特徴とする立体映像エラー改善装置を提供する。本発明の一実施形態によれば、入力された２Ｄ映像コンテンツにデプスマップ情報を適用した立体映像コンテンツで提供する過程でデプスマップ情報のエラーにより立体感の低下が発生しないようにデプスマップ情報のエラーを判別してデプスマップ情報のエラーを改善することができる効果がある。

Description

本発明は、立体映像エラー改善方法及び装置に関し、より詳しくは、入力された２Ｄ映像コンテンツにデプスマップ情報を適用した立体映像コンテンツを提供する過程でデプスマップ情報のエラーにより立体感の低下が発生しないようにデプスマップ情報のエラーを判別した後改善するようにする立体映像エラー改善方法及び装置に関する。

デジタル技術が高度で発展し、放送と通信の融合により放送媒体が多様化されることに従って、デジタル技術の特性を利用した放送関連付加サービスが新たに登場している。現在、ＴＶのような映像サービスの発展方向は高画質と大画面に行っているが、現在までは２Ｄ映像コンテンツのみを提供するから現在の映像コンテンツを通じて視聴者は立体感を感じることができない。

これによって、漸進的に立体映像の必要性が高まっているが、今までは立体映像のコンテンツが極めて不足な実情である。立体映像処理技術は、次世代情報通信サービス分野の核心技術として、情報産業社会への発達と連れて技術開発競争が激烈な最先端技術である。このような立体映像処理技術は、マルチメディア応用において高品質の映像サービスを提供するために必須的な要素であり、今日には情報通信分野だけではなく、放送、医療、教育、軍事、ゲーム及び仮想現実などその応用分野が非常に多様化されている。

したがって、２Ｄ映像コンテンツを立体映像コンテンツで提供する技術が必要な実情である。しかし、現在の技術では２Ｄ映像コンテンツを立体映像コンテンツで提供する過程のうちエラーが発生する問題点がある。

したがって、本発明は上述したような従来技術の問題点を解決するためになされたもので、その目的は、立体映像コンテンツを出力する過程において、デプスマップ情報のエラーにより立体感の低下が発生しないようにする立体映像エラー改善方法及び装置を提供することにある。

前記目的を達成するための本発明の一実施形態は、入力された映像データに対するデプスマップ情報（Ｄｅｐｔｈ Ｍａｐ）を利用して空間ヒストグラム（Ｈｉｓｔｏｇｒａｍ）情報を生成する空間ヒストグラム生成部と、前記入力された映像データに対する２Ｄ映像データを利用してピーク（Ｐｅａｋ）周波数を生成するピーク周波数生成部と、前記空間ヒストグラムと前記ピーク周波数に基づいて前記入力された映像データの各々のフレーム（Ｆｒａｍｅ）に対するエラーを判別するオブジェクト（Ｏｂｊｅｃｔ）分析部と、前記フレームに対する前記エラーが判別されると、前記エラーが改善されるように前記デプスマップ情報を修正するデプスマップエラー修正部と、前記修正されたデプスマップ情報を利用して立体映像を構成するために左側視野用イメージ及び右側視野用イメージを生成するレンダリング（Ｒｅｎｄｅｒｉｎｇ）処理部と、を含むことを特徴とする立体映像エラー改善装置を提供する。

また、本発明の他の目的によれば、入力された映像データに対するデプスマップ情報（Ｄｅｐｔｈ Ｍａｐ）を利用して空間ヒストグラム（Ｈｉｓｔｏｇｒａｍ） 情報を生成する空間ヒストグラム生成段階と、前記入力された映像データに対する２Ｄ映像データを利用してピーク（Ｐｅａｋ）周波数を生成するピーク周波数生成段階と、前記空間ヒストグラムと前記ピーク周波数に基づいて前記入力された映像データの各々のフレーム（Ｆｒａｍｅ）に対するエラーを判別するオブジェクト分析段階と、前記フレームに対する前記エラーが判別されると、前記エラーが改善されるように前記デプスマップ情報を修正するデプスマップデラー修正段階と、前記修正されたデプスマップ情報を利用して立体映像を構成するために左側視野用イメージ及び右側視野用イメージを生成するレンダリング処理段階と、を含むことを特徴とする立体映像エラー改善方法を提供する。

また、本発明の他の目的によれば、入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程で前記デプスマップ情報に対するエラーを判別する方法であって、前記２Ｄ映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別に生成された空間ヒストグラム情報の標準偏差値を脱した一部値を確認する段階と、前記一部値が第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、前記一部値に該当する領域をエラー予想領域に分類するエラー予想領域分類段階と、前記エラー予想領域に対するピーク周波数が第２の臨界値を＋方向または−方向に超過する場合、前記第１の臨界値を超過した方向結果と前記第２の臨界値を超過した方向結果が一致するか否かを確認する方向結果一致可否確認段階と、前記方向結果一致可否確認段階の確認結果、方向結果が一致しない場合、前記エラー予想領域の前記デプスマップ情報に前記エラーがあることで判別するエラー判別段階と、を含むことを特徴とする立体映像間違い改善方法を提供する。

また、本発明の他の目的によれば、入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程でエラーが判別された前記デプスマップ情報を改善する方法であって、前記デプスマップ情報に前記エラーがあることで判別されたエラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値を確認する段階と、前記一部値が第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向と−方向の中でどの方向に超過したかを確認する方向確認段階と、前記方向確認段階の確認結果、前記一部値が前記第１の臨界値を超過した方向に基づいて前記一部値を前記空間ヒストグラムの標準偏差値で増加または減少させるエラー改善段階と、を含むことを特徴とする立体映像エラー改善方法を提供する。

また、本発明の他の目的によれば、入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程で前記デプスマップ情報に対するエラーを判別し改善する方法であって、前記２Ｄ映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別に生成された空間ヒストグラム情報の標準偏差値を脱した一部値を確認する段階と、前記一部値が第１の臨界値を超過する場合、前記一部値に該当する領域をエラー予想領域に分類するエラー予想領域分類段階と、前記エラー予想領域に対するピーク周波数が第２の臨界値を超過する場合、前記第１の臨界値と前記第２の臨界値を＋方向または−方向に超過した方向結果が一致するか否かを確認する方向結果確認段階と、前記方向結果確認段階の確認結果、方向結果が一致しない場合、前記エラー予想領域の前記デプスマップ情報に前記エラーがあることで判別するエラー判別段階と、前記一部値が前記第１の臨界値を超過した方向結果に基づいて前記一部値を前記空間ヒストグラムの標準偏差値で増加または減少させるエラー改善段階と、を含むことを特徴とする立体映像エラー改善方法を提供する。

上述のように、本発明によれば、入力された２Ｄ映像コンテンツにデプスマップ情報を適用した立体映像コンテンツで提供する過程において、デプスマップ情報のエラーにより立体感が低下が発生しないように、デプスマップ情報のエラーを判別してデプスマップ情報のエラーを改善することができる効果がある。
また、本発明の一実施形態によれば、２Ｄ映像データとともに受信された別途のデプスマップ情報または２Ｄ映像データから推定されたデプスマップ情報に対するエラーを全て判別し改善することができる効果がある。すなわち、立体映像の出力時のエラーを改善することで、視聴者がより改善された立体感を感じるようにする効果がある。

図１は、本発明の一実施形態による立体映像エラー改善装置を概略的に示したブロック構成図である。 図２は、本発明の一実施形態による立体映像エラー改善方法を説明するためのフローチャートである。 図３は、本発明の一実施形態による空間ヒストグラムに対する例示図である。 図４は、本発明の一実施形態による入力される２Ｄ映像データに対する例示図である。 図５は、本発明の一実施形態による特定フレームの正常的なデプスマップ情報に対する例示図である。 図６は、本発明の一実施形態による特定フレームのエラー予想領域を示した例示図である。 図７は、本発明の一実施形態による特定オブジェクトのエラー予想領域を示した例示図である。 図８は、本発明の一実施形態によるＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）適用によるピーク周波数に対する例示図である。

以下、本発明の一部実施例を例示的な図面を通じて詳細に説明する。各図面の構成要素に参照符号を付与することにおいて、同一構成要素に対しては他の図面上に表示されてもできるだけ同一符号を付与する。また、本発明の説明において、関連された公知構成または機能に対する具体的な説明が本発明の要旨を不明にする恐れがあると判断される場合にはその詳細な説明は省略する。

また、本発明の構成要素の説明において、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使うことができる。このような用語は、その構成要素を他の構成要素と区別するためもので、その用語により該当構成要素の本質や順番または手順などが限定されるものではない。ある構成要素が他の構成要素に『連結』、『結合』または『接続』されると記載した場合、その構成要素はその他の構成要素に直接的に連結されるか、または接続されることができ、各構成要素の間にまた他の構成要素が『連結』、『結合』または『接続』されることもできると理解しなければならない。

図１は、本発明の一実施形態による立体映像エラー改善装置を概略的に示したブロック構成図である。

本発明の一実施形態による立体映像エラー改善装置１００は、映像受信部１１２と、デプスマップ推定部１１４と、デプスマップ受信部１２０と、空間ヒストグラム生成部１２２と、２Ｄ映像受信部１３０と、ピーク周波数生成部１３２と、オブジェクト分析部１４０と、デプスマップエラー修正部１５０と、レンダリング（Ｒｅｎｄｅｒｉｎｇ）処理部１６０と、を含む。本発明の一実施形態では、立体映像エラー改善装置１００が、映像受信部１１２、デプスマップ推定部１１４、デプスマップ受信部１２０、空間ヒストグラム生成部１２２、２Ｄ映像受信部１３０、ピーク周波数生成部１３２、オブジェクト分析部１４０、デプスマップエラー修正部１５０及びレンダリング処理部１６０のみを含むことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないで、本発明の一実施形態が属する技術分野において通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で立体映像エラー改善装置１００に含まれる構成要素に対して多様に修正及び変形して適用可能である。

本発明の一実施形態による立体映像エラー改善装置１００は、入力された映像データを立体映像データに変換し、入力された映像データを立体映像データに変換する過程のうちエラーを判別して改善する装置を意味する。すなわち、立体映像エラー改善装置１００は、放送局のような映像コンテンツ提供社から２Ｄ映像データの入力を受けてこれをディスプレーする前に立体映像に変換することができる装置を意味する。一方、立体映像エラー改善装置１００は、放送局のような映像コンテンツ提供社から２Ｄ映像データと別に提供されるデプスマップ（Ｄｅｐｔｈ Ｍａｐ）情報を受けることができる。立体映像エラー改善装置１００は、映像コンテンツ提供社から提供を受けるか推定したデプスマップ情報のエラーを判別し改善することができる。ここで、立体映像エラー改善装置１００は、ＴＶ、モニターのようなディスプレー装置に搭載される形態で具現するか、セットトップボックス（Ｓｅｔ−Ｔｏｐ Ｂｏｘ）のように別途の装置で具現されてディスプレー装置と連動する形態で具現することができる。したがって、本発明では、立体映像エラー改善装置１００が、入力された映像データを立体映像である左側視野用イメージと右側視野用イメージに変換することまでに記述し、以後ディスプレー装置で立体映像をステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）方式またはオートステレオスコピック（Ａｕｔｏ−Ｓｔｅｒｅｏｓｃｏｐｉｃ）方式でディスプレーすることに対しては特別に言及しない。

本発明で記載した立体映像は、大きく二つの観点で定義することができる。１．立体映像は、映像にデプスマップ情報を適用させて映像の一部が画面から突き出される感じをユーザが感じることができる映像である。２．立体映像は、ユーザに多様な視点を提供してそれからユーザが映像からリアリティーを感じることができる映像である。すなわち、本発明に記載された立体映像は、視聴者が視聴覚的立体感を感じられるようにすることで動感及びリアリティーを提供する映像を意味する。このような立体映像は、獲得方式、デプスインプレッション（Ｄｅｐｔｈ Ｉｍｐｒｅｓｓｉｏｎ）、ディスプレー方式などによって両眼式、多眼式、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ）、多視点（オムニ（Ｏｍｎｉ）、パノラマ）、ホログラムなどに分類することができる。また、このような立体映像を表現する方法では、大きく映像基盤表現法（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）とメッシュ基盤表現法（Ｍｅｓｈ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）がある。

このような立体映像を表現するためには、人間の目のように左側と右側で撮影した二つの映像を必要とする。すなわち、左側で撮影した映像は左側目に、右側で撮影した映像は右側目に見えることで、視聴者は立体感を感じるようになる。このように立体映像を撮影するための放送カメラは、二つのカメラが付いている形態であるか二つのレンズが具備されている形態である。立体映像は、左側映像と右側映像を必要とするので、一般的な放送に比べて映像データのサイズが二倍になり、これを放送信号で送り出す場合、二倍の周波数バンド幅（Ｂａｎｄｗｉｄｔｈ）を占めるようになる。

勿論、「Ｓｉｄｅ ｂｙ Ｓｉｄｅ」方式のように左側と右側映像を各々半分に減らした後に合成して一般的な放送信号のデータサイズで送り出すことはできるが、根本的にデータの量を水平方向に圧縮させたものであるのでデータの損失が発生する。一般的な映像データと同じ量を維持しながら立体映像データを伝送するためには、一般的な映像に該当する２Ｄ映像データと立体映像データに対する情報を有しているデプスマップ情報を伝送する方式がある。デプスマップ情報の量は、普通２Ｄ映像データに比べて約１０％程度のデータ量に該当するので、全体的に１０％程度の情報のみ追加されると立体映像を具現することができる。また、これを受信する受信部である立体映像エラー改善装置１００で２Ｄ映像データを立体映像データに変換することができる場合、一般映像データと同一な情報量を必要とするので、追加的なデータの受信なしに立体映像の具現が可能である。

立体映像を視聴するための信号方式は、左側と右側映像データを全て伝達するか、左側と右側映像データを水平方向に圧縮して伝送するか、２Ｄ映像データとデプスマップ情報を一緒に伝送するか、受信部である立体映像エラー改善装置１００で２Ｄ映像データを立体映像データに変換する場合である。一方、左側と右側映像データを全て伝達するか、左側と右側映像データを水平方向に収縮して伝送する方式で映像コンテンツ提供社で映像データを送り出す場合には、立体映像データを送り出すから立体映像の立体感に対する修正が不可能である。しかし、２Ｄ映像データとデプスマップ情報を一緒に伝送するか、受信部である立体映像エラー改善装置１００で２Ｄ映像データを立体映像データに変換する場合、立体映像エラー改善装置１００でデプスマップ情報を制御することができるので、立体映像の立体感を修正することができる。これによって、本発明の一実施形態による立体映像エラー改善装置１００は、立体感を表現することができるデプスマップ情報のエラーを判別して一層改善された立体映像を視聴者に提供することができる。

このような立体感は、視聴する視聴者の年齢や基準などによって多くの差がある主観的な判断に該当するが、立体感を感じる差は次のような客観的な項目により決定できる。一つの映像内でデプスマップ情報の差が大きいオブジェクトが同時に存在するか、左側映像と右側映像が人間の目で見る角度と多くの差があるか、自然的に存在する立体感とこれを映像で表現した立体映像を見る時に感じる立体感が特定オブジェクトや特定領域で異なると感じるか、立体感を強調するために意図的に立体感を強く表現した場合である。

上述のように、一つのフレーム（Ｆｒａｍｅ）内でデプスマップ情報の差が大きいオブジェクトが同時に存在するか、左側映像と右側映像が人間の目が見る角度と多くの差がある場合は、立体カメラで撮影する時に主に発生する問題として、撮影する撮影者の技術に既存する。一方、自然的に存在する立体感とこれを映像で表現した立体映像を見る時に感じる立体感が特定オブジェクトや特定領域で異なると感じるか、立体感を強調するために意図的に立体感を強くした場合には、該当映像を受信する受信部である立体映像エラー改善装置１００でデプスマップ情報のエラーを判別しこれを改善することで、ある程度緩和させることができる。特に、受信部である立体映像エラー改善装置１００で、２Ｄ映像データでデプスマップ情報を推定した後、これを立体映像である左側視野用イメージ及び右側視野用イメージに変換する場合は、「映像の認識、分析、オブジェクト分離、オブジェクトの先後判断」などの過程を経るため立体映像変換過程でエラーが発生するようになり、これによって、デプスマップ情報にエラーが含まれる。このようなエラーにより立体映像を視聴する視聴者は目まいを感じるようになる。すなわち、立体映像エラー改善装置１００が映像コンテンツ提供社から別途のデプスマップ情報の提供を受けるか２Ｄ映像データからデプスマップ情報を推定した場合、デプスマップ情報でエラーを判別することができる。例えば、近距離に位置したオブジェクトが遠距離に位置したオブジェクトより一層遠く表現される場合、これを原本形態で復元することは不可能であるが、立体映像エラー改善装置１００を通じてデプスマップ情報に含まれたエラーを判別し改善することはできる。

また、立体映像を表現する方式でＤＩＢＲ（Ｄｅｐｔｈ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）方式がある。ＤＩＢＲは、関連されたピクセルごとに深さや差角などの情報を有した参照映像を利用して他の視点でのフレームを新たに作り出す方式である。このようなＤＩＢＲは、３Ｄモデルの表現しにくくて複雑な形象を容易にレンダリングするだけではなく、一般的な映像フィルタリングのような信号処理方法の適用を可能とし、高品質の立体映像を生成することができる。このようなＤＩＢＲは、デプスカメラ及びマルチビューカメラを通じて獲得されるデプス映像とテクスチャ映像を利用する。

また、デプス映像は、３Ｄ空間上に位置するオブジェクトとそのオブジェクトを撮影するカメラとの間の距離を黒白の単位で示す映像である。このようなデプス映像は、デプスマップ情報とカメラパラメータを通じて３Ｄ復元技術または３Ｄワーピング（Ｗａｒｐｉｎｇ）技術に利用される。また、デプス映像は、自由視点ＴＶと３ＤＴＶに応用される。自由視点ＴＶは、決まった一つの視点でのみ映像を鑑賞しないでユーザの選択によって任意の視点で映像を視聴することができるようにするＴＶである。３ＤＴＶは、既存２ＤＴＶにデプス映像を加えた映像を具現する。このような自由視点ＴＶと３ＤＴＶでの柔らかい視点転換のためには、中間映像を生成する必要があり、そのためには正確なデプスマップ情報を推定しなければならない。一方、本発明でデプスマップ情報を推定する方法に対しては、デプスマップ推定部１１４を通じて詳しく説明する。

映像受信部１１２は、入力された映像データに対するデプスマップ情報が別に入力されるか否かを確認し、確認結果に基づいてデプスマップ情報が別に入力される場合、デプスマップ情報をデプスマップ受信部１２０に伝送する。
デプスマップ推定部１１４は、入力された映像データに対するデプスマップ情報が別に入力されない場合、入力された映像データの各々のフレーム別にデプスマップ情報を堆定し、推定されたデプスマップ情報をデプスマップ受信部１２０に伝送する。すなわち、デプスマップ推定部１１４は、入力された映像データの各々のフレーム内に存在する各々のピクセル（Ｐｉｘｅｌ）別にデプスマップ情報を推定する。ここで、各々のピクセルは、Ｒ、Ｇ、Ｂサブピクセルを含む。また、入力された映像データは、２Ｄ映像データである。一方、デプスマップ推定部１１４がデプスマップ情報を推定するための一般的な方式では、ステレオマッチング（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ）アルゴリズムを利用することができる。ステレオマッチングアルゴリズムは、変異値を求めるために周辺映像で水平方向にのみ探索を行い、並列カメラ構成から得た映像または修正（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）過程を経た映像のみを入力する方式である。本発明に記載されたデプスマップ情報は、デプスインプレッションを示す情報を意味し、Ｚ−バッファー（Ｂｕｆｆｅｒ）とも称する。

また、デプスマップ推定部１１４は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中で少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。例えば、デプスマップ推定部１１４は、フレーム内の傾きを利用する方式で、フレーム内の画面の下段に位置するオブジェクトが近くて上段に位置するイメージは遠くあると判断してデプスマップ情報を推定することができる。また、デプスマップ推定部１１４は、オブジェクトの影を利用する方式で、フレーム内のオブジェクトの暗い部分は遠くあり、明るい部分は近くにあると判断してデプスマップ情報を推定することができる。すなわち、影は常にオブジェクトより後にある原理を利用した方式である。また、デプスマップ推定部１１４は、画面焦点を利用する方式で、鮮やかな物体は前にあり、鮮明ではない物体は後にあると判断してデプスマップ情報を推定することができる。また、デプスマップ推定部１１４は、オブジェクトパターン（Ｐａｔｔｅｒｎ）を利用する方式で、同一類型のパターンが連続されて出る場合、パターンの大きさが大きいものが小さいものより前にあると判断してデプスマップ情報を推定することができる。

デプスマップ受信部１２０は、映像受信部１１２またはデプスマップ推定部１１４から入力された映像データに対するデプスマップ情報を受信する。すなわち、デプスマップ受信部１２０は、映像コンテンツ提供社から映像データと別途のデプスマップ情報とを受信した場合、映像受信部１１２を通じて映像データを除外して別に受信されたデプスマップ情報を受信し、映像コンテンツ提供社から別途のデプスマップ情報の提供を受けなくて映像データのみを受信した場合には、デプスマップ推定部１１４を通じて入力された映像データから推定されたデプスマップ情報を受信する。

空間ヒストグラム生成部１２２は、入力された映像データに対するデプスマップ情報を利用して空間ヒストグラム（Ｈｉｓｔｏｇｒａｍ）情報を生成する。空間ヒストグラム生成部１２２は、入力された映像データの各々のフレーム内にデプスマップ情報によって区分されるオブジェクト別にデプスマップ情報を水平（Ｘ）軸と垂直（Ｙ）軸でヒストグラム化した空間ヒストグラム情報を生成する。空間ヒストグラム生成部１２２は、各々のオブジェクト別にデプスマップ情報をヒストグラム化した空間ヒストグラムテーブルを生成する。すなわち、本発明に記載された空間ヒストグラム情報とは、デプスマップ情報によって区分されるオブジェクトを水平（Ｘ）軸と垂直（Ｙ）軸でヒストグラム化した情報を意味する。

２Ｄ映像受信部１３０は、映像受信部１１２またはデプスマップ推定部１１４から入力された映像データに対する２Ｄ映像データを受信する。すなわち、２Ｄ映像受信部１３０は、映像コンテンツ提供社から映像データと別途のデプスマップ情報を受信した場合、映像受信部１１２を通じてデプスマップ情報を除外した映像データである２Ｄ映像データを受信し、映像コンテンツ提供社から別途のデプスマップ情報の提供を受けなくて映像データのみを受信した場合には、デプスマップ推定部１１４を通じて映像データである２Ｄ映像データのみを受信する。

ピーク周波数生成部１３２は、入力された映像データに対する２Ｄ映像データを利用してピーク周波数を生成する。ピーク周波数生成部１３２は、入力された映像データの各々のフレームを既設定されたマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ）単位でスキャン（Ｓｃａｎ）して複数個の領域に区分し、区分された領域別に各々の領域に存在するピクセル値を利用してピーク周波数を算出する。ピーク周波数生成部１３２は、ピーク周波数を算出するために、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して高周波成分と低周波成分に各フレームの周波数成分を区分し、高周波成分の係数に該当する割合をピーク周波数で決定する。ピーク周波数生成部１３２は、各々の領域別に算出したピーク周波数をピーク周波数テーブルで生成する。本発明に記載されたマクロブロックは、８×８、１６×１６、３２×３２、８×１６、１６×８、１６×３２、３２×１６などの多様なサイズで適用でき、該当フレーム内のオブジェクトによって多様なサイズで適用することができる。また、マクロブロックは、サブブロックを含む形態でフレームをスキャンすることができる。

オブジェクト分析部１４０は、空間ヒストグラム生成部１２２から受信された空間ヒストグラムとピーク周波数生成部１３２から受信されたピーク周波数とに基づいて入力された映像データの各々のフレームに対するエラーを判別する。オブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報が第１の臨界値（Ｔｈｒｅｓｈｏｌｄ）を超過する場合、オブジェクトの該当領域をエラー予想領域４１０に分類する。また、オブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、一部値に該当する領域をエラー予想領域４１０に分類する。また、オブジェクト分析部１４０は、入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個に区分された領域の中でエラー予想領域４１０に該当する領域を選別し、選別された領域のピーク周波数が第２の臨界値を超過する場合、エラー予想領域４１０のデプスマップ情報にエラーあることで確定してエラー予想領域４１０をエラー確定領域で認識する。また、オブジェクト分析部１４０は、エラー予想領域４１０に該当するピーク周波数が第２の臨界値を＋方向または−方向に超過し、第１の臨界値を超過した＋または−方向結果と第２の臨界値を超過した＋または−方向結果とが一致しない場合、エラー予想領域４１０のデプスマップ情報にエラーがあることで確定してエラー予想領域４１０をエラー確定領域で認識する。

デプスマップエラー修正部１５０は、フレームに対するエラーが判別されると、エラーが改善されるようにデプスマップ情報を修正する。また、デプスマップエラー修正部１５０は、エラー確定領域のデプスマップ情報に対するエラーを修正する。例えば、デプスマップエラー修正部１５０は、フレーム全体のデプスマップ情報に対するエラーが改善されるように具現することができ、オブジェクト分析部１４０を通じてエラー確定領域が認識される場合、エラー確定領域のデプスマップ情報を改善するように具現することができる。また、デプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が、第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向に超過した場合、第１の臨界値＋方向に超過した一部値を空間ヒストグラムの標準偏差値で減少させる機能を実行する。また、デプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が、第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の−方向に超過した場合、第１の臨界値を−方向に超過した一部値を空間ヒストグラムの標準偏差値で増加させる機能を実行する。

図１に示した立体映像エラー改善装置１００に対する他の実施形態について説明すると、空間ヒストグラム生成部１２２は、デフォルト（Ｄｅｆａｕｌｔ）で一つのフレームに対して全体的な空間ヒストグラム情報を生成し、生成された空間ヒストグラムが特定面積以上の場合、空間ヒストグラムテーブルを形成する。この時、形成された各空間ヒストグラムテーブルの要素を一つのオブジェクトに分離することができる。この時、オブジェクト分析部１４０は、ピーク周波数生成部１３２を通じて分離された各々のオブジェクトに対する２Ｄ映像データの該当領域でピーク周波数分析を通じて該当オブジェクトのピーク周波数を求める。すなわち、オブジェクト分析部１４０は、空間ヒストグラム生成部１２２とピーク周波数生成部１３２を通じて各オブジェクトに対する空間ヒストグラム情報とピーク周波数を有するようになる。この時、オブジェクト分析部１４０が獲得した空間ヒストグラムテーブルとピーク周波数テーブルは、表１のようである。

また、オブジェクト分析部１４０は、空間ヒストグラム生成部１２２とピーク周波数生成部１３２を通じて獲得した空間ヒストグラムテーブルとピーク周波数テーブルの変数を利用して、各オブジェクトに対して表２の条件に満足するオブジェクトを区別することができ、これを「Ｃプログラム」で表現すれば、表２のようである。

すなわち、表２のように、＋方向（近距離）に大きい空間ヒストグラム情報を有したオブジェクトが存在すると予想され、ピーク周波数成分値が小さければ、結果的に該当オブジェクトは近距離に存在しないオブジェクトである可能性が大きさのため、立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、該当デプスマップ情報にエラーがあると判断して該当領域のデプスマップ情報を減少させる。一方、−方向（遠距離）に大きい空間ヒストグラム情報を有するオブジェクトが存在すると予想され、ピーク周波数成分値が大きければ、結果的に該当オブジェクトは遠距離存在しないオブジェクトである可能性が大きいため、立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、該当デプスマップ情報にエラーがあると判断して該当領域のデプスマップ情報を増加させる。すなわち、このような変数によって該当オブジェクトのデプスマップ情報を制御する。勿論、上述のような例示がすべての条件を満足することはないが、発生されたエラーの中で約８０％程度だけ改善したら平均的な映像で多くのエラー改善が行われる。
レンダリング処理部１６０は、修正されたデプスマップ情報を利用して立体映像である左側視野用イメージ及び右側視野用イメージを生成する。すなわち、レンダリング処理部１６０は、２Ｄ映像データに修正されたデプスマップ情報を適用して立体映像である左側視野用イメージ及び右側視野用イメージを生成する。

図２は、本発明の一実施形態による立体映像エラー改善方法を説明するためのフローチャートである。
立体映像エラー改善装置１００は、映像コンテンツ提供社から映像データを受信する（ステップＳ２１０）。すなわち、立体映像エラー改善装置１００の映像受信部１１２は、入力された映像データに対するデプスマップ情報が別に入力されるか否かを確認し、確認結果に基づいてデプスマップ情報が別に入力される場合、デプスマップ情報をデプスマップ受信部１２０に伝送する。一方、立体映像エラー改善装置１００のデプスマップ推定部１１４は、入力された映像データに対するデプスマップ情報が別に入力されない場合、入力された映像データの各々のフレーム別にデプスマップ情報を堆定し、推定されたデプスマップ情報をデプスマップ受信部１２０に伝送する。ここで、デプスマップ推定部１１４は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中で少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。

立体映像エラー改善装置１００のデプスマップ受信部１２０は、映像受信部１１２またはデプスマップ推定部１１４から入力された映像データに対するデプスマップ情報を受信する（ステップＳ２１２）。すなわち、立体映像エラー改善装置１００のデプスマップ受信部１２０は、映像コンテンツ提供社から映像データと別途のデプスマップ情報を受信した場合、映像受信部１１２を通じて映像データを除外して別に受信されたデプスマップ情報を受信し、映像コンテンツ提供社から別途のデプスマップ情報の提供を受けないで映像データのみを受信した場合には、デプスマップ推定部１１４を通じて入力された映像データから推定されたデプスマップ情報を受信する。

立体映像エラー改善装置１００の空間ヒストグラム生成部１２２は、入力された映像データに対するデプスマップ情報を利用して空間ヒストグラム情報を生成する（ステップＳ２２０）。立体映像エラー改善装置１００の空間ヒストグラム生成部１２２は、入力された映像データの各々のフレーム内にデプスマップ情報によって区分されるオブジェクト別にデプスマップ情報を水平（Ｘ）軸と垂直（Ｙ）軸にヒストグラム化した空間ヒストグラム情報を生成する。立体映像エラー改善装置１００の空間ヒストグラム生成部１２２は、各々のオブジェクト別にデプスマップ情報をヒストグラム化した空間ヒストグラムテーブルを生成する（ステップＳ２２２）。

立体映像エラー改善装置１００の２Ｄ映像受信部１３０は、映像受信部１１２またはデプスマップ推定部１１４から入力された映像データに対する２Ｄ映像データを受信する（ステップＳ２３０）。すなわち、立体映像エラー改善装置１００の２Ｄ映像受信部１３０は、映像コンテンツ提供社から映像データと別途のデプスマップ情報を受信した場合、映像受信部１１２を通じてデプスマップ情報を除外した映像データである２Ｄ映像データを受信し、映像コンテンツ提供社から別途のデプスマップ情報の提供を受けないで映像データのみを受信した場合には、デプスマップ推定部１１４を通じて映像データである２Ｄ映像データのみを受信する。

立体映像エラー改善装置１００のピーク周波数生成部１３２は、入力された映像データに対する２Ｄ映像データを利用してピーク周波数を生成する（ステップＳ２３２）。すなわち、立体映像エラー改善装置１００のピーク周波数生成部１３２は、入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個の領域に区分し、区分された領域別に各々の領域に存在するピクセル値を利用してピーク周波数を算出する。ピーク周波数生成部１３２は、ピーク周波数を算出するためにＦＦＴを利用して高周波成分と低周波成分に各フレームの周波数成分を区分し、高周波成分の係数に該当する割合をピーク周波数で決定する。ピーク周波数生成部１３２は、各々の領域別に算出したピーク周波数をピーク周波数テーブルで生成する（ステップＳ２３４）。

立体映像エラー改善装置１００のオブジェクト分析部１４０は、入力された映像データに含まれたフレーム全体に対して空間ヒストグラム情報及びピーク周波数を生成したか否かを確認する（ステップＳ２４０）。ステップＳ２４０の確認結果、入力された映像データに含まれたフレーム全体に対して空間ヒストグラム情報及びピーク周波数を生成した場合、立体映像エラー改善装置１００のオブジェクト分析部１４０はデプスマップ情報によって区分されるオブジェクトに含まれた空間ヒストグラム情報が第１の臨界値を超過するか否かを確認する（ステップＳ２５０）。一方、ステップＳ２４０の確認結果、入力された映像データに含まれたフレーム全体に対して空間ヒストグラム情報及びピーク周波数を生成しなかった場合、立体映像エラー改善装置１００は、ステップＳ２２０乃至ステップＳ２３４を再実行する。

ステップＳ２５０の確認結果、デプスマップ情報によって区分されるオブジェクトに含まれた空間ヒストグラム情報が第１の臨界値を超過する場合、立体映像エラー改善装置１００のオブジェクト分析部１４０は、オブジェクトの該当領域である第１の臨界値の超過領域をエラー予想領域４１０に分類する（ステップＳ２５２）。すなわち、立体映像エラー改善装置１００のオブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、一部値に該当する領域をエラー予想領域４１０に分類する。

立体映像エラー改善装置１００のオブジェクト分析部１４０は、入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個に区分された領域の中でエラー予想領域４１０に該当する領域を選別する（ステップＳ２５４）。立体映像エラー改善装置１００のオブジェクト分析部１４０は、ステップＳ２５４を通じて選別された領域のピーク周波数が第２の臨界値を超過するか否かを確認する（ステップＳ２５６）。

ステップＳ２５６の確認結果、選別された領域のピーク周波数が第２の臨界値を超過する場合、立体映像エラー改善装置１００のオブジェクト分析部１４０は、エラー予想領域４１０のデプスマップ情報にエラーがあることで確定してエラー予想領域４１０をエラー確定領域で認識する（ステップＳ２５８）。すなわち、立体映像エラー改善装置１００のオブジェクト分析部１４０は、エラー予想領域４１０に該当するピーク周波数が第２の臨界値を＋方向または−方向に超過し、第１の臨界値を超過した＋または−方向結果と第２の臨界値を超過した＋または−方向結果が一致しない場合、エラー予想領域４１０のデプスマップ情報にエラーがあることで確定してエラー予想領域４１０をエラー確定領域で認識する。

立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、エラー確定領域のデプスマップ情報に対するエラーを修正する（ステップＳ２６０）。すなわち、立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向に超過した場合、第１の臨界値を＋方向に超過した一部値を空間ヒストグラムの標準偏差値で減少させる。一方、立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の−方向に超過した場合、第１の臨界値を−方向に超過した一部値を空間ヒストグラムの標準偏差値で増加させる。

立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、全てのエラー確定領域のデプスマップ情報に対するエラーが修正されたか否かを確認する（ステップＳ２７０）。ステップＳ２７０の確認結果、立体映像エラー改善装置１００のデプスマップエラー修正部１５０で全てのエラー確定領域のデプスマップ情報に対するエラーが修正された場合、立体映像エラー改善装置１００のレンダリング処理部１６０は、修正されたデプスマップ情報を利用して立体映像である左側視野用イメージ及び右側視野用イメージを生成する（ステップＳ２８０）。すなわち、レンダリング処理部１６０は、２Ｄ映像データに修正されたデプスマップ情報を適用して立体映像である左側視野用イメージ及び右側視野用イメージを生成する。

図２では、ステップＳ２１０乃至ステップＳ２８０を順次に行うことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないで、本発明の一実施形態が属する技術分野において通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で図２に記載された手順を変更するかステップＳ２１０乃至ステップＳ２８０のうち一つ以上のステップを並列的に行うことで多様に修正及び変形して適用することが可能であるため、図２は、時系列的な手順に限定されるものではない。

上述のように、図２に記載された本発明の一実施形態による立体映像エラー改善方法は、プログラムで具現してコンピュータで読める記録媒体に記録することができる。本発明の一実施形態による立体映像エラー改善方法を具現するためのプログラムが記録されコンピュータが読める記録媒体は、コンピュータシステムにより読み出されるデータが保存されるすべての種類の記録装置を含む。このようなコンピュータが読める記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、キャリアウエーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータが読める記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読めるコードが保存され実行されてもよい。また、本発明の一実施形態を具現するための機能的な（Ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明の一実施形態が属する技術分野のプログラマーにより容易に推論できる。

図３は、本発明の一実施形態による空間ヒストグラムに対する例示図である。
一般的な映像データを分析するときにはほとんど発生しないデプスマップ情報の特性があり、統計的にこのような特性は、映像分析によるエラー発生可能性が一番高い。デプスマップ情報は、一般的に自然状態では非常に小さい形態のオブジェクトが周辺領域と別に遠距離に位置するか近距離に位置する場合がほとんどない。また、デプスマップ情報は、空間周波数特性が低くて映像解像度の１／２程度の低い空間周波数特性があり、単一チャンネル、すなわち、黒白映像で距離の程度を表示する。これによって、映像コンテンツ提供社でデプスマップ情報を別に伝送する場合は、圧縮を考慮すれば、２Ｄ映像データの１０％程度の情報量程度に該当する。上述のように、一般的なデプスマップの特徴を前提条件で考慮してエラーに該当する領域を探索することができる。

図３の（Ａ）及び（Ｂ）に示したように、水平（Ｘ）軸は画面の２Ｄ空間を水平空間で切断した断面であり、垂直（Ｙ）軸は値が大きいほど近距離に位置したオブジェクトに対するデプスマップ情報を示す。立体映像エラー改善装置１００のオブジェクト分析部１４０は、空間ヒストグラム生成部１２２から受信された空間ヒストグラムとピーク周波数生成部１３２から受信されたピーク周波数に基づいて入力された映像データの各々のフレームに対するエラーを判別する。図３の（Ａ）と（Ｂ）に示したように、立体映像エラー改善装置１００のオブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報が第１の臨界値（中間点線）を超過する場合、オブジェクトの該当領域をエラー予想領域４１０に分類する。

より具体的に説明すれば、図３の（Ａ）に示した左側グラフは、中央点線を第１の臨界値で仮定すれば、第１の臨界値を基準として＋方向に第１の臨界値を超過する領域のデプスマップ情報値が広く広がっている。反対に、図３の（Ａ）に示した右側グラフは、中央点線を第１の臨界値で仮定すれば、第１の臨界値を基準として−方向に第１の臨界値を超過する領域のデプスマップ情報値が広く広がっている。一方、図３の（Ｂ）に示した左側グラフは、中央点線を第１の臨界値で仮定すれば、第１の臨界値を基準として＋方向に第１の臨界値を超過する領域のデプスマップ情報値が狭く集まっている。反対に、図３の（Ｂ）に示した右側グラフは、中央点線を第１の臨界値で仮定すれば、第１の臨界値を基準として−方向に第１の臨界値を超過する領域のデプスマップ情報値が狭く集まっている。

すなわち、図３の（Ａ）に示したグラフの値をｙ１／ｘ１で仮定し、図３の（Ｂ）に示したグラフの値をｙ２／ｘ２で仮定すれば、図３の（Ｂ）に示したグラフの値であるｙ２／ｘ２が図３の（Ａ）に示したグラフの値であるｙ１／ｘ１より非常に大きい値になる。それを空間的に表現すれば、第１の臨界値を基準として第１の臨界値を＋方向または−方向に超過する領域を一つのオブジェクトに分離し、このように分離された領域に対して領域の面積（Ｘに該当）と該当面積でデプスマップ値の標準偏差値（Ｙに該当）を求めて各オブジェクト別に空間ヒストグラム情報テーブルを形成することができる。

図４は、本発明の一実施形態による入力される２Ｄ映像データに対する例示図である。図４に示したように、２Ｄ映像受信部１３０を通じて映像受信部１１２またはデプスマップ推定部１１４から入力された映像データに対する２Ｄ映像データを受信する。すなわち、２Ｄ映像受信部１３０は、映像コンテンツ提供社から映像データと別途のデプスマップ情報を受信した場合、映像受信部１１２を通じてデプスマップ情報を除外した映像データである２Ｄ映像データを受信し、映像コンテンツ提供社から別途のデプスマップ情報の提供を受けないで映像データのみを受信した場合には、デプスマップ推定部１１４を通じて映像データである２Ｄ映像データのみを受信する。一方、図４に示した２Ｄ映像データは、カラー（Ｃｏｌｏｒ）映像データであることが好ましいが、必ずこれに限定されるものではない。

図５は、本発明の一実施形態による特定フレームの正常的なデプスマップ情報に対する例示図である。すなわち、図４に示した映像データにデプスマップ情報を適用した場合、図５のようになる。すなわち、立体映像エラー改善装置１００の空間ヒストグラム生成部１２２は、入力された映像データの各々のフレーム内にデプスマップ情報によって区分されるオブジェクト別にデプスマップ情報を水平（Ｘ）軸と垂直（Ｙ）軸でヒストグラム化した空間ヒストグラム情報を生成する。

図６は、本発明の一実施形態による特定フレームのエラー予想領域を示した例示図である。図６に示したように、立体映像エラー改善装置１００のオブジェクト分析部１４０は、空間ヒストグラム生成部１２２から受信された空間ヒストグラムとピーク周波数生成部１３２から受信されたピーク周波数に基づいて入力された映像データの各々のフレームに対するエラーを判別する。オブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報が第１の臨界値を超過する場合、図６に示したように、オブジェクトの該当領域をエラー予想領域４１０に分類する。すなわち、図６に示したように、前方ペンギンの帽子わく部分（−方向）と後方ペンギンの顔部分（＋方向）、または背景の一部分を人間の視覚で判断すれば、明白なエラーに該当する。このようなエラーは、空間ヒストグラム情報を分析することで抽出が可能である。それは、前方の柱やペンギンの体は相対的に広い空間にわたって近く存在するので空間ヒストグラム情報が小さくて、図６のエラー予想領域４１０のエラーは非常に大きい空間ヒストグラム情報を有するからである。

図７は、本発明の一実施形態による特定オブジェクトのエラー予想領域を示した例示図である。図６に示したように、エラー予想領域４１０が分類されると、オブジェクト分析部１４０は、オブジェクトに含まれた空間ヒストグラム情報の標準偏差値を脱した一部値が、第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、一部値に該当する領域をエラー予想領域４１０に分類する。また、オブジェクト分析部１４０は、入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個に区分された領域のうちエラー予想領域４１０に該当する領域を選別し、選別された領域のピーク周波数が第２の臨界値を超過する場合、エラー予想領域４１０のデプスマップ情報にエラーがあることで確定してエラー予想領域４１０をエラー確定領域で認識する。また、オブジェクト分析部１４０は、エラー予想領域４１０に該当するピーク周波数が、第２の臨界値を＋方向または−方向に超過し、第１の臨界値を超過した＋または−方向結果と第２の臨界値を超過した＋または−方向結果が一致しない場合、エラー予想領域４１０のデプスマップ情報にエラーがあることで確定してエラー予想領域４１０をエラー確定領域で認識する。

図７に示したように、ペンギン顔部分のエラー予想領域４１０をエラー確定領域で認識すると、立体映像エラー改善装置１００のデプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の＋方向に超過した場合、第１の臨界値を＋方向に超過した一部値を空間ヒストグラムの標準偏差値で減少させる機能を実行する。また、デプスマップエラー修正部１５０は、エラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値が第１の臨界値を基準として第１の臨界値の垂直（Ｙ）軸の−方向に超過した場合、第１の臨界値を−方向に超過した一部値を空間ヒストグラムの標準偏差値で増加させる。

図８は、本発明の一実施形態によるＦＦＴ適用によるピーク周波数に対する例示図である。図８は、図７に示したペンギン顔部分のエラー予想領域４１０に対してピーク周波数を求める例示図である。立体映像エラー改善装置１００のピーク周波数生成部１３２が入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個の領域に区分し、図８の（Ａ）のように区分された領域別に各々の領域に存在するピクセル値を算出する。

立体映像エラー改善装置１００のピーク周波数生成部１３２は、ピーク周波数を算出するために、図８の（Ａ）にＦＦＴを適用して図８の（Ｂ）のように高周波成分と低周波成分に各フレームの周波数成分を区分し、高周波成分の係数に該当する割合をピーク周波数で決定する。また、立体映像エラー改善装置１００のピーク周波数生成部１３２は、各々の領域別に算出したピーク周波数をピーク周波数テーブルで生成することができる。ここで、マクロブロックは、８×８、１６×１６、３２×３２、８×１６、１６×８、１６×３２、３２×１６などの多様なサイズで適用することができ、該当フレーム内のオブジェクトによって多様なサイズで適用することができ、マクロブロックは、サブブロックを含む形態でフレームをスキャンすることができる。

図８の（Ｂ）に示したように、８×８のブロック内で左上側に該当する領域は、低周波成分の領域を意味し、右下側の領域に移動するほど高周波成分の領域に該当するので、図８の（Ｂ）のように選択された領域の比重の和をピーク周波数成分で定義することができる。ここで、ピーク周波数値が大きいということは、鮮やかな部分を意味することで、相対的に映像の特性上オブジェクトが近距離にあることを意味し、前の空間ヒストグラム情報で大きい値を有するオブジェクトが実際近距離にあるオブジェクトであるか否かを評価する基準になる。また、図７のように、エラー予想領域４１０は、任意の形態であるから、入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個の領域に区分し、区分された領域に対するピーク周波数値を求めた後に各領域の平均ピーク周波数値の平均を該当オブジェクトの代表値で選定する。

一方、図８の（Ａ）にＦＦＴを適用するため、数学式１及び数学式２を利用することができる。

ここで、数学式１及び数学式２は、時間関数ｆ（ｎ）と周波数関数Ｆ（ｘ）の変換関係を示しており、数学式１及び数学式２は、１次元であるが、映像のような２次元の場合は、空間上の映像とその映像の空間周波数成分との間の変換関係を表現することができる。一方、数学式１と数学式２は、ＦＦＴの一般的な例を示した式として、高周波成分を算出するため、数学式１と数学式２に含まれた定数に必要な値を適用することができる。例えば、ｆ（ｎ）を空間上のピクセル座標係ｆ（ｍ、ｎ）で表示し、ピクセルの位置を（ｍ、ｎ）とすれば、Ｆ（ｘ、ｙ）は空間上の周波数成分になる。

以上、本発明の一実施形態を構成するすべての構成要素が一つに結合されるか結合され動作することで説明したが、本発明は、必ずこのような実施形態に限定されるものではない。すなわち、本発明の目的範囲内であれば、そのすべての構成要素は一つ以上で選択的に結合して動作してもよい。また、そのすべての構成要素を各々一つの独立的なハードウェアで具現することができるが、各構成要素のその一部または全部を選択的に組み合わせて一つまたは複数個のハードウェアで組み合わされた一部または全部の機能を実行するプログラムモジュールを有するコンピュータプログラムとして具現してもよい。そのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野の当業者により容易に推論される。このようなコンピュータプログラムは、コンピュータが読める保存媒体（Ｃｏｍｐｕｔｅｒ Ｒｅａｄａｂｌｅ Ｍｅｄｉａ）に保存されてコンピュータにより読み出されて実行されることで、本発明の実施形態を具現することができる。コンピュータプログラムの保存媒体としては、磁気記録媒体、光記録媒体、キャリアウエーブ媒体などが含まれる。

また、以上で記載した『含む』、『構成する』または『有する』などの用語は、特別に反対される記載がない限り、該当構成要素を内在可能なことを意味するもので、他の構成要素を除外するのもではなく、他の構成要素をさらに含むことができると解釈される。技術的や科学的な用語を含んだ全ての用語は、特定しない限り、本発明が属する技術分野で通常の知識を有した者が一般的に理解できるものと同等の意味を有する。一般的に使用される辞典に定義されている用語は、関連技術の文脈上の意味と一致する意味を有するものと解釈し、本出願において明白に定義しない限り、理想的や過度に形式的な意味に解釈されない。

以上の説明は、本発明の技術思想を例示的に説明したことに過ぎず、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。本発明の保護範囲は、下記請求範囲により解釈され、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれることで解釈される。

以上のように、本発明は、立体映像コンテンツを出力する過程でデプスマップ情報のエラーにより立体感の低下が発生しないようにする多様な分野に適用され、デプスマップ情報のエラーを判別してデプスマップ情報のエラーを改善することができる効果を発生する有用な発明である。

クロスレファレンス
本特許出願は、２０１０年０６月０８日付で大韓民国に出願した特許出願番号第１０−２０１０−００５３９７１号に対してアメリカ特許法第１１９（ａ）条（３５ Ｕ．Ｓ．Ｃ§１１９（ａ）によって優先権を主張し、その全ての内容は参考文献として本特許出願に併合される。さらに、本特許出願は、アメリカ以外の国家に対しても上記と同一な理由で優先権を出張し、その全ての参考文献として本特許文献に併合される。

１００ 立体映像改善装置
１１２ 映像受信部
１２０ デプスマップ推定部
１２２ 空間ヒストグラム生成部
１３０ ２Ｄ映像受信部
１３２ ピーク周波数生成部
１４０ オブジェクト分析部
１５０ デプスマップエラー修正部
１６０ レンダリング処理部

Claims (24)

1. 入力された映像データに対するデプスマップ情報（Ｄｅｐｔｈ Ｍａｐ）を利用して空間ヒストグラム（Ｈｉｓｔｏｇｒａｍ）情報を生成する空間ヒストグラム生成部と、
   前記入力された映像データに対する２Ｄ映像データを利用してピーク（Ｐｅａｋ）周波数を生成するピーク周波数生成部と、
   前記空間ヒストグラムと前記ピーク周波数に基づいて前記入力された映像データの各々のフレーム（Ｆｒａｍｅ）に対するエラーを判別するオブジェクト（Ｏｂｊｅｃｔ）分析部と、
   前記フレームに対する前記エラーが判別されると、前記エラーが改善されるように前記デプスマップ情報を修正するデプスマップエラー修正部と、
   前記修正されたデプスマップ情報を利用して立体映像を構成するために左側視野用イメージ及び右側視野用イメージを生成するレンダリング（Ｒｅｎｄｅｒｉｎｇ）処理部と、を含むこと
   を特徴とする立体映像エラー改善装置。
2. 前記空間ヒストグラム生成部は、前記入力された映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別にデプスマップ情報を水平（Ｘ）軸と垂直（Ｙ）軸でヒストグラム化した前記空間ヒストグラム情報を生成すること
   を特徴とする請求項１に記載の立体映像エラー改善装置。
3. 前記空間ヒストグラム生成部は、前記各々のオブジェクト別にデプスマップ情報をヒストグラム化した空間ヒストグラムテーブルを生成すること
   を特徴とする請求項２に記載の立体映像エラー改善装置。
4. 前記ピーク周波数生成部は、前記入力された映像データの各々のフレームを既設定されたマクロブロック（Ｍａｃｒｏ Ｂｌｏｃｋ）単位でスキャン（Ｓｃａｎ）して複数個の領域に区分し、前記区分された領域別に各々の領域に存在するピクセル値を利用して前記ピーク周波数を算出すること
   を特徴とする請求項１に記載の立体映像エラー改善装置。
5. 前記ピーク周波数生成部は、前記ピーク周波数を算出するためにＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して高周波成分と低周波成分に各フレームの周波数成分を区分し、前記高周波成分の係数に該当する割合を前記ピーク周波数で決定すること
   を特徴とする請求項４に記載の立体映像エラー改善装置。
6. 前記ピーク周波数生成部は、前記各々の領域別に算出した前記ピーク周波数をピーク周波数テーブルで生成すること
   を特徴とする請求項５に記載の立体映像エラー改善装置。
7. 前記オブジェクト分析部は、前記オブジェクトに含まれた空間ヒストグラム情報が第１の臨界値を超過する場合、前記オブジェクトの該当領域をエラー予想領域に分類すること
   を特徴とする請求項２に記載の立体映像エラー改善装置。
8. 前記オブジェクト分析部は、前記オブジェクトに含まれた空間ヒストグラム情報の標準偏差値を脱した一部値が前記第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、前記一部値に該当する領域を前記エラー予想領域に分類すること
   を特徴とする請求項７に記載の立体映像エラー改善装置。
9. 前記オブジェクト分析部は、前記入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個に区分された領域の中で前記エラー予想領域に該当する領域を選別し、前記選別された領域の前記ピーク周波数が第２の臨界値を超過する場合、前記エラー予想領域のデプスプマップ情報にエラーがあることで確定して前記エラー予想領域をエラー確定領域で認識すること
   を特徴とする請求項７に記載の立体映像エラー改善装置。
10. 前記オブジェクト分析部は、前記エラー予想領域に該当する前記ピーク周波数が前記第２の臨界値を＋方向または−方向に超過し、前記第１の臨界値を超過した＋または−方向結果と前記第２の臨界値を超過した＋または−方向結果が一致しない場合、前記エラー予想領域のデプスマップ情報に前記エラーがあることで確定して前記エラー予想領域を前記エラー確定領域で認識すること
    を特徴とする請求項９に記載の立体映像エラー改善装置。
11. 前記デプスマップエラー修正部は、前記エラー確定領域のデプスマップ情報に対するエラーを修正すること
    を特徴とする請求項９に記載の立体映像エラー改善装置。
12. 前記デプスマップエラー修正部は、前記エラー確定領域に対する前記空間ヒストグラム情報の標準偏差値を脱した一部値が前記第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向に超過した場合、前記第１の臨界値を＋方向に超過した一部値を前記空間ヒストグラムの標準偏差値で減少させること
    を特徴とする請求項９に記載の立体映像エラー改善装置。
13. 前記デプスマップエラー修正部は、前記エラー確定領域に対する前記空間ヒストグラム情報の標準偏差値を脱した一部値が前記第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の−方向に超過した場合、前記第１の臨界値を−方向に超過した一部値を前記空間ヒストグラムの標準偏差値で増加させること
    を特徴とする請求項９に記載の立体映像エラー改善装置。
14. 前記入力された映像データに対する前記デプスマップ情報を受信するデプスマップ受信部と、
    前記入力された映像データに対する前記２Ｄ映像データを受信する２Ｄ映像受信部と、をさらに含むこと
    を特徴とする請求項１に記載の立体映像エラー改善装置。
15. 前記入力された映像データに対する前記デプスマップ情報が別に入力されるか否かを確認し、確認結果に基づいて前記デプスマップ情報が別に入力される場合、前記デプスマップ情報を前記デプスマップ受信部に伝送する映像受信部と、
    前記確認結果に基づいて前記デプスマップ情報が別に入力されない場合、前記入力された映像データの各々のフレーム別に前記デプスマップ情報を推定し、前記推定されたデプスマップ情報を前記デプスマップ受信部に伝送するデプスマップ推定部と、をさらに含むこと
    を特徴とする請求項１４に記載の立体映像エラー改善装置。
16. 前記デプスマップ推定部は、前記各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中で少なくとも一つ以上の情報を利用して前記デプスマップ情報を推定すること
    を特徴とする請求項１５に記載の立体映像エラー改善装置。
17. 入力された映像データに対するデプスマップ情報を利用して空間ヒストグラム情報を生成する空間ヒストグラム生成ステップと、
    前記入力された映像データに対する２Ｄ映像データを利用してピーク周波数を生成するピーク周波数生成ステップと、
    前記空間ヒストグラムと前記ピーク周波数に基づいて前記入力された映像データの各々のフレームに対するエラーを判別するオブジェクト分析ステップと、
    前記フレームに対する前記エラーが判別されると、前記エラーが改善されるように前記デプスマップ情報を修正するデプスマップエラー修正ステップと、
    前記修正されたデプスマップ情報を利用して立体映像を構成するために左側視野用イメージ及び右側視野用イメージを生成するレンダリング処理ステップと、を含むこと
    を特徴とする立体映像エラー改善方法。
18. 前記空間ヒストグラム生成ステップは、前記入力された映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別にデプスマップ情報を水平（Ｘ）軸と垂直（Ｙ）軸でヒストグラム化した前記空間ヒストグラム情報を生成するステップを含むこと
    を特徴とする請求項１７に記載の立体映像エラー改善方法。
19. 前記ピーク周波数生成ステップは、前記入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個の領域に区分するステップと、
    前記区分された領域別に各々の領域に存在するピクセルの周波数成分をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）して高周波成分と低周波成分に区分するステップと、
    前記高周波成分の係数に該当する割合を前記ピーク周波数で決定するステップと、を含むこと
    を特徴とする請求項１７に記載の立体映像エラー改善方法。
20. 前記オブジェクト分析ステップは、前記オブジェクトに含まれた空間ヒストグラム情報が第１の臨界値を超過する場合、前記オブジェクトの該当領域をエラー予想領域に分類するステップと、
    前記入力された映像データの各々のフレームを既設定されたマクロブロック単位でスキャンして複数個に区分された領域の中で前記エラー予想領域に該当する領域を選別するステップと、
    前記選別された領域の前記ピーク周波数が第２の臨界値を超過する場合、前記エラー予想領域のデプスマップ情報にエラーがあることで確定して前記エラー予想領域エラーがあることで判別するステップと、を含むこと
    を特徴とする請求項１７に記載の立体映像エラー改善方法。
21. 入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程で前記デプスマップ情報に対するエラーを判別する方法であって、
    前記２Ｄ映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別に生成された空間ヒストグラム情報の標準偏差値を脱した一部値を確認するステップと、
    前記一部値が第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向または−方向に超過する場合、前記一部値に該当する領域をエラー予想領域に分類するエラー予想領域分類ステップと、
    前記エラー予想領域に対するピーク周波数が第２の臨界値を＋方向または−方向に超過する場合、前記第１の臨界値を超過した方向結果と前記第２の臨界値を超過した方向結果とが一致するか否かを確認する方向結果一致可否確認ステップと、
    前記方向結果一致可否確認ステップの確認結果、方向結果が一致しない場合、前記エラー予想領域の前記デプスマップ情報に前記エラーがあることで判別するエラー判別ステップと、を含むこと
    を特徴とする立体映像エラー改善方法。
22. 入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程でエラーが判別された前記デプスマップ情報を改善する方法であって、
    前記デプスマップ情報に前記エラーがあることで判別されたエラー確定領域に対する空間ヒストグラム情報の標準偏差値を脱した一部値を確認するステップと、
    前記一部値が第１の臨界値を基準として前記第１の臨界値の垂直（Ｙ）軸の＋方向と−方向の中でどの方向に超過したかを確認する方向確認ステップと、
    前記方向確認ステップの確認結果、前記一部値が前記第１の臨界値を超過した方向に基づいて前記一部値を前記空間ヒストグラムの標準偏差値で増加または減少させるエラー改善ステップと、を含むこと
    を特徴とする立体映像エラー改善方法。
23. 前記エラー改善ステップは、前記方向確認ステップの確認結果に基づいて、前記一部値が前記第１の臨界値を＋方向に超過した場合、前記一部値を前記空間ヒストグラムの標準偏差値で減少させて、前記一部値が前記第１の臨界値の垂直（Ｙ）軸の−方向に超過した場合、前記一部値を前記空間ヒストグラムの標準偏差値で増加させるステップを含むこと
    を特徴とする請求項２２に記載の立体映像エラー改善方法。
24. 入力された２Ｄ映像データにデプスマップ情報を適用して立体映像を提供する過程で前記デプスマップ情報に対するエラーを判別し改善する方法であって、
    前記２Ｄ映像データの各々のフレーム内に前記デプスマップ情報によって区分されるオブジェクト別に生成された空間ヒストグラム情報の標準偏差値を脱した一部値を確認するステップと、
    前記一部値が第１の臨界値を超過する場合、前記一部値に該当する領域をエラー予想領域に分類するエラー予想領域分類ステップと、
    前記エラー予想領域に対するピーク周波数が第２の臨界値を超過する場合、前記第１の臨界値と前記第２の臨界値を＋方向または−方向に超過した方向結果が一致するか否かを確認する方向結果確認ステップと、
    前記方向結果確認ステップの確認結果、方向結果が一致しない場合、前記エラー予想領域の前記デプスマップ情報に前記エラーがあることで判別するエラー判別ステップと、
    前記一部値が前記第１の臨界値を超過した方向結果に基づいて前記一部値を前記空間ヒストグラムの標準偏差値で増加または減少させるエラー改善ステップと、を含むこと
    を特徴とする立体映像エラー改善方法。