JP2007151125A - 立体映像信号の処理装置及び方法 - Google Patents

Abstract

【課題】 立体映像信号の処理装置及び方法を提供する。
【解決手段】 受信される第１映像信号と第２映像信号との映像の特性の差を検出する映像信号検出部と、第１映像信号及び第２映像信号それぞれの映像の特性が相互均等になるように第１映像信号及び第２映像信号のうち少なくとも一つを補正する映像信号補正部と、を備える立体映像信号の処理装置である。これによれば、第１映像信号と第２映像信号との差によって発生する立体感の低下及び視差推定時の推定エラーの発生のような問題点を防止しうる。
【選択図】 図１

Description

本発明は、立体映像信号の処理装置及び方法に係り、さらに詳細には、第１映像信号と第２映像信号との差によって発生する立体感の低下及び視差推定時の推定エラーの発生のような問題点を防止するために、第１映像及び第２映像信号を補正する立体映像信号の処理装置及び方法に関する。

ほとんどの立体映像物と映像ディスプレイ道具とは、両眼視差の特性を活用したものである。立体映像を獲得する方法のうち実射映像は、主に二つの入射レンズを有するステレオ−カメラで具現され、３Ｄ（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ）コンピュータグラフィック（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の場合も、実射カメラの使用と同じ原理で、２台以上の仮想のカメラを使用して映像を構成し、それぞれのカメラから出力される映像をディスプレイ構造に適度に合成して３Ｄ映像物を構成しうる。

しかし、第１映像信号と第２映像信号との差が許容値を逸脱すれば、両眼融合が成立せずに二重像が観察される。したがって、ユーザに立体感のある映像を提供できなくなり、ユーザの視機能に負担を与えて眼の疲労感が増大する。

また、映像内の物体の視差を補正することによって物体の深さ感を補正して眼の疲労感を減らそうとする場合、第１映像信号と第２映像信号との差によって推定エラーが発生することもある。その理由は、視差を補正するためには、第１映像信号と第２映像信号との視差を推定するためにブロック基盤の視差推定を利用する時に、映像のイメージのエッジに隣接した平坦部で第１映像信号と第２映像信号との視差を推定する過程で推定エラーが発生するためである。

さらに詳細に説明すれば、ブロック基盤の視差推定方法は、第１映像をＮ×Ｎ個の均一なブロックに分割した後、第１映像内の各ブロックに対して最も類似したブロックをＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）またはＭＡＤ（Ｍｅａｎ ｏｆ Ａｂｓｏｌｕｔｅ）を利用して第２映像で推定する。しかし、例えば、第１映像信号と第２映像信号との間に輝度レベルで差がある場合は、第１映像内の各ブロックに対して、最も類似したブロックの第２映像での推定にエラーが発生する。
日本特許公開第平１１−３５５８０８号公報 日本特許公開第平９−２３４５１号公報

本発明が解決しようとする技術的課題は、第１映像信号と第２映像信号との差によって発生する立体感の低下及び視差推定時の推定エラーの発生のような問題点を防止するために、第１映像信号と第２映像信号とを補正する立体映像信号を処理する装置及び方法を提供することである。

本発明が解決しようとする技術的課題は、第１映像信号と第２映像信号とを補正するとき、ユーザによって最適の立体感が提供されるように、ユーザによって第１映像信号及び第２映像信号の補正レベルが調整されうる立体映像信号を処理する装置及び方法を提供することである。

前記課題を解決するために、本発明の一特徴による立体映像処理装置は、受信される第１映像信号と第２映像信号との映像の特性の差を検出する映像信号検出部と、第１映像信号及び第２映像信号それぞれの映像の特性が相互均等になるように、第１映像信号及び第２映像信号のうち少なくとも一つを補正する映像信号補正部とを備える。

望ましくは、映像の特性の差は、第１映像信号と第２映像信号との明暗対比、カラー、輝度、倍率、鮮明度及び幾何学的な歪曲度のうち少なくとも一つにおける差を含む。

望ましくは、補正された第１映像信号及び第２映像信号を合成して立体映像を出力する映像合成部をさらに備える。

望ましくは、補正された第１映像信号または第２映像信号を利用して第１映像信号と第２映像信号との視差を推定し、推定された視差を調整する視差推定及び調整部をさらに備える。

望ましくは、映像信号補正部は、受信される第１映像信号及び／または第２映像信号の映像特性に基づいて、検出された第１映像信号及び第２映像信号の映像特性を均等にするために、第１映像信号の特性に基づいて第２映像信号を補正するか、第２映像信号の特性に基づいて第１映像信号を調整するか、または第１映像信号及び第２映像信号の映像の特性の平均値に基づいて第１映像及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、映像信号検出部は、第１映像信号及び第２映像信号それぞれのフレームごとに、映像の特性のうち明暗対比に対するヒストグラムを生成し、生成されたヒストグラム分布を利用して第１映像信号と第２映像信号との明暗対比の差を検出する。

望ましくは、映像信号補正部は、明暗対比が小さい第１映像または第２映像で、明るい部分はさらに明るく補正し、暗い部分はさらに暗く補正して、明暗対比を大きくする方式によって第１映像信号と第２映像信号との明暗対比レベルを均等にする。

望ましくは、映像信号検出部は、第１映像信号及び第２映像信号それぞれのフレームごとに、映像の特性のうち輝度に対する平均値を計算し、計算されたそれぞれの平均値を利用して第１映像信号及び第２映像信号の輝度の差を検出する。

望ましくは、映像信号補正部は、輝度が低い第１映像信号または第２映像信号の輝度レベルを全体的に高める方式によって第１映像信号及び第２映像信号それぞれの輝度レベルを均等にする。

望ましくは、映像信号検出部は、第１映像信号及び第２映像信号それぞれのフレームごとに、映像の特性のうちカラーのヒストグラムを生成し、生成されたヒストグラム分布を利用して第１映像信号と第２映像信号とのカラー差を検出する。

望ましくは、映像信号補正部は、第１映像信号及び第２映像信号が放送信号として受信される場合、放送信号に含まれて伝送された第１映像信号及び第２映像信号に対するテストパターンを比較して、テストパターンが均等になるように第１映像信号及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、映像信号補正部は、第１映像信号及び第２映像信号に対するテストパターンを生成し、生成されたテストパターンが均等になるように第１映像信号及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、映像信号補正部は、第１映像及び第２映像が撮影された時の映像の特性についてのカメラパラメータがさらに受信される場合、カメラパラメータに基づいて第１映像信号及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、映像信号検出部から検出される映像の特性の差を利用して疲労度を計算し、計算された疲労度を所定の疲労度の限界値と比較して第１映像信号及び第２映像信号を補正するか否かを評価する映像信号評価部をさらに備え、映像信号補正部は、映像信号評価部による評価に基づいて、映像の特性が相互均等になるように第１映像信号及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、映像信号検出部から第１映像信号及び第２映像信号の明暗対比の差が検出され、映像信号評価部が明暗対比の差を所定の明暗対比の差の限界値と比較して、明暗対比の差が所定の明暗対比の差の限界値以上と評価すれば、映像信号補正部は、映像信号評価部による評価に基づいて、第１映像信号と第２映像信号との明暗対比レベルを均等に補正する。

望ましくは、映像信号検出部から第１映像信号及び第２映像信号の輝度の差が検出され、映像信号評価部が輝度の差を所定の輝度の差の限界値と比較して、輝度の差が所定の輝度の差の限界値以上と評価すれば、映像信号補正部は、映像信号評価部による評価に基づいて、第１映像信号と第２映像信号との輝度のレベルを均等にする。

望ましくは、映像信号の特性に対する補正レベル値をユーザから入力されるために補正レベル値の範囲を表す補正レベルを提供し、ユーザによって映像信号の特性についての補正レベル値を入力されるオンスクリーンディスプレイ制御部をさらに備え、映像信号補正部は、入力された補正レベル値に基づいて第１映像信号及び第２映像信号のうち少なくとも一つを補正する。

望ましくは、オンスクリーンディスプレイ制御部が提供する補正レベルを文字及び／またはグラフィック型に提供するオンスクリーングラフィック提供部をさらに備える。

前記課題を達成するために、本発明の特徴による立体映像処理方法は、受信される第１映像信号と第２映像信号との映像の特性の差を検出するステップと、第１映像信号及び第２映像信号それぞれの映像の特性が相互均等になるように、第１映像信号及び第２映像信号のうち少なくとも一つを補正するステップと、を含む。

本発明によれば、第１映像信号と第２映像信号とを補正し、第１映像信号と第２映像信号との差によって発生する立体感の低下や視差推定時の推定エラーの発生のような問題点を防止しうる。

また、本発明によれば、第１映像信号と第２映像信号とを補正する時、ユーザによって最適の立体感が提供されるように、ユーザによって第１映像信号及び第２映像信号の補正レベルを補正させうる立体映像信号を補正する装置及び方法を提供しうる。

また、本発明による立体映像信号の処理装置は、ステレオ動画再生装置だけでなく、再び点動画再生装置に利用されて、ユーザに効率的に３Ｄ立体映像を提供しうる。

以下、添付した図面を参照して本発明の望ましい実施形態について説明する。

図１は、本発明の一実施形態による立体映像信号の処理装置の構成を表すブロック図である。

本発明の一実施形態による立体映像信号の処理装置１００は、映像信号検出部１１０及び映像信号補正部１２０を備える。立体映像信号の処理装置１００は、図１で第１映像信号と第２映像信号とを受信して、それぞれの映像の特性を相互均等にするために第１映像信号及び第２映像信号を補正する。ここで、映像の特性は、第１映像信号及び第２映像信号での明暗対比、カラー、輝度、倍率、鮮明度及び幾何学的歪曲度を含む。

映像信号検出部１１０が第１映像信号と第２映像信号とを受信し、第１映像信号と第２映像信号との映像の特性差を検出すれば、映像信号補正部１２０は、映像の特性が相互均等になるように第１映像信号または第２映像信号を補正する。

映像信号補正部１２０は、第１映像信号補正部１２２及び第２映像信号補正部１２４を備えて、それぞれ第１映像及び第２映像信号を補正する。映像信号補正部１２０は、検出された第１映像及び／または第２映像の特性の差に基づいて、第１映像信号及び第２映像信号の映像の特性が均等になるように補正しうる。

すなわち、映像信号補正部１２０は、第１映像の特性に基づいて第２映像補正部１２４で第２映像の特性を補正し、第２映像の特性に基づいて第１映像補正部１２２で第１映像の特性を補正しうる。または、映像信号補正部１２０は、第１映像信号及び第２映像信号の映像の特性の平均値を計算し、平均値に基づいて第１映像信号及び第２映像信号の映像の特性を補正しうる。映像信号補正部１２０は、第１映像信号補正部１２２及び第２映像信号補正部１２４が相互通信を通じて前記のような動作を行うように構成されてもよく、第１映像信号補正部１２２及び第２映像信号補正部１２４のうち一つが映像信号補正部１２０の全般の動作を制御するように構成されてもよい。

本発明による立体映像処理装置１００において、第１映像信号及び第２映像信号の映像の特性のうち、明暗対比を補正する方法について、図３を参照して説明する。図３は、本発明の一実施形態による明暗対比差の補正方法を示す図である。

映像信号検出部１１０は、第１映像信号及び第２映像信号に対するそれぞれのフレームごとに、映像の特性のうち明暗対比のヒストグラムを生成し、生成されたヒストグラム分布を利用して第１映像信号と第２映像信号との明暗対比レベル及び明暗対比の差を検出しうる。または、映像信号検出部１１０は、第１映像信号及び第２映像信号の明暗対比レベルのフレーム当りの最大値または最小値を明暗対比レベルの値として検出し、第１映像信号と第２映像信号との明暗対比レベル値の差を検出しうる。

映像信号補正部１２０は、図３に示したように、第１映像または第２映像のうち明暗対比の小さい映像を明暗対比の高い映像の明暗対比レベルに補正して、第１映像信号及び第２映像信号の明暗対比レベルを均等にしうる。第１映像の明暗対比レベルが低い場合、第１映像信号補正部１２２で、明るい部分はさらに明るく補正し、暗い部分はさらに暗く補正して明暗対比レベルを高めうる。そして、第２映像の明暗対比レベルが低い場合には、第２映像信号補正部１２４で、明るい部分はさらに明るく補正し、暗い部分はさらに暗く補正して明暗対比レベルを高めうる。

本発明による立体映像処理装置１００において、第１映像信号と第２映像信号との映像の特性のうち、輝度を補正する方法について、図４を参照して説明する。図４は、本発明の一実施形態による輝度差の補正方法を示す図である。

映像信号検出部１１０が第１映像信号及び第２映像信号それぞれのフレームごとに映像の特性のうち輝度の平均値を計算し、計算された平均値を差分して第１映像信号及び第２映像信号の輝度差を検出しうる。それにより、映像信号補正部１２０は、図４に示したように、輝度の低い第１映像信号または第２映像信号の輝度レベルを全体的に高める方式によって、第１映像信号及び第２映像信号それぞれの輝度レベルを均等にしうる。

また、映像信号検出部１１０が第１映像信号及び第２映像信号のフレームごとに映像の特性のうちカラー（Ｒ,Ｇ,Ｂ）のヒストグラムを生成し、生成されたヒストグラム分布を利用して第１映像信号及び第２映像信号のカラーレベルとカラーの差とを検出しうる。または、映像信号検出部１１０は、第１映像信号及び第２映像信号のそれぞれのフレーム間のフレーム当りの色差を計算することもできる。

それにより、映像信号補正部１２０は、映像信号検出部１１０から検出された第１映像信号または第２映像信号のカラー差に基づいて、第１映像信号及び／または第２映像信号のカラーレベルを補正しうる。または、映像信号補正部１２０は、映像信号検出部１１０に計算された第１映像及び第２映像のカラー値の平均値を基準として、第１映像信号及び第２映像信号のカラーレベルを補正することもできる。

以上、映像信号補正部１２０が検出された第１映像及び／または第２映像の特性に基づいて、第１映像信号及び第２映像信号を補正する方法について説明したが、映像信号補正部１２０は、テストパターンを利用して映像信号を補正しうる。例えば、第１映像信号及び第２映像信号が放送信号として受信される場合、映像信号補正部１２０は、放送信号に含まれて伝送された第１映像信号及び第２映像信号のテストパターンを比較して、テストパターンが均等になるように第１映像信号及び第２映像信号を補正しうる。または、映像信号補正部１２０がテストパターン生成回路（図示せず）を内蔵する場合、テストパターン生成回路で受信される第１映像信号及び第２映像信号のテストパターンを生成し、生成された第１映像信号及び第２映像信号のテストパターンが均等になるように第１映像及び第２映像信号を補正しうる。

また、第１映像及び第２映像が撮影された時の映像の特性のカメラパラメータがさらに受信される場合には、映像信号補正部１２０は、カメラパラメータに基づいて第１映像信号及び第２映像信号を補正しうる。映像信号の特性を補正する方法は、前述したように受信される第１映像信号及び第２映像信号の映像の特性を利用する方法で説明したように多様な方法を利用して行える。

一方、図１には、第１映像信号及び第２映像信号が受信されて、２個の映像信号の映像の特性が均等になるように補正する方法について説明した。しかし、受信される映像信号の数は３個以上であり、３個以上の複数の映像信号が入力されても、本発明による映像信号補正部１２０は、入力される映像信号の差を無くし、映像の特性を均等にするために複数の映像信号の映像の特性が均等になるように補正しうる。

図２は、本発明の他の実施形態による立体映像信号の処理装置の構成を示すブロック図である。

本発明の他の実施形態による映像信号の処理装置２００は、図１に示した映像信号処理装置１００に比べて映像信号評価部２２０をさらに備え、第１映像信号と第２映像信号との差が所定の限界値を超える場合に、第１映像信号と第２映像信号とを補正する。疲労度に対する所定の限界値は、映像信号の処理装置２００の特性により試験によって決定されて既保存の固定値であるか、修正されうる値であり、またはユーザによってユーザインターフェースを通じて調整されうる値でありうる。

立体映像信号の処理装置２００の動作を説明すれば、まず、映像信号検出部２１０は、第１映像信号と第２映像信号との映像の特性の差を検出する。それにより、映像信号評価部２２０は、映像信号検出部２１０から検出される映像の特性の差を入力値とする疲労度関数を利用して疲労度を計算する。

疲労度関数は、次のような式で表せる。

Ｆｕｎｃｔｉｏｎ（疲労度）＝α×明暗対比差＋β×輝度差＋…＋γ×倍率差
すなわち、疲労度は、映像の特性の要素についての第１映像信号と第２映像信号との差にそれぞれ所定の係数を乗算し、乗算されたそれぞれの値を合算して計算されうる。その後、計算された疲労度を所定の疲労度限界値、例えば、“ａ”と比較して第１映像信号及び第２映像信号を補正するか否かを評価する。映像信号補正部２３０は、映像信号評価部２２０による評価に基づいて、映像の特性が相互均等になるように第１映像信号または第２映像信号を補正する。

映像信号補正部２３０は、図１の映像信号補正部１２０と同様に受信される第１映像信号及び第２映像信号についての映像の特性、テストパターンの比較、またはカメラパラメータを利用して、第１映像信号及び第２映像信号の映像の特性が均等になるように補正しうる。以下では、映像の特性のうち明暗対比及び輝度について、第１映像信号と第２映像信号との差を補正するための立体映像信号の処理装置２００の動作について説明する。

映像信号検出部２１０から第１映像信号及び第２映像信号の明暗対比の差が検出されて、明暗対比差についての情報が映像信号評価部２２０に入力されれば、映像信号評価部２２０は、明暗対比の差を所定の明暗対比の差の限界値、例えば、“ｂ”と比較する。映像信号評価部２２０は、明暗対比の差が所定の明暗対比の差の限界値“ｂ”以上と評価すれば、映像信号補正部２３０は、第１映像信号と第２映像信号との明暗対比レベルを均等に補正する。

一方、映像信号検出部２１０から第１映像信号及び第２映像信号の輝度の差が検出され、輝度差についての情報が映像信号評価部２２０に入力されれば、映像信号評価部２２０は、輝度の差を所定の輝度の差の限界値“ｃ”と比較する。映像信号評価部２２０は、輝度の差が所定の輝度の差の限界値“ｃ”以上と評価すれば、映像信号補正部２３０は、第１映像信号と第２映像信号との輝度のレベルを均等に補正する。

所定の明暗対比差についての限界値“ｂ”及び所定の輝度の差の限界値“ｃ”も、映像信号処理装置２００の特性により試験によって決定されて、既保存の固定値であるか、修正されうる値であり、またはユーザによってユーザインターフェースを通じて調整されうる値でありうる。

図５は、本発明の一実施形態によるユーザインターフェースを利用して立体映像信号を補正するための立体映像信号の処理装置の構成を示すブロック図である。図５に示した立体映像処理装置５００は、ユーザによって入力される第１映像信号及び第２映像信号の補正に反映される補正レベル値を入力されて、ユーザが所望の立体映像を表示しうる。このための立体映像処理装置５００は、映像信号検出部５１０、映像信号評価部５２０及び映像信号補正部５３０以外にＯＳＤ（オン スクリーン ディスプレイ）制御部５４０、ＯＳＧ（オン スクリーン グラフィック）提供部５５０及びディスプレイ部５６０をさらに備える。

ＯＳＤ制御部５４０は、映像信号の特性についての補正レベル値をユーザから入力されるために、補正レベル値の範囲を表す補正レベルを提供し、ユーザによって映像信号の特性についての補正レベル値を入力される。ＯＳＧ提供部５５０は、図６に示したように、ＯＳＤ制御部５４０が提供する補正レベルを文字及び／またはグラフィック型でユーザが認識可能に提供する。

図６は、本発明の一実施形態によるオンスクリーングラフィック機能を提供するディスプレイ画面を示す図である。図６には、ＯＳＧ提供部５５０が輝度及び明暗対比の補正レベルを提供することが示されているが、ＯＳＧ提供部５５０は、ＯＳＤ制御部５４０の制御によって他の映像の特性、例えば、カラー、鮮明度、幾何学的歪曲、倍率などの補正レベルをグラフィック型で提供できる。

立体映像処理装置５００の動作を参照するに、まず、映像信号検出部５１０が第１映像信号と第２映像信号との映像の特性の差を検出する。それにより、映像信号評価部５２０は、映像信号検出部５１０から検出される映像の特性の差を利用して疲労度を計算し、計算された疲労度を所定の疲労度限界値と比較して第１映像及び第２映像信号を補正するか否かを評価する。

映像信号評価部５２０が計算された疲労度が所定の疲労度限界値以上である場合、ＯＳＤ制御部５５０は、ＯＳＧ提供部５６０を制御して第１映像信号及び第２映像信号が補正される必要があるという情報を含むメッセージ及び補正レベル値の範囲を表す補正レベルを提供しうる。

その後、ＯＳＤ制御部５４０は、ユーザから映像信号の特性についての補正レベル値が入力されたか否かを確認する。ユーザによってＯＳＤ制御部５４０に色々な映像の特性についての補正レベル値が入力されれば、ＯＳＤ制御部５４０は、その補正レベル値を映像信号補正部５３０に伝達する。したがって、映像信号補正部５３０は、伝えられた補正レベル値に基づいて第１映像信号及び第２映像信号を補正しうる。ユーザから補正レベル値が入力されていない場合には、図１及び図２を参照して説明したような多様な実施形態によって、第１映像信号及び第２映像信号についての映像の特性が均等になるように補正されうる。

図７は、本発明の他の実施形態による立体映像信号の処理装置の構成を示すブロック図である。

本発明の一実施形態による立体映像信号の処理装置７００は、映像信号等化部７１０、視差推定／調整部７２０、及び映像合成部７３０を備える。映像信号等化部７１０は、図１及び２で説明した立体映像信号の処理装置１００,２００または図６の立体映像信号の処理装置５００でディスプレイ部５６０が除外された構成要素を含んで構成されうる。

映像信号等化部７１０は、前述した本発明の多様な実施形態によって受信される第１映像信号及び第２映像信号を、第１映像信号と第２映像信号との間の映像特性が相互均等になるように補正する。視差推定／調整部７２０で映像の特性が均等になるように補正された第１映像信号または第２映像信号を利用して、第１映像信号と第２映像信号との視差が推定され、推定された視差が調整されうる。視差が調整された第１映像及び第２映像は、映像合成部７３０で合成されて立体映像が出力される。

このように、立体映像信号の処理装置７００は、第１映像信号と第２映像信号との間の映像特性が相互均等になるように補正して視差推定及び調整を行える。したがって、視差推定過程で発生する推定エラーを減少させ、表示される立体映像の立体感を向上させつつ、眼の疲労感を減らしうる。

図８は、本発明の一実施形態による立体映像の処理方法を示すフローチャートである。

受信される第１映像信号と第２映像信号との映像の特性差を検出する（Ｓ８１０）。映像の特性の差は、第１映像信号と第２映像信号との明暗対比、カラー、輝度、倍率、鮮明度及び幾何学的歪曲度のうち少なくとも一つにおける差を含みうる。第１映像信号及び第２映像信号それぞれの映像の特性が相互均等になるように、第１映像信号または第２映像信号を補正する（Ｓ８２０）。

補正された第１映像及び第２映像を合成して立体映像を出力する（Ｓ８３０）。Ｓ８２０とＳ８３０との間に、補正された第１映像信号または第２映像信号を利用して第１映像信号と第２映像信号との視差を推定し、推定された視差を補正するステップをさらに含み、この場合、Ｓ８３０で補正された視差に基づいて、視差が補正された第１映像及び第２映像を合成して立体映像を出力しうる。

図９は、本発明の他の実施形態による立体映像信号の処理方法を示すフローチャートである。

受信される第１映像信号と第２映像信号との映像の特性差を検出する（Ｓ９１０）。検出される映像の特性差を利用して疲労度を計算する（Ｓ９２０）。疲労度は、前記数式１のような疲労度関数を利用して計算しうる。

計算された疲労度を所定の疲労度限界値と比較して、第１映像信号及び第２映像信号を補正するか否かを評価する（Ｓ９３０）。計算された疲労度が所定の疲労度限界値“ａ”より小さい場合には、受信された第１映像信号と第２映像信号とを合成して３Ｄ立体映像を出力する（Ｓ９５０）。計算された疲労度が所定の疲労度限界値“ａ”以上である場合には、映像の特性が相互均等になるように第１映像信号または第２映像信号を補正し（Ｓ９４０）、補正された第１映像信号及び第２映像信号を合成して３Ｄ立体映像を出力する（Ｓ９５０）。

図１０は、図９に示した立体映像信号の処理方法をさらに詳細に示すフローチャートである。図１０は、図９のフローチャートのうち立体映像信号の補正ステップであるＳ９４０をさらに詳細に表している。まず、受信される第１映像信号と第２映像信号との映像の特性差を検出する（Ｓ１０１０）。検出される映像の特性差を利用して疲労度を計算する（Ｓ１０２０）。

計算された疲労度を所定の疲労度限界値“ａ”と比較して、第１映像及び第２映像信号を補正するか否かを評価する（Ｓ１０３０）。計算された疲労度が所定の疲労度限界値より小さい場合には、立体映像信号を補正する必要なしに第１映像信号及び第２映像信号を合成して立体映像を出力する（Ｓ１０８０）。

しかし、計算された疲労度が所定の疲労度限界値以上である場合には、検出された映像の特性のうち、第１映像信号及び第２映像信号の明暗対比の差と、第１映像信号及び第２映像信号の明暗対比の差の限界値“ｂ”とを比較する（Ｓ１０４０）。検出された明暗対比の差が明暗対比差の限界値“ｂ”以上である場合には、第１映像信号と第２映像信号との明暗対比レベルが相互均等になるように補正する（Ｓ１０５０）。

検出された明暗対比の差が明暗対比差の限界値“ｂ”より小さい場合には、検出された映像の特性のうち、第１映像信号及び第２映像信号の輝度の差と、第１映像信号及び第２映像信号の輝度の差の限界値“ｃ”とを比較する（Ｓ１０６０）。検出された輝度値の差が輝度差の限界値“ｃ”以上である場合には、第１映像信号と第２映像信号との輝度レベルが相互均等になるように補正する（Ｓ１０７０）。図１０には、第１映像信号及び第２映像信号の明暗対比及び輝度を補正するステップについてのみ示されているが、Ｓ１０７０以後に第１映像信号及び第２映像信号の他の映像の特性、例えば、カラー、鮮明度、幾何学的歪曲度、倍率の値が第１映像信号及び第２映像信号で均等になるように補正されうる。

図１１は、本発明のさらに他の実施形態による立体映像信号の補正方法を示すフローチャートである。

受信される第１映像信号と第２映像信号との映像の特性の差を検出する（Ｓ１１１０）。検出される映像の特性の差を利用して疲労度を計算する（Ｓ１１２０）。計算された疲労度を所定の疲労度限界値と比較して、第１映像及び第２映像信号を補正するか否かを評価する（Ｓ１１３０）。計算された疲労度が所定の疲労度限界値“ａ”以上である場合には、ユーザインターフェースを通じて映像の特性の補正レベル値が入力されるか否かを確認する（Ｓ１１４０）。

映像の特性の補正レベル値が入力された場合には、入力された補正レベル値を反映して第１映像信号及び第２映像信号を補正する（Ｓ１１５０）。補正レベル値が入力されていない場合には、前述した方法によって第１映像信号及び第２映像信号を補正する（Ｓ１１６０）。第１映像信号及び第２映像信号の映像の特性が相互均等になるように補正されれば、第１映像信号及び第２映像信号を合成して３Ｄ立体映像信号を出力する（Ｓ１１７０）。

本発明による立体映像の処理方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現されうる。前記プログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）形態に具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されかつ実行されうる。

本発明は、図面に示した実施形態を参照して説明されたが、それは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。

本発明は、立体映像信号処理関連の技術分野に好適に適用可能である。

本発明の一実施形態による立体映像信号の処理装置の構成を示すブロック図である。 本発明の他の実施形態による立体映像信号の処理装置の構成を示すブロック図である。 本発明の一実施形態による明暗対比差の補正方法を示す図である。 本発明の一実施形態による輝度差の補正方法を示す図である。 本発明の一実施形態によるユーザインターフェースを利用して立体映像信号を補正するための立体映像信号の処理装置の構成を示すブロック図である。 本発明の一実施形態によるオンスクリーングラフィック機能を提供するディスプレイ画面を示す図である。 本発明の他の実施形態による立体映像信号の処理装置の構成を示すブロック図である。 本発明の一実施形態による立体映像の処理方法を示すフローチャートである。 本発明の他の実施形態による立体映像信号の処理方法を示すフローチャートである。 図９に示した立体映像信号の処理方法をさらに詳細に示すフローチャートである。 本発明のさらに他の実施形態による立体映像信号の処理方法を示すフローチャートである。

符号の説明

１００ 立体映像信号処理装置
１１０ 映像信号検出部
１２０ 映像信号補正部
１２２ 第１映像信号補正部
１２４ 第２映像信号補正部

Claims (37)

1. 受信される第１映像信号と第２映像信号との映像の特性の差を検出する映像信号検出部と、
   前記第１映像信号及び前記第２映像信号それぞれの映像の特性が相互均等になるように、前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正する映像信号補正部とを備えることを特徴とする立体映像信号の処理装置。
2. 前記映像の特性の差は、
   前記第１映像信号と前記第２映像信号との明暗対比、カラー、輝度、倍率、鮮明度及び幾何学的歪曲度のうち少なくとも一つにおける差を含むことを特徴とする請求項１に記載の立体映像信号の処理装置。
3. 前記補正された第１映像信号及び第２映像信号を合成して立体映像を出力する映像合成部をさらに備えることを特徴とする請求項１に記載の立体映像信号の処理装置。
4. 前記補正された第１映像信号または第２映像信号を利用して、第１映像信号と第２映像信号との視差を推定し、前記推定された視差を調整する視差推定及び調整部をさらに備えることを特徴とする請求項１に記載の立体映像信号の処理装置。
5. 前記映像信号補正部は、
   前記受信される第１映像信号及び前記第２映像信号のうち少なくとも一つにおける映像の特性に基づいて、前記検出された第１映像信号及び第２映像信号の映像の特性を均等にするために、
   前記第１映像信号の特性に基づいて前記第２映像信号を補正するか、前記第２映像信号の特性に基づいて前記第１映像信号を補正するか、または前記第１映像信号及び前記第２映像信号の映像の特性の平均値に基づいて前記第１映像信号及び前記第２映像信号を補正することを特徴とする請求項１に記載の立体映像信号の処理装置。
6. 前記映像信号検出部は、
   前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに、前記映像の特性のうち明暗対比に対するヒストグラムを生成し、前記生成されたヒストグラム分布を利用して、前記第１映像信号と前記第２映像信号との明暗対比の差を検出することを特徴とする請求項１に記載の立体映像信号の処理装置。
7. 前記映像信号補正部は、
   前記第１映像または前記第２映像のうち明暗対比がさらに小さい映像で、明るい部分はさらに明るく補正し、暗い部分はさらに暗く補正して明暗対比を大きくする方式によって、前記第１映像信号と前記第２映像信号との明暗対比レベルを均等にすることを特徴とする請求項５に記載の立体映像信号の処理装置。
8. 前記映像信号検出部は、
   前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに、前記映像の特性のうち輝度に対する平均値を計算し、前記計算されたそれぞれの平均値を利用して、前記第１映像信号と前記第２映像信号との輝度差を検出することを特徴とする請求項１に記載の立体映像信号の処理装置。
9. 前記映像信号補正部は、
   前記輝度の低い第１映像または第２映像の輝度レベルを全体的に高める方式によって、前記第１映像信号及び前記第２映像信号それぞれの輝度レベルを均等にすることを特徴とする請求項８に記載の立体映像信号の処理装置。
10. 前記映像信号検出部は、
    前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに、前記映像の特性のうちカラーのヒストグラムを生成し、前記生成されたヒストグラム分布を利用して、前記第１映像信号と第２映像信号とのカラー差を検出することを特徴とする請求項１に記載の立体映像信号の処理装置。
11. 前記映像信号補正部は、
    前記第１映像信号及び前記第２映像信号が放送信号として受信される場合、前記放送信号に含まれて伝送された前記第１映像信号及び前記第２映像信号に対するテストパターンを比較して、前記テストパターンが均等になるように前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正することを特徴とする請求項１に記載の立体映像信号の処理装置。
12. 前記映像信号補正部は、
    前記第１映像信号及び前記第２映像信号に対するテストパターンを生成し、前記生成されたテストパターンが均等になるように前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正することを特徴とする請求項１に記載の立体映像信号の処理装置。
13. 前記映像信号補正部は、
    前記第１映像及び前記第２映像が撮影された時の映像の特性についてのカメラパラメータがさらに受信される場合、前記カメラパラメータに基づいて前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正することを特徴とする請求項１に記載の立体映像信号の処理装置。
14. 前記映像信号検出部から検出される前記映像の特性の差を利用して疲労度を計算し、前記計算された疲労度を所定の疲労度限界値と比較して、前記第１映像信号及び前記第２映像信号を補正するか否かを評価する映像信号評価部をさらに備え、
    前記映像信号補正部は、前記映像信号評価部による評価に基づいて、前記映像の特性が相互均等になるように第１映像信号及び前記第２映像信号のうち少なくとも一つを補正することを特徴とする請求項１に記載の立体映像信号の処理装置。
15. 前記映像信号検出部から前記第１映像信号と前記第２映像信号との明暗対比の差が検出され、前記映像信号評価部が前記明暗対比の差を所定の明暗対比の差の限界値と比較して、前記明暗対比の差が前記所定の明暗対比の差の限界値以上と評価すれば、
    前記映像信号補正部は、前記映像信号評価部による評価に基づいて、前記第１映像信号と前記第２映像信号との明暗対比レベルを均等に補正することを特徴とする請求項１４に記載の立体映像信号の処理装置。
16. 前記映像信号検出部から前記第１映像信号と前記第２映像信号との輝度差が検出され、前記映像信号評価部が前記輝度の差を所定の輝度の差の限界値と比較して、前記輝度の差が前記所定の輝度の差の限界値以上と評価すれば、
    前記映像信号補正部は、前記映像信号評価部による評価に基づいて、前記第１映像信号と前記第２映像信号との輝度のレベルを均等に補正することを特徴とする請求項１４に記載の立体映像信号の処理装置
17. 前記映像信号の特性に対する補正レベル値をユーザから入力されるために前記補正レベル値に対する範囲を表す補正レベルを提供し、ユーザによって前記映像信号の特性に対する補正レベル値を入力されるオンスクリーンディスプレイ制御部をさらに備え、
    前記映像信号補正部は、前記入力された補正レベル値に基づいて、前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正することを特徴とする請求項１４に記載の立体映像信号の処理装置。
18. 前記オンスクリーンディスプレイ制御部が提供する前記補正レベルを文字及び／またはグラフィック型に提供するオンスクリーングラフィック提供部をさらに備えることを特徴とする請求項１４に記載の立体映像信号の処理装置。
19. 受信される第１映像信号と前記第２映像信号との映像の特性の差を検出するステップと、
    前記第１映像信号及び前記第２映像信号それぞれの映像の特性が相互均等になるように、前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップとを含むことを特徴とする立体映像信号の処理方法。
20. 前記映像の特性の差は、
    前記第１映像信号と前記第２映像信号との明暗対比、カラー、輝度、倍率、鮮明度及び幾何学的歪曲度のうち少なくとも一つにおける差を含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
21. 前記補正された第１映像信号及び第２映像信号を合成して立体映像を出力するステップをさらに含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
22. 前記補正された第１映像信号または第２映像信号を利用して第１映像信号と第２映像信号との視差を推定し、前記推定された視差を調整するステップをさらに含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
23. 前記第１映像信号または前記第２映像信号を補正するステップは、
    前記受信される第１映像信号及び前記第２映像信号のうち少なくとも一つについての映像の特性に基づいて、前記検出された第１映像信号及び第２映像信号に対する映像の特性を均等にするために、
    前記第１映像信号の特性に基づいて前記第２映像信号を補正するか、前記第２映像信号の特性に基づいて前記第１映像信号を補正するか、または前記第１映像信号及び前記第２映像信号の映像の特性の平均値に基づいて前記第１映像信号及び前記第２映像信号を補正するステップを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
24. 前記映像の特性の差を検出するステップは、
    前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに前記映像の特性のうち明暗対比に対するヒストグラムを生成するステップと、
    前記生成されたヒストグラム分布を利用して前記第１映像信号と第２映像信号との明暗対比についての差を検出するステップとを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
25. 前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップは、
    前記第１映像または第２映像のうち明暗対比が小さい映像で、明るい部分はさらに明るく補正し、暗い部分はさらに暗く補正して、明暗対比を大きくする方式によって前記第１映像信号と前記第２映像信号との明暗対比レベルを均等にすることを特徴とする請求項１９に記載の立体映像信号補正方法。
26. 前記映像の特性の差を検出するステップは、
    前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに、前記映像の特性のうち輝度の平均値を計算するステップと、
    前記計算された平均値を利用して前記第１映像信号及び前記第２映像信号の輝度の差を検出するステップとを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
27. 前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップは、
    前記輝度が低い第１映像または第２映像の輝度レベルを全体的に高める方式によって、前記第１映像信号及び前記第２映像信号それぞれの輝度レベルを均等にするステップを含むことを特徴とする請求項２６に記載の立体映像信号の処理方法。
28. 前記映像の特性の差を検出するステップは、
    前記第１映像信号及び前記第２映像信号に対するそれぞれのフレームごとに、前記映像の特性のうちカラーのヒストグラムを生成するステップと、
    前記生成されたヒストグラム分布を利用して、前記第１映像信号と第２映像信号とのカラー差を検出するステップとを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
29. 前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップは、
    前記第１映像信号及び前記第２映像信号が放送信号として受信される場合、前記放送信号に含まれて伝送された前記第１映像信号及び前記第２映像信号に対するテストパターンを比較して、前記テストパターンが均等になるように前記第１映像信号及び前記第２映像信号を補正するステップを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
30. 前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップは、
    前記第１映像信号及び前記第２映像信号に対するテストパターンを生成するステップと、
    前記生成されたテストパターンが均等になるように前記第１映像信号及び前記第２映像信号を補正するステップとを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
31. 前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップは、
    前記第１映像及び前記第２映像が撮影された時の映像の特性についてのカメラパラメータを受信するステップと、
    前記カメラパラメータに基づいて前記第１映像信号及び前記第２映像信号を補正するステップとをさらに含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
32. 前記検出される前記映像の特性の差を利用して疲労度を計算するステップと、
    前記計算された疲労度を所定の疲労度限界値と比較して、前記第１映像信号及び前記第２映像信号を補正するか否かを評価するステップとをさらに含み、
    前記補正するステップは、
    前記評価に基づいて前記映像の特性が相互均等になるように、第１映像信号または前記第２映像信号を補正するステップを含むことを特徴とする請求項１９に記載の立体映像信号の処理方法。
33. 前記検出するステップは、前記映像信号検出部から前記第１映像信号と前記第２映像信号との明暗対比の差を検出するステップを含み、
    前記評価するステップは、前記明暗対比の差を所定の明暗対比の差の限界値と比較して、前記明暗対比の差が前記所定の明暗対比の差の限界値以上であるか否かを評価するステップを含み、
    前記補正するステップは、前記評価に基づいて前記第１映像信号と前記第２映像信号との明暗対比レベルが均等になるように補正するステップを含むことを特徴とする請求項３２に記載の立体映像信号処理方法。
34. 前記検出するステップは、前記第１映像信号と前記第２映像信号との輝度の差を検出するステップを含み、
    前記評価するステップは、前記映像信号評価部が前記輝度の差を所定の輝度の差の限界値と比較して、前記輝度の差が前記所定の輝度の差の限界値以上であるか否かを評価するステップを含み、
    前記補正するステップは、前記評価に基づいて前記第１映像信号と前記第２映像信号との輝度のレベルを均等に補正するステップを含むことを特徴とする請求項３２に記載の立体映像信号の処理方法
35. 前記映像信号の特性に対する補正レベル値をユーザから入力されるために、前記補正レベル値の範囲を表す補正レベルを提供するステップと、
    ユーザによって前記映像信号の特性についての補正レベル値を入力されるステップとをさらに含み、
    前記補正ステップは、前記入力された補正レベル値に基づいて前記第１映像信号及び前記第２映像信号のうち少なくとも一つを補正するステップを含むことを特徴とする請求項３２に記載の立体映像信号の処理方法。
36. 前記補正レベルを提供するステップは、
    前記補正レベルを文字及び／またはグラフィック型に提供することを特徴とする請求項３５に記載の立体映像信号の処理方法。
37. 請求項１９ないし３６のうち何れか一項に記載の立体映像の処理方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images