JP2012231254A - 立体映像生成装置及び立体映像生成方法 - Google Patents
立体映像生成装置及び立体映像生成方法 Download PDFInfo
- Publication number
- JP2012231254A JP2012231254A JP2011097474A JP2011097474A JP2012231254A JP 2012231254 A JP2012231254 A JP 2012231254A JP 2011097474 A JP2011097474 A JP 2011097474A JP 2011097474 A JP2011097474 A JP 2011097474A JP 2012231254 A JP2012231254 A JP 2012231254A
- Authority
- JP
- Japan
- Prior art keywords
- video
- digital watermark
- information
- image
- depth data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】映像中に透かし情報として埋め込まれた奥行きデータをもとに立体映像を生成する方法および装置を提供する。
【解決手段】電子透かしを有する映像を取得する映像取得手段と、この映像から電子透かし情報を取得する情報取得手段と、取得した前記電子透かし情報から映像の奥行きデータを取得する奥行きデータ取得手段と、前記映像の奥行きデータから立体映像を作成する映像作成手段とを備えた立体映像生成装置。また、電子透かしを有する映像を取得し、この映像から電子透かし情報を取得し、取得された前記電子透かし情報から映像の奥行きデータを取得し、前記映像の奥行きデータから立体映像を作成する立体映像生成方法。
【選択図】 図2
【解決手段】電子透かしを有する映像を取得する映像取得手段と、この映像から電子透かし情報を取得する情報取得手段と、取得した前記電子透かし情報から映像の奥行きデータを取得する奥行きデータ取得手段と、前記映像の奥行きデータから立体映像を作成する映像作成手段とを備えた立体映像生成装置。また、電子透かしを有する映像を取得し、この映像から電子透かし情報を取得し、取得された前記電子透かし情報から映像の奥行きデータを取得し、前記映像の奥行きデータから立体映像を作成する立体映像生成方法。
【選択図】 図2
Description
本発明の実施形態は、電子透かしなどを検出して用いる立体映像生成装置及び立体映像生成方法に関する。
従来の立体映像表示装置としては、平面画像を立体的にみる手段として、左右スリット状の画像を交互に張り合わせた画像とレンチキュラーレンズを組み合わせ、左眼で左眼用のスリット画像を、右眼で右眼用のスリット画像を見るようにした装置や、右眼と左眼用の平面画像を周期的に画面に投影し、これを液晶シャッター付きメガネや偏光レンズメガネで、左眼と右眼で交互に観賞する装置等がある。
しかし、これら装置は、ディスプレイに表示された平面画像を肉眼で見る際、前者では、視点の位置により画像が不鮮明になること、後者では画像が周期的に変動するためチラつく、等の問題があった。また、これら装置は、立体的な画像を作成する際に、特殊な器具が必要であり、立体画像を簡易に構成することが困難であった。
例えば通常、印刷された絵本あるいは表示された画像表示面のような平面画像の場合は、観察される平面画像は肉眼では肉眼なりの見え方であり、平面画像をディジタル化して専用の装置を用いて見て立体的に見えるような装置はなかった。
対して特許文献1に開示されている方法は、映像の下位ビットに奥行きデータを割り振る方法である。しかしながら、これも一つの方法であるが、透かし情報として奥行きデータを用いた方法の要望がある。
本発明の実施の形態は、映像中に透かし情報として埋め込まれた奥行きデータをもとに立体映像を生成する方法および装置を提供することを目的とする。
上記課題を解決するために、実施形態によれば立体映像生成装置は、電子透かしを有する映像を取得する映像取得手段と、この映像から電子透かし情報を取得する情報取得手段と、取得した前記電子透かし情報から映像の奥行きデータを取得する奥行きデータ取得手段と、前記映像の奥行きデータから立体映像を作成する映像作成手段とを備える。
以下、一実施形態を図1乃至図12を参照して説明する。
電子透かし(digital watermarking)は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング(データハイディング)技術の一種である。データ隠蔽技術一般を総称したこの情報ハイディング技術は、大まかには電子透かしと後述のステガノグラフィに関するものに大別できる。電子透かしとステガノグラフィとの違いは、埋め込む情報がコンテンツに関係があるかないかという点にある。電子透かしはコンテンツに関係がある情報が埋め込まれるが、ステガノグラフィは秘匿通信が目的であり、コンテンツはあくまでも情報を隠すものでしかない。ステガノグラフィ(steganography)とは、データ隠蔽技術の一つであり、データを他のデータに埋め込む技術のこと、あるいはその研究を指す。クリプトグラフィ(cryptography)がメッセージの内容を読めなくする手段を提供するのに対して、ステガノグラフィは存在自体を隠す点が異なる。
電子透かし(digital watermarking)は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング(データハイディング)技術の一種である。データ隠蔽技術一般を総称したこの情報ハイディング技術は、大まかには電子透かしと後述のステガノグラフィに関するものに大別できる。電子透かしとステガノグラフィとの違いは、埋め込む情報がコンテンツに関係があるかないかという点にある。電子透かしはコンテンツに関係がある情報が埋め込まれるが、ステガノグラフィは秘匿通信が目的であり、コンテンツはあくまでも情報を隠すものでしかない。ステガノグラフィ(steganography)とは、データ隠蔽技術の一つであり、データを他のデータに埋め込む技術のこと、あるいはその研究を指す。クリプトグラフィ(cryptography)がメッセージの内容を読めなくする手段を提供するのに対して、ステガノグラフィは存在自体を隠す点が異なる。
一方では電子透かしは、ステガノグラフィの応用から生まれた技術であり、従来から存在する目に見える透かし(ウォーターマーク)とは別のものである。電子透かしには知覚可能型と知覚困難型の2つがあるが、通常、電子透かしと言えば、後者の知覚困難型電子透かしのことを指す。
ここでは、「電子透かし」とは「見た目には分からないが、検出ソフトを使用することによりコンテンツに埋め込まれた情報を取り出すことができる技術」を言う。情報を埋め込むコンテンツには、テキスト、画像、音声、動画、プログラムなどがあり、コンテンツに埋め込む情報は、作者名、課金情報、コピー可能回数といった著作権関連の情報が多い。ここで提案する特許はコンテンツに埋め込む情報を映像の奥行きデータ(視差を付加する程度)に利用した技術である。
埋め込むデータは、平文または秘密文といい、埋め込む先のデータをカバーデータという。そして秘密文を埋め込んだカバーデータは、ステゴオブジェクト(stego-object)と呼ぶ。
さて図1は映像を取得し、奥行きデータを電子透かしとして映像データに付加する際のシステム構成図である。撮像装置1は、映像を取得する時、映像コンテンツと同時に奥行き度を検出する。奥行き埋め込み装置2(以下、電子透かし埋め込み装置2)は、映像データと奥行きデータより、映像データの電子透かし情報の一つとして奥行きデータを埋め込む。これにより電子透かし情報付映像データ(埋め込み済み画像信号17)を生成することができる。
図1の例として、カメラで映像を取得する際に使用することができる。例えばオブジェクトOをカメラで撮影する際に、2D映像に加え映像の奥行情報も取得する。静止画、動画とも同様である。
また、異なる例として、レコーダ、プレイヤー、ゲーム機などで、もともと2D画質の映像の奥行き度をリアルタイムに検出する。検出には、例えば、現在発売されているテレビジョンセットに搭載されている2D3D変換機能を使用する。奥行きデータを映像コンテンツに電子透かしとして追加するために使用する。
もともと3D画質の映像についても、奥行きデータを算出し2D映像に変換した際に電子透かし情報として付加することも可能である。
更に、TV局から送信された2D映像データに映像データの奥行き情報を追加した電子透かし情報を付加することができる。更に印刷データについても電子透かしの技術を応用し、印刷した絵の奥行情報を付加することができる。
更に、TV局から送信された2D映像データに映像データの奥行き情報を追加した電子透かし情報を付加することができる。更に印刷データについても電子透かしの技術を応用し、印刷した絵の奥行情報を付加することができる。
映像の動きの具合に応じて電子透かしの情報量を変えても良い。例えば、映像の動きが小さいときは電子透かし情報を減らし映像の品質を重視の2D重視モード、映像の動きが大きいときは逆に3D重視モードで動作させる。
図2は電子透かし情報付映像データを取得し、電子透かし情報から映像の奥行きデータを算出し、映像に立体感をつけて表示する際のテレビジョンセット等のシステム構成図である。外部のアンテナAから映像取得装置5は電子透かし情報付映像データを取得する。電子透かし情報取得装置6(以下、電子透かし検出装置6)は、映像データと電子透かし情報とを分離する。奥行きデータ取得装置7は電子透かし情報から映像の奥行き情報を取得する。映像作成装置8は映像の奥行きデータから立体映像を作成する。映像の奥行きデータから立体映像を作成する技術は、例えば、上記テレビジョンセットに搭載されている2D3D変換機能を利用する。
表示装置9は、テレビジョンセット(以下、TV)内外の液晶パネルなどを用いて構成することができる。
図2の例としてTVに本機能を搭載し使用することができる。TV局から受信した電子透かし情報付2D映像データを受信する場合がある。更に外部入力として接続するプレイヤー、レコーダ、ゲーム機などの電子透かし情報付映像データを入力する場合がある。
図2の例としてTVに本機能を搭載し使用することができる。TV局から受信した電子透かし情報付2D映像データを受信する場合がある。更に外部入力として接続するプレイヤー、レコーダ、ゲーム機などの電子透かし情報付映像データを入力する場合がある。
また、異なる例として、印刷物をカメラで撮影し、その印刷物に埋め込まれている電子透かし情報を奥行情報に使用することもできる。
更に、立体映像用眼鏡装置に本機能を搭載し、電子透かし情報を埋め込んだ印刷物やTV映像を視聴した際、眼鏡装置で電子透かし情報を解析し、更に立体映像を作成し、眼鏡装置を使用しているユーザに立体映像を提供することも可能である。
更に、立体映像用眼鏡装置に本機能を搭載し、電子透かし情報を埋め込んだ印刷物やTV映像を視聴した際、眼鏡装置で電子透かし情報を解析し、更に立体映像を作成し、眼鏡装置を使用しているユーザに立体映像を提供することも可能である。
(電子透かし検出装置の基本構成)
次に、図3を用いて図1に示した電子透かし埋め込み装置2に対応した電子透かし検出装置6の基本構成について説明する。
図3の電子透かし検出装置には、図1に示した電子透かし埋め込み装置2によって生成された埋め込み済み画像信号17が記録媒体あるいは伝送媒体を介して、入力の埋め込み済み画像信号20として与えられる。この埋め込み済み画像信号20は3分岐され、特定周波数成分抽出部21と特徴量抽出部24及び相関演算器25の一方の入力に与えられる。
次に、図3を用いて図1に示した電子透かし埋め込み装置2に対応した電子透かし検出装置6の基本構成について説明する。
図3の電子透かし検出装置には、図1に示した電子透かし埋め込み装置2によって生成された埋め込み済み画像信号17が記録媒体あるいは伝送媒体を介して、入力の埋め込み済み画像信号20として与えられる。この埋め込み済み画像信号20は3分岐され、特定周波数成分抽出部21と特徴量抽出部24及び相関演算器25の一方の入力に与えられる。
特定周波数成分抽出部21は、図1に示した電子透かし埋め込み装置2で用いられている図示せぬ特定周波数成分抽出部と同じHPFまたはBPFからなり、この特定周波数成分抽出部が図1では埋め込み前画像信号から抽出する周波数成分と同じ特定周波数成分を埋め込み済み画像信号20から抽出する。
特定周波数成分抽出部21から出力される特定周波数成分信号は、位相変換器22及び振幅変換器23によって位相と振幅が変換される。本実施形態では位相変換器22が前段、振幅変換器23が後段にそれぞれ配置されているが、逆に振幅変換器23が前段、位相変換器22が後段にそれぞれ配置されていてもよい。
位相変換器22は、特定周波数成分信号に対して予め定められた固有の位相変換量の位相変換を施すように構成される。具体的には、位相変換器22は後述するようにディジタル位相シフタによって実現され、図1に示した電子透かし埋め込み装置2で用いられている図示せぬ位相変換器が与える位相変換量(位相シフト量)と同じ位相変換量(位相シフト量)が与えられる。
振幅変換器23では、入力される特定周波数成分信号に対して、特徴量抽出部24で埋め込み済み画像信号20から抽出された特徴量、例えば画像の複雑度を表すアクティビィティに応じた係数が乗じられる。
位相変換器22及び振幅変換器23により位相及び振幅が変換された特定周波数成分信号は、相関演算器25の他方の入力に与えられ、埋め込み済み画像信号20との相関(より詳しくは相互相関)演算が行われ、埋め込まれた透かし情報26が検出される。すなわち、位相シフト量に対する相互相関値の変化を見た場合、位相変換器22の位相変換量に相当する位相シフト量の位置にピークが現れ、このピークの極性が透かし情報を表す。相互相関値のピークは、透かし情報に応じて正または負のいずれかの値をとり、例えば正の場合は透かし情報は“1”、負の場合は透かし情報は“0”と判定される。このようにして、相関演算器25から判定された透かし情報26が出力される。
図3の電子透かし検出装置を変形した実施形態としては、埋め込み済み画像信号20がスケーリングを受けた場合に適した構成としてもよい。埋め込み対象画像信号20がスケーリングを受けていると、特定周波数成分信号の位相シフト量が電子透かし埋め込み装置2において特定周波数成分信号に与えられた位相シフト量と異なった値になる。何らかの手段でこの位相シフト量の情報を位相変換器22に入力し用いるようにすればよい。
そこで、この実施形態においてはこの位相シフト量の情報に従って位相変換器22の位相シフト量が連続的あるいは段階的に制御される。これに伴い、相関演算器25の出力側に図示せぬ透かし情報推定器を配置すると、図5に示されるように相関演算器23から出力される相互相関値のピークが探索され、探索されたピークの極性から透かし情報が推定される。この例では相互相関値は正であるため、透かし情報は“1”と推定(判定)される。
図1の電子透かし埋め込み装置2において、例えば位相変換器として位相シフト量の異なる複数の位相シフタが用いられ、振幅変換器もそれぞれの位相シフタに対応して複数の振幅変換要素が用意されているとする。このような場合、図3の位相変換器22を複数の位相シフタで構成してもよいが、位相シフト量が可変の単一の位相シフタにより構成し、その位相シフト量を位相シフト量の情報に従って変化させながら、相関演算器25から出力される相互相関値のピークを透かし図示せぬ情報推定器によって探索してもよい。この場合、例えば図6に示すように透かし情報が埋め込まれたときの位相シフタの位相シフト量に対応してピークを検出し、各々の透かし情報を推定することができる。
図4は、電子透かし埋め込み装置2の位相変換器による位相シフトの様子を示す図であり、この例では特定周波数成分信号が波形を保って単純に位相シフトされる。この位相変換器に透かし情報が入力される場合には、この位相変換器の位相変換量(位相シフト量)が透かし情報14に従って制御される。
(電子透かし検出装置の具体的構成例)
図9は、本発明にかかる電子透かし検出装置のより具体的な実施形態を示している。電子透かし検出装置の基本構成を示した図3との対応関係を説明すると、ハイパスフィルタ(HPF)41は特定周波数成分抽出部21に、n個の位相シフタ(PS)42−1〜42−nは位相変換器22に、n個の第1乗算器(MPY)43−1〜43−nは振幅変換器23に、アクティビティ計算回路44は特徴量抽出部24に、n個の第2乗算器(MPY)45−1〜45−n及び累積加算器46−1〜46−nは相関演算器25に、CCI推定器47は透かし情報推定器27にそれぞれ相当する。
図9は、本発明にかかる電子透かし検出装置のより具体的な実施形態を示している。電子透かし検出装置の基本構成を示した図3との対応関係を説明すると、ハイパスフィルタ(HPF)41は特定周波数成分抽出部21に、n個の位相シフタ(PS)42−1〜42−nは位相変換器22に、n個の第1乗算器(MPY)43−1〜43−nは振幅変換器23に、アクティビティ計算回路44は特徴量抽出部24に、n個の第2乗算器(MPY)45−1〜45−n及び累積加算器46−1〜46−nは相関演算器25に、CCI推定器47は透かし情報推定器27にそれぞれ相当する。
ハイパスフィルタ41から出力される特定周波数成分信号は、位相シフタ42−1〜42−nにより図7の位相シフタ32−1〜32−nのシフト量と同じ所定シフト量の位相シフトを受けた後、第1乗算器43−1〜43−nによってアクティビィティ計算回路44で求められたアクティビィティと乗算される。
第1乗算器43−1〜43−nからの出力信号は、第2乗算器45−1〜45−nによって埋め込み済み画像信号20と乗算され、乗算器45−1〜45−nの出力信号は累積加算器45−1〜46−nによって累積加算された後、CCI推定器47に入力され、透かし情報26(CCI)の各ビットが生成される。
(電子透かし埋め込み/検出装置の動作例1)
次に、図1の電子透かし埋め込み装置2において2ビットの透かし情報を埋め込み、図9の電子透かし検出装置でそれを検出する場合の具体的な動作例について、図10〜図12などを用いて説明する。
次に、図1の電子透かし埋め込み装置2において2ビットの透かし情報を埋め込み、図9の電子透かし検出装置でそれを検出する場合の具体的な動作例について、図10〜図12などを用いて説明する。
電子透かし埋め込み装置2において、図10(a)の埋め込み対象画像信号から、ハイパスフィルタによって図10(b)の特定周波数成分信号が抽出され、この特定周波数成分信号が二つの位相シフタによって予め定められた所定のシフト量だけ位相シフトされている。これらの位相シフト信号に対して、透かし情報14(CCI)の第0ビット、第1ビットを表現するファクタが排他的論理和回路または乗算器によってそれぞれ乗じられる。例えば、透かし情報14が“0”であれば−1が乗じられ、“1”であれば+1が乗じられる。図10(c)(d)に、透かし情報が(1,1)の場合の排他的論理和回路または乗算器から出力される位相シフト信号を示す。
さらに、位相シフト信号に対して必要に応じてアクティビティ計算回路により求められたアクティビィティが乗算器によって乗じられた後、加算器で埋め込み対象画像信号に加算されることにより、図10(e)の埋め込み済み画像信号17が生成される。図10(e)においては、実線が埋め込み済み画像信号17を示しており、破線で示す図10(a)の埋め込み対象画像信号及び図10(c)(d)の位相シフト信号を加算合成した波形となっている。
一方、図10のように透かし情報が埋め込まれた埋め込み済み画像信号17から図9の電子透かし検出装置において透かし情報を検出する場合には、まず図11(a)の埋め込み済み画像信号20(図10(e)の埋め込み済み画像信号17に対応する)から、ハイパスフィルタ41によって図11(b)の特定周波数成分信号が抽出される。埋め込み済み画像信号20に対してスケーリングが行われていない場合、位相シフタ42−1,42−2により図11(b)(c)のように電子透かし埋め込み装置2の位相シフタのシフト量と同じ所定のシフト量だけ位相シフトされる。
次に、図11(b)(c)の位相シフト信号に対して必要に応じて第1乗算器44−1,44−2によりアクティビィティが乗じられた後、図11(a)の埋め込み済み画像信号20が第2乗算器45−1,45−2によって乗じられ、さらに累積加算器46−1,46−2によって累積加算されることにより、両者の相互相関値がそれぞれ求められ、その相互相関値のピークから透かし情報が判定される。例えば、相互相関値のピークが正であれば、透かし情報は+1(“1”)、相互相関値のピークが負であれば、透かし情報は−1(“0”)と判定される。
一方、埋め込み済み画像信号20に対してスケーリングが行われている場合に対応するために、位相シフタ42−1,42−2の位相シフト量が制御されることによって、位相シフト量が探索される。すなわち、位相シフト量の制御に伴いCCI推定器47によって相互相関値のピークが探索され、そのピーク位置から透かし情報26が推定される。
例えば、埋め込み情報14(CCI)が(1,1)の場合、図12のように相互相関値の正のピークが原点(位相シフト量が零の点)以外に2箇所存在することにより、透かし情報が判定される。
また、透かし情報14(CCI)が(1,−1)の場合、図7のように相互相関値の正のピークが原点の近いところに存在し、負のピークが原点から正のピークより遠いところに存在することにより、透かし情報が判定される。
図8は電子透かし情報と奥行きデータの関係の例を示した図である。
図8(a)左図は、画面下部が手前にあり、画面中段までだんだんと奥行き感が増し、画面中段から上段までは奥である。この場合の奥行きデータの例を図8(a)右図に示す。また図8(b)左図はある物体が手前にある場合で、この場合の奥行きデータの例を図8(b)右図に示す。
図8(a)左図は、画面下部が手前にあり、画面中段までだんだんと奥行き感が増し、画面中段から上段までは奥である。この場合の奥行きデータの例を図8(a)右図に示す。また図8(b)左図はある物体が手前にある場合で、この場合の奥行きデータの例を図8(b)右図に示す。
奥行きデータは1ピクセルごとにデータを持つことが望ましいが、本技術では電子透かしを用いるため、それほど多くの情報を電子透かしとして付加することができない。特に小さい映像では、電子透かしとして付加できる情報量が限られる。
そこでいくつかの特徴的なパターンをあらかじめ決めておき、映像の構成が最もマッチするパターンを奥行きデータとして採用する。この方法では、例えば映像1枚あたり電子透かしとして1バイト(8ビット)の情報が付加されるだけで、256通りのパターンの奥行きデータを選択することができる。ここで言うパターンは、実用となっている「動き」「構図」「人の顔」から奥行き推定を行ううちの「構図」に関わる(ベースライン3Dと呼ぶ)に相当する。
また例えば2バイトの情報を付加することとすると、1バイト余りで千通り以上のパターンを選択できるようになる。同時に、残りのビットで奥行きを表現することができる。奥行きデータとしては、パターンか奥行きのいずれだけでもよい。例えば、パターンの受け側で既定値の奥行きをそのパターンの各構成部分に付加することもできる。また、奥行きの受け側で既定のパターンにこの奥行きを付加することもできる。
1つのパターンだけでなく、複数パターンの混合を電子透かし情報として付加できる。例えば図8(b)の場合では、図8(b)右図の奥行きデータ情報だけでなく、図8(a)の奥行きデータ情報をある割合で混合してもよい。混合の割合は1:1で固定でも良いし、情報として混合の割合を加えてもよい。
更に図8(c)左図のように人物が撮影されている映像では、人物の特徴量を電子透かし情報として付加してもよい。例えば、人物の左右の目の位置の2点の情報を電子透かし情報に付加するだけで、人型の奥行きデータを割り当てることができる。これは「人の顔」から奥行き推定を行うこと(フェイス3Dと呼ぶ)に相当する。
ところで電子透かし情報については奥行以外にも陰面の情報を送ることができる。この場合は陰面情報を利用した高品質な3D画質を得ることが可能となる。
なお、映像全体に電子透かし除法を加えるのではなく、映像の一部のウォーターマーク(映像の右上に付加するチャンネルロゴなど)に、電子透かし情報を付加しても良い。この場合はステガノグラフィ技術を利用することが可能である。
なお、映像全体に電子透かし除法を加えるのではなく、映像の一部のウォーターマーク(映像の右上に付加するチャンネルロゴなど)に、電子透かし情報を付加しても良い。この場合はステガノグラフィ技術を利用することが可能である。
ウォーターマークの様に小さい映像に対して付加できる電子透かし情報量は非常に限られているが、上記記載の様に例え1バイトのデータであってもベースライン3D相当の奥行情報を付加することが可能である。
ところで、映像のフレームにそのフレームの奥行きデータを埋め込まず、前や後のフレームの奥行きデータを埋め込んでもよい。すなわち電子透かしとして付加できる情報量に余裕があるときは他のフレームの奥行情報を付加し、逆に情報量に余裕がない場合は前や後のフレームに奥行情報を分散させても良い。
実施形態としては、電子透かし技術を利用し、映像データに映像の持つ奥行き感を映像に埋め込む技術を述べた。電子透かしの技術は多岐にわたるが、この技術は特定の電子透かし技術に関連するものではない。
ピクセル単位に奥行き感を指定するのではなく、ベースラインとして映像全体の奥行きデータの傾向を使用する。1つのベースラインだけではなく、複数のベースラインを組み合わせることも可能である。また、人物の奥行き情報を加えるなども可能である。
奥行きについては、例えば既にある2D3D変換の技術(例えば特開2000−253422号、特開2000−261828号)で特定できる。なお上記で触れた2D3D変換の仕組みは、例えば次のような枠組みである。
(A)-動き検出による奥行き復元- モーション3D
「手前の物体ほど見かけの動きが速い」という基本原理を活かし、前後のベクトルから奥行きを推定し、複雑な動きでも正確に奥行き感のある映像を作り出す。
(B)-構図検出による奥行き復元- ベースライン3D
映像の四隅の色のヒストグラムを算出し、千枚以上のサンプル画像から学習された映像の特徴と入力映像の特徴を比較推定し、奥行き感を割り当てる。
(C)-顔検出を利用した奥行き復元-フェイス3D
入力画面から検出した顔位置を基準に人型の奥行きデータを割り当て、立体感のある映像を作り出す。
以上の実施例において次の説明をした。
(1)映像を取得する装置(手段、以下同様)、映像の奥行きデータを検出する装置、電子透かし技術により映像の奥行きデータを映像に埋め込む装置、からなるシステム(装置)
「手前の物体ほど見かけの動きが速い」という基本原理を活かし、前後のベクトルから奥行きを推定し、複雑な動きでも正確に奥行き感のある映像を作り出す。
(B)-構図検出による奥行き復元- ベースライン3D
映像の四隅の色のヒストグラムを算出し、千枚以上のサンプル画像から学習された映像の特徴と入力映像の特徴を比較推定し、奥行き感を割り当てる。
(C)-顔検出を利用した奥行き復元-フェイス3D
入力画面から検出した顔位置を基準に人型の奥行きデータを割り当て、立体感のある映像を作り出す。
以上の実施例において次の説明をした。
(1)映像を取得する装置(手段、以下同様)、映像の奥行きデータを検出する装置、電子透かし技術により映像の奥行きデータを映像に埋め込む装置、からなるシステム(装置)
(2)映像を取得する装置、電子透かし技術により映像から電子透かし情報を取得する装置、取得した電子透かし情報から映像の奥行きデータを取得する装置、映像の奥行きデータから立体映像を作成する装置、立体映像を表示する装置、からなるシステム(装置)
(3)映像の奥行きデータとなる電子透かし情報として映像の構成による奥行き感のパターンを使用する方法、更に奥行き感のパターンを複数混合する方法、更に映像に映っている人物の場所を電子透かし情報として付加し、人型の奥行きデータを使用する方法
実施形態では、電子透かしを利用して奥行きデータを埋め込んだ。効果の一つとして本技術に適用していない通常のシステムでは2D映像として処理されるが、本技術を適用したシステムでは、電子透かし情報としての奥行きデータを利用した3D映像を楽しむことが可能である。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
20…埋め込み済み画像信号
21…特定周波数成分抽出部
22…位相変換器
23…振幅変換器
24…特徴量抽出部
25…相関演算器
26…透かし情報
27…透かし情報推定器
21…特定周波数成分抽出部
22…位相変換器
23…振幅変換器
24…特徴量抽出部
25…相関演算器
26…透かし情報
27…透かし情報推定器
上記課題を解決するために、実施形態によれば立体映像生成装置は、電子透かしを有する映像から電子透かし情報を抽出する情報抽出手段と、抽出した前記電子透かし情報からパターンとして記述されている映像の奥行きデータを取得する奥行きデータ取得手段と、前記映像の奥行きデータから立体映像を作成する映像作成手段とを備える。
Claims (5)
- 電子透かしを有する映像から電子透かし情報を抽出する情報抽出手段と、
抽出した前記電子透かし情報からパターンとして記述されている映像の奥行きデータを取得する奥行きデータ取得手段と、
前記映像の奥行きデータから立体映像を作成する映像作成手段とを
備えた立体映像生成装置。 - 前記パターンは、構図または人の顔に関する情報として記述されている請求項1に記載の立体映像生成装置。
- 前記電子透かし情報は映像に映っている人物の場所を含み、前記奥行きデータはこの人物に関するものを含んでいる請求項1に記載の立体映像生成装置。
- さらに、前記立体映像を表示する表示手段を備えた請求項1に記載の立体映像生成装置。
- 電子透かしを有する映像を取得し、
この映像から電子透かし情報を取得し、
取得された前記電子透かし情報から映像の奥行きデータを取得し、
前記映像の奥行きデータから立体映像を作成する立体映像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011097474A JP2012231254A (ja) | 2011-04-25 | 2011-04-25 | 立体映像生成装置及び立体映像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011097474A JP2012231254A (ja) | 2011-04-25 | 2011-04-25 | 立体映像生成装置及び立体映像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012231254A true JP2012231254A (ja) | 2012-11-22 |
Family
ID=47432471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011097474A Pending JP2012231254A (ja) | 2011-04-25 | 2011-04-25 | 立体映像生成装置及び立体映像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012231254A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
JP2005065162A (ja) * | 2003-08-20 | 2005-03-10 | Matsushita Electric Ind Co Ltd | 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン |
WO2009157701A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co,. Ltd. | Image generating method and apparatus and image processing method and apparatus |
JP2011082675A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム |
-
2011
- 2011-04-25 JP JP2011097474A patent/JP2012231254A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
JP2005065162A (ja) * | 2003-08-20 | 2005-03-10 | Matsushita Electric Ind Co Ltd | 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン |
WO2009157701A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co,. Ltd. | Image generating method and apparatus and image processing method and apparatus |
JP2011082675A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9031356B2 (en) | Applying perceptually correct 3D film noise | |
TWI480842B (zh) | Electronic floating watermark detection method, electronic floating watermark detection device, program, and recording media | |
JP5977752B2 (ja) | 映像変換装置およびそれを利用するディスプレイ装置とその方法 | |
JP4098235B2 (ja) | ステレオスコピック画像処理機器および方法 | |
US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
JP2006325165A (ja) | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 | |
KR20100051675A (ko) | 깊이-관련 정보 전파를 위한 방법 및 장치 | |
EP2070328B1 (en) | Watermark detection method for broadcasting | |
CN103081476A (zh) | 利用深度图信息转换三维图像的方法和设备 | |
KR20060121972A (ko) | 전자 워터마크 매립 방법, 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체 | |
TWI496452B (zh) | 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法 | |
Kellnhofer et al. | Motion parallax in stereo 3D: Model and applications | |
JP2009514305A (ja) | 情報信号にデータを埋め込む方法 | |
CN109791704B (zh) | 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置 | |
US7697609B2 (en) | Apparatus and method for encoding and decoding a moving picture using digital watermarking | |
Schmeing et al. | Depth image based rendering: A faithful approach for the disocclusion problem | |
Pei et al. | Auxiliary metadata delivery in view synthesis using depth no synthesis error model | |
WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
Lee et al. | Stereoscopic watermarking by horizontal noise mean shifting | |
US8619123B2 (en) | Video processing apparatus and method for scaling three-dimensional video | |
TWI463863B (zh) | 影像處理方法 | |
JP2018506106A (ja) | 再帰的階層処理を使用して外挿画像を生成するための装置および方法 | |
JP2012231254A (ja) | 立体映像生成装置及び立体映像生成方法 | |
Shi et al. | Tailoring reversible data hiding for 3D synthetic images | |
JP5655550B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121030 |