JP2013534772A

JP2013534772A - ステレオスコピック動画ファイルの構成方法

Info

Publication number: JP2013534772A
Application number: JP2013516491A
Authority: JP
Inventors: チョン，スン−ムン; チェ，ビョン−ホ; シン，ファ−ソン
Original assignee: コリアエレクトロニクステクノロジインスティチュート
Priority date: 2010-06-24
Filing date: 2011-04-25
Publication date: 2013-09-05
Anticipated expiration: 2031-04-25
Also published as: CN103081478A; JP5629825B2; EP2587812A2; WO2011162474A2; EP2587812A4; WO2011162474A3

Abstract

ステレオスコピック動画ファイルを構成する方法が開示される。本発明の一実施形態によるステレオスコピック動画ファイルを構成する方法は、ステレオスコピック動画を構成する複数の左右映像を分析して、ステレオスコピック動画ファイルのディスパリティ情報と深さ情報とを求める。そして、求めたディスパリティ情報と深さ情報とのうちの少なくとも１つの情報を用いて、ステレオスコピック動画ファイルについての生体安定性情報を設定し、該設定された生体安定した情報をステレオスコピック動画の符号化されたデータに含ませる。

Description

本発明は、動画を処理する方法に係り、より具体的に、ステレオスコピック動画ファイル（ｓｔｅｒｅｏｓｃｏｐｉｃｍｏｖｉｎｇｐｉｃｔｕｒｅｆｉｌｅ）を構成する方法に関する。

両眼式ステレオスコピック映像（以下、‘ステレオスコピック映像’と称する）は、一定の距離ほど離隔している左側カメラと右側カメラとで同じ被写体を撮影して、それぞれ獲得した一対の左映像と右映像とを言う。左映像と右映像は、同じ被写体を撮影したものであるが、視点（ｖｉｅｗｐｏｉｎｔ）が異なるために、被写体の表面特性や光源の位置などによって、イメージ情報に多少の差が発生する。このような同一被写体についての左映像と右映像とのイメージ情報の差をディスパリティ（ｄｉｓｐａｒｉｔｙ）と言う。ステレオスコピック映像は、一般的には左側カメラと右側カメラとを用いて、それぞれ獲得した一対の映像を示すが、広い意味では、モノスコピック映像（ｍｏｎｏｓｃｏｐｉｃｉｍａｇｅ）に所定の変換アルゴリズムを適用して生成した一対の左右映像も含む。このようなステレオスコピック映像は、一般的にディスプレイされる被写体に対して立体感を付与するのに利用される。

韓国登録特許第７１６１４２号の“ステレオスコピック映像データの伝送方法”と韓国登録特許第９６２６９６号の“符号化されたステレオスコピック映像データファイルの構成方法”には、ステレオスコピックカメラを通じて入力されるステレオスコピック映像を定義するに当って、既存の映像コーデックを使うことに基づいて、符号化されたステレオスコピック映像データファイルを如何に構成するかについてのファイルフォーマットの内容が提示されている。前記韓国登録特許では、モノスコピック（２Ｄ）映像とステレオスコピック（３Ｄ）映像との差異点に基づいて、ステレオスコピック映像データファイルの構成に必要なさまざまな付加情報についての定義と共に、この情報を入れることができるファイルフォーマットに関して記述されている。そして、前記韓国登録特許に開示されている技術的思想は、ＩＳＯ／ＩＥＣ２３０００−１１ステレオスコピックビデオアプリケーションフォーマット（ＳｔｅｒｅｏｓｃｏｐｉｃＶｉｄｅｏＡｐｐｌｉｃａｔｉｏｎＦｏｒｍａｔ）というＭＰＥＧの国際標準に反映された。

最近、３Ｄ映画が大きく興行に成功すると同時に、テレビのようなディスプレイ装置でも、３Ｄを支援する装置が広く普及されるにつれて、ステレオスコピック動画コンテンツに対する関心が高まりつつある。現在、活性化されているステレオスコピック動画コンテンツ市場では、前述した国際標準の内容を反映して、ファイルを構成し、圧縮、保存、伝送、及び再生がなされている。そして、これに基づいて、画面の解像度も完全解像度（ｆｕｌｌＨＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ））、すなわち、１９２０ｘ１０８０まで多様な解像度のステレオスコピック映像をファイルで構成可能になった。また、ステレオスコピック映像を構成する形態も、サイドバイサイド（ｓｉｄｅｂｙｓｉｄｅ）方式やフレームシーケンシャル（ｆｒａｍｅｓｅｑｕｅｎｔｉａｌ）方式などが使えるようになった。

一方、映像の生体安定性（ｉｍａｇｅｓａｆｅｔｙ）と関連して多くの研究開発がなされている。映像の生体安定性とは、テレビ、ビデオ、テレビゲーム、インターネットなどの映像媒体を通じて見られる動画によって生じうる健康面での生体影響から多くの人、特に、影響を受けやすい人を保護することと関連する。例えば、強い光に反応して身が驚いて発作を起こす症状である光感受性発作（ＰＳＳ）を防止するか、映像の急激かつ周期的な変動によって、映像酔いの発生を防止するか、最小化することなどが、映像の生体安定性と関連しうる。そして、ステレオスコピック映像などを視聴する時、左右映像の不一致や過度な立体感などによって表われる視覚疲労なども、映像の生体安定性と関連する。

ステレオスコピック映像データは、ステレオスコピック映像を獲得する過程自体はもとより、獲得された映像で表われる画質の歪曲現象を補正するための前処理過程を経るが、この過程で左右映像に歪曲が生じうる。そして、ステレオスコピック映像の左右映像間には、基本的に不一致が存在することができるが、このような左右映像の歪曲と不一致などによって、ステレオスコピック動画を視聴する人は、視覚的な疲労度が生じる。また、ステレオスコピック動画に立体感を付与するために、過度な深み感を付与することができるが、この場合にも、人間が感じる立体感の視覚的疲労度が増加することができる。

ステレオスコピック動画によって招かれる、このような視覚的な疲労度は、人間の健康に悪影響を及ぼすので、立体映画や３Ｄテレビのようなステレオスコピックコンテンツと関連した諸産業の成長に障害物になりうる。したがって、ステレオスコピックコンテンツと関連した諸産業を活性化させるためには、ステレオスコピック動画によって、人間が受ける影響、例えば、視覚的疲労度などを最小化するか、個人的に適したレベルになるようにする必要があるが、現在、これと関連して、その必要性は認められているが、これを解決するための代案は提示されていない。

韓国登録特許第７１６１４２号韓国登録特許第９６２６９６号

本発明が解決しようとする１つの課題は、ステレオスコピックコンテンツを用いる人が、立体映像によって招かれる視覚的疲労度によって、健康への影響を最小化するか、または気楽かつ自然にステレオスコピックコンテンツを利用可能にするためのステレオスコピック動画ファイルの構成方法を提供するところにある。

本発明が解決しようとする他の１つの課題は、より多くの人が個人的な趣向や健康に合わせて、ステレオスコピックコンテンツを楽しむようにするためのステレオスコピック動画ファイルの構成方法を提供するところにある。

前記課題を解決するための本発明の一実施形態によるステレオスコピック動画ファイルを構成する方法は、ステレオスコピック動画を構成する複数の左右映像を分析して、前記ステレオスコピック動画ファイルのディスパリティ情報と深さ情報とを求める段階と、前記ディスパリティ情報と前記深さ情報とのうちの少なくとも１つの情報を用いて、前記ステレオスコピック動画ファイルについての生体安定性情報を設定する段階と、前記生体安定した情報を前記ステレオスコピック動画の符号化されたデータに含ませる段階と、を含む。

前記実施形態の一側面によれば、前記ステレオスコピック動画ファイルのディスパリティ情報は、動画ファイル全体についてのディスパリティの領域情報とディスパリティの大きさ情報とのうちの少なくとも１つの情報を用いて求めうる。

この場合に、前記ディスパリティの領域情報は、全体動画からフレーム単位で、左右映像からディスパリティが表われるブロックまたはピクセルの個数と関連するか、または前記ブロックまたはピクセルの個数のフレームの間の変化率と関連した情報であり得る。そして、前記ディスパリティの大きさ情報は、全体動画からフレーム単位で、ブロックまたはピクセル単位のディスパリティ値の最大値、最小値、または平均値を用いて求めるか、または前記最大値または前記平均値の変化率を用いて求めうる。

前記実施形態の他の側面によれば、前記ステレオスコピック動画ファイルの深さ情報は、動画ファイル全体についての深さの領域情報と深さの大きさ情報とのうちの少なくとも１つの情報を用いて求めうる。

ステレオスコピック動画と関連して、視覚的疲労度を含んだ生体安定性関連の問題は、致命的な問題であって、必ず解決されなければならない課題である。しかし、これについての標準や基準案がなくて、ステレオスコピック映像を製作する人やこれを放送に使う人が、これについての流通の再生産と関連して、多くの難点を経験している。本発明の実施形態によれば、生体安定性情報を含ませてステレオスコピック動画ファイルのデータを構成する。そして、このような生体安定性情報に基づいて、コンテンツを複数のクラスに分類し、また、これを保存、再生、流通させることができ、これを通じて、視聴者の安定性を確保し、これについての視聴者の疲労感を最大限減らしうる。

ステレオスコピック映像を構成する一対の左右映像を獲得する過程の一例を示す図である。獲得された左映像と右映像とを用いてステレオスコピック映像を構成する方法の例を示す図である。本発明の一実施形態によるステレオスコピック動画ファイルを構成する方法を示すフローチャートである。前述した生体安定性情報を含むステレオスコピック動画ファイルに含ませる一例を示すブロック図である。本発明の実施形態によって構成されたステレオスコピック動画ファイルのフォーマットの一例を示すブロック図である。

以下、添付した図面を参照して、本発明の実施形態を詳細に説明する。

使われる用語は、実施形態での機能を考慮して選択された用語であって、その用語の意味は、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、後述する実施形態で使われた用語の意味は、本明細書に具体的に定義された場合には、その定義に従い、具体的な定義がない場合は、当業者が一般的に認識する意味として解析しなければならない。

本発明の実施形態によるステレオスコピック動画ファイルを構成する方法を説明するのに先立って、ステレオスコピック映像に関して先に説明する。後述する内容は、モノスコピック映像とは区別されるステレオスコピック映像に固有の特性の一部である。

図１は、ステレオスコピック映像を構成する一対の左右映像を獲得する過程の一例を示す図である。図１を参照すると、ステレオスコピック映像を構成する左映像と右映像は、それぞれ所定間隔離隔している左側カメラと右側カメラとを通じて獲得することができる。このように、図１に示された例は、ステレオスコピックカメラを用いて左右映像を獲得する過程に関するものであるが、これとは違って、モノスコピック映像を用いて一対の左右映像を生成することもできる。

ステレオスコピック映像の場合に、左側カメラと右側カメラは、視点が互いに異なるために、同じ被写体であるとしても、獲得された左映像と右映像には、映像情報（例えば、輝度や色差、被写体とカメラとの距離を表わす被写体の深さなど）に差が存在することができる。例えば、右映像と比較して、左映像は、被写体の左側面が相対的に広く見え、一方、左映像と比較して、右映像は、被写体の右側面が相対的に広く見える。このような左映像と右映像との差は、ピクセル単位または所定の大きさのブロック単位（例えば、ＭｘＮブロック）の輝度（平均）値と色差（平均）値などの差で表われる。

図２は、獲得された左映像と右映像とを用いてステレオスコピック映像を構成する方法の例を示す図である。

図２の（ア）を参照すると、左映像と右映像とを１つのフレームから水平方向に平行に配置して、ステレオスコピック映像を構成する。そして、図２の（イ）を参照すると、左映像の奇数番目（または、偶数番目）の垂直ラインと右映像の偶数番目（または、奇数番目）の垂直ラインとを交互に配置して、ステレオスコピック映像を構成する。図２の（イ）のように配列されたステレオスコピック映像は、バリア型のディスプレイ装置で再生される場合に、視聴者に左映像の垂直ラインは、左目にのみ見えるようにし、右映像の垂直ラインは、右目にのみ見えるようにできる。また、図２の（ウ）を参照すると、左映像と右映像とをフレーム単位で交互に配置するフレームシーケンシャルタイプ（ｆｒａｍｅｓｅｑｕｅｎｔｉａｌｔｙｐｅ）でステレオスコピック映像を構成する。フレームシーケンシャルタイプは、ディスプレイ装置と同期化されて、６０Ｈｚ以上、例えば、１２０Ｈｚの周波数で視聴者の左眼と右眼とを交互にスクリーンできるように、特殊に製作されたメガネを着用して鑑賞することができるが、現在広く適用されている３Ｄテレビや立体映画などを、この方式を主に使っている。

図３は、本発明の一実施形態によるステレオスコピック動画ファイルを構成する方法を示すフローチャートである。

図３を参照すると、まず、ステレオスコピック映像を分析して、ステレオスコピック動画ファイルのディスパリティ情報（ｄｉｓｐａｒｉｔｙｉｎｆｏｒｍａｔｉｏｎ）と深さ情報（ｄｅｐｔｈｉｎｆｏｒｍａｔｉｏｎ）とを求める（１０）。本実施形態では、ステレオスコピック映像を分析する方法やアルゴリズムに対して特別な制限もなく、既存に開発されて使われているステレオスコピック映像に対する分析アルゴリズムはもととり、将来に開発される如何なる種類のステレオスコピック映像に対する分析アルゴリズムも適用可能である。例えば、フレーム単位で左映像と右映像とを比較して、各フレームでのディスパリティ情報と深さ情報とを抽出することができる。映像フィルターのサイズとフィルター容量の大きさ、ＳＡＤ（ＳｕｍＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）ブロックの大きさ、ディスパリティの最小値、ディスパリティの数（ピクセル単位またはブロック単位）、基準映像スレショルド値（ｔｈｒｅｓｈｏｌｄ）などの情報を用いるか、またはこれらを基準にして、各フレームでのディスパリティ情報、例えば、輝度ディスパリティと色差ディスパリティとを抽出することができる。そして、このようなフレーム単位のディスパリティ情報を用いて、ステレオスコピック映像ファイル全体についてのディスパリティ情報を求めうる。

本明細書で、ディスパリティ情報は、左右映像の輝度の差及び色差の差と関連した情報を示す。映像分析を通じて、ディスパリティ情報は、フレーム単位で求めるか、抽出することができるが、１つのステレオスコピック動画ファイルの場合には、非常に多いフレームの集合と見られるので、各フレームのディスパリティ情報を用いて、ステレオスコピック動画ファイル全体についてのディスパリティ情報を求めうる。また、このようなディスパリティ情報は、人間の視覚的疲労度のような生体安定性と関連があるが、左右映像のディスパリティが大きいか、または時間／空間による変化が激しい場合には、視覚的疲労度のような影響を多く受けることができる。

例えば、１つのフレーム、すなわち、一対の左右映像で一定の大きさ（例えば、ＮｘＭブロック（ここで、ＮとＭは、それぞれ１以上の整数である））のブロック単位でディスパリティが発生するブロックの個数を当該フレームでのディスパリティ情報であると言える。ここで、ＮｘＭブロックでのＮとＭが、いずれも１であれば、ディスパリティが発生するブロックの個数（以下、‘ディスパリティブロックの個数’と称する）が、ピクセル単位で求められる。このように求められたフレーム当たりディスパリティブロックの個数は、フレームごとに差があるので、これをそのままステレオスコピック動画ファイルが、ディスパリティ情報として用いることは難しい。

このようなディスパリティブロックの個数をステレオスコピック動画ファイルについてのディスパリティ情報として用いる１つの方法は、フレーム当たり平均ディスパリティブロックの個数や及び／またはディスパリティブロックの個数の変化率などを用いることである。

一般的に、左右映像の輝度や色差の差が発生する領域が広く存在するか、または領域の広さがフレームによって差が多く生じる場合（変化が激しい場合）には、立体映像を視聴する視聴者は、映像酔いや視覚的疲労度などを経験しやすい。したがって、本実施形態では、１つの動画ファイルについてのディスパリティの領域情報（例えば、平均ディスパリティブロックの個数、またはディスパリティブロックの個数の変化率など）をステレオスコピック動画ファイルについてのディスパリティ情報として利用できる。

他の例として、ディスパリティの大きさをステレオスコピック動画ファイルについてのディスパリティ情報として利用することもできる。ここで、ディスパリティの大きさとは、ブロック（または、ピクセル）単位で輝度または色差がどれほどに差があるかを表わすディスパリティの大きさと関連する。１つのフレームでディスパリティの大きさは、ブロック（または、ピクセル）の位置によって異なるので、一フレームでのディスパリティの大きさは、当該フレーム内でのディスパリティ値の最大値、最小値、及び／または平均値などになりうる。そして、全体ステレオスコピック動画ファイルでディスパリティの大きさは、このような各フレームでのディスパリティの大きさの最大値、平均値または変化率などが該当しうる。一般的に、動画ファイル全体でディスパリティの大きさの最大値や平均値が大きければ、左右映像で色差や輝度の差が平均的に大きいということを意味するので、このような差が大きければ大きいほど、視聴者は立体映像を視聴しながら、映像酔いや視覚的疲労度を経験しやすい。したがって、１つの動画ファイルについてのディスパリティの大きさ情報（フレーム別のディスパリティの大きさの最大値や平均値の平均値または変化率など）をステレオスコピック動画ファイルについてのディスパリティ情報として利用できる。

このように、動画ファイル全体についてのディスパリティの領域情報及び／またはディスパリティの大きさ情報を利用すれば、ステレオスコピック動画ファイルについてのディスパリティ情報を求めうる。しかし、ディスパリティ情報が、これに限定されるものではなく、左右映像のディスパリティと関連した他のデータを用いてディスパリティ情報を求めることもできる。

前述した内容を敷衍して説明すれば、ディスパリティ情報は、左映像と右映像との不一致領域や大きさを一フレームずつ抽出し、それを用いて全体動画についてのディスパリティ情報を抽出することができる。より具体的に、
１）不一致領域（ピクセルまたはＮｘＮブロック単位）の量で一フレームで最大値と平均値とを定める。
２）不一致領域（ピクセルまたはＮｘＮブロック単位）の大きさで一フレームで最大値と平均値とを定める。
３）一フレームで不一致領域に獲得された量と大きさとの最大値と平均値とを全体動画で最大値と平均値とで定めてパラメータ情報（ディスパリティ情報）と表示する。
４）フレーム間の不一致領域の変化量（ピクセルまたはＮｘＮブロック単位）に対する最大値と平均値とで全体動画のディスパリティ情報と表示する。
前述した情報は、ステレオ映像（左映像と右映像）を有して簡単にプログラミングしたＳ／Ｗで抽出が可能であり、前記の情報は、ステレオスコピック動画ファイルの生体安定性等級などを判断する基準情報として活用されうる。

次いで、深さ情報について説明する。本明細書で、深さ情報は、被写体とカメラとの距離と関連した情報を示す。被写体とカメラとの距離は、結局、視聴者の立場では、現在ディスプレイされる映像の被写体が自分からどれほど離れているかと関連する。そして、これは、左右映像でのディスパリティとも関連になりうる。一般的に、立体映像を視聴する時、被写体が近い距離に位置する画面が相対的に長く持続すれば、そうではない場合に比べて、視聴者は、さらに多い視覚的疲労度を感じることができる。したがって、深さ情報は、ステレオスコピック動画ファイルの生体安定性と関連がある情報である。

ディスパリティ情報と同様に、深さ情報も、映像分析を通じてフレーム単位で求めるか、抽出するか、またはディスパリティ情報を用いて求めうる。１つのステレオスコピック動画ファイルの場合には、非常に多いフレームの集合と見られるので、ステレオスコピック動画ファイルについての深さ情報も、各フレームの深さ情報を用いて求めうる。但し、ステレオスコピック動画ファイルがグラフィックファイルである場合には、当該グラフィックファイルの製作過程で深さ情報は得られるので、追加的な分析過程を行って、深さ情報を求める必要はないことがある。

例えば、１つのフレーム、すなわち、一対の左右映像で深さ情報は、最短距離の被写体と最長距離の被写体とを基準にして相対的に表わすか、または特定位置の被写体を基準にして相対的な値で表すことができる。前者の場合に、視聴者が現実的に深み感を感じるためには、最短距離と最長距離との実際値も共に必要である。後者の場合には、深さ情報の値がプラスかマイナスかによって、被写体が前に突出して見えるか、逆に遠い距離にあると見える。

そして、１つのフレームで、深さ情報が占める領域がどれほどであるかによって、視覚的疲労度のような生体安定性に影響を及ぼすことができる。例えば、前に突出した被写体が、フレーム前領域で相対的に広い領域を占める場合には、フレームの狭い領域で突出した被写体がある場合に比べて、視覚的疲労度はもとより、眩気症のような影響を及ぼす可能性が高い。より具体的に、深み感が基準以上である領域が、一フレームで２０％か、７０％かによって、視聴者が感じる眩気症の程度は変わりうる。したがって、１つの動画ファイルについての深さの領域情報をステレオスコピック動画ファイルについてのディスパリティ情報として利用できる。

他の例として、深さマップの大きさをステレオスコピック動画ファイルについての深さ情報として利用することもできる。ここで、深さマップの大きさとは、ブロック単位で被写体とカメラとの距離がどれほどであるかを表わす。１つのフレームで深さマップの大きさは、ブロックの位置によって異なるので、一フレームでの深さマップの大きさは、深さの最大値、最小値、及び／または平均値などになりうる。そして、全体ステレオスコピック動画ファイルで深さマップの大きさは、このような各フレームでの深さマップの大きさの最大値、最小値や平均値の平均値または変化率、最大値と最小値との差などが該当しうる。

一般的に、各フレームでの深さマップの最大値や平均値が大きいか、または最大値と最小値との差が大きければ、相対的に距離の差が多くある被写体が１つのフレームにあるということを意味するので、このような差が大きければ大きいほど、視聴者は立体映像を視聴しながら、映像酔いや視覚的疲労度を経験しやすい。したがって、１つの動画ファイルについての深さの大きさ情報（フレーム別の深さマップの大きさの最大値や平均値の平均値、変化率、最大値と最小値との差など）をステレオスコピック動画ファイルについての深さの大きさ情報として利用できる。

このように、動画ファイル全体についての深さの領域情報及び／または深さの大きさ情報を利用すれば、ステレオスコピック動画ファイルについての深さ情報を求めうる。しかし、深さ情報が、これに限定されるものではなく、ステレオスコピック映像の深さマップまたは深み感と関連した他のデータを用いて深さ情報を求めることもできる。そして、ディスパリティ情報を用いるか、グラフィックデータから抽出した深さ情報を有し、ディスパリティ情報と関連して、前述したように、動画全体に対して最大値と平均値とを抽出することができる。

一フレームのディスパリティ情報と深さ情報は、動画全体の代表値として表示することもできる。ディスパリティの最大値と最小値、平均値、ディスパリティが発生する単位ブロック（または、ピクセル）の個数、深さ情報マップを通じて得られる最大値、最小値，平均値、領域の大きさの比率が得られる。そして、ディスパリティ情報や深さ情報のフレーム間の変化量も、パラメータの要素と定義することができる。例えば、ディスパリティの大きさや深さの値が大きいとしても、フレームの変化によって、引き続き同じ値を保持する場合には、相対的に生体安定性に及ぶ影響が小さく、一方、非常に短い時間に同じ領域（ピクセルまたはブロック単位）でディスパリティ値や深さに変化が多ければ、相対的に生体安定性に及ぶ影響が大きい。

次いで、図３を参照すると、段階１０から求めたステレオスコピック動画ファイルについてのディスパリティ情報と深さ情報とのうちの少なくとも１つの情報を用いて、当該ステレオスコピック動画ファイルについての生体安定性情報を設定する（２０）。本明細書に、たとえ‘生体安定性情報’という用語は使ったが、これは、単に例示的はものであり、ステレオスコピック動画ファイルの生体安定性と関連した意味として使われるならば、他の適切な用語が選択されて使われることもある。

生体安定性情報は、特定ステレオスコピック動画ファイルの分析を通じて得た情報を用いて得られる客観的なデータであって、本実施形態では、当該ステレオスコピック動画ファイルのディスパリティ情報及び深さ情報のうちの少なくとも１つの情報を用いて求める。このような生体安定性情報をデータで表わす方法には、特別な制限もない。例えば、生体安定性情報は、所定の基準によって複数の等級情報（例えば、品質安定性と関連したクラス情報）に区分して表わすか、または生体安定性と関連した点数で表すこともできる。

そして、設定された生体安定性情報は、符号化されたステレオスコピック動画データに含み、または挿入させる（３０）。生体安定性情報が、ステレオスコピック動画データに含まれる位置や回数は、特別な制限もないが、ファイルヘッダのような位置に１回のみ挿入されるか、またはフレームヘッダに数回挿入されるか、または所定の間隔（５分または１０分）をおいてディスプレイされるように、符号化された映像データファイルのフレームヘッダなどに周期的に挿入されることもある。

このように、ステレオスコピック動画データに含まれた生体安定性情報は、立体感、生体安定性などを基準にして、当該ステレオスコピック動画ファイルの選択に利用されるか、または当該ステレオスコピック動画ファイルについての安定性情報として視聴者にあらかじめ情報を提供する方式で利用されるか、または視聴者が所望する程度にステレオスコピック動画ファイルの立体感などの調整に利用されることもある。

前述したように、本発明の実施形態では、ステレオスコピック動画の映像特性を分析して、立体映像を視聴する時に招かれる視覚的疲労度や映像酔いのような生体安定性と関連した情報を求め、該求められた情報を当該ステレオスコピック動画ファイルの付加データとして共に含ませる。

そして、ステレオスコピック動画の品質安定と関連して、ステレオスコピック動画ファイルの生成及び分配、再生などと関連して、前述したイシューを含んで他のイシューも注目されうる。例えば、ステレオスコピック映像を獲得する過程で表われる画質の歪曲現象を補正するために、一定の特性を有したメタデータをファイルフォーマットに追加すること、人間の視覚的疲労度に対するステレオスコピックコンテンツの安定性のために、ファイルフォーマットのメタデータに関連した構成要素を如何に構成し、追加することなどが問題になりうる。

現在、ステレオスコピック動画と関連して、このような基準がない関係で、製作されるステレオスコピック映像コンテンツが左右映像の不一致とさまざまな左右映像の歪曲された映像などによる１次的に画質が歪曲される現象があり、深さ情報などの過度な深み感を与えることによって、人間が感じる立体感の視覚的疲労度が増加する問題点が発生した。これについての補完のために、これを制御することができる構成要素を定義し、これに必要な基準を定立して、一般視聴者がステレオスコピック（３Ｄ）コンテンツを気楽かつ自然に視聴可能にするために、ステレオスコピックコンテンツを製作する過程で関連した構成要素をファイルフォーマットに適用することによって、このような状況を改善できることであり、前述した実施形態では、そのための具体的な方法が提示された。

そして、２つの左、右両眼カメラを用いてステレオスコピック立体静止映像または動画を撮影を行って、該撮影されたステレオスコピック映像の人間の視覚的疲労度に対する基準とステレオスコピック映像の獲得過程で表われるステレオスコピック映像の画質の歪曲現象を補正し、また補正の基準を定める必要性もある。前述した視覚的疲労度に対する構成要素と共に、ステレオスコピック画質の補正に対する構成要素も、ファイルのメタデータとして定義することができるが、このようなメタデータは、ステレオスコピック映像の安定性と画質再現の効果とを最大化するのに利用されうる。

このように、前述した本発明の実施形態に開示された方法はもとより、他の情報を含ませてステレオスコピック動画ファイルを構成し、長期間視聴を要するステレオスコピックコンテンツと短時間視聴で立体感を感じるように鑑賞することができるステレオスコピックコンテンツとが等級別に分けられて定義されうる。そして、このような情報は、ステレオスコピック動画ファイルを用いる視聴者が参照にするか、及び／またはステレオスコピック動画ファイルの再生（必要な場合には、視聴者が所望するレベルの立体感を表わすように映像を補正して再生）に利用されうる。

図４は、前述した生体安定性情報を含むステレオスコピック動画ファイルに含ませる一例を示すブロック図である。図４で使われたクラス情報は、前述した生体安定性情報を含む概念であって、単に例示的なものである。図４を参照すると、図４の（ア）は、ステレオスコピッククラスヘッダがシステムヘッダの後に位置している。そして、図４の（イ）は、ステレオスコピッククラスヘッダがシステムヘッダの前に位置しており、図４の（ウ）は、ステレオスコピッククラスヘッダが映像コーデックの後に位置しており、図４の（エ）は、ステレオスコピッククラスヘッダが映像コーデックの間に位置している。

図５は、本発明の実施形態によって構成されたステレオスコピック動画ファイルのフォーマットの一例を示すブロック図であって、図５の（ア）は、ステレオスコピック動画を等級別にクラス１、２、３、またはそれ以上に分類したファイルヘッダの一例であり、図５の（イ）は、図５の（ア）のそれぞれのクラスで定義するステレオスコピック映像と関連した構成要素分類の１段階の図である。そして、図５の（ウ）は、図５の（イ）の構成要素でさらに分類して定義するステレオスコピック映像と関連した構成要素分類の２段階の図である。

前述した本発明の実施形態によって構成されたステレオスコピック動画ファイルは、生体安定性情報を含む。このような生体安定性情報に基づいて、ステレオスコピック動画ファイルは、複数のクラスに分類されうる。例えば、ステレオスコピック映像に対する人間の視覚的疲労度と左右映像とを有し、ステレオスコピック映像を再構成する時、発生する画質の歪曲現象を改善するために、非常に短期間の視聴時間、例えば、２０秒から数分程度の広告などの比校的立体感を非常に臨場感あるようにするためのステレオスコピックコンテンツを、例えば、“クラス１”と定義することができる。そして、例えば、３０分から３時間ほどの映画やドラマ、アニメーションなどのステレオスコピックコンテンツは、比較的立体感に優れるが、深さ程度があまり高くなくて、ほとんどの視聴者が瞬間的な視覚的疲労度が存在するが、別に無理なしに視聴することができるステレオスコピックコンテンツを、例えば、“クラス２”と定義することができる。また、ステレオスコピック放送で使えるステレオスコピック映像は、子供から老人まで視覚的特性が非常に多様な階層に至るまで視覚的疲労度を多く感じることができないように立体感を減らし、視聴者の視覚的安定性を保護することによって、一日中ステレオスコピック放送を視聴しても、視聴者が不快感や眩気症が発生しないように保護しなければならないステレオスコピックコンテンツを、例えば、“クラシック３”と定義することができる。それ以外にも、２Ｄ映像から３Ｄ映像に変換したステレオスコピックコンテンツを、“クラス４”と定義し、これと異なる多様なステレオスコピックコンテンツに対して多様な分類ができる。

このように、本発明の実施形態では、多様なステレオスコピックコンテンツを人間の視覚的疲労度を考慮すると同時に、必要な場合には、画質の歪曲現象を補正するか、または立体感を付与する映像データを変更することによって、ステレオスコピックコンテンツを視聴する一般人に対して生体安定性と関連した情報を予め提供できるだけではなく、安定して視聴を可能にし、また、より優れた画質の映像を提供する。そして、分類された情報が、如何に構成されており、分類された情報についての基準値を人間の視聴時間なども共に考慮されうる。

前述した実施形態のように、ステレオスコピック動画ファイルを複数のクラスに分類するのに生体安定性情報を利用することができる。そして、立体映像の生体安定性には、他のパラメータも影響を及ぼすが、ステレオスコピック動画ファイルを複数のクラス中の１つのクラスに分類するには、次のようなパラメータが共に利用されうる。

例えば、左右映像で得られる深さ情報とディスパリティ情報とが利用されうるという点は、前述した通りである。それ以外にも、明るさ情報、色差情報、焦点情報、映像大きさに比べて、最小視聴距離情報、コンバージェンス方式（平行整列ステレオカメラ、交差整列ステレオカメラ）情報、主被写体と背景との時差の許容範囲、視聴空間の照明と音響との情報、ディスプレイから視聴者が見る左右上下視聴角度及び上下高さ情報、ディスプレイのクロストーク（ｃｒｏｓｓｔａｌｋ）許容範囲情報、ディスプレイのリフレッシュ率（ｒｅｆｒｅｓｈｒａｔｅ）情報、字幕破れの大きさ情報、物体の境界値についての誤差許容情報、視聴年齢制限の情報、視聴者が乱視や斜視を有した場合に対して警告情報、視聴者の左右視力の差情報、収斂、調節不一致の許容範囲（垂直誤差、回転誤差、大きさ誤差）などが、ステレオスコピック映像と関連した構成要素と定義することができる。前記の内容だけではなく、視聴環境の照度も、視覚的疲労度に影響を及ぼす。２Ｄ映画に比べて、３Ｄ映画は照度が暗いことがあるが、周辺の環境の明るさによって疲労度が加重される。

前記に列挙した内容は、構成要素の種類によって再び分類することができる。例えば、映像自体に対する構成要素を第１構成要素に分類し、視聴距離や周辺視聴空間の照度などの視聴環境に対する構成要素を第２構成要素に分類することができる。そして、第３構成要素は、視聴者の年令制限などの視聴者特性に対する構成要素に分類する。他の機能を追加して、第４構成要素以上に拡大することができる。

映像自体に構成要素も、より細分化することもできる。例えば、最初のグループの構成要素としては、映像の視覚的疲労度と直接関連した深さ情報やディスパリティ情報などが含まれ、二番目のグループの構成要素として、ステレオスコピック画質映像の歪曲と関連した情報、字幕破れの歪曲情報、物体境界値の誤差情報などにさらに再び分類することができる。そして、必要な場合には、これをより細分化して、３種またはそれ以上の構成要素としても確張することができる。

前記で分類したクラス構成要素を如何なる単位で区分して表示できるかについて説明すれば、深さ情報やディスパリティ情報などの距離情報を有し、特定表示値であるインデックス（Ｉｎｄｅｘ）を付与して、実際距離値を記録することもでき、例えば、１〜１０程度の区分される単位で表示することができる。それとも２つ以上の構成要素を組み合わせて、１つのインデックスで構成することができる。

ステレオスコピック動画と関連して、視覚的疲労度を含んだ生体安定性関連の問題は、致命的な問題であって、必ず解決されなければならない課題である。しかし、これについての標準や基準案がなくて、ステレオスコピック映像を製作する人やこれを放送に使う人が、これについての流通の再生産と関連して多くの難点を経験している。本発明の実施形態によれば、生体安定性情報をステレオスコピック動画データに含ませることによって、これに基づいて、コンテンツを分類して流通させることができ、ステレオスコピック映像をクラスに分類して、獲得及び保存、流通及び放送することによって、視聴者の安定性を確保し、これについての視聴者の疲労感を最大限減らすのに利用できる。これを通じて、従来の方式に比べて、少ないビット率を使うだけではなく、ユーザは、自分に合う立体型コンテンツを選択して使い、同時に、コンテンツ製作者だけではなく、流通者に明確な分類基準を提示することによって、関連市場が活性化される効果がある。

以上の説明は、本発明の実施形態に過ぎず、本実施形態によって、本発明の技術思想が限定されるものと解析されてはならない。本発明の技術思想は、特許請求の範囲に記載の発明によってのみ特定されなければならない。したがって、本発明の技術思想を外れない範囲で前述した実施形態は、多様な形態で変形されて具現されうるということは当業者に自明である。

本発明は、ステレオスコピック映像の処理と関連したエンコーダ、デコーダなどに利用されうる。

Claims

ステレオスコピック動画ファイルを構成する方法において、
ステレオスコピック動画を構成する複数の左右映像を分析して、前記ステレオスコピック動画ファイルのディスパリティ情報と深さ情報とを求める段階と、
前記ディスパリティ情報と前記深さ情報とのうちの少なくとも１つの情報を用いて、前記ステレオスコピック動画ファイルについての生体安定性情報を設定する段階と、
前記生体安定した情報を前記ステレオスコピック動画の符号化されたデータに含ませる段階と、
を含むステレオスコピック動画ファイルの構成方法。
前記ステレオスコピック動画ファイルのディスパリティ情報は、動画ファイル全体についてのディスパリティの領域情報とディスパリティの大きさ情報とのうちの少なくとも１つの情報を用いて求めることを特徴とする請求項１に記載のステレオスコピック動画ファイルの構成方法。
前記ディスパリティの領域情報は、全体動画からフレーム単位で、左右映像からディスパリティが表われるブロックまたはピクセルの個数と関連するか、または前記ブロックまたはピクセルの個数のフレームの間の変化率と関連した情報であることを特徴とする請求項２に記載のステレオスコピック動画ファイルの構成方法。
前記ディスパリティの大きさ情報は、全体動画からフレーム単位で、ブロックまたはピクセル単位のディスパリティ値の最大値、最小値、または平均値を用いて求めるか、または前記最大値または前記平均値の変化率を用いて求めることを特徴とする請求項２に記載のステレオスコピック動画ファイルの構成方法。
前記ステレオスコピック動画ファイルの深さ情報は、動画ファイル全体についての深さの領域情報と深さの大きさ情報とのうちの少なくとも１つの情報を用いて求めることを特徴とする請求項１に記載のステレオスコピック動画ファイルの構成方法。