JP2010093816A - 視覚的関心に基づいた２次元映像の３次元映像変換器および変換方法 - Google Patents

Abstract

【課題】 視覚的関心に基づいた２次元映像の３次元映像変換器および変換方法を提供する。
【解決手段】 ２次元映像におけるオブジェクトの重要度に対する情報である視覚的関心情報を含む視覚的関心マップを生成し、視覚的関心マップを用いて２次元映像の左眼映像および右眼映像に対する情報を含む視差情報を生成し、視差情報を用いて３次元映像を生成する。
【選択図】 図１

Description

本発明は、視覚的関心に基づいた２次元映像の３次元映像変換器および変換方法に関する。

最近では、３次元ディスプレイ装置の発展に伴い、既存の映像よりもさらに現実的な立体感と臨場感のある３次元映像を一般視聴者に提供できるようになり、これによって３次元コンテンツに対する需要が次第に増加している。

一般的に、３次元映像を提供するためには多数の時点の２次元映像が必要であったが、このような方式では、過去に製作された単一時点の２次元映像を活用することができなかった。

２次元映像の３次元映像への変換は、過去に製作されたコンテンツを次世代ディスプレイ装置に積極的に活用するための作業である。

現在広く用いられているステレオ映像方式の場合には、映像を分析して映像の深さマップ、すなわちオブジェクトと観察者との距離を生成し、深さマップを用いた視差生成を介して３次元映像を提供することが一般的であった。

本発明は、２次元映像の視覚的関心マップ（Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ Ｍａｐ）を生成し、これに基づいた視差（Ｐａｒａｌｌａｘ）情報を生成して３次元映像変換に用い、観察者により一層臨場感のある３次元映像を提供することを目的とする。

また、本発明は、映像のテキストまたは物体を画面から観察者方向に引き寄せて配置させることによってユーザの注意を促し、これによって観察者が、テキストまたは物体などが観察者に向かって自然に突出した形態の３次元映像を体感できるようにすることを他の目的とする。

本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換方法は、２次元映像から視覚的関心度と関連した特徴情報を抽出し、前記特徴情報を用いて視覚的関心マップを生成するステップと、前記視覚的関心マップを用いて視覚的関心度に基づいた視差情報を生成するステップとを含む。

このとき、前記視覚的関心マップを生成するステップは、前記特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を含む特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を抽出するステップと、前記特徴マップを用いて前記視覚的関心マップを生成するステップとを含むことができる。

このとき、前記視覚的関心マップは、前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト（ｃｏｎｔｒａｓｔ）計算によって生成することができる。

このとき、前記特徴マップを用いて前記視覚的関心マップを生成するステップは、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラム（Ｈｉｓｔｏｇｒａｍ）の差を計算して前記視覚的関心マップを生成するステップとすることができる。

このとき、前記特徴情報は、輝度（Ｌｕｍｉｎａｎｃｅ）、色（Ｃｏｌｏｒ）、モーション（Ｍｏｔｉｏｎ）、テクスチャ（Ｔｅｘｔｕｒｅ）、または方向性（Ｏｒｉｅｎｔａｔｉｏｎ）のうちの１つ以上を含む認識（ｐｅｒｃｅｐｔｉｏｎ）と関連した特徴情報とすることができる。

このとき、前記視覚的関心マップを生成するステップは、前記オブジェクトと関連した複数の特徴情報を含む複数の特徴マップを抽出するステップと、前記特徴マップを用いて前記複数の視覚的関心マップを生成するステップと、前記視覚的関心マップを融合を介して最終の視覚的関心マップを生成するステップを含むことができる。

このとき、前記最終の視覚的関心マップを生成するステップは、前記複数の視覚的関心マップを線形融合（Ｌｉｎｅａｒ ｆｕｓｉｏｎ）または非線形融合（Ｎｏｎｌｉｎｅａｒ ｆｕｓｉｏｎ）を介して前記最終の視覚的関心マップを生成することができる。

このとき、前記特徴マップを用いて前記複数の視覚的関心マップを生成するステップは、前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって前記複数の視覚的関心マップを生成するステップとすることができる。

このとき、前記特徴マップを用いて前記複数の視覚的関心マップを生成するステップは、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して前記複数の視覚的関心マップを生成するステップとすることができる。

このとき、前記選定された中央領域と前記選定された周辺領域が１つの連続した領域であれば、前記選定された中央領域は、前記１つの連続した領域の中央に位置することができる。

このとき、前記特徴情報は、輝度、色、モーション、テクスチャ、または方向性のうちの１つ以上を含む認識と関連した特徴情報とすることができる。

このとき、前記視覚的関心マップを生成するステップは、前記特徴情報を含む特徴マップをそれぞれ互いに異なる複数のスケール（ｓｃａｌｅ）で抽出するステップと、前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップと、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを用いて、最終の視覚的関心マップを生成するステップとを含むことができる。

このとき、前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップは、前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップとすることができる。

このとき、前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップは、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップとすることができる。

このとき、前記特徴情報は、輝度、色、モーション、テクスチャ、または方向性のうちの１つ以上を含む認識と関連した特徴情報とすることができる。

このとき、前記視覚的関心マップを生成するステップは、前記オブジェクトと関連した特徴情報を含む複数の特徴マップをそれぞれ互いに異なる複数のスケールで抽出するステップと、前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールを有する視覚的関心マップを複数生成するステップと、前記それぞれ互いに異なる複数のスケールを有する複数の視覚的関心マップを各特徴情報別に結合した結合視覚的関心マップを生成するステップと、前記結合視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成するステップとを含むことができる。

このとき、前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを複数生成するステップは、前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップそれぞれにおいて、各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップとすることができる。

このとき、前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを複数生成するステップは、前記複数の特徴マップそれぞれにおいて、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップとすることができる。

このとき、前記視差情報を用いて３次元映像を生成するステップをさらに含むことができる。

このとき、前記視差情報を用いて３次元映像を生成するステップは、前記２次元映像の視差情報による左眼映像および右眼映像を用いて３次元映像を生成するステップとすることができる。

本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器は、２次元映像を分析して視覚的関心度と関連した特徴情報を抽出し、前記特徴情報を用いて視覚的関心マップを生成する視覚的関心マップ生成部と、前記視覚的関心マップを用いて視覚的関心度に基づいた視差情報を生成する視差情報生成部とを備える。

このとき、前記視覚的関心マップ生成部は、前記特徴情報を含む特徴マップを抽出する特徴マップ抽出部と、前記特徴マップを用いて前記視覚的関心マップを生成する低レベル関心計算部とを備えることができる。

このとき、前記低レベル関心計算部は、前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって前記視覚的関心マップを生成することができる。

このとき、前記低レベル関心計算部は、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して前記視覚的関心マップを生成することができる。

このとき、前記視覚的関心マップ生成部は、前記複数の特徴情報を含む複数の特徴マップを抽出する特徴マップ抽出部と、前記特徴マップを用いて前記複数の視覚的関心マップを生成する低レベル関心計算部と、前記視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部とを備えることができる。

このとき、前記視覚的関心マップ生成部は、前記特徴情報を含む特徴マップをそれぞれ互いに異なる複数のスケールで抽出する特徴マップ抽出部と、前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成する低レベル関心計算部と、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを用いて、最終の視覚的関心マップを生成するスケール結合部とを備えることができる。

このとき、前記視覚的関心マップ生成部は、前記特徴情報を含む複数の特徴マップをそれぞれ互いに異なる複数のスケールで抽出する特徴マップ抽出部と、前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールを有する視覚的関心マップを複数生成する低レベル関心計算部と、前記それぞれ互いに異なる複数のスケールを有する複数の視覚的関心マップを各特徴情報別に結合した結合視覚的関心マップを生成するスケール結合部と、前記結合視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部とを備えることができる。

本発明の実施形態に係る方法は、２次元映像から視覚的関心を意味する要素を抽出するステップと、前記視覚的関心を意味する要素に基づいた３次元表示情報を提供するステップとを含むことができる。

本発明の実施形態に係る２次元映像の３次元映像変換方法は、２次元映像の視覚的関心度に対応する特徴情報を用いて少なくとも１つの視覚的関心マップを生成するステップと、前記少なくとも１つの視覚的関心マップと前記２次元映像からの情報を用いて３次元映像を生成するステップとを含むことができる。

このとき、前記視覚的関心度は、前記２次元映像においてオブジェクトの重要性に対する情報とすることができる。

このとき、前記視覚的関心度は、イメージの特定地域において観察者のフォーカスに関する情報とすることができる。

このとき、前記少なくとも１つの視覚的関心マップと前記２次元映像からの情報は、左眼イメージと右眼イメージに対する情報とすることができる。

このとき、前記少なくとも１つの視覚的関心マップは、それぞれの画素に対する輝度、色、モーション、テクスチャ、または方向性のうちの少なくとも１つの差に基づくことができる。

このとき、前記少なくとも１つの視覚的関心マップは、それぞれの画素に対して感知された特徴間の差に基づくことができる。

このとき、前記少なくとも１つの視覚的関心マップは、前記２次元映像の多様な特徴に対応する多数の特徴マップに基づいて生成することができる。

このとき、前記少なくとも１つの視覚的関心マップは、それぞれ互いに異なる複数のスケールの視覚的関心マップの生成によって生成することができる。

このとき、前記３次元映像を生成するステップは、前記少なくとも１つの視覚的関心マップの融合した情報を用いて前記３次元映像を生成することができる。

このとき、前記３次元映像を生成するステップは、前記少なくとも１つの視覚的関心マップの多様なスケールを結合した情報を用いて前記３次元映像を生成することができる。

このとき、前記少なくとも１つの視覚的関心マップを生成するステップは、特徴情報（ｆｅａｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ）を含む特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を互いに異なる複数のスケールで抽出するステップと、複数のスケールの視覚的関心マップを生成するステップと、前記複数のスケールの視覚的関心マップを多様なスケール結合を介して少なくとも１つの視覚的関心マップを生成するステップとを含むことができる。

本発明の実施形態によれば、２次元映像を用いて視覚的関心マップを生成し、これに基づいた視差情報を生成して３次元映像変換に用いることができるようにすることで、観察者により一層臨場感のある３次元映像を提供することができる。

また、本発明の実施形態によれば、映像のテキストまたは物体を画面から観察者方向に引き寄せて配置させることによってユーザの注意を促し、これによって観察者は、テキストまたは物体などが観察者に向かって自然に突出した形態の３次元映像を体感し、より一層臨場感のある３次元立体感を感じることができる。

本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器を適用したシステムを示す図である。 本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器を示す構成図である。 本発明の実施形態に係る視覚的関心マップ生成部を示す構成図である。 本発明の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。 本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。 本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。 本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。 本発明の実施形態に係る低レベル関心計算方法を説明するための図である。 本発明のさらに他の実施形態に係る低レベル関心計算方法を説明するための図である。 本発明のさらに他の実施形態に係る低レベル関心計算方法を説明するための図である。 本発明の実施形態に係る映像で関心対象となるオブジェクトを示す図である。 本発明の実施形態に係る映像で関心対象となるオブジェクトを示す図である。 本発明の実施形態に係る映像で関心対象となるオブジェクトを示す図である。 本発明の実施形態に係る映像で関心対象となるオブジェクトを示す図である。 本発明の実施形態に係る映像を示す図である。 本発明の実施形態に係る映像に対して関心対象を表示した視覚的関心マップを示す図である。

以下、添付の図面および添付の図面に記載された内容を参照しながら、実施形態について詳細に説明する。図中、同じ参照符号は同じ部材を示す。

本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換の原理は、２次元映像を分析して視覚的関心度と関連した特徴情報を抽出し、特徴情報を用いて視覚的関心マップを生成し、視覚的関心マップを用いて視覚的関心度に基づいた視差情報を生成することである。

図１は、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器を適用したシステムを示す図である。図１を参照しながら、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器および２次元映像の３次元映像変換器が適用されたシステムについて説明する。

より詳細に説明すれば、図１は、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器１３０をステレオＴＶ（Ｓｔｅｒｅｏｓｃｏｐｉｃ ＴＶ）１２０に適用した一例である。

本発明の実施形態に係る２次元映像の３次元映像変換器１３０は、ＴＶで視聴することができるすべての種類の２次元映像を３次元映像に変換することができる。

すなわち、提案される実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器１３０は、地上波放送チューナ（Ｔｕｎｅｒ）、衛星放送受信端末機、ケーブルＴＶ受信コンバータ、ＶＣＲ、ＤＶＤプレーヤ、ＨＤＴＶ放送受信機、ブルーレイディスクプレーヤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｐｌａｙｅｒ）、ゲームコンソール（Ｇａｍｅ Ｃｏｎｓｏｌｅ）などの多様な映像受信および再生装備１１０に含まれて構成することができる。また、このような映像の受信および再生装備から２次元映像を受信し、表示するディスプレイ装置を介して３次元映像を実現することができる。

ステレオＴＶ装置１２０に映像が入力されれば、２次元映像の３次元映像変換器１３０は、ステレオ方式の左眼／右眼映像を生成する。ステレオＴＶ１２０は左眼／右眼映像を交互に表示し、観察者はＩＲ（赤外線）リンクを介してコントロールされるシャッタ眼鏡（Ｓｈｕｔｔｅｒ Ｇｌａｓｓｅｓ）１５０を使用着用し、左眼および右眼に入力される映像を介して３次元映像を認識することができる。

より詳察すれば、視覚的関心に基づいた２次元映像の３次元映像変換器１３０は、視覚的に興味深い領域を観察者にできるだけ近くに配置し、興味のない領域を観察者からできるだけ遠くに配置することができる。このような実施形態に係る視覚的関心による３次元映像変換は、既存の深さ基盤ステレオ変換と差別化することができる。

２次元映像の３次元映像への変換のためには、映像の全領域の視差計算が必要となるので、３次元ディスプレイに適した視覚的関心マップによる計算法が必要である。

視覚的関心に基づいた２次元映像の３次元映像変換器１３０は、輝度、色、テクスチャ、モーション、方向性などの多様な特徴情報に基づいて特徴情報抽出を実行することができる。

視覚的関心に基づいた２次元映像の３次元映像変換器１３０は、このような特徴情報を用いて視覚的関心マップを生成することができ、このように生成された視覚的関心マップに基づいて推論して最終の視覚的関心マップを完成することができる。

このような方法は、多様な特徴を総合して最終マップを完成するので、１つの特徴に依存する方法に比べて正確かつロバスト（Ｒｏｂｕｓｔ）である。

この後、最終の視覚的関心マップを用いて２次元映像の視差情報を生成し、視差情報を用いてフレーム遅延部１４０によってフレーム遅延（Ｆｒａｍｅ Ｄｅｌａｙ）が適用された出力フレーム（または映像）が生成される。

観察者は、シャッタ眼鏡１５０などを介してこのような出力フレーム（または映像）を視聴して３次元映像を認識することができる。

図２は、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器を示す構成図である。図２を参照しながら、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器について説明する。

視覚的関心マップ生成部２１０は、２次元映像におけるオブジェクトの重要度に対する情報である視覚的関心情報を含む視覚的関心マップを生成する。

視覚的関心マップは、２次元映像に対する視覚的関心度を計算して生成され、２次元映像におけるオブジェクトに対する重要度に関する情報を含むことができる。

視覚的関心度は、生理学（Ｐｈｙｓｉｏｌｏｇｙ）、心理学（Ｐｓｙｃｈｏｌｏｇｙ）、神経系学（Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ）、さらにコンピュータ・ビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）などで研究が進められている。人間の脳と認知システムは一般的に映像の特定領域にさらに集中するという事実が立証され、このような視覚的関心度は、物体認識、追跡、発見などの伝統的コンピュータ・ビジョン問題のソリューション性能向上に適用が可能である。

本発明の実施形態によれば、このような視覚的関心を用いた視覚的関心マップを生成し、これに基づいた視差を生成して３次元映像変換に用いることができる。

すなわち、２次元映像における視覚的に興味深い領域を観測者にできるだけ近くに配置し、興味のない領域を観測者からできるだけ遠ざける。このような視覚的関心による３次元映像変換は、既存の深さ基盤ステレオ変換と差別化される。

視差情報生成部２２０は、視覚的関心マップを用いて２次元映像の視差情報を生成する。このとき、視差情報生成部２２０は、視覚的関心マップを用いて２次元映像の左眼映像および右眼映像に対する情報を含む視差情報を生成することができる。

３次元映像制御部２３０は、視差情報を用いて３次元映像を生成するように制御する。このとき、３次元映像制御部２３０は、左眼映像および右眼映像を用いて３次元映像を生成することができる。

図３は、本発明の実施形態に係る視覚的関心マップ生成部を示す構成図である。図３を参照しながら、本発明の実施形態に係る視覚的関心マップ生成部の構成について説明する。

視覚的関心マップ生成部２１０は、特徴マップ抽出部３１０と、低レベル関心計算部３２０と、スケール結合部３３０と、線形／非線形結合部３４０とを備える。

特徴マップ抽出部３１０は、オブジェクトと関連した特徴情報を含む特徴マップを抽出する。

低レベル関心計算部３２０は、特徴マップを用いて視覚的関心マップを生成する。

低レベル関心計算部３２０は、特徴マップの各ピクセルと各ピクセルの隣接ピクセルとの特徴情報の値の差を計算するコントラスト計算によって視覚的関心マップを生成することができる。また、低レベル関心計算部３２０は、特徴マップの選定された中央領域と選定された周辺領域の特徴情報の値のヒストグラムの差を計算して視覚的関心マップを生成することができる。

このとき、特徴情報は、輝度、色、モーション、テクスチャ、方向性を含む認識と関連した特徴情報とすることができる。

また、他の実施形態によれば、視覚的関心マップ生成部２１０は、オブジェクトと関連した特徴情報を含む複数の特徴マップを抽出する特徴マップ抽出部３１０と、特徴マップを用いて複数の視覚的関心マップを生成する低レベル関心計算部３２０と、視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部３４０とを備えることができる。

また、他の実施形態によれば、視覚的関心マップ生成部２１０は、オブジェクトと関連した特徴情報を含む特徴マップを多様なスケールで抽出する特徴マップ抽出部３１０と、多様なスケールの特徴マップを用いて低レベル関心計算（Ｌｏｗ−ｌｅｖｅｌ Ａｔｔｅｎｔｉｏｎ Ｃｏｍｐｕｔａｔｉｏｎ）をして多様なスケールの視覚的関心マップを生成する低レベル関心計算部３２０と、多様なスケールの視覚的関心マップを用いて視覚的関心マップを生成するスケール結合部３３０とを備えることができる。

さらに、他の実施形態によれば、視覚的関心マップ生成部２１０は、オブジェクトと関連した特徴情報を含む複数の特徴マップを多様なスケールで抽出する特徴マップ抽出部３１０と、多様なスケールを有する複数の特徴マップを用いて、多様なスケールの視覚的関心マップを複数生成する低レベル関心計算部３２０と、多様なスケールを有する複数の視覚的関心マップを各特徴情報別に結合した視覚的関心マップを生成するスケール結合部３３０と、視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部３４０とを備えることができる。

このような多様な視覚的関心マップ生成部２１０の構成により、多様な方法によって視覚的関心マップに基づいて推論し、最終の視覚的関心マップを完成することができる。

図４は、本発明の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。図４を参照しながら、本発明の実施形態に係る視覚的関心マップを生成する方法について説明する。

特徴マップ抽出部は、２次元映像のオブジェクトと関連した特徴情報を抽出し（Ｓ４１０）、特徴情報を含む特徴マップを生成する（Ｓ４２０）。

このとき、特徴情報としては、図４に示すように、輝度を用いることができる。すなわち、特徴マップ抽出部は、２次元映像が入力されれば映像分析を介して輝度成分（Ｌｕｍｉｎａｎｃｅ ｃｏｍｐｏｎｅｎｔ）を抽出することができる。

この後、低レベル関心計算部は、特徴マップを用いて視覚的関心マップを生成する（Ｓ４３０）。

このとき、低レベル関心計算部は、特徴マップを用いて視覚的関心マップを生成するときに、特徴マップの各ピクセルと各ピクセルの隣接ピクセルとの特徴情報の値の差を計算するコントラスト計算によって視覚的関心マップを生成したり、特徴マップの選定された中央領域と選定された周辺領域の特徴情報の値のヒストグラムの差を計算して視覚的関心マップを生成したりすることができる。

すなわち、低レベル関心計算部は、輝度のコントラスト計算または中央−周辺ヒストグラム（Ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ Ｈｉｓｔｏｇｒａｍ）計算によって視覚的関心マップを生成することができ、この他にも輝度の多様な特徴を分析して視覚的関心マップを生成することができる。

図５は、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。図５を参照しながら、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法について説明する。

特徴マップ抽出部は、２次元映像のオブジェクトと関連した複数の特徴情報を抽出し（Ｓ５１０）、抽出された特徴情報を含む複数の特徴マップを生成することができる（Ｓ５２０）。

このとき、特徴情報としては、輝度の他にも、色、モーション、方向性を含む認識と関連した多様な特徴情報を用いることができる。すなわち、特徴マップ抽出部は、多様な特徴情報を用いて複数の特徴マップを抽出することができる。

低レベル関心計算部は、このように抽出された特徴マップを用いて低レベル関心計算し（Ｓ５３０）、複数の視覚的関心マップを生成することができる（Ｓ５４０）。

視覚的認識（Ｖｉｓｕａｌ Ｐｅｒｃｅｐｔｉｏｎ）は極めて複雑なプロセスであり、多様な特徴情報が同時に影響を及ぼすことがある。例えば、上記した特徴情報のうちのいずれか２つの特徴情報は、選定された領域に対して低レベル関心計算結果が一致することもあり、これとは反対に相互配置することもある。したがって、よりロバストな視覚的関心マップを生成するためには、多数の特徴情報の結果を総合的に判断しなければならない。

線形／非線形融合部は、このように生成された視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成することができる（Ｓ５５０）。

すなわち、図５に示す一実施形態に係る視覚的関心マップを生成する方法によれば、視覚的関心に基づいた２次元映像の３次元映像変換器は、多様な特徴情報を抽出し、線形融合または非線形融合を用いて視覚的関心マップを生成することができる。したがって、図５の実施形態によれば、視覚関心マップの計算のための多様な特徴情報に対して多様な組み合わせが可能である。

図６は、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。図６を参照しながら、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法について説明する。

一般的に用いられる２次元映像のサイズは多様であり、高画質ビデオ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｖｉｄｅｏ）や超高画質ビデオ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｖｉｄｅｏ）などはすべてのピクセルを対象として現在広く用いられているハードウェアを用い、複雑な（Ｃｏｍｐｌｅｘ）演算を実行するにはサイズが極めて大きい。

したがって、このような場合には、図６に示すような効率的な演算のために、多重解像度（Ｍｕｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ）方法を用いることができる。

特徴マップ抽出部は、２次元映像のオブジェクトと関連した特徴情報を抽出し（Ｓ６１０）、抽出された特徴情報を含む特徴マップを多様なスケールで抽出することができる（Ｓ６２０）。

低レベル関心計算部は、多様なスケールの特徴マップを用いて低レベル関心計算をし（Ｓ６３０）、多様なスケールの視覚的関心マップを生成することができる（Ｓ６４０）。

この後、スケール結合部は、多様なスケールの視覚的関心マップを用いて視覚的関心マップを生成することができる（Ｓ６５０）。

すなわち、図６に示すような実施形態によれば、高解像度（Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ）で演算する場合に、各ピクセルに対して演算数を減らすことによって全体での時間複雑度を減らすことができ、全体領域または一部領域に対してより多くの情報を提供することができる。

図７は、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法を説明するためのフローチャートである。図７を参照しながら、本発明のさらに他の実施形態に係る視覚的関心マップを生成する方法について説明する。

特徴マップ抽出部は、２次元映像を用いて視覚的関心度と関連した特徴情報を抽出し（Ｓ７１０）、視覚的関心度と関連した特徴情報を含む複数の特徴マップを多様なスケールで抽出することができる（Ｓ７２０）。

低レベル関心計算部は、多様なスケールを有する複数の特徴マップを用いて低レベル関心計算をし（Ｓ７３０）、多様なスケールの視覚的関心マップを複数生成することができる（Ｓ７４０）。

スケール結合部は、多様なスケールを有する複数の視覚的関心マップを各特徴情報別に結合した視覚的関心マップを生成することができる（Ｓ７５０、Ｓ７６０）。

線形／非線形融合部は、視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成することができる（Ｓ７７０）。

したがって、本発明の実施形態に係る視覚的関心に基づいた２次元映像の３次元映像変換器は、視覚的関心マップを生成して視覚的に興味深い領域を観察者にできるだけ近くに配置し、興味のない領域を観察者からできるだけ遠くに配置し、これに基づいた視差を生成して３次元映像変換に用いることで、観察者により臨場感のある３次元映像を提供することができる。

図８は、本発明の実施形態に係る低レベル関心計算方法を説明するための図である。図８を参照しながら、本発明の実施形態に係る低レベル関心計算方法について説明する。

低レベルの視覚的関心マップ８２０を計算するためには、特徴マップ８１０に対する分析が必要となる。

本発明の実施形態によれば、線形融合または非線形融合を介して最終の視覚的関心マップを生成することができる。図８は、このような最終の視覚的関心マップを生成するためにコントラストを用いて計算する方法について説明している。

任意のピクセルの関心値（Ａｔｔｅｎｔｉｏｎ Ｖａｌｕｅ）８２１は、隣接ピクセル（Ｎｅｉｇｈｂｏｒ Ｐｉｘｅｌ）との特徴値の差（Ｆｅａｔｕｒｅ Ｖａｌｕｅ Ｄｉｓｔａｎｃｅ）８１１で定義することができる。このとき、特徴値の差は、各特徴値のメトリック（ｍｅｔｒｉｃ）に適するように定義される。例えば、輝度に対しては絶対差（Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や二乗差（Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などの適用が可能であり、色は色空間（Ｃｏｌｏｒ ｓｐａｃｅ）におけるユークリッド空間（Ｅｕｃｌｉｄｅａｎ Ｓｐａｃｅ）などの適用が可能である。

すなわち、図８に示す実施形態のコントラストに基づいた関心マップ（Ｃｏｎｔｒａｓｔ−ｂａｓｅｄ Ａｔｔｅｎｔｉｏｎ Ｍａｐ）の計算は、視覚的関心と関連した多様なすべての特徴に使用が可能である。

図９および図１０は、本発明のさらに他の実施形態に係る低レベル関心計算方法を説明するための図である。図９および図１０を参照しながら、本発明のさらに他の実施形態に係る低レベル関心計算方法について説明する。

より詳細に説明すれば、図１０は、本発明の実施形態に係る中央−周辺ヒストグラムを用いる方法を示している。

中央−周辺ヒストグラムを用いる方法は、任意のピクセルに基づいて２つのタイプの隣接領域（Ｎｅｉｇｈｂｏｒ Ａｒｅａ）を定義する。ピクセルの基準にしたがい、それぞれを中央領域（Ｃｅｎｔｅｒ Ａｒｅａ）１０１１、周辺領域（Ｓｕｒｒｏｕｎｄ Ａｒｅａ）１０１２と定義する。周辺領域１０１２は中央領域１０１１を含むが、面積は中央領域１０１１よりも相対的に大きい。

このような２つの隣接領域のヒストグラムを抽出し、多様なヒストグラム差測定（Ｈｉｓｔｏｇｒａｍ Ｄｉｓｔａｎｃｅ Ｍｅａｓｕｒｅ）を用いて、２つの領域の特徴値の差１０２１を求めることができる。したがって、２つの領域の特徴の差値による低レベル関心計算を実行することができる。

例えば、図９において、一番左側のオブジェクト（蟻）の場合には、中央領域９１０と周辺領域９２０のヒストグラムの差が大きいので差値が高い。一方、右側上端の背景のような場合には、中央領域９３０と周辺領域９４０の特性が類似しているので差値が低い。

したがって、一番左側のオブジェクト（蟻）が関心対象として指定された低レベルの関心マップを生成することができる。

このとき、低レベルの関心マップは、このような方法またはこのような方法を確張したものの他にも、異なる多様な接近によって求めることができる。

図１１〜１４は、本発明の実施形態に係る映像で関心対象となるオブジェクトを示す図である。

図１１〜１４は、観察者が映像で視覚的に関心の対象となるオブジェクト１１１０、１２１０、１２２０、１３１０、１３２０、１３３０、１４１０、１４２０、１４３０の一例を示している。

このように関心を有する対象を３次元対象に変換するためには、興味度が高い対象を探すだけではなく、視差生成に必要なピクセル単位の関心マップが必要となる。

図１５は本発明の実施形態に係る映像を示す図であり、図１６は本発明の実施形態に係る視覚的関心マップを示す図である。

図１６は、観察者が映像で視覚的に関心を有するオブジェクトを示したものであり、関心度が高いほど白色１６１０で示され、関心度が低いほど黒色１６２０で示される。

提案される実施形態によれば、図１６に示す視覚的関心マップを用いてオブジェクト（テキストまたは物体など）を観察者の方向に引き寄せて配置させることによってユーザの注意を促し、それによる適した３次元映像を提供することができる。

より詳細に説明すれば、３次元映像を提供するときに、白色部分１６１０は観察者に近く感じられるようにし、黒色部分１６２０は観察者から遠く離れているように感じられるようにする。

したがって、観察者は、テキストまたは物体などが観察者に向かって自然に突出した形態の３次元映像として認識することができる。

なお、上述した方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１１０：映像受信および再生装備
１２０：ステレオＴＶ
１３０：映像変換器
１４０：フレーム遅延部
１５０：シャッタ眼鏡

Claims (40)

1. ２次元映像から視覚的関心度と関連した特徴情報を抽出し、前記特徴情報を用いて視覚的関心マップを生成するステップと、
   前記視覚的関心マップを用いて視覚的関心度に基づいた視差情報を生成するステップと、
   を含むことを特徴とする視覚的関心に基づいた２次元映像の３次元映像変換方法。
2. 前記視覚的関心マップを生成するステップは、
   視覚的関心度と関連した特徴情報を含む特徴マップを抽出するステップと、
   前記特徴マップを用いて前記視覚的関心マップを生成するステップと、
   を含むことを特徴とする請求項１に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
3. 前記特徴マップを用いて前記視覚的関心マップを生成するステップは、
   前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの特徴情報値の差を計算するコントラスト計算によって前記視覚的関心マップを生成することを特徴とする請求項２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
4. 前記特徴マップを用いて前記視覚的関心マップを生成するステップは、
   前記特徴マップの選定された中央領域と選定された周辺領域の特徴情報値のヒストグラムの差を計算して前記視覚的関心マップを生成することを特徴とする請求項２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
5. 前記特徴情報は、
   輝度、色、モーション、テクスチャ、または方向性のうちの１つ以上を含むことを特徴とする請求項２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
6. 前記視覚的関心マップを生成するステップは、
   視覚的関心度と関連した複数の特徴情報を含む複数の特徴マップを抽出するステップと、
   前記複数の特徴マップを用いて複数の視覚的関心マップを生成するステップと、
   前記複数の視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成するステップと、
   を含むことを特徴とする請求項１に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
7. 前記最終の視覚的関心マップを生成するステップは、
   前記複数の視覚的関心マップを線形融合または非線形融合を介して前記最終の視覚的関心マップを生成することを特徴とする請求項６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
8. 前記複数の特徴マップを用いて前記複数の視覚的関心マップを生成するステップは、
   前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報値の差を計算するコントラスト計算によって前記複数の視覚的関心マップを生成するステップ、
   であることを特徴とする請求項６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
9. 前記特徴マップを用いて前記複数の視覚的関心マップを生成するステップは、
   前記特徴マップの選定された中央領域と選定された周辺領域の特徴情報値のヒストグラムの差を計算して前記複数の視覚的関心マップを生成するステップ、
   であることを特徴とする請求項６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
10. 前記選定された中央領域と前記選定された周辺領域が１つの連続した領域であれば、前記選定された中央領域は、前記１つの連続した領域の中央に位置することを特徴とする請求項９に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法
11. 前記特徴情報は、
    輝度、色、モーション、テクスチャ、または方向性のうちの１つ以上を含むことを特徴とする請求項６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
12. 前記視覚的関心マップを生成するステップは、
    特徴情報を含む特徴マップを互いに異なる複数のスケールで抽出するステップと、
    前記互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップと、
    前記それぞれ互いに異なる複数のスケールの視覚的関心マップを用いて、最終の視覚的関心マップを生成するステップと、
    を含むことを特徴とする請求項１に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
13. 前記互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップは、
    前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの特徴情報値の差を計算するコントラスト計算によって、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップ、
    であることを特徴とする請求項１２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
14. 前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップは、
    前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップ、
    であることを特徴とする請求項１２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
15. 前記特徴情報は、
    輝度、色、モーション、テクスチャ、または方向性のうちの１つ以上を含むことを特徴とする請求項１２に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
16. 前記視覚的関心マップを生成するステップは、
    前記特徴情報を含む複数の特徴マップをそれぞれ互いに異なる複数のスケールで抽出するステップと、
    前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールを有する視覚的関心マップを複数生成するステップと、
    前記それぞれ互いに異なる複数のスケールを有する複数の視覚的関心マップを各特徴情報別に結合した結合視覚的関心マップを生成するステップと、
    前記結合視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成するステップと、
    を含むことを特徴とする請求項１に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
17. 前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを複数生成するステップは、
    前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップそれぞれにおいて、各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップ、
    であることを特徴とする請求項１６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
18. 前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを複数生成するステップは、
    前記複数の特徴マップそれぞれにおいて、前記特徴マップの選定された中央領域と選定された周辺領域の前記特徴情報の値のヒストグラムの差を計算して、前記それぞれ互いに異なる複数のスケールの視覚的関心マップを生成するステップ、
    であることを特徴とする請求項１６に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
19. 前記視差情報を用いて３次元映像を生成するステップ、
    をさらに含むことを特徴とする請求項１に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
20. 前記視差情報を用いて３次元映像を生成するステップは、
    前記２次元映像の視差情報による左眼映像および右眼映像を用いて３次元映像を生成するステップ、
    であることを特徴とする請求項１９に記載の視覚的関心に基づいた２次元映像の３次元映像変換方法。
21. ２次元映像を分析して視覚的関心度と関連した特徴情報を抽出し、前記特徴情報を用いて視覚的関心マップを生成する視覚的関心マップ生成部と、
    前記視覚的関心マップを用いて視覚的関心度に基づいた視差情報を生成する視差情報生成部と、
    を備えることを特徴とする視覚的関心に基づいた２次元映像の３次元映像変換器。
22. 前記視覚的関心マップ生成部は、
    前記特徴情報を含む特徴マップを抽出する特徴マップ抽出部と、
    前記特徴マップを用いて前記視覚的関心マップを生成する低レベル関心計算部と、
    を備えることを特徴とする請求項２１に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
23. 前記低レベル関心計算部は、
    前記特徴マップの各ピクセルと前記各ピクセルの隣接ピクセルとの前記特徴情報の値の差を計算するコントラスト計算によって前記視覚的関心マップを生成することを特徴とする請求項２２に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
24. 前記低レベル関心計算部は、
    前記特徴マップの選定された中央領域と選定された周辺領域の特徴情報値のヒストグラムの差を計算して前記視覚的関心マップを生成することを特徴とする請求項２２に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
25. 前記視覚的関心マップ生成部は、
    前記オブジェクトと関連した複数の特徴情報を含む複数の特徴マップを抽出する特徴マップ抽出部と、
    前記複数の特徴マップを用いて前記複数の視覚的関心マップを生成する低レベル関心計算部と、
    前記視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部と、
    を備えることを特徴とする請求項２１に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
26. 前記視覚的関心マップ生成部は、
    前記特徴情報を含む特徴マップをそれぞれ互いに異なる複数のスケールで抽出する特徴マップ抽出部と、
    前記それぞれ互いに異なる複数のスケールの特徴マップを用いて、それぞれ互いに異なる複数のスケールの視覚的関心マップを生成する低レベル関心計算部と、
    前記それぞれ互いに異なる複数のスケールの視覚的関心マップを用いて最終の視覚的関心マップを生成するスケール結合部と、
    を備えることを特徴とする請求項２１に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
27. 前記視覚的関心マップ生成部は、
    前記特徴情報を含む複数の特徴マップをそれぞれ互いに異なる複数のスケールで抽出する特徴マップ抽出部と、
    前記それぞれ互いに異なる複数のスケールを有する複数の特徴マップを用いて、前記それぞれ互いに異なる複数のスケールを有する視覚的関心マップを複数生成する低レベル関心計算部と、
    前記それぞれ互いに異なる複数のスケールを有する複数の視覚的関心マップを各特徴情報別に結合した結合視覚的関心マップを生成するスケール結合部と、
    前記結合した視覚的関心マップを線形融合または非線形融合を介して最終の視覚的関心マップを生成する線形／非線形融合部と、
    を備えることを特徴とする請求項２１に記載の視覚的関心に基づいた２次元映像の３次元映像変換器。
28. ２次元映像から視覚的関心を意味する要素を抽出するステップと、
    前記視覚的関心を意味する要素に基づいた３次元表示情報を提供するステップと、
    を含む方法。
29. ２次元映像の視覚的関心度に対応する特徴情報を用いて少なくとも１つの視覚的関心マップを生成するステップと、
    前記少なくとも１つの視覚的関心マップと前記２次元映像からの情報を用いて３次元映像を生成するステップと、
    を含むことを特徴とする２次元映像の３次元映像変換方法。
30. 前記視覚的関心度は、
    前記２次元映像においてオブジェクトの重要性に対する情報であることを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
31. 請求項２８の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
32. 前記視覚的関心度は、
    イメージの特定地域において観察者のフォーカスに関する情報であることを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
33. 前記少なくとも１つの視覚的関心マップと前記２次元映像からの情報は、
    左眼イメージと右眼イメージに対する情報を含むことを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
34. 前記少なくとも１つの視覚的関心マップは、
    それぞれの画素に対して輝度、色、モーション、テクスチャ、または方向性のうちの少なくとも１つの差に基づくことを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
35. 前記少なくとも１つの視覚的関心マップは、
    それぞれの画素に対して感知された特徴間の差に基づくことを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
36. 前記少なくとも１つの視覚的関心マップは、
    前記２次元映像の多様な特徴に対応する多数の特徴マップに基づいて生成されることを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
37. 前記少なくとも１つの視覚的関心マップは、
    それぞれ互いに異なる複数のスケールの視覚的関心マップの生成によって生成されることを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。
38. 前記３次元映像を生成するステップは、
    前記少なくとも１つの視覚的関心マップの融合した情報を用いて前記３次元映像を生成することを特徴とする請求項３６に記載の２次元映像の３次元映像変換方法。
39. 前記３次元映像を生成するステップは、
    前記少なくとも１つの視覚的関心マップの多様なスケールを結合した情報を用いて前記３次元映像を生成することを特徴とする請求項３７に記載の２次元映像の３次元映像変換方法。
40. 前記少なくとも１つの視覚的関心マップを生成するステップは、
    特徴情報を含む特徴マップを互いに異なる複数のスケールで抽出するステップと、
    複数のスケールの視覚的関心マップを生成するステップと、
    前記複数のスケールの視覚的関心マップを多様なスケール結合を介して少なくとも１つの視覚的関心マップを生成するステップと、
    を含むことを特徴とする請求項２９に記載の２次元映像の３次元映像変換方法。