JP2015534766A - 多視点映像生成方法及び多視点映像ディスプレイ装置 - Google Patents

Abstract

本発明は、原本映像で構造をなす部分を効果的に処理することで、滑らかな多視点映像を生成することができる多視点映像生成方法及び多視点映像ディスプレイ装置を提供することを目的とする。多視点映像生成方法を開示する。本発明の多様な実施形態に係る多視点映像生成方法は、原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割するステップと、原本映像の予め設定された領域内で分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択するステップと、分割された少なくとも１つのパッチ上のホール領域を選択された領域のピクセル値で埋めて第１視点映像を生成するステップとを含む。

Description

本発明は、多視点映像生成方法に関し、より詳細には、ホール映像を生成してホール領域を埋めることによって多視点映像を生成することができる多視点映像生成方法及び多視点映像ディスプレイ装置に関する。

電子技術の発達により、多様な電子機器が開発及び普及されている。特に、一般家庭で最も多く使用されている家電製品の１つであるテレビのようなディスプレイ装置は、ここ数年間急ピッチの発展を遂げている。

ディスプレイ装置の性能が高級化するにつれ、ディスプレイ装置でディスプレイするコンテンツの種類も多様化している。特に、最近は、３Ｄコンテンツまで視聴できる立体ディスプレイシステムが開発されて普及されている。

立体ディスプレイ装置は、一般家庭で使用される３Ｄテレビだけでなく、各種モニタや、携帯電話、ＰＤＡ、パソコン、セットトップパソコン、タブレットパソコン、デジタルフォトフレーム、キヨスク端末等のような多様な類型のディスプレイ装置で実現され得る。なお、３Ｄディスプレイ技術は、家庭内における使用だけでなく、科学や医学デザイン、教育、広告、コンピュータゲーム等のように３Ｄイメージングが必要な多様な分野で活用することができる。

立体ディスプレイシステムは、大きくメガネをかけずに視聴可能な裸眼式システムと、メガネを着用して視聴しなければならないメガネ式システムとに分類することができる。

メガネ式システムの一例として、シャッタグラス方式のディスプレイ装置がある。シャッタグラス方式とは、左眼イメージ及び右眼イメージを交互に出力しつつ、それと連動してユーザの着用した３Ｄメガネの左右シャッタグラスを交互に開閉させてユーザが立体感を感じることができるようにする方式である。

裸眼式システムは、オートステレオスコピ（Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｙ）システムとも呼ばれる。裸眼式の３Ｄディスプレイ装置は、空間的にシフトされた多視点映像をディスプレイすると同時にパララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラ（Ｌｅｎｔｉｃｕｌａｒ）レンズを用いて視聴者の左眼及び右眼に異なる視点に映像に該当する光が投射されるようにし、ユーザが立体感を感じることができるようにする。

メガネ式システムは、満足のいく立体感を提供することができる一方で、視聴者が必ずメガネを使用しなければならないという不都合があった。その一方、裸眼式システムは、メガネがなくとも３Ｄイメージを視聴することができるというメリットがあり、裸眼式システムに対する開発への論議が絶えず行われている。

図１は、従来の裸眼式３Ｄディスプレイ装置の構成を示す図である。図１によると、従来の３Ｄディスプレイ装置は、バックライトユニット１０と、イメージパネル２０及びパララックス部３０を含む。

パララックス部３０は、パララックスバリアとして知られる不透明シールド（ｏｐａｑｕｅ ｓｈｉｅｌｄ）のスリットアレイまたはレンチキュラレンズアレイからなってよい。図１においては、レンチキュラレンズアレイで実現された場合を示す。

図１によると、イメージパネル２０は、複数の列（ｃｏｌｕｍｎ）に区分される複数のピクセルを含む。各列別に異なる視点のイメージが配置される。図１によると、相互異なる視点の複数のイメージ１、２、３、４が順次に繰り返し配置される形態を示す。すなわち、各ピクセル列は、１、２、３、４にナンバリングされたグループで配列される。パネルに印加されるグラフィック信号は、ピクセル列１が一番目のイメージをディスプレイし、ピクセル列２が二番目のイメージをディスプレイするように配列される。

バックライトユニット１０は、イメージパネル２０に光を提供する。バックライトユニット１０から提供される光によって、イメージパネル２０に形成される各イメージ１、２、３、４は、パララックス部３０に投射され、パララックス部３０は、投射される各イメージ１、２、３、４の光を分散させて視聴者方向に伝達する。すなわち、パララックス部３０は、視聴者の位置、すなわち、視聴距離に出口瞳孔（ｅｘｉｔ ｐｕｐｉｌｓ）を生成する。レンチキュラレンズアレイで実現された場合、レンチキュラレンズの厚さ及び直径、パララックスバリアで実現された場合、スリットの間隔等は各列によって生成される出口瞳孔が６５ｍｍ未満の平均両眼中心距離に分離されるように設計されてよい。分離されたイメージ光は、それぞれの視聴領域を形成する。すなわち、図１に示すように、視聴領域１、２、３、４が形成される。

このような状態で、ユーザの左目５１が視聴領域３に位置し、右眼５２が視聴領域２に位置すると、ユーザは特殊メガネがなくても立体感を感じることができるようになる。

裸眼式システム（以下では、多視点映像生成装置と通称する）は、原本映像から複数個の多視点映像を生成するようになる。例えば、１つ以上の原本映像から相互異なる９視点を有する各映像を生成することができる。

一例として、原本映像から一定視点を有するホール映像を生成し、ホール映像を補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）する方法があってよい。韓国特開第２０１０−００４０５９３号公報、韓国特開第２０１１−００８５４６９号公報は、このような多視点映像生成方法を開示している。

しかし、従来のホール領域補間方法は、水平ライン単位で単に隣接する背景のピクセル値でホール領域を埋めたり、ホールサイズを縮小させる方法に過ぎなかった。この場合、度々実際に生成された多視点映像のホール領域に対応する部分の映像が歪むという現象が発生する。特に、ホール領域の周辺背景が映像から構造的に突出した領域の場合のようにデプス（ｄｅｐｔｈ）が高い場合、このような映像の歪みが深刻になる。よって、原本映像で構造をなす部分を効果的に処理することで、滑らかな多視点映像を生成することができる方策が求められる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、原本映像で構造をなす部分を効果的に処理することで、滑らかな多視点映像を生成することができる多視点映像生成方法及び多視点映像ディスプレイ装置を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る多視点映像生成方法は、多視点映像生成方法において、原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、前記生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割するステップと、前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択するステップと、前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成するステップとを含む。

なお、前記選択するステップは、前記原本映像の予め設定された領域内で比較対象となる領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較するステップと、前記比較結果に基づいて前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択するステップとを含んでよい。

なお、前記多視点映像生成方法は、前記原本映像のデプス情報を用いて第１ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、前記生成された第１視点映像のデプス情報を用いて第２ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を生成するステップとを更に含んでよい。

このとき、前記ホール映像を生成するステップは、前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて生成してよい。

なお、前記選択するステップは、前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景とのピクセル値の差が大きいパッチに対して優先して行われてよい。

なお、前記選択するステップは、前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断してよい。

なお、前記多視点映像生成方法は、前記ホール映像のホール領域が全て埋まるまで前記過程を繰り返して前記第１視点映像を生成してよい。

なお、前記多視点映像生成方法は、前記第１視点映像及び第２視点映像の相互対応する領域のピクセルを組み合わせて多視点映像を生成するステップを更に含んでよい。

以上のような目的を達成するための本発明の一実施形態に係る多視点映像ディスプレイ装置は、多視点映像ディスプレイ装置において、原本映像を受信する受信部と、前記原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するホール映像生成モジュールと、前記生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割し、前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する類似領域選択モジュールと、前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成する映像生成モジュールとを含む制御部と、前記生成された第１視点映像を出力するディスプレイパネルとを含む。

なお、前記類似領域選択モジュールは、前記原本映像の予め設定された領域内で比較対象となる領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較し、前記比較結果に基づいて前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択してよい。

なお、前記ホール映像生成モジュールは、前記原本映像のデプス情報を用いて第１ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成し、前記生成された第１視点映像のデプス情報を用いて第２ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を更に生成し、前記映像生成モジュールは、前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を生成してよい。

なお、前記ホール映像生成モジュールは、前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて生成してよい。

なお、前記類似領域選択モジュールは、前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景とのピクセル値の差が大きいパッチに対して優先して前記選択動作を行ってよい。

なお、前記類似領域選択モジュールは、前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断してよい。

なお、前記類似領域選択モジュールと前記映像生成モジュールとは、前記ホール映像のホール領域が全て埋まるまで前記過程を繰り返して前記第１視点映像を生成してよい。

なお、前記制御部は、前記第１視点映像及び第２視点映像の相互対応する領域のピクセルを組み合わせて多視点映像を生成する多視点映像生成モジュールを更に含んでよい。

以上説明したように、本発明によれば、原本映像で構造をなす部分を効果的に処理することで、滑らかな多視点映像を生成することができるようになる。

従来の裸眼式３Ｄディスプレイ装置の構成を示す図である。 本発明の一実施形態に係る多視点映像生成方法を示すフローチャートである。 ホール映像を生成するための原本映像を説明するための図である。 生成されたホール映像を示す図である。 原本映像でパッチと類似する領域でホール領域を埋める方法を説明するための図である。 原本映像でパッチと類似する領域でホール領域を埋める方法を説明するための図である。 原本映像でパッチと類似する領域でホール領域を埋める方法を説明するための図である。 本発明の別の実施形態に係る多視点映像生成方法を示すフローチャートである。 図６の方法によって類似度の高い部分を探す方法を説明するための図である。 本発明の更に別の実施形態に係る多視点映像生成方法を示すフローチャートである。 図８の方法によって多視点映像を生成する方法を示す図である。 本発明の更に別の実施形態に係る多視点映像生成方法を示すフローチャートである。 本発明の更に別の実施形態に係る完全な第１視点映像を生成するための方法を説明するためのフローチャートである。 本発明の更に別の実施形態に係る完全な多視点映像を生成するための方法を説明するための図である。 本発明の多様な実施形態に係る多視点映像ディスプレイ装置の構成を示すブロック図である。 本発明の多様な実施形態に係る多視点映像ディスプレイ装置の構成を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が、本発明の要旨を無闇に曖昧にするおそれがあると判断された場合、その詳細な説明は省略する。そして、後述の用語は、本発明における機能を考慮して定義された用度であって、それは使用者、運用者の意図または慣例等によって異なることがある。そのため、その定義は、本明細書の全体にわたる内容に基づいて下されるべきである。

図２は、本発明の一実施形態に係る多視点映像生成方法を示すフローチャートであり、図３は、ホール映像を生成するための原本映像を説明するための図であり、図４は、生成されたホール映像を示す図であり、図５は、原本映像でパッチと類似する領域でホール領域を埋める方法を説明するための図である。

図２を参照すると、本発明の一実施形態に係る多視点映像生成方法は、ホール映像生成ステップ（Ｓ２１０）、境界領域を少なくとも１つのパッチに分割するステップ（Ｓ２２０）、パッチに含まれた背景と最も類似する原本映像の領域を選択するステップ（Ｓ２３０）、ホール領域を埋めて第１視点映像を生成するステップ（Ｓ２４０）を含む。

まず、ホール映像生成ステップ（Ｓ２１０）は、原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成する過程である。

ここで、原本映像は、多様な形態で存在することができる。例えば、各ピクセル間でディスパリティ（ｄｉｓｐａｒｉｔｙ）を有する左眼映像と右眼映像とからなってよい。この場合、原本映像は２つになる。一方で、原本映像は１つであってよく、この場合、ホール映像を生成するためにデプス情報を示すデプスマップ（ｄｅｐｔｈ ｍａｐ）が用いられる。

デプス（ｄｅｐｔｈ）情報とは、３Ｄ映像のデプスを示す情報として、３Ｄ映像を構成する左眼映像フレームと右眼映像フレームとの間の両眼時差程度に対応する情報である。デプス情報によって人が感じる立体感の程度が異なる。すなわち、デプスが大きい場合、左右両眼時差が大きくなるため、立体感が相対的に大きく感じられ、デプスが小さい場合、左右両眼時差が小さくなるため、立体感が相対的に小さく感じられるようになる。デプス情報は、後述のデプスマップで表示することができる。

デプスマップとは、ディスプレイ画面の各領域別のデプス情報を含んでいるテーブルを意味する。領域は、ピクセル単位で区分されてよく、ピクセル単位より大きい予め設定された領域で定義されてよい。このとき、デプス情報は、３Ｄイメージフレームの各領域またはピクセル（ｐｉｘｅｌ）に対するデプスであってよい。一実施形態において、デプスマップは、映像フレームの各ピクセルに対するデプスを示すグレースケール（ｇｒａｙｓｃａｌｅ）の２次元イメージに対応してよい。

図３は、原本映像とそれに対応するデプスマップの一例を示している。原本映像を見ると、最も前にある客体であるあずま屋と、それより後ろに植えられた木、ビル等があることが分かる。あずま屋は、最も前に位置する客体になるため、デプスが大きい一方、木やビルはデプスが小さいため映像の背景をなすようになる。それにより、映像のデプスマップであずま屋の場合、デプスの高い値をなす一方で、後ろの背景は小さいデプスを有するようになる。

すると、このような原本映像とデプスマップとを用いてホール映像を生成する方法について説明する。

本発明の一実施形態によると、前記ホール映像は前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて生成することができる。

原本映像を基準に左側の視点を有する映像を生成するよしよう。それは、原本映像の真ん中を基準に左方に一定角度分回転した映像を得るのと同様である。それを２次元平面に投影すると、各物体は一定角度に対応する距離分、右側に移動しなければならない。ところが、近くにある物体の場合、長距離を移動する一方で、遠くにある物体や背景の場合は、相対的に短距離を移動するようになる。このように多視点映像が生成する。

このとき、上述のデプスマップを活用する。すなわち、デプスマップを参照してデプスの大きいピクセルの場合は、近くに位置する物体と見なされるため、相対的に長距離をシフトさせる。一方、デプスの小さいピクセルの場合は、遠くにある物体または背景と見なされるため、相対的に短距離をシフトさせる。

このとき、デプスの大きさに応じて、客体をなすピクセルのシフト距離が変化するため、原本映像でピクセルが最終的に移動しないがために、何にでも埋まらない部分が生じるようになる。この部分をホール領域という。そして、ホール領域を有する映像をホール映像という。

図４は、このように生成されたホール映像を示している。すなわち、上側の原本映像をデプスマップを参照して各ピクセルに対して右方に予め設定された距離分シフトさせた場合、下側のホール映像が生成する。

このようにホール映像が生成されると、境界領域を少なくとも１つのパッチに分割するようになる（Ｓ２２０）。すなわち、前記生成されたホール映像のホール領域４２が背景４１と接する境界領域を少なくとも１つのパッチ（ｐａｔｃｈ）に分割する。

図５Ａを参照すると、原本映像の近い物体であるあずま屋の天井部分にホール領域がある。このホール領域が背景と接する境界領域を複数個のパッチに分割する。１つのパッチは、背景領域（Ｂａｃｋｇｒｏｕｎｄ Ａｒｅａ）とホール領域（Ｈｏｌｅ Ａｒｅａ）とに区分される。

そして、前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する（Ｓ２３０）。すなわち、原本映像内で前記パッチの背景領域と最も類似するピクセル値を有する領域を探す。

図５Ｂにおいて、パッチを原本映像の各領域Ａ、Ｂ、Ｃと比較する。そして、最も類似するピクセル値を有する領域Ａを選択することができる（図５Ｃを参照）。

本発明の一実施形態において、前記選択過程は、前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断することで行なわれてよい。

例えば、背景の色相はＲＧＢカラーで表現されてよく、この場合、前記少なくとも１つのパッチの各ピクセルのＲＧＢ値を全て足し、原本映像の予め設定された領域のある部分のピクセルのＲＧＢ値を全て足して、両者を比較することができる。そして、原本映像の予め設定された領域のうち、その差が最も小さい部分が選択されてよい。

同様に、前記少なくとも１つのパッチの各ピクセルのデプス値を全て足し、原本映像の予め設定された領域のある部分のピクセルのデプス値を全て足して、両者を比較することができる。そして、原本映像の予め設定された領域のうち、その差が最も小さい部分が選択されてよい。

なお、前記少なくとも１つのパッチの各ピクセルのグラジエント値を全て足し、原本映像の予め設定された領域のある部分のピクセルのグラジエント値を全て足して、両者を比較することもできる。この場合、原本映像の予め設定された領域のうち、その差が最も小さい部分が選択されてよい。

前記色相、デプス、グラジエント値のうちのいずれか１つのみを使って比較することもできるが、前記値を全て比較することができる。この場合、いずれか１つのファクタ（ｆａｃｔｏｒ）のみでは、確認しにくい情報まで考慮することができるため、正確性が向上する。例えば、ピクセル値を全て足した値の差だけでは確認しにくい色相のパターンまで考慮することができるようになる。

原本映像の予め設定された領域のうち、パッチと最も類似する部分が発見された場合、その部分を用いてホール領域を埋めることで、第１視点映像を生成する（Ｓ２４０）。すなわち、前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成する。

図５Ｃにおいてパッチと最も類似する領域であるＡが選択されており、パッチのホール領域を前記ホール領域に対応するＡ領域内の領域のピクセル値で埋めるようになる。

従来のホール領域補間方法は、水平ライン単位で単に隣接する背景のピクセル値でホール領域を埋めたり、ホールのサイズを縮小させる方法に過ぎなかった。この場合、度々実際に生成された多視点映像のホール領域に対応する部分の映像が歪むという現象が発生する。特に、ホール領域の周辺背景が映像から構造的に突出した領域の場合のようにデプス（ｄｅｐｔｈ）が相対的に高い場合、このような映像の歪みが深刻になる。

しかし、本発明は、上述のように、ホール領域と背景の境界領域とを少なくとも１つのパッチに分割し、原本映像でそれぞれのパッチと最も類似する部分のピクセルでホール映像を埋めるようになり、このような問題を解決する。この場合、原本映像で構造をなす部分を単に隣接背景ピクセルで埋めずに、最も類似する映像を用いて埋めるようになるため、綺麗な多視点映像を生成することができるようになる。

しかし、一般的に、上述のパッチは映像全体で最も小さい部分となるため、識別力のある多くのピクセル情報を含んでいない場合が多く、原本映像に類似する部分が複数の存在するおそれがある。このとき、複数の類似する部分のうち、よりパッチの背景映像と類似度の高い部分を発見することができる方策が求められる。

以下では、このような方策について説明する。

図６は、本発明の別の実施形態に係る多視点映像生成方法を示すフローチャートであり、図７は、図６の方法によって類似度の高い部分を探す方法を説明するための図である。

図６を参照すると、本発明の別の実施形態に係る多視点映像生成方法は、ホール映像生成ステップ（Ｓ６１０）、境界領域を少なくとも１つのパッチに分割するステップ（Ｓ６２０）、比較対象となる領域をスケーリングしてパッチと比較するステップ（Ｓ６３０）、比較結果に基づいてパッチに含まれた背景と最も類似する原本映像の領域を選択するステップ（Ｓ６４０）、ホール領域を埋めて第１視点映像を生成するステップ（Ｓ６５０）を含む。

前記ステップＳ６１０、６２０、６５０は、上述の実施形態のステップＳ２１０、Ｓ２２０、Ｓ２４０と同一の構成であるため、繰り返し説明は省略する。

前記実施形態において、境界領域を少なくとも１つのパッチに分割すると（Ｓ６２０）、前記原本映像の予め設定された領域内で比較対象となった領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較する（Ｓ６３０）。

ここで、スケーリングとは、ピクセル値の分布範囲を予め設定された範囲内に収まるようにために、分布範囲に定数をかけることを意味する。予め設定された範囲が最初の映像データのピクセル値の分布範囲より大きい場合をアップスケーリング（ｕｐ−ｓｃａｌｉｎｇ）をし、アップスケーリング結果、映像データの画面は予め設定された割合で拡大される。一方、予め設定された範囲が入力映像データのピクセル値の分布範囲より小さい場合をダウンスケーリング（ｄｏｗｎ−ｓｃａｌｉｎｇ）とし、ダウンスケーリングの結果、映像データの画面は予め設定された割合で縮小される。アップスケーリングの場合は、入力映像データ上の１つのピクセル値がスケーリング結果、映像データ画面の複数のピクセル値にマッチングされ得るため、解像度が低下するおそれがある。

図７に示すように、原本映像の比較対象となった領域を３つの割合でスケーリングして拡大または縮小させることができる。このとき、それぞれの場合に対して、分割された少なくとも１つのパッチと比較を行う。

上述のように、パッチは領域全体で極めて小さい部分であるため、原本映像の類似する部分が複数存在し得る。本発明は、このようにいくつかの割合の映像の部分をパッチと比較することで、複数の類似する部分のうち、よりパッチの背景領域と類似度の高い部分を発見することができるようになる。

そして、前記比較結果に基づいて、前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する（Ｓ６５０）。類似度を判断する方法については、既に上述しているため、繰り返し説明は省略する。

本発明の上述の実施形態によると、１つの原本映像を通じてホール映像を生成し、ホール映像のホール領域をパッチに分割して原本映像内で類似度の高い映像で埋めることで、映像の歪みのない自然な多視点映像を生成することができるようになる。

最終的な多視点映像は複数の視点に対する映像で構成されてよい。このとき、それぞれの映像を上述の方法で生成することができる。ただ、個別の映像の数が多くなる場合、演算の量が多くなるという問題が発生し得る。この場合、次のような効率的な多視点映像生成方策を考慮することができる。

図８は、本発明の更に別の実施形態に係る多視点映像生成方法を示すフローチャートであり、図９は、図８の方法によって多視点映像を生成する方法を示す図である。

図８を参照すると、本発明の更に別の実施形態に係る多視点映像生成方法は、ホール映像生成ステップ（Ｓ８１０）、境界領域を少なくとも１つのパッチに分割するステップ（Ｓ８２０）、パッチに含まれた背景と最も類似する原本映像の領域を選択するステップ（Ｓ８３０）、ホール領域を埋めて第１視点映像を生成するステップ（Ｓ８４０）、第１ホール映像を生成するステップ（Ｓ８４０）、第２ホール映像を生成するステップ（Ｓ８５０）、第２視点映像を生成するステップ（Ｓ８６０）を含んでよい。

前記ステップＳ８１０、Ｓ８２０、Ｓ８３０、Ｓ８４０は、上述の実施形態のステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０と同一の構成であるため、繰り返し説明は省略する。

上記実施形態において、第１視点映像が生成されると、第１視点映像と原本映像との間の視点を有する映像を生成することができる。すなわち、前記原本映像のデプス情報を用いて第１視点映像と原本映像との間の視点を有する第１ホール映像を生成する（Ｓ８５０）。第１ホール映像は、上述のホール映像と同一の方法で生成される。

そして、前記生成された第１視点映像のデプス情報を用いて上述の第１ホール映像と同一の視点を有する第２ホール映像を生成する（Ｓ８６０）。

このとき、第１ホール映像は、原本映像を基準に第１方向の視点移動のある映像である一方で、第２ホール映像は、第１視点映像を基準に前記第１方向とは異なる第２方向の視点移動のある映像となる。よって、第１ホール映像と第２ホール映像のホール領域は相互異なる方向に生じるようになる。

図９の実施形態をみると、２番の視点映像を生成するために左側の映像からホール映像を生成する場合、客体の右側部分にホール領域の生じるホール映像が生成することが分かる。一方、右側映像（原本映像）から２番の視点映像を生成する場合、客体の左側部分にホール領域の生じるホール映像が生成することが分かる。

前記２つのホール映像を生成した後、前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を生成する（Ｓ８７０）。

前記第１ホール映像と前記第２ホール映像とは、同一の視点に対する相互異なるホール領域を有する映像であるため、第１ホール映像のホール領域に対応するピクセル値を有する第２ホール映像の領域が存在し、同様に、第２ホール映像のホール領域に対応するピクセル値を有する第１ホール映像の領域が存在するようになる。よって、それぞれに対応する異なるホール映像の領域のピクセル値を用いてホール領域を埋めることができる。

図９において、客体の左側部分にホール領域を有するホール映像は、他のホール映像で前記ホール映像のホール領域に対応する領域のピクセル値でホール領域を埋めることができる。同様に、客体の右側部分にホール領域を有するホール映像は、他のホール映像で前記ホール映像のホール領域に対応する領域のピクセル値でホール領域を埋めることができるようになる。図９のオーバーレイされたイメージの上段と下段とは、相互異なるホール領域を有する映像を表示している。

このように、２つの相互異なる視点を有する映像から、その間に存在する視点の映像を生成する場合、簡単に２つのホール映像を生成し、いずれか一方のホール映像のホール領域に対応する他方のホール映像のピクセル値で前記ホール映像を埋めることができるようになる。よって、個別映像の数が多くなる場合、素早くかつ効率的に多視点映像を生成することができるようになる。

一方、上述の実施形態において、複数のパッチのうちどのパッチに対して選択ステップを優先して行うかが問題になり得る。図１０は、このような問題を解決するための多視点映像生成方法を示すフローチャートである。

図１０を参照すると、本発明の更に別の実施形態に係る多視点映像生成方法は、ホール映像生成ステップ（Ｓ１０１０）、境界領域を少なくとも１つのパッチに分割するステップ（Ｓ１０２０）、パッチに含まれた背景と最も類似する原本映像の領域を選択するステップ（Ｓ１０３０）及びホール領域を埋めて第１視点映像を生成するステップ（Ｓ１０４０）を含んでよい。

前記ステップＳ１０１０、Ｓ１０２０、Ｓ１０３０、Ｓ１０４０は、上述の実施形態のステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０と同一の構成であるため、繰り返し説明は省略する。

ただ、前記ステップＳ１０３０は、前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景のピクセル値の差の大きいパッチに対して優先して行うことができる。

少なくとも１つのパッチのうち、ホール領域と隣接する背景のピクセル値の差が大きい場合は、前記隣接する背景が映像で構造をなしたり、デプスの大きいピクセルを有する場合がほとんどである。よって、このようなパッチに対して、優先順位を設けてパッチと類似する原本映像の領域を選択することで、より自然でかつ効率的な多視点映像生成が可能となる。

図１１は、本発明の更に別の実施形態に係る完全な第１視点映像を生成するための方法を説明するためのフローチャートである。

上述の本発明の実施形態に係る各ステップは、前記ホール映像のホール領域が全て埋まるまで繰り返される。すなわち、いずれか１つのパッチに対してホール領域を類似する原本映像の部分で埋める過程を終えるようになると、残りのホール領域の境界領域に対して上述の過程を繰り返すようになる。上述の過程は、ホール領域がなくなるまで継続される。

図１１を参照し、完全な第１視点映像を生成する過程をみると、まず、ホール映像を生成し（Ｓ１１１０）、境界領域を少なくとも１つのパッチに分割し（Ｓ１１２０）、分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する（Ｓ１１３０）。そして、ホール領域を選択された領域のピクセル値で埋めて第１視点映像を生成する（Ｓ１１４０）。このような過程は、ホール領域が全て埋まって消えることで、完全な第１視点映像が生成されるまで継続される（Ｓ１１５０）。

図１２は、本発明の更に別の実施形態に係る完全な多視点映像を生成するための方法を説明するためのフローチャートである。

本発明の更に別の実施形態に係る多視点映像生成方法は、上述のステップＳ８１０ないしＳ８６０を含み、前記第１視点映像及び第２視点映像の相互対応する領域のピクセルを組み合わせて多視点映像を生成するステップを更に含んでよい。

本発明の多様な実施形態によると、まず、ステップＳ８１０ないしＳ８４０に沿って原本映像から最外の視点を有する映像（図１２のＬｅｆｔ Ｉｍａｇｅ及びＲｉｇｈｔ Ｉｍａｇｅのうち少なくとも一方）を生成し、ステップＳ８５０ないしＳ８７０を通じて原本映像と最外の視点を有する映像との間の視点を有する映像を生成することができる。

一方、上述の本発明の多様な実施形態に係る方法を行うためのプログラムは、多様な類型の記録媒体に保存されて使用されてよい。

具体的には、上述の方法を行うためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末で読み取り可能な多様な記録媒体に保存されてよい。

以下では、上述の方法を行うことができる多視点映像ディスプレイ装置１００、１００’について説明する。

図１３及び図１４は、本発明の多様な実施形態に係る多視点映像ディスプレイ装置１００、１００’の構成を示すブロック図である。

図１３を参照すると、本発明の多様な実施形態に係る多視点映像ディスプレイ装置は、原本映像を受信する受信部１１０と、前記原本映像のデプス情報を用いてホール映像を生成するホール映像生成モジュール１２１、前記生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割し、前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する類似領域選択モジュール１２２、前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成する映像生成モジュール１２３を含む制御部１２０と、前記生成された第１視点映像を出力する出力部１３０とを含む。

受信部１１０は、映像を含むコンテンツを受信する。具体的に、受信部１１０は、放送ネットワークを用いて放送番組コンテンツを伝送する放送局またはインターネットを用いてコンテンツファイルを伝送するウェブサーバからコンテンツを受信する。なお、多視点映像ディスプレイ装置１００内に設けられるか、多視点映像ディスプレイ装置１００に接続された各種記録媒体再生装置からコンテンツを受信することもできる。ここで、記録媒体再生装置とは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、メモリカード、ＵＳＢメモリ等のような多様な記録媒体に保存されたコンテンツを再生する装置を意味する。

放送局からコンテンツを受信する実施形態の場合、受信部１１０は、チューナ（図示せず）、復調器（図示せず）、等化器（図示せず）等のような構成を含む形態で実現されてよい。一方、ウェブサーバのようなソースからコンテンツを受信する実施形態の場合には、受信部１１０は、ネットワークインターフェースカード（図示せず）で実現されてよい。または、上述の各種記録媒体再生装置からコンテンツを受信する実施形態の場合には、受信部１１０は記録媒体再生装置と接続されたインターフェース部（図示せず）で実現されてよい。例えば、ＡＶ端子、ＣＯＭＰ端子、ＨＤＭＩ（登録商標）端子等で実現可能である。その他にも、受信部１１０は、実施形態に応じて多様な形態で実現されてよい。

制御部１２０は、多視点映像ディスプレイ装置１００の動作全般を制御し、特に、多視点映像生成を制御する。上述のように、ホール映像生成モジュール１２１、類似領域選択モジュール１２２、映像生成モジュール１２３を含む。

本発明の一実施形態において、前記類似領域選択モジュール１２２は、前記原本映像の予め設定された領域内で比較対象となった領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較し、前記比較結果に基づいて前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択することができる。

本発明の別の実施形態において、前記ホール映像生成モジュール１２１は、上述のホール映像の他に前記原本映像のデプス情報を用いて第１ホール映像を更に生成、前記生成された第１視点映像のデプス情報を用いて第２ホール映像を更に生成することができる。このとき、前記映像生成モジュール１２３は、第１視点映像以外に前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を更に生成することができる。

本発明の更に別の実施形態において、前記ホール映像生成モジュール１２１は、前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて生成することができる。

本発明の更に別の実施形態において、前記類似領域選択モジュール１２２は、前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景のピクセル値の差が大きいパッチに対して優先して前記選択動作を行うことができる。

本発明の更に別の実施形態において、前記類似領域選択モジュール１２２は、前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断することができる。

本発明の更に別の実施形態において、前記類似領域選択モジュール１２２と前記映像生成モジュール１２３とは、前記ホール映像のホール領域が全て埋まるまで前記過程を繰り返して前記第１視点映像を生成することができる。

本発明の更に別の実施形態において、前記制御部１２０は、前記第１視点映像及び第２視点栄造の相互対応する領域のピクセルを組み合わせて多視点映像を生成する多視点映像生成モジュール１２４を更に含んでよい。

出力部１３０は、前記生成された第１視点映像を出力する構成である。出力部１３０は、液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）及びＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）のうち少なくとも１つで実現されてよい。

図１４を参照すると、本発明の更に別の実施形態に係る多視点ディスプレイ装置１００’は、受信部１１０と、制御部１２０と、パララックス部１５０と、ディスプレイパネル１３０及びバックライト部１４０を含む。

受信部１１０と、制御部１２０と、ディスプレイパネル１３０（出力部）については、既に上述しているため、説明を省略する。すなわち、制御部１２０は、上述の動作を行うため、多視点映像ディスプレイ装置１００’は、上述の多視点映像生成方法によって多視点映像を生成してディスプレイパネル１３０にディスプレイする。

バックライト部１４０は、ＬＣＤパネルに通常適用される一般的なバックライトユニットまたはフィールド順次カラー（Ｆｉｅｌｄ Ｓｅｑｕｅｎｔｉａｌ Ｃｏｌｏｒ（ＦＳＣ））ＬＣＤディスプレイに適用されるカラー順次バックライトユニットであってよい。すなわち、バックライト部１４０の種類は、ディスプレイパネル１３０の種類によって異なってよい。

パララックス部１５０は、ディスプレイパネル１３０の前面に配置され、ディスプレイパネル１３０から発する光を視聴領域別に分散させる。それにより、視聴領域別に異なる視点のイメージに対応する光が出射される。パララックス部１５０は、パララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）またはレンチキュラレンズアレイ（Ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ ａｒｒａｙ）で実現されてよい。パララックスバリアは、複数のバリア領域を含む透明スリットアレイで実現される。それにより、バリア領域間のスリット（ｓｌｉｔ）を通じて光を遮断して視聴領域別に異なる視点のイメージ光が出射されるようにする。スリットの幅及びピッチは、多視点映像に含まれる各視点イメージの数及び視聴距離に応じて異なるように設計されてよい。レンチキュラレンズアレイは、複数のレンズ領域を含む。各レンズ領域は、少なくとも１つのピクセル列に対応する大きさで形成され、各ピクセル列のピクセルを透過する光を視聴領域別に異なるように分散する。各レンズ領域は、円形レンズを含んでよい。各レンズのピッチ及び曲率半径は各視点イメージの数及び視聴距離に応じて異なるように設計されてよい。パララックス部１５０は、ディスプレイパネル１３０に具備された各ピクセルの列方向と一致するように配列される。

従来のホール領域補間を行って多視点映像をディスプレイする装置は、水平ライン単位で単に隣接する背景のピクセル値でホール領域を埋めるか、ホールの大きさを縮小する方法でこのような動作を行ってきた。この場合、度々実際に生成された多視点映像のホール領域に対応する部分の映像が歪むという現象が発生する。特に、ホール領域の周辺背景が映像から構造的に突出した領域の場合のように、周辺背景領域のデプス（ｄｅｐｔｈ）が相対的に高い場合、このような映像の歪みが深刻になる。

しかし、本発明に係る多視点映像ディスプレイ装置１００、１００’は、ホール領域と背景の境界領域とを少なくとも１つのパッチに分割し、各パッチに対して原本映像で最も類似する部分のピクセルで埋めるようになり、このような問題を解決する。この場合、原本映像で構造をなす部分を単に隣接背景ピクセルで埋めずに、最も類似する映像を用いて埋めるようになるため、綺麗な多視点映像を生成することができるようになる。

なお、本発明に係る多視点映像ディスプレイ装置１００、１００’は、多視点映像を生成する場合、様々の割合の映像の部分をパッチと比較することで、複数の類似する部分のうち、よりパッチの背景領域と類似度の高い部分を発見することができるようになる。すなわち、１つの原本映像を通じてホール映像を生成し、ホール映像のホール領域をパッチに分割して原本映像内で類似度の高い映像で埋めることで、映像が歪みなく自然な多視点映像を生成することができるようになる。

なお、本発明に係る多視点映像ディスプレイ装置１００、１００’は、多視点映像を生成するうえで、２つの相互異なる視点を有する映像からその間に存在する視点の映像を生成する場合、簡単に２つのホール映像を生成し、いずれか一方のホール映像のホール領域に対応する他方のホール映像のピクセル値で前記ホール映像を埋めることができるようになる。よって、個別映像の数が多くなる場合、素早くかつ効率的に多視点映像を生成することができるようになる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 多視点映像生成方法において、
   原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、
   前記生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割するステップと、
   前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択するステップと、
   前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成するステップと
   を含む多視点映像生成方法。
2. 前記選択するステップは、
   前記原本映像の予め設定された領域内で比較対象となる領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較するステップと、
   前記比較結果に基づいて前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択するステップと
   を含むことを特徴とする請求項１に記載の多視点映像生成方法。
3. 前記原本映像のデプス情報を用いて第１ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、
   前記生成された第１視点映像のデプス情報を用いて第２ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するステップと、
   前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を生成するステップと
   を更に含むことを特徴とする請求項１に記載の多視点映像生成方法。
4. 前記ホール映像を生成するステップは、
   前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて前記ホール映像を生成することを特徴とする請求項１に記載の多視点映像生成方法。
5. 前記選択するステップは、
   前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景とのピクセル値の差が大きいパッチに対して優先して行われることを特徴とする請求項１に記載の多視点映像生成方法。
6. 前記選択するステップは、
   前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断することを特徴とする請求項１に記載の多視点映像生成方法。
7. 前記ホール映像のホール領域が全て埋まるまで前記過程を繰り返して前記第１視点映像を生成することを特徴とする請求項１に記載の多視点映像生成方法。
8. 前記第１視点映像及び第２視点映像の相互対応する領域のピクセルを組み合わせて多視点映像を生成するステップを更に含むことを特徴とする請求項３に記載の多視点映像生成方法。
9. 多視点映像ディスプレイ装置において、
   原本映像を受信する受信部と、
   前記原本映像のデプス情報を用いてホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成するホール映像生成モジュールと、
   前記生成されたホール映像のホール領域が背景と接する境界領域を少なくとも１つのパッチに分割し、前記原本映像の予め設定された領域内で前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択する類似領域選択モジュールと、
   前記分割された少なくとも１つのパッチ上のホール領域を前記選択された領域のピクセル値で埋めて第１視点映像を生成する映像生成モジュールと
   を含む制御部と、
   前記生成された第１視点映像を出力するディスプレイパネルと
   を含む多視点映像ディスプレイ装置。
10. 前記類似領域選択モジュールは、
    前記原本映像の予め設定された領域内で比較対象となる領域を少なくとも２つの割合でスケーリングし、前記分割された少なくとも１つのパッチと比較し、
    前記比較結果に基づいて前記分割された少なくとも１つのパッチに含まれた背景と最も類似するピクセル値を有する領域を選択することを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
11. 前記ホール映像生成モジュールは、
    前記原本映像のデプス情報を用いて第１ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を生成し、前記生成された第１視点映像のデプス情報を用いて第２ホール映像（Ｈｏｌｅ Ｉｍａｇｅ）を更に生成し、
    前記映像生成モジュールは、
    前記第１ホール映像のホール領域を前記第１ホール映像の前記ホール領域に対応する前記第２ホール映像の領域のピクセル値で埋めるか、前記第２ホール映像のホール領域を前記第２ホール映像の前記ホール領域に対応する前記第１ホール映像の領域のピクセル値で埋めることで、第２視点映像を生成することを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
12. 前記ホール映像生成モジュールは、
    前記原本映像の各ピクセルに対するデプスの大きさに応じて予め設定された距離分、前記各ピクセルをシフトさせて前記ホール映像を生成することを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
13. 前記類似領域選択モジュールは、
    前記分割された少なくとも１つのパッチのうち、前記ホール領域と前記背景とのピクセル値の差が大きいパッチに対して優先して前記選択動作を行うことを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
14. 前記類似領域選択モジュールは、
    前記原本映像の予め設定された領域内の各部分と前記分割された少なくとも１つのパッチに含まれた背景の色相、デプス及びグラジエント（ｇｒａｄｉｅｎｔ）を相互比較して類似する程度を判断することを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
15. 前記類似領域選択モジュールと前記映像生成モジュールとは、
    前記ホール映像のホール領域が全て埋まるまで前記過程を繰り返して前記第１視点映像を生成することを特徴とする請求項９に記載の多視点映像ディスプレイ装置。
    

Images