JP2013246634A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】遮蔽物が移動しても、あたかも遮蔽物が透けたような視覚体験を常に提供する。
【解決手段】作用素生成部１０２は、第１の画像データと、前記第１の画像データが投射された投射面又は前記第１の画像データが表示された表示面を鑑賞者と同一又は略同一視点で撮像した第２の画像データとを取得する。次に、作用素生成部１０２は、第１の画像データから第２の画像データへの作用素を生成する。鑑賞不可領域検出部１０３は、作用素により第１の画像データを第３の画像データに変換し、第２の画像データと第３の画像データとに基づいて、第２の画像データにおける鑑賞不可領域を検出する。補完画像生成部１０４は、鑑賞不可領域を第３の画像データにより補完した補完画像データを生成する。
【選択図】図１

Description

本発明は、遮蔽物による鑑賞不可領域を元の鑑賞画像に置き換える技術に関するものである。

映画館等の公衆の場で投影された映像を鑑賞するような場合、鑑賞者の視界に前方の鑑賞者が入る等によってスクリーンが全て見えず、鑑賞に支障を来すことがある。このような問題に対して、遮蔽物（例えば、別の鑑賞者）の部分を元の鑑賞画像で置き換えて鑑賞する方法がある。つまり、遮蔽物を検知した後、当該遮蔽物と同じ位置を元の鑑賞画像に置き換え、実際の鑑賞画像とディスプレイ上で融合する方法である。その一例として、ディスプレイ自体が透明度を持ち、鑑賞画像が透けて見える透明ディスプレイを使用する方法がある。この方法では、透明ディスプレイの遮蔽物の部分のみに元の鑑賞画像を表示することにより、遮蔽物の部分を元の鑑賞画像で置き換え、実際の鑑賞画像と融合させて鑑賞することができる。

これを実現するためには、遮蔽物をどう検知するか、元の鑑賞画像と実際の鑑賞画像とのずれをどうするか等の課題がある。特許文献１には、元の鑑賞画像と実際の鑑賞画像とのずれという課題について、予めマスク領域を決めておき、鑑賞画像に変形が加えられても、マスク領域もそれに合わせて変形させることにより、鑑賞画像の変形にマスク領域を追随させる技術が開示されている。

特開平５−３３６３４６号公報

しかしながら、特許文献１に開示される技術のように予めマスク領域を決める方法では、遮蔽物が移動した場合に対応することができない。

そこで、本発明の目的は、遮蔽物が移動しても、あたかも遮蔽物が透けたような視覚体験を常に提供することにある。

本発明の画像処理装置は、第１の画像データと、前記第１の画像データが投射された投射面又は前記第１の画像データが表示された表示面を鑑賞者と同一又は略同一視点で撮像した第２の画像データとを取得する取得手段と、前記第１の画像データから前記第２の画像データへの作用素を生成する作用素生成手段と、前記作用素により前記第１の画像データを第３の画像データに変換する変換手段と、前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出手段と、前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成手段とを有することを特徴とする。

本発明によれば、遮蔽物が移動しても、あたかも遮蔽物が透けたような視覚体験を常に提供することが可能となる。

本発明の第１の実施形態に係る画像処理装置の構成を示す図である。 作用素の算出方法を説明するための図である。 本発明の第１の実施形態に係る画像処理装置の処理を示すフローチャートである。 透明ディスプレイに遮蔽物補完画像データを表示した場合における視覚体験を説明するための図である。 本発明の第２の実施形態に係る画像処理装置の構成を示す図である。 本発明の第２の実施形態に係る画像処理装置の処理を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。図１に示すように、本実施形態に係る画像処理装置１００は、撮像装置１１０と投射装置１２０と接続されている。また、画像処理装置１００は、その機能的な構成として、鑑賞画像データ格納部１０１、作用素生成部１０２、鑑賞不可領域検出部１０３及び補完画像生成部１０４を備える。鑑賞画像データ格納部１０１は、鑑賞画像データを格納する。投射装置１２０は、鑑賞画像データ格納部１０１に格納される鑑賞画像データをスクリーン（投射面）に投影する。撮像装置１１０は、鑑賞画像データが投影されたスクリーンを、鑑賞者と同一又は略同一視点で撮像する。なお、他の実施形態として、液晶ディスプレイ等の表示装置に鑑賞画像データを表示させ、その表示面を撮像装置１１０で撮像するようにしてもよい。

作用素生成部１０２は、鑑賞画像データ（以下、元画像データｘと称す）から、撮像装置１１０によって鑑賞者と同一又は略同一視点で撮像された画像データ（以下、略同一視点撮像画像データｙと称す）への、作用素（以下、作用素ｆ（）と称す）を求める。さらに作用素生成部１０２は、作用素ｆ（）で元画像データｘを変換することにより、変換画像データｆ（ｘ）を生成する。鑑賞不可領域検出部１０３は、変換画像データｆ（ｘ）と略同一視点撮像画像データｔとの差分から、遮蔽物によって鑑賞者が鑑賞できない領域（以下、鑑賞不可領域と称す）を検知し、鑑賞不可領域をマスクしたマスク画像データを生成する。補完画像生成部１０４は、変換画像データｆ（ｘ）とマスク画像データとの論理和をとることにより、遮蔽物補完画像データを生成する。

作用素ｆ（）を求める方法は、種々考えられるが、ここでは、その一例として、スクリーンの４隅にマーカを設置する手法について説明する。スクリーンの４隅にマーカを設置することにより、撮像装置１１０によって撮像される画像データにおいて、スクリーンの４隅が分かるようにしておく。なお、マーカが遮蔽物で見えなくなることも考えられるため、４隅以外の端辺にマーカを増設し、４隅以外のマーカから４隅を補完する構成であってもよい。作用素生成部１０２は、元画像データｘが、略同一視点撮像画像データｙのうち、スクリーン上（上記４隅の内側）に該当する画像データに変換されるように作用素ｆ（）を求める。

図２は、作用素ｆ（）の算出方法を説明するための図である。図２（ａ）において、２０５は、撮像装置１１０の視点である。基準座標系２０１上には基準四辺形（ＡＢＣＤ）２０２があり、基準四辺形（ＡＢＣＤ）２０２は元画像データｘに対応する。また、変換座標系２０３上には変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４があり、変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４は、略同一視点撮像画像データｙのうち、スクリーン上に該当する画像データに対応する。即ち、元画像データｘを、略同一視点撮像画像データｙのうち、スクリーン上に該当する画像データに変換することは、基準四辺形（ＡＢＣＤ）２０２から変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４に変換することと等価である。但し、元画像データｘと、略同一視点撮像画像データｙとの画素数及びアスペクト比が等しいことが前提となる。なお、基準四辺形（ＡＢＣＤ）２０２から変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４に変換するための変換マトリクスの算出方法は既知であるため、その説明は省略する。

図２（ｂ）は、略同一視点撮像画像データｙ２０５を示している。鑑賞不可領域検出部１０３は、上記変換マトリクスを用いて元画像データｘを変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４にマッピングすることにより、変換画像データｆ（ｘ）を生成する。鑑賞不可領域検出部１０３は、略同一視点撮像画像データｙのうちの変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４内に該当する画像データと、変換画像データｆ（ｘ）との差から、鑑賞不可領域を検出する。そして、鑑賞不可領域検出部１０３は、変換四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４と同一形状の画像データであって、且つ、鑑賞不可領域をマスクしたマスク画像データｇ（ｙ，ｆ（ｘ））を生成する。ここでは、略同一視点撮像画像データｙ２０５と変換画像データｆ（ｘ）との差が閾値以上である領域を鑑賞不可領域として検出する。なお、マスク画像データｇ（ｙ，ｆ（ｘ））において、マスクされた領域（鑑賞不可領域）の値は１であり、それ以外の領域の値は０である。

補完画像生成部１０４は、変換画像データｆ（ｘ）とマスク画像データｇ（ｙ，ｆ（ｘ））との論理和をとることにより、例えば図４（ａ）の４０２に示すような遮蔽物補完画像データを生成する。即ち、マスク画像データｇ（ｙ，ｆ（ｘ））＝１の領域（鑑賞不可領域）には、図４（ａ）の４０１に示すように変換画像データｆ（ｘ）の値が選択される。また、マスク画像データｇ（ｙ，ｆ（ｘ））＝０の領域には、変換画像データｆ（ｘ）の値は選択されず、例えば、黒画像データ（画素値＝Ｒ、Ｇ、Ｂいずれも０）が選択される（図４（ａ）の４０１以外の領域）。

画像処理装置１００は、補完画像生成部１０４によって生成された遮蔽物補完画像データ４０２を、透明ディスプレイに表示させる。鑑賞者は、遮蔽物補完画像データ４０２が表示された透明ディスプレイを視ることにより、透明ディスプレイ上において実際の鑑賞画像（図４（ｂ）の４０３）と融合し、図４（ｃ）に示すように、あたかも遮蔽物がなくなったかのような視覚体験を得ることができる。なお、図４（ｂ）の４０４は、実際の鑑賞画像内における鑑賞不可領域である。図４（ｂ）の４０４に示す鑑賞不可領域が図４（ａ）の４０２に示す遮蔽物補完画像データによって補完される。

図３は、本実施形態に係る画像処理装置１００の処理を示すフローチャートである。ステップＳ３０１において、作用素生成部１０２は、変形四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４の４つの頂点の座標値を取得する。ステップＳ３０２において、作用素生成部１０２は、基準座標系２０１上の基準四辺形（ＡＢＣＤ）２０２の４つの頂点の座標値から、変換座標系２０３上の変形四辺形（Ａ’Ｂ’Ｃ’Ｄ’）２０４の４つの頂点の座標値に変換するための変換マトリクスを算出する。ステップＳ３０３において、作用素生成部１０２は、元画像データｘを上記変換マトリクスにより変換し、変換画像データｆ（ｘ）を生成する。

ステップＳ３０４において、鑑賞不可領域検出部１０３は、変換画像データｆ（ｘ）と略同一視点画像データｙとの差分から鑑賞不可領域を検出し、鑑賞不可領域をマスクしたマスク画像データを生成する。ステップＳ３０５において、補完画像生成部１０４は、変換画像データｆ（ｘ）とマスク画像データとの論理和をとり、遮蔽物補完画像データを生成する。遮蔽物補完画像データは、透明ディスプレイに表示されるように表示制御される。

投射装置１２０により鑑賞画像データが照射されたスクリーンにおいては、遮蔽物がある場合、当該遮蔽物がスクリーン上に映り込むことにより、鑑賞不可領域が生じる。これに対し、本実施形態では、鑑賞不可領域に変換画像データを反映させた遮蔽物補完画像データを生成し、遮蔽物補完画像データを透明ディスプレイに表示することにより、あたかも遮蔽物が透けたような視覚体験を得ることができる。

さらに、本実施形態においては、遮蔽物が移動しても、また、鑑賞者の位置が変わっても、常に鑑賞不可領域を追随することができる。従って、本実施形態によれば、遮蔽物が移動しても、確実に鑑賞不可領域をマスクして元の鑑賞画像に置き換え、あたかも遮蔽物がなくなったような視覚体験を常に提供することができる。

次に、本発明の第２の実施形態について説明する。第１の実施形態は、映画等のように元の鑑賞画像データが存在する場合に対応したものであるが、第２の実施形態は、ミュージカル等のように元の鑑賞画像データが存在しない場合に対応したものである。

図５は、本発明の第２の実施形態に係る画像処理装置の構成を示す図である。なお、図５における作用素生成部１０２、鑑賞不可領域検出部１０３、補完画像生成部１０４及び撮像装置１１０は、図１に示した同一符合の構成と同じである。

図５に示すように、第２の実施形態に係る画像処理装置５００は、鑑賞者と略同一視点で鑑賞対象を撮像する撮像装置１１０と、鑑賞者と別の視点で、遮蔽物の影響のない位置から鑑賞対象を撮像する撮像装置５２０と接続されている。基準画像生成部５０５は、撮像装置５２０によって鑑賞者とは別の視点で撮像された画像データ（以下、別視点撮像画像データｘ’と称す）から、基準画像データｈ（ｘ’）を生成する。この基準画像データｈ（ｘ’）は、第１の実施形態における元画像データｘと同等であり、基準画像データｈ（ｘ’）に対しては、第１の実施形態における元画像データｘと同様の処理が行われる。

基準画像生成部５０５によって基準画像データｈ（ｘ’）を生成する方法は種々考えられるが、ここでも第１の実施形態と同様、マーカを使った方法について説明する。例えば、ミュージカル等であれば、舞台の４隅にマーカを設け、その４隅を含めた舞台を撮像装置５２０によって撮像する。基準画像生成部５０５は、撮像装置５２０によって撮像された別視点撮像画像データｘ’に含まれる４隅のマーカが所定の形状（例えば、歪みのない長方形）となるように、作用素ｈ（）を求め、基準画像データｈ（ｘ’）を生成する。作用素ｈ（）を求める方法は、第１の実施形態と同様であるため、ここでは省略する。

図６は、第２の実施形態に係る画像処理装置５００の処理を示すフローチャートである。なお、図６におけるステップＳ３０１及びＳ３０２は、図３に示したステップＳ３０１及びＳ３０２と同様であるため、説明を省略する。

ステップＳ６０１において、基準画像生成部５０５は、上述した処理により、基準画像データｈ（ｘ’）を生成する。ステップＳ６０３において、作用素生成部１０２は、基準画像データｈ（ｘ’）を、ステップＳ３０２により算出された変換マトリクスにより変換し、変換画像データｆ（ｈ（ｘ’））を生成する。ステップＳ６０４において、鑑賞不可領域検出部１０３は、変換画像データｆ（ｈ（ｘ’））と略同一視点画像データｙとの差分から鑑賞不可領域を検出し、鑑賞不可領域をマスクしたマスク画像データを生成する。ステップＳ６０５において、補完画像生成部１０４は、変換画像データｆ（ｈ（ｘ’））とマスク画像データとの論理和をとり、遮蔽物補完画像データを生成する。

画像処理装置５００は、補完画像生成部１０４により生成された遮蔽物補完画像データを透明ディスプレイに表示させる。これにより、元の鑑賞画像データがない場合においても、あたかも遮蔽物がなくなったかのような視覚体験を得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：画像処理装置、１０１：鑑賞画像データ格納部、１０２：作用素生成部、１０３：鑑賞不可領域検出部、１０４：補完画像生成部、１１０、５２０：撮像装置、１２０：投射装置、５０５：基準画像生成部

Claims (9)

1. 第１の画像データと、前記第１の画像データが投射された投射面又は前記第１の画像データが表示された表示面を鑑賞者と同一又は略同一視点で撮像した第２の画像データとを取得する取得手段と、
   前記第１の画像データから前記第２の画像データへの作用素を生成する作用素生成手段と、
   前記作用素により前記第１の画像データを第３の画像データに変換する変換手段と、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出手段と、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成手段とを有することを特徴とする画像処理装置。
2. 鑑賞対象を鑑賞者と異なる視点から撮像した第１の画像データと、前記鑑賞対象を前記鑑賞者と同一又は略同一の視点から撮像した第２の画像データとを取得する取得手段と、
   前記第１の画像データに含まれる前記鑑賞対象が所定の形状となるように前記第１の画像データを変換して基準画像データを生成する基準画像生成手段と、
   前記基準画像データから前記第２の画像データへの作用素を生成する作用素生成手段と、
   前記作用素により前記基準画像データを第３の画像データに変換する変換手段と、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出手段と、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成手段とを有することを特徴とする画像処理装置。
3. 前記補完画像データを透明ディスプレイに表示させる表示制御手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検出手段は、前記第２の画像データと前記第３の画像データとの差分に基づいて、前記第２の画像データにおける前記鑑賞不可領域を検出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記補完画像生成手段は、前記鑑賞不可領域がマスクされた画像データと前記第３の画像データとの論理和をとることにより、前記補完画像データを生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 画像処理装置によって実行される画像処理方法であって、
   第１の画像データと、前記第１の画像データが投射された投射面又は前記第１の画像データが表示された表示面を鑑賞者と同一又は略同一視点で撮像した第２の画像データとを取得する取得ステップと、
   前記第１の画像データから前記第２の画像データへの作用素を生成する作用素生成ステップと、
   前記作用素により前記第１の画像データを第３の画像データに変換する変換ステップと、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出ステップと、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成ステップとを有することを特徴とする画像処理方法。
7. 画像処理装置によって実行される画像処理方法であって、
   鑑賞対象を鑑賞者と異なる視点から撮像した第１の画像データと、前記鑑賞対象を前記鑑賞者と同一又は略同一の視点から撮像した第２の画像データとを取得する取得ステップと、
   前記第１の画像データに含まれる前記鑑賞対象が所定の形状となるように前記第１の画像データを変換して基準画像データを生成する基準画像生成ステップと、
   前記基準画像データから前記第２の画像データへの作用素を生成する作用素生成ステップと、
   前記作用素により前記基準画像データを第３の画像データに変換する変換ステップと、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出ステップと、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成ステップとを有することを特徴とする画像処理方法。
8. 第１の画像データと、前記第１の画像データが投射された投射面又は前記第１の画像データが表示された表示面を鑑賞者と同一又は略同一視点で撮像した第２の画像データとを取得する取得ステップと、
   前記第１の画像データから前記第２の画像データへの作用素を生成する作用素生成ステップと、
   前記作用素により前記第１の画像データを第３の画像データに変換する変換ステップと、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出ステップと、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成ステップとをコンピュータに実行させるためのプログラム。
9. 鑑賞対象を鑑賞者と異なる視点から撮像した第１の画像データと、前記鑑賞対象を前記鑑賞者と同一又は略同一の視点から撮像した第２の画像データとを取得する取得ステップと、
   前記第１の画像データに含まれる前記鑑賞対象が所定の形状となるように前記第１の画像データを変換して基準画像データを生成する基準画像生成ステップと、
   前記基準画像データから前記第２の画像データへの作用素を生成する作用素生成ステップと、
   前記作用素により前記基準画像データを第３の画像データに変換する変換ステップと、
   前記第２の画像データと前記第３の画像データとに基づいて、前記第２の画像データにおける鑑賞不可領域を検出する検出ステップと、
   前記鑑賞不可領域を前記第３の画像データにより補完した補完画像データを生成する補完画像生成ステップとをコンピュータに実行させるためのプログラム。

Images