JP2010206362A - 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】従来の２次元対応の表示システムを変更することなく、映像に対して知覚する立体感や奥行き感を向上させるようにする。
【解決手段】映像取得部１２が入力映像を取得する。次に奥行き情報取得部１１が入力映像に対応する奥行き情報を取得し、距離感知覚オブジェクトを配置する位置を決定する。映像分割部１３は、決定された距離感知覚オブジェクト配置位置に基づき入力映像を距離感知覚オブジェクトの前に配置する部分（前景）と、距離感知覚オブジェクトの後ろに配置する部分（背景）に分割する。距離感知覚オブジェクト生成部１４が、分割後の映像に合わせて合成する距離感知覚オブジェクトを生成する。一方、影領域生成部１５が、距離感知覚オブジェクトに掛かる影を分割後の入力映像の前景部分から作成する。映像合成部１６が、これら分割された入力映像、距離感知覚オブジェクト、影を合成して出力する。
【選択図】図１

Description

本発明は、入力映像に対し立体感や奥行き感を高める処理を行う映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラムに関する。

テレビなどの平面画像では、動画像、静止画像をより高品位・高画質に見せるために映像の立体感や奥行き感を高める様々な手法が提案されている。例えば、立体感を高める方法として用いられている両眼視差を利用した立体視では、左右の目それぞれに視差を持つ異なった画像を送ることで、錯覚を起こさせ、立体感、奥行き感を感じさせる。左右の目それぞれに異なる画像を送る為には、例えば特許文献１に示すように左目用画像と右目用画像を交互に表示するディスプレイの周波数に同期して、左右のシャッタを切り替えて光路を遮断する眼鏡を用いた方式や、視差をもつ左右２枚のＲＧＢ画像を赤色画像と青色画像に変換し、その２枚を重畳した画像を赤と青の眼鏡を通して見るアナグリフ方式、特許文献２に示すように、一つのディスプレイ上で左右の視差画像各々を異なる偏光で出力し、偏光眼鏡を用いる偏光眼鏡方式などが上げられる。

他方、絵画の世界では、遠近法、陰影法、前進色と後退色の組み合わせなどの絵画的テクニックを利用して立体感や奥行き感を高めることが行われている。トリックアート（トロンプ・ルイユとも呼ばれる）はこれら手法を利用して作成される絵画作品であり、平面作品にオブジェクトを描き、前述の手法を駆使して該オブジェクトとの適切な重畳関係を描写することで、二次元に描いた絵の一部が現実世界の三次元空間に飛び出しているように錯覚させることで、立体感を高めることが出来る。例えば、絵の中に描写されている額縁から絵の一部をはみ出させ、適切な陰影描写を行うことで、はみ出した部分がまるで絵から飛び出しているかのように見せる作品などが良く知られている。

特開昭６０−７２９１号公報 特開平１−１７１３９０号公報

上記特許文献に示されるような、立体感や奥行き感を強調するシステムでは、特殊なフィルタや眼鏡などを必要とするため、現行の２次元対応の表示システム（ディスプレイ）を置き換える必要があった。また、上記特許文献に記されるような技術で作成された映像を視聴する場合、視聴者は特殊な眼鏡の装着を義務付けられるなど、視聴方法を著しく制限するものであった。

本発明は、上記の問題を鑑み、従来の２次元対応の表示システムを変更することなく、映像中の各オブジェクトの奥行き情報に基づく映像処理を行うことで、視聴者に負担や制限を強いることなく、映像に対して知覚する立体感や奥行き感を向上させる技術を提供することを目的とする。

本発明は、入力される映像の立体感、奥行き感を高める映像処理装置であって、
入力映像を取得する映像取得部と、撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得部と、前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として２つに分割する映像分割部と、前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成部と、前記前景領域の影領域を生成する影領域生成部と、前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成部と、を備えることを特徴とする。

また、前記映像処理装置において、前記影領域生成部は、前記前景領域の前記距離感知覚オブジェクト対する影領域を生成することを特徴とする。

また、前記映像処理装置において、影が生じる方向の影方向情報を取得する影方向取得部を備え、前記影領域生成部は、前記影方向取得部で取得した影方向情報に基づいて影領域を生成することを特徴とする。

また、前記映像処理装置において、前記前景領域の拡大及び前記背景領域の縮小のうち少なくともいずれか１つの変形をする映像変形部を備え、前記影領域生成部は、拡大された前記前景領域に基づいて前景領域の影を生成し、前記映像合成部は、前記前景領域が拡大された場合は、拡大前衛領域と、その拡大前景領域の影領域を用いることを特徴とする。

また、前記映像処理装置において、前記距離感知覚オブジェクト生成部で生成されるオブジェクトは、枠オブジェクトであることを特徴とする。

また、前記映像処理装置において、前記距離感知覚オブジェクト生成部で生成されるオブジェクトは、壁オブジェクトであることを特徴とする。

また、前記映像処理装置において、入力される映像は、動画像または静止画像であることを特徴とする。

また、本発明は、入力される映像の立体感、奥行き感を高める映像処理方法であって、
入力映像を取得する映像取得ステップと、撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得ステップと、前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として２つに分割する映像分割ステップと、前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成ステップと、前記前景領域の影領域を生成する影領域生成ステップと、前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成ステップと、を備えることを特徴とする。

また、前記映像処理方法において、前記影領域生成ステップでは、前記前景領域の前記距離感知覚オブジェクト対する影領域を生成することを特徴とする。

また、前記映像処理方法において、影が生じる方向の影方向情報を取得する影方向所得ステップを備え、前記影領域生成ステップは、前記影方向取得ステップで取得した影方向情報に基づいて影領域を生成することを特徴とする。

また、前記映像処理方法において、前記前景領域の拡大及び前記背景領域の縮小のうち少なくともいずれか１つの変形をする映像変形ステップを備え、前記影領域生成ステップは、拡大された前記前景領域に基づいて前景領域の影を生成し、前記映像合成ステップは、前記前景領域が拡大された場合は、拡大前衛領域と、その拡大前景領域の影領域を用いることを特徴とする。

また、本発明は、前記映像処理方法をコンピュータに実行させるためのプログラムであってもよい。

本発明の映像処理装置によれば、奥行き情報に基づいて、前景領域と背景領域の間に額やカーテンなどの距離感知覚のためのオブジェクトを挿入しているので、特殊な表示システムや特殊な眼鏡の装着などを必要とせず、映像処理のみによって立体感、奥行き感の強調を施した映像を取得することができる。また、前景領域や枠オブジェクト等の影を生成するので、さらに、立体感や奥行き感を強調した映像を取得できる。

さらに、前景領域や背景領域を拡大縮小する映像変形を行うと、より遠近感を強調した映像を得ることができるので、立体感や奥行き感を高めた映像が取得できる。

本発明の第１の実施の形態による映像処理映像処理装置の一構成例を示す機能ブロック図である。 図１に示す本発明の第１の実施の形態による映像処理映像処理装置の一構成例の一変形例を示す機能ブロック図である。 映像処理映像処理装置における動作の流れを示すフローチャート図である。 入力映像を示す図である。 入力映像に対応する奥行き画像を示す図である。 奥行き情報に基づき分割された前景画像並びに背景画像を示す図である。 合成する額縁を示した図である。 図１に示す本発明の第１の実施の形態による映像処理映像処理装置の一構成例の一変形例を示す機能ブロック図である。 図１に示す本発明の第１の実施の形態による映像処理映像処理装置の一構成例の一変形例を示す機能ブロック図である。 本発明の第１の実施の形態による合成後の出力映像の例を示した図である。 合成する影領域を示した図である。 影領域の合成手法について説明した図である。 本発明の第２の実施の形態による、壁を用いた映像処理の例を示した図である。 本発明の第２の実施の形態による合成後の出力映像の例を示した図である。 本発明の第３の実施の形態による映像処理映像処理装置の一構成例を示す機能ブロック図である。 本発明の第３の実施の形態による合成後の出力映像の例を示した図である。

図面を参照しながら、本発明の各実施の形態による映像処理装置について説明を行う。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態による映像処理装置の一構成例を示す機能ブロック図である。
図１に示すように、本実施形態による映像処理装置１０は、奥行き情報を取得する奥行き情報取得部１１と、入力映像を取得する映像取得部１２と、奥行き情報取得部１１で得られた奥行き情報を基に映像取得部１２から得た映像を分割する映像分割部１３と、分割された映像に合わせて映像内に擬似的な平面を定義するオブジェクトを生成する距離感知覚オブジェクト生成部１４と、影領域を生成する影領域生成部１５と、これら生成された距離感知覚オブジェクト、影並びに分割された映像を合成し、立体感、奥行き感を強調した映像を出力部１７に出力する映像合成部１６と、を含んで構成される。

図２は映像処理装置１０における動作の流れを示すフローチャート図である。処理が開始されると（開始）、映像取得部１２が入力映像を取得する（ステップＳ１）。次に奥行き情報取得部１１が入力映像に対応する奥行き情報を取得し（ステップＳ２）、距離感知覚オブジェクトを配置する位置を決定する（ステップＳ３）。本実施例では、奥行き情報は入力映像とともに外部から取得するものとしている。映像分割部１３は、決定された距離感知覚オブジェクト配置位置に基づき入力映像を距離感知覚オブジェクトの前に配置する部分（前景）と、距離感知覚オブジェクトの後ろに配置する部分（背景）に分割する（ステップＳ４）。距離感知覚オブジェクト生成部１４が、分割後の映像に合わせて合成する距離感知覚オブジェクトを生成する（ステップＳ５）。一方、影領域生成部１５が、距離感知覚オブジェクトに掛かる影を分割後の入力映像の前景部分から作成する（ステップＳ６）。最後に、映像合成部１６が、これら分割された入力映像、距離感知覚オブジェクト、影を合成の後出力し（ステップＳ７）、処理を終了する（終了）。

上記フローチャートでは、ステップＳ２において、奥行き情報を入力映像とともに外部から取得するものとして説明を行ったが、入力映像から奥行き情報を計算する形としても良い。たとえば、図３に示す映像処理装置２０のように、奥行き情報取得部２１を設け、映像取得部１２で取得した入力映像から奥行き情報を計算して取得するような形としても良い。なお、図１、図３中の各部のうち、同じ記号で示されるブロックは同一の機能をもつものとする。

以下に、本実施の形態による映像処理装置１０の各構成部について、さらに詳細に説明する。

（奥行き情報取得部１１の説明）
まず、奥行き情報取得部１１について説明を行う。映像処理装置１０は、映像取得部１２から得られる入力画像に対応した奥行き情報を取得する奥行き情報取得部１１を有する。ここで、奥行き情報とは、入力映像に映っている各オブジェクト（例えば、人、車、木、壁など）と、撮影者（カメラ）との距離を示す情報である。本実施例では、奥行き情報は撮影時に取得され、映像処理装置１０に送信されるものとする。撮影時の奥行き情報取得方法としては、たとえばステレオ法を応用し、位置をずらした２つのカメラで同一オブジェクトを撮影した際の撮像面での位置のずれを基に距離を求めることとしても良いし、カメラに備えられた赤外線照射装置からオブジェクトに照射された赤外線の反射光の強弱を測定することで取得するものとしても良い。

本実施形態では、奥行き情報は撮影時に入力映像とは別に取得されるものとしているが、本実施例の変形例として、奥行き情報を図３に示すように入力映像から計算するものとしてもよい。入力映像からの奥行き情報の計算には、たとえば、特開平９−１６１０７４号公報に示される技術を用いる。また、入力映像がなんらかの方式で符号化されている場合、その符号化情報から奥行き情報を作成しても良い。例えばＭＰＥＧ（Moving Picture Experts Group）によって作られた標準動画規格の一つであるＭＰＥＧ−４（Moving Picture Expert Group phase4）では背景や人物などのオブジェクト単位で符号化することが可能である。入力映像が該機能を用いて、背景と人物が別々に符号化されていた場合は、この情報を用いて、「カメラと背景の距離」より「カメラと人物の距離」が近くなるような奥行き情報を作成する。

（映像取得部１２の説明）
映像取得部１２について説明する。映像取得部１２は立体感、奥行き感を向上させる映像処理を行う元となる映像を取得する。ここでの映像は、静止画像でも動画像でも良く、何らかの符号化方式、例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ−２（Moving Picture Expert Group phase2）などで圧縮されたものであっても、非圧縮のものであっても良い。入力映像が符号化されたものであった場合は、本ブロックで適切に復号（例えばＲＧＢ形式やＹＵＶ形式）される。以下、本実施例では、復号後の画像について処理を行うものとする。また、本実施例で行われる映像処理については、説明を簡単にするため、静止画または１フレームに対して処理を行うものとして説明を行っているが、入力映像が動画である場合、連続する各フレームに対して同様の処理を行うものとする。

（映像分割部１３の説明）
次に、映像分割部１３について説明する。映像分割部１３は、映像取得部１２で取得した入力映像を、奥行き情報取得部１１で取得した奥行き情報に基づき、距離感知覚オブジェクト生成部１４（詳細は後述）で生成する距離感知覚オブジェクトの前に表示する前景と、同距離感知覚オブジェクトの後ろに表示する背景とに分離する。

ここで図を用いてさらに詳細に説明する。今、図４に示す入力画像３１と、図５に示すような入力画像３１に対応する奥行き情報を持つ奥行き画像３２があったとする。ここで、奥行き画像３２は撮影者（カメラ）とオブジェクトの距離を５段階の奥行きとして示しており、奥行き情報表３３に示すように距離の近い順に１、２、…、５で示され、入力画像３１の各画素に対応して奥行き１〜５のいずれかの値が入っているものとする。ここでは説明の簡単のために、奥行き情報を５段階で示すものとするが、奥行き情報は５段階未満乃至は５段階以上でも良く、もちろん無段階で示すものとしても問題はない。

このとき、映像分割部１３は閾値Ｔｈに基づき、入力映像を前景と背景に分割する。入力画像３１の各画素に対応する全ての奥行き情報Ｄｅｐｔｈ（ｎ）において、Ｔｈ＞Ｄｅｐｔｈ（ｎ）の場合は対応する入力画像３１の画素Ｐｘ（ｎ）を背景として、Ｔｈ≦Ｄｅｐｔｈ（ｎ）の場合は同画素Ｐｘ（ｎ）を前景とする。この分割判定を示すＣ言語プログラムを以下に示す。

ｉｆ（Ｔｈ＞Ｄｅｐｔｈ（ｎ））｛
Ｐｘ（ｎ）＝背景
｝ｅｌｓｅ｛
Ｐｘ（ｎ）＝前景
｝

ここで、あらかじめ設定されている閾値Ｔｈが２であるとすると、最終的に、入力画像３１は距離画像３２に基づき、図６に示す前景領域３４（映像３５中の実線で囲まれた白色領域）と背景領域３６（映像３７中の実線で囲まれた白色領域）に分割される。

本実施例では、閾値Ｔｈは予め映像処理装置１０に記録されている値として説明を行ったが、映像処理装置１０を使用するユーザが自由に設定できる値としても良い。また、閾値Ｔｈを計算で求めても良い。たとえば、下記式１は、奥行き画像３２に基づき、その距離の平均を閾値Ｔｈとする例である。

Ｔｈ＝（ΣＤｅｐｔｈ（ｎ））/ｎ（但し、ｎ＝０、１、２、…、ｉ） …（式１）

（距離感知覚オブジェクト生成部１４の説明）
距離感知覚オブジェクト生成部１４について説明を行う。距離感知覚オブジェクト生成部１４は、映像分割部Ａ４で決定された前景部領域と背景部領域に基づき、入力映像に合成する距離感知覚オブジェクトを生成する。ここで距離感知覚オブジェクトとは、入力映像中の前景と背景との間の奥行き位置に挿入することで前景または背景との相対的な距離感を与え、視聴者に立体感、奥行き感を知覚させるためのオブジェクトである。ここでいう挿入する奥行き位置とは、前述の奥行き情報の閾値とした位置をいう。本実施例では、図７に示すように、距離感知覚オブジェクトとして、映像の外周を囲う枠オブジェクトである額縁３７を生成する。ここでは、額縁の形状、色などはあらかじめ映像処理装置１０で決定されているものとするが、ユーザが任意の形状、色の額縁を登録できるようにし、これを合成することとしても良い。

また、本実施例では、生成される額縁３７を立体的に見せるための額縁３７自身の陰影についても、あらかじめ決められているものとするが、これは入力から得られる情報に基づいて入力映像内での前衛領域の陰影と合わせることで、より一体感の増す額縁を生成することができる。たとえば、図８に示すように、映像処理装置１０の変形例である映像処理装置４０は、影方向取得部４１を備えることによって、距離感知覚オブジェクト生成部１４と影領域生成部１５（後述）において、該ブロックから得た影の方向に基づき、入力画像と同じ方向の陰影を構築することが可能である。ここでの影方向取得部４１への入力は、例えば、撮影時の照明条件から導き出した、各オブジェクトの影の方向である。

また、影の方向が入力画像から推定可能である場合、図９に示すように、映像処理装置２０の変形例である映像処理映像処理装置５０は、映像取得部１２から得られた入力画像から計算によって影の方向を求める影方向取得部５１を設けることによって、影の方向を得ることができる。勿論影の方向をユーザが指定する形とすることで、ユーザの好みの方向に陰影をつけることとしても良い。

本実施例では、映像の外周を囲う枠オブジェクトとして額縁を例に説明を行ったが、このオブジェクトが額縁以外のものでも良いことは言うまでも無い。例えば、窓の枠や図１０（ａ）の映像６１に示すような折りたたまれたカーテン６２などを配置しても良い。

（影領域生成部１５の説明）
次に影領域生成部１５について説明を行う。影領域生成部１５は、主に映像分割部１３で決定された前景部領域から、影領域を生成する。図６に示したような、前景領域３４が取得される時、この領域をあらかじめ映像処理装置１０に設定されている色で塗りつぶした影領域６４（図１１参照）を得る。

（映像合成部１６の説明）
最後に映像合成部１６について説明する。映像合成部１６では図１０（ｂ）映像６３に示すように、映像分割部１３で得られた背景領域３６、距離感知覚オブジェクト生成部１４で生成された額縁３７、影領域生成部１５で生成された影６４、映像分割部１３で得られた前景領域３４を順に合成する。まず、背景領域３４に額縁３７を重畳する。次に影領域６４を重畳する。この時、影領域６４の重畳する位置（ｘ，ｙ）は、前景オブジェクトの位置（ｕ，ｖ）から相対的に下記式２で求められる。

ｘ＝ｕ＋ａ
ｙ＝ｖ＋ｂ …（式２）

これは即ち、図１２（ａ）中の映像７１に示すように、影領域６４の位置（ｘ，ｙ）は、前景領域３４の位置（ｕ，ｖ）からｘ軸方向にａ、ｙ軸方向にｂだけ平行移動させた位置である。ここで、ａ、ｂは映像処理装置１０にあらかじめ登録されている任意の値である。映像合成部１６は位置（ｘ，ｙ）に影領域６４を重畳するが、図１２（ｂ）の映像７２に示すように額縁３７と重なる領域７４のみ影領域を描写するものとし、それ以外の領域（７３）は描写を行わない。なお、描写する影領域７４に透過処理やぼかし処理など、より実際の影に近付け、立体感、奥行き感を得るための映像処理を加えることとしても良い。また、本実施例では、ａ、ｂは映像処理装置１０にあらかじめ登録されているものとしたが、ユーザが自由に設定できるものとしても良いし、図８に示す影方向取得部４１や、図９に示す影方向取得部５１から得られる影方向情報を基に決定するものとしても良い。最後に前景領域３４１を合成し、出力部１７に合成した映像６５（図１０（ｃ））を出力する。

こうして、奥行き情報に基づいて、前景領域と背景領域の間に額やカーテンなどの距離感知覚のための枠オブジェクトを挿入しているので、従来の２次元の表示システムであっても、立体感や奥行き感が高まった映像が表示できる。さらに、前景領域や枠オブジェクト等の影も生成する場合は、さらに、立体感や奥行き感が高まる。特に枠オブジェクトに前景領域の影を生成した場合は、前景領域と枠オブジェクトの奥行き配置がより明確になる効果がある。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。本実施の形態では、入力映像に額縁ではなく壁を合成する点において第１の実施の形態とは異なる。

本発明の第２の実施の形態による映像処理装置は、図１の映像処理装置１０と同じである。

本実施の形態による映像処理装置１０では、映像処理装置１０の距離感知覚オブジェクト生成部１４で生成されるオブジェクトが第１の実施の形態に示した額縁３７に代えて、前景と背景を隔てるオブジェクトである壁が生成される点を特徴とする。

距離感知覚オブジェクト生成部１４は、映像分割部１３で決定された前景部領域と背景部領域に基づき、入力映像３１に合成する壁を生成する。本実施例では、図５で示すような奥行き情報３２が取得されているものとし、前景と背景を分割する閾値Ｔｈが奥行き４であるものとし、これに基づき入力映像３１を図１３（ａ）に示す前景領域８２と、図１３（ｂ）に示す背景領域８４に分割する。

映像合成部１６は、図１３（ｃ）に示す映像８６に示すように、第１の実施の形態と同様、背景領域８４、壁領域８７、影領域８８、前景領域８２の順に重畳し、図１４（ａ）に示す最終的な合成映像９１を得る。

本実施例では、映像合成部１６は影領域８８のうち、壁領域８７と重なる部分を描写するものとし、第１の実施の形態と同様、透過処理やぼかし処理など、より実際の影に近付け、立体感、奥行き感を得るための映像処理を加えることとしても良い。また、前景領域内の奥行き情報に応じて、局所的に影領域に加える映像処理を変化させることとしても良い。図１４（ｂ）の合成映像９２は、図５の奥行き情報に基づき、奥行き情報が１の前景領域に対応する影領域９４に対してだけぼかし処理を行い、奥行き情報が１より大きい前景領域に対応する影領域９３には映像処理を行わない様子を示した図である。また、図１４（ｃ）に示す映像９５の例の壁領域８７ａのように、壁領域は任意の大きさで生成され、この大きさをユーザが決定、または映像処理装置１０にあらかじめ設定されているものとする。

本実施例では、前景と背景を隔てる距離感知覚オブジェクトとして壁を例に説明を行ったが、このオブジェクトが壁以外のものでも良いことは言うまでも無い。例えば、電柱などの柱や、木などのオブジェクトを配置しても良い。

こうして、奥行き情報に基づいて、前景領域と背景領域の間に壁や柱などの距離感知覚のためのオブジェクトを挿入しているので、従来の２次元の表示システムであっても、立体感や奥行き感が高まった映像が表示できる。さらに、前景領域やオブジェクト等の影も生成する場合は、さらに、立体感や奥行き感が高まる。特にオブジェクトに前景領域の影を生成した場合は、前景領域とオブジェクトの奥行き配置がより明確になる効果がある。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。本実施の形態では、入力映像を奥行き情報に基づき変形させる点を特徴とする。

本発明の第３の実施の形態によるシステムの一構成例を示す機能ブロック図を図１５に示す。

本実施の形態による映像処理装置１００では、第１の実施の形態に示した映像処理装置１０の各ブロックに加えて、映像変形部１０１が備えられている点を特徴とする。図１５では、図１の各機能部と同等の機能を持つ各機能部には同名の機能部の名称並びに記号を付している。

映像変形部１０１は、映像分割部１３で分割された前景並びに背景を任意の変換法で変形させる。例えば、映像分割部１３で入力映像３１が図６に示したように前景３４と背景３６に分割された後、映像変形部１０１が背景領域３６を任意の縮小率ａで縮小する。この後、距離感知覚オブジェクトの生成、影の生成、映像合成を行う。図１６（ａ）に示すように、これによって得られた変形後の背景領域１１２を新たな背景とし、得られた出力映像１１１は前景と背景の遠近感をより強調した映像となると共に、図１０に示した出力画像６５では額縁に隠れていた領域も表示することが可能となる。同様に、映像分割部１３により分割処理された後、図１６（ｂ）の映像１１３に示すように、映像変形部１０１が任意の拡大率ｂで拡大した前景領域１１４を新たな前景領域とすることで、より遠近感を強調した映像を得ることが出来る。本実施例では、前景または背景のどちらかのみを変形させる例を示したが、両方に変形処理を適用しても良い。また、変形させるための変換方法についても、単純な拡大縮小処理以外の変換方法、例えば、奥行き情報取得部から得られる奥行き情報に基づき、遠近法変換を用いることとしても良い。

なお、図１５に示した本実施形態は、図１の映像処理装置１０に映像変形部１０１を加えたものであるが、これに限るものではない。図３、図８、図９の映像処理装置２０，４０，５０に映像変形部１０１を加えたものであってもよい。

このように、前景領域や背景領域を拡大縮小する映像変形を行うと、より遠近感を強調した映像を得ることができるので、立体感や奥行き感を高めた映像を表示できる。

上述したように、上記各実施の形態に係る映像処理装置の機能は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納し、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行することができる。

１０，２０，４０，５０，１００ 映像処理装置
１１，２１ 奥行き情報取得部
１２ 映像取得部
１３ 映像分割部
１４ 距離感知覚オブジェクト生成部
１５ 影領域生成部
１６ 映像合成部
１７ 出力部
４１，５１ 影方向取得部
１０１ 映像変形部

Claims (12)

1. 入力される映像の立体感、奥行き感を高める映像処理装置であって、
   入力映像を取得する映像取得部と、
   撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得部と、
   前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として２つに分割する映像分割部と、
   前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成部と、
   前記前景領域の影領域を生成する影領域生成部と、
   前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成部と、
   を備えることを特徴とする映像処理装置。
2. 前記影領域生成部は、前記前景領域の前記距離感知覚オブジェクト対する影領域を生成することを特徴とする請求項１に記載の映像処理装置。
3. 影が生じる方向の影方向情報を取得する影方向取得部を備え、
   前記影領域生成部は、前記影方向取得部で取得した影方向情報に基づいて影領域を生成することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記前景領域の拡大及び前記背景領域の縮小のうち少なくともいずれか１つの変形をする映像変形部を備え、
   前記影領域生成部は、拡大された前記前景領域に基づいて前景領域の影を生成し、
   前記映像合成部は、前記前景領域が拡大された場合は、拡大前衛領域と、その拡大前景領域の影領域を用いることを特徴とする請求項１、２又は３に記載の映像処理装置。
5. 前記距離感知覚オブジェクト生成部で生成されるオブジェクトは、枠オブジェクトであることを特徴とする請求項１乃至４に記載の映像処理装置。
6. 前記距離感知覚オブジェクト生成部で生成されるオブジェクトは、壁オブジェクトであることを特徴とする請求項１乃至５のいずれかに記載の映像処理装置。
7. 入力される映像は、動画像または静止画像であることを特徴とする請求項１乃至６のいずれかに記載の映像処理装置。
8. 入力される映像の立体感、奥行き感を高める映像処理方法であって、
   入力映像を取得する映像取得ステップと、
   撮影された映像内の各オブジェクトの奥行き情報を取得する奥行き情報取得ステップと、
   前記入力映像を、前記奥行き情報に基づいて、所定の奥行き位置より手前の映像を前景領域、所定の奥行き位置より奥の映像を背景領域として２つに分割する映像分割ステップと、
   前記前景領域と、前記背景領域との間の奥行き位置に挿入する、距離感知覚のためのオブジェクトの映像を生成する距離感知覚オブジェクト生成ステップと、
   前記前景領域の影領域を生成する影領域生成ステップと、
   前記前景領域、前記背景領域、前記距離感知覚オブジェクト及び前記影領域を奥行き情報に基づいて合成した映像を作成する映像合成ステップと、
   を備えることを特徴とする映像処理方法。
9. 前記影領域生成ステップでは、前記前景領域の前記距離感知覚オブジェクト対する影領域を生成することを特徴とする請求項８に記載の映像処理装置。
10. 影が生じる方向の影方向情報を取得する影方向所得ステップを備え、
    前記影領域生成ステップは、前記影方向取得ステップで取得した影方向情報に基づいて影領域を生成することを特徴とする請求項８又は９に記載の映像処理方法。
11. 前記前景領域の拡大及び前記背景領域の縮小のうち少なくともいずれか１つの変形をする映像変形ステップを備え、
    前記影領域生成ステップは、拡大された前記前景領域に基づいて前景領域の影を生成し、
    前記映像合成ステップは、前記前景領域が拡大された場合は、拡大前衛領域と、その拡大前景領域の影領域を用いることを特徴とする請求項８、９又は１０に記載の映像処理方法。
12. 請求項８乃至１１のいずれかに記載の映像処理方法をコンピュータに実行させるためのプログラム。

Images