JP2012080294A - 電子機器、映像処理方法、及びプログラム - Google Patents

Abstract

【課題】視聴者に臨場感を提供することの可能な電子機器、映像処理方法、及びプログラムを提供することを課題とする。
【解決手段】電子機器は、ユーザが第１の位置から、前記第１の位置より前記電子機器との距離が短い位置である第２の位置へ移動すると、この移動量を検出する移動量検出手段と、前記移動量に基づいて、立体視映像内の物体の飛び出しを強調させる飛び出し強調手段と、前記物体の飛び出しが強調された立体視映像を出力する出力手段と、を具備する。
【選択図】図３

Description

本発明の実施形態は電子機器、映像処理方法、及びプログラムに関する。

一般的に、映像表示装置では、例えばＬＣＤ（Liquid Crystal Display）パネルに代表されるようなフラットパネルディスプレイ（ＦＰＤ：Flat Panel Display）に表示される。このため、通常の映像を視聴しても視聴者は映像にあまり奥行きを感じなかった。しかし近年、両眼視差方式により視聴者が立体可能な映像表示装置が普及し始めており、この映像表示装置では左右の眼に異なる映像を視認させることによって、視聴者に奥行き（飛び出しも含む）を感じさせることを可能としている。

特開２００７−２８０１０８号公報

一般的な立体視技術では、視聴者が所定の位置に存在していることを前提として、左眼に視認させるための画像である左眼用画像と、右眼に視認させるための画像である右眼用画像との間の視差が定められている。

しかし、例えば視聴者の視聴位置と映像表示装置との距離が変わった場合には、運動視差が生じ、想定されている視差と視聴者に提供するべき視差が異なってしまうため、視聴者に不自然な飛び出し量の立体視映像を提供してしまう可能性がある。また、視聴者の視聴位置が変更した場合にも、臨場感を提供するようなものではなかった。

本発明は上記に鑑みてなされたものであって、視聴者に臨場感を提供することの可能な電子機器、映像処理方法、及びプログラムを提供することを課題とする。

実施形態における電子機器は、ユーザが第１の位置から第２の位置へ移動すると、この移動量を検出する移動量検出手段と、前記移動量に基づいて、立体視映像内の物体の飛び出しを強調させる飛び出し強調手段と、前記物体の飛び出しが強調された立体視映像を出力する出力手段と、を具備する。

実施形態における映像表示システムの一例を示す概観図。 実施形態におけるＤＴＶが表示する映像の一例を示す概念図。 実施形態における間に視差が存在する左眼用画像及び右眼用画像の生成方法の一例を示す概念図。 実施形態における映像出力システムの内部構成の一例を示すブロック図。 実施形態における物体の位置と奥行きの関係の一例を示す概念図。 実施形態におけるシャッタメガネの測位方法の一例を示す概念図。 実施形態における飛び出し強調部が実行する飛び出し量強調処理の一例を示す概念図。 実施形態における映像面と投影面の関係の一例を示す概念図。 実施形態における投影面移動距離Ｚと移動距離Ｍとの関係を示す関数の一例を示す概念図。 実施形態における運動視差生成部が実行するスケーリング処理の一例を示す概念図。 実施形態におけるＤＴＶが実行する処理フローの一例を示すフロー図。 実施形態における飛び出し強調処理の一例を示すフロー図。 実施形態の変形例における処理の一例を説明するための概念図。 実施形態の変形例における処理の一例を説明するための概念図。

実施の形態を図面を参照しながら説明する。

図１は本実施形態における映像表示システム３の一例を示す概観図である。図１にはＤＴＶ１、シャッタメガネ２、および映像出力システム３が示されている。

ＤＴＶ１は例えばデジタルテレビ（Digital Television）であって本実施形態における電子機器の一例である。ＤＴＶ１は、間に視差が存在する左眼用画像と右眼用画像を交互に表示することによって、シャッタメガネ２を装着したユーザに立体視映像を提供することが可能である（フレームシーケンシャル方式）。また、更にＤＴＶ１は、１つの視点から撮影された平面映像（２Ｄ映像とも呼ぶ）から、両眼視差を利用した立体視映像（３Ｄ映像とも呼ぶ）を生成する処理（２Ｄ３Ｄ変換処理）を実行できる。ここでの２Ｄ３Ｄ変換処理では、ＤＴＶ１は入力された画像を解析し、画像内の物体の奥行き量を推定することで、視差の存在する右眼用及び左眼用の画像を生成する。また、本実施形態では電子機器の一例としてＤＴＶ１を示すが、これに限定されるものではなく、例えばＤＶＤ（Digital Versatile Disc）プレーヤ、ＨＤＤ（Hard Disk Drive）プレーヤ、ＳＴＢ（Set Top Box）、又はＰＣ（Personal Computer）等の様々なものが電子機器の例として考えられる。

シャッタメガネ２は左眼用レンズ及び右眼用レンズにそれぞれ遮蔽可能な液晶シャッタが設けられており、これらのレンズとシャッタとを合わせてレンズユニットと呼ぶこととする。シャッタメガネ２はＤＴＶ１から受信するシャッタの開閉信号に基づいて左右のレンズユニットのそれぞれのシャッタを異なるタイミングで開閉することで、ユーザに立体視映像を提供する。例えば、開閉信号としてＲＦ（Radio Frequency）信号を用いる場合、シャッタメガネ２はＲＦレシーバを備えている。

例えば、本実施形態においてＤＴＶ１は、図２で示すように左眼用画像と右眼用画像とを交互に表示する。ＤＴＶ１に左眼用画像が表示されているときには、シャッタメガネ２はＤＴＶ１からの開閉信号に基づいて右眼用レンズユニットのシャッタを閉状態（遮蔽状態）、左眼用レンズユニットのシャッタを開状態（透過状態）として、ユーザの左眼のみに左眼用画像を見せる。また右眼用画像が表示されているときには左眼用レンズユニットのシャッタを閉状態、右眼用レンズユニットのシャッタを開状態として、ユーザの右眼のみに右眼用画像を見せる。この動作によってユーザは見ている映像を立体として捉えることができる。

上記の立体視の原理を詳細に説明する。人間は通常、物体を位置の異なる左眼と右眼とのそれぞれで視認おり、この左眼と右眼とで視認する像の間には視差が存在する。この視差の存在する左眼で見る像と右眼で見る像とを脳内で合成することによって人間は見ている物体を立体として認識することができる。よって、間に視差の存在する左眼用の画像と右眼用の画像とをそれぞれの眼で見せることによって、ユーザに映像を立体として捉えさせることが可能となる。この原理を用いて上述のようにシャッタメガネ２はＤＴＶ１の映像をユーザに立体視映像として提供している。

また、ＤＴＶ１は上述のように２Ｄ３Ｄ変換処理を実行することができる。このとき、ＤＴＶ１は２Ｄ映像を解析し、映像内に存在する物体や風景の奥行きを推定する。図３は本実施形態における間に視差が存在する左眼用画像及び右眼用画像の生成方法の一例を示す概念図である。ＤＴＶ１は２Ｄ映像内に存在する物体４、物体５等の奥行き量を推定し、これに基づいて図３のように所定の視点から視聴者に視認される場合の右眼用画像及び左眼用画像を生成し、それぞれ交互に表示する。これによって上述のようにＤＴＶ１はユーザに立体視映像を提供している。

映像出力システム３はＤＴＶ１及びシャッタメガネ２によって構成される。ユーザはシャッタメガネ２を装着して、ＤＴＶ１に表示されている映像を見ることで、この映像を立体視映像として認識することができる。

次に映像出力システム３の内部構成について説明する。

図４は本実施形態における映像出力システム３の内部構成の一例を示すブロック図である。

制御部１０１は、ＤＴＶ１の動作を統括的に制御するための処理部である。制御部１０１は、図示しないが、プログラムに基づいて各種処理を実行するＣＰＵ（Central Processing Unit）、このＣＰＵが実行するプログラムを格納するＲＯＭ（Read Only Memory）、ＣＰＵが処理を実行する際に作業領域として使用するＲＡＭ（Random Access Memory）、及び各種設定値等を記憶する不揮発性メモリ（例えばフラッシュメモリ）とを備えている。

操作部１０２は、各種操作スイッチ及びリモコン６の受光部であり、受け付けたユーザからの指示を制御部１０１に送る機能を有している。

リモコン６は、ユーザからの操作に基づいて操作部１０２に対して赤外線を利用した無線通信で制御コマンドを送信する機能を有している。リモコン６は、チャンネルの設定やボリュームの調整についての制御信号を送信することが可能である。またさらに、リモコン６は本実施形態における「奥行きの強調」処理等についての制御信号を送信することも可能である。「奥行きの強調」処理については後述にて説明を行う。

光ディスク７は、例えば、ＤＶＤまたはＢｌｕ−ｒａｙ（登録商標）ディスクのような、レーザ光によってデータを読み書き可能な記憶媒体である。本実施形態における光ディスク７には２Ｄ映像コンテンツが記録されている。

光ディスクドライブ部１０３は、光ディスク７に記録されたデータを読み取る装置であり、光ディスク７を回転させるスピンドルモータや光ピックアップを動かすアクチュエータ等の駆動部、光ピックアップで読み取った反射光を電気信号にするアナログフロントエンド、同アナログフロントエンドが出力したアナログ信号をデジタル信号に変換するＤＳＰ（Digital Signal Processor）等で構成されている。

デコード部１０４は、光ディスクドライブ部１０３が出力するデジタル信号のエラー訂正を行い、圧縮された映像及び音声信号を復号する機能を有している。デコード部１０４は、復号された映像は奥行き推定部１０５に出力する。なお、デコード部１０４が音声信号を音声処理部に出力し、音声処理部は入力された音声信号に基づいてスピーカより音声を出力する（音声処理部及びスピーカは図４で図示しない）。

奥行き推定部１０５は、例えば公知の技術である「モーションステレオ法」により、デコード部１０４より入力した２Ｄ映像から、映像内の物体や背景の奥行き（depthと呼ぶ）を推定する機能を有している。奥行き（depth）の座標系は、図５に示されるように、表示パネル１１２（表示面）の位置を始点として、ユーザ側がプラスとなり、またユーザの逆側（奥側）がマイナスとする。すなわち、物体が飛び出している場合の物体の奥行きはdepth1>0、逆に物体が奥にある場合の物体の奥行きはdepth2<0となり、一般的に、depth1>0のときの奥行き（depth）の量は飛び出し量、depth2<0のときの奥行き（depth）の量はへこみ量と称される。図５のＢＬは標準視聴距離（ベースライン）と呼ばれ、視聴者に視聴を推奨する画面からの距離を示している。一般に５０インチのハイビジョンＴＶの場合、標準視聴距離は１．８メートルである。

測位部１０６は、本実施形態ではＤＴＶ１に設けられたユーザを撮影するカメラ（撮像手段）、このカメラで撮影した画像に所定の画像処理を施す画像処理部、及びこの画像に基づいてユーザとＤＴＶ１との距離、及びユーザが動いた時の移動距離を算出する計算部を有している。測位部１０６の、ユーザとＤＴＶ１との距離の計測（検出）方法については、後述にて説明を行う。ここでのカメラはＤＴＶ１に内蔵されたものでもよいし、ＤＴＶ１とは別体のカメラでもよい。また、本実施形態では測位部１０６はカメラを用いてユーザとＤＴＶ１との距離を測定（検出）するが、これに限定されず、ユーザとＤＴＶ１との距離を検出できれば、カメラ以外の手段によって構成されているとしてもよい。測位部１０６は、計測したユーザが動いた時の移動距離を飛び出し強調部１０７及び運動視差生成部１１０に対して出力する。

飛び出し強調部１０７は、測位部１０６が算出したユーザの移動距離に応じて、奥行き推定部１０５が推定した物体の奥行きに補正を行い、奥行きを再計算する処理を行う。例えば、奥行き推定により、奥行き量が指定範囲以内（本実施形態ではdepth>0であり、飛び出し量を持つ）の物体をスクリーニングし、視聴者が画面に近づいた場合に、それらの物体について飛び出し量の値が増加するように飛び出し量の強調を行う。なお、本実施例では、背景を含めて、へこみ量を持つ物体については、補正は行わない。

視差生成部１０８は、奥行き強調部１０７が出力した奥行き（depth）情報に基づいて、生成すべき左目用映像と右目用映像の視差量を求める機能を有している。

視差画像生成部１０９は、視差生成部１０８が求めた視差量に基づき、左目用映像と右目用映像を生成する。以上の処理によってＤＴＶ１は２Ｄ映像コンテンツに基づいて、３Ｄ映像コンテンツを生成することができる。また、ここでの３Ｄ映像コンテンツはユーザの移動に基づいて、depth>0の物体の飛び出し量が強調された映像となっている。

運動視差生成部１１０は、測位部１０６が求めた移動距離に基づいて、視差画像生成部１０９が生成した左目用映像と右目用映像の部分領域の拡大処理を行う機能を有している。これは、具体的には、左目用映像と右目用映像に対してケン・バーンズ・エフェクトとして広く知られる表示効果を与える処理であり、ユーザが身を乗り出したりして表示パネル１１２に近づいたような場合に、移動距離に応じて映像の一部を拡大することで、ユーザに映像が迫ってくるような感覚を与えることができる。

そして、運動視差生成部１１０は「透視投影」の考え方を用いることで、映像面の映像（コンテンツ）を投影面に投影し、投影面の映像を拡大して出力部１１１に出力する。なお、視差画像はフレームシーケンシャル方式で運動視差生成部１１０に入力され、投影面の生成から拡大の処理は、左右の映像に対して順次行なわれる。また、運動視差生成部１１０は映像コンテンツに対して、例えば超解像技術等による高解像度化処理を実行することができる。運動視差生成部１１０は入力された映像に対して所定の領域を抽出した後、この画像にスケーリングを施し、スケーリングした画像に対して高解像度化処理を実行し、画素を補間する。これにより運動視差生成部１１０は、拡大された画像が粗くなってしまうことを防ぐことができる。

出力部１１１は、運動視差生成部１１０が生成した、左目用映像と右目用映像を交互に表示パネル１１２に出力する機能を有している。また、出力部１１１は左眼用画像と右眼用画像の表示パネル１１２への出力タイミングを示す信号を同期制御部１１３に出力している。

表示パネル１１２は、例えばＬＣＤパネル等のＦＰＤであり、出力部１１１より出力される映像信号（左目用映像と右目用映像）を表示して、ユーザに提供する機能を有している。

同期制御部１１３は、出力部１１１から入力される左目用映像と右目用映像が出力されるタイミングにシャッタメガネ２の開閉を同期させるための同期信号を生成して、シャッタメガネ駆動部１１４に出力する。

シャッタメガネ駆動部１１４は、同期制御部１１３から入力する同期信号に合わせて、シャッタメガネ２の開閉信号を送信する機能を有している。例えば、シャッタメガネ２への信号送信にＲＦ信号を用いる場合は、ＲＦトランスミッターを備える。

ＤＴＶ１は、上述のように測位部１０６によってシャッタメガネ２の位置および移動量を計測することができる。この計測方法について、図６を用いて説明を行う。

図６は、本実施形態におけるシャッタメガネ２の測位方法の一例を示す概念図である。

ＤＴＶ１の上部には測位部１０６の一部であるカメラが設けられている。このカメラによって測位部１０６はカメラ正面を撮影し、撮影した画像よりユーザの位置を検出する。

また、シャッタメガネ２にはマーカー２１が設けられている。マーカー２１は、シャッタメガネ２の左端及び右端に設けられており、左端及び右端のマーカー２１はそれぞれ異なる色の球体によって構成されている。

測位部１０６のカメラは撮影された画像からマーカー２１を認識し、このマーカー２１の大きさに基づいて、シャッタメガネ２との距離を測定（算出）する（ユーザとの距離を測定する）。つまり、撮影した画像の中で、マーカー２１が大きく写っていればユーザは近くに存在し、小さく写っていればユーザは遠くに存在することとなる。また、ユーザが前後に移動した場合には、測位部１０６はＤＴＶ１とユーザとの距離の変位に基づいて、ユーザの移動量を測定する。本実施形態では測位部１０６はシャッタメガネ２のマーカー２１を認識してユーザの移動量を測定すると例示したがこれに限定されず、顔認識技術を用いて、顔の大きさや目の位置に基づき、ユーザの移動量を測定するとしてもよい。

このように測位部１０６はユーザの位置（ＤＴＶ１との距離）及び移動量を測定することができる。次に、このユーザの移動量の情報を用いて飛び出し強調部１０７が行う飛び出し量の強調（調整）について図７を用いて説明を行う。

図７は本実施形態における飛び出し強調部１０７が実行する飛び出し量強調処理の一例を示す概念図である。

ここではまず、ユーザが標準視聴距離ＢＬから視聴を行っていたところから、ＤＴＶ１側へ移動を行い（例えば身を乗り出して視聴する場合等）、視聴距離Ｌの位置まで移動した場合を考える。ユーザの移動量は、標準視聴距離ＢＬから視聴距離Ｌを減算した結果である移動距離Ｍとなる。この計算は測位部１０６によって実行され、飛び出し強調部１０７はこの移動距離Ｍの情報を取得することが出来る。飛び出し強調部１０７は移動距離Ｍに基づいてユーザに飛び出して認識される物体の飛び出し量の強調を実行する。つまり、飛び出し強調部１０７はdepth<0である物体５にはへこみ量の調整（補正）は行わず、depth>0である物体４に対しては飛び出し量を強調する。飛び出し量が強調された後の物体４の飛び出し量depth1 (New)は、元映像の飛び出し量depth1 (Original)に、強調量enhanceを加算した値となる。視差生成部１０８はこの強調された飛び出し量depth1 (New)に基づいて、左眼用画像と右眼用画像との間の視差量を生成し、視差画像生成部１０９はこの視差量に基づいて左眼用画像と右眼用画像を生成する。これにより、ユーザがＤＴＶ１に近づいた場合、飛び出し量を持つ（飛び出して認識される）物体４は、元の映像より飛び出してユーザに認識されるようになり、ユーザはより高い臨場感を得ることができる。

また本実施形態のＤＴＶ１では、運動視差生成部１１０による画像の拡大処理を行う。この拡大処理について、図８乃至図１０を用いて以下で説明する。

図８は本実施形態における映像面と投影面の関係の一例を示す概念図である。

ＤＴＶ１は、上述のように「透視投影」の考え方を用いることで、映像面の映像（コンテンツ）を投影面に投影し、投影面の映像を拡大して出力部１１１に出力する。図８に示される視点は透視投影処理のための便宜上の視点であり、視聴者の視点とは無関係である。

図８（ｂ）で示されるように、投影面の位置は測位部１０６が測定した移動距離Mの関数で決定され、この関数の種々の例を図９に示す。また、投影面の移動距離である投影面移動距離Ｚと移動距離Ｍとの関係を本実施形態ではＺ＝ｆ（Ｍ）と示す。

図８（ａ）のように、視聴者が標準視聴位置で視聴しているときには、映像面の映像と投影面の映像が一致するように投影面の初期位置は設定されている。ユーザの視聴位置が変わり、移動距離Ｍが生まれるとこれに伴い、Ｚ＝ｆ（Ｍ）の関数に従って、図８（ｂ）のように投影面が投影面移動距離Ｚ分、映像面側に移動する。運動視差生成部１１０は、図１０のように、投影面に投影された領域の映像面上の映像を切り出して拡大処理を行い、拡大した画像を出力部１１１に出力する。

すなわち、ユーザが身を乗り出すと、映像がクローズアップされ、映像に運動視差を与える効果を得ることができる。なお、視聴者の動きに対して投影面の動きが敏感すぎると、映像の拡大と縮小の繰り返しによる振動が発生する可能性があるため、運動視差生成部１１０の運動視差を生成する処理は、一定時間シャッタメガネ２の移動が無い場合に動作する。また、飛び出し強調部１０７の飛び出し強調処理についても、同様に、一定時間シャッタメガネ２の移動が無い場合に動作する。

運動視差生成部１１０が投影面移動距離Ｚを決定するとき、図９に示される関数はどの関数が用いられても良い。また、これらの関数のうちどの関数を利用するかをユーザが選択可能であってもよい。利用する関数を選択することによって、ユーザは投影面の移動量を調整することができ、ユーザの好みに対応することができる。この場合ユーザはリモコン６によって、利用する関数を選択できる。また、リモコン６は通常、チャンネルの設定やボリュームの調整に使うが、本実施例では、各種閾値の設定や「奥行きの強調」や「運動視差の生成」の機能を個々にＯＮ／ＯＦＦできるものとする。

次に本実施形態におけるＤＴＶ１の処理フローについて説明する。

図１２は本実施形態におけるＤＴＶ１が実行する処理フローの一例を示すフロー図である。

まず、測位部１０６はカメラによってＤＴＶ１前方を撮影し、撮影した画像を解析することで、シャッタメガネ２のマーカー２１を検出する。このとき、測位部１０６は撮影した画像の中のユーザの顔を認識した後に、シャッタメガネ２、マーカー２１と順次画像を切り出し、最終的に、撮影されたマーカー２１の面積からＤＴＶ１と視聴者の視聴距離Ｌを算出する。マーカー２はシャッタメガネ２の左右に設けられており、測位部１０６はＤＴＶ１と左眼までの距離ＬＬと、右眼までの距離ＬＲとを個別に算出することができるが、本実施形態では、視聴距離Lは距離ＬＬと距離ＬＲの平均値とする（Ｌ＝（ＬＬ＋ＬＲ）／２）。そして測位部１０６は移動量検出手段として、標準視聴距離ＢＬと、測定したユーザとＤＴＶ１間の視聴距離Ｌとの差、すなわちユーザの移動距離Ｍを計算（検出）する（ステップＳ１１１）。ここでは、ユーザの移動距離を標準視聴距離ＢＬと視聴距離Ｌとの差として例示しているが、これに限定されない。例えば、ある時刻におけるユーザの位置（第１の位置）とそれ以降の時刻におけるユーザの位置（第２の位置）との差を移動距離Ｌしてもよい。このとき、測位部１０６は自身の有するバッファに過去のユーザの視聴距離Ｌを保持しており、保持している過去の視聴距離Ｌ及び現在の視聴距離Ｌに基づいてユーザの移動距離Ｍを算出する。

次に、奥行き推定部１０５が、奥行き検出手段として、デコード部１０４のデコードした２D映像から物体の奥行き（depth）の推定を行う。上述のように、本実施形態では広く知られた「モーションステレオ法」を応用して物体の奥行きを推定する。モーションステレオ法とは、微小間隔で撮影した連続画像に映る物体の「画面上の動き」等に基づき、被写体までの距離を算出する方法である。奥行き推定の方法として、本実施形態では「モーションステレオ法」を応用するものとして例示するがこれに限定されず、奥行き推定方法にはこの他にも種々の方法が存在し、他の方法によって奥行き推定を行うとしてもよい。奥行き推定部１０５は、上述のように求めた奥行き量を奥行き管理テーブルに登録する（ステップＳ１１２）。この奥行き管理テーブルとは映像内の物体と、この物体の奥行き量とが対応付けられているテーブルであり、ＤＴＶ１内の記憶媒体に記憶されている。本実施形態では制御部１０１の不揮発性メモリにこの奥行き管理テーブルが格納されているものとし、奥行き推定部１０５及び他のモジュールは不揮発性メモリの奥行き管理テーブルを参照、変更することができる。

次に、飛び出し強調部１０７が、飛び出し強調手段として、飛び出し量強調処理（奥行き量の補正処理）を行う（ステップＳ１１３）。飛び出し強調部１０７は測位部１０６から入力される移動距離Ｍに基づいて、それぞれの物体の飛び出し強調量enhanceを決定し、奥行き管理テーブルに登録されており、飛び出し量を持つ物体の飛び出し量を強調するように、奥行き管理テーブルの奥行き（depth）の値（奥行き量）を変更する。この処理の詳細な説明については、後述にて図１３を用いて行う。

次に、視差生成部１０８が変更された奥行き管理テーブルからそれぞれの物体の奥行き情報を取り出し、各物体の視差量を求め（ステップＳ１１４）、視差量管理テーブルに格納する。この視差量管理テーブルとは映像上のそれぞれの物体とこの物体の視差量とが対応付けられているテーブルである。この視差量管理テーブルも、奥行き管理テーブルと同様に不揮発性メモリに格納されている。

ステップＳ１１４の処理が終了すると、視差画像生成部１０９は視差量管理テーブルに基づいて、左眼用画像及び右眼用画像を生成し（ステップＳ１１５）、生成した画像を運動視差生成部１１０に対して出力する。

次に、運動視差生成部１１０が、透視投影の考え方で、測位部１０６が求めた移動距離Mから関数を用いて計算した投影面移動距離Ｚ（Ｚ＝ｆ（Ｍ））に応じた位置に投影面を移動し、映像面の映像（左眼用と右眼用の視差画像）を投影面に投影することで、映像を拡大する領域（拡大領域）を決定する（ステップＳ１１６）。

ステップＳ１１６で拡大領域を決定すると、運動視差生成部１１０は拡大手段として、画像の拡大処理を実行し、これと共に画像に高解像度化処理を行い、ピクセル間の補間を行うことで映像の劣化を抑制する（ステップＳ１１７）。

ステップＳ１１７の処理を終了すると運動視差生成部１１０は、移動距離Ｍに応じて拡大した左眼用画像及び右眼用画像を、出力部１１１を通じて、表示パネル１１２に出力する。このとき出力手段は出力手段として機能する。同期制御部１１３は左眼用画像と右眼用画像の切り替えに同期した信号を生成しシャッタメガネ駆動部１１４を通じて、シャッタメガネ２に開閉信号として送信する（ステップＳ１１８）。

次に、飛び出し強調部１０７が実行する飛び出しの強調処理（奥行きの補正処理）について説明を行う。

図１２は本実施形態における飛び出し強調処理の一例を示すフロー図である。

まず、飛び出し強調部１０７は奥行き管理テーブルより、飛び出し強調処理対象とする物体を選定する（ステップＳ１２１）。

次に、飛び出し強調部１０７は選定した物体の奥行き（depth）の値を奥行き管理テーブルより取り出し（ステップＳ１２２）、このdepthの値が０より大きいか否かの判別を行う（depth>0か否かの判別を行う）（ステップＳ１２３）。つまり、ここでは飛び出し強調部１０７は処理対象の物体が飛び出し量を持つか否かの判別を行う。つまり、飛び出し強調部１０７は判別手段として、これによって対象の物体に飛び出し強調処理を実行させるか否かの判別を行っている。奥行き（depth）の値が０以下（depth≦0）の場合には（ステップＳ１２３：Ｎｏ）、処理フローはステップＳ１２１に戻る。

奥行き（depth）の値が０より大きい（depth>0）場合には（ステップＳ１２３：Ｙｅｓ）、飛び出し強調部１０７は測位部１０６より入力される移動量Ｍの値に基づいて、強調量enhanceを決定する（ステップＳ１２４）。この強調量enhanceは移動量Ｍに依存する値であり、本実施形態では移動量Ｍと所定値の乗算にて求められる。所定値はユーザがリモコン６から設定可能な数値であり、例えば、「０．１（１０％）」という値がデフォルトでセットされている。

ステップＳ１２３で強調量enhanceを決定すると、飛び出し強調部１０７は奥行き（depth）（飛び出し量）を強調量enhanceで補正する（ステップＳ１２５）。具体的には、補正された（強調された）奥行きdepth (New)は、補正前の奥行きdepth (Original)と強調量enhanceとの和となる。

次に、飛び出し強調部１０７は補正した奥行き（depth）を奥行き管理テーブルに、処理対象の物体と対応付けて登録する（ステップＳ１２６）。

ステップＳ１２６の終了後、飛び出し強調部１０７は奥行き管理テーブルに登録されている全ての物体について飛び出し強調処理を実行したか否かの判別を行う（ステップＳ１２７）。全ての物体に飛び出し強調処理を実行していない場合には（ステップＳ１２７：Ｎｏ）、処理フローはステップＳ１２１に戻り、全ての物体に飛び出し強調処理を実行した場合には（ステップＳ１２７：Ｙｅｓ）、一連の処理フローは終了となる。

本実施形態のＤＴＶ１は両眼視差の補正（奥行きの補正）による物体の飛び出し量強調処理を行うため、ユーザにより臨場感の高い３Ｄ映像を提供することができる。

また、ＤＴＶ１は映像に運動視差を与えることで、ユーザに臨場感の高い３Ｄ映像を提供することができる。

また、本実施形態のＤＴＶ１はユーザ（視聴者）がＤＴＶ１に近づいたとき、物体の飛び出し量強調処理と運動視差に基づく画面拡大処理の相乗効果によって、ユーザにより臨場感の高い３Ｄ映像を提供することができる。

次に上記実施の形態の変形例について説明する。

（実施形態の変形例）
本変形例におけるＤＴＶ１は上記実施の形態とほぼ同様の構成となっており、更に機能が追加されている。ここでは上記実施形態とほぼ同様の構成については、同様の名称、同様の番号を附して説明を行う。

図１３は本変形例における、処理の一例を説明するための概念図である。

ユーザは、ＤＴＶ１に向かって前方向のみではなく、例えば左右方向又は後ろ方向に頭を移動させて、ＤＴＶ１を視聴する場合が考えられる。上記の実施形態では前方方向に対する運動視差を映像に与えており、本変形例ではこれに加え上下左右及び後ろ方向の運動視差を映像に与える。

測位部１０６はカメラによって撮影する映像からユーザの前方向の移動のみではなく、ユーザの上下左右方向及び後ろ方向の移動も検出する。測位部１０６は、シャッタメガネ２の上下左右方向及び前後方向の移動に基づいて、ユーザの上下左右方向及び前後方向の移動を検出し、運動視差生成部１１０は図１３のように、これに合わせて投影面を前方向のみではなく、上下左右方向及び後ろ方向に移動させる。これによって、映像面上の透視投影の範囲が移動し、運動視差生成部１１０はこの透視投影の範囲に基づいて映像を切り出す位置（領域）を決定する。本変形例では、ユーザの上下左右の移動によっても、映像に運動視差が与えられ、ユーザに臨場感を得ることができる。

また、ユーザが標準視聴距離ＢＬより後ろ方向に移動し、投影面が初期位置（透視投影の範囲と映像面の大きさが一致する位置）よりも映像面から遠い位置となってしまった場合には、透視投影の範囲が通常の映像面の大きさよりも大きくなってしまう。このため、運動視差生成部１１０は過去の複数フレーム映像を記録するフレームバッファに格納されている過去の画像を用い、公知の技術である「周辺視野映像生成技術」を利用することで、周辺映像をデコード映像（映像面）に加えた映像面（拡張映像面と呼ぶ）を生成する。運動視差生成部１１０はこの拡張映像面のうちから、透視投影の範囲を切り出し出力することで、ユーザが後方に下がった場合にも、映像に運動視差を与えることができる。

上記の実施形態及び変形例では、ＤＴＶ１が２Ｄ映像コンテンツから映像の奥行き量（depth）を推定するものとしたが、例えば、光ディスク７に３Ｄ映像コンテンツが格納されている場合等には、３Ｄ映像コンテンツの左眼用画像と右眼用画像の差分から物体の奥行き量（depth）を推定するとしてもよい。

また、上記の実施形態及び変形例では、液晶シャッタ方式の立体視を取り上げたが、例えば、視差バリアー方式や指向性バックライトのように、両眼視差を用いた立体視の方式であれば、シャッタメガネを使わない裸眼立体視であっても、本発明は実施可能である。

更に、上記の実施形態及び変形例では、ＤＴＶ１は光ディスク７から映像を入力するものとしたが、放送波によって提供される映像に関しても同様に処理を実行することが可能である。

本実施形態におけるＤＴＶは視聴者に臨場感のある映像を提供することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…ＤＴＶ、２…シャッタメガネ、３…映像出力システム、４…物体、５…物体、６…リモコン、７…光ディスク、１０１…制御部、１０２…操作部、１０３…光ディスクドライブ部、１０４…デコード部、１０５…奥行き推定部、１０６…測位部、１０７…飛び出し強調部、１０８…視差生成部、１０９…視差画像生成部、１１０…運動視差生成部、１１１…出力部、１１２…表示パネル、１１３…同期制御部、１１４…シャッタメガネ駆動部、２１…マーカー。

特開２００７−５２３０４号公報

Claims (13)

1. ユーザが第１の位置から第２の位置へ移動すると、この移動量を検出する移動量検出手段と、
   前記移動量に基づいて、立体視映像内の物体の飛び出しを強調させる飛び出し強調手段と、
   前記物体の飛び出しが強調された立体視映像を出力する出力手段と、
   を具備する電子機器。
2. 前記第２の位置は、前記第１の位置より前記電子機器との距離が短い位置である請求項１記載の電子機器。
3. 映像内の物体の奥行き量を検出する奥行き検出手段と、
   前記奥行き量検出手段が検出した、前記映像内の第１の物体の奥行き量に基づいて、前記飛び出し強調手段に前記物体の飛び出しの強調を実行させるか否かを判別する判別手段と、
   を更に具備する請求項１記載の電子機器
4. 前記判別手段は、前記第１の物体が飛び出し量を持つ場合に、前記飛び出し強調手段に前記物体の飛び出しの強調を実行させ、
   飛び出し量を持たない場合に、前記飛び出し強調手段に前記物体の飛び出しの強調を実行させない請求項３記載の電子機器。
5. 前記移動量検出手段は、撮像手段より入力された画像に基づいて、前記移動量を検出する請求項１記載の電子機器。
6. 前記飛び出し強調手段は、前記移動量検出手段が検出した前記移動量に基づいて前記物体の飛び出しの強調量を決定する請求項１記載の電子機器。
7. 表示面を更に具備し、
   前記第１の位置は、前記表示面とユーザとの距離が標準視聴距離となる位置である請求項１記載の電子機器。
8. 前記移動量に基づいて、立体視映像を拡大する拡大手段と、
   前記出力手段は、前記飛び出し量強調手段が物体の飛び出しを強調させた立体視映像であって、前記拡大手段が拡大した前記立体視映像を出力する請求項１記載の電子機器。
9. ユーザが第１の位置から第２の位置へ移動すると、この移動量を検出する移動量検出手段と、
   前記移動量に基づいて、立体視映像を拡大する拡大手段と、
   前記拡大された立体視映像を出力する出力手段と、
   を具備する電子機器。
10. 前記第２の位置は、前記第１の位置より前記電子機器との距離が短い位置である請求項９記載の電子機器。
11. 拡大手段は、前記移動量検出手段が検出した前記移動量に基づいて拡大率を決定する請求項９記載の電子機器。
12. ユーザが第１の位置から第２の位置へ移動すると、この移動量を検出し、
    前記移動量に基づいて、立体視映像内の物体の飛び出しを強調し、
    前記物体の飛び出しが強調された立体視映像を出力する映像処理方法。
13. 移動量検出手段に、ユーザが第１の位置から第２の位置へ移動すると、この移動量を検出させ、
    飛び出し強調手段に、前記移動量に基づいて、立体視映像内の物体の飛び出しを強調させる、
    出力手段に、前記物体の飛び出し量が強調された立体視映像を出力させるプログラム。

Images