JP2010171646A - 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】対象物を実際の大きさで知覚でき、それにより人間の感覚に近いより自然で奥行きを感じる映像を視聴可能な信号処理装置を提供すること。
【解決手段】入力画像の内容を分析する画像分析部と、入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得部と、前記画像分析部における前記入力画像の分析結果と、前記距離情報取得部で取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成部と、を含む、信号処理装置が提供される。
【選択図】図４

Description

本発明は、信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラムに関し、より詳細には、視聴者に立体的な画像として知覚させる信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラムに関する。

従来から、左右の目の視差を利用した２枚の画像を左右それぞれの目で観察できるように表示させることで、立体的な画像（三次元画像）を得られる画像処理装置が存在する。そして、そのような画像処理装置で表示される画像を視聴する視聴者に対して、立体的な画像として知覚させるための表示方式が各種提案されている。

しかし、一般的には画像を表示するディスプレイその他の表示装置の大きさや、表示装置と視聴者との間の距離等の条件により、人間が自然に視聴できる条件が異なる。従って、実物と異なった大きさに視聴者に知覚されてしまい、視聴者が立体画像に違和感を覚えてしまうという問題がある。また、表示される画像と、画像を表示するディスプレイとの関係によっては、画像の立体視そのものが困難になってしまうという問題がある。

そこで、上述したような問題を解決するための技術が、各種提案されている。上述したような問題を解決しようとする技術の例として、例えば特許文献１がある。特許文献１は、表示装置の属性についての情報を、表示装置で表示しようとするコンテンツに付加することで立体画像における違和感を低減させるものである。

特開２００４−３３４８３３号公報

しかし、従来の技術では、画像を表示するディスプレイと、ディスプレイに実際に表示される画像との関係によっては、依然として実物と異なった大きさに視聴者に知覚されてしまい、視聴者が立体画像に違和感を覚えてしまうという問題があった。

また、二次元の画像を表示する場合では、視聴者の両眼の輻輳角はディスプレイのパネル部分に合うことになる。従って、二次元の画像では視聴者はディスプレイのパネルまでの距離を知覚してしまい、パネルの向こう側に広がる奥行きを感じることは出来ず、遠方の景色を窓から覗くような奥行きを感じることが出来ないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、対象物を実際の大きさで知覚でき、それにより人間の感覚に近いより自然で奥行きを感じる映像を視聴可能な、新規かつ改良された信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力画像の内容を分析する画像分析部と、入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得部と、前記画像分析部における前記入力画像の分析結果と、前記距離情報取得部で取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成部と、を含む、信号処理装置が提供される。

かかる構成によれば、画像分析部は信号処理装置に入力される入力画像の内容を分析し、距離情報取得部は、入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する。そして立体視画像生成部は、画像分析部における入力画像の分析結果、距離情報取得部で取得した視聴者と画面との間の距離情報、および画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する。その結果、入力画像の分析結果、視聴者と画面との間の距離情報、および画面の水平方向の規格に関する情報を用いて立体視画像を生成することで、対象物を実際の大きさで知覚でき、それにより人間の感覚に近いより自然で奥行きを感じる映像を、視聴者に知覚させることが可能となる。

前記入力画像に含まれている物体の大きさを検出する検出部と、前記検出部が検出した大きさから該物体の仮想空間上の位置と前記視聴者との間の距離を算出する距離算出部と、をさらに含み、前記立体視画像生成部は、前記距離算出部が推測した前記物体の仮想空間上の位置と前記視聴者との間の距離と、前記距離情報取得部で取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成してもよい。

前記画像分析部は、前記入力画像に顔が含まれている場合には該顔の大きさを検出し、
前記立体視画像生成部は、前記画像分析部が検出した顔の大きさと、前記距離情報取得部で取得した前記距離情報とを用いて、元の前記入力画像から立体視画像を生成してもよい。

前記画像分析部が検出した物体の大きさから、前記視聴者が該物体を視聴する場合における視線の輻輳角を算出する輻輳角算出部をさらに含んでもよい。

前記輻輳角算出部で算出した輻輳角に基づいて、前記立体視画像生成部が立体視画像を生成する際の元の前記入力画像のずらし幅を決定するずらし幅決定部をさらに含んでもよい。

前記入力画像が無限遠方の風景画であると前記画像分析部が分析した場合には、前記立体視画像生成部は元の前記入力画像を前記視聴者の両眼の間隔に相当する幅ずらすことで元の前記入力画像から立体視画像を生成してもよい。

前記入力画像が静止画像であると前記画像分析部が分析した場合には、前記画像分析部は該静止画像の撮影情報を取得し、前記立体視画像生成部は、前記画像分析部が取得した該撮影情報と、前記距離情報取得部で取得した前記距離情報とを用いて、元の前記入力画像から立体視画像を生成してもよい。

前記立体視画像生成部は、前記入力画像の一部から右目用画像および左目用画像を切り出すことで元の前記入力画像から立体視画像を生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像を表示する画像表示部と、入力画像の内容を分析する画像分析部と、前記画像表示部が表示する画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定部と、前記画像分析部における前記入力画像の分析結果と、前記距離測定部で測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から前記画像表示部に表示する立体視画像を生成する立体視画像生成部と、を含む、画像表示装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像の内容を分析する画像分析ステップと、入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得ステップと、前記画像分析ステップにおける前記入力画像の分析結果と、前記距離情報取得ステップで取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、を含む、信号処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像の内容を分析する画像分析ステップと、画像表示部に表示される画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定ステップと、前記画像分析ステップにおける前記入力画像の分析結果と、前記距離測定ステップで測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、前記立体視画像を前記画像表示部に表示する画像表示ステップと、を含む、画像表示方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像の内容を分析する画像分析ステップと、入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得ステップと、前記画像分析ステップにおける前記入力画像の分析結果と、前記距離情報取得ステップで取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、を実行させる、コンピュータプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像の内容を分析する画像分析ステップと、画像表示部に表示される画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定ステップと、前記画像分析ステップにおける前記入力画像の分析結果と、前記距離測定ステップで測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、前記立体視画像を前記画像表示部に表示する画像表示ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本発明によれば、対象物を実際の大きさで知覚でき、それにより人間の感覚に近いより自然で奥行きを感じる映像を視聴可能な、新規かつ改良された表示装置、信号処理装置、信号処理方法およびコンピュータプログラムを提供することができる。

人間の眼で無限遠に近い実際の景色を見る場合について示す説明図である。 ディスプレイ上に表示された画像を人間の眼で見る場合について示す説明図である。 従来の三次元画像を表示する表示装置のディスプレイ上に表示された画像を、人間の眼で見る場合について示す説明図である。 本発明の一実施形態にかかる信号処理装置１００、および画像表示装置１９０の構成について説明する説明図である。 画像の切り出し方の一例について示す説明図である。 三次元画像を生成するための信号処理方法について説明する流れ図である。 対象物と視聴者の位置関係について示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
＜１．従来における一般的な三次元画像の表示手法＞
＜２．本発明の一実施形態＞
［２−１．信号処理装置および画像表示装置の構成］
［２−２．三次元画像を生成するための信号処理方法］
［２−３．変形例について］

＜１．従来における一般的な三次元画像の表示手法＞
まず、本発明の好適な実施の形態について詳細に説明する前に、立体視と輻輳角について説明し、さらに従来における一般的な三次元画像の表示手法について説明する。以下においては、一例として、無限遠に近い実際の景色を見る場合と、ディスプレイ上でその景色を見る場合とを比較して説明する。図１は、人間の眼で無限遠に近い実際の景色を見る場合について示す説明図であり、図２は、ディスプレイ上に表示された画像を人間の眼で見る場合について示す説明図である。

図１に示したように、通常、遠方の景色を人間の眼で見る場合には、左目が注視する方向１２と右目が注視する方向１４は平行であり、その間隔は両眼の間隔Ｄｅに相当する。これは、遠方の景色における対象物１０（図１に示した例では山）が無限遠方にあるためである。従って、両眼の視線がなす角度（輻輳角）は０度となり、眼を動かす筋肉の動きなどによって、人間は対象物１０に対する距離を感じている。

一方、図２に示したように、ディスプレイ２０に表示された対象物２２を人間の眼で見る場合には、左目が注視する方向１２’と右目が注視する方向１４’とは平行ではなく、両眼の視線には輻輳角２１が生じる。その結果、両眼に入る対象物２１は無限遠にあるものとしては認識されず、両眼から距離Ｌだけ離れたディスプレイ２０にあるものと認識される。従って、通常、図２に示したようにディスプレイ２０に表示された対象物を人間の眼で見る場合には、図１に示したような実際に遠方の景色を見る場合と異なり、自然な大きさを感じることは出来ない。

そこで、人間の眼で見る場合に輻輳角が生じないような画像をディスプレイに表示させることで、三次元画像を得ることが出来る。図３は、従来の三次元画像を表示する表示装置のディスプレイ上に表示された画像を、人間の眼で見る場合について示す説明図である。図３では、ディスプレイ２０に、三次元で視聴させたい画像を水平方向にずらして、左目用の画像２４及び右目用の画像２５として表示させることで三次元画像を得る場合について示している。

より詳細に説明すると、図３では、ディスプレイ２０に、視聴者に三次元画像として知覚させたい画像を水平方向にずらして得られる左目用の画像２４及び右目用の画像２５を、偏光の方向を変えて、ライン毎にまたは時分割で表示させる場合について示している。視聴者は、眼鏡等を通してディスプレイ２０に表示された画像を見ることで、左目用の画像２４を左目だけで、右目用の画像２５を右目だけで、それぞれ見ることが可能となり、これにより視聴者は三次元画像を視聴することが出来る。

左目用の画像２４及び右目用の画像２５は、視聴者の右目と左目との間の距離Ｄｅと等しくなるように、水平方向に離してディスプレイ２０に表示される。このように左目用の画像２４及び右目用の画像２５がディスプレイに表示されることで、視聴者の左目の視線１２’’と右目の視線１４’’とは平行になる。従って、輻輳角は生じず、図１のように無限遠に位置する景色を見る場合と同じように、ディスプレイ２０に表示された画像を三次元画像として知覚することができる。

このように、三次元画像に対応した画像表示装置で表示する画像を視聴者に三次元画像として知覚させるためには、視聴者の右目と左目との間の距離Ｄｅの情報が重要となる。しかし、この距離Ｄｅに対応して水平方向にずらす距離Ｄｄは、ディスプレイの水平方向の規格によって、例えばディスプレイの横幅や水平方向の画素数、また表示する画像によって変化する。すなわち、ディスプレイの表示幅が小さい程、またディスプレイの水平方向の画素数が多いほど、ずらす量は相対的に大きくなり、ディスプレイの表示幅が大きい程、またディスプレイの水平方向の画素数が少ないほど、ずらす量は相対的に小さくなる。

ところが、従来の三次元画像に対応した画像表示装置では、ディスプレイの横幅や画素数に関係なく、距離Ｄｄは一定の値となっていた。そのため、三次元コンテンツを映画館のスクリーンやプロジェクタのように大きなディスプレイで見た場合と、パーソナルコンピュータに接続したモニタで見た場合とでは、立体感に差が生じる問題が発生する。具体的には、遠方の巨大な物体として表示させたい筈の三次元画像が、パーソナルコンピュータに接続したモニタでは手前に位置する小さな物体として表示されることがある。従って、視聴者に対して違和感や疲労感を覚えさせることとなり、自然な視聴が困難となってしまう。逆に、小さいモニタを想定した三次元コンテンツを大きなディスプレイで視聴すると、輻輳角が負の値になる場合も考えられ、視聴者が三次元画像として知覚できない問題が発生するおそれがある。

＜２．本発明の一実施形態＞
そこで、以下で説明する本発明の一実施形態では、右目用の画像および左目用の画像を生成する際に、三次元画像を表示するディスプレイに関する情報を用いることで、視聴者に自然な三次元画像を知覚させることを目的とする。さらに、有限遠の画像を三次元画像として表示する場合には、ディスプレイから視聴者までの距離情報を取得し、取得した距離情報を右目用の画像および左目用の画像の生成に用いることで、視聴者に自然な三次元画像を知覚させることを目的とする。

［２−１．信号処理装置および画像表示装置の構成］
まず、本発明の一実施形態にかかる信号処理装置、および信号処理装置で生成された画像を表示する画像表示装置の構成について説明する。図４は、本発明の一実施形態にかかる信号処理装置１００、および画像表示装置１９０の構成について説明する説明図である。以下、図４を用いて、本発明の一実施形態にかかる信号処理装置１００、および画像表示装置１９０の構成について説明する。

図４に示したように、本発明の一実施形態にかかる信号処理装置１００は、映像信号演算部１１０と、映像信号合成部１８０と、を含んで構成される。そして画像表示装置１９０は、画像表示部１９２と、距離測定部１９４と、を含んで構成される。

信号処理装置１００は、外部から映像信号の入力を受け、その受けた映像信号から、三次元画像として画像表示装置１９０に表示させるための映像信号を生成するものである。信号処理装置１００に入力される映像信号は、あらかじめ三次元画像として視聴者に知覚させるために作られた信号であっても良く、通常の二次元の映像として視聴者に知覚させるために作られた信号であっても良い。映像信号演算部１１０は、三次元画像として画像表示装置１９０に表示させるための映像信号を生成するための演算処理を実行するものである。映像信号演算部１１０は、記憶部１２０と、対象物幅算出部１３０と、距離算出部１４０と、輻輳角算出部１５０と、ずらし幅決定部１６０と、映像信号生成部１７０と、を含んで構成される。

記憶部１２０は、映像信号演算部１１０で映像信号を生成するための情報やデータを一時的に格納するものである。記憶部１２０としては、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）その他のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、フラッシュメモリなどを用いることができる。記憶部１２０に一時的に格納するものとしては、例えば、信号処理装置１００の外部より入力されて映像信号演算部１１０で取得する映像信号、画像表示部１９２の幅や水平方向の画素数等の画像表示部１９２の規格に関する情報、画像表示部１９２から視聴者までの距離情報等であってもよい。

対象物幅算出部１３０は、信号処理装置１００の外部から入力される映像信号に含まれている、人間の顔や体、動物、電車、自動車その他の有限遠に位置する対象物が画像表示部１９２で表示された際の当該対象物の幅を算出するものである。対象物の幅は、記憶部１２０に記憶された画像表示部１９２の幅の情報から算出することが出来る。

対象物幅算出部１３０で人間の顔の幅を算出する場合には、映像信号から目、鼻、口等の特徴点を抽出して顔の領域を認識することで、人間の顔の幅を算出することができる。従って、対象物幅算出部１３０には、人間の顔に含まれる目、鼻、口等の特徴点を抽出する機能を設けていてもよい。また、対象物幅算出部１３０で人間の体、動物、電車、自動車といった有限遠に位置する対象物の幅を算出する際には、対象物幅算出部１３０で輪郭を認識し、認識した輪郭に基づいて対象物の幅を算出してもよい。なお、人間の顔の特徴点の抽出手法や、対象物の輪郭の取得手法については、既知の手法を用いることが出来るので、ここでの詳細な説明は割愛する。

距離算出部１４０は、対象物幅算出部１３０で算出した対象物の幅の情報および画像表示部１９２に表示される画像を視聴している視聴者と画像表示部１９２との距離情報を用いて、当該視聴者から当該対象物までの距離を類推して算出するものである。距離算出部１４０における、視聴者から対象物までの間の距離の算出方法については、後に詳述する。

輻輳角算出部１５０は、距離算出部１４０で算出した、画像表示部１９２に表示される画像を視聴している視聴者と、画像表示部１９２に表示される対象物との間の距離情報を用いて、視聴者が当該対象物を見る際の輻輳角を算出するものである。輻輳角算出部１５０における輻輳角の算出方法については、後に詳述する。

ずらし幅決定部１６０は、輻輳角算出部１５０で算出した輻輳角情報に基づいて、映像信号演算部１１０に入力される映像信号の水平方向に対するずらし幅を決定するものである。水平方向に対するずらし幅とは、すなわち画像表示装置１９０に表示させる右目用画像と左目用画像との間隔に相当する。ずらし幅決定部１６０で決定したずらし幅の情報に基づいて、映像信号生成部１７０で右目用映像信号と左目用映像信号を生成することで、画像表示装置１９０に三次元画像を表示させることができる。

映像信号生成部１７０は、ずらし幅決定部１６０が決定した映像信号の水平方向に対するずらし幅の情報に基づいて、映像信号演算部１１０に入力される映像信号から、右目用映像信号および左目用映像信号を生成するものである。映像信号生成部１７０で生成された右目用映像信号および左目用映像信号は映像信号合成部１８０に送られる。

映像信号合成部１８０は、映像信号生成部１７０で生成された右目用映像信号および左目用映像信号を用いて、画像表示装置１９０に三次元画像として表示させるための映像信号を生成するものである。映像信号合成部１８０で右目用映像信号および左目用映像信号が合成されて映像信号が生成されると、生成された映像信号は画像表示装置１９０に送られる。

画像表示装置１９０は、信号処理装置１００で生成された映像信号の入力を受け、入力された映像信号に基づいて画像を表示するものである。画像表示部１９２は、画像表示装置１９０に入力された映像信号に基づいた画像が表示されるものである。画像表示部１９２としては、画像表示装置１９０がテレビ受像機である場合には、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶表示パネル、プラズマディスプレイパネル、電界放出ディスプレイパネル、有機ＥＬパネル等であってもよい。また、画像表示装置１９０がプロジェクタである場合には、画像表示部１９２は映像が投射されるスクリーンであってもよい。さらに、画像表示装置１９０はテレビ受像機やプロジェクタに限られるものではなく、パーソナルコンピュータ、携帯電話等、表示装置を有する全ての機器に適用が可能である。

なお、画像表示装置１９０は、三次元画像だけではなく通常の二次元画像も表示することが出来る。二次元画像の表示と三次元画像の表示は、信号処理装置１００に対するユーザからの入力によって切り替えてもよく、信号処理装置１００から出力される映像信号に応じて自動的に切り替えてもよい。

距離測定部１９４は、画像表示部１９２から、画像表示部１９２に表示される画像を視聴する視聴者までの距離を測定するものである。距離測定部１９４における、画像表示部１９２から視聴者までの距離は、例えば画像表示部１９２の近傍に設けたカメラで視聴者を撮影することによって測定してもよく、画像表示部１９２の近傍に設けた超音波センサを用いて測定してもよい。距離測定部１９４で測定した画像表示部１９２から視聴者までの距離の情報は信号処理装置１００に出力する。信号処理装置１００では、距離測定部１９４で測定した画像表示部１９２から視聴者までの距離に基づいて、右目用映像信号および左目用映像信号を生成する。

なお、視聴者に立体視画像として知覚させるための三次元画像の表示方式には様々な方式がある。以下の説明では、かかる表示方式の一例として、画像表示部１９２が液晶表示パネルであり、画像表示部１９２の奇数ラインと偶数ラインとで偏光方向を変化させることで視聴者に三次元画像として知覚させる場合について説明する。

このような場合においては、例えば画像表示部１９２の奇数ラインに左目用映像信号に基づく画像を表示させ、偶数ラインに右目用画像信号に基づく画像を表示させる。従って、信号処理装置１００では、奇数ラインに左目用映像信号が、偶数ラインに右目用画像信号がくるように、映像信号合成部１８０で左目用映像信号と右目用映像信号を合成する。視聴者は、右目と左目とで偏光方向が異なる眼鏡をかけて、当該眼鏡を通して画像表示部１９２で表示される画像を見る。このように画像を見ることで、視聴者は右目では右目用映像信号に基づく画像のみを、左目では左目用映像信号に基づく画像のみを、それぞれ見ることができる。画像表示部１９２の奇数ラインと偶数ラインとで偏光方向を変化させることで視聴者に三次元画像として知覚させる手法には、例えば特開２００４−３３４８３３号公報等に開示されている技術を用いることができる。

なお、本発明においては、三次元画像の表示方式はかかる例に限られないことは言うまでも無く、上記方式以外の方式で画像表示装置１９０に画像を表示させてもよい。上記方式以外の方式としては、例えばフレームを倍速またはそれ以上で駆動し、時分割的に右目用画像の表示と左目用画像の表示を切り替える方式がある。

また、図４では、信号処理装置１００で三次元画像を表示させるための映像信号を生成して、生成した映像信号を画像表示装置１９０へ出力する構成としていたが、本発明はかかる例に限定されない。例えば、画像表示装置１９０の内部に信号処理装置１００の構成を備えるようにして、画像表示装置１９０単体で三次元画像を表示させるための映像信号を生成するようにしてもよい。

以上、本発明の一実施形態にかかる信号処理装置１００、および画像表示装置１９０の構成について説明した。次に、本発明の一実施形態にかかる、信号処理装置１００および画像表示装置１９０を用いた三次元画像を生成するための信号処理方法について説明する。

［２−２．三次元画像を生成するための信号処理方法］
まず、信号処理装置１００に入力される映像信号が、風景画等の無限遠の対象物を表示させるものである場合における、三次元画像を生成するための信号処理方法について説明する。

風景画等の無限遠の対象物を表示させる映像信号の場合には、信号処理装置１００に入力される元の入力画像を両眼の距離だけずらして、右目用画像および左目用画像を生成し、生成した右目用画像および左目用画像を合成する。このように画像を生成及び合成することで、風景画等の無限遠の対象物を表示させる映像信号から三次元画像を生成することができる。

図３を用いて説明すれば、右目用画像と左目用画像の間隔Ｄｄは、両眼距離Ｄｅと同じ間隔であればよい。そこで、画像表示部１９２の幅をＷｄ、画像表示部１９２の横方向の画素数をＮｄ、画像表示部１９２における距離Ｄｄに相当する水平方向の画素数をＮｅとすると、右目用画像と左目用画像の間隔Ｄｄは下記の数式１で求めることが出来る。

・・・（数式１）

上記数式１を、Ｎｅが左辺となるように書き換えると数式２の通りとなる。

・・・（数式２）

信号処理装置１００は、画像表示部１９２の幅Ｗｄおよび画像表示部１９２の横方向の画素数Ｎｄの情報を画像表示装置１９０から受け取ることができる。従って、元の画像からずらすべき画素数Ｎｅは、上記数式２に基づいて、映像信号演算部１１０のずらし幅決定部１６０で算出することが出来る。そして、ずらし幅決定部１６０で算出した画素数Ｎｅに基づいて、右目用映像信号および左目用映像信号を映像信号生成部１７０で生成することで、無限遠の対象物を表示するための映像信号から三次元画像を生成することができる。

なお、このように元の画像を両眼の距離だけずらして、右目用画像および左目用画像を生成すると、右目用画像には画像表示部１９２の左側に、左目用画像には画像表示部１９２の右側に、それぞれ無画像部分が発生する。無画像部分は例えば縦の黒い帯のような形で表示されることになる。そのため、この無映像部分を生じさせないように、元の画像の一部分を切り出して右目用画像および左目用画像を生成してもよい。

図５は、無映像部分を生じさせないように、元の画像の一部分を切り出して右目用画像および左目用画像を生成する場合における、画像の切り出し方の一例について示す説明図である。図５では、元の画像５０に対し、右目用画像の切り出し枠５２と、左目用画像の切り出し枠５４とを用いて画像を切り出す場合について示している。

ここで、右目用画像の切り出し枠５２の左端と、左目用画像の切り出し枠５４の左端との距離Ｄｃが、両眼距離Ｄｅと同じ間隔となるように、それぞれの切り出し枠を設定すればよい。画像表示部１９２の幅をＷｄ、画像表示部１９２の横方向の画素数をＮｄ、画像表示部１９２における距離Ｄｃに相当する水平方向の画素数をＮｅとすると、距離Ｄｃは下記の数式３で求めることが出来る。

・・・（数式３）

上記数式１を、Ｎｅが左辺となるように書き換えると数式４の通りとなる。

・・・（数式４）

この数式４は、上記数式２と同じ数式である。信号処理装置１００は、画像表示部１９２の幅Ｗｄおよび画像表示部１９２の横方向の画素数Ｎｄの情報を画像表示装置１９０から受け取ることができる。従って、画像表示部１９２における距離Ｄｃに相当する画素数Ｎｅは、上記数式２に基づいて、映像信号演算部１１０のずらし幅決定部１６０で算出することが出来る。

このように右目用映像信号および左目用映像信号を生成することで、画像表示装置１９０に表示される無限遠の対象物を視聴者が見る場合には輻輳角が無くなり、視聴者に対し、当該対象物を画像表示部１９２の位置ではなく、遠方に知覚させることができる。

以上、信号処理装置１００に入力される映像信号が、風景画等の無限遠の対象物を表示させるものである場合における、三次元画像を生成するための信号処理方法について説明した。次に、信号処理装置１００に入力される映像信号が、人物等の有限遠の対象物を表示させるものである場合における、三次元画像を生成するための信号処理方法について説明する。以下の説明では、有限遠の対象物として人間の顔が映っている映像コンテンツから三次元画像を生成する場合について記す。

図６は、三次元画像を生成するための信号処理方法について説明する流れ図である。そして図７は、画像表示装置１９０に対象物として人間の顔が映っている場合における、対象物と視聴者の位置関係について示す説明図である。以下、図６および図７を用いて、三次元画像を生成するための信号処理方法について説明する。

まず、画像表示部１９２の幅や水平方向の画素数の情報から、画像表示部１９２に表示される顔の幅Ｗｆを、対象物幅算出部１３０で算出する（ステップＳ１０２）。例えば、画像表示部１９２の幅が１００［ｃｍ］、水平方向の画素数が１９２０ピクセルの場合を考える。この場合に、顔の部分が１２０ピクセルであったとすると、画像表示部１９２に表示される顔の幅Ｗｆは６．２５［ｃｍ］となる。上述したように、対象物幅算出部１３０では、映像信号から目、鼻、口等の特徴点を抽出して顔の領域を認識することで、人間の顔の幅を算出することができる。

上記ステップＳ１０２で、画像表示部１９２に表示される顔の幅Ｗｆを算出すると、次に距離算出部１４０において、画像表示部１９２から視聴者までの距離Ｌ２を用いて、画像表示部１９２に映る顔の角度Ａ１を算出する。そして距離算出部１４０は、画像表示部１９２に映る顔の角度Ａ１を算出すると共に、視聴者から画像表示部１９２に表示される顔が位置すると類推される場所までの距離Ｌ１を算出する（ステップＳ１０４）。

画像表示部１９２に表示される顔の幅Ｗｆが分かれば、他に画像表示部１９２から視聴者までの距離Ｌ２の情報が分かると、画像表示部１９２に映る顔の角度Ａ１を算出することが可能である。そして、人間の顔の大きさはおおよそ決まっており、対象物幅算出部１３０における顔認識処理によれば大人か子供かの識別もできるので、画像表示部１９２に表示される顔が位置すると類推される場所Ｂも決定することができる。場所Ｂが決まると、画像表示部１９２から、顔が位置すると類推される場所Ｂまでの距離Ｌ３を算出することができる。従って、視聴者から画像表示部１９２に表示される顔が位置すると類推される場所までの距離Ｌ１（＝Ｌ２＋Ｌ３）の算出も可能である。

なお、本発明においては、視聴者から画像表示部１９２に表示される顔が位置すると類推される場所までの距離Ｌ１の算出方法はかかる例に限定されない。例えば、信号処理装置１００に入力される映像信号と同期して、または映像信号とは別の付属データとして、予め対象物の位置情報を、いわゆるメタデータの形式で信号処理装置１００に与えてもよい。そして、信号処理装置１００に与えられたメタデータを距離算出部１４０で解析して位置情報（例えば、画像表示部１９２から、顔が位置すると類推される場所Ｂまでの距離Ｌ３）を取得し、視聴者から画像表示部１９２に表示される顔が位置すると類推される場所までの距離Ｌ１を算出してもよい。

なお、信号処理装置１００に入力される映像信号から複数の顔を認識することができた場合には、上記ステップＳ１０４において、視聴者から最も近い位置にいる人物までの距離を距離Ｌ１として算出してもよい。

上記ステップＳ１０４で、画像表示部１９２に映る顔の角度Ａ１および顔が位置すると類推される場所までの距離Ｌ１を算出すると、算出した距離Ｌ１の情報を用いて輻輳角Ａ２を算出する（ステップＳ１０６）。輻輳角Ａ２は、視聴者が距離Ｌ１だけ離れた対象物（顔）を見るときに、左目の視線と右目の視線とのなす角である。

上記ステップＳ１０６で輻輳角Ａ２の大きさが求まると、求めた輻輳角Ａ２および画像表示部１９２から視聴者までの距離Ｌ２の情報を用いて、右目用画像と左目用画像との間のずらし幅Ｄｃをずらし幅決定部１６０で決定する（ステップＳ１０８）。そして、ステップＳ１０８で決定したずらし幅Ｄｃに基づいて、右目用映像信号および左目用映像信号を映像信号生成部１７０で生成する（ステップＳ１１０）。なお、右目用映像信号および左目用映像信号は、元の映像信号によって表示される画像を単に左右にずらして得られる画像となるように生成してもよく、図５に示したように、無映像部分を生じさせないように元の画像の一部を切り出す形で生成してもよい。

そして、上記ステップＳ１１０で生成した右目用映像信号および左目用映像信号を、映像信号合成部１８０で合成する（ステップＳ１１２）。映像信号合成部１８０で合成された映像信号は画像表示装置１９０に入力され、画像表示部１９２で表示される。視聴者は、例えば、画像表示部１９２で表示される画像を右目と左目とで偏光方向が異なる眼鏡を通して見ることで、当該画像を三次元画像として知覚することができる。

以上、信号処理装置１００に入力される映像信号が、人物等の有限遠の対象物を表示させるものである場合における、三次元画像を生成するための信号処理方法について説明した。

以上説明したように本発明の一実施形態によれば、風景画のような無限遠の対象物の画像を画像表示装置１９０で表示する場合には、画像表示部１９２の横幅や水平画素数に応じて右目用画像と左目用画像との間隔を決定する。このように右目用画像と左目用画像との間隔を決定することで、無限遠の対象物の画像を自然で奥行きのある三次元画像として視聴者に知覚させることができる。

また、有限遠の対象物を画像表示装置１９０で表示する場合には、視聴者から対象物までの距離を類推し、類推した距離に応じた適正な輻輳角をもって、右目用画像と左目用画像との間隔を決定する。このように右目用画像と左目用画像との間隔を決定することで、有限遠の対象物の画像を自然で奥行きのある三次元画像として視聴者に知覚させることができる。

［２−３．変形例について］
次に、本発明の一実施形態の変形例について説明する。説明した本発明の一実施形態では、映像信号を信号処理装置１００に入力し、信号処理装置１００において、入力した映像信号から三次元画像として視聴者に知覚させるための右目用映像信号及び左目用映像信号を生成した。本変形例では、写真データ等の静止画から三次元画像として視聴者に知覚させるための右目用信号及び左目用信号を生成する場合について説明する。

写真データ等の静止画には、一般的に撮影時における焦点距離、シャッタ速度、絞り等の情報が、メタデータとして画像に付随して記録されている。従って、静止画像から三次元画像として右目用画像および左目用画像の信号を生成するには、まず対象物幅算出部１３０で静止画像を解析し、対象物の幅を算出する。そして、静止画像に付随して記録されているメタデータを距離算出部１４０で解析し、視聴者から静止画像に写っている対象物までの距離を類推する。

視聴者から静止画像に写っている対象物までの距離が類推されると、輻輳角算出部１５０で輻輳角を算出し、算出した輻輳角に基づいてずらし幅決定部１６０で静止画像のずらし幅を決定する。そして、決定したずらし幅に基づいて映像信号生成部１７０で右目用信号及び左目用信号を生成し、映像信号合成部１８０で生成した信号を合成することで、写真データ等の静止画を三次元画像として視聴者に知覚させることができる。

以上、本発明の一実施形態の変形例について説明した。なお、上述した本発明の一実施形態およびその変形例にかかる信号処理装置１００の動作については、信号処理装置１００の内部に格納したコンピュータプログラムを、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）その他の制御装置で順次読み出して実行することによって行われるようにしてもよい。そして、当該コンピュータは、各種ＲＯＭ、ＲＡＭの他、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭその他の記録媒体に格納されていてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、表示装置、信号処理装置、信号処理方法およびコンピュータプログラムに適用可能であり、特に視聴者に立体的な画像として知覚させる表示装置、信号処理装置、信号処理方法およびコンピュータプログラムに適用可能である。

１００ 信号処理装置
１１０ 映像信号演算部
１２０ 記憶部
１３０ 対象物幅算出部
１４０ 距離算出部
１５０ 輻輳角算出部
１６０ ずらし幅決定部
１７０ 映像信号生成部
１８０ 映像信号合成部
１９０ 画像表示装置
１９２ 画像表示部
１９４ 距離測定部

Claims (13)

1. 入力画像の内容を分析する画像分析部と、
   入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得部と、
   前記画像分析部における前記入力画像の分析結果と、前記距離情報取得部で取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成部と、
   を含む、信号処理装置。
2. 前記画像分析部は、
   前記入力画像に含まれている物体の大きさを検出する検出部と、
   前記検出部が検出した大きさから該物体の仮想空間上の位置と前記視聴者との間の距離を算出する距離算出部と、
   をさらに含み、
   前記立体視画像生成部は、前記距離算出部が推測した前記物体の仮想空間上の位置と前記視聴者との間の距離と、前記距離情報取得部で取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する、請求項１に記載の信号処理装置。
3. 前記画像分析部は、前記入力画像に顔が含まれている場合には該顔の大きさを検出し、
   前記立体視画像生成部は、前記画像分析部が検出した顔の大きさと、前記距離情報取得部で取得した前記距離情報とを用いて、元の前記入力画像から立体視画像を生成する、請求項２に記載の信号処理装置。
4. 前記画像分析部が検出した物体の大きさから、前記視聴者が該物体を視聴する場合における視線の輻輳角を算出する輻輳角算出部をさらに含む、請求項２に記載の信号処理装置。
5. 前記輻輳角算出部で算出した輻輳角に基づいて、前記立体視画像生成部が立体視画像を生成する際の元の前記入力画像のずらし幅を決定するずらし幅決定部をさらに含む、請求項４に記載の信号処理装置。
6. 前記入力画像が無限遠方の風景画であると前記画像分析部が分析した場合には、前記立体視画像生成部は元の前記入力画像を前記視聴者の両眼の間隔に相当する幅ずらすことで元の前記入力画像から立体視画像を生成する、請求項１に記載の信号処理装置。
7. 前記入力画像が静止画像であると前記画像分析部が分析した場合には、前記画像分析部は該静止画像の撮影情報を取得し、前記立体視画像生成部は、前記画像分析部が取得した該撮影情報と、前記距離情報取得部で取得した前記距離情報とを用いて、元の前記入力画像から立体視画像を生成する、請求項１に記載の信号処理装置。
8. 前記立体視画像生成部は、前記入力画像の一部から右目用画像および左目用画像を切り出すことで元の前記入力画像から立体視画像を生成する、請求項１に記載の信号処理装置。
9. 画像を表示する画像表示部と、
   入力画像の内容を分析する画像分析部と、
   前記画像表示部が表示する画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定部と、
   前記画像分析部における前記入力画像の分析結果と、前記距離測定部で測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から前記画像表示部に表示する立体視画像を生成する立体視画像生成部と、
   を含む、画像表示装置。
10. 入力画像の内容を分析する画像分析ステップと、
    入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得ステップと、
    前記画像分析ステップにおける前記入力画像の分析結果と、前記距離情報取得ステップで取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、
    を含む、信号処理方法。
11. 入力画像の内容を分析する画像分析ステップと、
    画像表示部に表示される画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定ステップと、
    前記画像分析ステップにおける前記入力画像の分析結果と、前記距離測定ステップで測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、
    前記立体視画像を前記画像表示部に表示する画像表示ステップと、
    を含む、画像表示方法。
12. コンピュータに、
    入力画像の内容を分析する画像分析ステップと、
    入力画像が表示される画面を視聴する視聴者と該画面との間の距離情報を取得する距離情報取得ステップと、
    前記画像分析ステップにおける前記入力画像の分析結果と、前記距離情報取得ステップで取得した前記距離情報と、前記画面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、
    を実行させる、コンピュータプログラム。
13. コンピュータに、
    入力画像の内容を分析する画像分析ステップと、
    画像表示部に表示される画像を視聴する視聴者と前記画像表示部の画像表示面との間の距離を測定する距離測定ステップと、
    前記画像分析ステップにおける前記入力画像の分析結果と、前記距離測定ステップで測定した前記距離情報と、前記画像表示面の水平方向の規格に関する情報とを用いて、元の前記入力画像から立体視画像を生成する立体視画像生成ステップと、
    前記立体視画像を前記画像表示部に表示する画像表示ステップと、
    を実行させる、コンピュータプログラム。
    

Images