JP2005130021A - 立体視画像生成装置および画像配信サーバ - Google Patents

Abstract

【課題】 立体視画像を生成する平面画像の枚数に応じて適応的に立体視画像を生成できるようにする。
【解決手段】 携帯端末装置３から立体視画像の送信指示を画像配信サーバ１に行う。画像配信サーバ１は送信指示のｈｔｔｐリクエストのＵＲＬの引数を参照して、立体視画像が１枚から生成されるか２枚から生成されるかを判定し、指定に応じた枚数の平面画像から立体視画像を生成し、携帯端末装置３に送信する。
【選択図】 図１

Description

本発明は、平面画像から立体視画像を生成する立体視画像生成装置およびこの立体視画像生成装置を備え、立体視画像を配信する画像配信サーバに関するものである。

平面画像を立体的な映像として表現するための立体視画像を生成する方法は種々知られている。この立体視画像は、右目と左目との間隔によって生じる両目の視差を意図的に生成することにより実現される。すなわち、画像を見る人の左右の目に異なる画像を与えることにより映像が浮き出て見えるような立体感を表現している。具体的には、例えば、裸眼平行法による立体視においては、左右それぞれの目に対応する２つの画像を用意し、２つの画像中における同一物体の位置を左右にずらして配置することにより立体視を実現している。これは、看者の遠くの物体は、左右どちらの目で見た場合にも略同一位置にあるが、近くの物体は左右にずれること、すなわち両目が視差を有することに起因するものである。

一方、携帯電話に画像を配信するサービスが提供されているが、立体視画像を再生可能な液晶モニタを有する携帯電話の提供が開始され、このような携帯電話に対して立体視画像を配信するためのシステムが提案されている（特許文献１参照）。このようなシステムによれば、複数のカメラ付きの携帯電話を用いて立体視画像を作成すべく撮影した２枚の平面画像を携帯電話のメールサーバに保管し、携帯電話からメールサーバに対して立体視画像への変換の指示および配信先の指定を行うことにより、メールサーバが２枚の画像から立体視画像を生成し、これにより、カメラ付き携帯電話のユーザにより指定された配信先に立体視画像を配信することができる。

また、１枚の平面画像に含まれる被写体を検出し、左目用の画像および右目用の画像上において、被写体の位置をずらして視差を生じさせることにより、１枚の平面画像から立体視画像を生成する手法も提案されている（特許文献２参照）。
特開２００２−２７４９５号公報 特開２００２−１２３８４２号公報

しかしながら、特許文献１に記載されたシステムにおいては、立体視画像を生成することを目的として撮影を行うことにより得られた平面画像からのみしか立体視画像を生成することができない。このため、立体視画像の生成を行うことが可能なユーザが複数のカメラ付き携帯電話を所持している必要があり、その結果、立体視画像を利用できるユーザが非常に限られたものとなる。

また、１枚の平面画像から立体視画像を生成する特許文献２に記載された手法は、平面画像に含まれる被写体の検出および奥行きの算出等の複雑な演算を要するため、立体視画像の生成に長時間を要する。一方、立体視画像の生成の対象となる平面画像が２枚ある場合には、１枚の平面画像から立体視画像を生成する場合と比較して演算量が少ないため、比較的高速に立体視画像を生成することができる。このため、特許文献２に記載された手法のみを用いた場合において、立体視画像の生成の対象となる平面画像が２枚ある場合には、一方の平面画像が無駄となるとともに、２枚の平面画像が存在するにも拘わらず、２枚の平面画像を用いて立体視画像を生成する場合と比較して、立体視画像生成までに長時間を要するものとなる。

本発明は、上記事情に鑑みなされたものであり、立体視画像を生成する平面画像の枚数に応じて適応的に立体視画像を生成できるようにすることを目的とする。

本発明による第１の立体視画像生成装置は、立体視画像の生成のための２枚の平面画像または１枚の平面画像を保管する画像保管手段と、
前記立体視画像の取得指示を受け付ける指示受け付け手段と、
前記取得指示がなされた立体視画像が２枚の平面画像から生成されるものである場合は、該２枚の平面画像から前記立体視画像を生成し、前記取得指示がなされた立体視画像が１枚の平面画像から生成されるものである場合は、該１枚の平面画像から立体視画像を生成する画像変換手段と、
該画像変換手段により生成された立体視画像を出力する出力手段とを備えたことを特徴とするものである。

なお、本発明による第１の立体視画像生成装置においては、前記指示受け付け手段を、前記取得指示とともに前記立体視画像における立体視の程度の指示を受け付ける手段とし、
前記画像変換手段を、前記立体視の程度の指示に応じて、該立体視の程度を変更して前記立体視画像を生成する手段としてもよい。

「立体視の程度」とは、看者が立体視画像を見た際に画像中の構成物体が飛び出る見え方の程度を意味する。したがって、立体視の程度を強めることにより、その立体視画像を見た際に立体視画像に含まれる構成物体がより飛び出して見えることとなる。なお、「立体視の程度の指示」としては、立体視画像全体の立体視の程度の指示のみならず、例えば人物の立体視の程度を背景よりも強くする、あるいは背景の立体視の程度を人物よりも強くするというように、平面画像に含まれる構成物体別に立体視の程度を変更する指示も含む。

また、本発明による第１の立体視画像生成装置においては、前記画像変換手段を、前記１枚の平面画像に含まれる人物の目の位置を検出する目検出手段と、
該目検出手段が検出した目の位置に基づいて、前記１枚の平面画像に含まれる前記人物の顔および該人物の口、鼻および体等の構成物体を検出する人物検出手段と、
該人物検出手段が検出した人物の顔の領域の前記平面画像に対する割合である顔割合を算出する顔割合算出手段と、
前記１枚の平面画像に含まれる人物以外の構成物体を検出する物体検出手段と、
種々の顔割合と撮影時における人物および撮影装置の間の撮影距離との関係を表す距離テーブルを記憶するテーブル記憶手段と、
前記目の位置を基準とした前記人物の構成物体の奥行きを表す奥行きパラメータを記憶するパラメータ記憶手段と、
前記顔割合算出手段が算出した顔割合および前記距離テーブルに基づいて前記平面画像を取得した際の撮影距離を推定し、該撮影距離および前記奥行きパラメータに基づいて前記立体視画像における前記人物の構成物体のずれ量を規定する３次元パラメータを算出するとともに、前記人物以外の構成物体のずれ量を規定する３次元パラメータを算出する３次元パラメータ算出手段と、
該３次元パラメータ算出手段が算出した３次元パラメータに基づいて、前記１枚の平面画像から前記立体視画像を生成する立体視画像生成手段とを備えてなるものとしてもよい。

「距離テーブル」は、具体的には、所定の倍率の撮影レンズを用いて撮影距離を種々変更して撮影を行うことにより得られた平面画像において、人物の顔領域の割合を算出し、算出した顔領域の割合と撮影距離とを対応づけて生成することができる。

ところで、撮影装置によって使用する撮影レンズの倍率が異なることから、平面画像において被写体が近くに見える場合であっても、望遠レンズを用いて遠方から被写体の撮影を行っている場合がある。このような場合には、撮影レンズが異なると顔割合が同一であっても実際の撮影距離は異なるものとなってしまう。このため、本発明において「撮影距離」とは、被写体と撮影装置との絶対的な撮影距離ではなく、距離テーブルを求める際に使用した撮影装置により撮影した場合の撮影距離を表すものとなる。

本発明による画像配信サーバは、本発明による第１の立体視画像生成装置を備えた画像配信サーバであって、
前記指示受け付け手段が、携帯端末装置による前記立体視画像の取得指示を受け付ける手段であり、
前記出力手段が、前記取得指示を行った携帯端末装置に前記立体視画像を送信する手段であることを特徴とするものである。

なお、本発明による画像配信サーバにおいては、前記画像変換手段を、前記携帯端末装置の表示仕様に応じて前記立体視画像を生成する手段としてもよい。

「携帯端末装置の表示仕様」とは、具体的には、携帯端末装置が立体視画像を再生可能な液晶モニタを有する場合、あるいは赤青メガネや偏光メガネを用いて立体視画像を見ることができるものである場合等を考慮した、携帯端末装置における立体視画像を見る方法、携帯端末装置に設けられた液晶モニタ等の表示手段のサイズ、および携帯端末装置が取り扱うことが可能なファイルフォーマット等を挙げることができる。

本発明による第２の立体視画像生成装置は、１枚の平面画像から立体視画像を生成する立体視画像生成装置において、
前記１枚の平面画像に含まれる人物の目の位置を検出する目検出手段と、
該目検出手段が検出した目の位置に基づいて、前記１枚の平面画像に含まれる前記人物の顔および該人物の構成物体を検出する人物検出手段と、
該人物検出手段が検出した人物の顔の領域の前記平面画像に対する割合である顔割合を算出する顔割合算出手段と、
前記１枚の平面画像に含まれる人物以外の構成物体を検出する物体検出手段と、
種々の顔割合と撮影時における人物および撮影装置の間の撮影距離との関係を表す距離テーブルを記憶するテーブル記憶手段と、
前記目の位置を基準とした前記人物の構成物体の奥行きを表す奥行きパラメータを記憶するパラメータ記憶手段と、
前記顔割合算出手段が算出した顔割合および前記距離テーブルに基づいて前記平面画像を取得した際の撮影距離を推定し、該撮影距離および前記奥行きパラメータに基づいて前記立体視画像における前記人物の構成物体のずれ量を規定する３次元パラメータを算出するとともに、前記人物以外の構成物体のずれ量を規定する３次元パラメータを算出する３次元パラメータ算出手段と、
該３次元パラメータ算出手段が算出した３次元パラメータに基づいて、前記１枚の平面画像から前記立体視画像を生成する立体視画像生成手段とを備えたことを特徴とするものである。

本発明の第１の立体視画像生成装置によれば、立体視画像の取得指示が受け付けられ、取得指示がなされた立体視画像が２枚の平面画像から生成されるものである場合は、２枚の平面画像から立体視画像が生成され、取得指示がなされた立体視画像が１枚の平面画像から生成されるものである場合は、１枚の平面画像から立体視画像が生成され、生成された立体視画像が出力される。このため、立体視画像の生成の対象となる平面画像が１枚であっても２枚であっても、平面画像の枚数に応じて適応的に立体視画像を生成することができる。

また、立体視画像の立体視の程度の指示に応じて立体視の程度を変更して立体視画像を生成することにより、所望とする立体視の程度を有する立体視画像を得ることができる。

また、請求項３の立体視画像生成装置および本発明の第２の立体視画像生成装置によれば、１枚の平面画像に含まれる人物の目の位置が検出され、さらに検出された目の位置に基づいて、人物の顔および人物の構成物体が検出され、人物の顔の領域の平面画像に対する割合である顔割合が算出される。また、平面画像に含まれる人物以外の構成物体も検出される。そして、顔割合および距離テーブルに基づいて撮影距離が推定され、さらに撮影距離および奥行きパラメータに基づいて、立体視画像における人物の構成物体のずれ量を規定する３次元パラメータが算出される。また、人物以外の構成物体のずれ量を規定する３次元パラメータも算出される。そして、算出された３次元パラメータに基づいて、１枚の平面画像から立体視画像が生成される。このため、人物の構成物体を適切に立体視させることが可能な立体視画像を１枚の平面画像から生成することができる。

また、本発明の画像配信サーバによれば、携帯端末装置からの立体視画像の取得指示が受け付けられ、指示を行った携帯端末装置に立体視画像が送信される。このため、携帯端末装置において立体視画像を表示して楽しむことができる。

この際、携帯端末装置の表示仕様に応じて立体視画像を生成することにより、携帯端末装置にはその表示仕様に適した立体視画像を表示することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による立体視画像生成装置および画像配信サーバを備えた画像配信システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像配信システムは、画像配信サーバ１と、立体視画像の取得の指示を行う携帯電話等の携帯端末装置３とが、携帯電話通信網５を介して接続されてなる。

画像配信サーバ１は、ウェブサーバ１１、アプリケーションサーバ１３、画像取得モジュール１５、画像変換サーバ１７、画像送信モジュール１９、機種判別テーブル２１、画像キャッシュ２３および機種別画像変換テーブル２５を備える。

ウェブサーバ１１は、携帯端末装置３からの立体視画像送信のｈｔｔｐリクエストを受信し、受信したｈｔｔｐリクエストをアプリケーションサーバ１３に出力する。ここで、本実施形態においては、ｈｔｔｐリクエストには、２枚の平面画像から生成される立体視画像の送信の指示または１枚の平面画像から生成される立体視画像の送信の指示が引数として含まれる。ファイル名がimage1.jpgおよびimage2.jpgの２枚の平面画像から生成される立体視画像画像の送信指示のｈｔｔｐリクエストのＵＲＬの例を以下に示す。
http://server/app/keitai-x/path/image1.jpg?Func=3D&another=image2.jpg&lebel=3
一方、ファイル名がimage1.jpgの１枚の平面画像から生成される立体視画像画像の送信指示のｈｔｔｐリクエストのＵＲＬの例を以下に示す。
http://server/app/keitai-x/path/image1.jpg?Func=3D&level=3
アプリケーションサーバ１３は、ウェブサーバ１１が受信したｈｔｔｐリクエストのＵＲＬを解析し、ｈｔｔｐリクエストに含まれるユーザエージェント（上記ＵＲＬのkeitai-xの部分）に基づいて、機種判別テーブル２１を参照して、ｈｔｔｐリクエストを送信した携帯端末装置３の機種を特定する。また、ｈｔｔｐリクエストおよび特定した機種を表す機種情報を画像取得モジュール１５に出力する。

機種判別テーブル２１は、図２に示すように、ユーザエージェント（keitai-a、keitai-b等）と機種（ＳＨ２５１ｉＳ、ＳＨ５０５ｉＳ等）との関係を記述したものである。アプリケーションサーバ１３は、ユーザエージェントから機種判別テーブル２１を参照して携帯端末装置３の機種を特定する。

画像取得モジュール１５は、機種情報により表される機種に対応するとともに、ｈｔｔｐリクエストのＵＲＬの引数により指定された立体視画像が画像キャッシュ２３に保管されているか否かを判定し、保管されていればその立体視画像を画像キャッシュ２３から取得して画像送信モジュール１９に出力する。一方、その立体視画像が保管されていない場合には、画像取得モジュール１５は、ＵＲＬの引数により指定されたファイル名の画像を画像キャッシュ２３から取得し、機種情報およびＵＲＬの引数（すなわちimage1.jpg?Func=3D&another=image2.jpg&lebel=3またはimage1.jpg?Func=3D&lebel=3）とともに画像変換サーバ１７に出力する。

また、画像取得モジュール１５は、後述するように画像変換サーバ１７が生成した立体視画像をＵＲＬの引数とともに画像キャッシュ２３に保管して画像送信モジュール１９に出力する。

画像送信モジュール１９は、立体視画像送信のｈｔｔｐリクエストを送信した携帯端末装置３に携帯電話通信網５を介して立体視画像を送信する。

画像キャッシュ２３には携帯端末装置３あるいはデジタルカメラ等により取得された立体視画像生成のための平面画像および生成された立体視画像が保管される。なお、立体視画像生成のための平面画像は２枚からなるものおよび１枚からなるものの２種類がある。２枚からなる平面画像は、２台の撮影装置を用いて同一被写体を視差を有するように撮影することにより取得されたものである。

機種別画像変換テーブル２５は、図３に示すように、携帯端末装置３の機種（ＳＨ２５１ｉＳ、ＳＨ５０５ｉＳ等）、携帯端末装置３が有する液晶モニタのサイズ（ｗ＝１５０，ｈ＝１８０（画素数）等）、画像ファイルのフォーマット（ＪＰＥＧ，ＧＩＦ等）、立体視画像が表示可能であるか否かの情報（３Ｄ＝ｏｎまたはｏｆｆ）および立体視画像のタイプ（ｔｙｐｅ１，２等）の関係を記述したものである。

ここで、立体視画像のタイプとしては、両目の視差を利用するものであれば任意のタイプを用いることができる。例えば、本実施形態においては、ｔｙｐｅ＝１は立体視画像を立体視可能なように表示できる液晶モニタを有する携帯端末装置３に適した、左目用の画像と右目用の画像の２枚の画像を並べたタイプの立体視画像である。また、ｔｙｐｅ＝２は赤青メガネや偏光メガネをかけて画像を見た場合に立体視ができるように１枚の画像上において色をずらしたタイプの立体視画像である。なお、３Ｄ＝ｏｆｆの場合には立体視画像の送信がｈｔｔｐリクエストにより指定されていても立体視画像を配信しないものとする。

画像変換サーバ１７は、ＵＲＬにより指定された引数および機種情報に基づいて１枚または２枚の平面画像を立体視画像に変換する。図４は画像変換サーバ１７の構成を示す概略ブロック図である。図４に示すように画像変換サーバ１７は、目検出モジュール３１、人物検出モジュール３３、領域検出モジュール３５、距離テーブル３７、画像処理モジュール３９およびメモリ４１を備える。なお、目検出モジュール３１、人物検出モジュール３３および領域検出モジュール３５は、１枚の平面画像から立体視画像を生成する場合に動作する。

目検出モジュール３１は、立体視画像を生成する１枚の平面画像に含まれる人物の目の位置を検出する。目の位置を検出する手法としては既知の任意の手法を用いることができる。例えば、本実施形態においては、画像に含まれる円形または円形に近い輪郭を有する領域をすべて検出し（第１の検出）、第１の検出にて検出したすべての領域のうち、目らしい大きさの領域が２つ並んでいる領域の組を検出する（第２の検出）。さらにその領域の組の各領域について、中心付近が瞳の色（黒、青等）でその周囲が白色である領域を検出し（第３の検出）、第３の検出により得られた領域の組を目の位置として検出する。なお、第１〜第３の検出のいずれにおいても検出がなされなかった場合には、平面画像には目は含まれない、すなわち人物が含まれないものとする。

なお、目を検出する手法としては、上記手法以外に例えば特開２０００−６７２３７号公報、特開２００１−２１６５１５号公報および特開２００３−１１５０４３号公報等に記載された手法等、既知の手法を用いることができる。

人物検出モジュール３３は、目検出モジュール３１が検出した目の位置を使用して、１枚の平面画像に含まれる人物の顔および人物の構成物体を検出する。人物の顔を検出する手法としては既知の任意の手法を用いることができる。例えば、本実施形態においては、目検出モジュール３１が検出した目の位置から両目間の距離を求めて、平面画像に含まれる人物の顔の大きさを推定して仮の顔領域を検出する。そして、仮の顔領域を近傍の領域において肌色の領域を求めることにより顔の輪郭を抽出して人物の顔領域を検出する。

なお、人物の顔を検出する手法としては、上記手法以外に例えば特開平８−１５３１８７号公報、特開平９−５０５２８号公報、特開２００１−１４４７４号公報、特開２００１−１７５８６８号公報および特開２００１−２０９７９５号公報等に記載された手法等、既知の手法を用いることができる。

また、人物検出モジュール３３は、目検出モジュール３１が検出した目の位置および両目間の距離を基準として、標準的な人物の目、鼻および口の位置関係に基づいて、人物の構成物体である鼻および口を人物の構成物体として検出する。また、検出された顔の輪郭の近傍の領域において黒色の領域を髪領域として抽出し、さらに平面画像からエッジを検出し、抽出された顔および髪領域から連続するエッジを辿ることにより、人物の体を人物の構成物体として検出する。

領域検出モジュール３５は、平面画像に含まれる人物以外の背景等の構成物体を検出する。具体的には、平面画像の輪郭を抽出し、人物以外の輪郭により囲まれる領域を１つの構成物体として検出する。

距離テーブル３７は、図５に示すように、撮影時における撮影装置と被写体である人物との撮影距離が分かっている種々の平面画像について算出した、平面画像に含まれる顔領域の平面画像に対する割合（以下顔割合とする）と、撮影距離との関係を記述したものである。

なお、平面画像を取得した撮影装置によって使用する撮影レンズの倍率が異なることから、平面画像において被写体が近くに見える場合であっても、望遠レンズを用いて遠方から被写体の撮影を行っている場合がある。このため、距離テーブルから求められる撮影距離は、被写体である人物と撮影装置との絶対的な撮影距離ではなく、距離テーブル３７を求める際に使用した撮影装置により撮影した場合の撮影距離を表すものとなる。

画像処理モジュール３９は、２枚の平面画像から立体視画像を生成する場合には、２枚の平面画像から後述するように携帯端末装置３の機種に応じたタイプの立体視画像を生成する。１枚の平面画像からの立体視画像の生成は以下のように行う。

まず画像処理モジュール３９は、人物検出モジュール３３が検出した顔の輪郭に囲まれる領域の画素数を平面画像の全画素数により除して、平面画像に含まれる人物の顔の領域の平面画像に対する割合である顔割合を算出する。次いで、算出した顔割合から距離テーブル３７を参照して、平面画像の撮影距離を推定する。

一方、メモリ４１には、図６に示すように目の位置を基準とした体、口および鼻の平面画像に対する奥行き方向の距離を表す奥行きパラメータが記憶されている。なお、体は目よりも撮影位置が後方にあるため奥行きパラメータは負の値を有し、口および鼻は目よりも撮影位置が前方にあるため奥行きパラメータは正の値を有する。

画像処理モジュール３９は、メモリ４１に記憶された奥行きパラメータおよび推定した平面画像の撮影距離に基づいて、立体視画像における体、口および鼻のそれぞれの目に対するずれ量を規定する３次元パラメータを算出する。具体的には、各構成物体について撮影距離と奥行きパラメータとの差分値の逆数を算出し、逆数を１００００倍するとともに小数点以下を四捨五入して各構成物体の３次元パラメータ算出のための基準値を算出する。そして、体、口および鼻のそれぞれの基準値と目の基準値との差分値を体、口および鼻の３次元パラメータとして算出する。

例えば、推定された撮影距離が１００ｃｍである場合、目、体、口および鼻についての撮影距離と奥行きパラメータとの差分値の逆数はそれぞれ１／１００，１／９０，１／１０１，１／１０３となる。したがって、目、体、口および鼻の上記基準値は、それぞれ１００，１１１，９９，９７となり、その結果、体、口および鼻の３次元パラメータは、それぞれ１１，−１，−３となる。なお、３次元パラメータの正負は立体視画像生成時における各構成物体の目に対する移動方向を示す。また、３次元パラメータの単位は画素数である。

また、画像処理モジュール３９は、平面画像に含まれる人物以外の背景等の構成物体について、目に対するずれ量を規定する３次元パラメータを算出する。人物以外の構成物体の３次元パラメータの算出は既知の手法を用いることができる。例えば、特開２００２−１２３８４２号公報に記載されているように、平面画像の各画素の色の三属性（色相、彩度、明度）のうち彩度を算出し、彩度を奥行き値とみなすことにより３次元パラメータを算出する手法を用いることができる。

ここで、景色は一般に遠い方向にあるものほど彩度が低くなり、近い方向にあるもの彩度が高くなる傾向がある。したがって、画像処理モジュール３９は、領域検出モジュール３５が検出した各構成物体の彩度の平均値と人物の衣服の彩度の平均値の差を算出し、彩度の平均値の差に応じて人物の体の３次元パラメータを基準として、人物以外の構成物体の３次元パラメータを算出する。なお、人物の構成物体についても特開２００２−１２３８４２号公報に記載された手法を用いて３次元パラメータを算出してもよい。

なお、彩度は次式により算出することができる。次式においてｒ，ｇ，ｂは各画素のＲＧＢ値それぞれを表す。
彩度＝ｍａｘ（ｒ，ｇ，ｂ）−ｍｉｎ（ｒ，ｇ，ｂ）
一方、平面画像に人物が含まれない場合には、領域検出モジュール３５が平面画像の輪郭を抽出し、輪郭に囲まれる領域を構成物体として検出し、画像処理モジュール３９が構成物体内の彩度の平均値を算出し、さらに、大まかな遠景と近景との分離を行うために、明度の低い構成物体を遠景の構成物体、明度が高い構成物体を近景の構成物体とする。そして、近景の構成物体（複数ある場合にはいずれかの構成物体）を基準として、立体視画像における基準とした構成物体以外の他の構成物体について、基準となる構成物体に対するずれ量である３次元パラメータを算出する。ここで、明度は各画素のＲＧＢ値の最大値を用いればよい。

そして、画像処理モジュール３９は、３次元パラメータに基づいて１枚の平面画像から立体視画像を生成する。なお、立体視画像を生成する手法は種々あるが、本実施形態においては、機種別画像変換テーブル２５を参照して、立体視画像送信のｈｔｔｐリクエストを送信した携帯端末装置３の機種に応じたタイプの立体視画像を生成する。例えば、携帯端末装置３の立体視画像のタイプがｔｙｐｅ１である場合には左右両目用の２枚の画像が並んだ立体視画像を生成する。また、携帯端末装置３の立体視画像のタイプがｔｙｐｅ２である場合には赤青メガネや偏光メガネを用いて立体視ができるように、構成物体の色をずらした１枚の画像からなる立体視画像を生成する。

図７は２枚の画像が並んだ立体視画像の生成を説明するための図である。図７に示すように平面画像には人物および山からなる背景が含まれているものとする。画像処理モジュール３９は上述した３次元パラメータを算出する際に構成物体を平面画像から検出しているため、各構成物体を平面画像から切り出し、切り出した各構成物体をその３次元パラメータに応じて左目用および右目用にそれぞれずらして立体視画像を生成する。なお、人物の目よりも撮影位置が手前にある構成物体（鼻および口）と、目よりも後方にある構成物体とではずらす方向は逆となる。ここで、構成物体をずらした後のその構成物体が存在していた領域は画像情報が欠落してしまうため、その領域を含む周囲の画像をぼかすことにより、その領域についての画像情報を補間する。

なお、ｈｔｔｐリクエストの引数において「lebel」が含まれている場合には、lebelの値に応じて、各構成物体のずれ量を変更する。「lebel」はその値が大きいほど立体視した際の各構成物体の立体視の程度を大きくする旨を指定する引数である。ここで、立体視の程度を大きくするためには各構成物体のずれ量を大きくすればよいものである。したがって、画像処理モジュール３９は、ｈｔｔｐリクエストの引数にlebelが含まれている場合には、算出した３次元パラメータをそのlebelの値の大きさに応じて変更して立体視画像を生成する。

さらに、画像処理モジュール３９は、生成された立体視画像を立体視画像送信のｈｔｔｐリクエストを送信した携帯端末装置３の液晶モニタのサイズに適合するように拡大縮小するとともに、携帯端末装置３が利用可能なフォーマットに変換し、これを最終的な立体視画像として生成する。

そして、画像処理モジュール３９は生成された立体視画像を画像取得モジュール１５に出力する。

次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。ウェブサーバ１１が携帯端末装置３が送信した立体視画像送信のｈｔｔｐリクエストを受信すると処理を開始し、アプリケーションサーバ１３がｈｔｔｐリクエストを送信した携帯端末装置３の機種を特定する（ステップＳ１）。そして、画像取得モジュール１５が、画像キャッシュ２３を検索し（ステップＳ２）、アプリケーションサーバ１３が特定した機種に対応するとともに、ｈｔｔｐリクエストのＵＲＬの引数により指定された立体視画像が画像キャッシュ２３に保管されているか否かを判定する（ステップＳ３）。

ステップＳ３が否定されると、画像取得モジュール１５がＵＲＬにより指定されたファイル名の平面画像を画像キャッシュ２３から読み込み（ステップＳ４）、機種情報およびｈｔｔｐリクエストのＵＲＬの引数とともに画像変換サーバ１８に出力する。画像変換サーバ１７は、入力された平面画像が１枚であるか２枚であるかを判定する（ステップＳ５）。平面画像が１枚である場合には、画像変換サーバ１７は１枚の平面画像から立体視画像を生成する（ステップＳ６）。なお、ステップＳ３が肯定されると後述するステップＳ１０に進む。

図９は１枚の平面画像から立体視画像を生成する際に行われる処理を示すフローチャートである。まず、目検出モジュール３１が平面画像に含まれる目の位置を検出し、平面画像に目が含まれるか否かを判定する（ステップＳ２１）。ステップＳ２１が肯定されると、人物検出モジュール３３が、目の位置を利用して平面画像に含まれる人物の顔、体、鼻および口を検出する（ステップＳ２２）。続いて、領域検出モジュール３５が、平面画像に含まれる人物以外の構成物体を検出する（ステップＳ２３）。

そして、画像処理モジュール３９が顔割合を算出し（ステップＳ２４）、距離テーブル３７を参照して平面画像の撮影距離を推定する（ステップＳ２５）。次いで、画像処理モジュール３９が、メモリ４１に記憶された奥行きパラメータおよび推定した平面画像の撮影距離に基づいて、平面画像の構成物体（体、鼻および口を含む）の３次元パラメータを算出する（ステップＳ２６）。

なお、ステップＳ２１が否定された場合は、領域検出モジュール３５が平面画像の構成物体を検出し（ステップＳ２７）、画像処理モジュール３９は、構成物体の１つを基準として他の構成物体の３次元パラメータを算出する（ステップＳ２８）。

次いで、画像処理モジュール３９は、ｈｔｔｐリクエストの引数に「lebel」が含まれているか否かを判定し（ステップＳ２９）、ステップＳ２９が肯定されると、lebelの値に応じて３次元パラメータを変更する（ステップＳ３０）。そして、機種別画像変換テーブル２５を参照して、立体視画像送信のｈｔｔｐリクエストを送信した携帯端末装置３の立体視画像のタイプの情報を取得する（ステップＳ３１）。なお、ステップＳ２９が否定された場合は、３次元パラメータを変更することなくステップＳ３１に進む。そして、立体視画像のタイプに応じて３次元パラメータを用いて立体視画像を生成し（ステップＳ３２）、立体視画像の生成の処理を終了する。

図８に戻り、ステップＳ５の判定において平面画像が２枚である場合には、画像変換サーバ１７は２枚の平面画像から立体視画像を生成する（ステップＳ７）。

さらに、画像変換サーバ１７は、機種別画像変換テーブル２５を参照して、立体視画像送信のｈｔｔｐリクエストを送信した携帯端末装置３の液晶モニタのサイズおよびフォーマットに応じて立体視画像を変換し（ステップＳ８）、これを最終的な立体視画像として画像取得モジュール１５に出力する。

画像取得モジュール１５は、立体視画像を引数とともに画像キャッシュ２３に保管し（ステップＳ９）、立体視画像を画像送信モジュール１９に出力する。そして、画像送信モジュール１９が立体視画像をｈｔｔｐリクエストを送信した携帯端末装置３に送信し（ステップＳ１０）、処理を終了する。

このように、本実施形態においては、立体視画像の送信の指示を受け付け、送信指示があった立体視画像が２枚の平面画像から生成されるものである場合は、２枚の平面画像から立体視画像を生成し、送信指示がなされた立体視画像が１枚の平面画像から生成されるものである場合は、１枚の平面画像から立体視画像を生成し、生成した立体視画像を立体視画像の送信指示を行った携帯端末装置３に送信するようにしたものである。このため、立体視画像の生成の対象となる平面画像が１枚であっても２枚であっても、平面画像の枚数に応じて適応的に立体視画像を生成することができる。したがって、携帯端末装置３において立体視画像を表示して楽しむことができる。

また、ｈｔｔｐリクエストのＵＲＬの引数に立体視の程度を表す「lebel」が含まれている場合には、lebelにより指定された数値に応じて立体視の程度を変更して立体視画像を生成しているため、携帯端末装置３からの指示に応じた立体視の程度を有する立体視画像を、携帯端末装置３に送信することができる。

また、携帯端末装置３の機種に応じたタイプの立体視画像を生成し、さらには携帯端末装置３の機種の液晶モニタの仕様やフォーマットに応じて変換された立体視画像を送信しているため、携帯端末装置３にはその表示仕様に応じた適切な立体視画像を表示することができる。

なお、上記実施形態においては、ｈｔｔｐリクエストのＵＲＬの引数に「lebel」が含まれている場合に、３次元パラメータを変更して立体視画像の立体視の程度を変更しているが、平面画像に含まれる特定の被写体について立体視の程度を他の被写体よりも強くする（例えば人物の立体視の程度を背景よりも強くする、あるいは背景の立体視の程度を人物よりも強くする）指示がＵＲＬの引数に含まれる場合がある。このような場合には、指示された被写体を検出してその被写体の３次元パラメータを変更することにより、その被写体の立体視の程度を他の被写体の立体視の程度よりも大きくすればよい。

また、上記実施形態における１枚の平面画像から立体視画像を生成する手法は上述した手法に限定されるものではなく、既知の任意の手法を用いることができる。

本発明の実施形態による立体視画像生成装置および画像配信サーバを備えた画像配信システムの構成を示す概略ブロック図 機種判別テーブルの記述内容を示す図 機種別画像変換テーブルの記述内容を示す図 画像変換サーバの構成を示す概略ブロック図 距離テーブルの記述内容を示す図 メモリに記憶された奥行きパラメータの例を示す図 ２枚の画像からなる立体視画像の生成を説明するための図 本実施形態において行われる処理を示すフローチャート １枚の平面画像から立体視画像を生成する際に行われる処理を示すフローチャート

符号の説明

１ 画像配信サーバ
３ 携帯端末装置
５ 携帯電話通信網
１１ ウェブサーバ
１３ アプリケーションサーバ
１５ 画像取得モジュール
１７ 画像変換サーバ
１９ 画像送信モジュール
２１ 機種判別テーブル
２３ 画像キャッシュ
２５ 機種別画像変換テーブル
３１ 目検出モジュール
３３ 人物検出モジュール
３５ 領域検出モジュール
３７ 距離テーブル
３９ 画像処理モジュール
４１ メモリ

Claims (6)

1. 立体視画像の生成のための２枚の平面画像または１枚の平面画像を保管する画像保管手段と、
   前記立体視画像の取得指示を受け付ける指示受け付け手段と、
   前記取得指示がなされた立体視画像が２枚の平面画像から生成されるものである場合は、該２枚の平面画像から前記立体視画像を生成し、前記取得指示がなされた立体視画像が１枚の平面画像から生成されるものである場合は、該１枚の平面画像から立体視画像を生成する画像変換手段と、
   該画像変換手段により生成された立体視画像を出力する出力手段とを備えたことを特徴とする立体視画像生成装置。
2. 前記指示受け付け手段は、前記取得指示とともに前記立体視画像における立体視の程度の指示を受け付ける手段であり、
   前記画像変換手段は、前記立体視の程度の指示に応じて、該立体視の程度を変更して前記立体視画像を生成する手段であることを特徴とする請求項１記載の立体視画像生成装置。
3. 前記画像変換手段は、前記１枚の平面画像に含まれる人物の目の位置を検出する目検出手段と、
   該目検出手段が検出した目の位置に基づいて、前記１枚の平面画像に含まれる前記人物の顔および該人物の構成物体を検出する人物検出手段と、
   該人物検出手段が検出した人物の顔の領域の前記平面画像に対する割合である顔割合を算出する顔割合算出手段と、
   前記１枚の平面画像に含まれる人物以外の構成物体を検出する物体検出手段と、
   種々の顔割合と撮影時における人物および撮影装置の間の撮影距離との関係を表す距離テーブルを記憶するテーブル記憶手段と、
   前記目の位置を基準とした前記人物の構成物体の奥行きを表す奥行きパラメータを記憶するパラメータ記憶手段と、
   前記顔割合算出手段が算出した顔割合および前記距離テーブルに基づいて前記平面画像を取得した際の撮影距離を推定し、該撮影距離および前記奥行きパラメータに基づいて前記立体視画像における前記人物の構成物体のずれ量を規定する３次元パラメータを算出するとともに、前記人物以外の構成物体のずれ量を規定する３次元パラメータを算出する３次元パラメータ算出手段と、
   該３次元パラメータ算出手段が算出した３次元パラメータに基づいて、前記１枚の平面画像から前記立体視画像を生成する立体視画像生成手段とを備えてなることを特徴とする請求項１または２記載の立体視画像生成装置。
4. 請求項１から３のいずれか１項記載の立体視画像生成装置を備えた画像配信サーバであって、
   前記指示受け付け手段は、携帯端末装置による前記立体視画像の取得指示を受け付ける手段であり、
   前記出力手段は、前記取得指示を行った携帯端末装置に前記立体視画像を送信する手段であることを特徴とする画像配信サーバ。
5. 前記画像変換手段は、前記携帯端末装置の表示仕様に応じて前記立体視画像を生成する手段であることを特徴とする請求項４記載の画像配信サーバ。
6. １枚の平面画像から立体視画像を生成する立体視画像生成装置において、
   前記１枚の平面画像に含まれる人物の目の位置を検出する目検出手段と、
   該目検出手段が検出した目の位置に基づいて、前記１枚の平面画像に含まれる前記人物の顔および該人物の構成物体を検出する人物検出手段と、
   該人物検出手段が検出した人物の顔の領域の前記平面画像に対する割合である顔割合を算出する顔割合算出手段と、
   前記１枚の平面画像に含まれる人物以外の構成物体を検出する物体検出手段と、
   種々の顔割合と撮影時における人物および撮影装置の間の撮影距離との関係を表す距離テーブルを記憶するテーブル記憶手段と、
   前記目の位置を基準とした前記人物の構成物体の奥行きを表す奥行きパラメータを記憶するパラメータ記憶手段と、
   前記顔割合算出手段が算出した顔割合および前記距離テーブルに基づいて前記平面画像を取得した際の撮影距離を推定し、該撮影距離および前記奥行きパラメータに基づいて前記立体視画像における前記人物の構成物体のずれ量を規定する３次元パラメータを算出するとともに、前記人物以外の構成物体のずれ量を規定する３次元パラメータを算出する３次元パラメータ算出手段と、
   該３次元パラメータ算出手段が算出した３次元パラメータに基づいて、前記１枚の平面画像から前記立体視画像を生成する立体視画像生成手段とを備えたことを特徴とする立体視画像生成装置。

Images