JP2013207672A - 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法、プログラム、情報記憶媒体及び画像生成システム - Google Patents

Abstract

【課題】任意の形状にして見ることが可能な立体視用印刷物の製造方法、立体視用印刷物、画像生成方法、プログラム、情報記憶媒体及び画像生成システムを提供すること。
【解決手段】第１の左目用画像上のマークに基づき第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、第１の左目用画像上の複数の四角形のそれぞれが長方形になるように第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、第１の右目用画像上のマークに基づき第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、第１の右目用画像の変形処理を行って、第２の右目用画像を作成し、第２の左目用画像と第２の右目用画像に基づいて立体視用印刷物を作成する。
【選択図】図１

Description

本発明は、立体視用印刷物の製造方法、立体視用印刷物、画像生成方法、プログラム、情報記憶媒体及び画像生成システムに関する。

従来から、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ（anaglyph)処理などにより合成して、立体視を実現する技術が知られている。そして、カメラで撮った左目用画像、右目用画像に対してパースペクティブを無くす処理を行うことで、これまでの手法では実現できなかったリアルな立体視を実現する技術も知られている（例えば、特許文献１）。

特開２００４−１７８５７９号公報

しかしながら従来の立体視方式では、立体視用印刷物を平面状にした状態で見ること、及び平面状の表示画面に立体視用画像を表示して見ることを想定しており、立体視用印刷物を任意の形状にして見ること、及び任意の形状の表示画面に立体視用画像を表示して見ることはできなかった。

本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、任意の形状にして見ることが可能な立体視用印刷物の製造方法、立体視用印刷物、画像生成方法、プログラム、情報記憶媒体及び画像生成システムを提供することにある。

本発明は、被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用印刷物を作成する立体視用印刷物の製造方法であって、前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成し、前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用印刷物を作成する立体視用印刷物の製造方法に関係する。

また本発明は、被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用画像を生成する画像生成方法であって、前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成し、前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用画像を生成することを特徴とする画像生成方法に関する。また本発明は、上記手順をコンピュータに実行させるためのプログラムに関する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記手順をコンピュータに実行させるためのプログラムを記憶した情報記憶媒体に関する。

また本発明は、被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用画像を生成するための画像生成システムであって、前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成する画像生成部と、前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用画像を生成する立体視用画像生成部とを含む画像生成システムに関する。

本発明によれば、前記第１の左目用画像、前記第１の右目用画像における三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像、前記第１の左目用画像の変形処理を行うことで、立体視用印刷物を前記任意の形状の面と同様の形状にして見た場合に自然な立体視を実現できる。また、前記任意の形状の面と同様の形状の表示画面（表示部）に立体視用画像を表示して見た場合に自然な立体視を実現できる。

また本発明に係る立体視用印刷物の製造方法、立体視用印刷物、画像生成方法、プログラム、情報記憶媒体及び画像生成システムでは、前記任意の形状の面は、曲面を含む面であってもよい。このようにすると、立体視用印刷物を曲面を含む形状にして見た場合、或いは曲面を含む形状の表示画面（表示部）に立体視用画像を表示して見た場合に自然な立体視を実現できる。

また本発明は、上記のいずれかの製造方法により作成された立体視用印刷物に関係する。また本発明は、上記のいずれかの製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物に関する。

本実施形態の立体視方式のフローチャート。 本実施形態の立体視方式の説明図。 第１の左目用画像、第１の右目用画像の例。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の立体視方式の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の立体視方式の説明図。 本実施形態の変形処理の説明図。 本実施形態の変形処理の説明図。 本実施形態の立体視方式の説明図。 画像生成システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．立体視方式
本実施形態の立体視方式を図１のフローチャートを用いて説明する。

まず、図２に示すように、第１の基準面ＢＳ１上に物体ＯＢ（被写体、オブジェクト）を配置する（ステップＳ１０）。ここで、第１の基準面ＢＳ１は、視線方向ＳＬ（視点位置と注視点を結ぶ方向）に対して斜め方向となる面であり、視線方向ＳＬに直交しない面である。すなわち、第１の基準面ＢＳ１は、視線方向ＳＬに常に直交する透視投影面とは異なる面である。第１の基準面ＢＳ１は、例えば、水平面に平行な面である。第２の基準面ＢＳ２は、第１の基準面ＢＳ１と所定の角度（例えば直角）をなす面である。第１の基準面ＢＳ１と第２の基準面ＢＳ２は境界ＢＤにおいて連結されている。なお、第１の基準面ＢＳ１には、第１の基準面ＢＳ１で長方形の頂点を構成するマークが設けられ、第２の基準面ＢＳ２には、第２の基準面ＢＳ２で長方形の頂点を構成するマークが設けられている。

次に、立体視のための第１の左目用画像ＩＬ１と第１の右目用画像ＩＲ１を生成（作成）する（図１のステップＳ１２、Ｓ１４）。具体的には、左目用視点位置ＶＰＬから見える第１の左目用画像ＩＬ１と、右目用視点位置ＶＰＲから見える第１の右目用画像ＩＲ１を作成する。

ここで、左目用、右目用視点位置ＶＰＬ、ＶＰＲは、図２に示すように、観者（viewer）の左目、右目の位置として想定される位置である。例えば、カメラ（デジタルカメラ等）による実写により第１の左目用、右目用画像ＩＬ１、ＩＲ１を作成する場合には、これらのＶＰＬ、ＶＰＲの位置（ＶＰＬ、ＶＰＲの視線の延長線上の位置）にカメラを配置して、第１の左目用、右目用画像ＩＬ１、ＩＲ１を撮影する。この場合、２台のカメラをＶＰＬ、ＶＰＲに配置して同時に撮影してもよいし、１台のカメラの位置を変えて撮影してもよい。

一方、ＣＧ（Computer Graphics）画像やゲーム画像（リアルタイム動画像）を生成す
るシステムにより第１の左目用、右目用画像ＩＬ１、ＩＲ１を生成する場合には、これらのＶＰＬ、ＶＰＲの位置（ＶＰＬ、ＶＰＲの視線の延長線上の位置）に仮想カメラ（広義にはカメラ）を配置して第１の左目用、右目用画像ＩＬ１、ＩＲ１を生成する。即ち、オブジェクト空間においてＶＰＬ、ＶＰＲから見える画像を生成する。

図３に、第１の左目用画像ＩＬ１、第１の右目用画像ＩＲ１の一例を示す。第１の左目用画像ＩＬ１は、左目用視点位置ＶＰＬにカメラを配置して、物体ＯＢ（注視点、物体の代表点）の方にカメラの視線（方向）を向けて撮影したものである。また、第１の右目用画像ＩＲ１は、右目用視点位置ＶＰＲにカメラを配置して、物体ＯＢの方にカメラの視線を向けて撮影したものである。そして図３に示すように、これらの第１の左目用、右目用画像ＩＬ１、ＩＲ１では視線角度（見え方）がずれており、この視線角度のずれによる両眼視差を利用して立体視が実現される。なお、ＣＧやゲームの場合には、オブジェクト空間内に設定された基準面にオブジェクト（モデル化されたグラフィックオブジェクト）を配置し、ＶＰＬ、ＶＰＲに仮想カメラを配置する。そして、仮想カメラの視線（方向）をオブジェクト（注視点、オブジェクトの代表点）の方に向けて、仮想カメラから見える画像を生成することで、図３と同様な画像を生成できる。

また図３の第１の左目用画像ＩＬ１上の第１〜第４のマークＭＫ１〜ＭＫ４は、第１の基準面ＢＳ１上で長方形の頂点を構成する４つのマークに対応するものであり、第１の左目用画像ＩＬ１上の第３〜第６のマークＭＫ３〜ＭＫ６は、第２の基準面ＢＳ２上で長方形の頂点を構成する４つのマークに対応するものである。同様に、第１の右目用画像ＩＲ１上の第１〜第４のマークＭＫ１〜ＭＫ４は、第１の基準面ＢＳ１上の長方形の頂点を構成する４つのマークに対応するものであり、第１の右目用画像ＩＲ１上の第３〜第６のマークＭＫ３〜ＭＫ６は、第２の基準面ＢＳ２上の長方形の頂点を構成する４つのマークに対応するものである。

次に、第１及び第２の基準面ＢＳ１、ＢＳ２におけるマークに対応する第１の左目用画像Ｉｌ１上の第１〜第６のマークＭＫ１〜ＭＫ６に基づき、第１の左目用画像ＩＬ１における三次元空間を推定し、推定した三次元空間に任意の形状の面（曲面を含む面）を配置する（図１のステップＳ１６）。

具体的には、図４に示すように、第１の左目用画像ＩＬ１における第１の基準面ＢＳ１がＸＺ平面と平行な面となり、且つ、第１の左目用画像ＩＬ１における第２の基準面ＢＳ２がＸＹ平面と平行な面となるような第１の左目用画像ＩＬ１における三次元空間（ＸＹＺ座標空間）を推定する。また、左目用視点位置ＶＰＬに対応する三次元空間における仮想視点位置ＶＶＰも推定する。本実施形態では、６つのマークＭＫ１〜ＭＫ６に基づき三次元空間を推定しているが、第１、第２、第５及び第６のマークＭＫ１、ＭＫ２、ＭＫ５、ＭＫ６のうちいずれか１つを除いた５つのマークに基づき三次元空間を推定することもできる。また、カメラの焦点距離が予め分かっている場合には、第１の基準面ＢＳ１における第１〜第４のマークＭＫ１〜ＭＫ４、或いは第２の基準面ＢＳ２における第３〜第６のマークＭＫ３〜ＭＫ６に基づき三次元空間を推定することができる。

そして、図４に示すように、第１の左目用画像ＩＬ１において推定した三次元空間に、曲面を含む任意の形状の面ＰＬを配置する。ここでは、縦横比がＤ１：Ｄ２である長方形の面の下部をＹ軸方向（上下方向）で湾曲させた面を、任意の形状の面ＰＬとして三次元空間に配置している。三次元空間に配置した任意の形状の面ＰＬを左目用視点位置ＶＰＬに対応する仮想視点位置ＶＶＰから見ると、図５に示すように、任意の形状の面ＰＬを第１の左目用画像ＩＬ１上に配置することができる。なお、ＣＧ画像やゲーム画像を生成する場合には、任意の形状の面ＰＬを、被写体であるオブジェクトが配置されるオブジェクト空間に配置すればよい。

次に、第１の左目用画像ＩＬ１上の任意の形状の面ＰＬを複数の四角形で近似する（図１のステップＳ１８）。図６に示す例では、任意の形状の面ＰＬを、湾曲方向（上下方向）に沿って連接する８つの四角形ＱＡ１〜ＱＡ８で近似している。８つの四角形ＱＡ１〜ＱＡ８は、三次元空間においては同一サイズの長方形であるが、図６に示すように、第１の左目用画像ＩＬ１上ではそれぞれ異なる形状となる。

次に、第１の左目用画像ＩＬ１上の複数の四角形のそれぞれが長方形になるように、第１の左目用画像ＩＬ１の変形処理を行って、第２の左目用画像ＩＬ２を作成（生成）する（図１のステップＳ２０）。

具体的には、図７に示すように、第１の左目用画像ＩＬ１のうち８つの四角形ＱＡ１〜ＱＡ８に含まれる領域の画像ＩＬ１’について、８つの四角形ＱＡ１〜ＱＡ８がそれぞれ同一サイズの長方形となるように、第１の左目用画像ＩＬ１’の変形処理（補正処理）を行って、第２の左目用画像ＩＬ２を作成（生成）する。なお、第１の左目用画像ＩＬ１’の変形処理は、第２の左目用画像ＩＬ２の縦横比がＤ１：Ｄ２（すなわち、面ＰＬを平面状に伸ばした場合の縦横比）となるように行う。この変形処理は、例えばテクスチャマッピングの手法を用いて実現できる。

第１の右目用画像ＩＲ１についても同様に、第１及び第２の基準面ＢＳ１、ＢＳ２におけるマークに対応する第１の右目用画像ＩＲ１上の第１〜第６のマークＭＫ１〜ＭＫ６に基づき第１の右目用画像ＩＲ１における三次元空間と、右目用視点位置ＶＰＲに対応する三次元空間における仮想視点位置ＶＶＰを推定し、推定した三次元空間に任意の形状の面ＰＬを配置する（図１のステップＳ２２、図３〜図５）。

そして、第１の右目用画像ＩＲ１上の任意の形状の面ＰＬを複数の四角形ＱＡ１〜ＱＡ８で近似し（図１のステップＳ２４、図６）、第１の右目用画像ＩＲ１上の複数の四角形ＱＡ１〜ＱＡ８のそれぞれが長方形になるように、第１の右目用画像ＩＲ１（ＩＲ１’）の変形処理を行って、第２の右目用画像ＩＲ２を作成（生成）する（図１のステップＳ２６、図８）。なお、第２の右目用画像ＩＲ２の縦横比はＤ１：Ｄ２であり、第２の左目用画像ＩＬ２と同一サイズの長方形である。

次に、ステップＳ２０で作成した第２の左目用画像ＩＬ２と、ステップＳ２６で作成した第２の右目用画像ＩＲ２に基づき立体視用画像を作成（生成）する（ステップＳ２８）。具体的には、ＩＬ２とＩＲ２とに基づきアナグリフ処理などを行って立体視用画像（アナグリフ画像）を作成する。

そして、図１のステップＳ２８で作成された立体視用成画像（実写画像又はＣＧ画像）を、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ（印刷機）により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。

そしてこのように製造された立体視用印刷物を、例えば左目に赤色フィルタ（赤以外のフィルタでもよい）が設けられ、右目に青色フィルタ（青以外のフィルタでもよい）が設けられた立体視用眼鏡で見ることで、立体視を実現できる。なお、印刷物にレンチキュラーレンズを設けたり、印刷媒体としてレンチキュラーレンズを用いることで、立体視を実現してもよい。

また立体視用画像を、画像生成システムの表示部（表示画面）に表示すれば、ＣＧ画像の生成や、ゲーム画像（動画像）のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ（赤、青）が設けられた眼鏡（広義には器具）を用いて見るようにしてもよい。或いは、第２の左目用、右目用画像ＩＬ２、ＩＲ２を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッター等が設けられた眼鏡を用いて見るようにしてもよい。或いは画像生成システムの表示部にレンチキュラーレンズや視差バリア、偏光フィルム等の光学素子を設けて、立体視を実現してもよい。

従来の立体視方式では、パースペクティブを無くした補正後の左目用画像、右目用画像に基づいて立体用印刷物を作成し、作成した立体視用印刷物を水平面に平行に配置して見ることで、ピント調節と両眼視差や輻輳との間の関係のずれを軽減して、自然で実在感のある立体視を実現していた。

これに対して本実施形態の立体視方式では、製造された立体視用印刷物を任意の形状にして配置した場合（或いは、生成した立体用画像を任意の形状の表示画面に表示させた場合）であっても、従来の立体視方式と同様に自然で実在感のある立体視を実現することができる。具体的には、製造された立体用印刷物を、第１の右目用画像、左目用画像ＩＬ１、ＩＲ１における三次元空間に配置した任意の形状の面ＰＬと同様の形状にして配置する。

例えば、三次元空間に配置する任意の形状の面ＰＬを、図４に示すような形状とした場合には、図９に示すように、立体視用印刷物ＰＭを、上下方向で湾曲する形状にした状態で基準面ＢＳ（水平面）に配置し、基準面ＢＳに対して斜め方向から見ることで、自然な立体視を実現できる。また、生成した立体視用画像を表示画面（ディスプレイ）に表示する場合には、立体視用画像を上下方向で湾曲する形状をした表示画面に表示することで、自然な立体視を実現できる。

図１０は、第１の右目用画像、左目用画像ＩＬ１、ＩＲ１における三次元空間に配置する任意の形状の面ＰＬの他の例を示す図である。

図１０の例では、縦横比がＤ１：Ｄ２である長方形の面をＸ軸方向（左右方向）で湾曲させた面（半円筒形状の面）を、任意の形状の面ＰＬとし、手前側（負のＺ軸方向側）が凹となるように三次元空間に配置している。この場合、図１１に示すように、第１の左目用画像、第１の右目用画像ＩＬ１、ＩＲ２上の任意の形状の面ＰＬを、湾曲方向（左右方向）に沿って連接する四角形ＱＡ１〜ＱＡ８で近似する。そして、図１２に示すように、第１の左目用画像ＩＬ１上の四角形ＱＡ１〜ＱＡ８のそれぞれが長方形になるように、第１の左目用画像ＩＬ１（ＩＬ１’）の変形処理を行って、縦横比がＤ１：Ｄ２である第２の左目用画像ＩＬ２を作成し、第１の右目用画像ＩＲ１上の四角形ＱＡ１〜ＱＡ８のそれぞれが長方形になるように、第１の右目用画像ＩＲ１（ＩＲ１’）の変形処理を行って、縦横比がＤ１：Ｄ２である第２の右目用画像ＩＲ２を作成する。

このように、三次元空間に配置する任意の形状の面ＰＬを、図１０に示すような形状とした場合には、図１３に示すように、製造した立体視用印刷物ＰＭを、左右方向で湾曲する形状にした状態で手前側が凹となるように基準面ＢＳに配置し、基準面ＢＳ（水平面）に対して斜め方向から見ることで、自然な立体視を実現できる。また、生成した立体視用画像を表示画面に表示する場合には、立体視用画像を、左右方向で湾曲する凹形状の表示画面に表示することで、自然な立体視を実現できる。

また図１４の例では、図１０の場合と同様にＸ軸方向（左右方向）で湾曲する面を任意の形状の面ＰＬとし、手前側（負のＺ軸方向側）が凸となるように三次元空間に配置している。この場合、図１５に示すように、第１の左目用画像、第１の右目用画像ＩＬ１、ＩＲ２上の任意の形状の面ＰＬを、湾曲方向（左右方向）に沿って連接する四角形ＱＡ１〜ＱＡ８で近似し、図１２の場合と同様に、第１の左目用画像、右目用画像ＩＬ１、ＩＲ１の変形処理を行う。

このように、三次元空間に配置する任意の形状の面ＰＬを、図１４に示すような形状とした場合には、図１６に示すように、製造した立体視用印刷物ＰＭを、左右方向で湾曲する形状にした状態で手前側が凸となるように基準面ＢＳに配置し、基準面ＢＳ（水平面）に対して斜め方向から見ることで、自然な立体視を実現できる。例えば、円筒形の容器（ペットボトル等）の外側面に立体視用印刷物ＰＭをラベルとして貼り付けた場合であっても自然な立体視を実現できる。また、生成した立体視用画像を表示画面に表示する場合には、立体視用画像を、左右方向で湾曲する凸形状の表示画面に表示することで、自然な立体視を実現できる。

このように、本実施形態の立体視方式によれば、立体視用印刷物の形状或いは立体視用画像を表示する表示画面の形状を、任意の形状にして見ることが可能な立体視を実現することができる。

２．機能ブロック図
図１７に、本実施形態の手法を実現できる画像生成システムの構成例を示す。なお、画像生成システムは、図１７の構成要素（各部）を全て含む必要はなく、その一部を省略した構成としてもよい。

図１７の画像生成システムは、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システムとして用いることができる。また、ＣＧ画像（静止画像）により立体視用画像を作成し、立体視用印刷物を作成するための画像生成システム（ＣＧツール）としても用いることができる。また、ゲーム画像（リアルタイム動画像）を生成するシステムとしても用いることができる。

操作部１６０は、利用者が操作データを入力するためのものであり、その機能は、キーボード、マウス、レバー、ボタン、マイク、或いはタッチパネルなどのハードウェアにより実現できる。

記憶部１７０は、処理部１００や印刷部１９３や通信部１９６などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、ハードディスク、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。処理部１００は、この情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、処理部１００の各部としてコンピュータを機能させるためのプログラム（各部の処理手順をコンピュータに実行させるためのプログラム）が記憶（記録、格納）される。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。

印刷部１９３は、立体視用画像を印刷媒体（紙、レンズ、或いはフィルム等）に印刷するものであり、その機能は、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）により実現できる。

通信部１９６は、外部（例えばホスト装置や他の画像生成システム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。この通信部１９６を用いて、カメラで撮影された実写画像（第１の左目用画像、第１の右目用画像）を外部（インターネットなどのネットワーク）から画像生成システムに取り込んだり、作成された立体視用画像を外部に出力することなどが可能になる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（記憶部１７０）に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含まれる。

処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、画像生成処理などの各種の処理を行う。この場合、処理部１００は、記憶部１７０をワーク領域として使用して、各種の処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）又はＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。

処理部１００は、画像生成部１２２、立体視用画像生成部１２６を含む。

画像生成部１２２（第２の画像生成部）は、第１及び第２の基準面におけるマークに対応する第１の左目用画像上のマークの位置に基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成（生成）する。また、第１及び第２の基準面におけるマークに対応する第１の右目用画像上のマークの位置に基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成する。

なお、第１の左目用画像上のマークの位置、第１の右目用画像上のマークの位置は、利用者が操作部１６０を用いて指定した位置に基づき決定してもよいし、画像生成部１２２が、第１の左目用画像上のマークの位置、第１の右目用画像上のマークの位置を画像処理により求めるようにしてもよい。

画像生成部１２２は、テクスチャ記憶部１７４に記憶されたテクスチャの座標（Ｕ、Ｖ）を求めるテクスチャ座標演算部１２３と、求められたテクスチャ座標に基づいてテクスチャ記憶部１７４からテクスチャを読み出して、オブジェクトにマッピングするテクスチャマッピング部１２４を含む。そして上記の第１の左目用画像の変形処理と第１の右目用画像の変形処理は、このテクスチャマッピング処理などを用いて実現できる。

なお、第１の左目用画像、第１の右目用画像をカメラにより撮影する場合には、撮影された第１の左目用画像、第１の右目用画像を、通信部１９６等（広義には取り込み部）を介して取り込む。

また、処理部１００は、立体視のための第１の左目用画像と立体視のための第１の右目用画像を生成する処理を行う第１の画像生成部を含むようにしてもよい。この場合、第１の画像生成部は、オブジェクト空間の左目用視点位置に仮想カメラを配置し、この仮想カメラの視線方向をオブジェクト（被写体）の方に向けて、第１の左目用画像を生成する。またオブジェクト空間の右目用視点位置に仮想カメラを配置し、この仮想カメラの視線方向をオブジェクト（被写体）の方に向けて、第１の右目用画像を生成する。

なお、仮想カメラから見える画像は、次のようにして生成できる。即ち、まず、座標変換、クリッピング処理、透視変換或いは光源処理等のジオメトリ処理を行い、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を作成する。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７２（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラから見える画像が生成される。

立体視用画像生成部１２６は、第２の左目用画像と第２の右目用画像とに基づいて立体視用画像を生成する処理を行う。例えば、第２の左目用画像と第２の右目用画像をアナグリフ処理により合成して、立体視用画像を生成する。

立体視用画像生成部１２６は、生成された立体視用画像を印刷部１９３に出力する。すると印刷部１９３は、その立体視用画像を印刷媒体に印刷することで、立体視用印刷物を作成して出力する。

或いは、立体視用画像生成部１２６は、立体視用画像を、任意の形状の面と同様の形状をした表示部１９０に出力してもよい。この場合には、利用者は、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて表示部１９０を見る。或いは、立体視用画像生成部１２６が、第２の左目用画像と第２の右目用画像を異なるフレームで表示部１９０に出力する処理を行い、立体視を実現してもよい。この場合には、利用者は、フレームに同期してシャッターが開閉するシャッター付き眼鏡をかけて表示部１９０を見ることになる。

なお、処理部１００は、操作部１６０（ゲームコントローラ）からの操作データに基づいて、ゲーム画像を生成するための種々のゲーム処理を行うゲーム処理部を含んでもよい。このゲーム処理としては、ゲーム開始条件に基づいてゲームを開始する処理、ゲームを進行させる処理、ゲームに登場するオブジェクト（表示物）を配置する処理、オブジェクトの移動情報（位置、速度、加速度）や動作情報（モーション情報）を求める処理、オブジェクトを表示するための処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。

本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。

１００ 処理部１００、画像生成部１２２、１２３ テクスチャ座標演算部、１２４ テクスチャマッピング部、１２６ 立体視用画像生成部、１６０ 操作部、１７０ 記憶部、１８０ 情報記憶媒体、１９０ 表示部、１９３ 印刷部、１９６ 通信部

Claims (11)

1. 被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用印刷物を作成する立体視用印刷物の製造方法であって、
   前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、
   前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成し、
   前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用印刷物を作成することを特徴とする立体視用印刷物の製造方法。
2. 請求項１において、
   前記任意の形状の面は、曲面を含む面であることを特徴とする立体視用印刷物の製造方法。
3. 請求項１又は２の製造方法により作成された立体視用印刷物。
4. 請求項１又は２の製造方法により作成された立体視用印刷物を複製することで作成された立体視用印刷物。
5. 被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用画像を生成する画像生成方法であって、
   前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、
   前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成し、
   前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用画像を生成することを特徴とする画像生成方法。
6. 請求項５において、
   前記任意の形状の面は、曲面を含む面であることを特徴とする画像生成方法。
7. 被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用画像を生成するためのプログラムであって、
   前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成する手順と、
   前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成する手順と、
   前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用画像を生成する手順とを、コンピュータに実行させることを特徴とするプログラム。
8. 請求項７において、
   前記任意の形状の面は、曲面を含む面であることを特徴とするプログラム。
9. コンピュータ読み取り可能な情報記憶媒体であって、請求項７又は８に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
10. 被写体と、基準面におけるマークを、左目用視点位置及び右目用視点位置から撮影することで生成された立体視のための第１の左目用画像及び立体視のための第１の右目用画像を用いて、立体視用画像を生成するための画像生成システムであって、
    前記基準面におけるマークに対応する前記第１の左目用画像上のマークに基づき前記第１の左目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の左目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の左目用画像の変形処理を行って、第２の左目用画像を作成し、前記基準面におけるマークに対応する前記第１の右目用画像上のマークに基づき前記第１の右目用画像における三次元空間を推定し、推定した三次元空間に配置した任意の形状の面を複数の四角形で近似し、前記第１の右目用画像上の前記複数の四角形のそれぞれが長方形になるように、前記第１の右目用画像の変形処理を行って、第２の右目用画像を作成する画像生成部と、
    前記第２の左目用画像と前記第２の右目用画像に基づいて立体視用画像を生成する立体視用画像生成部とを、含むことを特徴とする画像生成システム。
11. 請求項１０において、
    前記任意の形状の面は、曲面を含む面であることを特徴とする画像生成システム。

Images