JP2004206672A

JP2004206672A - 画像処理システム、プログラム及び情報記憶媒体

Info

Publication number: JP2004206672A
Application number: JP2003142337A
Authority: JP
Inventors: Yasuo Oba; 康雄大場; Kentaro Yamaguchi; 兼太郎山口
Original assignee: Namco Ltd
Current assignee: Namco Ltd
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2004-07-22
Anticipated expiration: 2023-05-20
Also published as: JP3852934B2; US20050036673A1; US7295699B2

Abstract

【課題】画像の歪みの発生を最小限に抑えながら元画像の補正処理を実現できる画像処理システム、プログラム及び情報記憶媒体を提供すること。
【解決手段】元画像領域ＩＭＲを分割画像領域ＤＲ１〜ＤＲ４に分割し、分割点の座標により特定されるテクスチャ座標を求め、求められたテクスチャ座標に基づきポリゴンＰＬ１〜ＰＬ４に分割画像領域ＤＲ１〜ＤＲ４の画像をマッピングする。消失点ＶＰ１に近い分割画像領域ほど、元画像からＶＰ１に向かう方向ＤＩＲ１での分割間隔が狭くなるように、元画像領域ＩＭＲを分割してテクスチャ座標を求め、元画像のパースペクティブを無くす補正処理を実現する。左目用、右目用画像ＩＬ１、ＩＲ１の基準面での画像のパースペクティブを無くす補正処理を行って、左目用、右目用画像ＩＬ２、ＩＲ２を生成し、ＩＬ２、ＩＲ２を合成（アナグリフ処理）することで立体視用画像を生成する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理システム、プログラム及び情報記憶媒体に関する。
【０００２】
【従来技術】
従来より、左目に相当するカメラで撮った左目用の画像と、右目に相当するカメラで撮った右目用の画像とを用意し、これらの画像をアナグリフ（ａｎａｇｌｙｐｈ）処理などにより合成し、立体視用画像（立体視用印刷物）を得る技術が知られている。
【０００３】
【特許文献１】
特開２０００−５６４１１号公報
【０００４】
【発明が解決しようとする課題】
人間が物体の立体感を感じるのは、（１）左右の目が空間的に離れていることに起因して網膜の結像がずれる両目視差（視線角度のずれ）、（２）左右の目が内側に向く機能である輻輳（ふくそう）、（３）水晶体の厚さが物体までの距離に応答するピント調整（焦点距離）という３つの生理的機能に起因する。そして人間は、これらの３つの生理的機能である両目視差、輻輳、ピント調整を脳内で処理して立体感を感じている。
【０００５】
そして、これらの３つの生理的機能の関係は、通常、脳内において関連づけられている。従って、この関係に誤差や矛盾が生じると、脳が無理に立体と関連づけようとして、不自然さを感じたり、或いは立体として認知できなかったりする事態が生じる。
【０００６】
ところが、従来の立体視では、両目視差や輻輳だけを利用して、立体視を表現していた。このため、ピント（焦点距離）は、立体視用画像（立体視用印刷物）の面内においてほぼ一定なのに対し、両目視差や輻輳のずれは、立体視用画像のほとんどの場所において生じており、人間の脳に無理の無い立体視を実現できなかった。
【０００７】
また立体視用画像は、カメラで被写体を撮影することなどで得られるの左目用画像、右目用画像を合成することで得られる。従って、これらの左目用画像、右目用画像に歪みがあると、立体視用画像を見る観者が不自然さを感じたり、立体視が困難になるなどの事態が生じる。
【０００８】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、画像の歪みの発生を最小限に抑えながら元画像の補正処理を実現できる画像処理システム、プログラム及び情報記憶媒体を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、元画像の補正処理を行う画像処理システムであって、元画像の領域をメッシュ状の第１〜第Ｋの分割画像領域（Ｋは２以上の整数）に分割し、第１〜第Ｋの分割画像領域の分割点の座標により特定されるテクスチャ座標を求めるテクスチャ座標演算部と、求められたテクスチャ座標に基づいて、第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、第１〜第Ｋの分割画像領域の画像をマッピングするテクスチャマッピング部とを含み、前記テクスチャ座標演算部が、元画像のパースペクティブの消失点に近い分割画像領域ほど、元画像から消失点に向かう方向での分割間隔が狭くなるように、元画像の領域を第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求める画像処理システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【００１０】
本発明によれば、消失点（第１の消失点）に近い分割画像領域ほど、元画像（元画像の中心付近）から消失点に向かう方向での分割間隔（該方向に沿った線を分割する分割線の間隔）が狭くなるように、元画像の領域が第１〜第Ｋの分割画像領域に分割されて、テクスチャ座標が求められる。そして求められたテクスチャ座標に基づいて、第１〜第Ｋのポリゴンに対して第１〜第Ｋの分割画像領域の画像をマッピングすることで、元画像に補正処理を施した画像が生成される。これにより、元画像を補正する処理（元画像のパースペクティブを無くす補正処理等）を、画像の歪みの発生を最小限に抑えながら実現できるようになる。
【００１１】
なお元画像に第２の消失点が存在する場合には、この第２の消失点についても第１の消失点の場合と同様の処理を行うことができる。即ち、第２の消失点に近い分割画像領域ほど、元画像から第２の消失点に向かう方向での分割間隔が狭くなるように、元画像の領域を第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求めることができる。
【００１２】
また分割間隔は、消失点を基準とした座標系での分割点の座標値の逆数に応じて決めることができる。例えば消失点（第１、第２の消失点）を原点とするＸ、Ｙ座標系を想定し、この座標系での第Ｊ（Ｊは整数）の分割点の座標値の逆数と第Ｊ＋１の分割点の座標値の逆数の間の差と、第Ｊ＋１の分割点の座標値の逆数と第Ｊ＋２の分割点の座標値の逆数の間の差とが等しくなるように、分割間隔を決めることができる。
【００１３】
また本発明に係る画像処理システム、プログラム及び情報記憶媒体では、前記テクスチャ座標演算部が、元画像の領域に設定された第１〜第４の基準点を頂点とする四辺形の第４の辺の延長線と、第４の辺に対向する第２の辺の延長線との交点である第１の消失点の座標を求め、第１の消失点を原点とするＸ、Ｙ座標系での第１の基準点の座標と第４の基準点の座標を求め、第１の基準点の座標値の逆数と第４の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第１、第４の基準点を結ぶ第４の辺上での分割点の座標を求め、第１の消失点を原点とするＸ、Ｙ座標系での第２の基準点の座標と第３の基準点の座標を求め、第２の基準点の座標値の逆数と第３の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第２、第３の基準点を結ぶ第２の辺上での分割点の座標を求め、第４の辺上での分割点の座標と第２の辺上での分割点の座標に基づいて、これらの分割点を結ぶ辺上での分割点の座標を求めるようにしてもよい。
【００１４】
このようにすれば、消失点に近い分割画像領域ほど元画像から消失点に向かう方向での分割間隔が狭くなるようにする分割処理を、簡素な処理で実現できる。
【００１５】
また本発明に係る画像生成システム、プログラム及び情報記憶媒体では、前記テクスチャ座標演算部が、前記第１〜第４の基準点についての外挿処理を行って新たな第１〜第４の基準点の座標を求め、求められた新たな第１〜第４の基準点の座標に基づいて分割点の座標を求めるようにしてもよい。
【００１６】
このように、第１〜第４の基準点の外側に拡張した新たな第１〜第４の基準点の座標を求め、この新たな第１〜第４の基準点の座標に基づいて分割点の座標を求めるようにすれば、拡張前の第１〜第４の基準点で設定されるトリミング領域の外側に元画像がはみ出しているような場合にも、元画像の適正な補正処理画像を得ることができる。
【００１７】
また本発明に係る画像処理システム、プログラム及び情報記憶媒体では、立体視のための第１の左目用画像と第１の右目用画像を取り込む取り込み部と、立体視用画像を生成する立体視用画像生成部とを含み（これらの各部としてコンピュータを機能させる、或いはこれらの各部としてコンピュータを機能させるプログラムを記憶し）、前記テクスチャ座標演算部が、前記第１の左目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の左目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の左目用画像の領域を左目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、前記第１の右目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の右目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の右目用画像の領域を右目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、前記テクスチャマッピング部が、左目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、左目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の左目用画像を生成し、右目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、右目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の右目用画像を生成し、前記立体視用画像生成部が、前記第２の左目用画像と前記第２の右目用画像とに基づいて立体視用画像を生成するようにしてもよい。
【００１８】
本発明によれば、第１の左目用画像、第１の右目用画像のパースペクティブを無くすための補正処理（基準面でのパースペクティブを無くすための補正処理）を行うことで、第１の左目用画像から第２の左目用画像が生成され、第１の右目用画像から第２の右目用画像が生成される。そして生成された第２の左目用画像、第２の右目用画像に基づいて立体視用画像が生成される。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる立体視用画像を提供できる。
【００１９】
なお生成された立体視用画像により立体視用印刷物を作成（製造）する場合には、立体視時において立体視用印刷物を載置する面（机の面、水平面）を基準面として設定できる。また立体視用画像を表示部に表示する場合には、表示部の表示画面を基準面として設定できる。
【００２０】
また本発明に係る画像処理システム、プログラム及び情報記憶媒体では、基準面が、第１の基準面と、第１の基準面に対して所定の角度をなす第２の基準面を含み、第１の左目用画像の第１の基準面での画像のパースペクティブを無くすための第１の補正処理を、第１の左目用画像の第１の基準面に対応する領域に対して施すと共に、第１の左目用画像の第２の基準面での画像のパースペクティブを無くすための第２の補正処理を、第１の左目用画像の第２の基準面に対応する領域に対して施して、第２の左目用画像を生成し、第１の右目用画像の第１の基準面での画像のパースペクティブを無くすための第１の補正処理を、第１の右目用画像の第１の基準面に対応する領域に対して施すと共に、第１の右目用画像の第２の基準面での画像のパースペクティブを無くすための第２の補正処理を、第１の右目用画像の第２の基準面に対応する領域に対して施して、第２の右目用画像を生成するようにしてもよい。
【００２１】
このようにすることで、１つの基準面を設定しただけでは奥行き感等に不自然さが生じるような場合にも、これを解消できる。なお、３つ以上の基準面を設定してもよい。また複数の基準面（第１、第２の基準面）は連結させることができる。
【００２２】
また本発明に係る画像処理システム、プログラム及び情報記憶媒体では、第２の左目用画像と第２の右目用画像とをアナグリフ処理により合成することで、立体視用画像を生成するようにしてもよい。
【００２３】
但し本発明では、アナグリフ処理以外の手法で立体視用画像を生成してもよい。
【００２４】
【発明の実施の形態】
以下、本実施形態について図面を用いて説明する。
【００２５】
なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２６】
１．構成
図１に本実施形態の画像処理システム（画像生成システム、ゲームシステム）の機能ブロック図の例を示す。なお本実施形態の画像処理システムは、図１の構成要素（各部）を全て含む必要はなく、その一部（例えば音出力部１９２、印刷部１９４、通信部１９６等）を省略した構成としてもよい。
【００２７】
図１の画像処理システムは、左目用画像と右目用画像を合成して立体視用画像を生成したり、立体視用画像が印刷された立体視用印刷物を作成する立体視用画像作成システム（ＣＧ作成ツール、パーソナルコンピュータ、立体視用画像作成サーバー）として用いることができる。また図１の画像処理システムは、立体視用ゲーム画像（動画像）をリアルタイムに生成するゲームシステムとしても用いることができる。
【００２８】
操作部１６０は、オペレータ（プレーヤ）が操作データを入力するためのものであり、その機能は、マウス、キーボード、或いはゲームコントローラなどのハードウェアにより実現できる。
【００２９】
記憶部１７０は、処理部１００、印刷部１９４、通信部１９６などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。
【００３０】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。処理部１００は、この情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶（記録、格納）される。
【００３１】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。
【００３２】
音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。
【００３３】
印刷部１９４は、立体視用画像を印刷媒体（紙、レンズ、フィルム等）に印刷するものであり、その機能は、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）により実現できる。
【００３４】
通信部１９６は、外部（例えばホスト装置や他の画像生成システム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。
【００３５】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９６を介して記憶部１７０や情報記憶媒体１８０に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００３６】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、画像生成処理、音生成処理などの各種の処理を行う。この処理部１００は、記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）やＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。
【００３７】
なお図１の画像処理システムをゲームシステムに適用した場合には、処理部１００はゲーム画像を生成するためのゲーム処理も行う。この場合のゲーム処理としては、ゲーム開始条件（コースやマップやキャラクタや参加プレーヤ人数の選択等）が満たされた場合にゲームを開始させる処理、ゲームを進行させる処理、キャラクタやマップなどのオブジェクトを配置する処理、オブジェクトを表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。
【００３８】
処理部１００は、取り込み部１１０、補正部１１２、立体視用画像生成部１１８を含む。なおこれらの一部を省略してもよい。
【００３９】
取り込み部１１０は、立体視のための左目用画像ＩＬ１（第１の左目用画像）と右目用画像ＩＲ１（第１の右目用画像）を取り込む処理（読み出す処理、ダウンロードする処理）を行う。より具体的には、情報記憶媒体１８０（記憶部１７０）に記憶（セーブ）された左目用画像ＩＬ１、右目用画像ＩＲ１を読み出す処理を行う。或いは通信部１９６を介してインターネットなどのネットワークから、左目用画像ＩＬ１、右目用画像ＩＲ１をダウンロードする処理を行う。或いは、通信部１９６（ＵＳＢ、ＩＥＥＥ１３９４）を介して接続されるカメラやスキャナから、左目用画像ＩＬ１、右目用画像ＩＲ１を読み出す処理を行う。そして取り込んだ左目用画像ＩＬ１、右目用画像ＩＲ１は、補正処理前の元画像として使用される。
【００４０】
なお左目用画像ＩＬ１、右目用画像ＩＲ１は、立体視のための画像であり、両目視差がついた画像である。具体的には、左目用視点位置にカメラ（或いは仮想カメラ。他の説明でも同様）を配置し、このカメラの視線方向を被写体（オブジェクト、注視点）の方に向けて撮影することで、左目用画像ＩＬ１が作成（生成）される。また右目用視点位置にカメラを配置し、このカメラの視線方向を被写体（オブジェクト、注視点）の方に向けて撮影することで、右目用画像ＩＲ１が作成（生成）される。
【００４１】
なお左目用画像ＩＬ１、右目用画像ＩＲ１を、ゲーム画像としてリアルタイムに生成してもよい。この場合には処理部１００（画像生成部）が、オブジェクト空間内において左目用視点位置（左目用仮想カメラ）から見える画像である左目用画像ＩＬ１を生成する。またオブジェクト空間内において右目用視点位置（右目用仮想カメラ）から見える画像である右目用画像ＩＲ１を生成する。そして生成された左目用画像ＩＬ１、右目用画像ＩＲ１は記憶部１７０（描画バッファ１７２、テクスチャ記憶部１７４）に記憶される。
【００４２】
この場合に仮想カメラから見える画像は次のようにして生成できる。即ち、まず、座標変換、クリッピング処理、或いは透視変換等のジオメトリ処理を行い、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）を作成する。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７２（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラから見える画像が生成される。
【００４３】
補正部１１２は左目用画像ＩＬ１、右目用画像ＩＲ１（広義には元画像）を補正する処理を行う。より具体的には補正部１１２は、左目用画像ＩＬ１に対して、基準面（被写体やオブジェクトが配置される面）での画像のパースペクティブを無くすための補正処理を施して、左目用画像ＩＬ２（第２の左目用画像）を生成する。また右目用画像ＩＲ１に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、右目用画像ＩＲ２（第２の右目用画像）を生成する。この補正処理は、テクスチャ記憶部１７４に記憶された左目用画像ＩＬ１、右目用画像ＩＲ１（元画像）をテクスチャとするテクスチャマッピングを行うことで実現できる。
【００４４】
補正部１１２はテクスチャ座標演算部１１４を含む。このテクスチャ座標演算部１１４は、テクスチャ記憶部１７４からのテクスチャ（元画像）の読み出しアドレスであるテクスチャ座標を求める。より具体的には、元画像（或いは左目用画像ＩＬ１、右目用画像ＩＲ１。他の説明でも同様）の領域（トリミング領域）を、メッシュ状の第１〜第Ｋの分割画像領域（Ｋは２以上の整数）に分割する。即ちメッシュ状に分割された領域のメッシュ点（グリッド）である分割点の座標を求める。そして、第１〜第Ｋの分割画像領域（或いは左目用、右目用の第１〜第Ｋの分割画像領域。他の説明でも同様）の分割点（基準点を含む）の座標により特定されるテクスチャ座標（分割点に１対１に対応するポリゴンの頂点に付与するテクスチャ座標）を求める。そして、元画像が持つパースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅ）における消失点（ｖａｎｉｓｈｉｎｇｐｏｉｎｔ）に近い分割画像領域ほど、元画像から消失点に向かう方向（元画像の中心から消失点に向かう方向）での分割間隔（当該方向に交差する複数の分割線で分割した時の間隔）が狭くなるように、元画像の領域を第１〜第Ｋの分割画像領域に分割して、テクスチャ座標を求める。
【００４５】
なお消失点は、元画像のパースペクティブ（歪み）を表す２本の直線（第１、第４の基準点を通る直線と第２、第３の基準点を通る直線）が交わる点である。
【００４６】
補正部１１２はテクスチャマッピング部１１６を含む。このテクスチャマッピング部１１６は、テクスチャ記憶部１７４に記憶されたテクスチャ（元画像）をポリゴンにマッピングする処理を行う。より具体的にはテクスチャ座標演算部１１２で求められたテクスチャ座標（Ｕ、Ｖ）に基づいて、第１〜第Ｋのポリゴンに対して、第１〜第Ｋの分割画像領域の画像をマッピングする。即ち、第１〜第Ｋのポリゴン（１枚の長方形のポリゴンをＫ枚に分割したポリゴン）は、第１〜第Ｋの分割画像領域に１対１に対応して隣接して配置される。そしてテクスチャマッピング部１１６は、第１の分割画像領域の画像（テクスチャ）を第１のポリゴンにマッピングし、第Ｌ（Ｌは１≦Ｌ≦Ｋとなる整数）の分割画像領域の画像を第Ｌのポリゴンにマッピングし、第Ｋの分割画像領域の画像を第Ｋのポリゴンにマッピングする。
【００４７】
立体視用画像生成部１１８は、補正処理後の左目用画像ＩＬ２と右目用画像ＩＲ２に基づいて立体視用画像を生成する処理を行う。例えば、左目用画像ＩＬ２と右目用画像ＩＲ２をアナグリフ（ａｎａｇｌｙｐｈ）処理により合成して、立体視用画像を生成する。そして生成された立体視用画像は、記憶部１７０や情報記憶媒体１８０に書き込まれる（セーブされる）。或いは、生成された立体視用画像を通信部１９６、ネットワーク（インターネット）を介して外部のシステムに配信してもよい。或いは、生成された立体視用画像を表示部１９０に表示してもよい。この場合には、観者（オペレータ、プレーヤ）が、例えば赤の色フィルタと青の色フィルタが左目、右目に設けられた眼鏡をかけて、表示された立体視用画像を見ることで、立体視が実現される。或いは、立体視用画像生成部１１８が、左目用画像ＩＬ２と右目用画像ＩＲ２を異なるフレームで表示部１９０に出力してもよい。この場合には、観者が、フレームに同期して左右のシャッターが開閉するシャッター付き眼鏡をかけることで、立体視が実現される。
【００４８】
２．テクスチャマッピングを利用した補正処理
次に本実施形態の補正処理について図面を用いて詳細に説明する。
【００４９】
図２（Ａ）において元画像の領域ＩＭＲ（元画像のトリミング領域）には基準点ＲＰ１、ＲＰ２、ＲＰ３、ＲＰ４（第１〜第４の基準点）が設定されている。これらの基準点ＲＰ１〜ＲＰ４の設定は、例えば、カメラによる元画像（左目用画像ＩＬ１、右目用画像ＩＲ１）の撮影の際に、被写体の周縁部に４つのマーク（長方形の頂点の４つのマーク）をつけることで実現できる。
【００５０】
元画像領域ＩＭＲに設定された基準点ＲＰ１〜ＲＰ４は四辺形の頂点を構成する。消失点ＶＰ１（第１の消失点）は、この四辺形の辺ＳＤ４（第４の辺）の延長線と、辺ＳＤ４に対向する辺ＳＤ２（第２の辺）の延長線の交点である。即ち消失点ＶＰ１は、基準点ＲＰ１、ＲＰ４を通る直線と基準点ＲＰ２、ＲＰ３を通る直線の交点である。
【００５１】
本実施形態では図２（Ｂ）に示すように、元画像領域ＩＭＲを分割画像領域ＤＲ１〜ＤＲ４（広義には第１〜第Ｋの分割画像領域）に分割して、分割画像領域ＤＲ１〜ＤＲ４の分割点ＤＰＡ〜ＤＰＥ（ＲＰ１〜ＲＰ４）の座標を求め、求められた座標によりテクスチャ座標を特定する。そしてこのテクスチャ座標に基づいて、分割画像領域ＤＲ１〜ＤＲ４に対応して配置されたポリゴンＰＬ１〜ＰＬ４（広義には第１〜第Ｋのポリゴン）に対して、分割画像領域ＤＲ１〜ＤＲ４の画像をマッピングする。より具体的には、分割点ＤＰＡ〜ＤＰＥ、ＲＰ１〜ＲＰ４の座標により特定されたテクスチャ座標を、ポリゴンＰＬ１〜ＰＬ４の頂点ＶＸＡ〜ＶＸＥ、ＶＸ１〜ＶＸ４に付与し、付与されたテクスチャ座標に基づいて、テクスチャ座標記憶部１７４に記憶された元画像（左目用画像ＩＬ１、右目用画像ＩＲ１）を読み出し、ポリゴンＰＬ１〜ＰＬ４にマッピングする。
【００５２】
この場合に図２（Ｂ）に示すように本実施形態では、消失点ＶＰ１に近い分割画像領域ほど、元画像（ＩＲＭ）から消失点ＶＰ１に向かう方向ＤＩＲ１での分割間隔が狭くなるように、元画像領域ＩＭＲを分割画像領域ＤＲ１〜ＤＲ４に分割している。即ち図２（Ｂ）では、消失点ＶＰ１に近い分割画像領域ＤＲ１、ＤＲ２についての分割間隔ＤＳ１の方が、消失点ＶＰ１から遠い分割画像領域ＤＲ３、ＤＲ４についての分割間隔ＤＳ２よりも狭くなるように、ＤＲ１〜ＤＲ４を分割する。このようにすることで、元画像のパースペクティブを無くす補正処理において発生する画像の歪みを最小限に抑えることができる。
【００５３】
なお図２（Ｂ）では方向ＤＩＲ１（Ｙ方向）での分割数が２であり、ＤＩＲ１と直交する方向（Ｘ方向）での分割数が２となっているが、これらの分割数は３以上にすることができる。分割数を多くすればするほど、処理負荷は増すが、画像の歪みを減らすことができる。
【００５４】
図３に元画像の例を示す。図３の元画像は、方眼紙の直交する縦線、横線に沿って線を引き、この方眼紙（広義には被写体）を載置面（基準面）の上に置き、カメラで撮影することで得られた画像である。この元画像は、左目視点位置に設置したカメラにより撮影した画像になっている。
【００５５】
図４は、元画像に設定された基準点ＲＰ１〜ＲＰ４（長方形の方眼紙の頂点に相当）に基づいて、元画像領域を１０×１０（広義にはＮ×Ｍ）のメッシュ状の分割画像領域に分割した様子を示す図である。図４の黒丸印が分割点（基準点を含む。他の説明でも同様）に相当する。本実施形態ではこれらの分割点の座標（Ｘ、Ｙ）を求めることで、テクスチャ座標を得る。そして得られたテクスチャ座標に基づいて、各分割画像領域と１対１に対応する各分割ポリゴン（長方形ポリゴンを分割したＮ×Ｍ枚のポリゴン）に対して各分割画像領域の画像（テクスチャ）をマッピングする。
【００５６】
図５に、以上のようなテクスチャマッピングにより生成された画像を示す。図５に示すように本実施形態の手法によれば、図３で元画像が有していたパースペクティブが無くなっている（基準面である載置面におけるパースペクティブが無くなっている）。即ち本実施形態の手法によれば、元画像のパースペクティブを無くす補正処理を実現できる。
【００５７】
例えば第１の比較例として図６に示すように、元画像領域ＩＭＲの画像を１枚の長方形ポリゴンＰＬにマッピングする手法が考えられる。即ち基準点ＲＰ１〜ＲＰ４の座標により得られたテクスチャ座標を、ポリゴンＰＬの頂点ＶＸ１〜ＶＸ４に付与してテクスチャマッピングを行う。
【００５８】
しかしながらこの第１の比較例によると、生成された画像に大きな歪みが生じてしまう。即ち本来は直交すべき方眼紙の縦線、横線が直交しなくなってしまい、メッシュ状の方眼紙の画像を復元できない。
【００５９】
また第２の比較例として、図８に示すように、元画像領域ＩＭＲを等間隔で分割する手法が考えられる。即ち図２（Ｂ）の本実施形態では分割間隔ＤＳ１をＤＳ２よりも狭くしているが、この第２の比較例では分割間隔ＤＳ１とＤＳ２を等間隔にしており、奥行き方向の補正は考慮されていない。例えば図４の本実施形態では、分割点（黒印）の位置と方眼紙のグリッド（メッシュ点）の位置がほぼ一致しているが、図８の第２の比較例では、分割点の位置と方眼紙のグリッドの位置がずれている。
【００６０】
そして、この第２の比較例によると、図９に示すように、本来は等間隔であるべき方眼紙のグリッドが等間隔にならなくなる。例えば図９の上側ではグリッド間隔が狭くなり、下側ではグリッド間隔が広くなってしまう。従って、第２の比較例で生成された図９の画像を立体視のための左目用画像、右目用画像に使用すると、正しい立体視を実現できない。
【００６１】
これに対して本実施形態によれば、図５に示すように、方眼紙のグリッドがほぼ等間隔になり、被写体である方眼紙の画像をほぼ正確に復元できる。例えば図５の上側でのグリッド間隔と下側でのグリッド間隔が等しくなる。従って、本実施形態で生成された図９の画像を立体視のための左目用画像、右目用画像に使用すれば、第２の比較例に比べて精度の高い立体視を実現できる。なお精度を更に高めるためには分割数を更に増やせばよい。
【００６２】
以上のように本実施形態によれば、図３に示すパースペクティブのついた元画像から、図５に示すパースペクティブが無くなった画像を復元する補正処理を実現できる。しかもこの補正処理は、図２（Ｂ）に示すように元画像領域ＩＭＲを分割してテクスチャ座標を求め、求められたテクスチャ座標に基づくテクスチャマッピングを行うだけで実現できる。従って、例えばＣＧプログラム（ＯｐｅｎＧＬ等）のテクスチャマッピングの関数に、分割により得られたテクスチャ座標を引数として代入するだけで補正処理を実現できるため、処理を簡素化できる。また補正処理を専用のハードウェアを用いることなく実現できるため、汎用性の高い補正処理プログラムを提供できる。
【００６３】
３．補正処理の詳細例
次に本実施形態の補正処理の詳細例について、図１０〜図１２のフローチャートと、本実施形態の処理を概念的に表した図１３（Ａ）〜図１５（Ｂ）を用いて説明する。
【００６４】
まず図１３（Ａ）に示すように、基準点ＲＰ１〜ＲＰ４により構成される四辺形の辺ＳＤ４の延長線と辺ＳＤ２の延長線の交点である消失点ＶＰ１（第１の消失点）の座標を求める（ステップＳ２１）。
【００６５】
次に図１３（Ｂ）に示すように、消失点ＶＰ１を原点とするＸ、Ｙ座標系を想定し、この座標系での基準点ＲＰ１の座標（ＸＡ１、ＹＡ１）と基準点ＲＰ４の座標（ＸＡ４、ＹＡ４）を求める（ステップＳ２２）。これらの座標は、ＶＰ１、ＲＰ１間のＸ、Ｙ方向での距離と、ＶＰ１、ＲＰ４間のＸ、Ｙ方向での距離により求めることができる。
【００６６】
次に座標値ＸＡ１の逆数と座標値ＸＡ４の逆数と分割数ＮＨに基づいて、Ｘ方向での分割長ＬＸ４（逆数表現の分割長）を求める（ステップＳ２３）。
【００６７】
ＬＸ４＝（１／ＸＡ１−１／ＸＡ４）×（１／ＮＨ）（１）
また座標値ＹＡ１の逆数と座標値ＹＡ４の逆数と分割数ＮＨに基づいて、Ｙ方向での分割長ＬＹ４（逆数表現の分割長）を求める（ステップＳ２４）。
【００６８】
ＬＹ４＝（１／ＹＡ１−１／ＹＡ４）×（１／ＮＨ）（２）
次に図１３（Ｃ）に示すように、求められた分割長ＬＸ４、ＬＹ４に基づいて、基準点ＲＰ１の座標値ＸＡ１、ＹＡ１の逆数と、基準点ＲＰ４の座標値ＸＡ４、ＹＡ４の逆数との間を線形補間し、線形補間により得られた値の逆数を求め、求められた逆数に基づいて辺ＳＤ４上での分割点ＤＰＡの座標を求める（ステップＳ２５）。なおＬＸ４、ＬＹ４は逆数表現の分割長であり、図１３（Ｃ）のＲＰ１、ＤＰＡ間のＸ方向での実際の分割長、Ｙ方向での実際の分割長とは異なる。このため図１３（Ｃ）では（ＬＸ４）、（ＬＹ４）と記している。
【００６９】
例えばＸＡ１＝２．５、ＸＡ４＝４．０、分割数ＮＨ＝３の場合には、分割長ＬＸ４＝（１／２．５−１／４）×（１／３）＝０．０５となる。この場合には、１／ＸＡ１＝０．４と１／ＸＡ４＝０．２５との間を、分割長ＬＸ４＝０．０５で線形補間することで、値０．３５、０．３が得られる。そしてこれらの値０．３５、０．３の逆数を求めることで、１／０．３５＝２．８５・・・、１／０．３＝３．３３・・・が得られる。これらの得られた値２．８５・・・、３．３３・・・が、分割点ＤＰＡのＸ座標値になる。
【００７０】
次に図１４（Ａ）に示すように、消失点ＶＰ１を原点とするＸ、Ｙ座標系での基準点ＲＰ２の座標（ＸＢ２、ＹＢ２）と基準点ＲＰ３の座標（ＸＢ３、ＹＢ３）を求める（ステップＳ２６）。これらの座標は、ＶＰ１、ＲＰ２間のＸ、Ｙ方向での距離と、ＶＰ１、ＲＰ３間のＸ、Ｙ方向での距離により求めることができる。
【００７１】
次に座標値ＸＢ２の逆数と座標値ＸＢ３の逆数と分割数ＮＨに基づいて、Ｘ方向での分割長ＬＸ２を求める（ステップＳ２７）。
【００７２】
ＬＸ２＝（１／ＸＢ２−１／ＸＢ３）×（１／ＮＨ）（３）
また座標値ＹＢ２の逆数と座標値ＹＢ３の逆数と分割数ＮＨに基づいて、Ｙ方向での分割長ＬＹ２を求める（ステップＳ２８）。
【００７３】
ＬＹ２＝（１／ＹＢ２−１／ＹＢ３）×（１／ＮＨ）（４）
次に図１４（Ｂ）に示すように、求められた分割長ＬＸ２、ＬＹ２に基づいて、基準点ＲＰ２の座標値ＸＢ２、ＹＢ２の逆数と、基準点ＲＰ３の座標値ＸＢ３、ＹＢ３の逆数との間を線形補間し、線形補間により得られた値の逆数を求め、求められた逆数に基づいて辺ＳＤ２上での分割点ＤＰＢの座標を求める（ステップＳ２９）。なおＬＸ２、ＬＹ２は逆数表現の分割長であり、図１４（Ｂ）のＲＰ２、ＤＰＢ間のＸ方向での実際の分割長、Ｙ方向での実際の分割長とは異なる。このため図１４（Ｂ）では（ＬＸ２）、（ＬＹ２）と記している。
【００７４】
次に図１５（Ａ）に示すように、辺ＳＤ４の延長線と辺ＳＤ３の延長線との交点である消失点ＶＰ２（第２の消失点）の座標を求める（図１１のステップＳ３１）。
【００７５】
次に図１０のステップＳ２２〜Ｓ２９と同様の処理を行って、図１５（Ｂ）に示す辺ＳＤ１、辺ＳＤ３上の分割点ＤＰＣ、ＤＰＤの座標を求める（ステップＳ３２〜Ｓ３９）。なお消失点ＶＰ２が存在しない場合（辺ＳＤ１、ＳＤ３が平行の場合）には、基準点ＲＰ１、ＲＰ２間、基準点ＲＰ４、ＲＰ３間を単に線形補間することで、分割点ＤＰＣ、ＤＰＤの座標を求めればよい。
【００７６】
次に消失点ＶＰ２を原点とするＸ、Ｙ座標系での分割点ＤＰＡの座標（ＸＡ、ＹＡ）と分割点ＤＰＢの座標（ＸＢ、ＹＢ）を求める（ステップＳ４０）。
【００７７】
そして座標値ＸＢの逆数と座標値ＸＡの逆数と分割数ＮＶに基づいて、Ｘ方向での分割長ＬＸを求める（ステップＳ４１）。
【００７８】
ＬＸ＝（１／ＸＢ−１／ＸＡ）×（１／ＮＶ）（５）
また座標値ＹＢの逆数と座標値ＹＡの逆数と分割数ＮＶに基づいて、Ｙ方向での分割長ＬＹを求める（ステップＳ４２）。
【００７９】
ＬＹ＝（１／ＹＢ−１／ＹＡ）×（１／ＮＶ）（６）
次に求められた分割長ＬＸ、ＬＹに基づいて、分割点ＤＰＡの座標値ＸＡ、ＹＡの逆数と、分割点ＤＰＢの座標値ＸＢ、ＹＢの逆数との間を線形補間し、線形補間により得られた値の逆数を求め、求められた逆数に基づいて、図１５（Ｂ）に示すように、分割点ＤＰＡ、ＤＰＢ間を結ぶ辺上での分割点ＶＰＥの座標を求める（ステップＳ４３）。
【００８０】
次に、全ての分割点についての処理が終了したか否かを判断し（ステップＳ４４）、終了していなければステップＳ４０に戻り次の分割点の処理を行う。一方、終了していれば、求められた分割点の座標に基づいて、テクスチャ座標（Ｕ、Ｖ）を求める（ステップＳ４５）。即ち分割点の座標を、０≦Ｕ≦１、０≦Ｖ≦１を変域とするテクスチャ座標（Ｕ、Ｖ）に変換する。例えばＩ×Ｊピクセルの長方形の元画像の頂点ＰＸ１、ＰＸ２、ＰＸ３、ＰＸ４の座標が（０、Ｊ）、（Ｉ、Ｊ）、（Ｉ、０）、（０、０）であったとする。この場合には、これらの頂点ＰＸ１、ＰＸ２、ＰＸ３、ＰＸ４に設定されるテクスチャ座標（Ｕ，Ｖ）が、（０、１）、（１、１）、（１、０）、（０、０）に正規化されるように、分割点の座標をテクスチャ座標に変換する。
【００８１】
そして求められたテクスチャ座標（Ｕ、Ｖ）に基づいて、図２（Ｂ）で説明したような分割ポリゴンへのテクスチャマッピングを行う（ステップＳ４６）。これにより図５に示すような補正処理後の画像が生成される。そして生成された画像は記憶部１７０や情報記憶媒体１８０に書き込まれる（セーブされる）。
【００８２】
なお立体視のための左目用画像ＩＬ１、右目用画像ＩＲ１に対して補正処理を行う場合には、左目用画像ＩＬ１、右目用画像ＩＲ１の各々を元画像として、図１０〜図１２の処理を行う。そして生成された補正後の左目用画像ＩＬ２、右目用画像ＩＲ２に基づいて、立体視用画像を生成する。
【００８３】
４．基準点の拡張処理
図１３（Ａ）では、基準点ＲＰ１〜ＲＰ４で設定される四辺形の領域が元画像のトリミング領域になっている。そして本実施形態の補正処理は、このトリミング領域内の元画像に対して行われる。従って、トリミング領域の外側に元画像がはみ出しているような場合には、はみ出している部分の元画像がトリミングされて消失してしまうという問題がある。
【００８４】
そこでこのような場合に本実施形態では図７に示すように、基準点ＲＰ１〜ＲＰ４の外側に拡張された新たな基準点ＲＰ１’〜ＲＰ４’の座標を求める。そして新たな基準点ＲＰ１’〜ＲＰ４’の座標に基づいて分割点の座標を求め、分割点の座標に基づいてテクスチャ座標を求めてテクスチャマッピングを行い、補正処理を実現する。このようにすれば、拡張前の基準点ＲＰ１〜ＲＰ４で設定されるトリミング領域においては元画像が外側にはみ出してしまう場合にも、新たな基準点ＲＰ１’〜ＲＰ４’で設定されるトリミング領域では、この部分がはみ出さないようになるため、適正な補正処理を実現できる。
【００８５】
この場合の新たな基準点ＲＰ１’〜ＲＰ４’の座標を求める処理は、拡張前の基準点ＲＰ１〜ＲＰ４についての外挿処理を行うことで実現できる。具体的には、図７の基準点ＲＰ１について、前述した分割長（逆数表現の分割長）に基づいて外挿処理を行うことで、外挿点ＲＰ１１及びＲＰ１２の座標を求める。同様に、基準点ＲＰ２、ＲＰ３、ＲＰ４についても分割長に基づいて外挿処理を行うことで、外挿点ＲＰ２１、ＲＰ２２、ＲＰ３１、ＲＰ３２、ＲＰ４１、ＲＰ４２の座標を求める。そしてこれらの求められた外挿点ＲＰ１１とＲＰ４２を通る第１の直線と、ＲＰ１２とＲＰ２１を通る第２の直線と、ＲＰ２２とＲＰ３１を通る第３の直線と、ＲＰ３２とＲＰ４１を通る第４の直線の交点を求めることで、新たな基準点ＲＰ１’〜ＲＰ４’が得られる。そして得られた基準点ＲＰ１’〜ＲＰ４’の座標に基づいて図１０〜図１５（Ｂ）で説明した処理を行えば、元画像の適正な補正処理画像を得ることができる。
【００８６】
５．立体視方式
次に本実施形態の立体視方式について説明する。図１６に本実施形態の立体視方式のフローチャートを示す。
【００８７】
まず、立体視のための第１の左目用画像ＩＬ１と第１の右目用画像ＩＲ１を作成（生成）する（ステップＳ１、Ｓ２）。具体的には、左目用視点位置ＶＰＬから見える左目用画像ＩＬ１と、右目用視点位置ＶＰＲから見える右目用画像ＩＲ１を作成（生成）する。
【００８８】
ここで左目用、右目用視点位置ＶＰＬ、ＶＰＲは、図１７に示すように、観者（ｖｉｅｗｅｒ）の左目、右目の位置として想定される位置である。例えば、カメラ（デジタルカメラ）による実写により左目用、右目用画像ＩＬ１、ＩＲ１を作成する場合には、これらのＶＰＬ、ＶＰＲの位置にカメラを配置して、左目用、右目用画像ＩＬ１、ＩＲ１を撮影する。この場合、２台のカメラをＶＰＬ、ＶＰＲに配置して同時に撮影してもよいし、１台のカメラの位置を変えて撮影してもよい。
【００８９】
一方、ＣＧ（コンピュータグラフィックス）画像やゲーム画像（リアルタイム動画像）を生成するシステムにより左目用、右目用画像ＩＬ１、ＩＲ１を生成する場合には、これらのＶＰＬ、ＶＰＲの位置に仮想カメラを配置して左目用、右目用画像ＩＬ１、ＩＲ１を生成する。即ち、オブジェクト空間においてＶＰＬ、ＶＰＲから見える画像を生成する。
【００９０】
図１８、図１９に左目用画像ＩＬ１、右目用画像ＩＲ１の一例を示す。これらは、カメラ（デジタルカメラ）による実写によりＩＬ１、ＩＲ１を作成した場合の例である。基準面（物体が置かれる載置面）の上には、ミカン、箱、ボールペン、ステープラーなどの種々の物体（狭義には被写体又はオブジェクト。他の説明でも同様）が配置されている。そして左目用画像ＩＬ１は、左目用視点位置ＶＰＬにカメラを配置して、物体（注視点、物体の代表点）の方にカメラの視線（方向）を向けて撮影したものである。また右目用画像ＩＲ１は、右目用視点位置ＶＰＲにカメラを配置して、物体の方にカメラの視線を向けて撮影したものである。そして図１８、図１９に示すように、これらの左目用、右目用画像ＩＬ１、ＩＲ１では視線角度（見え方）がずれており、この視線角度のずれによる両目視差を利用して立体視が実現される。
【００９１】
なおＣＧやゲームの場合には、オブジェクト空間内に設定された基準面の上に、オブジェクト（ミカン、箱、ボールペン、ステープラー等をモデル化したオブジェクト）を配置し、ＶＰＬ、ＶＰＲに仮想カメラを配置する。そして、仮想カメラの視線（方向）をオブジェクト（注視点、オブジェクトの代表点）の方に向けて、仮想カメラから見える画像を生成することで、図１８、図１９と同様な画像を生成できる。
【００９２】
次に図１６のステップＳ３に示すように、基準面ＢＳでの画像のパースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅ）を無くすための補正処理を、ステップＳ１で得られた第１の左目用画像ＩＬ１に施し、第２の左目用画像ＩＬ２を作成（生成）する。またステップＳ４に示すように、基準面ＢＳでの画像のパースペクティブ（遠近感）を無くすための補正処理を、ステップＳ２で得られた第１の右目用画像ＩＲ１に施し、第２の右目用画像ＩＲ２を作成（生成）する。この補正処理は、図２（Ａ）〜図５や図１０〜図１５（Ｂ）等で説明した処理により実現される。
【００９３】
図２０、図２１に、補正処理により得られた左目用画像ＩＬ２、右目用画像ＩＲ２の一例を示す。例えば図１８、図１９では、基準面ＢＳに描かれている長方形ＲＴＧ（正方形も含む広義の意味の長方形。以下の説明でも同様）にパースペクティブがついている。これに対して図２０、図２１では、長方形ＲＴＧのパースペクティブが無くなっている。
【００９４】
ここで、本実施形態におけるパースペクティブを無くす補正処理とは、図２３（Ａ）に示すように、基準面ＢＳ自体の画像や、基準面に描かれている画像ＩＭ１や、物体ＯＢ（オブジェクト）の画像のうち基準面ＢＳに接する部分の画像のパースペクティブ（奥行き感）を無くす処理である。即ち図２３（Ａ）のＢ１では、視点から奥側に行くほど、頂点間の距離が狭まるが、図２３（Ａ）のＢ２では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面ＢＳの画像については、あたかも真上から見たような画像が作成（生成）されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。
【００９５】
なお図１８、図１９の左目用画像ＩＬ１、右目用画像ＩＲ１（元画像）では、ＭＫ１〜ＭＫ４（基準点）で設定されるトリミング領域の外側に画像がはみ出している。しかしこのような場合にも図７で説明した基準点の拡張処理を行うことで、図２０、図２１に示すように、トリミング領域をはみ出した部分も消失しないようになり、このはみ出した部分に対しても補正処理を施すことが可能になる。
【００９６】
次に図１６のステップＳ５に示すように、第２の左目用画像ＩＬ２と第２の右目用画像ＩＲ２に基づき、立体視用画像（画像データ）を作成（生成）する。より具体的には、ＩＬ２とＩＲ２とに基づきアナグリフ処理などを行って立体視用画像を作成（生成）する。
【００９７】
そして、この立体視用画像（実写画像又はＣＧ画像）を、インクジェット方式やレーザプリンタ方式などのカラープリンタ（広義には印刷機）を用いて、印刷媒体に印刷することで、立体視用印刷物を製造できる。なお、カラープリンタ（印刷機）により印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。
【００９８】
また立体視用画像を画像処理システムの表示部に表示すれば、ゲーム画像（動画像）のリアルタイム生成が可能になる。なお、この場合に、アナグリフ処理等により得られた立体視用画像を直接に表示部に表示し、これを色フィルタ（赤、青）が設けられた眼鏡（広義には器具）を用いて見るようにしてもよい。或いは、左目用、右目用画像ＩＬ２、ＩＲ２を異なるフレームで例えば交互に表示部に表示し、これを液晶シャッタ等が設けられた眼鏡を用いて見るようにしてもよい。
【００９９】
図２２に、図２０、図２１の左目用、右目用画像ＩＬ２、ＩＲ２に基づきアナグリフ処理を行うことで得られた立体視用画像の一例を示す。
【０１００】
この図２２の立体視用画像では、左目用画像ＩＬ２（ＩＬ）と右目用画像ＩＲ２（ＩＲ）とが合成されている。そして左目用画像ＩＬ２と右目用画像ＩＲ２は、各々、基準面ＢＳに配置された物体ＯＢの画像を含む。また基準面ＢＳの画像も含む。
【０１０１】
そして図２４のＡ１に示すように、左目用画像ＩＬ２の物体画像と右目用画像ＩＲ２の物体画像は、基準面ＢＳの位置において一致している（但し必ずしも完全に一致している必要はない）。即ち、左目用画像ＩＬ２の物体画像の印刷位置（表示位置）と右目用画像の物体画像ＩＲ２の印刷位置（表示位置）が、基準面ＢＳにおいて一致している。
【０１０２】
一方、図２４のＡ２に示すように、基準面ＢＳから離れるほど左目用画像ＩＬ２の物体画像と、右目用画像ＩＲ２の物体画像のずれが大きくなっている。より具体的には、物体ＯＢの部分のうち基準面ＢＳから上方に位置する部分の画像ほど、左目用画像ＩＬ２での印刷位置（表示位置）と、右目用画像ＩＲ２での印刷位置（表示位置）とがずれている。
【０１０３】
この図２２、図２４の立体視用画像をプリント媒体に印刷することで立体視用印刷物を製造できる。そして、その立体視用印刷物を、例えば左目に赤色フィルタが設けられ右目に青色フィルタが設けられた眼鏡で見ることで、立体視を実現できる。また図２２、図２４の立体視用画像を表示部に表示することで、立体視用のゲーム画像を生成できる。
【０１０４】
さて、これまでの立体視では図２３（Ｂ）に示すように、立体視用印刷物ＰＭ（或いは表示部の表示画面。他の説明でも同様）を、その面が鉛直面に対して平行になるように配置し、観者が、立体視用印刷物ＰＭを正対して見ることが想定されていた。このため、例えば図１８、図１９のような左目用、右目用画像ＩＬ１、ＩＲ１に対してそのままアナグリフ処理を施して、立体視用印刷物ＰＭを作成していた。そして、図１８、図１９の画像ではパースペクティブが残っているため、図２３（Ｂ）のように立体視用印刷物ＰＭを正対して見た場合に、遠近感に関する限りは、正しい画像になる。
【０１０５】
しかしながら図２３（Ｂ）のように観者が立体視用印刷物ＰＭを正対して見た場合に、ピント（焦点距離）については、ＰＭの全面において同一になってしまう。従って、人間の脳内において、ピント調整と、両目視差、輻輳との関係に矛盾や誤差が生じてしまう。従って、脳が無理に立体と関連づけようとして、不自然さを感じたり、立体として認知できなくなってしまう。また、従来の方式で作成された立体視用印刷物ＰＭを、水平面に平行になるように机に配置して見てしまうと、奥行き感に矛盾が生じ、不自然な立体視になってしまう。即ち図１８、図１９の長方形ＲＴＧは、高さが零の平面であり、この長方形ＲＴＧが立体に見えてはいけないからである。
【０１０６】
そこで本実施形態では、図２３（Ｃ）に示すように、立体視用印刷物ＰＭ（表示画面）を、観者が机（水平面に平行な基準面ＢＳ）の上に配置して見ることを想定するようにしている。即ち、このような配置が本方式のデフォルトの配置となる。そして、このように水平面に平行に立体視用印刷物ＰＭを配置した場合に、図１８、図１９の画像をそのままアナグリフ処理して立体視用印刷物ＰＭを作成すると、遠近感に矛盾が生じる。
【０１０７】
そこで本実施形態では図２０、図２１、図２３（Ａ）で説明したように、基準面の画像のパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の図２０、図２１の画像に基づいて、アナグリフ処理を行い、立体視用印刷物ＰＭを作成し、作成された立体視用印刷物ＰＭを図２３（Ｃ）のように水平面に平行に配置すれば、基準面の画像（長方形ＲＴＧ）には適正なパースペクティブがつくようになる。また、図２３（Ｃ）のように配置すれば、立体視用印刷物ＰＭの面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両目視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。
【０１０８】
なお、本実施形態の立体視方式では、物体の高さが高い場合に奥行き感等にずれが生じる可能性がある。このような場合には例えば図２５に示すように、２つの基準面ＢＳ１、ＢＳ２（広義には複数の基準面）を設ければよい。
【０１０９】
ここで基準面ＢＳ１は例えば水平面に平行な面である。一方、基準面ＢＳ２は、基準面ＢＳ１と所定の角度（例えば直角）をなす面である。そして、基準面ＢＳ１、ＢＳ２は境界ＢＤにおいて連結されている。
【０１１０】
物体ＯＢ（オブジェクト）は、基準面ＢＳ１の上方で且つ基準面ＢＳ２の手前側（ＶＰＬ、ＶＰＲ側）に配置する。そして図１６の代わりに図２６に示す処理を行う。
【０１１１】
図２６のステップＳ１１、Ｓ１２は、図１６のステップＳ１、Ｓ２と同様である。そしてステップＳ１３では、基準面ＢＳ１でのパースペクティブを無くすための補正処理を、左目用画像ＩＬ１の基準面ＢＳ１に対応する領域（ＩＬ１のうち境界ＢＤを基準にしてＢＳ１側の第１の領域）に対して施す。また、基準面ＢＳ２でのパースペクティブを無くすための補正処理を、ＩＬ１の基準面ＢＳ２に対応する領域（ＩＬ１のうち境界ＢＤを基準にしてＢＳ２側の第２の領域）に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である左目用画像Ｉｌ２を作成（生成）する。
【０１１２】
またステップＳ１４では、基準面ＢＳ１でのパースペクティブを無くすための補正処理を、右目用画像ＩＲ１の基準面ＢＳ１に対応する領域（ＩＲ１のうち境界ＢＤを基準にしてＢＳ１側の第１の領域）に対して施す。また、基準面ＢＳ２でのパースペクティブを無くすための補正処理を、ＩＲ１の基準面ＢＳ２に対応する領域（ＩＲ１のうち境界ＢＤを基準にしてＢＳ２側の第２の領域）に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である右目用画像ＩＲ２を作成（生成）する。
【０１１３】
そして最後にステップＳ１５のように、ＩＬ２、ＩＲ２に基づき、例えばアナグリフ処理等を行って、立体視用画像を作成（生成）する。そして、得られた立体視用画像を印刷媒体に印刷して立体視用印刷物を製造したり、立体視用画像を表示部に表示することでリアルタイム動画像であるゲーム画像を生成する。
【０１１４】
このようにすることで図２７に示すように、ＯＢが、基準面ＢＳ１からの高さが高い物体である場合にも、より自然で、実在感のある立体視を実現できる。即ち、物体ＯＢの足下付近の領域（境界ＢＳの下側の第１の領域）では、基準面ＢＳ１を利用した立体視の処理により、奥行き感やピント調整に無理の無い立体視を実現できる。一方、それ以外の領域（境界ＢＳの上側の第２の領域）では、基準面ＢＳ２を利用した立体視の処理により、奥行き感に無理の無い立体視を実現できる。
【０１１５】
なお、基準面は２つに限定されず、３つ以上の基準面（連結された複数の基準面）を用いてもよい。
【０１１６】
６．アナグリフ処理
次に図１６のステップＳ５、図２６のステップＳ１５で行われるアナグリフ処理について簡単に説明する。
【０１１７】
アナグリフ処理では、１枚の印刷媒体に、左目用画像と右目用画像を色を変えて印刷して、立体視用印刷物を作成する。そしてこの立体視用印刷物を、左右の目で異なる色フィルタ（例えば左目が赤、右目が青）を介して見る。この時に、左目では左目用画像だけが見え、右目では右目用画像だけが見えるようになり、立体視が実現される。
【０１１８】
例えばモノクロのアナグリフ処理では、左目用画像（ＩＬ２、ＩＬ）をグレースケールに変換する。そして変換後の画像データをアナグリフ画像（ＲＧＢ）のＲチャンネルにコピーする。次に、右目用画像（ＩＲ２、ＩＲ）をグレースケールに変換する。そして変換後の画像データを、アナグリフ画像（ＲＧＢ）のＧチャンネルとＢチャンネルにコピーする。これにより、モノクロのアナグリフ画像が作成される。なお、右目用画像をＢチャンネルだけにコピーするようにしてもよい。
【０１１９】
またカラーのアナグリフ処理では、左目用画像（ＩＬ２、ＩＬ）のＲチャンネルを、アナグリフ画像（ＲＧＢ）のＲチャンネルにコピーする。また右目用画像（ＩＲ２、ＩＲ）のＧチャンネルを、アナグリフ画像（ＲＧＢ）のＧチャンネルにコピーする。また右目用画像のＢチャンネルをアナグリフ画像（ＲＧＢ）のＢチャンネルにコピーする。これにより、カラー（疑似カラー）のアナグリフ画像を作成できる。
【０１２０】
なお、立体視の実現手法（図１６のステップＳ５、図２６のステップＳ１５）は、少なくとも、左目用画像（ＩＬ２、ＩＬ）と右目用画像（ＩＲ２、ＩＲ）を用いて実現されるものであればよく、アナグリフ処理に限定されない。
【０１２１】
例えばレンチキュラーレンズと呼ばれる特殊なレンズを使って、左目には左目用画像の像だけが入り、右目には右目用画像の像だけが入るようにして、立体視を実現していもよい。
【０１２２】
また左目用画像、右目用画像の前に偏光板を配置し、左目用画像の前に置かれた偏光板と右目用画像の前に置かれた偏光板とで、偏向方向を異ならせておく。そして、それに応じた偏向方向を持つ偏光板をレンズ部分に取り付けた眼鏡を観者がかけることで、立体視を実現してもよい。
【０１２３】
また左目用画像と右目用画像を、例えばフレームを異ならせて交互に表示する。そして左目用画像の表示に同期して開く左目用のシャッター（例えば液晶シャッター）と、右目用画像の表示に同期して開く右目用のシャッターが設けられた眼鏡を観者がかけることで、立体視を実現してもよい。
【０１２４】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【０１２５】
例えば、明細書又は図面中の記載において広義や同義の用語（第１〜第Ｋの分割画像領域、第１〜第Ｋのポリゴン等）として引用された用語（分割画像領域ＤＲ１〜ＤＲ４、ポリゴンＰＬ１〜ＰＬ４等）は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【０１２６】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【０１２７】
また、左目用画像、右目用画像、立体視用画像の生成手法も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【０１２８】
また本発明の手法で生成された立体視用画像を、立体視用印刷物やゲーム画像以外の用途に用いることも可能である。
【０１２９】
また本発明の補正処理で生成される画像を、立体視用画像の生成以外の用途に用いることも可能である。
【図面の簡単な説明】
【図１】本実施形態の画像処理システムの機能ブロック図の例である。
【図２】図２（Ａ）（Ｂ）は本実施形態の補正処理手法の説明図である。
【図３】元画像の例である。
【図４】元画像領域を分割画像領域に分割した様子を示す図である。
【図５】本実施形態の補正処理による生成画像の例である。
【図６】第１の比較例の説明図である。
【図７】基準点の拡張処理の説明図である。
【図８】第２の比較例の説明図である。
【図９】第２の比較例により生成された画像の例である。
【図１０】本実施形態の補正処理のフローチャートである。
【図１１】本実施形態の補正処理のフローチャートである。
【図１２】本実施形態の補正処理のフローチャートである。
【図１３】図１３（Ａ）（Ｂ）（Ｃ）は本実施形態の補正処理の概念図である。
【図１４】図１４（Ａ）（Ｂ）は本実施形態の補正処理の説明図である。
【図１５】図１５（Ａ）（Ｂ）は本実施形態の補正処理の説明図である。
【図１６】本実施形態の立体視方式のフローチャートである。
【図１７】本実施形態の立体式方式の説明図である。
【図１８】左目用画像ＩＬ１の一例である。
【図１９】右目用画像ＩＲ１の一例である。
【図２０】左目用画像ＩＬ２の一例である。
【図２１】右目用画像ＩＲ２の一例である。
【図２２】立体視用画像（アナグリフ画像）の一例である。
【図２３】図２３（Ａ）（Ｂ）（Ｃ）はパースペクティブを無くす補正処理の説明図である。
【図２４】本実施形態により得られた立体視用画像の特徴の説明図である。
【図２５】複数の基準面を設ける手法の説明図である。
【図２６】複数の基準面を設ける手法のフローチャートである。
【図２７】複数の基準面を設ける手法の説明図である。
【符号の説明】
ＲＰ１〜ＲＰ４第１〜第４の基準点、ＳＤ１〜ＳＤ４第１〜第４の辺、
ＶＰ１第１の消失点、ＶＰ２第２の消失点、ＩＭＲ元画像の領域、
ＤＲ１〜ＤＲ４第１〜第４の分割画像領域、ＤＲＡ〜ＤＲＥ分割点、
ＰＬ１〜ＰＬ４第１〜第４のポリゴン、
ＶＸ１〜ＶＸ４、ＶＸＡ〜ＶＸＥ頂点、
ＶＰＬ左目用視点位置、ＶＰＲ右目用視点位置、
ＯＢ物体（オブジェクト、被写体）、
ＢＳ（ＢＳ１、ＢＳ２）基準面、ＲＴＧ長方形、
ＩＬ１第１の左目用画像、ＩＲ１第１の右目用画像、
ＩＬ２第２の左目用画像、ＩＲ２第２の右目用画像、
１００処理部、１１０取り込み部、１１２補正部、
１１４、テクスチャ座標演算部、１１６テクスチャマッピング部、
１１８立体視用画像生成部、１６０操作部、
１７０記憶部、１７２描画バッファ、１７４テクスチャマッピング部、
１８０情報記憶媒体、１９０表示部、
１９２音出力部、１９４印刷部、１９６通信部

Claims

元画像の補正処理を行う画像処理システムであって、
元画像の領域をメッシュ状の第１〜第Ｋの分割画像領域（Ｋは２以上の整数）に分割して、第１〜第Ｋの分割画像領域の分割点の座標により特定されるテクスチャ座標を求めるテクスチャ座標演算部と、
求められたテクスチャ座標に基づいて、第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、第１〜第Ｋの分割画像領域の画像をマッピングするテクスチャマッピング部とを含み、
前記テクスチャ座標演算部が、
元画像のパースペクティブの消失点に近い分割画像領域ほど、元画像から消失点に向かう方向での分割間隔が狭くなるように、元画像の領域を第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求めることを特徴とする画像処理システム。
請求項１において、
前記テクスチャ座標演算部が、
元画像の領域に設定された第１〜第４の基準点を頂点とする四辺形の第４の辺の延長線と、第４の辺に対向する第２の辺の延長線との交点である第１の消失点の座標を求め、
第１の消失点を原点とするＸ、Ｙ座標系での第１の基準点の座標と第４の基準点の座標を求め、
第１の基準点の座標値の逆数と第４の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第１、第４の基準点を結ぶ第４の辺上での分割点の座標を求め、
第１の消失点を原点とするＸ、Ｙ座標系での第２の基準点の座標と第３の基準点の座標を求め、
第２の基準点の座標値の逆数と第３の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第２、第３の基準点を結ぶ第２の辺上での分割点の座標を求め、
第４の辺上での分割点の座標と第２の辺上での分割点の座標に基づいて、これらの分割点を結ぶ辺上での分割点の座標を求めることを特徴とする画像処理システム。
請求項２において、
前記テクスチャ座標演算部が、
前記第１〜第４の基準点についての外挿処理を行って新たな第１〜第４の基準点の座標を求め、求められた新たな第１〜第４の基準点の座標に基づいて分割点の座標を求めることを特徴とする画像処理システム。
請求項１乃至３のいずれかにおいて、
立体視のための第１の左目用画像と第１の右目用画像を取り込む取り込み部と、
立体視用画像を生成する立体視用画像生成部とを含み、
前記テクスチャ座標演算部が、
前記第１の左目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の左目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の左目用画像の領域を左目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、
前記第１の右目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の右目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の右目用画像の領域を右目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、
前記テクスチャマッピング部が、
左目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、左目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の左目用画像を生成し、
右目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、右目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の右目用画像を生成し、
前記立体視用画像生成部が、
前記第２の左目用画像と前記第２の右目用画像とに基づいて立体視用画像を生成することを特徴とする画像処理システム。
請求項４において、
第２の左目用画像と第２の右目用画像とをアナグリフ処理により合成することで、立体視用画像を生成することを特徴とする画像処理システム。
画像処理のためのプログラムであって、
元画像の領域をメッシュ状の第１〜第Ｋの分割画像領域（Ｋは２以上の整数）に分割して、第１〜第Ｋの分割画像領域の分割点の座標により特定されるテクスチャ座標を求めるテクスチャ座標演算部と、
求められたテクスチャ座標に基づいて、第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、第１〜第Ｋの分割画像領域の画像をマッピングするテクスチャマッピング部として、
コンピュータを機能させ、
前記テクスチャ座標演算部が、
元画像のパースペクティブの消失点に近い分割画像領域ほど、元画像から消失点に向かう方向での分割間隔が狭くなるように、元画像の領域を第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求めることを特徴とするプログラム。
請求項６において、
前記テクスチャ座標演算部が、
元画像の領域に設定された第１〜第４の基準点を頂点とする四辺形の第４の辺の延長線と、第４の辺に対向する第２の辺の延長線との交点である第１の消失点の座標を求め、
第１の消失点を原点とするＸ、Ｙ座標系での第１の基準点の座標と第４の基準点の座標を求め、
第１の基準点の座標値の逆数と第４の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第１、第４の基準点を結ぶ第４の辺上での分割点の座標を求め、
第１の消失点を原点とするＸ、Ｙ座標系での第２の基準点の座標と第３の基準点の座標を求め、
第２の基準点の座標値の逆数と第３の基準点の座標値の逆数との間を線形補間し、線形補間により得られた値の逆数に基づいて、第２、第３の基準点を結ぶ第２の辺上での分割点の座標を求め、
第４の辺上での分割点の座標と第２の辺上での分割点の座標に基づいて、これらの分割点を結ぶ辺上での分割点の座標を求めることを特徴とするプログラム。
請求項７において、
前記テクスチャ座標演算部が、
前記第１〜第４の基準点についての外挿処理を行って新たな第１〜第４の基準点の座標を求め、求められた新たな第１〜第４の基準点の座標に基づいて分割点の座標を求めることを特徴とするプログラム。
請求項６乃至８のいずれかにおいて、
立体視のための第１の左目用画像と第１の右目用画像を取り込む取り込み部と、
立体視用画像を生成する立体視用画像生成部として、
コンピュータを機能させ、
前記テクスチャ座標演算部が、
前記第１の左目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の左目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の左目用画像の領域を左目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、
前記第１の右目用画像のパースペクティブの消失点に近い分割画像領域ほど、第１の右目用画像から消失点に向かう方向での分割間隔が狭くなるように、第１の右目用画像の領域を右目用の第１〜第Ｋの分割画像領域に分割してテクスチャ座標を求め、
前記テクスチャマッピング部が、
左目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、左目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の左目用画像を生成し、
右目用の第１〜第Ｋの分割画像領域に１対１に対応してメッシュ状に配置された第１〜第Ｋのポリゴンに対して、右目用の第１〜第Ｋの分割画像領域の画像をマッピングして、パースペクティブを無くす補正処理が施された第２の右目用画像を生成し、
前記立体視用画像生成部が、
前記第２の左目用画像と前記第２の右目用画像とに基づいて立体視用画像を生成することを特徴とするプログラム。
請求項９において、
第２の左目用画像と第２の右目用画像とをアナグリフ処理により合成することで、立体視用画像を生成することを特徴とするプログラム。
コンピュータ読み取り可能な情報記憶媒体であって、請求項６乃至１０のいずれかのプログラムを記憶したことを特徴とする情報記憶媒体。