【０００１】
【発明の属する技術分野】
本発明は、擬似３Ｄ画像作製装置及びプロジェクタ装置に関し、特に、凹凸部、曲面部等の自由形状からなる投映面に画像を投映する際に、投映面に投映する１つの投映画像に対して３Ｄ変換を行なう３Ｄ変換領域を任意数指定可能とし、３Ｄ変換領域の３Ｄ変換後の画像と非３Ｄ変換領域の画像とを画像合成して投映画像を得る擬似３Ｄ画像作製装置及びプロジェクタ装置に関する。
【０００２】
【従来の技術】
原画像を加工して投映する従来技術の一つとして、原画像を任意に補正し加工可能とする装置が本出願人により提案されている。該装置によれば、１つの投映画像について、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段と、前記投映画像に対して歪補正を施す歪補正手段とを有し、前記歪補正手段が、前記形状データを参照して、前記投映画像のうち前記歪補正領域の画像に対して歪補正を施し、前記投映画像のうち前記歪補正領域指定手段により指定されていない非歪補正領域の画像と画像合成するものであり、もって、如何なる形状からなる投映面であっても、投映面の形状に応じて指定された任意の画像領域の画像に対して歪補正を行なうことができる。更には、同時に複数の画像領域を歪補正領域として指定することが可能とされているし、また、歪補正を行なう画像領域と行なわない画像領域との接合部分に対してシェーピング処理を行なうことにより、両者の領域の画像を合成しても自然さを保った滑らかな画像を得ることも可能とされている。
【０００３】
また、擬似的な立体画像を投映することができる従来の技術として、特許文献１に示す実開平７−４１５４７号公報「立体画像投影装置」や、特許文献２に示す特開平９−３１１３８１号公報「ドーム型環境模擬方法及び装置」なども提案されている。
ここで、特許文献１においては、光源を具備し、画像を拡大投影することができるプロジェクタによりスクリーンに画像を投影する投影装置として、スクリーンの形状として投影する画像の内容に対応した曲面を予め付加することにより、スクリーン曲面の形状によって投影した画像に適した立体的な画像を表示させるという技術が提案されている。
【０００４】
一方、特許文献２においては、撮像機により環境画像を予め作成して、模擬環境体験者の視点を表側が例えば凹である曲面形状のドーム型スクリーンの表側に対向させ、そのドーム型スクリーンの裏側から、前記撮像機により作成された前記環境画像をリア・プロジェクタによって投映することにより、模擬環境体験者にドーム型スクリーンの曲面に応じた立体的な環境画像を観察させようという技術が提案されている。
【０００５】
しかしながら、特許文献１においては、投映する画像に対応してそれぞれ特定の曲面スクリーンを用意するものであり、また、特許文献２においても、ドーム型スクリーンという固定した曲面形状（球面形状又は非球面形状）の投映面を用意するものであり、いずれも、画像が投映されるスクリーンの投映面の形状が任意の形状に変化した場合の対応などについては全く考慮されていない。よって、投映面の形状が変化した場合には、投映画像そのものを、投映面の形状変化に応じて、創作し直さなければならない。
【０００６】
【特許文献１】
実開平７−４１５４７号公報
【特許文献２】
特開平９−３１１３８１号公報
【０００７】
【発明が解決しようとする課題】
本出願人により提案した原画像を任意に補正し加工可能とする従来技術においては、１つの投映画像について、スクリーンの投映面の形状に応じて指定された任意の画像領域の画像に対して歪補正を行なうことができる。しかしながら、投映面獲得手段から得られるスクリーンの投映面の形状に基づいて、投映画像の歪補正を施すことに限られているため、スクリーンの投映面の形状如何によらず、投映画像を任意の画像に加工して投映することはできない。つまりは、１つの投映画像を操作して、擬似的な立体画像（即ち、３Ｄ画像）を形成するように、投映画像の任意の画像領域に対して３Ｄ変換を施して、形成された擬似的な３Ｄ画像を投映することは困難である。
【０００８】
また、特許文献１や特許文献２に記載されているような、擬似的に立体化した画像を得るために、投映面の形状が特定されている曲面スクリーンを予め用意しなければならないような技術にあっては、前述したごとく、投映面の形状が任意の形状に変化してしまった場合の対応ができず、投映面の形状変化に応じて、投映画像そのものを創作し直さなければならなくなるという課題がある。
【０００９】
本発明は、かかる事情に鑑みてなされたものであり、自由形状からなる投映面上に投映する投映画像として、１つの画像のみを用意し、用意した１つの投映画像に対して、任意の画像領域を指定して３Ｄ変換を行なうことにより、擬似３Ｄ画像を生成することができ、また、同時に、複数の任意の画像領域を指定して３Ｄ変換を行なうことにより、複数の擬似３Ｄ画像を生成することも可能にせんとするものである。更に、投映画像に対して施すべき３Ｄ変換方法を選択する３Ｄ変換パラメータのみならず、スクリーンの投映面の形状を示す形状データをも参照して、３Ｄ変換を行なうことにより、如何なる形状の投映面であっても、簡単に任意の擬似３Ｄ画像を生成することを可能にせんとするものである。更に、３Ｄ変換を行なう画像領域と行なわない画像領域との接合部分についても、３Ｄ変換後の画像側に引っ張られるような部分補正を３Ｄ変換されていない周辺画像に対して施すというシェーピング処理を更に行なうことにより、両方の画像領域を合成した投映画像として、より自然な画像が得られるようにせんとするものである。
【００１０】
【課題を解決するための手段】
本発明に係る技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の３Ｄ変換領域を指定する３Ｄ変換領域指定手段と、前記投映画像に対して施す３Ｄ変換方法を選択するための３Ｄ変換パラメータを指定する３Ｄ変換パラメータ指定手段と、前記投映画像に対して３Ｄ変換を施す３Ｄ変換手段とを有し、前記３Ｄ変換手段が、前記形状データと前記３Ｄ変換パラメータとを参照して、前記投映画像のうち前記３Ｄ変換領域の画像に対して３Ｄ変換を施し、前記投映画像のうち前記３Ｄ変換領域指定手段により指定されていない非３Ｄ変換領域の画像と画像合成する擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１１】
また、本発明に係る技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の３Ｄ変換領域を指定する３Ｄ変換領域指定手段と、前記投映画像に対して施す３Ｄ変換方法を選択するための３Ｄ変換パラメータを指定する３Ｄ変換パラメータ指定手段と、前記投映画像に対して３Ｄ変換を施す３Ｄ変換手段と、前記３Ｄ変換領域指定手段により指定された前記３Ｄ変換領域と指定されていない非３Ｄ変換領域との接合部分を含む周辺領域をシェーピング領域として指定するシェーピング領域指定手段と、前記シェーピング領域指定手段により指定された前記シェーピング領域の画像に対して部分補正するシェーピング手段とを有し、前記３Ｄ変換手段が、前記形状データと前記３Ｄ変換パラメータとを参照して、前記投映画像のうち前記３Ｄ変換領域の画像に対して３Ｄ変換を施し、前記投映画像のうち前記非３Ｄ変換領域の画像と画像合成すると共に、前記シェーピング領域の画像に対して前記シェーピング手段により部分補正を行なう擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１２】
また、本発明に係る技術手段は、前記シェーピング手段が行なう前記部分補正が、前記３Ｄ変換手段により施される３Ｄ変換内容を参照して、前記シェーピング領域の画像のうち、前記非３Ｄ変換領域の画像が前記３Ｄ変換領域において３Ｄ変換された画像側に引っ張られるように収縮又は膨張するような補正を施すものである擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１３】
また、本発明に係る技術手段は、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記３Ｄ変換領域と前記非３Ｄ変換領域との前記接合部分に、前記３Ｄ変換領域における３Ｄ変換後の画像と前記非３Ｄ変換領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分及び／又は前記投映面の歪により生じる画像の歪に対する歪補正漏れの部分を少なくとも１箇所含んでいる前記周辺領域である擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１４】
また、本発明に係る技術手段は、前記シェーピング領域指定手段により指定される前記シェーピング領域として、前記投映画像に複数個の任意の領域を含ませることができる擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１５】
また、本発明に係る技術手段は、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記部分補正すべき領域データを予め格納しているシェーピング領域データファイルを入力するか、又は、前記３Ｄ変換領域と前記３Ｄ変換手段により施される３Ｄ変換内容とからシェーピング領域を自動的に判別するか、又は、使用者自身がシェーピング領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記シェーピング領域を指定すると共に、該シェーピング領域に対応して施すべき前記部分補正の方法を示すシェーピング指示情報を指定する擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１６】
また、本発明に係る技術手段は、前記３Ｄ変換領域指定手段により指定される前記３Ｄ変換領域として、前記投映画像に複数個の任意の領域を含ませることができる擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１７】
また、本発明に係る技術手段は、前記３Ｄ変換領域指定手段が、前記３Ｄ変換すべき領域データを予め格納している３Ｄ変換領域データファイルから入力するか、又は、前記３Ｄ変換パラメータ指定手段により得られた前記３Ｄ変換パラメータから自動的に３Ｄ変換領域を判別するか、又は、使用者自身が３Ｄ変換領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記３Ｄ変換領域を指定する擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１８】
また、本発明に係る技術手段は、前記３Ｄ変換パラメータ指定手段が、前記３Ｄ変換すべき３Ｄ変換方法を示すパラメータデータを予め格納している３Ｄ変換パラメータデータファイルから入力するか、又は、使用者自身が３Ｄ変換パラメータを指定するかのうち、いずれか１乃至複数を用いることにより、前記３Ｄ変換パラメータを指定する擬似３Ｄ画像作製装置とすることを特徴とするものである。
【００１９】
また、本発明に係る技術手段は、本発明に係る前記各技術手段のいずれかに記載の擬似３Ｄ画像作製装置を備え、画像投映中の如何によらず、投映面上に投映する投映画像の３Ｄ変換を行ない、更には、場合によっては、前記シェーピング手段により投映画像の部分補正を行なった画像を投映することができるプロジェクタ装置とすることを特徴とするものである。
【００２０】
而して、自由形状（平面形状も含む）からなる投映面に対して投映画像を投映する場合、投映面に投映する投映画像の３Ｄ変換機能として、３Ｄ変換を施す画像領域と３Ｄ変換を施さない画像領域とを指定することができ、１つの投映画像を用いて３Ｄ変換した画像としない画像とを合成した合成画像を投映することができる。また、３Ｄ変換を施す領域（逆に言えば、３Ｄ変換を施さない領域）を１つ以上の任意の個数指定することができる。もって、１つの投映画像から該投映画像に忠実な画像部分と投映面の形状如何によらず擬似３Ｄ化した画像部分とを得て、両者の画像部分を合成して投映することができ、１つの投映画像さえ用意すれば演出効果に富む画像を獲得することができる。
【００２１】
更には、３Ｄ変換領域と非３Ｄ変換領域との接合部分を含む周辺領域に対して、３Ｄ変換後の画像側に非３Ｄ変換領域の画像を引っ張られるように部分的に補正するシェーピング処理を行なうことにより、３Ｄ変換画像と非３Ｄ変換領域の画像とが滑らかに接合され、両者の画像の接合部分に、画像の重複が生じたり画像の欠落が生じたり歪補正が漏れたりして合成後の画像が不自然になるような事態を防止することができる。
【００２２】
更には、３Ｄ変換領域指定手段により指定される３Ｄ変換領域と該３Ｄ変換領域における画像の３Ｄ変換内容を適切に選択して指定することにより、自由形状からなる投映面の形状如何によらず、所望する３Ｄ変換を行なうことができる。例えば、波打って見えるような３Ｄ効果を得たい場合であれば、３Ｄ変換パラメータを動的に変化させて与えることにより、時間的に即ち動的に変化するような３Ｄ変換を行なうことが可能である。
【００２３】
【発明の実施の形態】
本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置の実施形態について、以下に図面を参照しながら説明する。
ここでは、擬似３Ｄ画像作製装置とプロジェクタ装置とを組み合わせた場合の実施形態について説明することとするが、当該擬似３Ｄ画像作製装置をプロジェクタ装置内に内蔵する形態とすることも当然可能である。
【００２４】
図１は、本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
図１においては、擬似３Ｄ画像作製装置１０とプロジェクタ装置２０とが分離されて構成されている。擬似３Ｄ画像作製装置１０は、投映面上に投映する投映画像を入力する画像入力手段１１と、自由形状からなるスクリーン２３の投映面の形状を示す形状データを得る投映面獲得手段１４と、投映面上に投映する投映画像の３Ｄ変換領域を指定する３Ｄ変換領域指定手段１５と、投映画像に対して施す３Ｄ変換方法を選択する３Ｄ変換パラメータを指定する３Ｄ変換パラメータ指定手段１６と、投映面獲得手段１４により得られた前記形状データと３Ｄ変換パラメータ指定手段１６により得られた前記３Ｄ変換パラメータと３Ｄ変換領域指定手段１５により指定された前記３Ｄ変換領域とを参照して、自由形状からなる投映面を有するスクリーン２３に対して投映する投映画像の３Ｄ変換を行なう３Ｄ変換手段１２と、３Ｄ変換手段１２から出力される画像をプロジェクタ装置２０に出力する画像出力手段１３とを備えている。
【００２５】
また、プロジェクタ装置２０は、擬似３Ｄ画像作製装置１０から入力されてくる画像から投映面に投映すべき画像を生成する投映部２１と、投映部２１により生成された画像をスクリーン２３の投映面に投映する投映レンズ２２と、平面部や凹凸部や曲面部などの自由形状（平面形状も含む）からなる投映面を有するスクリーン２３とを備えている。
【００２６】
擬似３Ｄ画像作製装置１０における各回路ブロックは次のような処理を司っている。画像入力手段１１は、フラッシュメモリ等に蓄積されている画像ファイルやパソコン等からの画像データに関する入力信号により、投映面上に投映する投映画像を入力する手段を提供しており、３Ｄ変換手段１２に該投映画像を送出する。即ち、画像入力手段１１は、外部機器からのみならず、当該擬似３Ｄ画像作製装置１０内に保存している画像を投映画像として入力する手段を提供している。
【００２７】
また、３Ｄ変換パラメータ指定手段１６は、３Ｄ変換手段１２において、画像入力手段１１から入力されてきた投映画像に対して施すべき３Ｄ変換方法を選択する３Ｄ変換パラメータを指定するものであり、プロジェクタ装置２０のスクリーン２３上の投映面に映し出されて、視聴者が実際に鑑賞することになる擬似３Ｄ画像を生成するために、所望の３Ｄ効果を入力投映画像に対して付与する手段を提供している。ここで、３Ｄ変換パラメータ指定手段１６は、投映面獲得手段１４から得られる投映面の形状データを参照して、投映面の形状如何によらず、投映画像に立体感がある３Ｄ効果を付与したり、投映画像に擬似的な動きを伴う動的な３Ｄ効果を付与したりするための３Ｄ変換を施すことを指示する３Ｄ変換パラメータを、３Ｄ変換領域指定手段１５により指定された投映画像の各３Ｄ変換領域毎にそれぞれ指定することも可能である。
【００２８】
なお、３Ｄ変換パラメータ指定手段１６が指定する３Ｄ変換パラメータは、投映画像について施すべき３Ｄ変換方法を指定するパラメータデータを予め格納している３Ｄ変換パラメータデータファイルから入力するか、又は、使用者自身が３Ｄ変換方法を指定するかのうち、いずれか１乃至複数の手段を用いることにより設定される。また、３Ｄ変換パラメータは、画像入力手段１１から入力される投映画像全域を対象として設定することとしても良いし、３Ｄ変換領域指定手段１５により指定される３Ｄ変換領域のみを対象として設定しても良いし、３Ｄ変換領域指定手段１５により指定される３Ｄ変換領域が複数存在している場合は、各３Ｄ変換領域に対応してそれぞれ別個に設定しても良い。
【００２９】
また、投映面獲得手段１４は、投映画像を投映するスクリーン２３の投映面の形状を示す形状データ（投映面の大きさも含む）を獲得するために、例えば、
・投映面の形状を示す形状データを予め格納している形状データファイルを入力
・ＣＣＤカメラなどにより撮像して得られた投映面の形状データを入力
・使用者自身がユーザインターフェースを介して投映面の形状データを直接入力等のいずれか１乃至複数の手段を用いることにより、スクリーン２３の投映面の大きさやどのような形状をしているかを示す投映面の形状データを入手する手段を提供しており、入手された形状データを３Ｄ変換手段１２に送出する。
【００３０】
３Ｄ変換領域指定手段１５は、投映画像に対して３Ｄ変換を施す３Ｄ変換領域を指定するために、例えば、
・３Ｄ変換すべき画像領域を示す領域データを予め格納している３Ｄ変換領域データファイルを入力
・３Ｄ変換パラメータ指定手段により得られた３Ｄ変換パラメータから自動的に３Ｄ変換領域を判別
・使用者自身がユーザインターフェースを介して３Ｄ変換領域を直接指定
等のいずれか１乃至複数の手段を用いることにより、３Ｄ変換領域を任意数指定し（即ち、１乃至複数の３Ｄ変換領域を指定し）、指定した３Ｄ変換領域を３Ｄ変換手段１２に送出する。ここで、３Ｄ変換領域指定手段１５が指定する３Ｄ変換領域は投映画像中の複数領域を指定することが可能である。
【００３１】
また、３Ｄ変換領域指定手段１５は、投映画像のうち、３Ｄ変換を施すべき画像領域即ち３Ｄ変換領域そのものではなく、逆に、３Ｄ変換を施さない画像領域即ち非３Ｄ変換領域を指定するようにしても良い。また、３Ｄ変換量算出部１２ｂにより算出される３Ｄ変換量は、３Ｄ変換領域指定手段から得られる３Ｄ変換領域と３Ｄ変換パラメータ指定手段１６からの３Ｄ変換パラメータ情報とに応じて、更には、投映面獲得手段１４から得られる形状データをも参照して、各３Ｄ変換領域毎に適応的に求められる。
【００３２】
３Ｄ変換手段１２は、まず、３Ｄ変換領域抽出部１２ａにより、画像入力手段１１から入力されてきた投映画像即ち原画像の中から３Ｄ変換領域指定手段１５により指定された各３Ｄ変換領域を取り出し、投映面獲得手段１４により得られた投映面の形状データと３Ｄ変換パラメータ指定手段１６から得られた３Ｄ変換パラメータを参照して、取り出された各３Ｄ変換領域の原画像に対して３Ｄ変換を施す際の各３Ｄ変換量を３Ｄ変換量算出部１２ｂにより算出し、算出された各３Ｄ変換量に基づいて、３Ｄ変換画像生成部１２ｃによりそれぞれ３Ｄ変換を施して３Ｄ変換画像を生成した後、画像合成部１２ｄにより、各３Ｄ変換画像と３Ｄ変換を施していない非３Ｄ変換画像（原画像）とを画像合成し、画像出力手段１３に出力する。
【００３３】
換言すると、３Ｄ変換領域指定手段１５により複数の領域が３Ｄ変換領域として指定された場合においても、各３Ｄ変換領域について３Ｄ変換パラメータ指定手段１６から得られる３Ｄ変換パラメータに応じて逐一それぞれの３Ｄ変換領域に適合する３Ｄ変換を行ない、３Ｄ変換された各画像が３Ｄ変換されていない領域にある原画像と合成されて画像出力手段１３に出力される。
【００３４】
更に、３Ｄ変換量算出部１２ｂにより算出される３Ｄ変換量は、投映面獲得手段１４により得られた投映面の形状データを参照し、３Ｄ変換パラメータ指定手段１６から得られる３Ｄ変換パラメータに応じて算出されるものであり、３Ｄ変換パラメータ指定手段１６による３Ｄ変換パラメータ（例えば、データファイルからの指定あるいは使用者からの指示による３Ｄ変換パラメータ）に基づいて、如何なる形状の投映面であっても、例えば、投映された画像に立体感を付与したい場合であれば、所望のシェーディング量を３Ｄ変換量として算出したり、あるいは、波打って見えるようにしたい場合であれば、３Ｄ変換パラメータ指定手段１６によって時間的に変化する３Ｄ変換パラメータを指定して、時間的に変化する３Ｄ変換量を算出して、時間的に即ち動的に変化するような画像を生成することも可能である。
【００３５】
また、画像出力手段１３は、３Ｄ変換手段１２から入力されてきた合成画像（即ち、各３Ｄ変換画像と非３Ｄ変換画像とが画像合成された画像）を伝送可能な信号形式に変換した後、例えば、光ケーブルや同軸ケーブルなどに接続されている画像出力端子を介してプロジェクタ装置２０側に送信する。
【００３６】
プロジェクタ装置２０では、受信した画像を投映部２１により投映画像に変換して投映レンズ２２を介して、自由形状からなる投映面を有するスクリーン２３上に投映する。
【００３７】
而して、図１に示す第１の実施形態によれば、スクリーン２３の投映面の形状データを獲得する投映面獲得手段１４と１乃至複数の３Ｄ変換領域を任意の時点で指定することができる３Ｄ変換領域指定手段１５と、如何なる３Ｄ変換を行なうか指定する３Ｄ変換パラメータ指定手段１６とを備えることにより、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の３Ｄ変換領域を指定して３Ｄ変換を施すことを可能としており、演出効果に富む画像を得ることができる。
【００３８】
図２は、本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
本実施形態においては、図１に示す第１の実施形態に対して、擬似３Ｄ画像作製装置１０′がシェーピング領域指定手段１７を更に追加して備えていると共に３Ｄ変換手段１２′がシェーピング処理部１２ｅを更に追加した形態として構成されている。シェーピング領域指定手段１７は、３Ｄ変換領域指定手段１５により指定された３Ｄ変換領域と指定されていない非３Ｄ変換領域との接合部分を含む周辺領域をシェーピング領域として指定する手段である。更には、シェーピング領域指定手段１７は、かかる周辺領域のうち、前記３Ｄ変換領域と前記非３Ｄ変換領域との前記接合部分に、前記３Ｄ変換領域における３Ｄ変換後の画像と前記非３Ｄ変換領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分及び／又は投映面の歪により生じる画像の歪に対する歪補正漏れの部分を少なくとも１箇所含んでいる前記周辺領域をシェーピング領域として選択して指定することにしても良い。一方、シェーピング処理部１２ｅは、シェーピング領域指定手段１７により指定されたシェーピング領域の画像に対して部分補正を施す手段であり、合成された投映画像の不自然さを除去するための手段を提供するものである。
【００３９】
換言すると、シェーピング領域指定手段１７とシェーピング処理部１２ｅとは、３Ｄ変換領域指定手段１５により指定された３Ｄ変換領域に対して３Ｄ変換手段１２の３Ｄ変換画像生成部１２ｃを用いて３Ｄ変換画像を生成した後、３Ｄ変換手段１２の画像合成部１２ｄにおいて合成された合成画像について、前記３Ｄ変換領域と前記非３Ｄ変換領域との接合部分に、画像が重なる部分及び／又は画像が欠落して画像が無い部分及び／又は歪補正漏れ部分が生じてしまうような問題が発生した場合を解決するために、前記シェーピング領域内の画像領域のうち、前記非３Ｄ変換領域の画像を３Ｄ変換画像側に引っ張り込むように収縮又は膨張するような部分補正処理（即ちシェーピング処理）を行なう手段を提供している。
【００４０】
シェーピング領域指定手段１７は、合成画像に対してシェーピング処理を施すシェーピング領域を指定するために、例えば、
・シェーピング処理（即ち部分補正）すべき領域データを予め格納しているシェーピング領域データファイルを入力
・３Ｄ変換領域と３Ｄ変換が施される３Ｄ変換内容とからシェーピング領域を自動的に判別
・使用者自身がユーザインターフェースを介してシェーピング領域を指定
等のいずれか１乃至複数の手段を用いることにより、シェーピング領域を指定し、指定したシェーピング領域を３Ｄ変換手段１２に送出する。また、３Ｄ変換領域指定手段１５が指定する３Ｄ変換領域の場合と同様に、シェーピング領域指定手段１７は、シェーピング領域を複数領域指定することも可能である。
【００４１】
更には、シェーピング領域指定手段１７は、各シェーピング領域に対応して施すべき部分補正処理の方法を示すシェーピング指示情報を指定することも可能であり、シェーピング処理部１２ｅにより施される部分補正処理（即ちシェーピング処理）は、シェーピング領域指定手段１７からの各シェーピング領域毎のシェーピング指示情報に応じて、３Ｄ変換画像生成部１２ｃにより生成された３Ｄ変換後の画像を参照しながら実行される。
【００４２】
即ち、３Ｄ変換手段１２のシェーピング処理部１２ｅは、シェーピング領域指定手段１７により指定された各シェーピング領域の画像に対して、指定されている各シェーピング領域毎のシェーピング指示情報に応じて、３Ｄ変換量算出部１２ｂにより算出された３Ｄ変換量即ち３Ｄ変換内容を参照して、３Ｄ変換前の画像が３Ｄ変換された画像側に引っ張られるように収縮又は膨張するように部分補正する。
【００４３】
以上のように、３Ｄ変換領域指定手段１５により指定された３Ｄ変換領域に対して３Ｄ変換手段１２の３Ｄ変換画像生成部１２ｃにより３Ｄ変換画像を生成し、また、シェーピング領域指定手段１７により指定されたシェーピング領域に対して３Ｄ変換手段１２のシェーピング処理部１２ｅにより部分補正即ちシェーピング処理を施して、シェーピング処理された合成画像を画像出力手段１３に送る。他の各ブロック部分については、図１に示す各ブロックについて前述したものと全く同様である。
【００４４】
而して、図２に示す第２の実施形態によれば、図１に示す第１の実施形態の場合と同様に、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の３Ｄ変換領域を指定して３Ｄ変換を施すことを可能としている上に、更に、シェーピング処理を施すことにより、３Ｄ変換した画像と３Ｄ変換していない画像との接合部分の不自然さを解消して、より演出効果に富む投映画像を得ることができる。
【００４５】
図１及び図２に示す擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０に関する動作について、図３乃至図８の模式図を用いて更に具体的に説明する。
図３は、自由形状からなる投映面を有するスクリーン２３の投映面の一例を示す模式図である。図３に示す模式図において、３１は、スクリーン２３上の投映可能な全体領域である矩形形状からなる投映面を示し、３２は、投映面３１の左下領域に形成されている凹面状の歪部を示している。
また、図４は、図３に示すような凹面状の歪部３２を有する投映面３１に投映する投映画像に対して３Ｄ変換を行なう各手段の動作を模式的に示す模式図である。
【００４６】
まず、図１に示す画像入力手段１１を用いて、図３に示すような形状の投映面３１に投映したい投映画像即ち原画像４１を入手し３Ｄ変換手段１２に送出する。また、図１に示す投映面獲得手段１４を用いて、スクリーン２３の投映面３１の形状データ（投映面３１の左下領域にある凹面状の歪部３２に関する形状や大きさを示すデータ）を獲得して、３Ｄ変換手段１２に送出する。また、図１に示す３Ｄ変換パラメータ指定手段１６により、投映画像を図３に示すような投映面３１に投映した時に表示すべき擬似３Ｄ画像を生成するための３Ｄ変換パラメータを獲得して、３Ｄ変換手段１２に送出する。
【００４７】
図４には、３Ｄ変換領域指定手段１５の３Ｄ変換領域の指定如何に関わらず、原画像４１の全域に対して３Ｄ変換を行なうべき領域を設定すると共に、付与したい３Ｄ効果の画像を生成すべきそれぞれの領域に対して、３Ｄ変換の変換方法を指定する３Ｄ変換パラメータを指定している例を示しており、投映面３１の左下の歪部３２と同じ位置に相当する投映画像の左下の画像領域に対して付与すべき３Ｄ変換方法を指定する３Ｄ変換パラメータ１６′と、投映画像の右上の画像領域に対して施すべき３Ｄ変換方法を指定する３Ｄ変換パラメータ１６″と、の２つが指定されている場合を例示している。
【００４８】
更に、図１に示す３Ｄ変換領域指定手段１５により、投映画像のうち３Ｄ変換を施すべき画像領域を３Ｄ変換領域４２ａとして指定して、３Ｄ変換手段１２に送出する。なお、３Ｄ変換領域指定手段１５は、任意の領域及び数を３Ｄ変換領域として指定することが可能である。
【００４９】
次に、３Ｄ変換手段１２は、図１に示す３Ｄ変換領域抽出部１２ａにより、３Ｄ変換領域指定手段１５により３Ｄ変換領域４２ａとして指定された３Ｄ変換領域画像４２を、原画像４１の中から取り出す。更に、３Ｄ変換手段１２は、３Ｄ変換量算出部１２ｂにより、スクリーン２３の投映面３１の形状データと３Ｄ変換パラメータ指定手段１６より獲得した３Ｄ変換パラメータとを参照して、３Ｄ変換領域画像４２の各部に対して３Ｄ変換を施すべき３Ｄ変換量（即ち、投映面３１上の凹面状の歪部３２の窪んでいる部分の形状を考慮し、３Ｄ変換パラメータ指定手段１６によって指定されている３Ｄ変換パラメータが指定しているような形状の画像が生成されるような変換量）を算出する。
【００５０】
更に、３Ｄ変換手段１２は、図１に示す３Ｄ変換画像生成部１２ｃにより、３Ｄ変換量算出部１２ｂにより算出された３Ｄ変換量を用いて、３Ｄ変換領域画像４２に対して３Ｄ変換を施して、３Ｄ変換画像４２′を生成する。
【００５１】
然る後に、３Ｄ変換手段１２は、図１に示す画像合成部１２ｄにより、３Ｄ変換領域指定手段１５により３Ｄ変換領域４２ａとして指定されていない残りの非３Ｄ変換領域にある非３Ｄ変換画像４３と３Ｄ変換画像生成部１２ｃにより生成された３Ｄ変換画像４２′とを合成して、原画像４１に対応する合成画像４１′を生成して、図１に示す画像出力手段１３を介してプロジェクタ装置２０に送信して、スクリーン２３の投映面３１上に投映する。スクリーン２３の投映面３１上の投映画像は、３Ｄ変換手段１２における３Ｄ変換処理により、たとえ、スクリーン２３の投映面３１に凹面状の歪部３２が存在していたとしても、指定３Ｄ変換領域指定手段１５によって指定されている３Ｄ変換領域４２ａの原画像４１の画像領域には、３Ｄ変換パラメータ指定手段１６により３Ｄ変換パラメータ１６′として指定されている形状からなる擬似３Ｄ画像が忠実に投映された状態とされる。
【００５２】
しかしながら、３Ｄ変換手段１２の画像合成部１２ｄにより合成された合成画像４１′を詳細に確認すると、３Ｄ変換領域指定手段１５により指定された３Ｄ変換領域４２ａと指定されていない非３Ｄ変換領域との接合部分においては、両者の領域の画像が互いに重複した重複部が存在したり、投映面３１の歪部３２によって生じる投映画像の歪補正が漏れてしまったり、あるいは、両者の領域の画像が共に欠落した間隙部が存在したりしている。即ち、３Ｄ変換手段１２によって作成された合成画像４１′は、図５に示すように、非３Ｄ変換領域画像４３と３Ｄ変換画像４２′との接合部分に、歪補正が漏れる歪補正漏れ部５１や両者の画像が共に欠落した間隙部５２が存在し、場合によっては、合成画像としての自然さを喪失してしまう場合もある。ここに、図５は、３Ｄ変換が施された後の合成画像４１′の状態及び投映面の状態の一例を示す模式図である。
【００５３】
かかる問題を解決するために、前述した図２に示すごとく、シェーピング領域指定手段１７とシェーピング処理部１２ｅとを更に付加して備えることにより、前記接合部分を含む周辺領域に対してシェーピング処理を行なう。
【００５４】
次に、シェーピング処理の具体例について更に説明する。図６は、３Ｄ変換領域と非３Ｄ変換領域との接合部分を含むシェーピング領域の状態及び投映面の状態の一例を示す模式図である。図６に示すように、シェーピング領域としては、図２に示すシェーピング領域指定手段１７により、３Ｄ変換領域４２ａ及び図３に示す投映面３１上の凹面状の歪部３２に該当する領域よりも少し広く見積られる周辺領域が確保される。言い換えると、図６に示すように、合成画像４１′において非３Ｄ変換画像４３と３Ｄ変換画像４２′との接合部分に存在している歪補正漏れ部５１や間隙部５２を含む領域画像がシェーピング領域画像６１として確保される。なお、図７に示すごとく、該シェーピング領域画像６１が存在するシェーピング領域内の３Ｄ変換前の画像（即ち、シェーピング領域内の原画像４１であるシェーピング領域原画像）を予め保存しておく。ここに、図７は、３Ｄ変換及びシェーピング処理が施される前のシェーピング領域原画像の状態及び投映面の状態を正方格子パターンとして示している模式図である。
【００５５】
シェーピング領域画像６１のうち、投映面３１の凹面状の歪部３２に対応する３Ｄ変換領域画像４２に対する３Ｄ変換は、前述のごとく、３Ｄ変換手段１２の３Ｄ変換画像生成部１２ｃにより施されるが、３Ｄ変換がなされた後の周辺の画像については、３Ｄ変換手段１２のシェーピング処理部１２ｅにより、図７のように保存されている正方格子パターンのシェーピング領域画像６１を基にして、図８に示すシェーピング領域画像６１′のように、３Ｄ変換されていない周辺の画像が、３Ｄ変換がなされた３Ｄ変換画像４２′に引っ張られるような格子パターンとなるように収縮及び／又は膨張させた部分補正（シェーピング処理）が施される。ここに、図８は、シェーピング領域に指定されたシェーピング領域画像６１に対して、シェーピング処理が施された後の状態を示す模式図である。而して、たとえ、投映面３１に歪部３２を有している場合であっても、３Ｄ変換パラメータ指定手段１６により指定された３Ｄ変換パラメータにより特定される形状に忠実な擬似３Ｄ画像を３Ｄ変換手段１２により生成して投映することが可能であると共に、３Ｄ変換を行なわない周辺画像に対してもシェーピング処理という部分補正を施すことにより、３Ｄ変換画像と非３Ｄ変換画像との接合部分についても滑らかにきちんと表示させることが可能となり、接合部分の不自然さを解消することができる。
【００５６】
なお、本発明に係る擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０においては、前述のごとく、３Ｄ変換を行なう３Ｄ変換領域及び／又は３Ｄ変換を行なわない非３Ｄ変換領域についても、更には、シェーピング処理を行なうシェーピング領域についても、複数個指定することが可能である。
【００５７】
以上に説明したように、本発明に係る擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０においては、１つの画像入力手段１１を用いて得た１つの投映画像に対して、又は、該投映画像のうち１つ以上の任意の画像領域に対して、自由に３Ｄ変換加工を施すことができる。このことをもってして、例えば、海面の画像を投映する際に、波の部分を３Ｄ画像化して動的に波打つ状態に変換して投映したい場合に、投映面獲得手段１４と３Ｄ変換領域指定手段１５と３Ｄ変換パラメータ指定手段１６とシェーピング領域指定手段１７とからの各情報に基づいて、如何なる自由形状からなる投映面であっても、３Ｄ変換手段１２によって、原画像と３Ｄ変換画像とシェーピング変換画像とを合成画像として生成して、画像出力手段１３からプロジェクタ装置２０に送信することにより、スクリーン２３の投映面に投映される海面画像の波部分については、動的に変化する３Ｄ画像のように、擬似的に波打つ状態にして見せることができる。
【００５８】
次に、本発明に係る擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０を適用した一例として、簡単なマリーンジェットによるレースゲーム機の表示画面の一例について説明する。図９は、本発明に係る擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０を適用したマリーンジェットレースゲームの一画面を示す模式図である。
【００５９】
図９において、９１は本マリーンジェットレースゲームをするゲーム者が操るマリーンジェットであり、９２は本マリーンジェット９１が目指すゴールであり、９３はマリーン（海）の波である。また、９４はゲームスタートからの経過時間を示し、９５はゲーム者が操るマリーンジェット９１の現在の順位を示し、９６は本マリーンジェットレースゲームにおけるスコアを示している。
【００６０】
図９に示す画面において、マリーン（海）の波９３の表示部分に対して、３Ｄ変換パラメータ指定手段１６と３Ｄ変換領域指定手段１５とにより複数の領域を指定して３Ｄ変換手段１２により波打つような３Ｄ変換をそれぞれに施すことにより、マリーン（海）の波９３の表示部分が動的に波打って見えるように画面表示される。また、マリーンジェット９１及びゴール９２についても、３Ｄ変換パラメータ指定手段１６と３Ｄ変換領域指定手段１５とによって領域を指定して、３Ｄ変換手段１２を用いてそれぞれを３Ｄ化し、３Ｄ化した立体的なマリーンジェット９１とゴール９２とを投映することにより、更に迫力のある画面表示が期待できる。
【００６１】
また、３Ｄ変換パラメータ指定手段１６により、３Ｄ変換パラメータによる３Ｄ変換の指定がなされている画像領域であったとしても、それぞれの画像領域に対して３Ｄ変換を行なうか否かの選択を、３Ｄ変換領域指定手段１５によって行なうことができる。よって、例えば、マリーンジェット９１については３Ｄ化したくない状況が発生した場合であれば、３Ｄ変換領域指定手段１５により、マリーンジェット９１の画像部分を３Ｄ変換領域として選択しないようにすれば良い。
【００６２】
一方、経過時間９４、現在の順位９５及びスコア９６などのように、特に３Ｄ化する効果がない画像であれば、３Ｄ変換パラメータ指定手段１６により、３Ｄ変換パラメータを何も指定しなければよい。また、前述の通り、３Ｄ変換パラメータ指定手段１６により、何かしらの３Ｄ変換パラメータを与えていたとしても、３Ｄ変換領域指定手段１５で３Ｄ変換を行なう領域に指定しない非３Ｄ変換領域とすることにより、３Ｄ変換をかけないで画像入力手段１１で得られた投映画像をそのまま画面表示することが可能である。また、前述したように、シェーピング領域指定手段１７により複数個の任意の領域をシェーピング領域として指定することにより、それぞれの領域の画像について３Ｄ変換手段１２のシェーピング処理部１２ｅを用いてシェーピング処理を施すことができるので、３Ｄ変換画像の周辺画像についても、自然さを保った滑らかな画像にすることが可能である。
【００６３】
なお、図１及び図２に示す擬似３Ｄ画像作製装置１０，１０′及びプロジェクタ装置２０のブロック構成については、１つの実施例を示しただけであり、本発明はかかる構成のみに限るものではない。例えば、前述したように、プロジェクタ装置に擬似３Ｄ画像作製装置を内蔵して構成するようにしても構わないし、あるいは、プロジェクタ装置に一旦入力された投映画像を擬似３Ｄ画像作製装置側に取り出して３Ｄ変換やシェーピング処理を施して合成した画像を再度プロジェクタ装置に送り返すことにより３Ｄ変換やシェーピング処理後の合成画像を投映面に投映するようにしても構わない。あるいは、３Ｄ変換手段１２と投映面獲得手段１４及び／又は３Ｄ変換領域指定手段１５及び／又は３Ｄ変換パラメータ指定手段１６及び／又はシェーピング領域指定手段１７とが異なる別の装置から構成されていて相互を接続するようにしても構わない。
【００６４】
また、図３乃至図９を用いて説明した３Ｄ変換及びシェーピング処理の具体的な実施例は、一例を示したに過ぎず、本発明はかかる場合のみに限るものではなく、例えば、３Ｄ変換パラメータ指定手段１６を３Ｄ変換手段１２の３Ｄ変換量算出部１２ｂに含ませて構成しても良いし、あるいは、３Ｄパラメータ指定手段１６により指定される３Ｄ変換パラメータとして原画像に対して施すべき変位量・変位の方向などを指定することとしても構わない。
【００６５】
更には、投映面獲得手段１４は、投映面の形状データが予め格納された形状データファイルから投映面の形状データを取得する場合のみに限るものではなく、前述のように、ＣＣＤカメラなどによってリアルタイムに撮像した形状あるいは使用者自身がリアルタイムに指定した形状を投映面の形状として利用することも可能である。また、シェーピング領域指定手段１７についても、３Ｄ変換領域指定手段１５により指定された３Ｄ変換領域を含む周辺領域を自動的にシェーピング領域として指定するだけでなく、シェーピング領域を指定する情報を予め格納しているシェーピング領域データファイルにより指定したり、あるいは、使用者自身がリアルタイムに指定することも可能である。
【００６６】
【発明の効果】
以上に説明したように、本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置によれば、自由形状（平面形状も含む）からなる投映面上に投映する投映画像として、画像入力手段を用いて用意した１つの投映画像について、指定された任意の画像領域の画像に対して３Ｄ変換を行なうことができ、また、同時に複数の画像領域を３Ｄ変換を行なう領域として指定することも可能である。また、３Ｄ変換を行なう画像領域と行なわない画像領域との接合部分に対してシェーピング処理を行なうことにより、両者の領域の画像を合成しても自然さを保った滑らかな画像が得ることができる。
【図面の簡単な説明】
【図１】本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
【図２】本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
【図３】自由形状からなる投映面を有するスクリーンの投映面の一例を示す模式図である。
【図４】図３に示すような凹面状の歪部を有する投映面に投映する投映画像に対して３Ｄ変換を行なう各手段の動作を模式的に示す模式図である。
【図５】３Ｄ変換が施された後の合成画像の状態及び投映面の状態の一例を示す模式図である。
【図６】３Ｄ変換領域と非３Ｄ変換領域との接合部分を含むシェーピング領域の状態及び投映面の状態の一例を示す模式図である。
【図７】３Ｄ変換及びシェーピング処理が施される前のシェーピング領域原画像の状態及び投映面の状態を正方格子パターンとして示している模式図である。
【図８】シェーピング領域に指定されたシェーピング領域画像に対して、シェーピング処理が施された後の状態を示す模式図である。
【図９】本発明に係る擬似３Ｄ画像作製装置及びプロジェクタ装置を適用したマリーンジェットレースゲームの一画面を示す模式図である。
【符号の説明】
１０，１０′…擬似３Ｄ画像作製装置、１１…画像入力手段、１２，１２′…３Ｄ変換手段、１２ａ…３Ｄ変換領域抽出部、１２ｂ…３Ｄ変換量算出部、１２ｃ…３Ｄ変換画像生成部、１２ｄ…画像合成部、１２ｅ…シェーピング処理部、１３…画像出力手段、１４…投映面獲得手段、１５…３Ｄ変換領域指定手段、１６…３Ｄ変換パラメータ指定手段、１６′，１６″…３Ｄ変換パラメータ、１７…シェーピング領域指定手段、２０…プロジェクタ装置、２１…投映部、２２…投映レンズ、２３…スクリーン、３１…投映面、３２…歪部、４１…原画像、４１′…合成画像、４２…３Ｄ変換領域画像、４２′…３Ｄ変換画像、４２ａ…３Ｄ変換領域、４３…非３Ｄ変換画像、５１…歪補正漏れ部、５２…間隙部、６１，６１′…シェーピング領域画像、９１…マリーンジェット、９２…ゴール、９３…マリーン（海）の波、９４…経過時間、９５…現在の順位、９６…スコア。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pseudo 3D image producing apparatus and a projector apparatus, and more particularly, to projecting an image on a projection surface having a free shape such as an uneven portion, a curved surface portion, or the like, with respect to one projection image projected on the projection surface. The present invention relates to a pseudo 3D image production apparatus and a projector apparatus that allow an arbitrary number of 3D conversion areas to be converted to be designated and obtain a projection image by synthesizing an image of the 3D conversion area after the 3D conversion and an image of a non-3D conversion area.
[0002]
[Prior art]
As one of the prior arts for processing and projecting an original image, the present applicant has proposed a device that can arbitrarily correct and process the original image. According to the apparatus, a projection surface obtaining means for obtaining shape data of a free-form projection surface for one projection image, and a distortion correction area designating means for designating a distortion correction area of a projection image projected on the projection surface And distortion correction means for performing distortion correction on the projected image, wherein the distortion correction means refers to the shape data and corrects distortion of an image in the distortion correction area in the projected image. Performing image synthesis with an image of a non-distortion correction area that is not specified by the distortion correction area specifying means in the projection image, so that the projection surface has any shape. , Distortion correction can be performed on an image in an arbitrary image area designated in accordance with. Further, it is possible to simultaneously designate a plurality of image areas as distortion correction areas, and by performing shaping processing on a joint portion between an image area to be subjected to distortion correction and an image area not to be subjected to distortion correction. It is also possible to obtain a smooth image while maintaining naturalness even when images of both areas are combined.
[0003]
Further, as a conventional technique capable of projecting a pseudo three-dimensional image, Japanese Unexamined Utility Model Publication No. 7-41547 disclosed in Japanese Unexamined Patent Application Publication No. 7-41547 and Japanese Unexamined Patent Application Publication No. 9-31381 described in Japanese Patent Laid-Open No. 9-31381. A "dome-type environment simulation method and apparatus" has also been proposed.
Here, in Patent Document 1, as a projection device that includes a light source and projects an image on a screen by a projector capable of projecting an enlarged image, a curved surface corresponding to the content of the image to be projected is added in advance as the shape of the screen. By doing so, a technique of displaying a three-dimensional image suitable for an image projected by the shape of the screen curved surface has been proposed.
[0004]
On the other hand, in Patent Document 2, an environment image is created in advance by an image pickup device, and the viewpoint of the simulated environment experience person is made to face the front side of a curved dome-shaped screen whose front side is, for example, concave, and the back side of the dome-shaped screen Thus, a technique has been proposed in which the environment image created by the imaging device is projected by a rear projector so that a simulated environment experiencer can observe a three-dimensional environment image corresponding to the curved surface of the dome-shaped screen. I have.
[0005]
However, in Patent Document 1, a specific curved screen is prepared for each image to be projected. In Patent Document 2, a fixed curved shape (spherical shape or aspherical shape) called a dome type screen is also disclosed. In any case, no consideration is given to the case where the shape of the projection surface of the screen on which an image is projected changes to an arbitrary shape. Therefore, when the shape of the projection surface changes, the projection image itself must be recreated in accordance with the change in the shape of the projection surface.
[0006]
[Patent Document 1]
Japanese Utility Model Publication No. 7-41547
[Patent Document 2]
JP-A-9-31381
[0007]
[Problems to be solved by the invention]
In the prior art proposed by the present applicant and capable of arbitrarily correcting and processing an original image, one projected image is distorted with respect to an image in an arbitrary image area designated according to the shape of the projection surface of the screen. Corrections can be made. However, since it is limited to performing distortion correction of the projected image based on the shape of the projected surface of the screen obtained from the projected surface obtaining means, the projected image can be arbitrarily determined regardless of the shape of the projected surface of the screen. It cannot be processed into an image and projected. That is, by operating one projection image and performing 3D conversion on an arbitrary image area of the projection image so as to form a pseudo three-dimensional image (that is, a 3D image), the formed pseudo image is formed. It is difficult to project a proper 3D image.
[0008]
Also, in order to obtain a pseudo three-dimensional image as described in Patent Literature 1 or Patent Literature 2, a technique is required in which a curved screen having a specified projection surface shape must be prepared in advance. As described above, as described above, it is not possible to cope with a case where the shape of the projection surface has changed to an arbitrary shape, and it is necessary to recreate the projected image itself according to the shape change of the projection surface There is a problem that.
[0009]
The present invention has been made in view of the above circumstances, and prepares only one image as a projection image to be projected on a free-form projection surface, and provides an arbitrary image for the prepared projection image. By specifying a region and performing 3D conversion, a pseudo 3D image can be generated. Simultaneously, by specifying a plurality of arbitrary image regions and performing 3D conversion, a plurality of pseudo 3D images can be generated. To make it possible. Furthermore, by performing 3D conversion with reference to not only 3D conversion parameters for selecting a 3D conversion method to be applied to a projection image but also shape data indicating a shape of a projection surface of a screen, a projection surface of any shape can be obtained. However, it is possible to easily generate any pseudo 3D image. Further, a shaping process of performing a partial correction to be pulled toward the image after the 3D conversion on a peripheral image that has not been 3D-converted is further performed on a joint portion between an image region where the 3D conversion is performed and an image region where the 3D conversion is not performed. By doing so, a more natural image is obtained as a projected image obtained by combining both image areas.
[0010]
[Means for Solving the Problems]
The technical means according to the present invention comprises: a projection surface obtaining means for obtaining shape data of a free-form projection surface; a 3D conversion area designating means for designating a 3D conversion area of a projection image projected on the projection surface; A 3D conversion parameter specifying unit for specifying a 3D conversion parameter for selecting a 3D conversion method to be performed on the image; and a 3D conversion unit for performing 3D conversion on the projection image, wherein the 3D conversion unit includes: With reference to the shape data and the 3D conversion parameter, the image in the 3D conversion area of the projection image is subjected to 3D conversion, and a non-designated image not specified by the 3D conversion area specifying means in the projection image is used. It is a pseudo 3D image producing apparatus for performing image synthesis with an image of a 3D conversion area.
[0011]
Further, the technical means according to the present invention includes: a projection surface obtaining means for obtaining shape data of a projection surface having a free shape; a 3D conversion area specifying means for specifying a 3D conversion area of a projection image projected on the projection surface; A 3D conversion parameter specifying unit for specifying a 3D conversion parameter for selecting a 3D conversion method to be performed on the projection image; a 3D conversion unit for performing 3D conversion on the projection image; and the 3D conversion area specifying unit. Shaping area designating means for designating a peripheral area including a junction between the designated 3D conversion area and a non-designated non-3D transformation area as a shaping area, and an image of the shaping area designated by the shaping area designating means Shaping means for partially correcting the shape data and the 3D conversion parameters. With reference to the data, the 3D conversion is performed on the image in the 3D conversion area in the projection image, the image is synthesized with the image in the non-3D conversion area in the projection image, and the image in the shaping area is synthesized. A pseudo 3D image producing apparatus for performing partial correction by the shaping means.
[0012]
Further, the technical means according to the present invention is characterized in that, in the image of the shaping area, the partial correction performed by the shaping means is performed on the non-3D conversion area in the image of the shaping area with reference to the 3D conversion content performed by the 3D conversion means. A pseudo 3D image producing apparatus for performing a correction such that the image is contracted or expanded so as to be pulled toward the 3D-converted image side in the 3D conversion area.
[0013]
Further, the technical means according to the present invention is such that the shaping area specified by the shaping area specifying means is provided at the junction between the 3D conversion area and the non-3D conversion area after the 3D conversion in the 3D conversion area. At least a portion where both images of the image and the image of the non-3D conversion area overlap each other and / or a portion where both images are missing and / or a portion where the distortion is not corrected due to distortion of the image caused by distortion of the projection surface. This is a pseudo 3D image producing apparatus which is the peripheral area including one place.
[0014]
Further, the technical means according to the present invention is characterized in that the shading area designated by the shaping area designating means is a pseudo 3D image producing apparatus capable of including a plurality of arbitrary areas in the projection image. It is assumed that.
[0015]
Further, the technical means according to the present invention is such that the shaping area specified by the shaping area specifying means inputs a shaping area data file in which area data to be partially corrected is stored in advance, or the 3D By automatically determining the shaping area from the conversion area and the contents of the 3D conversion performed by the 3D conversion means, or by specifying one or more of the shaping areas by the user himself / herself. , A pseudo 3D image producing apparatus that specifies the shaping area and specifies shaping instruction information indicating the method of the partial correction to be performed in accordance with the shaping area.
[0016]
Further, the technical means according to the present invention is a pseudo 3D image producing apparatus capable of including a plurality of arbitrary areas in the projection image as the 3D conversion area specified by the 3D conversion area specifying means. It is characterized by the following.
[0017]
The technical means according to the present invention is characterized in that the 3D conversion area designating means inputs the area data to be 3D-converted from a 3D conversion area data file in which the data is stored in advance, or the 3D conversion parameter designating means The 3D conversion area is automatically determined from the obtained 3D conversion parameters, or the user himself / herself specifies the 3D conversion area. A pseudo 3D image producing apparatus to be designated is characterized.
[0018]
Further, the technical means according to the present invention is characterized in that the 3D conversion parameter designating means inputs parameter data indicating a 3D conversion method to be 3D-converted from a 3D conversion parameter data file storing in advance, or A pseudo 3D image producing apparatus that specifies the 3D conversion parameter by using one or a plurality of the 3D conversion parameters by itself.
[0019]
Further, a technical means according to the present invention includes the pseudo 3D image producing apparatus according to any one of the technical means according to the present invention, regardless of whether an image is being projected or not. According to another aspect of the present invention, there is provided a projector device capable of performing 3D conversion and, in some cases, projecting an image obtained by partially correcting the projected image by the shaping means.
[0020]
When projecting a projection image on a projection surface having a free shape (including a planar shape), an image area to be subjected to 3D conversion and a 3D conversion are performed as a 3D conversion function of the projection image projected on the projection surface. A non-image area can be specified, and a composite image obtained by synthesizing a 3D-converted image and an unimaged image using one projection image can be projected. In addition, one or more arbitrary number of regions to be subjected to 3D conversion (in other words, regions not to be subjected to 3D conversion) can be designated. Thus, it is possible to obtain an image portion that is faithful to the projection image and a pseudo 3D image portion regardless of the shape of the projection surface from one projection image, and combine and project both image portions. If only one projection image is prepared, an image with a great effect can be obtained.
[0021]
Further, a shaping process for partially correcting an image of the non-3D conversion area toward the image after the 3D conversion is performed on a peripheral area including a joint portion between the 3D conversion area and the non-3D conversion area. As a result, the 3D-converted image and the image in the non-3D-converted area are smoothly joined, and the overlapped portion of the images, the missing portion of the image, and the distortion correction are leaked at the joined portion of the two images, resulting in the post-combination. A situation in which an image becomes unnatural can be prevented.
[0022]
Furthermore, by appropriately selecting and specifying the 3D conversion area specified by the 3D conversion area specifying means and the 3D conversion content of the image in the 3D conversion area, regardless of the shape of the projection surface having a free shape, Desired 3D conversion can be performed. For example, if it is desired to obtain a 3D effect that looks wavy, it is possible to perform 3D conversion that changes temporally, that is, dynamically changes, by dynamically changing and giving the 3D conversion parameter. It is.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of a pseudo 3D image production device and a projector device according to the present invention will be described below with reference to the drawings.
Here, an embodiment in which the pseudo 3D image production apparatus and the projector apparatus are combined will be described. However, it is naturally possible to adopt a mode in which the pseudo 3D image production apparatus is built in the projector apparatus.
[0024]
FIG. 1 is a block diagram showing a first embodiment of a pseudo 3D image producing apparatus and a projector apparatus according to the present invention.
In FIG. 1, the pseudo 3D image producing device 10 and the projector device 20 are configured separately. The pseudo 3D image producing apparatus 10 includes an image input unit 11 for inputting a projection image to be projected on a projection surface, a projection surface acquisition unit 14 for obtaining shape data indicating a shape of a projection surface of a free-form screen 23, and a projection unit. 3D conversion area specifying means 15 for specifying a 3D conversion area of a projection image to be projected on a surface; 3D conversion parameter specifying means 16 for specifying 3D conversion parameters for selecting a 3D conversion method to be applied to the projection image; Referring to the shape data obtained by the acquisition unit 14, the 3D conversion parameter obtained by the 3D conversion parameter specifying unit 16, and the 3D conversion area specified by the 3D conversion area specifying unit 15, a free shape is formed. 3D conversion means 12 for performing 3D conversion of a projection image projected on a screen 23 having a projection surface; And an image output unit 13 for outputting an image force to the projector device 20.
[0025]
Further, the projector device 20 includes a projection unit 21 that generates an image to be projected on the projection surface from an image input from the pseudo 3D image production device 10, and an image generated by the projection unit 21 on the projection surface of the screen 23. A projection lens 22 is provided for projection, and a screen 23 having a projection surface having a free shape (including a flat shape) such as a flat portion, an uneven portion, or a curved surface portion is provided.
[0026]
Each circuit block in the pseudo 3D image production apparatus 10 performs the following processing. The image input means 11 provides a means for inputting a projection image to be projected on a projection surface based on an image file stored in a flash memory or the like or an input signal relating to image data from a personal computer or the like. The projection image is transmitted to the That is, the image input unit 11 provides a unit for inputting not only an external device but also an image stored in the pseudo 3D image producing apparatus 10 as a projection image.
[0027]
The 3D conversion parameter designating unit 16 designates a 3D conversion parameter for selecting a 3D conversion method to be performed on the projection image input from the image input unit 11 in the 3D conversion unit 12. A means for providing a desired 3D effect to the input projection image in order to generate a pseudo 3D image projected on the projection surface on the screen 23 of the screen 20 and actually viewed by the viewer. I have. Here, the 3D conversion parameter designating means 16 refers to the shape data of the projection surface obtained from the projection surface acquisition means 14 and applies a 3D effect having a three-dimensional effect to the projection image regardless of the shape of the projection surface. And a 3D conversion parameter instructing to perform a 3D conversion for giving a dynamic 3D effect accompanied by a simulated movement to the projection image, by using each of the projection images specified by the 3D conversion area specifying unit 15. It is also possible to specify each of the 3D conversion areas.
[0028]
The 3D conversion parameter specified by the 3D conversion parameter specifying means 16 is input from a 3D conversion parameter data file in which parameter data specifying a 3D conversion method to be performed on the projection image is stored in advance or the user himself or herself. Is set by using any one or a plurality of means for specifying the 3D conversion method. Further, the 3D conversion parameter may be set for the entire projection image input from the image input unit 11 or may be set for only the 3D conversion area specified by the 3D conversion area specifying unit 15. If there are a plurality of 3D conversion areas designated by the 3D conversion area designating means 15, they may be set separately for each 3D conversion area.
[0029]
Further, the projection surface acquisition means 14 acquires shape data (including the size of the projection surface) indicating the shape of the projection surface of the screen 23 for projecting a projection image, for example,
・ Input a shape data file that stores shape data indicating the shape of the projection surface in advance
・ Input the shape data of the projection surface obtained by imaging with CCD camera etc.
The size of the projection surface of the screen 23 and the shape of the projection surface are indicated by using one or a plurality of means such as directly inputting the shape data of the projection surface through the user interface by the user himself / herself. A means for obtaining shape data of the projection surface is provided, and the obtained shape data is sent to the 3D conversion means 12.
[0030]
The 3D conversion area designating unit 15 specifies, for example, a 3D conversion area for performing 3D conversion on the projection image, for example,
-Input a 3D conversion area data file that stores in advance area data indicating an image area to be 3D converted
• Automatically determine the 3D conversion area from the 3D conversion parameters obtained by the 3D conversion parameter designating means
-The user himself specifies the 3D conversion area directly via the user interface
By using one or a plurality of means such as the above, an arbitrary number of 3D conversion areas are specified (that is, one or more 3D conversion areas are specified), and the specified 3D conversion areas are transmitted to the 3D conversion means 12. . Here, as the 3D conversion area specified by the 3D conversion area specifying means 15, a plurality of areas in the projected image can be specified.
[0031]
The 3D conversion area designating means 15 designates not the image area to be subjected to the 3D conversion, that is, the 3D conversion area itself, but the image area to which the 3D conversion is not to be applied, that is, the non-3D conversion area. May be. The 3D conversion amount calculated by the 3D conversion amount calculation unit 12b is further projected according to the 3D conversion area obtained from the 3D conversion area specification unit and the 3D conversion parameter information from the 3D conversion parameter specification unit 16. With reference to the shape data obtained from the plane obtaining means 14, the data is adaptively obtained for each 3D conversion area.
[0032]
The 3D conversion means 12 first extracts each 3D conversion area designated by the 3D conversion area designation means 15 from the projection image input from the image input means 11, that is, the original image, by the 3D conversion area extraction unit 12a. With reference to the shape data of the projection surface obtained by the projection surface obtaining means 14 and the 3D conversion parameters obtained by the 3D conversion parameter designating means 16, 3D conversion is performed on the extracted original image of each 3D conversion area. The respective 3D conversion amounts are calculated by the 3D conversion amount calculation unit 12b, and the 3D conversion image generation unit 12c performs 3D conversion based on the calculated 3D conversion amounts to generate 3D conversion images. The synthesizing unit 12d synthesizes each 3D-converted image with a non-3D-converted image (original image) that has not been subjected to 3D conversion, and outputs the synthesized image to the image output unit 13.
[0033]
In other words, even when a plurality of areas are designated as the 3D conversion areas by the 3D conversion area designating means 15, each of the 3D conversion areas has its own 3D conversion function according to the 3D conversion parameters obtained from the 3D conversion parameter designating means 16. 3D conversion suitable for the area is performed, and each 3D-converted image is combined with an original image in an area that has not been 3D-converted and output to the image output unit 13.
[0034]
Further, the 3D conversion amount calculated by the 3D conversion amount calculation unit 12b refers to the shape data of the projection surface obtained by the projection surface acquisition unit 14 and is determined according to the 3D conversion parameter obtained from the 3D conversion parameter designation unit 16. It is calculated based on the 3D conversion parameters (for example, the 3D conversion parameters specified by the data file or the instructions from the user) by the 3D conversion parameter specifying unit 16, regardless of the shape of the projection surface. For example, if it is desired to add a three-dimensional effect to the projected image, a desired shading amount is calculated as a 3D conversion amount, or if it is desired to make the image look wavy, the 3D conversion parameter designating unit 16 is used. To specify a 3D conversion parameter that changes over time, and calculates a 3D conversion amount that changes over time. It is also possible to generate an image as a time varying i.e. dynamically.
[0035]
The image output unit 13 converts the composite image input from the 3D conversion unit 12 (that is, an image obtained by synthesizing each of the 3D converted image and the non-3D converted image) into a transmittable signal format. For example, the image data is transmitted to the projector device 20 via an image output terminal connected to an optical cable, a coaxial cable, or the like.
[0036]
In the projector device 20, the received image is converted into a projection image by the projection unit 21, and is projected via the projection lens 22 onto a screen 23 having a free-form projection surface.
[0037]
Thus, according to the first embodiment shown in FIG. 1, it is possible to specify the projection plane acquisition means 14 for acquiring the shape data of the projection plane of the screen 23 and one or more 3D conversion areas at any time. By providing a 3D conversion area specifying unit 15 that can perform the 3D conversion and a 3D conversion parameter specifying unit 16 that specifies what kind of 3D conversion is performed, one projection is performed not only before the image is projected but also during the image projection. Since one or a plurality of arbitrary 3D conversion areas can be designated from the image to perform the 3D conversion, an image with a rich effect can be obtained.
[0038]
FIG. 2 is a block diagram showing a second embodiment of the pseudo 3D image producing apparatus and the projector apparatus according to the present invention.
In the present embodiment, the pseudo 3D image producing apparatus 10 'additionally includes a shaping area designating means 17 and the 3D converting means 12' differs from the first embodiment shown in FIG. 12e is further added. The shaping area designation means 17 is a means for designating a peripheral area including a joint portion between the 3D conversion area specified by the 3D conversion area specification means 15 and a non-3D conversion area not specified as a shaping area. Further, the shaping area designation unit 17 may include, in the peripheral area, the image after the 3D conversion in the 3D conversion area and the non-3D conversion area in the junction between the 3D conversion area and the non-3D conversion area. The peripheral region including at least one portion where both images overlap with each other and / or a portion where both images are missing and / or a portion where distortion correction is omitted due to image distortion caused by distortion of the projection surface. You may select and specify as a shaping area. On the other hand, the shaping processing section 12e is a means for performing partial correction on the image of the shaping area designated by the shaping area designation means 17, and provides means for removing unnaturalness of the synthesized projected image. Things.
[0039]
In other words, the shaping area specifying unit 17 and the shaping processing unit 12e use the 3D conversion image generation unit 12c of the 3D conversion unit 12 to convert the 3D converted image to the 3D conversion area specified by the 3D conversion area specifying unit 15. After the generation, with respect to the synthesized image synthesized by the image synthesis unit 12d of the 3D conversion unit 12, the image where the image overlaps and / or the image is missing at the junction between the 3D conversion area and the non-3D conversion area In order to solve a case where a problem such as a portion where there is no image and / or a portion where distortion correction is omitted occurs, the image of the non-3D conversion region among the image regions in the shaping region is placed on the 3D conversion image side. Means is provided for performing a partial correction process (that is, a shaping process) such as contraction or expansion as if pulled.
[0040]
The shaping area designating unit 17 specifies, for example, a shaping area for performing a shaping process on the synthesized image.
Input a shaping area data file that stores area data to be subjected to shaping processing (that is, partial correction) in advance
・ Shaping area is automatically determined from 3D conversion area and 3D conversion contents to be subjected to 3D conversion
-The user himself specifies the shaping area via the user interface
The shaping area is designated by using one or a plurality of means such as above, and the designated shaping area is transmitted to the 3D conversion means 12. Further, similarly to the case of the 3D conversion area specified by the 3D conversion area specifying means 15, the shaping area specifying means 17 can specify a plurality of shaping areas.
[0041]
Further, the shaping area specifying means 17 can also specify shaping instruction information indicating a method of the partial correction processing to be performed corresponding to each shaping area, and the partial correction processing ( That is, the shaping process) is executed with reference to the image after the 3D conversion generated by the 3D conversion image generation unit 12c according to the shaping instruction information for each shaping region from the shaping region designation unit 17.
[0042]
That is, the shaping processing unit 12e of the 3D conversion unit 12 converts the 3D conversion amount for the image of each shaping region specified by the shaping region specifying unit 17 according to the shaping instruction information for each specified shaping region. With reference to the 3D conversion amount calculated by the calculation unit 12b, that is, the contents of the 3D conversion, partial correction is performed so that the image before the 3D conversion contracts or expands so as to be pulled toward the 3D-converted image.
[0043]
As described above, the 3D conversion image generation unit 12c of the 3D conversion unit 12 generates a 3D conversion image for the 3D conversion area specified by the 3D conversion area specification unit 15, and the 3D conversion image is specified by the shaping area specification unit 17. The shaping processing unit 12e of the 3D conversion unit 12 performs a partial correction, that is, a shaping process on the shaped area, and sends the synthesized image subjected to the shaping process to the image output unit 13. The other blocks are exactly the same as those described above for each block shown in FIG.
[0044]
Thus, according to the second embodiment shown in FIG. 2, similarly to the case of the first embodiment shown in FIG. 1, not only before the image is projected but also during the image projection, It is possible to specify one or a plurality of arbitrary 3D conversion areas from one projection image to perform 3D conversion, and further, by performing shaping processing, an image subjected to 3D conversion and an image not subjected to 3D conversion The unnaturalness of the joint portion between the projection image and the projection image can be eliminated, and a projection image with a more effective rendering effect can be obtained.
[0045]
The operations relating to the pseudo 3D image producing apparatuses 10 and 10 'and the projector apparatus 20 shown in FIGS. 1 and 2 will be described more specifically with reference to the schematic diagrams of FIGS.
FIG. 3 is a schematic diagram showing an example of the projection surface of the screen 23 having a projection surface having a free shape. In the schematic diagram shown in FIG. 3, reference numeral 31 denotes a rectangular projection surface which is an entire projectable area on the screen 23, and reference numeral 32 denotes a concave distortion portion formed in a lower left area of the projection surface 31. Is shown.
FIG. 4 is a schematic diagram schematically showing an operation of each means for performing 3D conversion on a projection image projected on the projection surface 31 having the concave distortion portion 32 as shown in FIG.
[0046]
First, using the image input unit 11 shown in FIG. 1, a projection image to be projected on the projection surface 31 having a shape as shown in FIG. 3, that is, an original image 41 is obtained and transmitted to the 3D conversion unit 12. Further, the shape data of the projection surface 31 of the screen 23 (data indicating the shape and size of the concave distortion portion 32 in the lower left area of the projection surface 31) is obtained by using the projection surface obtaining means 14 shown in FIG. Then, the data is sent to the 3D conversion means 12. Further, the 3D conversion parameter designating unit 16 shown in FIG. 1 obtains 3D conversion parameters for generating a pseudo 3D image to be displayed when the projection image is projected on the projection surface 31 as shown in FIG. It is sent to the conversion means 12.
[0047]
In FIG. 4, regardless of whether the 3D conversion area specifying unit 15 specifies the 3D conversion area, an area where 3D conversion is to be performed on the entire area of the original image 41 is set, and an image of a 3D effect to be added is generated. This shows an example in which a 3D conversion parameter for specifying a conversion method of 3D conversion is specified for each power region, and a lower left portion of a projection image corresponding to the same position as the lower left distortion portion 32 of the projection surface 31 is shown. Two parameters are specified: a 3D conversion parameter 16 'that specifies a 3D conversion method to be applied to the image area, and a 3D conversion parameter 16 ″ that specifies a 3D conversion method to be applied to the upper right image area of the projected image. This is an example.
[0048]
Further, the 3D conversion area designating section 15 shown in FIG. 1 designates an image area to be subjected to 3D conversion in the projection image as a 3D conversion area 42 a and sends it to the 3D conversion section 12. Note that the 3D conversion area specifying means 15 can specify an arbitrary area and any number as a 3D conversion area.
[0049]
Next, the 3D conversion unit 12 extracts the 3D conversion area image 42 specified as the 3D conversion area 42a by the 3D conversion area specification unit 15 from the original image 41 by the 3D conversion area extraction unit 12a shown in FIG. . Further, the 3D conversion unit 12 refers to the shape data of the projection surface 31 of the screen 23 and the 3D conversion parameters obtained by the 3D conversion parameter designating unit 16 by the 3D conversion amount calculation unit 12b, and the 3D conversion area image 42 The 3D conversion amount to be subjected to 3D conversion for each part (that is, the 3D conversion specified by the 3D conversion parameter specifying means 16 in consideration of the shape of the concave portion of the concave distortion part 32 on the projection surface 31) (A conversion amount for generating an image having a shape designated by the parameter).
[0050]
Further, the 3D conversion unit 12 performs 3D conversion on the 3D conversion area image 42 by using the 3D conversion amount calculated by the 3D conversion amount calculation unit 12b by the 3D conversion image generation unit 12c illustrated in FIG. And generates a 3D converted image 42 '.
[0051]
Thereafter, the 3D conversion unit 12 converts the non-3D converted image 43 in the remaining non-3D conversion area not specified as the 3D conversion area 42a by the 3D conversion area specifying unit 15 by the image synthesis unit 12d illustrated in FIG. The 3D converted image 42 'generated by the 3D converted image generating unit 12c is synthesized to generate a synthesized image 41' corresponding to the original image 41, and the projector device 20 is output via the image output unit 13 shown in FIG. And the image is projected on the projection surface 31 of the screen 23. The projection image on the projection surface 31 of the screen 23 is designated by the 3D conversion processing by the 3D conversion means 12, even if the projection surface 31 of the screen 23 has the concave distortion portion 32, the designated 3D conversion area designation In the image area of the original image 41 in the 3D conversion area 42a specified by the means 15, a pseudo 3D image having the shape specified as the 3D conversion parameter 16 'by the 3D conversion parameter specifying means 16 is faithfully projected. State.
[0052]
However, when the synthesized image 41 ′ synthesized by the image synthesizing unit 12 d of the 3D conversion unit 12 is confirmed in detail, the 3D conversion region 42 a specified by the 3D conversion region specifying unit 15 and the non-3D conversion region not specified are In the joint portion, there is an overlapping portion where the images of both regions overlap each other, the distortion correction of the projected image caused by the distorted portion 32 of the projection surface 31 is leaked, or the images of both regions are both There are missing gaps. That is, as shown in FIG. 5, the composite image 41 'created by the 3D conversion means 12 has a distortion correction leaking part 51 in which distortion correction leaks at a joint between the non-3D conversion area image 43 and the 3D conversion image 42'. In addition, there is a gap 52 where both images are missing, and in some cases, the naturalness as a composite image is lost. FIG. 5 is a schematic diagram showing an example of the state of the composite image 41 ′ after the 3D conversion and the state of the projection surface.
[0053]
In order to solve such a problem, as shown in FIG. 2 described above, the shaping process is performed on the peripheral region including the joint portion by additionally providing a shaping region designating unit 17 and a shaping processing unit 12e. .
[0054]
Next, a specific example of the shaping process will be further described. FIG. 6 is a schematic diagram showing an example of the state of the shaping area including the joint between the 3D conversion area and the non-3D conversion area and the state of the projection surface. As shown in FIG. 6, the shaping area is smaller than the area corresponding to the 3D conversion area 42a and the concave distortion part 32 on the projection surface 31 shown in FIG. A widely estimated peripheral area is secured. In other words, as shown in FIG. 6, the region image including the distortion correction leak portion 51 and the gap portion 52 existing at the joint portion between the non-3D converted image 43 and the 3D converted image 42 'in the composite image 41' is shaped. The area image 61 is secured. As shown in FIG. 7, an image before the 3D conversion in the shaping area where the shaping area image 61 exists (that is, an original shaping area image which is the original image 41 in the shaping area) is stored in advance. FIG. 7 is a schematic diagram showing the state of the shaping area original image and the state of the projection surface before the 3D conversion and the shaping processing are performed as a square lattice pattern.
[0055]
The 3D conversion of the 3D conversion area image 42 corresponding to the concave distortion part 32 of the projection surface 31 in the shaping area image 61 is performed by the 3D conversion image generation unit 12c of the 3D conversion unit 12 as described above. 8 based on the shaping area image 61 of the square lattice pattern stored as shown in FIG. 7 by the shaping processing unit 12e of the 3D conversion means 12 for the peripheral image after the 3D conversion is performed. As shown in the shaping area image 61 'shown, partial correction in which a peripheral image that has not been 3D-converted is contracted and / or expanded so as to have a lattice pattern that is pulled by a 3D-converted image 42' that has been subjected to 3D conversion. (Shaping process) is performed. FIG. 8 is a schematic diagram showing a state after the shaping process has been performed on the shaping area image 61 designated as the shaping area. Thus, even if the projection surface 31 has the distorted portion 32, the pseudo 3D image faithful to the shape specified by the 3D conversion parameter specified by the 3D conversion parameter specifying unit 16 is converted into a 3D image. It is possible to generate and project the image by the conversion means 12 and to perform a partial correction called a shaping process on the peripheral image which is not subjected to the 3D conversion, thereby forming a joint between the 3D converted image and the non-3D converted image. Can be displayed smoothly and properly, and the unnaturalness of the joint can be eliminated.
[0056]
In the pseudo 3D image production apparatuses 10 and 10 'and the projector apparatus 20 according to the present invention, as described above, the 3D conversion area for performing the 3D conversion and / or the non-3D conversion area for which the 3D conversion is not performed are further performed. Also, it is possible to specify a plurality of shaping areas for performing the shaping process.
[0057]
As described above, in the pseudo 3D image producing apparatuses 10 and 10 ′ and the projector apparatus 20 according to the present invention, for one projection image obtained by using one image input unit 11 or for the projection One or more arbitrary image regions in the image can be freely subjected to 3D conversion processing. With this, for example, when projecting an image of the sea surface, when it is desired to convert a wave portion into a 3D image and dynamically convert the wave into a wavy state and project the wave, a projection surface acquisition unit 14 and a 3D conversion area designating unit 15 and the 3D conversion parameter specifying unit 16 and the shaping area specifying unit 17, the original image, the 3D converted image, and the shaping conversion are performed by the 3D converting unit 12 on the projection surface having any free shape. By generating the image and the synthesized image and transmitting the synthesized image from the image output means 13 to the projector device 20, the wave portion of the sea surface image projected on the projection surface of the screen 23 is like a dynamically changing 3D image. Then, it can be shown in a pseudo wavy state.
[0058]
Next, an example of a display screen of a racing game machine using a simple marine jet will be described as an example to which the pseudo 3D image producing apparatuses 10, 10 'and the projector apparatus 20 according to the present invention are applied. FIG. 9 is a schematic diagram showing one screen of a marine jet racing game to which the pseudo 3D image producing apparatuses 10, 10 'and the projector apparatus 20 according to the present invention are applied.
[0059]
In FIG. 9, reference numeral 91 denotes a marine jet operated by a player playing the marine jet racing game, 92 denotes a goal aimed by the marine jet 91, and 93 denotes a marine (sea) wave. Further, 94 indicates the elapsed time from the start of the game, 95 indicates the current ranking of the marine jet 91 operated by the gamer, and 96 indicates the score in the marine jet racing game.
[0060]
In the screen shown in FIG. 9, a plurality of areas are designated by the 3D conversion parameter designation means 16 and the 3D conversion area designation means 15 on the display portion of the marine (sea) wave 93, and the waves are waved by the 3D conversion means 12. By performing the various 3D conversions on each screen, the display portion of the marine (sea) wave 93 is displayed on the screen so that it can be seen dynamically waving. Also, for the marine jet 91 and the goal 92, the 3D conversion parameter specifying unit 16 and the 3D conversion region specifying unit 15 specify the area, and the 3D conversion unit 12 converts the area into a 3D image. By projecting the marine jet 91 and the goal 92, a more powerful screen display can be expected.
[0061]
Even if the 3D conversion parameter designating unit 16 specifies an image area for which 3D conversion has been designated by a 3D conversion parameter, whether or not to perform 3D conversion on each image area is determined by 3D conversion. This can be performed by the area specifying means 15. Therefore, for example, in a case where a situation in which it is not desired to convert the marine jet 91 into 3D occurs, the 3D conversion area designating unit 15 may be configured not to select the image portion of the marine jet 91 as the 3D conversion area.
[0062]
On the other hand, if the image has no particular effect of 3D conversion, such as the elapsed time 94, the current ranking 95, and the score 96, the 3D conversion parameter specifying unit 16 need not specify any 3D conversion parameters. Further, as described above, even if some 3D conversion parameters are given by the 3D conversion parameter designating unit 16, the 3D conversion region designating unit 15 sets a non-3D conversion region that is not designated as a region for performing 3D conversion. The projected image obtained by the image input means 11 can be displayed on the screen without performing 3D conversion. Further, as described above, by specifying a plurality of arbitrary areas as shaping areas by the shaping area specifying means 17, shaping processing is performed on the image of each area using the shaping processing unit 12e of the 3D conversion means 12. Therefore, the peripheral image of the 3D converted image can be made a smooth image while maintaining naturalness.
[0063]
It should be noted that the block configurations of the pseudo 3D image production apparatuses 10 and 10 'and the projector apparatus 20 shown in FIGS. 1 and 2 are merely examples, and the present invention is not limited to such configurations. . For example, as described above, a pseudo 3D image production device may be built in the projector device, or a projection image once input to the projector device may be taken out to the pseudo 3D image production device side to perform 3D image generation. The combined image after the conversion and the shaping process may be sent back to the projector device again to project the synthesized image after the 3D conversion and the shaping process on the projection surface. Alternatively, the 3D conversion means 12, the projection plane acquisition means 14, and / or the 3D conversion area designating means 15, and / or the 3D conversion parameter designating means 16 and / or the shaping area designating means 17 are composed of different devices and are different from each other. May be connected.
[0064]
The specific embodiment of the 3D conversion and shaping processing described with reference to FIGS. 3 to 9 is merely an example, and the present invention is not limited to only such a case. The designating unit 16 may be configured to be included in the 3D conversion amount calculation unit 12b of the 3D conversion unit 12, or the displacement amount to be applied to the original image as the 3D conversion parameter designated by the 3D parameter designating unit 16 -The direction of displacement may be specified.
[0065]
Further, the projection surface acquisition means 14 is not limited to only acquiring the shape data of the projection surface from the shape data file in which the shape data of the projection surface is stored in advance. It is also possible to use the shape of the projected surface or the shape specified by the user in real time as the shape of the projection surface. Also, the shaping area designating means 17 not only automatically designates a peripheral area including the 3D conversion area designated by the 3D conversion area designating means 15 as a shaping area, but also stores information for designating the shaping area in advance. It can be specified by the shaping area data file specified, or can be specified in real time by the user himself.
[0066]
【The invention's effect】
As described above, according to the pseudo 3D image producing apparatus and the projector apparatus according to the present invention, a projection image prepared on a projection surface having a free shape (including a planar shape) is prepared using an image input unit. With respect to the one projected image, 3D conversion can be performed on an image in a specified arbitrary image area, and a plurality of image areas can be simultaneously specified as areas for performing 3D conversion. In addition, by performing shaping processing on a joint portion between an image area where 3D conversion is performed and an image area where 3D conversion is not performed, a smooth image with naturalness can be obtained even when images of both areas are combined. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a pseudo 3D image producing apparatus and a projector apparatus according to the present invention.
FIG. 2 is a block diagram illustrating a pseudo 3D image producing apparatus and a projector according to a second embodiment of the present invention.
FIG. 3 is a schematic diagram illustrating an example of a projection surface of a screen having a projection surface having a free shape.
FIG. 4 is a schematic diagram schematically showing the operation of each means for performing 3D conversion on a projection image projected on a projection surface having a concave distortion portion as shown in FIG. 3;
FIG. 5 is a schematic diagram showing an example of a state of a composite image and a state of a projection surface after 3D conversion has been performed.
FIG. 6 is a schematic diagram illustrating an example of a state of a shaping area including a joining portion between a 3D conversion area and a non-3D conversion area and a state of a projection surface.
FIG. 7 is a schematic diagram showing a state of a shaping area original image and a state of a projection surface before a 3D conversion and a shaping process are performed, as a square lattice pattern.
FIG. 8 is a schematic diagram showing a state after a shaping process has been performed on a shaping area image designated as a shaping area;
FIG. 9 is a schematic diagram showing one screen of a marine jet racing game to which the pseudo 3D image producing device and the projector device according to the present invention are applied.
[Explanation of symbols]
10, 10 '... pseudo 3D image production device, 11 ... image input means, 12, 12' ... 3D conversion means, 12a ... 3D conversion area extraction unit, 12b ... 3D conversion amount calculation unit, 12c ... 3D conversion image generation unit, 12d: image synthesizing unit, 12e: shaping processing unit, 13: image output unit, 14: projection plane obtaining unit, 15: 3D conversion area specifying unit, 16: 3D conversion parameter specifying unit, 16 ', 16 ": 3D conversion parameter , 17 ... Shaping area designating means, 20 ... Projector device, 21 ... Projection unit, 22 ... Projection lens, 23 ... Screen, 31 ... Projection surface, 32 ... Distortion unit, 41 ... Original image, 41 '... Synthesized image, 42 ... 3D conversion area image, 42 ': 3D conversion image, 42a: 3D conversion area, 43: non-3D conversion image, 51: distortion correction leaking part, 52: gap part, 61, 61': shapin Area image, 91 ... Marine jets 92 ... goal, waves of 93 ... Marine (sea), 94 ... time elapsed, 95 ... current ranking, 96 ... score.
