JP2004247978A

JP2004247978A - Projected image correction apparatus and projector

Info

Publication number: JP2004247978A
Application number: JP2003035884A
Authority: JP
Inventors: Hideaki Takahashi; 秀明高橋; Kazuya Arakawa; 荒川　　和也
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02
Anticipated expiration: 2023-02-14
Also published as: JP3970192B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a projected image correction apparatus for designating an optional area in a projected image to correct distortion and projecting a resulting image to a projection face of a free shape so as to project more natural images on the projection face. <P>SOLUTION: A distortion image generating section 12c references the shape data of the projection face obtained by a projection face acquisition means 14 to generate a distortion correction image resulting from correcting distortion of an image in a distortion correction area designated by a distortion correction area designation means 15 among projected images obtained by an image input means 11, composes the distortion correction image with an image in a no-distortion correction area whose distortion is not corrected among the projected images and projects the composed image on the projection face of a screen 23 via an image output means 13. A shaping section 12e furthermore applies partial correction to an image in an area designated as a shaping area by a shaping area designation means 16 among peripheral areas including the joining parts between the distortion correction area and the no-distortion correction area. A plurality of optional areas can be designated for the distortion correction area and the shaping area, and the distortion correction area designation means 15 can indicate distortion correction contents for each area. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、投映画像補正装置及びプロジェクタ装置に関し、特に、凹凸部、曲面部等の自由形状からなる投映面に画像を投映する際に、投映面に投映する１つの投映画像に対して歪補正を行なう歪補正領域を任意数指定可能とし、歪補正領域の歪補正後の画像と非歪補正領域の画像とを画像合成して投映画像を得る投映画像補正装置及びプロジェクタ装置に関する。
【０００２】
【従来の技術】
従来、画像を投映するプロジェクタ装置のスクリーンとしては、一般的には平面形状の平面スクリーンが用いられるが、投映された画像をより効果的に演出するなどの目的のために、凹凸面や曲面の形状を有するスクリーンに対して投映するような投映方法も提案されている。更には、かくのごとき凹凸面や曲面形状のスクリーンに対して投映する画像のうち、スクリーン形状による歪を伴うことなく原画像を忠実に投映させたい画像については、予め歪補正を行なった後に、凹凸面や曲面形状のスクリーンに投映するという投映技術も提案されており、例えば、特許文献１に示すような技術が開示されている。
【０００３】
ここで、前記特許文献１を参照すると、円球状の形状からなるドームスクリーンに対してプロジエクタ装置から画像を投映する場合に、プロジエクタ装置に入力する前に、正方格子パターンからなる画像を、正方格子形状がビール樽の外周のように外側に膨んだ樽巻格子パターンになるように歪ませることとしている。
而して、正方格子パターンの画像がそのままプロジエクタ装置によりドームスクリーンに投映された場合には、正方格子パターンが内側に収縮した糸巻格子パターンの画像として投映されることとなり、投映された画像として原画像を忠実に表示させることができないが、前述のごとく、プロジエクタ装置に入力する前に糸巻格子パターンと逆形状の樽巻格子パターンの画像に予め歪ませているので、実際にドームスクリーンに投映された際には、スクリーンに投映された画像は樽巻格子パターンと糸巻格子パターンとが打ち消し合い、正方格子パターンの原画像を忠実に表示させることができる。
【０００４】
つまり、プロジェクタ装置への入力画像として、歪補正の必要性の有無により２種類の画像を予め用意して、ドームスクリーンの形状に応じて歪ませて演出効果を得たい画像部分はそのまま合成回路に入力し、一方、ドームスクリーンの形状による歪を補正して、元の入力画像のまま忠実に投映しなければならない画像部分は歪補正回路に入力して予め樽巻格子パターンに歪ませた歪補正画像として合成回路に入力し、合成回路で２つの画像を合成した合成画像をドームスクリーンに投映することにより、より効果的な演出がなされた投映画像を映し出すことができる。
【０００５】
【特許文献１】
特開平３−８２４９３号公報（第２−３頁、第２図、第３図）
【０００６】
【発明が解決しようとする課題】
しかしながら、前述の従来例においては、プロジェクタ装置に対して入力する画像として、予め２つの入力画像を用意する必要があり、一方の入力画像は歪補正を行なわない画像とし、他方の入力画像は歪補正を行なう画像としている。従って、プロジェクタ装置により投映を行なう前に、歪補正をする画像と歪補正をしない画像とを予め決定しておく必要があり、プロジェクタ装置による画像の投映中に、歪補正を行なう歪補正領域と歪補正を行なわない非歪補正領域とを自在に変更することは不可能である。
【０００７】
更には、入力する画像として、歪補正を行なう画像領域と歪補正を行なわない画像領域とを変更したい要求が発生した場合に、２つの入力画像それぞれに対して変更を行なわなければならないので手数がかかり非効率的である。
また、自由形状からなる表面形状の投映面に対して投映する画像に対して、擬似的な３Ｄ効果や動的効果を付与した画像を作成する場合にも、２つの入力画像それぞれに対して投映面の表面形状に応じた作成作業を行なうこととなり負担が大きいものとなっている。
【０００８】
本発明は、かかる事情に鑑みてなされたものであり、自由形状からなる投映面上に投映する投映画像として、２つの画像を必要とせず、１つの画像のみを用意し、用意した１つの投映画像に対して、任意の画像領域を指定して歪補正を行なうことができ、また、同時に、複数の任意の画像領域を指定して歪補正を行なうことも可能にせんとするものである。更に、歪補正を行なう画像領域と行なわない画像領域との接合部分についても、歪補正後の画像側に引っ張られるような部分補正を歪補正されていない周辺画像に対して施すというシェーピング処理を更に行なうことにより、両方の画像領域を合成した投映画像として、より自然な画像が得られるようにせんとするものである。
【０００９】
【課題を解決するための手段】
第１の技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段と、前記投映画像に対して歪補正を施す歪補正手段とを有し、前記歪補正手段が、前記形状データを参照して、前記投映画像のうち前記歪補正領域の画像に対して歪補正を施し、前記投映画像のうち前記歪補正領域指定手段により指定されていない非歪補正領域の画像と画像合成する投映画像補正装置とすることを特徴とするものである。
【００１０】
第２の技術手段は、自由形状からなる投映面の形状データを得る投映面獲得手段と、該投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段と、前記投映画像に対して歪補正を施す歪補正手段と、前記歪補正領域指定手段により指定された前記歪補正領域と指定されていない非歪補正領域との接合部分を含む周辺領域をシェーピング領域として指定するシェーピング領域指定手段と、前記シェーピング領域指定手段により指定された前記シェーピング領域の画像に対して部分補正するシェーピング手段とを有し、前記歪補正手段が、前記形状データを参照して、前記投映画像のうち前記歪補正領域の画像に対して歪補正を施し、前記投映画像のうち前記非歪補正領域の画像と画像合成すると共に、前記シェーピング領域の画像に対して前記シェーピング手段により部分補正を行なう投映画像補正装置とすることを特徴とするものである。
【００１１】
第３の技術手段は、前記第２の技術手段に記載の投映画像補正装置において、前記シェーピング手段が行なう前記部分補正が、前記歪補正手段により施される歪補正内容を参照して、前記シェーピング領域の画像のうち、前記非歪補正領域の画像が前記歪補正領域において歪補正された画像側に引っ張られるように収縮又は膨張するような補正を施すものである投映画像補正装置とすることを特徴とするものである。
【００１２】
第４の技術手段は、前記第２又は第３の技術手段に記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記歪補正領域と前記非歪補正領域との前記接合部分に、前記歪補正領域における歪補正後の画像と前記非歪補正領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分を少なくとも１箇所含んでいる前記周辺領域である投映画像補正装置とすることを特徴とするものである。
【００１３】
第５の技術手段は、前記第２乃至第４の技術手段のいずれかに記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域として、前記投映画像に複数個の任意の領域を含ませることができる投映画像補正装置とすることを特徴とするものである。
【００１４】
第６の技術手段は、前記第２乃至第５の技術手段のいずれかに記載の投映画像補正装置において、前記シェーピング領域指定手段により指定される前記シェーピング領域が、前記部分補正すべき領域データを予め格納しているシェーピング領域データファイルを入力するか、又は、前記歪補正領域と前記歪補正手段により施される歪補正内容とからシェーピング領域を自動的に判別するか、又は、使用者自身がシェーピング領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記シェーピング領域を指定すると共に、該シェーピング領域に対応して施すべき前記部分補正の方法を示すシェーピング指示情報を指定する投映画像補正装置とすることを特徴とするものである。
【００１５】
第７の技術手段は、前記第１乃至第６の技術手段のいずれかに記載の投映画像補正装置において、前記歪補正領域指定手段により指定される前記歪補正領域として、前記投映画像に複数個の任意の領域を含ませることができる投映画像補正装置とすることを特徴とするものである。
【００１６】
第８の技術手段は、前記第１乃至第７の技術手段のいずれかに記載の投映画像補正装置において、前記歪補正領域指定手段が、前記歪補正すべき領域データを予め格納している歪補正領域データファイルから入力するか、又は、前記投映面獲得手段により得られた前記投映面の形状データから自動的に歪補正領域を判別するか、又は、使用者自身が歪補正領域を指定するかのうち、いずれか１乃至複数を用いることにより、前記歪補正領域を指定すると共に、該歪補正領域に対応して施すべき前記歪補正の方法を示す歪補正指示情報を指定する投映画像補正装置とすることを特徴とするものである。
【００１７】
第９の技術手段は、前記第１乃至第８の技術手段のいずれかに記載の投映画像補正装置を備え、画像投映中の如何によらず、投映面上に投映する投映画像の歪補正を行ない、更には、場合によっては、前記シェーピング手段により投映画像の部分補正を行なった画像を投映することができるプロジェクタ装置とすることを特徴とするものである。
【００１８】
而して、自由形状（平面形状も含む）からなる投映面に対して投映画像を投映する場合、投映面に投映する投映画像の歪補正機能として、歪補正を施す画像領域と歪補正を施さない画像領域とを指定することができ、１つの投映画像を用いて歪補正した画像としない画像とを合成した合成画像を投映することができる。また、歪補正を施す領域（逆に言えば、歪補正を施さない領域）を１つ以上の任意の個数指定することができる。もって、１つの投映画像から該投映画像に忠実な画像部分と投映面の形状に依存して歪ませた画像部分とを得て、両者の画像部分を合成して投映することができ、１つの投映画像さえ用意すれば演出効果に富む画像を獲得することができる。
【００１９】
更には、歪補正領域と非歪補正領域との接合部分を含む周辺領域に対して、歪補正後の画像側に非歪補正領域の画像を引っ張られるように部分的に補正するシェーピング処理を行なうことにより、歪補正画像と非歪補正領域の画像とが滑らかに接合され、両者の画像の接合部分に、画像の重複が生じたり画像の欠落が生じたりして合成後の画像が不自然になるような事態を防止することができる。
【００２０】
【発明の実施の形態】
本発明に係る投映画像補正装置及びプロジェクタ装置の実施形態について、以下に図面を参照しながら説明する。
ここでは、投映画像補正装置とプロジェクタ装置とを組み合わせた場合の実施形態について説明することとするが、当該投映画像補正装置をプロジェクタ装置内に内蔵する形態とすることも当然可能である。
【００２１】
図１は、本発明に係る投映画像補正装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
図１においては、投映画像補正装置１０とプロジェクタ装置２０とが分離されて構成されている。投映画像補正装置１０は、投映面上に投映する投映画像を入力する画像入力手段１１と、自由形状からなるスクリーン２３の投映面の形状を示す形状データを得る投映面獲得手段１４と、投映面上に投映する投映画像の歪補正領域を指定する歪補正領域指定手段１５と、投映面獲得手段１４により得られた前記形状データと歪補正領域指定手段１５により指定された前記歪補正領域とを参照して、自由形状からなる投映面を有するスクリーン２３に対して投映する投映画像の歪補正を行なう歪補正手段１２と、歪補正手段１２から出力される画像をプロジェクタ装置２０に出力する画像出力手段１３とを備えている。
【００２２】
また、プロジェクタ装置２０は、投映画像補正装置１０から入力されてくる画像から投映面に投映すべき画像を生成する投映部２１と、投映部２１により生成された画像をスクリーン２３の投映面に投映する投映レンズ２２と、平面部や凹凸部や曲面部などの自由形状（平面形状も含む）からなる投映面を有するスクリーン２３とを備えている。
【００２３】
即ち、投映画像補正装置１０における各回路ブロックは次のような処理を司っている。画像入力手段１１は、フラッシュメモリ等に蓄積されている画像ファイルやパソコン等からの画像データに関する入力信号により、投映面上に投映する投映画像を入力する手段を提供しており、歪補正手段１２に該投映画像を送出する。即ち、画像入力手段１１は、外部機器からのみならず、当該投映画像補正装置１０内に保存している画像を投映画像として入力する手段を提供している。
また、投映面獲得手段１４は、投映画像を投映するスクリーン２３の投映面の形状を示す形状データ（投映面の大きさも含む）を獲得するために、例えば、
・投映面の形状を示す形状データを予め格納している形状データファイルを入力
・ＣＣＤカメラなどにより撮像して得られた投映面の形状データを入力
・使用者自身がユーザインターフェースを介して投映面の形状データを直接入力
等のいずれか１乃至複数の手段を用いることにより、スクリーン２３の投映面の大きさやどのような形状をしているかを示す投映面の形状データを入手する手段を提供しており、入手された形状データを歪補正手段１２に送出する。
【００２４】
歪補正領域指定手段１５は、投映画像に対して歪補正を施す歪補正領域を指定するために、例えば、
・歪補正すべき画像領域を示す領域データを予め格納している歪補正領域データファイルを入力
・投映面獲得手段１４により得られた投映面の形状データから自動的に歪補正領域を判別
・使用者自身がユーザインターフェースを介して歪補正領域を直接指定
等のいずれか１乃至複数の手段を用いることにより、自由形状からなる投映面に対して投映する際に発生する画像の歪について補正を施す歪補正領域を任意数指定し（即ち、１乃至複数の歪補正領域を指定し）、指定した歪補正領域を歪補正手段１２に送出する。即ち、歪補正領域指定手段１５が指定する歪補正領域は投映画像中の複数領域を指定することが可能である。
【００２５】
また、歪補正領域指定手段１５は、投映画像のうち、歪補正を施すべき画像領域即ち歪補正領域そのものではなく、逆に、歪補正を施さない画像領域即ち非歪補正領域を指定するようにしても良い。更には、各歪補正領域に対応して施すべき歪補正の方法を示す歪補正指示情報を指定することも可能であり、歪補正量算出部１２ｂにより算出される歪補正量は、歪補正領域指定手段１５からの各歪補正領域毎の歪補正指示情報に応じて、各歪補正領域毎に適応的に求められる。例えば、該歪補正指示情報として、スクリーン２３の投映面の形状データを参照して、各歪補正領域毎に、投映面に形状によらず投映画像を忠実に投映するように指示することができる。
【００２６】
歪補正手段１２は、まず、歪補正領域抽出部１２ａにより、画像入力手段１１から入力されてきた投映画像即ち原画像の中から歪補正領域指定手段１５により指定された各歪補正領域を取り出し、指定されている各歪補正領域毎の歪補正指示情報に応じて、投映面獲得手段１４により得られた投映面の形状データを参照して、取り出された各歪補正領域の原画像に対して歪補正を施す際の各歪補正量を歪補正量算出部１２ｂにより算出し、算出された各歪補正量に基づいて、歪補正画像生成部１２ｃによりそれぞれ歪補正を施して歪補正画像を生成した後、画像合成部１２ｄにより、各歪補正画像と歪補正を施していない非歪補正画像（原画像）とを画像合成し、画像出力手段１３に出力する。
【００２７】
換言すると、歪補正領域指定手段１５により複数の領域が歪補正領域として指定された場合においても、各歪補正領域について歪補正指示情報に応じて逐一それぞれの歪補正領域に適合する歪補正を行ない、歪補正された各画像が歪補正されていない領域にある原画像と合成されて画像出力手段１３に出力される。
更に、歪補正量算出部１２ｂにより算出される歪補正量は、歪補正指示情報に応じて算出されるものであり、投映面獲得手段１４により得られた投映面の形状データを参照して、かかる形状データの投映面の各位置が同一平面上の位置に変換できるような座標変換パラメータを歪補正量として求める（即ち、自由形状の投映面に原画像を忠実に投映することができる座標変換パラメータを求める）。
【００２８】
また、画像出力手段１３は、歪補正手段１２から入力されてきた合成画像（即ち、各歪補正画像と非歪補正画像とが画像合成された画像）を伝送可能な信号形式に変換した後、例えば、光ケーブルや同軸ケーブルなどに接続されている画像出力端子を介してプロジェクタ装置２０側に送信する。
プロジェクタ装置２０では、受信した画像を投映部２１により投映画像に変換して投映レンズ２２を介して、自由形状からなる投映面を有するスクリーン２３上に投映する。
【００２９】
而して、図１に示す第１の実施形態によれば、スクリーン２３の投映面の形状データを獲得する投映面獲得手段１４と１乃至複数の歪補正領域を任意の時点で指定することができる歪補正領域指定手段１５とを備えることにより、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の歪補正領域を指定して歪補正を施すことを可能としており、演出効果に富む画像を得ることができる。
【００３０】
図２は、本発明に係る投映画像補正装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
本実施形態においては、図１に示す第１の実施形態に対して、投映画像補正装置１０′がシェーピング領域指定手段１６を更に追加して備えていると共に歪補正手段１２′がシェーピング処理部１２ｅを更に追加した形態として構成されている。シェーピング領域指定手段１６は、歪補正領域指定手段１５により指定された歪補正領域と指定されていない非歪補正領域との接合部分を含む周辺領域をシェーピング領域として指定する手段である。更には、シェーピング領域指定手段１６は、かかる周辺領域のうち、前記歪補正領域と前記非歪補正領域との前記接合部分に、前記歪補正領域における歪補正後の画像と前記非歪補正領域の画像との両者の画像が互いに重なる部分及び／又は該両者の画像とも欠落する部分を少なくとも１箇所含んでいる前記周辺領域をシェーピング領域として選択して指定することにしても良い。一方、シェーピング処理部１２ｅは、シェーピング領域指定手段１６により指定されたシェーピング領域の画像に対して部分補正を施す手段であり、合成された投映画像の不自然さを除去するための手段を提供するものである。
【００３１】
換言すると、シェーピング領域指定手段１６とシェーピング処理部１２ｅとは、歪補正領域指定手段１５により指定された歪補正領域に対して歪補正手段１２の歪補正画像生成部１２ｃを用いて歪補正画像を生成した後、歪補正手段１２の画像合成部１２ｄにおいて合成された合成画像について、前記歪補正領域と前記非歪補正領域との接合部分に、画像が重なる部分及び／又は画像が欠落して画像が無い部分が生じてしまうような問題が発生した場合を解決するために、前記シェーピング領域内の画像領域のうち、前記非歪補正領域の画像を歪補正画像側に引っ張り込むように収縮又は膨張するような部分補正処理（即ちシェーピング処理）を行なう手段を提供している。
【００３２】
シェーピング領域指定手段１６は、合成画像に対してシェーピング処理を施すシェーピング領域を指定するために、例えば、
・シェーピング処理（即ち部分補正）すべき領域データを予め格納しているシェーピング領域データファイルを入力
・歪補正領域と歪補正が施される歪補正内容とからシェーピング領域を自動的に判別
・使用者自身がユーザインターフェースを介してシェーピング領域を指定
等のいずれか１乃至複数の手段を用いることにより、シェーピング領域を指定し、指定したシェーピング領域を歪補正手段１２に送出する。また、歪補正領域指定手段１５が指定する歪補正領域の場合と同様に、シェーピング領域指定手段１６は、シェーピング領域を複数領域指定することも可能である。
【００３３】
更には、シェーピング領域指定手段１６は、各シェーピング領域に対応して施すべき部分補正処理の方法を示すシェーピング指示情報を指定することも可能であり、シェーピング処理部１２ｅにより施される部分補正処理（即ちシェーピング処理）は、シェーピング領域指定手段１６からの各シェーピング領域毎のシェーピング指示情報に応じて、歪補正画像生成部１２ｃにより生成された歪補正後の画像を参照しながら実行される。
即ち、歪補正手段１２のシェーピング処理部１２ｅは、シェーピング領域指定手段１６により指定された各シェーピング領域の画像に対して、指定されている各シェーピング領域毎のシェーピング指示情報に応じて、歪補正量算出部１２ｂにより算出された歪補正量即ち歪補正内容を参照して、歪補正前の画像が歪補正された画像側に引っ張られるように収縮又は膨張するように部分補正する。
【００３４】
以上のように、歪補正領域指定手段１５により指定された歪補正領域に対して歪補正手段１２の歪補正画像生成部１２ｃにより歪補正画像を生成し、また、シェーピング領域指定手段１６により指定されたシェーピング領域に対して歪補正手段１２のシェーピング処理部１２ｅにより部分補正即ちシェーピング処理を施して、シェーピング処理された合成画像を画像出力手段１３に送る。他の各ブロック部分については、図１に示す各ブロックについて前述したものと全く同様である。
【００３５】
而して、図２に示す第２の実施形態によれば、図１に示す第１の実施形態の場合と同様に、画像の投映前のみならず、たとえ、画像投映中であっても、１つの投映画像から１乃至複数の任意の歪補正領域を指定して歪補正を施すことを可能としている上に、更に、シェーピング処理を施すことにより、歪補正した画像と歪補正していない画像との接合部分の不自然さを解消して、より演出効果に富む投映画像を得ることができる。
【００３６】
図１及び図２に示す投映画像補正装置１０，１０′及びプロジェクタ装置２０に関する動作について、図３乃至図８の模式図を用いて更に具体的に説明する。
図３は、自由形状からなる投映面を有するスクリーン２３の投映面の一例を示す模式図である。図３に示す模式図において、３１は、スクリーン２３上の投映可能な全体領域である矩形形状からなる投映面を示し、３２は、投映面３１の左下領域に形成されている凸面状の歪部を示している。
【００３７】
また、図４は、図３に示すような凸形状の歪部３２を有する投映面３１に投映する投映画像に対して歪補正を行なう作業手順を示す模式図である。
まず、図１に示す映像入力手段１１を用いて、図３に示す投映面３１に投映したい投映画像即ち原画像を入手し歪補正手段１２に送出する。一方、図４（Ａ）において、図１に示す投映面獲得手段１４により、スクリーン２３の投映面３１の形状データ（投映面３１の左下領域にある凸面状の歪部３２に関する形状や大きさを示すデータ）を獲得して、歪補正手段１２に送出する。
【００３８】
更に、図４（Ｂ）において、図１に示す歪補正領域指定手段１５により、歪補正手段１２に送出されてきたスクリーン２３の投映面３１の形状データに基づいて、投映すべき原画像４１のうち、投映面３１の左下領域にある歪部３２上に投映されることになる原画像領域を歪補正領域として指定して、原画像を忠実に投映させるような歪補正を施すべき旨を指示する歪補正指示情報と共に、歪補正手段１２に送出する。なお、該歪補正指示情報は、かくのごとく、原画像を忠実に投映させるような歪補正を施すべき旨を指示する場合にはデフォルト値として扱うこととし、歪補正領域指定手段１５は、歪補正領域のみを指定して、特に歪補正指示情報を指定しないようにすることも勿論可能である。
【００３９】
次に、図４（Ｃ）において、歪補正手段１２の歪補正領域抽出部１２ａにより、歪補正領域指定手段１５により歪補正領域として指定された歪補正領域画像４２を、原画像４１の中から取り出す。更に、歪補正手段１２の歪補正量算出部１２ｂにより、スクリーン２３の投映面３１の形状データを参照して、前記歪補正指示情報に応じて、歪補正領域画像４２の各部に対して歪補正を施すべき歪補正量（即ち、投映面３１上の凸面状の歪部３２の膨らんだ形状と逆の関係にある収縮した形状を形成するような補正量）を算出する。
更に、図４（Ｄ）において、歪補正手段１２の歪補正画像生成部１２ｃにより、歪補正量算出部１２ｂにより算出された歪補正量を用いて、歪補正領域画像４２に対して歪補正を施して、歪補正画像４２′を生成する。
【００４０】
然る後に、図４（Ｅ）において、歪補正手段１２の画像合成部１２ｄにより、歪補正領域指定手段１５により歪補正領域として指定されていない残りの非歪補正領域にある非歪補正画像４３と歪補正画像生成部１２ｃにより生成された歪補正画像４２′とを合成して、原画像４１に対応する合成画像４１′を生成して、図１に示す画像出力手段１３を介してプロジェクタ装置２０に送信して、スクリーン２３の投映面３１上に投映する。スクリーン２３の投映面３１上の投映画像は、歪補正手段における歪補正処理により、たとえ、スクリーン２３の投映面３１に凸面状の歪部３２が存在していても、原画像４１と略同様の画像とされ、もって、原画像４１が忠実に投映された状態とされる。
【００４１】
しかしながら、歪補正手段１２の画像合成部１２ｄにより合成された合成画像４１′を詳細に確認すると、歪補正領域指定手段１５により指定された歪補正領域と指定されていない非歪補正領域との接合部分においては、両者の領域の画像が互いに重複した重複部が存在したり、あるいは、両者の領域の画像が共に欠落した間隙部が存在したりしている。即ち、歪補正手段１２によって作成された合成画像４１′は、図５に示すように、非歪補正領域画像４３と歪補正画像４２′との接合部分に両者の画像が互いに重複した重複部４４や両者の画像が共に欠落した間隙部４５が存在し、場合によっては、合成画像としての自然さを喪失してしまう場合もある。ここに、図５は、歪補正が施された後の合成画像４１′の状態の一例を示す模式図である。
かかる問題を解決するために、前述した図２に示すごとく、シェーピング領域指定手段１６とシェーピング処理部１２ｅとを更に付加して備えることにより、前記接合部分を含む周辺領域に対してシェーピング処理を行なう。
【００４２】
次に、シェーピング処理の具体例について更に説明する。図６は、歪補正領域と非歪補正領域との接合部分を含むシェーピング領域の一例を示す模式図である。図６に示すように、シェーピング領域としては、図２に示すシェーピング領域指定手段１６により、図３に示す投映面３１上の凸面状の歪部３２に該当する領域よりも少し広く見積られる周辺領域を確保される。言い換えると、図６に示すように、合成画像４１′において非歪補正領域画像４３と歪補正画像４２′との接合部分に存在している重複部４４や間隙部４５を含む領域画像がシェーピング領域画像４６として確保される。更に、図７に示すごとく、該シェーピング領域画像４６が存在するシェーピング領域内の歪補正前の画像（即ち、シェーピング領域内の原画像４１であるシェーピング領域原画像）を予め保存しておく。ここに、図７は、歪補正及びシェーピング処理が施される前のシェーピング領域原画像の状態を正方格子パターンとして示している模式図である。
【００４３】
シェーピング領域画像４６のうち、投映面３１の凸面状の歪部３２に対応する歪補正領域画像４２に対する歪補正は、前述のごとく、歪補正手段１２の歪補正画像生成部１２ｃにより施されるが、歪補正がなされた後の周辺の画像については、歪補正手段１２のシェーピング処理部１２ｅにより、図７のように保存されている正方格子パターンのシェーピング領域原画像を基にして、図８に示すように、歪補正されていない周辺の画像が、歪補正がなされた歪補正画像４２′に引っ張られるような格子パターンとなるように収縮及び／又は膨張させた部分補正（シェーピング処理）が施される。ここに、図８は、シェーピング領域に指定されたシェーピング領域画像４６に対して、シェーピング処理が施された後の状態を示す模式図である。而して、たとえ、投映面３１に歪部３２を有している場合であっても、歪補正を施すことにより原画像４１に忠実で歪を伴わない画像を投映することが可能であると共に、歪補正を行なわない周辺画像に対してもシェーピング処理という部分補正を施すことにより、歪補正画像と非歪補正画像との接合部分についても滑らかにきちんと表示させることが可能となり、接合部分の不自然さを解消することができる。
【００４４】
なお、本発明に係る投映画像補正装置１０，１０′及びプロジェクタ装置２０においては、前述のごとく、歪補正を行なう歪補正領域及び／又は歪補正を行なわない非歪補正領域についても、更には、シェーピング処理を行なうシェーピング領域についても、複数個指定することが可能である。
【００４５】
図１及び図２に示す投映画像補正装置１０，１０′及びプロジェクタ装置２０のブロック構成については、１つの実施例を示しただけであり、本発明はかかる構成のみに限るものではない。例えば、前述したように、プロジェクタ装置に投映画像補正装置を内蔵して構成するようにしても構わないし、あるいは、プロジェクタ装置に一旦入力された投映画像を投映画像補正装置側に取り出して歪補正やシェーピング処理を施して合成した画像を再度プロジェクタ装置に送り返すことにより歪補正やシェーピング処理後の合成画像を投映面に投映するようにしても構わない。あるいは、歪補正手段１２と投映面獲得手段１４及び／又は歪補正領域指定手段１５及び／又はシェーピング領域指定手段１６とが異なる別の装置から構成されていて双方を接続するようにしても構わない。
【００４６】
また、図３乃至図９を用いて説明した歪補正及びシェーピング処理の具体的な実施例は、一例を示したに過ぎず、本発明はかかる場合のみに限るものではない。例えば、歪補正領域指定手段１５による歪補正領域の指定方法として、図４においては、投映面獲得手段１４により得られた投映面の形状データに基づいて歪補正領域を指定する場合について説明したが、前述したように、歪補正領域データファイルや使用者自身等が、投映面の形状如何に関わらず、任意の領域を歪補正領域として指定することとしても構わない。
【００４７】
更には、投映面獲得手段１４は、投映面の形状データが予め格納された形状データファイルから投映面の形状データを取得する場合のみに限るものではなく、前述のように、ＣＣＤカメラなどによってリアルタイムに撮像した形状あるいは使用者自身がリアルタイムに指定した形状を投映面の形状として利用することも可能である。また、シェーピング領域指定手段１６についても、歪補正領域指定手段１５により指定された歪補正領域を含む周辺領域を自動的にシェーピング領域として指定するだけでなく、シェーピング領域を指定する情報を予め格納しているシェーピング領域データファイルにより指定したり、あるいは、使用者自身がリアルタイムに指定することも可能である。
【００４８】
【発明の効果】
以上に説明したように、本発明に係る投映画像補正装置及びプロジェクタ装置によれば、自由形状（平面形状も含む）からなる投映面上に投映する投映画像として歪なしの画像と歪補正用の画像との２つの投映画像を必要とせず、１つの画像入力手段を用いて用意した１つの投映画像について、指定された任意の画像領域の画像に対して歪補正を行なうことができ、また、同時に複数の画像領域を歪補正領域として指定することが可能である。また、歪補正を行なう画像領域と行なわない画像領域との接合部分に対してシェーピング処理を行なうことにより、両者の領域の画像を合成しても自然さを保った滑らかな画像が得られる。
【図面の簡単な説明】
【図１】本発明に係る投映画像補正装置及びプロジェクタ装置の第１の実施形態を示すブロック構成図である。
【図２】本発明に係る投映画像補正装置及びプロジェクタ装置の第２の実施形態を示すブロック構成図である。
【図３】自由形状からなる投映面を有するスクリーンの投映面の一例を示す模式図である。
【図４】図３に示すような凸形状の歪部を有する投映面に投映する投映画像に対して歪補正を行なう作業手順を示す模式図である。
【図５】歪補正が施された後の合成画像の状態の一例を示す模式図である。
【図６】歪補正領域と非歪補正領域との接合部分を含むシェーピング領域の一例を示す模式図である。
【図７】歪補正及びシェーピング処理が施される前のシェーピング領域原画像の状態を正方格子パターンとして示している模式図である。
【図８】シェーピング領域に指定されたシェーピング領域画像に対して、シェーピング処理が施された後の状態を示す模式図である。
【符号の説明】
１０，１０′…投映画像補正装置、１１…画像入力手段、１２，１２′…歪補正手段、１２ａ…歪補正領域抽出部、１２ｂ…歪補正量算出部、１２ｃ…歪補正画像生成部、１２ｄ…画像合成部、１２ｅ…シェーピング処理部、１３…画像出力手段、１４…投映面獲得手段、１５…歪補正領域指定手段、１６…シェーピング領域指定手段、２０…プロジェクタ装置、２１…投映部、２２…投映レンズ、２３…スクリーン、３１…投映面、３２…歪部、４１…原画像、４１′…合成画像、４２…歪補正領域画像、４２′…歪補正画像、４３…非歪補正画像、４４…重複部、４５…間隙部、４６…シェーピング領域画像。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a projection image correction device and a projector device, and more particularly, to correcting distortion of one projection image projected on a projection surface when projecting the image on a projection surface having a free shape such as an uneven portion or a curved surface portion. The present invention relates to a projection image correction apparatus and a projector apparatus that can specify an arbitrary number of distortion correction areas for performing the correction, and obtains a projection image by synthesizing an image of a distortion correction area and an image of a non-distortion correction area.
[0002]
[Prior art]
Conventionally, a flat screen having a planar shape is generally used as a screen of a projector device for projecting an image. However, for the purpose of more effectively producing a projected image, for example, an uneven surface or a curved surface is used. A projection method for projecting onto a screen having a shape has also been proposed. Furthermore, among images projected on a screen having an uneven surface or a curved surface as described above, for an image for which an original image is to be faithfully projected without distortion due to the screen shape, after performing distortion correction in advance, A projection technique of projecting on a screen having an uneven surface or a curved surface has also been proposed. For example, a technique as disclosed in Patent Document 1 is disclosed.
[0003]
Here, with reference to Patent Document 1, when an image is projected from a projector device to a dome screen having a spherical shape, before inputting to the projector device, an image composed of a square grid pattern is transformed into a square grid. The shape is to be distorted so as to form a barrel-wound grid pattern that bulges outward like the outer periphery of a beer barrel.
Thus, when the image of the square lattice pattern is projected as it is on the dome screen by the projector device, the square lattice pattern is projected as an image of the pincushion lattice pattern contracted inward, and the original image is projected as the projected image. Although it is not possible to display the image faithfully, as described above, since the image is previously distorted into an image of a barrel winding grid pattern having an inverse shape to the pincushion grid pattern before input to the projector device, it is actually projected on the dome screen. In this case, in the image projected on the screen, the barrel-wound grid pattern and the thread-wound grid pattern cancel each other, and the original image of the square grid pattern can be displayed faithfully.
[0004]
In other words, two types of images are prepared in advance as input images to the projector device depending on the necessity of the distortion correction, and the image portion desired to obtain the effect by distorting according to the shape of the dome screen is directly sent to the synthesizing circuit. Input, on the other hand, correct the distortion due to the shape of the dome screen, and input the image part that must be faithfully projected as it is in the original input image to the distortion correction circuit to pre-distort the barrel winding lattice pattern By inputting the image as an image to the synthesizing circuit and projecting the synthesized image obtained by synthesizing the two images by the synthesizing circuit onto the dome screen, it is possible to project a projected image with a more effective effect.
[0005]
[Patent Document 1]
JP-A-3-82493 (pages 2-3, FIGS. 2 and 3)
[0006]
[Problems to be solved by the invention]
However, in the above-described conventional example, it is necessary to prepare two input images in advance as images to be input to the projector device. One input image is an image on which distortion correction is not performed, and the other input image is a distortion input image. The image is to be corrected. Therefore, it is necessary to determine in advance the image to be subjected to distortion correction and the image not to be subjected to distortion correction before performing projection by the projector device, and a distortion correction area for performing distortion correction during projection of the image by the projector device. It is impossible to freely change the non-distortion correction area where distortion correction is not performed.
[0007]
Further, when a request to change an image area for which distortion correction is performed and an image area for which distortion correction is not performed is generated as an input image, it is necessary to change each of the two input images. It is expensive and inefficient.
Further, when creating an image to which a pseudo 3D effect or a dynamic effect is added to an image projected on a projection surface having a free-form surface shape, projection is performed on each of the two input images. Since the creation work is performed according to the surface shape of the surface, the burden is large.
[0008]
The present invention has been made in view of such circumstances, and does not require two images as a projection image to be projected on a free-form projection surface, and prepares only one image and prepares one projection image. Distortion correction can be performed on an image by designating an arbitrary image region, and at the same time, distortion correction can be performed by designating a plurality of arbitrary image regions. Further, a shaping process of performing a partial correction to be pulled to the image side after the distortion correction is performed on a peripheral image that has not been subjected to the distortion correction also at a joint portion between the image region where the distortion correction is performed and the image region where the distortion correction is not performed. By doing so, a more natural image is obtained as a projected image obtained by combining both image areas.
[0009]
[Means for Solving the Problems]
A first technical means includes: a projection surface obtaining means for obtaining shape data of a free-form projection surface; a distortion correction area specifying means for specifying a distortion correction area of a projection image projected on the projection surface; Distortion correction means for performing distortion correction on the image, wherein the distortion correction means performs distortion correction on an image of the distortion correction area in the projection image with reference to the shape data, and A projection image correction apparatus for combining an image of a non-distortion correction area not specified by the distortion correction area specifying means in an image with an image.
[0010]
The second technical means includes: a projection surface obtaining means for obtaining shape data of a projection surface having a free shape; a distortion correction area designating means for designating a distortion correction area of a projection image projected on the projection surface; Correction means for performing distortion correction on the image data, and shaping for designating a peripheral area including a joint between the distortion correction area specified by the distortion correction area specifying means and a non-distortion correction area not specified as a shaping area. Area designating means, and shaping means for partially correcting the image of the shaping area designated by the shaping area designating means, wherein the distortion correction means refers to the shape data, The image of the distortion correction area is subjected to distortion correction, and the image of the non-distortion correction area is image-combined with the image of the non-distortion correction area, and It is characterized in that a projected image correction device that performs partial correction by the shaping means with respect to the image.
[0011]
A third technical means is the projection image correction apparatus according to the second technical means, wherein the partial correction performed by the shaping means is performed by referring to a distortion correction content performed by the distortion correction means. A projection image correction apparatus that performs correction such that the image of the non-distortion correction area is contracted or expanded such that the image of the non-distortion correction area is pulled toward the distortion-corrected image in the distortion correction area. It is a feature.
[0012]
A fourth technical means is the projection image correction device according to the second or third technical means, wherein the shaping area designated by the shaping area designating means includes the distortion correction area and the non-distortion correction area. The joint portion includes at least one portion where the images of the image after distortion correction in the distortion correction region and the image of the non-distortion correction region overlap each other and / or a portion where both images are missing. A projection image correction device which is the peripheral area.
[0013]
A fifth technical means is the projection image correction apparatus according to any one of the second to fourth technical means, wherein the shaping area specified by the shaping area specifying means includes a plurality of arbitrary And a projection image correction device capable of including the above-mentioned region.
[0014]
A sixth technical means is the projection image correction apparatus according to any one of the second to fifth technical means, wherein the shaping area specified by the shaping area specifying means stores the area data to be partially corrected. A shaping area data file stored in advance is input, or the shaping area is automatically determined from the distortion correction area and the content of the distortion correction performed by the distortion correction means, or the user himself / herself. A projection that specifies the shaping area by using one or more of the shaping areas and specifies shaping instruction information indicating a method of the partial correction to be performed corresponding to the shaping area. An image correction device is characterized.
[0015]
A seventh technical means is the projection image correction device according to any one of the first to sixth technical means, wherein a plurality of the distortion correction areas specified by the distortion correction area specifying means are included in the projection image. Is a projection image correction device capable of including an arbitrary region of the above.
[0016]
An eighth technical means is the projection image correction apparatus according to any one of the first to seventh technical means, wherein the distortion correction area designating means stores in advance the area data to be subjected to the distortion correction. Either input from a correction area data file, or automatically determine the distortion correction area from the shape data of the projection plane obtained by the projection plane acquisition means, or specify the distortion correction area by the user himself By using any one or more of these, the distortion correction area is specified, and the projection image correction for specifying the distortion correction instruction information indicating the distortion correction method to be performed corresponding to the distortion correction area is specified. It is characterized in that it is a device.
[0017]
A ninth technical means includes the projection image correction device according to any one of the first to eighth technical means, and performs distortion correction of a projection image projected on a projection surface regardless of whether an image is being projected. A projector device capable of projecting an image obtained by partially correcting the projected image by the shaping means.
[0018]
Thus, when projecting a projection image on a projection surface having a free shape (including a planar shape), as a distortion correction function of the projection image projected on the projection surface, an image area to be subjected to distortion correction and a distortion correction are performed. A non-image area can be designated, and a composite image obtained by synthesizing a distortion-corrected image and an uncorrected image using one projection image can be projected. Further, one or more arbitrary numbers of regions to be subjected to distortion correction (in other words, regions not to be subjected to distortion correction) can be designated. Thus, an image portion faithful to the projection image and an image portion distorted depending on the shape of the projection surface can be obtained from one projection image, and the two image portions can be synthesized and projected. If a projection image is prepared, an image with a great effect can be obtained.
[0019]
Further, a shaping process for partially correcting the image of the non-distortion corrected area to the image side after the distortion correction is performed on a peripheral area including a joint portion between the distortion corrected area and the non-distortion corrected area. As a result, the distortion-corrected image and the image in the non-distortion-corrected area are smoothly joined, and the combined image becomes unnatural due to overlapping or missing images at the joint of the two images. Such a situation can be prevented.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of a projection image correction device and a projector device according to the present invention will be described below with reference to the drawings.
Here, an embodiment in which the projection image correction device and the projector device are combined will be described. However, the projection image correction device may be built in the projector device.
[0021]
FIG. 1 is a block diagram showing a first embodiment of a projection image correction device and a projector device according to the present invention.
In FIG. 1, the projection image correction device 10 and the projector device 20 are configured separately. The projection image correction device 10 includes an image input unit 11 for inputting a projection image to be projected on a projection surface, a projection surface acquisition unit 14 for obtaining shape data indicating a shape of the projection surface of the screen 23 having a free shape, and a projection surface. A distortion correction area designating unit 15 for designating a distortion correction area of a projection image projected above, and the shape data obtained by the projection plane obtaining unit 14 and the distortion correction area designated by the distortion correction area designating unit 15. With reference to the drawings, a distortion correction unit 12 for correcting distortion of a projected image projected on a screen 23 having a free-form projection surface, and an image output for outputting an image output from the distortion correction unit 12 to the projector device 20 Means 13.
[0022]
Further, the projector device 20 includes a projection unit 21 that generates an image to be projected on a projection surface from an image input from the projection image correction device 10, and projects an image generated by the projection unit 21 on a projection surface of a screen 23. And a screen 23 having a projection surface of a free shape (including a planar shape) such as a flat portion, an uneven portion, or a curved portion.
[0023]
That is, each circuit block in the projection image correction device 10 performs the following processing. The image input means 11 provides a means for inputting a projected image to be projected on a projection surface based on an image file stored in a flash memory or the like or an input signal relating to image data from a personal computer or the like. The projection image is transmitted to the That is, the image input unit 11 provides a unit for inputting not only an external device but also an image stored in the projection image correction apparatus 10 as a projection image.
Further, the projection surface acquisition means 14 acquires shape data (including the size of the projection surface) indicating the shape of the projection surface of the screen 23 for projecting a projection image, for example,
・ Input a shape data file that stores shape data indicating the shape of the projection surface in advance
・ Input the shape data of the projection surface obtained by imaging with CCD camera etc.
・ The user himself directly inputs the shape data of the projection surface via the user interface
By using any one or a plurality of means such as the above, a means for obtaining the size of the projection surface of the screen 23 and the shape data of the projection surface indicating the shape of the projection surface is provided. The shape data is sent to the distortion correction means 12.
[0024]
The distortion correction area specifying means 15 specifies, for example, a distortion correction area for performing distortion correction on the projected image, for example,
・ Input a distortion correction area data file that stores area data indicating the image area to be corrected.
Automatically determine the distortion correction area from the shape data of the projection surface obtained by the projection surface acquisition means 14
・ The user directly specifies the distortion correction area via the user interface
By using any one or a plurality of means such as the above, an arbitrary number of distortion correction areas for correcting the distortion of an image generated when the image is projected on a free-form projection surface is designated (that is, 1 to a plurality of areas). Is specified), and the specified distortion correction area is sent to the distortion correction means 12. That is, the distortion correction area specified by the distortion correction area specifying means 15 can specify a plurality of areas in the projected image.
[0025]
Further, the distortion correction area designating means 15 designates not the image area to be subjected to the distortion correction, ie, the distortion correction area itself, but the image area, to which the distortion correction is not to be applied, ie, the non-distortion correction area, in the projected image. May be. Further, it is also possible to specify distortion correction instruction information indicating a distortion correction method to be performed corresponding to each distortion correction area, and the distortion correction amount calculated by the distortion correction amount calculation unit 12b is determined by the distortion correction area. In accordance with the distortion correction instruction information for each distortion correction area from the designating unit 15, it is adaptively obtained for each distortion correction area. For example, by referring to the shape data of the projection surface of the screen 23 as the distortion correction instruction information, it is possible to instruct, for each distortion correction region, to faithfully project a projection image on the projection surface regardless of the shape. .
[0026]
The distortion correction unit 12 first extracts each distortion correction region designated by the distortion correction region designation unit 15 from the projected image input from the image input unit 11, that is, the original image, by the distortion correction region extraction unit 12 a. In accordance with the specified distortion correction instruction information for each distortion correction area, reference is made to the shape data of the projection plane obtained by the projection plane acquisition means 14, and the extracted original image of each distortion correction area is referred to. Each distortion correction amount when performing distortion correction is calculated by the distortion correction amount calculation unit 12b, and based on each calculated distortion correction amount, the distortion correction image generation unit 12c performs distortion correction to generate a distortion correction image. After that, the image synthesizing unit 12d synthesizes each distortion-corrected image with a non-distortion-corrected image (original image) that has not been subjected to distortion correction, and outputs it to the image output unit 13.
[0027]
In other words, even when a plurality of areas are designated as the distortion correction areas by the distortion correction area designating unit 15, the distortion correction for each distortion correction area is performed one by one according to the distortion correction instruction information. Each of the distortion-corrected images is combined with the original image in the region where the distortion has not been corrected and output to the image output unit 13.
Further, the distortion correction amount calculated by the distortion correction amount calculation unit 12b is calculated according to the distortion correction instruction information, and by referring to the shape data of the projection surface obtained by the projection surface acquisition means 14, A coordinate conversion parameter that allows each position of the projection surface of such shape data to be converted to a position on the same plane is obtained as a distortion correction amount (that is, a coordinate conversion that can faithfully project an original image on a free-form projection surface). Parameter).
[0028]
Further, the image output unit 13 converts the composite image input from the distortion correction unit 12 (that is, the image in which each distortion-corrected image and the non-distortion-corrected image are synthesized) into a transmittable signal format. For example, the image data is transmitted to the projector device 20 via an image output terminal connected to an optical cable, a coaxial cable, or the like.
In the projector device 20, the received image is converted into a projection image by the projection unit 21, and is projected via the projection lens 22 onto a screen 23 having a free-form projection surface.
[0029]
Thus, according to the first embodiment shown in FIG. 1, the projection plane acquisition means 14 for acquiring the shape data of the projection plane of the screen 23 and one or more distortion correction areas can be designated at any time. By providing the distortion correction area specifying means 15 capable of specifying one or more arbitrary distortion correction areas from one projection image, not only before the image is projected but also during the image projection. Correction can be performed, and an image rich in effect can be obtained.
[0030]
FIG. 2 is a block diagram showing a second embodiment of the projection image correction device and the projector device according to the present invention.
In the present embodiment, the projection image correction apparatus 10 'further includes a shaping area designation unit 16 in addition to the configuration of the first embodiment shown in FIG. 1, and the distortion correction unit 12' includes a shaping processing unit 12e. Is further added. The shaping area designating means 16 is a means for designating, as a shaping area, a peripheral area including a joint between the distortion correction area specified by the distortion correction area specifying means 15 and a non-distortion correction area not specified. Further, the shaping area designation means 16 may include, in the peripheral area, the joint between the distortion correction area and the non-distortion correction area, the image after the distortion correction in the distortion correction area and the non-distortion correction area. The peripheral region including at least one portion where both images overlap with each other and / or a portion where both images are missing may be selected and designated as a shaping region. On the other hand, the shaping processing unit 12e is a means for performing partial correction on the image in the shaping area designated by the shaping area designation means 16, and provides means for removing unnaturalness of the synthesized projected image. Things.
[0031]
In other words, the shaping area specifying unit 16 and the shaping processing unit 12e use the distortion correction image generation unit 12c of the distortion correction unit 12 to generate the distortion correction image for the distortion correction area specified by the distortion correction area specifying unit 15. After the generation, in the synthesized image synthesized by the image synthesizing unit 12d of the distortion correction unit 12, an image in which the image overlaps and / or the image is missing at the junction between the distortion correction area and the non-distortion correction area In order to solve the case where a problem such as the occurrence of a portion having no distortion occurs, among the image regions in the shaping region, the image of the non-distortion correction region is contracted or expanded so as to be pulled toward the distortion correction image side. A means for performing such a partial correction process (that is, a shaping process) is provided.
[0032]
The shaping area designating means 16 specifies, for example, a shaping area for performing a shaping process on the composite image.
Input a shaping area data file that stores area data to be subjected to shaping processing (that is, partial correction) in advance
・ The shaping area is automatically determined from the distortion correction area and the distortion correction contents to be subjected to distortion correction.
・ The user specifies the shaping area via the user interface
The shaping area is designated by using any one or a plurality of means such as above, and the designated shaping area is transmitted to the distortion correcting means 12. Further, similarly to the case of the distortion correction area specified by the distortion correction area specifying means 15, the shaping area specifying means 16 can specify a plurality of shaping areas.
[0033]
Further, the shaping area designating unit 16 can also specify shaping instruction information indicating a method of the partial correction processing to be performed for each shaping area, and the partial correction processing ( That is, the shaping process) is executed according to the shaping instruction information for each shaping area from the shaping area designating unit 16 with reference to the image after the distortion correction generated by the distortion correction image generation unit 12c.
That is, the shaping processing unit 12e of the distortion correction unit 12 performs a distortion correction amount on the image of each shaping region designated by the shaping region designation unit 16 according to the shaping instruction information for each designated shaping region. With reference to the distortion correction amount calculated by the calculation unit 12b, that is, the content of the distortion correction, partial correction is performed so that the image before distortion correction contracts or expands so as to be pulled toward the distortion-corrected image.
[0034]
As described above, a distortion correction image is generated by the distortion correction image generation unit 12c of the distortion correction unit 12 for the distortion correction region specified by the distortion correction region specification unit 15, and is specified by the shaping region specification unit 16. The shaping processing unit 12e of the distortion correction unit 12 performs a partial correction, that is, a shaping process on the formed shaping region, and sends the synthesized image subjected to the shaping process to the image output unit 13. The other blocks are exactly the same as those described above for each block shown in FIG.
[0035]
Thus, according to the second embodiment shown in FIG. 2, similarly to the case of the first embodiment shown in FIG. 1, not only before the image is projected but also during the image projection, It is possible to specify one or a plurality of arbitrary distortion correction areas from one projection image to perform distortion correction, and further perform shaping processing to obtain an image with distortion correction and an image without distortion correction. The unnaturalness of the joint portion between the projection image and the projection image can be eliminated, and a projection image with a more effective rendering effect can be obtained.
[0036]
The operation of the projection image correction devices 10, 10 'and the projector device 20 shown in FIGS. 1 and 2 will be described more specifically with reference to schematic diagrams of FIGS.
FIG. 3 is a schematic diagram showing an example of the projection surface of the screen 23 having a projection surface having a free shape. In the schematic diagram shown in FIG. 3, reference numeral 31 denotes a rectangular projection surface, which is the entire projectable area on the screen 23, and reference numeral 32 denotes a convex distortion portion formed in a lower left area of the projection surface 31. Is shown.
[0037]
FIG. 4 is a schematic diagram showing an operation procedure for performing distortion correction on a projection image projected on the projection surface 31 having the convex distortion portion 32 as shown in FIG.
First, a projection image to be projected on the projection surface 31 shown in FIG. 3, that is, an original image is obtained by using the video input unit 11 shown in FIG. On the other hand, in FIG. 4 (A), the shape data of the projection surface 31 of the screen 23 (shape and size of the convex distortion portion 32 in the lower left area of the projection surface 31) are obtained by the projection surface acquisition means 14 shown in FIG. The data shown in FIG.
[0038]
Further, in FIG. 4B, based on the shape data of the projection surface 31 of the screen 23 sent to the distortion correcting means 12 by the distortion correcting area specifying means 15 shown in FIG. Of these, the original image area to be projected on the distorted portion 32 in the lower left area of the projection surface 31 is designated as a distortion correction area, and an instruction to perform distortion correction to faithfully project the original image is given. The information is sent to the distortion correction unit 12 together with the distortion correction instruction information. As described above, the distortion correction instruction information is treated as a default value when instructing that distortion correction should be performed so as to faithfully project the original image. Of course, it is also possible to specify only the correction area and not to specify the distortion correction instruction information.
[0039]
Next, in FIG. 4C, the distortion correction area image 42 specified as the distortion correction area by the distortion correction area specifying means 15 by the distortion correction area extraction unit 12a of the distortion correction Take out. Further, the distortion correction amount calculation unit 12b of the distortion correction unit 12 refers to the shape data of the projection surface 31 of the screen 23, and performs distortion correction on each part of the distortion correction area image 42 according to the distortion correction instruction information. (That is, a correction amount that forms a contracted shape having a reverse relationship to the expanded shape of the convex distortion portion 32 on the projection surface 31).
Further, in FIG. 4D, the distortion correction is performed on the distortion correction area image 42 by the distortion correction image generation unit 12c of the distortion correction unit 12 using the distortion correction amount calculated by the distortion correction amount calculation unit 12b. To generate a distortion corrected image 42 '.
[0040]
Thereafter, in FIG. 4E, the non-distortion corrected image 43 in the remaining non-distortion correction area not specified as the distortion correction area by the distortion correction area specifying means 15 by the image synthesizing unit 12d of the distortion correction means 12. And a distortion-corrected image 42 'generated by the distortion-corrected image generating unit 12c, to generate a composite image 41' corresponding to the original image 41, and to output the composite image 41 'via the image output means 13 shown in FIG. 20 and is projected on the projection surface 31 of the screen 23. The projected image on the projection surface 31 of the screen 23 is substantially the same as the original image 41 by the distortion correction processing by the distortion correction unit even if the projection surface 31 of the screen 23 has the convex distortion portion 32. Thus, the original image 41 is faithfully projected.
[0041]
However, when the synthesized image 41 ′ synthesized by the image synthesizing unit 12 d of the distortion correcting unit 12 is checked in detail, it is found that the distortion correcting region specified by the distortion correcting region specifying unit 15 and the unspecified non-distortion correcting region are joined. In the portion, there is an overlapping portion where the images of both regions overlap each other, or there is a gap portion where both the images of both regions are missing. That is, as shown in FIG. 5, the composite image 41 'created by the distortion correction means 12 has an overlapping portion 44 in which the non-distortion correction area image 43 and the distortion correction image 42' overlap each other at the junction. Also, there is a gap 45 where both images are missing, and in some cases, the naturalness as a composite image may be lost. FIG. 5 is a schematic diagram showing an example of the state of the composite image 41 'after the distortion correction has been performed.
In order to solve such a problem, as shown in FIG. 2 described above, the shaping process is performed on the peripheral region including the junction by additionally providing a shaping region designating unit 16 and a shaping processing unit 12e. .
[0042]
Next, a specific example of the shaping process will be further described. FIG. 6 is a schematic diagram illustrating an example of a shaping area including a joint between a distortion correction area and a non-distortion correction area. As shown in FIG. 6, as the shaping area, a peripheral area which is estimated by the shaping area designating means 16 shown in FIG. 2 to be slightly wider than the area corresponding to the convex distortion part 32 on the projection surface 31 shown in FIG. Will be secured. In other words, as shown in FIG. 6, the area image including the overlapping portion 44 and the gap 45 existing at the joint between the non-distortion-corrected region image 43 and the distortion-corrected image 42 'in the composite image 41' The image 46 is secured. Further, as shown in FIG. 7, an image before distortion correction in the shaping area where the shaping area image 46 exists (that is, an original shaping area image which is the original image 41 in the shaping area) is stored in advance. Here, FIG. 7 is a schematic diagram showing the state of the shaping area original image before the distortion correction and shaping processing is performed as a square lattice pattern.
[0043]
The distortion correction for the distortion correction area image 42 corresponding to the convex distortion part 32 of the projection surface 31 in the shaping area image 46 is performed by the distortion correction image generation unit 12c of the distortion correction unit 12 as described above. The surrounding image after the distortion correction has been performed is shown in FIG. 8 by the shaping processing unit 12e of the distortion correction unit 12 based on the shaping area original image of the square lattice pattern stored as shown in FIG. As shown in the figure, partial correction (shaping processing) is performed in which the peripheral image that has not been distortion-corrected is contracted and / or expanded so as to form a lattice pattern that is pulled by the distortion-corrected distortion-corrected image 42 ′. Is done. FIG. 8 is a schematic diagram showing a state after the shaping process has been performed on the shaping area image 46 specified as the shaping area. Thus, even if the projection surface 31 has the distortion portion 32, it is possible to project an image that is faithful to the original image 41 without distortion by performing the distortion correction. In addition, by performing a partial correction called a shaping process on a peripheral image that is not subjected to distortion correction, it is possible to smoothly and properly display a joint between the distortion-corrected image and the non-distortion-corrected image. Naturalness can be eliminated.
[0044]
In the projection image correction devices 10 and 10 'and the projector device 20 according to the present invention, as described above, the distortion correction region for performing the distortion correction and / or the non-distortion correction region for not performing the distortion correction is further provided. It is also possible to specify a plurality of shaping areas for performing the shaping process.
[0045]
As for the block configurations of the projection image correction devices 10, 10 'and the projector device 20 shown in FIGS. 1 and 2, only one embodiment is shown, and the present invention is not limited to only such a configuration. For example, as described above, the projector device may have a built-in projection image correction device, or the projection image once input to the projector device may be taken out to the projection image correction device side to perform distortion correction or the like. The combined image after the shaping process may be sent back to the projector device again to project the combined image after the distortion correction and the shaping process on the projection surface. Alternatively, the distortion correction means 12 and the projection surface acquisition means 14 and / or the distortion correction area designating means 15 and / or the shaping area designating means 16 may be composed of different devices and may be connected to each other. .
[0046]
Further, specific examples of the distortion correction and the shaping processing described with reference to FIGS. 3 to 9 are merely examples, and the present invention is not limited to such a case. For example, as a method of designating the distortion correction area by the distortion correction area designating means 15, FIG. 4 describes a case in which the distortion correction area is designated based on the shape data of the projection plane obtained by the projection plane acquisition means 14. As described above, the distortion correction area data file or the user himself may specify an arbitrary area as the distortion correction area regardless of the shape of the projection surface.
[0047]
Further, the projection surface acquisition means 14 is not limited to only acquiring the shape data of the projection surface from the shape data file in which the shape data of the projection surface is stored in advance. It is also possible to use the shape of the projected surface or the shape specified by the user in real time as the shape of the projection surface. Also, the shaping area designating means 16 not only automatically designates a peripheral area including the distortion correction area designated by the distortion compensation area designating means 15 as a shaping area, but also stores information for designating the shaping area in advance. It can be specified by the shaping area data file specified, or can be specified in real time by the user himself.
[0048]
【The invention's effect】
As described above, according to the projection image correction device and the projector device of the present invention, a distortion-free image and a distortion correction image are projected on a projection surface having a free shape (including a planar shape). Distortion correction can be performed on an image in an arbitrary specified image area for one projection image prepared using one image input unit without requiring two projection images with an image. At the same time, it is possible to designate a plurality of image areas as distortion correction areas. In addition, by performing shaping processing on a joint portion between an image area where distortion correction is performed and an image area where distortion correction is not performed, a smooth image with naturalness can be obtained even when images of both areas are combined.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a projection image correction device and a projector device according to the present invention.
FIG. 2 is a block diagram showing a second embodiment of a projection image correction device and a projector device according to the present invention.
FIG. 3 is a schematic diagram illustrating an example of a projection surface of a screen having a projection surface having a free shape.
FIG. 4 is a schematic diagram showing an operation procedure for performing distortion correction on a projection image projected on a projection surface having a convex distortion portion as shown in FIG.
FIG. 5 is a schematic diagram illustrating an example of a state of a composite image after distortion correction has been performed;
FIG. 6 is a schematic diagram showing an example of a shaping area including a joint between a distortion correction area and a non-distortion correction area.
FIG. 7 is a schematic diagram showing a state of a shaping region original image before a distortion correction and a shaping process are performed as a square lattice pattern.
FIG. 8 is a schematic diagram showing a state after a shaping process has been performed on a shaping area image designated as a shaping area;
[Explanation of symbols]
10, 10 ': projected image correction device, 11: image input means, 12, 12': distortion correction means, 12a: distortion correction area extraction unit, 12b: distortion correction amount calculation unit, 12c: distortion correction image generation unit, 12d ... Image synthesizing unit, 12e ... Shaping processing unit, 13 ... Image output unit, 14 ... Projection surface obtaining unit, 15 ... Distortion correction area designating unit, 16 ... Shaping region designating unit, 20 ... Projector device, 21 ... Projection unit, 22 ... Projection lens, 23 ... Screen, 31 ... Projection surface, 32 ... Distortion part, 41 ... Original image, 41 '... Synthetic image, 42 ... Distortion correction area image, 42' ... Distortion correction image, 43 ... Non distortion correction image, 44: overlapping portion, 45: gap portion, 46: shaping region image.

Claims

Projection surface acquisition means for obtaining shape data of a projection surface having a free shape, distortion correction area designating means for designating a distortion correction area of a projection image projected on the projection surface, and performing distortion correction on the projection image Distortion correction means, the distortion correction means refers to the shape data, performs distortion correction on the image of the distortion correction area of the projected image, the distortion correction area of the projection image A projection image correction apparatus, wherein an image is synthesized with an image in a non-distortion correction area not specified by a specifying unit.

Projection surface acquisition means for obtaining shape data of a projection surface having a free shape, distortion correction area designating means for designating a distortion correction area of a projection image projected on the projection surface, and performing distortion correction on the projection image A distortion correction unit; a shaping region specifying unit that specifies a peripheral region including a joint between the distortion correction region specified by the distortion correction region specifying unit and a non-distortion correction region that is not specified as a shaping region; and the shaping. Shaping means for partially correcting the image of the shaping area designated by the area designating means, wherein the distortion correction means refers to the shape data, and the image of the distortion correction area in the projection image To the image in the non-distortion-corrected area of the projected image and synthesize the image in the shaping area. Projected image correction apparatus characterized by performing a partial correction by Doping means.

3. The projection image correction apparatus according to claim 2, wherein the partial correction performed by the shaping unit refers to distortion correction performed by the distortion correction unit, and the non-distortion correction is performed in the image of the shaping region. 4. A projection image correction apparatus for performing correction such that an image in a region contracts or expands so as to be pulled toward an image on which distortion has been corrected in the distortion correction region.

4. The projection image correction device according to claim 2, wherein the shaping area specified by the shaping area specifying unit is provided at the joint between the distortion correction area and the non-distortion correction area, and in the distortion correction area. The image is a peripheral region including at least one portion where the image of the distortion-corrected image and the image of the non-distortion-corrected region overlap each other and / or at least one portion where both images are missing. Projection image correction device.

5. The projection image correction device according to claim 2, wherein a plurality of arbitrary areas can be included in the projection image as the shaping area specified by the shaping area specifying unit. Projection image correction device.

6. The projection image correction apparatus according to claim 2, wherein the shaping area specified by the shaping area specifying means inputs a shaping area data file that stores in advance the area data to be partially corrected. The shaping area is automatically determined from the distortion correction area and the content of the distortion correction performed by the distortion correction unit, or the user himself specifies the shaping area. A projection image correction apparatus, wherein the shaping area is specified by using one or a plurality of pieces, and shaping instruction information indicating the partial correction method to be performed corresponding to the shaping area is specified.

7. The projection image correction device according to claim 1, wherein a plurality of arbitrary areas can be included in the projection image as the distortion correction area specified by the distortion correction area specifying unit. Characteristic projection image correction device.

8. The projection image correction device according to claim 1, wherein the distortion correction area designating unit inputs the area data to be subjected to the distortion correction from a distortion correction area data file storing the data in advance, or Either one of automatically determining the distortion correction region from the shape data of the projection surface obtained by the projection surface acquisition means or designating the distortion correction region by the user himself is used. Accordingly, the projection image correction apparatus specifies the distortion correction area, and specifies distortion correction instruction information indicating the distortion correction method to be performed corresponding to the distortion correction area.

9. A projection image correction apparatus according to claim 1, wherein the projection image correction apparatus performs distortion correction of a projection image projected on a projection surface irrespective of whether the image is being projected. A projector device capable of projecting an image obtained by partially correcting the projected image by means.