JP2014150561A - Portable type image projection apparatus, image projection method, and image projection program - Google Patents
Portable type image projection apparatus, image projection method, and image projection program Download PDFInfo
- Publication number
- JP2014150561A JP2014150561A JP2014070788A JP2014070788A JP2014150561A JP 2014150561 A JP2014150561 A JP 2014150561A JP 2014070788 A JP2014070788 A JP 2014070788A JP 2014070788 A JP2014070788 A JP 2014070788A JP 2014150561 A JP2014150561 A JP 2014150561A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- correction information
- projected
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、任意の場所に画像を投影する携帯型画像投影装置、画像投影方法及び画像投影プログラムに関する。 The present invention relates to a portable image projecting apparatus, an image projecting method, and an image projecting program that project an image on an arbitrary place.
ユビキタス社会の現代において、携帯端末の表示機能には、いつでもどこでも美しい画像、多彩な情報を表示する機能が求められている。さらに、携帯端末の表示機能には、これらの情報を大画面、高精度なディスプレイに表示することも求められてきている。そのため、携帯端末の表示機能として、液晶又は有機EL(Electro-Luminescence)等の平面ディスプレイに表示するだけでなく、投影型のプロジェクタを用いて表示するニーズが高まってきている。 In the present age of the ubiquitous society, a display function of a mobile terminal is required to display a beautiful image and a variety of information anytime and anywhere. Furthermore, the display function of a portable terminal is also required to display such information on a large screen and a highly accurate display. Therefore, as a display function of the mobile terminal, there is an increasing need for not only displaying on a flat display such as liquid crystal or organic EL (Electro-Luminescence) but also using a projection projector.
特許文献1には、表示画像が投影される下地面に合わせた表示画像の画像調整を行う携帯撮像表示装置が記載されている。特許文献1に記載された携帯撮像表示装置は、投影表示部が、ハーフミラーを使用して撮像の際と同じ光路で表示画像を投影面に投影する。そして、投影表示部が、初期画像を投影してこれを撮像部で撮像することで撮像画像を取得する。スクリーン撮像判別部が、この初期画像と撮像画像とを比較して両者の色差を検出すると、補色データ生成部が、検出された色差から補正信号としてその補色データを生成する。補正画像演算部は、投影面に投影されたときに表示画像が正しい色合いとなるよう、表示画像と補正信号とを重畳した表示データを投影表示部の表示信号処理部に送信する。
プロジェクタは、予め備え付けられた特定のスクリーンや、一定の領域を備えた白色平面部に画像を表示する場合が多い。しかし、持ち運びを想定した携帯端末が画像等の情報を表示する場合、必ずしもスクリーンや一定の領域を備えた白色平面部が存在するとは限らない。そのため、携帯性を有するにもかかわらず、投射する場所を選びながら使用せざるを得なかった。 In many cases, a projector displays an image on a specific screen provided in advance or on a white plane portion having a certain area. However, when a portable terminal that is supposed to be carried displays information such as an image, there is not necessarily a white flat part having a screen or a certain area. Therefore, although it has portability, it had to use it, selecting the place to project.
特許文献1に記載された携帯撮像表示装置は、投影面が白色でない場合でも補色データを生成することにより、投影面に投影された表示画像を正しい色合いに変換する。しかし、投影面に凹凸が存在したり、斜め方向から投影したりすることにより、表示画像に歪みが発生する場合、色の補正だけでは画像を正しく表示できないという課題がある。
The portable imaging display device described in
そこで、本発明は、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる携帯型画像投影装置、画像投影方法及び画像投影プログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a portable image projection apparatus, an image projection method, and an image projection program capable of projecting an image suitable for an arbitrary projection plane regardless of the projection direction and the unevenness of the projection plane.
本発明による携帯型画像投影装置は、投影面に画像を投影する画像投影手段と、画像投影手段が投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影する投影画像撮影手段と、画像投影手段が投影する画像と、投影画像撮影手段が撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段と、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段とを備え、補正情報生成手段が、画像投影手段が画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成し、画像投影手段が、変換画像を投影面に投影することを特徴とする。 A portable image projection apparatus according to the present invention captures a projection image, which is an image appearing on a projection plane, when the image projection unit projects an image on the projection plane. Correction information generation for generating correction information for correcting an image to be projected based on the difference between the projection image shooting unit, the image projected by the image projection unit, and the projection image shot by the projection image shooting unit Means and a converted image generating means for generating a converted image obtained by converting an image to be projected based on the correction information, the correction information generating means depending on the direction in which the image projecting means projects the image or the aspect of the projection surface Correction information is generated on the basis of the difference in form from the image generated in the projection image, and the image projecting means projects the converted image onto the projection plane.
本発明による画像投影方法は、投影面に画像を投影し、投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影し、画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成し、補正情報をもとに投影する画像を変換した変換画像を生成し、変換画像を投影面に投影することを特徴とする。 The image projection method according to the present invention projects an image on a projection plane, and when the image is projected on the projection plane, captures a projection image that is an image appearing on the projection plane, depending on the direction in which the image is projected, or the projection The correction information is generated based on the difference between the image generated in the projection image due to the surface mode, the converted image is generated based on the correction information, and the converted image is projected onto the projection surface. It is characterized by doing.
本発明による画像投影プログラムは、コンピュータに、投影面に画像を投影する画像投影処理、画像投影処理で投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影する投影画像撮影処理、画像投影処理で投影する画像と、投影画像撮影処理で撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成処理、および、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成処理を実行させ、補正情報生成処理で、画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成させ、画像投影処理で、変換画像を投影面に投影させることを特徴とする。 An image projection program according to the present invention captures a projection image, which is an image appearing on a projection plane, when the image is projected onto the projection plane by image projection processing and image projection processing on the computer. Projection image shooting processing, correction information generation processing for generating correction information for correcting the projected image based on the difference between the image projected by the image projection processing and the projection image shot by the projection image shooting processing And a converted image generation process for generating a converted image obtained by converting an image to be projected based on the correction information. In the correction information generation process, the image is projected into the projected image according to the direction in which the image is projected or according to the aspect of the projection plane. Correction information is generated based on a difference in form with the generated image, and a converted image is projected onto a projection plane by image projection processing.
本発明によれば、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。 According to the present invention, it is possible to project an image suitable for an arbitrary projection plane regardless of the projection direction and the unevenness of the projection plane.
以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
実施形態1.
図1は、本発明の第1の実施の形態における携帯型画像投影装置の例を示すブロック図である。本実施形態における携帯型画像投影装置は、記憶部10と、制御部20と、プロジェクタ30と、カメラ40とを備えている。なお、携帯型画像投影装置には、CPUや、そのCPUに指示を行うための入力装置(図示せず)、音響装置等(図示せず)を含むが、ここでは説明を省略する。
FIG. 1 is a block diagram showing an example of a portable image projector according to the first embodiment of the present invention. The portable image projector in the present embodiment includes a
記憶部10は、壁面やスクリーンなどの領域(以下、投影面と記す。)に表示しようとする画像(以下、表示画像と記す。)を記憶する記憶装置である。
The
プロジェクタ30は、制御部20の指示に応じ、記憶部10に記憶された表示画像や、制御部20が変換した表示画像(以下、変換画像と記す。)を投影面に投影して表示する表示装置である。プロジェクタ30は、携帯撮像表示装置に内蔵されていてもよい。もしくは、プロジェクタ30は、携帯撮像表示装置とは別に設けられ、有線もしくは無線で携帯撮像表示装置に接続されていてもよい。
The
カメラ40は、投影面の下地の色を撮影する。投影面の下地には、色が一様でない部分(色が変化している部分)や、壁掛けなど他の物を含んでいてもよい。以下の説明では、カメラ40が投影面の下地を撮影して、制御部20が投影面の態様を認識する場合について説明する。ここで、投影面の態様とは、投影面の下地の色だけでなく、投影面の形状などを含んでいてもよい。なお、制御部20が、投影面の態様を認識できる方法であれば、カメラ40は他の形態であってもよい。例えば、カメラ40の代わりに、投影面の色を検知できるカラーセンサや、輝度を検知できる光センサなどであってもよい。
The
制御部20は、投影面に投影する画像や映像をコントロールする。なお、以下の説明は、制御部20が画像を制御する場合について説明するが、制御対象は映像であってもよい。制御部20は、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24とを備えている。
The
画像認識部21は、カメラ40が撮影した画像を取得する。以下の説明では、画像認識部21は、画像として、投影面の下地の画像を取得する場合について説明する。
The
画像変換部22は、画像認識部21が取得した画像をもとに、投影する表示画像を補正するための情報(以下、補正情報と記す。)を生成する。具体的には、投影面が白色面でない場合、画像変換部22は、投影面の下地の画像を補色関係にある色に変換した画像(以下、補色画像と記す。)を補正情報として生成する。これは、補色関係にある色を重ね合わすと白色になる光の特性を利用したもので、表示画像に補色画像を重ね合わせて表示することで、本来表示したい色で表示することができるためである。
The
画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する。画像合成部23は、例えば、投影面が白色面でない場合、生成した補色画像を表示画像に重ね合わせて変換画像を生成する。
The
出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う。
The
制御部20(より詳しくは、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24)は、例えば、プログラム(画像投影プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、記憶部10に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って制御部20(より詳しくは、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24)として動作してもよい。
The control unit 20 (more specifically, the
次に、動作について説明する。図2は、表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。例えば、ユーザの指示に応じ、カメラ40はその投影面の下地を撮影する(ステップS51)。画像認識部21は、カメラ40が撮影した投影面の画像(ここでは、投影面の下地)を取得する(ステップS52)。画像認識部21が投影面の画像を取得すると、画像変換部22は、その画像をもとに、投影する画像を補正するための補正情報を生成する(ステップS53)。画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する(ステップS54)。出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う(ステップS55)。なお、投影面の下地が変化した場合、再度ステップS51から処理を行えばよい。
Next, the operation will be described. FIG. 2 is a flowchart illustrating an example of processing until a display image is converted and displayed on the projection plane. For example, in response to a user instruction, the
本発明によれば、カメラ40が投影面の下地の画像を撮影する。画像変換部22は、画像認識部21が取得した投影面の下地の画像をもとに補色画像を生成する。その補色画像をもとに画像合成部23が生成した変換画像をプロジェクタ30が投影面に投影する。よって、一定の領域を備えた白色面を設けなくとも表示画像を正しく表示することができる。
According to the present invention, the
実施形態2.
図3は、本発明の第2の実施の形態における携帯型画像投影装置の例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。本実施形態における携帯型画像投影装置は、記憶部10と、制御部20’と、プロジェクタ30と、カメラ40とを備えている。記憶部10、プロジェクタ30及びカメラ40の構成は、第1の実施形態と同様である。
FIG. 3 is a block diagram showing an example of a portable image projector according to the second embodiment of the present invention. In addition, about the structure similar to 1st Embodiment, the code | symbol same as FIG. 1 is attached | subjected and description is abbreviate | omitted. The portable image projector in the present embodiment includes a
カメラ40は、プロジェクタ30によって投影面に投影された画像(以下、投影画像と記す。)を撮影する。すなわち、投影画像は、表示画像や変換画像が投影面の態様によって変化した画像ということができる。
The
制御部20’は、画像認識部21と、画像合成部23と、出力指示部24と、画像比較部25と、画像補正部26とを備えている。
The
画像認識部21は、カメラ40が撮影した画像を取得する。以下の説明では、画像認識部21が、画像として、投影画像を取得する場合について説明する。
The
出力指示部24は、記憶部10に記憶された表示画像や、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う。
The
画像比較部25は、画像認識部21が取得した投影画像をもとに、表示画像との態様の差分を算出する。態様の差分とは、画像の色や輝度の差分などが挙げられるが、態様の差分は、色や輝度に限定されない。画像比較部25は態様の差分を算出するため、まず、表示画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した画像(以下、分割表示画像と記す。)を生成する。次に、画像比較部25は、表示画像を分割した分割数と同数であって、分割する各間隔が投影画像を分割した間隔と同一の比率となるように分割した画像(以下、分割投影画像と記す。)を生成する。画像比較部25は、分割表示画像と対応する分割投影画像との態様を比較して差分を算出する。
The
差分を算出する方法について、図面を用いて以下に詳述する。図4は、凹凸を有する投影面に表示画像を投影した場合(すなわち、投影面が距離的に段違いになっている場合)の例を示す説明図である。プロジェクタ30が投影面W1に表示画像B1を投影すると、投影面W1に投影画像D1が投影される。カメラ40が投影画像D1を撮影すると、画像認識部21はその投影画像D1を取得する。そして、画像比較部25は、表示画像B1を縦方向及び横方向に予め定められた分割数(ここでは、2とする。)及び予め定められた間隔(ここでは、等間隔とする。)に分割した分割表示画像を生成する。次に、画像比較部25は、表示画像B1を分割した分割数2で、投影画像D1を等間隔に分割した分割投影画像を生成する。
A method for calculating the difference will be described in detail below with reference to the drawings. FIG. 4 is an explanatory diagram showing an example when a display image is projected onto a projection surface having projections and depressions (that is, when the projection surfaces are different in distance). When the
画像比較部25は、分割表示画像と対応する分割投影画像との態様を比較して差分を算出する。図4に示す例では、(x1,y1)と(x1’,y1’)、(x1,y2)と(x1’,y2’)などが対応し、プロジェクタ30が投影する投影面までの距離の差によって投影画像D1の態様が異なっていることを示す。この時、画像比較部25は、両者の輝度の違いを認識して差分を算出してもよい。もしくは、画像比較部25は、両者の色彩の違いを認識して差分を算出してもよい。
The
図5は、斜め方向から投影面に表示画像を投影した場合の例を示す説明図である。プロジェクタ30が斜め方向から投影面W2に表示画像B2を投影すると、投影面W2に投影画像D2が表示される。図4に示す例と同様に、画像比較部25は、表示画像B2及び投影画像D2を縦横2つずつ等間隔に分割した画像を生成する。
FIG. 5 is an explanatory diagram illustrating an example when a display image is projected onto the projection plane from an oblique direction. When the
図5に示す例では、(x3,y3)と(x3’,y3’)、(x3,y4)と(x3’,y4’)などが対応する。また、プロジェクタ30が斜め方向から投影することにより、投影画像D2に歪みが生じていることを示す。画像比較部25は、その歪みを認識し、差分を算出する。例えば、画像比較部25は、分割表示画像の縦横の比率と、分割投影画像の縦横の比率と異なっている場合に、歪みを認識してもよい。画像比較部25は、歪みを認識すると、画像に表示される物の位置などを認識する点(以下、特徴点と記す。)をそれぞれ画像から取得する。このとき、画像比較部25は対応する点(例えば、P1とP1’、P2とP2’)の態様の違い(例えば、輝度や色彩などの違い)を認識して差分を算出してもよい。
In the example shown in FIG. 5, (x3, y3) and (x3 ′, y3 ′), (x3, y4), (x3 ′, y4 ′), and the like correspond to each other. In addition, the
なお、上記説明では、画像比較部25が差分を算出する際に、表示画像及び投影画像を分割して比較する場合について説明したが、表示画像及び投影画像の態様の差分が算出可能であれば、差分の算出方法は上記方法に限定されない。また、表示画像及び投影画像を分割する点は2つに限られず、また、分割間隔も等間隔に限られない。また、上記説明では、分割表示画像の縦横の比率と分割投影画像の縦横の比率と異なっている場合に歪みを認識して差分を算出する場合を例に説明したが、歪みの判断方法は、2つの画像の歪みが認識できる方法であれば、上記方法に限定されない。このようにして、投影画像に表示画像との歪みが生じた場合でも、投影画像を正しく認識することができる。
In the above description, when the
画像補正部26は、画像比較部25が算出した態様の差分をもとに、投影する表示画像を補正するための補正情報を生成する。例えば、図4に示す例で、分割表示画像(x1,y1)で示す位置の輝度が、画像(x1,y2)で示す位置の輝度よりも差分d1だけ暗いと画像比較部25が算出した場合、画像補正部26は、その位置を表示するための色彩をd1明るくするという補正情報を生成してもよい。もしくは、図5に示す例で、分割表示画像(x3,y3)で示す画像の特徴点P1の色彩C1が、分割投影画像(x3’,y3’)で示す画像の特徴点P1の色彩C2と画素値でd2異なっていると画像比較部25が算出した場合、画像補正部26は、その位置を表示するための画素値をd2変化させるという補正情報を生成してもよい。
The
このように、投影面の態様(凹凸)により投影画像に生じた表示画像との態様の差分(輝度の差分もしくは色彩の差分)を画像比較部25が認識し、画像補正部26が補正情報を生成する。また、プロジェクタ30が表示画像を投影する方向(例えば、斜め方向)により生じた表示画像との態様の差分(歪み)を画像比較部25が認識し、画像補正部26が補正情報を生成する。
As described above, the
なお、上記説明では、画像補正部26が、画像の態様の差分として、表示画像と投影画像との輝度の違いや色彩の違いをもとに補正情報を生成する場合について説明したが、補正情報を生成する方法は上記方法に限定されない。
In the above description, the case where the
画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する。例えば、画像の輝度や色彩が異なって表示される場合であれば、画像合成部23は、表示画像の明るさや色彩などを変換した画像を生成すればよい。また、投影画像が歪んでいる場合であっても、画像合成部23は、歪みに応じて生成された補正情報をもとに表示画像を変換して変換画像を生成すればよい。
The
表示画像を白色平面部以外の場所に表示した場合、投影面の態様によって表示画像が正しく表示されない場合がある。また、凹凸のある投影面に対して垂直に表示画像を投影した場合や、斜め方向から表示画像を投影した場合には、画像が歪んで表示される場合がある。しかし、このように変換画像を生成して表示することにより、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。また、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができる。そのため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影できる。 When the display image is displayed at a place other than the white plane portion, the display image may not be displayed correctly depending on the aspect of the projection plane. In addition, when a display image is projected perpendicularly to an uneven projection surface, or when a display image is projected from an oblique direction, the image may be displayed distorted. However, by generating and displaying the converted image in this way, an image suitable for an arbitrary projection plane can be projected regardless of the projection direction and the projection surface unevenness. In addition, the display image can be correctly displayed without providing a white plane portion having a certain area. For this reason, it is possible to project an image or video from the projector to an arbitrary place without having to provide a specific screen or select a projection place.
制御部20’(より詳しくは、画像認識部21と、画像合成部23と、出力指示部24と、画像比較部25と、画像補正部26)は、例えば、プログラム(画像投影プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、記憶部10に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って制御部20’(より詳しくは、画像認識部21、画像合成部23、出力指示部24、画像比較部25及び画像補正部26)として動作してもよい。
The
次に、動作について説明する。図6は、表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。例えば、ユーザの指示に応じ、出力指示部24は記憶部21に記憶された表示画像を投影面に表示するようプロジェクタ30に指示を行う(ステップS61)。投影画像が表示された後、例えば、ユーザの指示に応じて、もしくは予め定められた時間の経過後、カメラ40はその投影画像を撮影する(ステップS62)。画像認識部21は、カメラ40が撮影した投影画像(撮影画像D3)を取得する(ステップS63)。そして、画像比較部25は、撮影画像D3の特徴点の位置における輝度や色彩などをもとに画像の態様を判断し、表示画像と態様の差分を算出する(ステップS64)。画像比較部25が差分を算出すると、画像補正部26は、その差分をもとに投影する画像を補正するための補正情報を生成する(ステップS65)。画像合成部23は、画像補正部26が生成した補正情報をもとに表示画像を変換して変換画像を生成する(ステップS66)。出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う(ステップS67)。以降、画像合成部23が補正情報をもとに表示画像を変換し、出力処理部24がその変換画像をプロジェクタ30に出力させる指示を繰り返す。以下、画像合成部23及び出力処理部24が繰り返すこれらの処理をあわせて、変換画像出力処理と記す。
Next, the operation will be described. FIG. 6 is a flowchart showing an example of processing until a display image is converted and displayed on the projection plane. For example, in response to a user instruction, the
なお、画像合成部23及び出力処理部24は、変換画像出力処理を、常時実施してもよいし、予め定められた間隔ごとに(すなわち、常時実施される処理のうち一定間隔ごとに処理を間引いて)実施してもよい。画像合成部23及び出力処理部24が、変換画像出力処理を予め定められた間隔ごとに実施することにより、変換画像出力処理で使用される消費電力を抑えることができる。なお、プロジェクタ30が画像を表示する場合、通常1画面毎にフレーム周波数の間隔で画像を更新する。そのため、フレーム周波数以上で変換画像出力処理を行っても投影面に表示される画像に反映されない。したがって、画像合成部23及び出力処理部24が変換画像出力処理を実施する場合、プロジェクタ30のフレーム周波数と同期させて処理を行うことが望ましい。
Note that the
また、ステップS62において、予め定められた時間の経過後、定期的に投影画像を撮影し、ステップS63以降の処理を行ってもよい。この場合、投影面の下地が変化した場合でも、その変化に追随して表示画像を変換することができる。もしくは、画像認識部21は、カメラ40が撮影した画像を取得したときに、取得したその画像を記憶部10に記憶させ、カメラ40が後に撮影した画像と比較してもよい。そして、画像認識部21は、両者の画像に差異があると判断したときに、制御部20は、ステップS64以降の処理を実施してもよい。こうすることにより、投影面の下地の変化に合わせて表示画像を変換することができる。
In step S62, after a predetermined time elapses, a projection image may be taken periodically, and the processes after step S63 may be performed. In this case, even when the background of the projection surface changes, the display image can be converted following the change. Alternatively, when the
変換画像を投影面に投影した後、再度、補正情報を作成して変換を行ってもよい。この場合の動作について説明する。まず、出力指示部24は、変換画像を投影面に表示するようプロジェクタ30に指示を行う。変換画像を投影した投影画像が投影面に表示された後、カメラ40はその投影画像を撮影する。画像認識部21は、カメラ40が撮影した投影画像(撮影画像)を取得する。そして、画像比較部25は、撮影画像の態様を判断し、表示画像と態様の差分を算出する。画像比較部25が差分を算出すると、画像補正部26は、その差分をもとに投影する変換画像をさらに補正するための補正情報(以下、再補正情報と記す。)を生成する。画像合成部23は、画像補正部26が生成した再補正情報をもとに変換画像をさらに変換した画像(以下、再変換画像と記す。)を生成する。出力指示部24は、画像合成部23が生成した再変換画像をプロジェクタ30に出力させるよう指示を行う。以降、画像合成部23が補正情報及び再補正情報をもとに表示画像を変換し、出力処理部24がその変換画像もしくは再変換画像をプロジェクタ30に出力させる指示を繰り返す。このような処理を繰り返すことで、投影面の下地が変化しても適切に画像を表示できる。
After the converted image is projected onto the projection surface, the correction information may be generated again to perform conversion. The operation in this case will be described. First, the
本発明によれば、プロジェクタ30が投影面に表示画像を投影し、その投影面に表示された投影画像をカメラ40が撮影する。画像比較部25は、プロジェクタ30が表示画像を投影する方向により、もしくは投影面の形態により投影画像に生じたその表示画像ともとの表示画像との態様を比較する。画像補正部26は、比較した態様の差分をもとに補正情報を生成する。プロジェクタ30は、その補正情報をもとに画像合成部23が生成した変換画像を投影面に投影する。そのため、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。すなわち、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができるため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影することができる。
According to the present invention, the
図7は、本発明における携帯型画像投影装置の最小構成を示すブロック図である。本発明による携帯型画像投影装置は、投影面に画像(例えば、表示画像もしくは変換画像)を投影する画像投影手段81(例えば、出力指示部24及びプロジェクタ30)と、画像投影手段81が投影面に画像を投影したときに、その投影面に表れている画像である投影画像を撮影する投影画像撮影手段82(例えば、カメラ40)と、画像投影手段81が投影する画像(例えば、表示画像もしくは変換画像)と、投影画像撮影手段82が撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段83(例えば、画像変換部22、もしくは画像比較部25及び画像補正部26)と、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段84(例えば、画像合成部23)とを備える。
FIG. 7 is a block diagram showing the minimum configuration of the portable image projector according to the present invention. The portable image projection apparatus according to the present invention includes an image projection unit 81 (for example, the
補正情報生成手段83は、画像投影手段81が画像を投影する方向により、もしくは投影面の態様により投影画像に生じたその画像との態様の差分(例えば、輝度の差分もしくは色彩の差分)をもとに補正情報を生成する。また、画像投影手段81は、変換画像を投影面に投影する。
The correction
そのような構成により、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。すなわち、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができるため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影できる。 With such a configuration, an image suitable for an arbitrary projection plane can be projected regardless of the projection direction and the unevenness of the projection plane. In other words, the display image can be displayed correctly without providing a white flat portion having a certain area, so that it is not necessary to provide a specific screen or select a projection location, and the image from the projector can be placed at an arbitrary location. And can project images.
また、上記実施形態には、画像投影手段が投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像(例えば、分割表示画像)を生成する分割画像生成手段(例えば、画像比較部25)と、その分割数と同数であって、分割する各間隔がその間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成手段(例えば、画像比較部25)とを備え、補正情報生成手段83が、分割画像と対応する分割投影画像との態様の差分をもとに補正情報を生成する構成が開示されている。
In the above-described embodiment, a divided image generating unit (for example, a divided display image) that generates a divided image (for example, a divided display image) obtained by dividing the image projected by the image projecting unit in the vertical direction and the horizontal direction at predetermined division numbers and intervals. For example, the image comparison unit 25) and a divided projection image generation unit that generates a divided projection image by dividing the projection image so that the number of divisions is the same as the number of divisions. For example, a configuration is disclosed in which the correction
このようにして、投影画像に表示画像との歪みが生じた場合でも、表示画像を正しく表示することができる。 In this way, even when the projection image is distorted with the display image, the display image can be correctly displayed.
また、補正情報生成手段83が、フレーム周波数と同期をとって補正情報を生成してもよい。この場合、変換画像出力処理で使用される消費電力を抑えることができる。
Further, the correction
また、補正情報生成手段83が、輝度の差分もしくは色彩の差分をもとに補正情報を生成してもよい。
Further, the correction
また、補正情報生成手段83が、画像投影手段81が投影する画像(例えば、変換画像)と投影画像との態様の差分をもとに、変換画像を補正するための補正情報を生成してもよい。
Further, even if the correction
本発明は、任意の場所に画像を投影する携帯型画像投影装置に好適に適用される。 The present invention is preferably applied to a portable image projector that projects an image on an arbitrary place.
10 記憶部
20,20’ 制御部
21 画像認識部
22 画像変換部
23 画像合成部
24 出力指示部
25 画像比較部
26 画像補正部
30 プロジェクタ
40 カメラ
B1,B2 表示画像
D1,D2 投影画像
D3 撮影画像
W1,W2 投影面
P1,P2 特徴点
DESCRIPTION OF
Claims (9)
前記画像投影手段が投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影する投影画像撮影手段と、
前記画像投影手段が投影する画像と、投影画像撮影手段が撮影した前記投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段と、
前記補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段とを備え、
前記補正情報生成手段は、前記画像投影手段が画像を投影する方向により、もしくは投影面の態様により前記投影画像に生じた当該画像との態様の差分をもとに補正情報を生成し、
前記画像投影手段は、前記変換画像を投影面に投影する
ことを特徴とする携帯型画像投影装置。 Image projection means for projecting an image onto a projection surface;
A projection image photographing means for photographing a projection image which is an image appearing on the projection plane when the image projection means projects an image on the projection plane;
Correction information generating means for generating correction information for correcting an image to be projected based on the difference between the image projected by the image projecting means and the projected image captured by the projected image capturing means;
A converted image generating means for generating a converted image obtained by converting an image to be projected based on the correction information;
The correction information generation unit generates correction information based on a difference between the image and the image generated in the projection image according to a direction in which the image projection unit projects an image or a projection surface.
The portable image projection apparatus, wherein the image projection unit projects the converted image onto a projection surface.
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成手段とを備え、
補正情報生成手段は、前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成する
請求項1に記載の携帯型画像投影装置。 Divided image generation means for generating a divided image obtained by dividing the image projected by the image projection means in the vertical direction and the horizontal direction at predetermined division numbers and intervals;
Divided projection image generation means for generating a divided projection image obtained by dividing the projection image so that each interval to be divided has the same ratio as the interval, the number being the same as the number of divisions;
The portable image projection device according to claim 1, wherein the correction information generation unit generates correction information based on a difference in aspect between the divided image and the corresponding divided projection image.
請求項1または請求項2に記載の携帯型画像投影装置。 The portable image projection apparatus according to claim 1, wherein the correction information generation unit generates the correction information in synchronization with the frame frequency.
請求項1から請求項3のうちのいずれか1項に記載の携帯型画像投影装置。 The portable image projector according to any one of claims 1 to 3, wherein the correction information generation unit generates correction information based on a difference in luminance or a difference in color.
請求項1から請求項4のうちのいずれか1項に記載の携帯型画像投影装置。 The correction information generation unit generates correction information for correcting the converted image based on the difference between the image projected by the image projection unit and the projection image. 2. A portable image projector according to item 1.
投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影し、
画像を投影する方向により、もしくは投影面の態様により投影画像に生じた当該画像との態様の差分をもとに補正情報を生成し、
前記補正情報をもとに投影する画像を変換した変換画像を生成し、
前記変換画像を投影面に投影する
ことを特徴とする画像投影方法。 Project the image onto the projection surface,
When an image is projected onto the projection surface, a projection image that is an image appearing on the projection surface is captured,
Generate correction information based on the difference between the image and the image generated in the direction of projecting the image or the projection surface.
Generating a converted image obtained by converting an image to be projected based on the correction information;
An image projecting method comprising projecting the converted image onto a projection surface.
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成し、
前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成する
請求項6記載の画像投影方法。 Generate a divided image obtained by dividing the image to be projected at a predetermined number and interval in the vertical and horizontal directions,
A divided projection image is generated by dividing the projection image so that the number of divisions is the same and each interval to be divided has the same ratio as the interval,
The image projecting method according to claim 6, wherein the correction information is generated based on a difference in form between the divided image and the corresponding divided projected image.
投影面に画像を投影する画像投影処理、
前記画像投影処理で投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影する投影画像撮影処理、
前記画像投影処理で投影する画像と、投影画像撮影処理で撮影した前記投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成処理、および、
前記補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成処理を実行させ、
前記補正情報生成処理で、画像を投影する方向により、もしくは投影面の態様により前記投影画像に生じた当該画像との態様の差分をもとに補正情報を生成させ、
前記画像投影処理で、前記変換画像を投影面に投影させる
ための画像投影プログラム。 On the computer,
Image projection processing for projecting an image onto a projection surface;
A projection image photographing process for photographing a projection image that is an image appearing on the projection plane when an image is projected onto the projection plane in the image projection process;
Correction information generation processing for generating correction information for correcting an image to be projected based on the difference between the image projected by the image projection processing and the projection image captured by the projection image capturing processing; and
Executing converted image generation processing for generating a converted image obtained by converting an image to be projected based on the correction information;
In the correction information generation process, correction information is generated based on the difference between the image and the image generated in the projection image according to the projection direction or the projection plane.
An image projecting program for projecting the converted image onto a projection surface in the image projecting process.
画像投影処理で投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像を生成する分割画像生成処理、および、
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成処理を実行させ、
補正情報生成処理で、前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成させる
請求項8に記載の画像投影プログラム。 On the computer,
A divided image generation process for generating a divided image obtained by dividing the image to be projected by the image projection process in the vertical direction and the horizontal direction at predetermined division numbers and intervals; and
A divided projection image generation process for generating a divided projection image obtained by dividing the projection image so that each interval to be divided has the same ratio as the interval, the number being the same as the number of divisions;
The image projection program according to claim 8, wherein correction information is generated based on a difference in aspect between the divided image and the corresponding divided projection image in the correction information generation processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014070788A JP2014150561A (en) | 2014-03-31 | 2014-03-31 | Portable type image projection apparatus, image projection method, and image projection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014070788A JP2014150561A (en) | 2014-03-31 | 2014-03-31 | Portable type image projection apparatus, image projection method, and image projection program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009012808A Division JP2010171774A (en) | 2009-01-23 | 2009-01-23 | Portable type image projection apparatus, and method and program for projecting image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014150561A true JP2014150561A (en) | 2014-08-21 |
Family
ID=51573155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014070788A Pending JP2014150561A (en) | 2014-03-31 | 2014-03-31 | Portable type image projection apparatus, image projection method, and image projection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014150561A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019168546A (en) * | 2018-03-22 | 2019-10-03 | カシオ計算機株式会社 | Projection control device, projection device, projection control method and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003248500A (en) * | 2002-02-25 | 2003-09-05 | Ricoh Co Ltd | Equipment with sound ic |
-
2014
- 2014-03-31 JP JP2014070788A patent/JP2014150561A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003248500A (en) * | 2002-02-25 | 2003-09-05 | Ricoh Co Ltd | Equipment with sound ic |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019168546A (en) * | 2018-03-22 | 2019-10-03 | カシオ計算機株式会社 | Projection control device, projection device, projection control method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10958883B2 (en) | Projection control apparatus, projection apparatus, projection control method, and storage medium storing program | |
JP6089424B2 (en) | Image processing apparatus, projector, and projector control method | |
US10349023B2 (en) | Image processing apparatus and method | |
TWI584041B (en) | Image processing device, projector, and method of controlling projector | |
JP2012151670A (en) | Image projection system and semiconductor integrated circuit | |
WO2017104447A1 (en) | Image processing device and method, data, and recording medium | |
JP2011081775A (en) | Projection image area detecting device | |
JP6645687B2 (en) | Display device and control method | |
JP2015060012A (en) | Image processing system, image processing device, image processing method and image processing program as well as display system | |
US9319651B2 (en) | Image projection apparatus, image projection method, and storage medium of program | |
JP2005269363A (en) | Projector and pattern image display method | |
US10171781B2 (en) | Projection apparatus, method for controlling the same, and projection system | |
JP2008187362A (en) | Projector and projected image adjustment method | |
JP2017129728A (en) | Image quality correcting method and image projecting system | |
JP2018125819A (en) | Control device, control method, program, and storage medium | |
JP2010171774A (en) | Portable type image projection apparatus, and method and program for projecting image | |
JP2006050255A (en) | Large screen display system and its luminance correction method | |
JP4645455B2 (en) | Image projection apparatus, projection image correction method, and program | |
JP2015192310A (en) | Projection system, portable equipment, program, and control method of portable equipment | |
JP2014150561A (en) | Portable type image projection apparatus, image projection method, and image projection program | |
JP6665543B2 (en) | Projector and method of correcting captured image | |
JP2015192177A (en) | Image processor, display device, and image processing method | |
JP6439254B2 (en) | Image projection apparatus, control method for image projection apparatus, and control program for image projection apparatus | |
JP5845565B2 (en) | Projector and projector control method | |
JP2010288062A (en) | Projector, program, information storage medium, and image projection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150813 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160406 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160510 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160708 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170130 |