JP2014150561A - Portable type image projection apparatus, image projection method, and image projection program - Google Patents

Portable type image projection apparatus, image projection method, and image projection program Download PDF

Info

Publication number
JP2014150561A
JP2014150561A JP2014070788A JP2014070788A JP2014150561A JP 2014150561 A JP2014150561 A JP 2014150561A JP 2014070788 A JP2014070788 A JP 2014070788A JP 2014070788 A JP2014070788 A JP 2014070788A JP 2014150561 A JP2014150561 A JP 2014150561A
Authority
JP
Japan
Prior art keywords
image
projection
correction information
projected
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014070788A
Other languages
Japanese (ja)
Inventor
Tatsuya Uchikawa
達也 内川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014070788A priority Critical patent/JP2014150561A/en
Publication of JP2014150561A publication Critical patent/JP2014150561A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a portable type image projection apparatus capable of projecting an image proper to an arbitrary projection surface regardless of a projection direction and the irregularities of the projecting surface.SOLUTION: Image projecting means 81 projects an image on the projecting surface. Projected-image photographing means 82 photographs a projected image being the image displayed on the projection surface when the image projecting means 81 projects the image on the projection surface. Correction information generating means 83 generates correction information for correcting an image to be projected on the basis of a mode difference between the image projected by the image projecting means 81 and the projected image photographed by the projecting-image photographing means 82. Converted image generating means 84 generates a converted image by converting the image to be projected, on the basis of the correction information. The correction information generating means 83 generates the correction information on the basis of a mode difference from the image generated in the projected image depending on the direction of projecting the image by the image projecting means 81 or the mode of the projection surface. The image projecting means 81 projects the converted image on the projecting surface.

Description

本発明は、任意の場所に画像を投影する携帯型画像投影装置、画像投影方法及び画像投影プログラムに関する。   The present invention relates to a portable image projecting apparatus, an image projecting method, and an image projecting program that project an image on an arbitrary place.

ユビキタス社会の現代において、携帯端末の表示機能には、いつでもどこでも美しい画像、多彩な情報を表示する機能が求められている。さらに、携帯端末の表示機能には、これらの情報を大画面、高精度なディスプレイに表示することも求められてきている。そのため、携帯端末の表示機能として、液晶又は有機EL(Electro-Luminescence)等の平面ディスプレイに表示するだけでなく、投影型のプロジェクタを用いて表示するニーズが高まってきている。   In the present age of the ubiquitous society, a display function of a mobile terminal is required to display a beautiful image and a variety of information anytime and anywhere. Furthermore, the display function of a portable terminal is also required to display such information on a large screen and a highly accurate display. Therefore, as a display function of the mobile terminal, there is an increasing need for not only displaying on a flat display such as liquid crystal or organic EL (Electro-Luminescence) but also using a projection projector.

特許文献1には、表示画像が投影される下地面に合わせた表示画像の画像調整を行う携帯撮像表示装置が記載されている。特許文献1に記載された携帯撮像表示装置は、投影表示部が、ハーフミラーを使用して撮像の際と同じ光路で表示画像を投影面に投影する。そして、投影表示部が、初期画像を投影してこれを撮像部で撮像することで撮像画像を取得する。スクリーン撮像判別部が、この初期画像と撮像画像とを比較して両者の色差を検出すると、補色データ生成部が、検出された色差から補正信号としてその補色データを生成する。補正画像演算部は、投影面に投影されたときに表示画像が正しい色合いとなるよう、表示画像と補正信号とを重畳した表示データを投影表示部の表示信号処理部に送信する。   Patent Document 1 describes a portable imaging display device that performs image adjustment of a display image in accordance with a ground surface on which the display image is projected. In the portable imaging display device described in Patent Literature 1, the projection display unit projects a display image on the projection plane using the same optical path as when imaging using a half mirror. Then, the projection display unit projects the initial image and captures it with the imaging unit, thereby acquiring the captured image. When the screen imaging determination unit compares the initial image and the captured image and detects the color difference between them, the complementary color data generation unit generates the complementary color data as a correction signal from the detected color difference. The corrected image calculation unit transmits display data obtained by superimposing the display image and the correction signal to the display signal processing unit of the projection display unit so that the display image has a correct color tone when projected onto the projection plane.

特開2008−67080号公報(段落0016、図1)Japanese Patent Laying-Open No. 2008-67080 (paragraph 0016, FIG. 1)

プロジェクタは、予め備え付けられた特定のスクリーンや、一定の領域を備えた白色平面部に画像を表示する場合が多い。しかし、持ち運びを想定した携帯端末が画像等の情報を表示する場合、必ずしもスクリーンや一定の領域を備えた白色平面部が存在するとは限らない。そのため、携帯性を有するにもかかわらず、投射する場所を選びながら使用せざるを得なかった。   In many cases, a projector displays an image on a specific screen provided in advance or on a white plane portion having a certain area. However, when a portable terminal that is supposed to be carried displays information such as an image, there is not necessarily a white flat part having a screen or a certain area. Therefore, although it has portability, it had to use it, selecting the place to project.

特許文献1に記載された携帯撮像表示装置は、投影面が白色でない場合でも補色データを生成することにより、投影面に投影された表示画像を正しい色合いに変換する。しかし、投影面に凹凸が存在したり、斜め方向から投影したりすることにより、表示画像に歪みが発生する場合、色の補正だけでは画像を正しく表示できないという課題がある。   The portable imaging display device described in Patent Literature 1 generates complementary color data even when the projection surface is not white, thereby converting the display image projected on the projection surface into a correct color. However, if the display image is distorted due to unevenness on the projection surface or projection from an oblique direction, there is a problem that the image cannot be displayed correctly only by color correction.

そこで、本発明は、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる携帯型画像投影装置、画像投影方法及び画像投影プログラムを提供することを目的とする。   Therefore, an object of the present invention is to provide a portable image projection apparatus, an image projection method, and an image projection program capable of projecting an image suitable for an arbitrary projection plane regardless of the projection direction and the unevenness of the projection plane.

本発明による携帯型画像投影装置は、投影面に画像を投影する画像投影手段と、画像投影手段が投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影する投影画像撮影手段と、画像投影手段が投影する画像と、投影画像撮影手段が撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段と、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段とを備え、補正情報生成手段が、画像投影手段が画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成し、画像投影手段が、変換画像を投影面に投影することを特徴とする。   A portable image projection apparatus according to the present invention captures a projection image, which is an image appearing on a projection plane, when the image projection unit projects an image on the projection plane. Correction information generation for generating correction information for correcting an image to be projected based on the difference between the projection image shooting unit, the image projected by the image projection unit, and the projection image shot by the projection image shooting unit Means and a converted image generating means for generating a converted image obtained by converting an image to be projected based on the correction information, the correction information generating means depending on the direction in which the image projecting means projects the image or the aspect of the projection surface Correction information is generated on the basis of the difference in form from the image generated in the projection image, and the image projecting means projects the converted image onto the projection plane.

本発明による画像投影方法は、投影面に画像を投影し、投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影し、画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成し、補正情報をもとに投影する画像を変換した変換画像を生成し、変換画像を投影面に投影することを特徴とする。   The image projection method according to the present invention projects an image on a projection plane, and when the image is projected on the projection plane, captures a projection image that is an image appearing on the projection plane, depending on the direction in which the image is projected, or the projection The correction information is generated based on the difference between the image generated in the projection image due to the surface mode, the converted image is generated based on the correction information, and the converted image is projected onto the projection surface. It is characterized by doing.

本発明による画像投影プログラムは、コンピュータに、投影面に画像を投影する画像投影処理、画像投影処理で投影面に画像を投影したときに、投影面に表れている画像である投影画像を撮影する投影画像撮影処理、画像投影処理で投影する画像と、投影画像撮影処理で撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成処理、および、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成処理を実行させ、補正情報生成処理で、画像を投影する方向により、もしくは投影面の態様により投影画像に生じた画像との態様の差分をもとに補正情報を生成させ、画像投影処理で、変換画像を投影面に投影させることを特徴とする。   An image projection program according to the present invention captures a projection image, which is an image appearing on a projection plane, when the image is projected onto the projection plane by image projection processing and image projection processing on the computer. Projection image shooting processing, correction information generation processing for generating correction information for correcting the projected image based on the difference between the image projected by the image projection processing and the projection image shot by the projection image shooting processing And a converted image generation process for generating a converted image obtained by converting an image to be projected based on the correction information. In the correction information generation process, the image is projected into the projected image according to the direction in which the image is projected or according to the aspect of the projection plane. Correction information is generated based on a difference in form with the generated image, and a converted image is projected onto a projection plane by image projection processing.

本発明によれば、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。   According to the present invention, it is possible to project an image suitable for an arbitrary projection plane regardless of the projection direction and the unevenness of the projection plane.

本発明の第1の実施の形態における携帯型画像投影装置の例を示すブロック図である。It is a block diagram which shows the example of the portable image projector in the 1st Embodiment of this invention. 表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。It is a flowchart which shows the example of a process until converting a display image and displaying on a projection surface. 本発明の第2の実施の形態における携帯型画像投影装置の例を示すブロック図である。It is a block diagram which shows the example of the portable image projector in the 2nd Embodiment of this invention. 凹凸を有する投影面に表示画像を投影した場合の例を示す説明図である。It is explanatory drawing which shows the example at the time of projecting a display image on the projection surface which has an unevenness | corrugation. 斜め方向から投影面に表示画像を投影した場合の例を示す説明図である。It is explanatory drawing which shows the example at the time of projecting a display image on a projection surface from the diagonal direction. 表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。It is a flowchart which shows the example of a process until converting a display image and displaying on a projection surface. 本発明における携帯型画像投影装置の最小構成を示すブロック図である。It is a block diagram which shows the minimum structure of the portable image projector in this invention.

以下、本発明の実施形態を図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

実施形態1.
図1は、本発明の第1の実施の形態における携帯型画像投影装置の例を示すブロック図である。本実施形態における携帯型画像投影装置は、記憶部10と、制御部20と、プロジェクタ30と、カメラ40とを備えている。なお、携帯型画像投影装置には、CPUや、そのCPUに指示を行うための入力装置(図示せず)、音響装置等(図示せず)を含むが、ここでは説明を省略する。
Embodiment 1. FIG.
FIG. 1 is a block diagram showing an example of a portable image projector according to the first embodiment of the present invention. The portable image projector in the present embodiment includes a storage unit 10, a control unit 20, a projector 30, and a camera 40. Note that the portable image projector includes a CPU, an input device (not shown) for giving instructions to the CPU, an acoustic device and the like (not shown), but the description thereof is omitted here.

記憶部10は、壁面やスクリーンなどの領域(以下、投影面と記す。)に表示しようとする画像(以下、表示画像と記す。)を記憶する記憶装置である。   The storage unit 10 is a storage device that stores an image (hereinafter referred to as a display image) to be displayed on a region (hereinafter referred to as a projection plane) such as a wall surface or a screen.

プロジェクタ30は、制御部20の指示に応じ、記憶部10に記憶された表示画像や、制御部20が変換した表示画像(以下、変換画像と記す。)を投影面に投影して表示する表示装置である。プロジェクタ30は、携帯撮像表示装置に内蔵されていてもよい。もしくは、プロジェクタ30は、携帯撮像表示装置とは別に設けられ、有線もしくは無線で携帯撮像表示装置に接続されていてもよい。   The projector 30 projects a display image stored in the storage unit 10 or a display image converted by the control unit 20 (hereinafter referred to as a converted image) on a projection surface in accordance with an instruction from the control unit 20 and displays the display image. Device. The projector 30 may be built in the portable imaging display device. Alternatively, the projector 30 may be provided separately from the portable imaging display device and connected to the portable imaging display device by wire or wirelessly.

カメラ40は、投影面の下地の色を撮影する。投影面の下地には、色が一様でない部分(色が変化している部分)や、壁掛けなど他の物を含んでいてもよい。以下の説明では、カメラ40が投影面の下地を撮影して、制御部20が投影面の態様を認識する場合について説明する。ここで、投影面の態様とは、投影面の下地の色だけでなく、投影面の形状などを含んでいてもよい。なお、制御部20が、投影面の態様を認識できる方法であれば、カメラ40は他の形態であってもよい。例えば、カメラ40の代わりに、投影面の色を検知できるカラーセンサや、輝度を検知できる光センサなどであってもよい。   The camera 40 captures the background color of the projection surface. The base of the projection surface may include a non-uniform color portion (a color changing portion) or other objects such as a wall hanging. In the following description, a case will be described in which the camera 40 captures the background of the projection plane and the control unit 20 recognizes the aspect of the projection plane. Here, the aspect of the projection plane may include not only the color of the base of the projection plane but also the shape of the projection plane. As long as the control unit 20 can recognize the aspect of the projection surface, the camera 40 may have another form. For example, instead of the camera 40, a color sensor that can detect the color of the projection surface or an optical sensor that can detect the luminance may be used.

制御部20は、投影面に投影する画像や映像をコントロールする。なお、以下の説明は、制御部20が画像を制御する場合について説明するが、制御対象は映像であってもよい。制御部20は、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24とを備えている。   The control unit 20 controls an image or video projected on the projection plane. In the following description, the case where the control unit 20 controls an image will be described, but the control target may be a video. The control unit 20 includes an image recognition unit 21, an image conversion unit 22, an image composition unit 23, and an output instruction unit 24.

画像認識部21は、カメラ40が撮影した画像を取得する。以下の説明では、画像認識部21は、画像として、投影面の下地の画像を取得する場合について説明する。   The image recognition unit 21 acquires an image captured by the camera 40. In the following description, the case where the image recognition unit 21 acquires an image of the background of the projection surface as an image will be described.

画像変換部22は、画像認識部21が取得した画像をもとに、投影する表示画像を補正するための情報(以下、補正情報と記す。)を生成する。具体的には、投影面が白色面でない場合、画像変換部22は、投影面の下地の画像を補色関係にある色に変換した画像(以下、補色画像と記す。)を補正情報として生成する。これは、補色関係にある色を重ね合わすと白色になる光の特性を利用したもので、表示画像に補色画像を重ね合わせて表示することで、本来表示したい色で表示することができるためである。   The image conversion unit 22 generates information (hereinafter referred to as correction information) for correcting the display image to be projected based on the image acquired by the image recognition unit 21. Specifically, when the projection surface is not a white surface, the image conversion unit 22 generates, as correction information, an image obtained by converting the background image of the projection surface into a color having a complementary color relationship (hereinafter referred to as a complementary color image). . This is because it uses the characteristics of light that becomes white when colors that are complementary colors are superimposed, and by displaying the complementary color image superimposed on the display image, it can be displayed in the color that it originally wanted to display. is there.

画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する。画像合成部23は、例えば、投影面が白色面でない場合、生成した補色画像を表示画像に重ね合わせて変換画像を生成する。   The image composition unit 23 converts the display image based on the correction information generated by the image conversion unit 22 to generate a converted image. For example, when the projection surface is not a white surface, the image composition unit 23 generates a converted image by superimposing the generated complementary color image on the display image.

出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う。   The output instruction unit 24 instructs the projector 30 to output the converted image created by the image composition unit 23.

制御部20(より詳しくは、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24)は、例えば、プログラム(画像投影プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、記憶部10に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って制御部20(より詳しくは、画像認識部21と、画像変換部22と、画像合成部23と、出力指示部24)として動作してもよい。   The control unit 20 (more specifically, the image recognition unit 21, the image conversion unit 22, the image composition unit 23, and the output instruction unit 24) is realized by a CPU of a computer that operates according to a program (image projection program), for example. The For example, the program is stored in the storage unit 10, and the CPU reads the program, and the control unit 20 (more specifically, the image recognition unit 21, the image conversion unit 22, the image composition unit 23, and the output instruction according to the program) Part 24).

次に、動作について説明する。図2は、表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。例えば、ユーザの指示に応じ、カメラ40はその投影面の下地を撮影する(ステップS51)。画像認識部21は、カメラ40が撮影した投影面の画像(ここでは、投影面の下地)を取得する(ステップS52)。画像認識部21が投影面の画像を取得すると、画像変換部22は、その画像をもとに、投影する画像を補正するための補正情報を生成する(ステップS53)。画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する(ステップS54)。出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う(ステップS55)。なお、投影面の下地が変化した場合、再度ステップS51から処理を行えばよい。   Next, the operation will be described. FIG. 2 is a flowchart illustrating an example of processing until a display image is converted and displayed on the projection plane. For example, in response to a user instruction, the camera 40 captures the background of the projection surface (step S51). The image recognition unit 21 acquires an image of the projection plane (here, the background of the projection plane) captured by the camera 40 (step S52). When the image recognition unit 21 acquires the image of the projection plane, the image conversion unit 22 generates correction information for correcting the image to be projected based on the image (step S53). The image composition unit 23 converts the display image based on the correction information generated by the image conversion unit 22 to generate a converted image (step S54). The output instruction unit 24 instructs the projector 30 to output the converted image created by the image composition unit 23 (step S55). Note that when the background of the projection surface changes, the processing may be performed again from step S51.

本発明によれば、カメラ40が投影面の下地の画像を撮影する。画像変換部22は、画像認識部21が取得した投影面の下地の画像をもとに補色画像を生成する。その補色画像をもとに画像合成部23が生成した変換画像をプロジェクタ30が投影面に投影する。よって、一定の領域を備えた白色面を設けなくとも表示画像を正しく表示することができる。   According to the present invention, the camera 40 captures an image of the background of the projection surface. The image conversion unit 22 generates a complementary color image based on the background image of the projection plane acquired by the image recognition unit 21. The projector 30 projects the converted image generated by the image composition unit 23 based on the complementary color image onto the projection surface. Therefore, it is possible to correctly display the display image without providing a white surface having a certain area.

実施形態2.
図3は、本発明の第2の実施の形態における携帯型画像投影装置の例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。本実施形態における携帯型画像投影装置は、記憶部10と、制御部20’と、プロジェクタ30と、カメラ40とを備えている。記憶部10、プロジェクタ30及びカメラ40の構成は、第1の実施形態と同様である。
Embodiment 2. FIG.
FIG. 3 is a block diagram showing an example of a portable image projector according to the second embodiment of the present invention. In addition, about the structure similar to 1st Embodiment, the code | symbol same as FIG. 1 is attached | subjected and description is abbreviate | omitted. The portable image projector in the present embodiment includes a storage unit 10, a control unit 20 ′, a projector 30, and a camera 40. The configurations of the storage unit 10, the projector 30, and the camera 40 are the same as those in the first embodiment.

カメラ40は、プロジェクタ30によって投影面に投影された画像(以下、投影画像と記す。)を撮影する。すなわち、投影画像は、表示画像や変換画像が投影面の態様によって変化した画像ということができる。   The camera 40 captures an image projected on the projection plane by the projector 30 (hereinafter referred to as a projected image). That is, the projection image can be said to be an image in which the display image or the converted image is changed depending on the aspect of the projection surface.

制御部20’は、画像認識部21と、画像合成部23と、出力指示部24と、画像比較部25と、画像補正部26とを備えている。   The control unit 20 ′ includes an image recognition unit 21, an image synthesis unit 23, an output instruction unit 24, an image comparison unit 25, and an image correction unit 26.

画像認識部21は、カメラ40が撮影した画像を取得する。以下の説明では、画像認識部21が、画像として、投影画像を取得する場合について説明する。   The image recognition unit 21 acquires an image captured by the camera 40. In the following description, a case where the image recognition unit 21 acquires a projection image as an image will be described.

出力指示部24は、記憶部10に記憶された表示画像や、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う。   The output instruction unit 24 instructs the projector 30 to output the display image stored in the storage unit 10 and the converted image created by the image composition unit 23.

画像比較部25は、画像認識部21が取得した投影画像をもとに、表示画像との態様の差分を算出する。態様の差分とは、画像の色や輝度の差分などが挙げられるが、態様の差分は、色や輝度に限定されない。画像比較部25は態様の差分を算出するため、まず、表示画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した画像(以下、分割表示画像と記す。)を生成する。次に、画像比較部25は、表示画像を分割した分割数と同数であって、分割する各間隔が投影画像を分割した間隔と同一の比率となるように分割した画像(以下、分割投影画像と記す。)を生成する。画像比較部25は、分割表示画像と対応する分割投影画像との態様を比較して差分を算出する。   The image comparison unit 25 calculates the difference in the aspect from the display image based on the projection image acquired by the image recognition unit 21. Examples of the mode difference include a difference in image color and luminance, but the mode difference is not limited to color and luminance. In order to calculate the aspect difference, the image comparison unit 25 first generates an image (hereinafter referred to as a divided display image) obtained by dividing the display image in the vertical direction and the horizontal direction at predetermined division numbers and intervals. Next, the image comparison unit 25 divides the display image so that the number of divisions is the same as the number of divisions of the display image, and the division intervals are the same as the division intervals of the projection images (hereinafter, divided projection images). .) Is generated. The image comparison unit 25 compares the aspect of the divided display image and the corresponding divided projection image to calculate a difference.

差分を算出する方法について、図面を用いて以下に詳述する。図4は、凹凸を有する投影面に表示画像を投影した場合(すなわち、投影面が距離的に段違いになっている場合)の例を示す説明図である。プロジェクタ30が投影面W1に表示画像B1を投影すると、投影面W1に投影画像D1が投影される。カメラ40が投影画像D1を撮影すると、画像認識部21はその投影画像D1を取得する。そして、画像比較部25は、表示画像B1を縦方向及び横方向に予め定められた分割数(ここでは、2とする。)及び予め定められた間隔(ここでは、等間隔とする。)に分割した分割表示画像を生成する。次に、画像比較部25は、表示画像B1を分割した分割数2で、投影画像D1を等間隔に分割した分割投影画像を生成する。   A method for calculating the difference will be described in detail below with reference to the drawings. FIG. 4 is an explanatory diagram showing an example when a display image is projected onto a projection surface having projections and depressions (that is, when the projection surfaces are different in distance). When the projector 30 projects the display image B1 onto the projection plane W1, the projection image D1 is projected onto the projection plane W1. When the camera 40 captures the projection image D1, the image recognition unit 21 acquires the projection image D1. The image comparison unit 25 then sets the display image B1 to a predetermined number of divisions (here, 2) and a predetermined interval (here, equal intervals) in the vertical and horizontal directions. A divided divided display image is generated. Next, the image comparison unit 25 generates a divided projection image obtained by dividing the projection image D1 at equal intervals by dividing the display image B1 by two.

画像比較部25は、分割表示画像と対応する分割投影画像との態様を比較して差分を算出する。図4に示す例では、(x1,y1)と(x1’,y1’)、(x1,y2)と(x1’,y2’)などが対応し、プロジェクタ30が投影する投影面までの距離の差によって投影画像D1の態様が異なっていることを示す。この時、画像比較部25は、両者の輝度の違いを認識して差分を算出してもよい。もしくは、画像比較部25は、両者の色彩の違いを認識して差分を算出してもよい。   The image comparison unit 25 compares the aspect of the divided display image and the corresponding divided projection image to calculate a difference. In the example shown in FIG. 4, (x1, y1) and (x1 ′, y1 ′), (x1, y2), (x1 ′, y2 ′), and the like correspond to each other, and the distance to the projection plane projected by the projector 30 is as follows. It shows that the aspect of the projection image D1 is different depending on the difference. At this time, the image comparison unit 25 may recognize the difference in luminance between the two and calculate the difference. Alternatively, the image comparison unit 25 may calculate the difference by recognizing the difference between the two colors.

図5は、斜め方向から投影面に表示画像を投影した場合の例を示す説明図である。プロジェクタ30が斜め方向から投影面W2に表示画像B2を投影すると、投影面W2に投影画像D2が表示される。図4に示す例と同様に、画像比較部25は、表示画像B2及び投影画像D2を縦横2つずつ等間隔に分割した画像を生成する。   FIG. 5 is an explanatory diagram illustrating an example when a display image is projected onto the projection plane from an oblique direction. When the projector 30 projects the display image B2 on the projection plane W2 from an oblique direction, the projection image D2 is displayed on the projection plane W2. Similar to the example illustrated in FIG. 4, the image comparison unit 25 generates an image obtained by dividing the display image B <b> 2 and the projection image D <b> 2 by two in the vertical and horizontal directions.

図5に示す例では、(x3,y3)と(x3’,y3’)、(x3,y4)と(x3’,y4’)などが対応する。また、プロジェクタ30が斜め方向から投影することにより、投影画像D2に歪みが生じていることを示す。画像比較部25は、その歪みを認識し、差分を算出する。例えば、画像比較部25は、分割表示画像の縦横の比率と、分割投影画像の縦横の比率と異なっている場合に、歪みを認識してもよい。画像比較部25は、歪みを認識すると、画像に表示される物の位置などを認識する点(以下、特徴点と記す。)をそれぞれ画像から取得する。このとき、画像比較部25は対応する点(例えば、P1とP1’、P2とP2’)の態様の違い(例えば、輝度や色彩などの違い)を認識して差分を算出してもよい。   In the example shown in FIG. 5, (x3, y3) and (x3 ′, y3 ′), (x3, y4), (x3 ′, y4 ′), and the like correspond to each other. In addition, the projector 30 projects from an oblique direction, which indicates that the projected image D2 is distorted. The image comparison unit 25 recognizes the distortion and calculates the difference. For example, the image comparison unit 25 may recognize the distortion when the vertical / horizontal ratio of the divided display image is different from the vertical / horizontal ratio of the divided projection image. When recognizing the distortion, the image comparison unit 25 acquires points (hereinafter referred to as feature points) for recognizing the position of an object displayed on the image from the image. At this time, the image comparison unit 25 may calculate a difference by recognizing a difference in the manner of corresponding points (for example, P1 and P1 ', P2 and P2') (for example, a difference in luminance, color, and the like).

なお、上記説明では、画像比較部25が差分を算出する際に、表示画像及び投影画像を分割して比較する場合について説明したが、表示画像及び投影画像の態様の差分が算出可能であれば、差分の算出方法は上記方法に限定されない。また、表示画像及び投影画像を分割する点は2つに限られず、また、分割間隔も等間隔に限られない。また、上記説明では、分割表示画像の縦横の比率と分割投影画像の縦横の比率と異なっている場合に歪みを認識して差分を算出する場合を例に説明したが、歪みの判断方法は、2つの画像の歪みが認識できる方法であれば、上記方法に限定されない。このようにして、投影画像に表示画像との歪みが生じた場合でも、投影画像を正しく認識することができる。   In the above description, when the image comparison unit 25 calculates the difference, the display image and the projection image are divided and compared. However, if the difference between the display image and the projection image can be calculated, The difference calculation method is not limited to the above method. Further, the number of points at which the display image and the projection image are divided is not limited to two, and the division interval is not limited to an equal interval. In the above description, the case where the difference is calculated by recognizing the distortion when the vertical / horizontal ratio of the divided display image is different from the vertical / horizontal ratio of the divided projection image is described as an example. The method is not limited to the above method as long as the distortion of two images can be recognized. In this way, even when the projected image is distorted with the display image, the projected image can be correctly recognized.

画像補正部26は、画像比較部25が算出した態様の差分をもとに、投影する表示画像を補正するための補正情報を生成する。例えば、図4に示す例で、分割表示画像(x1,y1)で示す位置の輝度が、画像(x1,y2)で示す位置の輝度よりも差分d1だけ暗いと画像比較部25が算出した場合、画像補正部26は、その位置を表示するための色彩をd1明るくするという補正情報を生成してもよい。もしくは、図5に示す例で、分割表示画像(x3,y3)で示す画像の特徴点P1の色彩C1が、分割投影画像(x3’,y3’)で示す画像の特徴点P1の色彩C2と画素値でd2異なっていると画像比較部25が算出した場合、画像補正部26は、その位置を表示するための画素値をd2変化させるという補正情報を生成してもよい。   The image correction unit 26 generates correction information for correcting the display image to be projected based on the difference in the aspect calculated by the image comparison unit 25. For example, in the example illustrated in FIG. 4, when the image comparison unit 25 calculates that the luminance at the position indicated by the divided display image (x1, y1) is darker by the difference d1 than the luminance at the position indicated by the image (x1, y2). The image correction unit 26 may generate correction information that brightens the color for displaying the position by d1. Alternatively, in the example shown in FIG. 5, the color C1 of the feature point P1 of the image indicated by the divided display image (x3, y3) is the color C2 of the feature point P1 of the image indicated by the divided projection image (x3 ′, y3 ′). When the image comparison unit 25 calculates that the pixel value is different by d2, the image correction unit 26 may generate correction information for changing the pixel value for displaying the position by d2.

このように、投影面の態様(凹凸)により投影画像に生じた表示画像との態様の差分(輝度の差分もしくは色彩の差分)を画像比較部25が認識し、画像補正部26が補正情報を生成する。また、プロジェクタ30が表示画像を投影する方向(例えば、斜め方向)により生じた表示画像との態様の差分(歪み)を画像比較部25が認識し、画像補正部26が補正情報を生成する。   As described above, the image comparison unit 25 recognizes the difference (intensity difference or color difference) between the display image and the display image generated in the projection image due to the aspect (unevenness) of the projection surface, and the image correction unit 26 receives the correction information. Generate. Further, the image comparison unit 25 recognizes the difference (distortion) in the aspect from the display image generated by the direction in which the projector 30 projects the display image (for example, the oblique direction), and the image correction unit 26 generates correction information.

なお、上記説明では、画像補正部26が、画像の態様の差分として、表示画像と投影画像との輝度の違いや色彩の違いをもとに補正情報を生成する場合について説明したが、補正情報を生成する方法は上記方法に限定されない。   In the above description, the case where the image correction unit 26 generates the correction information based on the difference in luminance and the color between the display image and the projection image as the difference between the image modes has been described. The method of generating is not limited to the above method.

画像合成部23は、画像変換部22が生成した補正情報をもとに表示画像を変換して変換画像を生成する。例えば、画像の輝度や色彩が異なって表示される場合であれば、画像合成部23は、表示画像の明るさや色彩などを変換した画像を生成すればよい。また、投影画像が歪んでいる場合であっても、画像合成部23は、歪みに応じて生成された補正情報をもとに表示画像を変換して変換画像を生成すればよい。   The image composition unit 23 converts the display image based on the correction information generated by the image conversion unit 22 to generate a converted image. For example, if the image is displayed with different brightness and color, the image composition unit 23 may generate an image obtained by converting the brightness and color of the display image. Even if the projected image is distorted, the image composition unit 23 may convert the display image based on the correction information generated according to the distortion to generate a converted image.

表示画像を白色平面部以外の場所に表示した場合、投影面の態様によって表示画像が正しく表示されない場合がある。また、凹凸のある投影面に対して垂直に表示画像を投影した場合や、斜め方向から表示画像を投影した場合には、画像が歪んで表示される場合がある。しかし、このように変換画像を生成して表示することにより、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。また、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができる。そのため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影できる。   When the display image is displayed at a place other than the white plane portion, the display image may not be displayed correctly depending on the aspect of the projection plane. In addition, when a display image is projected perpendicularly to an uneven projection surface, or when a display image is projected from an oblique direction, the image may be displayed distorted. However, by generating and displaying the converted image in this way, an image suitable for an arbitrary projection plane can be projected regardless of the projection direction and the projection surface unevenness. In addition, the display image can be correctly displayed without providing a white plane portion having a certain area. For this reason, it is possible to project an image or video from the projector to an arbitrary place without having to provide a specific screen or select a projection place.

制御部20’(より詳しくは、画像認識部21と、画像合成部23と、出力指示部24と、画像比較部25と、画像補正部26)は、例えば、プログラム(画像投影プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、記憶部10に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って制御部20’(より詳しくは、画像認識部21、画像合成部23、出力指示部24、画像比較部25及び画像補正部26)として動作してもよい。   The control unit 20 ′ (more specifically, the image recognition unit 21, the image synthesis unit 23, the output instruction unit 24, the image comparison unit 25, and the image correction unit 26) operates according to a program (image projection program), for example. This is realized by the CPU of the computer. For example, the program is stored in the storage unit 10, and the CPU reads the program and controls the control unit 20 ′ (more specifically, the image recognition unit 21, the image composition unit 23, the output instruction unit 24, and the image comparison unit 25 according to the program. And the image correction unit 26).

次に、動作について説明する。図6は、表示画像を変換して投影面に表示するまでの処理の例を示すフローチャートである。例えば、ユーザの指示に応じ、出力指示部24は記憶部21に記憶された表示画像を投影面に表示するようプロジェクタ30に指示を行う(ステップS61)。投影画像が表示された後、例えば、ユーザの指示に応じて、もしくは予め定められた時間の経過後、カメラ40はその投影画像を撮影する(ステップS62)。画像認識部21は、カメラ40が撮影した投影画像(撮影画像D3)を取得する(ステップS63)。そして、画像比較部25は、撮影画像D3の特徴点の位置における輝度や色彩などをもとに画像の態様を判断し、表示画像と態様の差分を算出する(ステップS64)。画像比較部25が差分を算出すると、画像補正部26は、その差分をもとに投影する画像を補正するための補正情報を生成する(ステップS65)。画像合成部23は、画像補正部26が生成した補正情報をもとに表示画像を変換して変換画像を生成する(ステップS66)。出力指示部24は、画像合成部23が作成した変換画像をプロジェクタ30に出力させるよう指示を行う(ステップS67)。以降、画像合成部23が補正情報をもとに表示画像を変換し、出力処理部24がその変換画像をプロジェクタ30に出力させる指示を繰り返す。以下、画像合成部23及び出力処理部24が繰り返すこれらの処理をあわせて、変換画像出力処理と記す。   Next, the operation will be described. FIG. 6 is a flowchart showing an example of processing until a display image is converted and displayed on the projection plane. For example, in response to a user instruction, the output instruction unit 24 instructs the projector 30 to display the display image stored in the storage unit 21 on the projection surface (step S61). After the projection image is displayed, the camera 40 captures the projection image, for example, in accordance with a user instruction or after a predetermined time has elapsed (step S62). The image recognition unit 21 acquires a projection image (captured image D3) captured by the camera 40 (step S63). Then, the image comparison unit 25 determines the mode of the image based on the luminance and color at the position of the feature point of the captured image D3, and calculates the difference between the display image and the mode (step S64). When the image comparison unit 25 calculates the difference, the image correction unit 26 generates correction information for correcting the projected image based on the difference (step S65). The image composition unit 23 converts the display image based on the correction information generated by the image correction unit 26 to generate a converted image (step S66). The output instruction unit 24 instructs the projector 30 to output the converted image created by the image composition unit 23 (step S67). Thereafter, the image composition unit 23 converts the display image based on the correction information, and the output processing unit 24 repeats an instruction to output the converted image to the projector 30. Hereinafter, these processes repeated by the image composition unit 23 and the output processing unit 24 are collectively referred to as a converted image output process.

なお、画像合成部23及び出力処理部24は、変換画像出力処理を、常時実施してもよいし、予め定められた間隔ごとに(すなわち、常時実施される処理のうち一定間隔ごとに処理を間引いて)実施してもよい。画像合成部23及び出力処理部24が、変換画像出力処理を予め定められた間隔ごとに実施することにより、変換画像出力処理で使用される消費電力を抑えることができる。なお、プロジェクタ30が画像を表示する場合、通常1画面毎にフレーム周波数の間隔で画像を更新する。そのため、フレーム周波数以上で変換画像出力処理を行っても投影面に表示される画像に反映されない。したがって、画像合成部23及び出力処理部24が変換画像出力処理を実施する場合、プロジェクタ30のフレーム周波数と同期させて処理を行うことが望ましい。   Note that the image composition unit 23 and the output processing unit 24 may always perform the converted image output process, or at predetermined intervals (that is, at regular intervals among the processes that are always performed). (Thinning out) may be carried out. The image composition unit 23 and the output processing unit 24 perform the converted image output process at predetermined intervals, thereby reducing the power consumption used in the converted image output process. When the projector 30 displays an image, the image is usually updated at an interval of the frame frequency for each screen. Therefore, even if the converted image output process is performed at a frame frequency or higher, it is not reflected in the image displayed on the projection plane. Therefore, when the image composition unit 23 and the output processing unit 24 perform the converted image output process, it is desirable to perform the process in synchronization with the frame frequency of the projector 30.

また、ステップS62において、予め定められた時間の経過後、定期的に投影画像を撮影し、ステップS63以降の処理を行ってもよい。この場合、投影面の下地が変化した場合でも、その変化に追随して表示画像を変換することができる。もしくは、画像認識部21は、カメラ40が撮影した画像を取得したときに、取得したその画像を記憶部10に記憶させ、カメラ40が後に撮影した画像と比較してもよい。そして、画像認識部21は、両者の画像に差異があると判断したときに、制御部20は、ステップS64以降の処理を実施してもよい。こうすることにより、投影面の下地の変化に合わせて表示画像を変換することができる。   In step S62, after a predetermined time elapses, a projection image may be taken periodically, and the processes after step S63 may be performed. In this case, even when the background of the projection surface changes, the display image can be converted following the change. Alternatively, when the image recognition unit 21 acquires an image captured by the camera 40, the image recognition unit 21 may store the acquired image in the storage unit 10 and compare it with an image captured later by the camera 40. Then, when the image recognition unit 21 determines that there is a difference between the images, the control unit 20 may perform the processes after step S64. By doing so, it is possible to convert the display image in accordance with the change in the background of the projection surface.

変換画像を投影面に投影した後、再度、補正情報を作成して変換を行ってもよい。この場合の動作について説明する。まず、出力指示部24は、変換画像を投影面に表示するようプロジェクタ30に指示を行う。変換画像を投影した投影画像が投影面に表示された後、カメラ40はその投影画像を撮影する。画像認識部21は、カメラ40が撮影した投影画像(撮影画像)を取得する。そして、画像比較部25は、撮影画像の態様を判断し、表示画像と態様の差分を算出する。画像比較部25が差分を算出すると、画像補正部26は、その差分をもとに投影する変換画像をさらに補正するための補正情報(以下、再補正情報と記す。)を生成する。画像合成部23は、画像補正部26が生成した再補正情報をもとに変換画像をさらに変換した画像(以下、再変換画像と記す。)を生成する。出力指示部24は、画像合成部23が生成した再変換画像をプロジェクタ30に出力させるよう指示を行う。以降、画像合成部23が補正情報及び再補正情報をもとに表示画像を変換し、出力処理部24がその変換画像もしくは再変換画像をプロジェクタ30に出力させる指示を繰り返す。このような処理を繰り返すことで、投影面の下地が変化しても適切に画像を表示できる。   After the converted image is projected onto the projection surface, the correction information may be generated again to perform conversion. The operation in this case will be described. First, the output instruction unit 24 instructs the projector 30 to display the converted image on the projection plane. After the projection image obtained by projecting the converted image is displayed on the projection plane, the camera 40 captures the projection image. The image recognition unit 21 acquires a projection image (captured image) captured by the camera 40. And the image comparison part 25 judges the aspect of a picked-up image, and calculates the difference of a display image and an aspect. When the image comparison unit 25 calculates the difference, the image correction unit 26 generates correction information (hereinafter referred to as recorrection information) for further correcting the converted image projected based on the difference. The image composition unit 23 generates an image (hereinafter referred to as a reconverted image) obtained by further converting the converted image based on the recorrection information generated by the image correcting unit 26. The output instruction unit 24 instructs the projector 30 to output the reconverted image generated by the image composition unit 23. Thereafter, the image composition unit 23 converts the display image based on the correction information and the recorrection information, and the output processing unit 24 repeats an instruction for causing the projector 30 to output the converted image or the reconverted image. By repeating such processing, an image can be appropriately displayed even if the background of the projection surface changes.

本発明によれば、プロジェクタ30が投影面に表示画像を投影し、その投影面に表示された投影画像をカメラ40が撮影する。画像比較部25は、プロジェクタ30が表示画像を投影する方向により、もしくは投影面の形態により投影画像に生じたその表示画像ともとの表示画像との態様を比較する。画像補正部26は、比較した態様の差分をもとに補正情報を生成する。プロジェクタ30は、その補正情報をもとに画像合成部23が生成した変換画像を投影面に投影する。そのため、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。すなわち、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができるため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影することができる。   According to the present invention, the projector 30 projects a display image on the projection plane, and the camera 40 captures the projection image displayed on the projection plane. The image comparison unit 25 compares the display image generated in the projection image with the direction in which the projector 30 projects the display image or the form of the projection surface with the original display image. The image correction unit 26 generates correction information based on the difference between the compared modes. The projector 30 projects the converted image generated by the image composition unit 23 on the projection plane based on the correction information. Therefore, an image suitable for an arbitrary projection plane can be projected regardless of the projection direction and the unevenness of the projection plane. In other words, the display image can be displayed correctly without providing a white flat portion having a certain area, so that it is not necessary to provide a specific screen or select a projection location, and the image from the projector can be placed at an arbitrary location. And can project images.

図7は、本発明における携帯型画像投影装置の最小構成を示すブロック図である。本発明による携帯型画像投影装置は、投影面に画像(例えば、表示画像もしくは変換画像)を投影する画像投影手段81(例えば、出力指示部24及びプロジェクタ30)と、画像投影手段81が投影面に画像を投影したときに、その投影面に表れている画像である投影画像を撮影する投影画像撮影手段82(例えば、カメラ40)と、画像投影手段81が投影する画像(例えば、表示画像もしくは変換画像)と、投影画像撮影手段82が撮影した投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段83(例えば、画像変換部22、もしくは画像比較部25及び画像補正部26)と、補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段84(例えば、画像合成部23)とを備える。   FIG. 7 is a block diagram showing the minimum configuration of the portable image projector according to the present invention. The portable image projection apparatus according to the present invention includes an image projection unit 81 (for example, the output instruction unit 24 and the projector 30) that projects an image (for example, a display image or a converted image) on the projection plane, and the image projection unit 81 includes the projection plane. When an image is projected onto the projection surface, a projected image photographing means 82 (for example, camera 40) that captures a projected image that is an image appearing on the projection plane, and an image projected by the image projecting means 81 (for example, a display image or A correction information generation unit 83 (for example, the image conversion unit 22) that generates correction information for correcting an image to be projected based on the difference in form between the converted image) and the projection image captured by the projection image capturing unit 82. Alternatively, the image comparison unit 25 and the image correction unit 26) and converted image generation means 84 (for example, image synthesis) that generates a converted image obtained by converting an image to be projected based on the correction information. 23) and a.

補正情報生成手段83は、画像投影手段81が画像を投影する方向により、もしくは投影面の態様により投影画像に生じたその画像との態様の差分(例えば、輝度の差分もしくは色彩の差分)をもとに補正情報を生成する。また、画像投影手段81は、変換画像を投影面に投影する。   The correction information generation unit 83 has a mode difference (for example, a luminance difference or a color difference) from the image generated in the projection image depending on the direction in which the image projection unit 81 projects the image or the mode of the projection plane. And correction information is generated. The image projecting unit 81 projects the converted image on the projection surface.

そのような構成により、投影方向や投影面の凹凸に関わらず、任意の投影面に適した画像を投影できる。すなわち、一定の領域を備えた白色平面部を設けなくとも表示画像を正しく表示することができるため、特定のスクリーンを設けたり、投影場所を選んだりする必要なく、任意の場所にプロジェクタからの画像や映像を投影できる。   With such a configuration, an image suitable for an arbitrary projection plane can be projected regardless of the projection direction and the unevenness of the projection plane. In other words, the display image can be displayed correctly without providing a white flat portion having a certain area, so that it is not necessary to provide a specific screen or select a projection location, and the image from the projector can be placed at an arbitrary location. And can project images.

また、上記実施形態には、画像投影手段が投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像(例えば、分割表示画像)を生成する分割画像生成手段(例えば、画像比較部25)と、その分割数と同数であって、分割する各間隔がその間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成手段(例えば、画像比較部25)とを備え、補正情報生成手段83が、分割画像と対応する分割投影画像との態様の差分をもとに補正情報を生成する構成が開示されている。   In the above-described embodiment, a divided image generating unit (for example, a divided display image) that generates a divided image (for example, a divided display image) obtained by dividing the image projected by the image projecting unit in the vertical direction and the horizontal direction at predetermined division numbers and intervals. For example, the image comparison unit 25) and a divided projection image generation unit that generates a divided projection image by dividing the projection image so that the number of divisions is the same as the number of divisions. For example, a configuration is disclosed in which the correction information generation unit 83 includes the image comparison unit 25) and generates correction information based on the difference in the mode between the divided image and the corresponding divided projection image.

このようにして、投影画像に表示画像との歪みが生じた場合でも、表示画像を正しく表示することができる。   In this way, even when the projection image is distorted with the display image, the display image can be correctly displayed.

また、補正情報生成手段83が、フレーム周波数と同期をとって補正情報を生成してもよい。この場合、変換画像出力処理で使用される消費電力を抑えることができる。   Further, the correction information generation unit 83 may generate correction information in synchronization with the frame frequency. In this case, power consumption used in the converted image output process can be suppressed.

また、補正情報生成手段83が、輝度の差分もしくは色彩の差分をもとに補正情報を生成してもよい。   Further, the correction information generation unit 83 may generate correction information based on a luminance difference or a color difference.

また、補正情報生成手段83が、画像投影手段81が投影する画像(例えば、変換画像)と投影画像との態様の差分をもとに、変換画像を補正するための補正情報を生成してもよい。   Further, even if the correction information generation unit 83 generates correction information for correcting the converted image based on the difference between the image projected by the image projection unit 81 (for example, the converted image) and the projected image. Good.

本発明は、任意の場所に画像を投影する携帯型画像投影装置に好適に適用される。   The present invention is preferably applied to a portable image projector that projects an image on an arbitrary place.

10 記憶部
20,20’ 制御部
21 画像認識部
22 画像変換部
23 画像合成部
24 出力指示部
25 画像比較部
26 画像補正部
30 プロジェクタ
40 カメラ
B1,B2 表示画像
D1,D2 投影画像
D3 撮影画像
W1,W2 投影面
P1,P2 特徴点
DESCRIPTION OF SYMBOLS 10 Memory | storage part 20,20 'Control part 21 Image recognition part 22 Image conversion part 23 Image composition part 24 Output instruction | indication part 25 Image comparison part 26 Image correction part 30 Projector 40 Camera B1, B2 Display image D1, D2 Projection image D3 Captured image W1, W2 Projection plane P1, P2 Feature points

Claims (9)

投影面に画像を投影する画像投影手段と、
前記画像投影手段が投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影する投影画像撮影手段と、
前記画像投影手段が投影する画像と、投影画像撮影手段が撮影した前記投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成手段と、
前記補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成手段とを備え、
前記補正情報生成手段は、前記画像投影手段が画像を投影する方向により、もしくは投影面の態様により前記投影画像に生じた当該画像との態様の差分をもとに補正情報を生成し、
前記画像投影手段は、前記変換画像を投影面に投影する
ことを特徴とする携帯型画像投影装置。
Image projection means for projecting an image onto a projection surface;
A projection image photographing means for photographing a projection image which is an image appearing on the projection plane when the image projection means projects an image on the projection plane;
Correction information generating means for generating correction information for correcting an image to be projected based on the difference between the image projected by the image projecting means and the projected image captured by the projected image capturing means;
A converted image generating means for generating a converted image obtained by converting an image to be projected based on the correction information;
The correction information generation unit generates correction information based on a difference between the image and the image generated in the projection image according to a direction in which the image projection unit projects an image or a projection surface.
The portable image projection apparatus, wherein the image projection unit projects the converted image onto a projection surface.
画像投影手段が投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像を生成する分割画像生成手段と、
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成手段とを備え、
補正情報生成手段は、前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成する
請求項1に記載の携帯型画像投影装置。
Divided image generation means for generating a divided image obtained by dividing the image projected by the image projection means in the vertical direction and the horizontal direction at predetermined division numbers and intervals;
Divided projection image generation means for generating a divided projection image obtained by dividing the projection image so that each interval to be divided has the same ratio as the interval, the number being the same as the number of divisions;
The portable image projection device according to claim 1, wherein the correction information generation unit generates correction information based on a difference in aspect between the divided image and the corresponding divided projection image.
補正情報生成手段は、フレーム周波数と同期をとって補正情報を生成する
請求項1または請求項2に記載の携帯型画像投影装置。
The portable image projection apparatus according to claim 1, wherein the correction information generation unit generates the correction information in synchronization with the frame frequency.
補正情報生成手段は、輝度の差分もしくは色彩の差分をもとに補正情報を生成する
請求項1から請求項3のうちのいずれか1項に記載の携帯型画像投影装置。
The portable image projector according to any one of claims 1 to 3, wherein the correction information generation unit generates correction information based on a difference in luminance or a difference in color.
補正情報生成手段は、画像投影手段が投影する画像と投影画像との態様の差分をもとに、変換画像を補正するための補正情報を生成する
請求項1から請求項4のうちのいずれか1項に記載の携帯型画像投影装置。
The correction information generation unit generates correction information for correcting the converted image based on the difference between the image projected by the image projection unit and the projection image. 2. A portable image projector according to item 1.
投影面に画像を投影し、
投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影し、
画像を投影する方向により、もしくは投影面の態様により投影画像に生じた当該画像との態様の差分をもとに補正情報を生成し、
前記補正情報をもとに投影する画像を変換した変換画像を生成し、
前記変換画像を投影面に投影する
ことを特徴とする画像投影方法。
Project the image onto the projection surface,
When an image is projected onto the projection surface, a projection image that is an image appearing on the projection surface is captured,
Generate correction information based on the difference between the image and the image generated in the direction of projecting the image or the projection surface.
Generating a converted image obtained by converting an image to be projected based on the correction information;
An image projecting method comprising projecting the converted image onto a projection surface.
投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像を生成し、
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成し、
前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成する
請求項6記載の画像投影方法。
Generate a divided image obtained by dividing the image to be projected at a predetermined number and interval in the vertical and horizontal directions,
A divided projection image is generated by dividing the projection image so that the number of divisions is the same and each interval to be divided has the same ratio as the interval,
The image projecting method according to claim 6, wherein the correction information is generated based on a difference in form between the divided image and the corresponding divided projected image.
コンピュータに、
投影面に画像を投影する画像投影処理、
前記画像投影処理で投影面に画像を投影したときに、当該投影面に表れている画像である投影画像を撮影する投影画像撮影処理、
前記画像投影処理で投影する画像と、投影画像撮影処理で撮影した前記投影画像との態様の差分をもとに、投影する画像を補正するための補正情報を生成する補正情報生成処理、および、
前記補正情報をもとに投影する画像を変換した変換画像を生成する変換画像生成処理を実行させ、
前記補正情報生成処理で、画像を投影する方向により、もしくは投影面の態様により前記投影画像に生じた当該画像との態様の差分をもとに補正情報を生成させ、
前記画像投影処理で、前記変換画像を投影面に投影させる
ための画像投影プログラム。
On the computer,
Image projection processing for projecting an image onto a projection surface;
A projection image photographing process for photographing a projection image that is an image appearing on the projection plane when an image is projected onto the projection plane in the image projection process;
Correction information generation processing for generating correction information for correcting an image to be projected based on the difference between the image projected by the image projection processing and the projection image captured by the projection image capturing processing; and
Executing converted image generation processing for generating a converted image obtained by converting an image to be projected based on the correction information;
In the correction information generation process, correction information is generated based on the difference between the image and the image generated in the projection image according to the projection direction or the projection plane.
An image projecting program for projecting the converted image onto a projection surface in the image projecting process.
コンピュータに、
画像投影処理で投影する画像を縦方向及び横方向に予め定められた分割数及び間隔で分割した分割画像を生成する分割画像生成処理、および、
前記分割数と同数であって、分割する各間隔が前記間隔と同一の比率となるように投影画像を分割した分割投影画像を生成する分割投影画像生成処理を実行させ、
補正情報生成処理で、前記分割画像と対応する前記分割投影画像との態様の差分をもとに補正情報を生成させる
請求項8に記載の画像投影プログラム。
On the computer,
A divided image generation process for generating a divided image obtained by dividing the image to be projected by the image projection process in the vertical direction and the horizontal direction at predetermined division numbers and intervals; and
A divided projection image generation process for generating a divided projection image obtained by dividing the projection image so that each interval to be divided has the same ratio as the interval, the number being the same as the number of divisions;
The image projection program according to claim 8, wherein correction information is generated based on a difference in aspect between the divided image and the corresponding divided projection image in the correction information generation processing.
JP2014070788A 2014-03-31 2014-03-31 Portable type image projection apparatus, image projection method, and image projection program Pending JP2014150561A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014070788A JP2014150561A (en) 2014-03-31 2014-03-31 Portable type image projection apparatus, image projection method, and image projection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014070788A JP2014150561A (en) 2014-03-31 2014-03-31 Portable type image projection apparatus, image projection method, and image projection program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009012808A Division JP2010171774A (en) 2009-01-23 2009-01-23 Portable type image projection apparatus, and method and program for projecting image

Publications (1)

Publication Number Publication Date
JP2014150561A true JP2014150561A (en) 2014-08-21

Family

ID=51573155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014070788A Pending JP2014150561A (en) 2014-03-31 2014-03-31 Portable type image projection apparatus, image projection method, and image projection program

Country Status (1)

Country Link
JP (1) JP2014150561A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168546A (en) * 2018-03-22 2019-10-03 カシオ計算機株式会社 Projection control device, projection device, projection control method and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248500A (en) * 2002-02-25 2003-09-05 Ricoh Co Ltd Equipment with sound ic

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248500A (en) * 2002-02-25 2003-09-05 Ricoh Co Ltd Equipment with sound ic

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168546A (en) * 2018-03-22 2019-10-03 カシオ計算機株式会社 Projection control device, projection device, projection control method and program

Similar Documents

Publication Publication Date Title
US10958883B2 (en) Projection control apparatus, projection apparatus, projection control method, and storage medium storing program
JP6089424B2 (en) Image processing apparatus, projector, and projector control method
US10349023B2 (en) Image processing apparatus and method
TWI584041B (en) Image processing device, projector, and method of controlling projector
JP2012151670A (en) Image projection system and semiconductor integrated circuit
WO2017104447A1 (en) Image processing device and method, data, and recording medium
JP2011081775A (en) Projection image area detecting device
JP6645687B2 (en) Display device and control method
JP2015060012A (en) Image processing system, image processing device, image processing method and image processing program as well as display system
US9319651B2 (en) Image projection apparatus, image projection method, and storage medium of program
JP2005269363A (en) Projector and pattern image display method
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
JP2008187362A (en) Projector and projected image adjustment method
JP2017129728A (en) Image quality correcting method and image projecting system
JP2018125819A (en) Control device, control method, program, and storage medium
JP2010171774A (en) Portable type image projection apparatus, and method and program for projecting image
JP2006050255A (en) Large screen display system and its luminance correction method
JP4645455B2 (en) Image projection apparatus, projection image correction method, and program
JP2015192310A (en) Projection system, portable equipment, program, and control method of portable equipment
JP2014150561A (en) Portable type image projection apparatus, image projection method, and image projection program
JP6665543B2 (en) Projector and method of correcting captured image
JP2015192177A (en) Image processor, display device, and image processing method
JP6439254B2 (en) Image projection apparatus, control method for image projection apparatus, and control program for image projection apparatus
JP5845565B2 (en) Projector and projector control method
JP2010288062A (en) Projector, program, information storage medium, and image projection method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160406

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160510

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160708

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170130