JP2011048773A - Device for detecting projection image area - Google Patents

Device for detecting projection image area Download PDF

Info

Publication number
JP2011048773A
JP2011048773A JP2009198579A JP2009198579A JP2011048773A JP 2011048773 A JP2011048773 A JP 2011048773A JP 2009198579 A JP2009198579 A JP 2009198579A JP 2009198579 A JP2009198579 A JP 2009198579A JP 2011048773 A JP2011048773 A JP 2011048773A
Authority
JP
Japan
Prior art keywords
image
projection
projected
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009198579A
Other languages
Japanese (ja)
Other versions
JP5343764B2 (en
Inventor
Sadafumi Araki
禎史 荒木
Yuji Kasuya
勇児 糟谷
Keiji Omura
慶二 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009198579A priority Critical patent/JP5343764B2/en
Publication of JP2011048773A publication Critical patent/JP2011048773A/en
Application granted granted Critical
Publication of JP5343764B2 publication Critical patent/JP5343764B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a projection image area detection device for more reliably detecting from a photography image an area where a projection image is projected than the conventional one. <P>SOLUTION: The device is provided for detecting the area where the projection image 40 is projected from the photography image by detecting from the photography image photographed by a photography device an area where marker images 42a to 42d for identifying four corners of the projection image 40 projected on the projection device are projected. Further, the device includes a frame-like image addition unit for adding a rectangular frame-like image 41, which includes only the marker images 42a to 42d and has a width where at least the marker images 42a to 42d, to the outer periphery of the projection image 40. A projection unit projects the projection image 40 to which the frame-like image 41 is added. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、投影画像領域検出装置に関し、特に、投影装置によって投影対象物に投影された画像を撮影装置で撮影し、撮影画像から投影画像が映された領域を検出する投影画像領域検出装置に関する。   The present invention relates to a projection image region detection device, and more particularly to a projection image region detection device that captures an image projected on a projection object by a projection device using a photographing device and detects a region in which the projection image is projected from the photographed image. .

従来、投影画像の4隅を特定するためのマーカ画像を投影画像に付加した画像を投影装置でホワイトボード等の投影対象物に投影し、この投影画像を撮影装置で撮影した撮影画像からマーカ画像が映された領域を検出することにより、撮影画像の射影歪みを補正して遠隔地にある表示装置に表示させたり、投影対象物上でポインティングされた座標を実画像上の座標に変換して記録したりするものが既に知られている。   Conventionally, an image obtained by adding marker images for specifying four corners of a projection image to the projection image is projected onto a projection target such as a whiteboard by the projection device, and this projection image is taken from the photographed image photographed by the photographing device. By detecting the projected area, the projection distortion of the captured image can be corrected and displayed on a remote display device, or the coordinates pointed on the projection target can be converted to the coordinates on the actual image. What is recorded is already known.

例えば、投影された画像上でポインティングされた座標を実画像上の座標に変換して記録するものとして、図15に示すように、投影画像上の4隅のマーカ画像90a〜90dに加えて、補助のマーカ画像90eを投影装置に投影させることにより、マーカ画像90a〜90dの誤検出を防止し、座標の変換精度を向上させるものがある(例えば、特許文献1参照)。   For example, as shown in FIG. 15, in addition to the marker images 90a to 90d at the four corners on the projected image, the coordinates pointed on the projected image are converted into coordinates on the real image and recorded. By projecting the auxiliary marker image 90e on a projection device, there is one that prevents erroneous detection of the marker images 90a to 90d and improves coordinate conversion accuracy (see, for example, Patent Document 1).

しかしながら、このような従来の技術は、投影画像上にマーカ画像を重畳させるため、投影画像の一部がマーカ画像90a〜90eと誤認識され、撮影画像から投影画像が映された領域を誤検出してしまうことがあるといった課題があった。   However, since such a conventional technique superimposes a marker image on a projected image, a part of the projected image is erroneously recognized as the marker images 90a to 90e, and an area in which the projected image is projected is erroneously detected from the captured image. There was a problem that it sometimes happened.

本発明は、このような従来の課題を解決するためになされたもので、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる投影画像領域検出装置を提供することを目的とする。   The present invention has been made to solve such a conventional problem, and provides a projection image area detection device capable of more reliably detecting an area where a projection image is projected from a captured image than a conventional one. For the purpose.

本発明の投影画像領域検出装置は、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出部を備えた投影画像領域検出装置において、前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部と、前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を備えた構成を有している。   The projection image area detection apparatus of the present invention includes a projection apparatus that projects an image onto a projection object, and an imaging apparatus that photographs an area including the image projected onto the projection object, and the projection apparatus projects the image onto the projection apparatus. A projection image in which an area in which the projected image is projected is detected from the captured image by detecting an area in which a marker image for identifying the four corners of the projected image to be projected is detected from the captured image captured by the imaging device. In the projection image area detection apparatus including the area detection unit, a frame-shaped image addition that adds a rectangular frame-shaped image that includes only the marker image and has a width that fits at least the marker image to an outer periphery of the projection image. And an image supply unit that supplies the projection image to the projection device so as to project the projection image with the frame-like image added thereto.

この構成により、本発明の投影画像領域検出装置は、投影装置に投影画像とマーカ画像とを異なる領域に投影させることにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   With this configuration, the projection image area detection apparatus of the present invention projects the projection image and the marker image onto different areas by the projection apparatus, so that the marker image is not superimposed on the projection image. The detected region can be detected more reliably than the conventional one.

なお、前記枠状画像付加部は、前記投影画像の外周と、前記枠状画像の外周とが一致するように前記投影画像に前記枠状画像を付加するようにしてもよい。   Note that the frame-shaped image adding unit may add the frame-shaped image to the projection image so that an outer periphery of the projection image and an outer periphery of the frame-shaped image coincide with each other.

この構成により、本発明の投影画像領域検出装置は、枠状画像を付加するときに、投影画像の解像度やサイズを変化させないため、投影装置として汎用的なプロジェクタを適用することができる。   With this configuration, the projection image area detection device of the present invention does not change the resolution or size of the projection image when adding a frame-like image, and therefore a general-purpose projector can be applied as the projection device.

また、前記枠状画像付加部は、前記投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像を縮小し、縮小した投影画像に前記枠状画像を付加するようにしてもよい。   Further, the frame-like image adding unit reduces the projection image so that an outer periphery of the projection image and an inner periphery of the frame-like image coincide with each other, and adds the frame-like image to the reduced projection image. It may be.

この構成により、本発明の投影画像領域検出装置は、枠状画像を付加するときに、投影画像の解像度やサイズを変化させないため、投影装置として汎用的なプロジェクタを適用することができると共に、投影画像全体を投影装置に投影させることができる。   With this configuration, the projection image area detection device of the present invention does not change the resolution or size of the projection image when adding a frame-like image, so that a general-purpose projector can be applied as the projection device, and the projection The entire image can be projected onto the projection device.

また、本発明の投影画像領域検出装置は、前記投影画像領域検出部によって検出された領域に基づいて、前記撮影画像の射影歪みを補正する画像補正部を備えるようにしてもよい。   The projection image area detection apparatus of the present invention may further include an image correction unit that corrects projection distortion of the captured image based on the area detected by the projection image area detection unit.

この構成により、本発明の投影画像領域検出装置は、射影歪みが補正された撮影画像を得ることができる。   With this configuration, the projection image area detection device of the present invention can obtain a captured image in which the projection distortion is corrected.

また、本発明の投影画像領域検出装置は、前記画像補正部によって補正された撮影画像から前記投影画像が映された領域を切り出す投影画像切り出し部を備えるようにしてもよい。   The projection image area detection apparatus of the present invention may further include a projection image cutout unit that cuts out a region where the projection image is projected from the captured image corrected by the image correction unit.

この構成により、本発明の投影画像領域検出装置は、撮影画像から投影画像が映された領域が切り出された画像を得ることができる。   With this configuration, the projected image area detection device of the present invention can obtain an image obtained by cutting out the area where the projected image is projected from the captured image.

また、本発明の投影画像領域検出装置は、外部装置から供給された投影画像を投影対象物に投影する投影部と、前記投影対象物に投影された画像を含む領域を撮影する撮影部と、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部をさらに備え、前記投影部は、前記枠状画像が付加された投影画像を投影するように構成されている。   In addition, the projection image area detection device of the present invention includes a projection unit that projects a projection image supplied from an external device onto a projection target, a photographing unit that captures an area including the image projected on the projection target, An area in which the projected image is projected is detected by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the projection apparatus is captured from the captured image captured by the imaging apparatus. A projection image region detection device comprising: a projection image region detection device comprising: a rectangular frame-shaped image that includes only the marker image and has a width that fits at least the marker image; A frame-shaped image adding unit to be added to the projector, and the projection unit is configured to project the projection image to which the frame-shaped image is added.

この構成により、本発明の投影画像領域検出装置は、投影画像とマーカ画像とを異なる領域に投影することにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   With this configuration, the projection image area detection device of the present invention projects the projection image and the marker image onto different areas so that the marker image is not superimposed on the projection image. Can be detected more reliably than the conventional one.

ここで、前記枠状画像付加部は、投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像に前記枠状画像を付加するようにしてもよい。   Here, the frame-shaped image adding unit may add the frame-shaped image to the projection image so that an outer periphery of the projection image matches an inner periphery of the frame-shaped image.

この構成により、本発明の投影画像領域検出装置は、投影部を内部に備えることにより、投影部に供給する画像の解像度やサイズ等の規格が制約されないため、投影画像を縮小することなく、投影画像全体を投影することができる。   With this configuration, the projection image area detection device of the present invention includes the projection unit inside, and thus the standards such as the resolution and size of the image supplied to the projection unit are not restricted, so that the projection image can be projected without reducing the projection image. The entire image can be projected.

また、本発明の投影画像領域検出システムは、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、前記投影画像領域検出装置は、前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部と、前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有する。   The projection image area detection system of the present invention is a projection apparatus that projects an image on a projection object, a photographing apparatus that captures an area including an image projected on the projection object, and a projection that is projected onto the projection apparatus. Projection image region detection for detecting a region in which the projection image is projected from the captured image by detecting a region in which a marker image for identifying the four corners of the image is projected from the captured image captured by the imaging device A projection image region detection system comprising a device, and the projection image region detection device includes a rectangular frame-shaped image including only the marker image and having a width that fits at least the marker image. A frame-shaped image adding unit that is added to the outer periphery; and an image supply unit that supplies the projection image to the projection apparatus so as to project the projection image to which the frame-shaped image is added. .

この構成により、本発明の投影画像領域検出システムは、投影装置に投影画像とマーカ画像とを異なる領域に投影させることにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   With this configuration, the projection image area detection system of the present invention projects a projection image and a marker image onto different areas by causing the projection apparatus to project the projection image and the marker image on the different areas. The detected region can be detected more reliably than the conventional one.

また、本発明の投影画像領域検出方法は、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置を用いた投影画像領域検出方法において、前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像領域検出装置が前記投影画像の外周に付加する枠状画像付加ステップと、前記枠状画像が付加された投影画像を投影させるよう前記投影画像領域検出装置が該投影画像を前記投影装置に供給する画像供給ステップと、を有する。   According to another aspect of the present invention, there is provided a projection image area detecting method, comprising: a projection apparatus that projects an image onto a projection object; and an imaging apparatus that photographs an area including the image projected onto the projection object; An area in which the projected image is projected is detected from the captured image by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the captured image is captured from the captured image. In the projection image region detection method using the projection image region detection device, the projection image region detection device generates a rectangular frame-like image that includes only the marker image and has a width that fits at least the marker image. A frame-shaped image adding step to be added to the outer periphery of the frame, and the projection image area detecting device projects the projection image to project the projection image with the frame-shaped image added thereto. Having an image supplying step.

したがって、本発明の投影画像領域検出方法は、投影装置に投影画像とマーカ画像とを異なる領域に投影させることにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   Therefore, in the projected image area detection method of the present invention, the projected image is projected from the photographed image because the projected image and the marker image are projected onto different areas by the projection device, so that the marker image is not superimposed on the projected image. The area can be detected more reliably than the conventional one.

また、前記枠状画像付加ステップでは、前記投影画像の外周と、前記枠状画像の外周とが一致するように前記投影画像領域検出装置が前記投影画像に前記枠状画像を付加するようにしてもよい。   In the frame-shaped image adding step, the projection image area detecting device adds the frame-shaped image to the projection image so that an outer periphery of the projection image and an outer periphery of the frame-shaped image coincide with each other. Also good.

したがって、本発明の投影画像領域検出方法は、枠状画像を付加するときに、投影画像の解像度やサイズを変化させないため、投影装置として汎用的なプロジェクタを適用することができる。   Therefore, since the projection image area detection method of the present invention does not change the resolution or size of the projection image when adding a frame-like image, a general-purpose projector can be applied as the projection apparatus.

また、前記枠状画像付加ステップでは、前記投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像領域検出装置が前記投影画像を縮小し、縮小した投影画像に前記枠状画像を付加するようにしてもよい。   In the frame-shaped image adding step, the projection image area detection device reduces the projection image so that the outer periphery of the projection image and the inner periphery of the frame-shaped image coincide with each other, and the reduced projection image is converted into the reduced projection image. A frame-like image may be added.

したがって、本発明の投影画像領域検出方法は、枠状画像を付加するときに、投影画像の解像度やサイズを変化させないため、投影装置として汎用的なプロジェクタを適用することができると共に、投影画像全体を投影装置に投影させることができる。   Therefore, since the projection image area detection method of the present invention does not change the resolution or size of the projection image when adding a frame-like image, a general-purpose projector can be applied as the projection device, and the entire projection image can be applied. Can be projected onto the projection device.

また、本発明の投影画像領域検出方法は、前記マーカ画像検出ステップで検出した領域に基づいて、前記投影画像領域検出装置が前記撮影画像の射影歪みを補正する画像補正ステップを有していてもよい。   The projected image area detecting method of the present invention may further include an image correcting step in which the projected image area detecting device corrects projective distortion of the captured image based on the area detected in the marker image detecting step. Good.

したがって、本発明の投影画像領域検出方法は、射影歪みが補正された撮影画像を得ることができる。   Therefore, the projected image area detection method of the present invention can obtain a captured image in which the projection distortion is corrected.

また、本発明の投影画像領域検出方法は、前記投影画像領域検出装置が前記画像補正ステップで補正した撮影画像から前記投影画像が映された領域を切り出す投影画像切り出しステップを有していてもよい。   The projected image area detection method of the present invention may further include a projected image cutout step of cutting out an area in which the projected image is projected from the captured image corrected by the projected image area detection device in the image correction step. .

したがって、本発明の投影画像領域検出方法は、撮影画像から投影画像が映された領域が切り出された画像を得ることができる。   Therefore, the projected image area detection method of the present invention can obtain an image obtained by cutting out the area where the projected image is projected from the captured image.

また、本発明の投影画像領域検出プログラムは、投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加させる枠状画像付加ステップと、前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給させる画像供給ステップと、を有する。   According to another aspect of the invention, there is provided a projection image area detection program comprising: a projection apparatus that projects an image onto a projection object; and an imaging apparatus that photographs an area including the image projected onto the projection object; An area in which the projected image is projected is detected from the captured image by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the captured image is captured from the captured image. In a projection image region detection program to be executed by a projection image region detection device, a rectangular frame-shaped image that includes only the marker image and has a width that fits at least the marker image is added to the outer periphery of the projection image. A frame-shaped image adding step, and an image supplying step for supplying the projection image to the projection device so as to project the projection image to which the frame-shaped image is added. It has a.

したがって、本発明の投影画像領域検出プログラムは、投影装置に投影画像とマーカ画像とを異なる領域に投影させることにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   Therefore, the projection image area detection program of the present invention projects the projection image and the marker image on different areas by the projection device, so that the marker image is not superimposed on the projection image. The area can be detected more reliably than the conventional one.

本発明は、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる投影画像領域検出装置を提供することができる。   The present invention can provide a projection image region detection device that can detect a region where a projection image is projected from a captured image more reliably than the conventional one.

本発明の第1の実施の形態としての投影画像領域検出システムの実装図である。1 is a mounting diagram of a projection image area detection system as a first exemplary embodiment of the present invention. FIG. 本発明の第1の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置のハードウェア構成図である。It is a hardware block diagram of the projection image area | region detection apparatus which comprises the projection image area | region detection system as the 1st Embodiment of this invention. 本発明の第1の実施の形態としての投影画像領域検出システムを構成する投影画像領域検出装置の機能ブロック図である。1 is a functional block diagram of a projection image area detection device constituting a projection image area detection system as a first embodiment of the present invention. 本発明の第1の実施の形態に係る投影画像領域検出装置の枠状画像付加部によって外周に枠状画像が付加される投影画像の第1の例を示す概念図である。It is a conceptual diagram which shows the 1st example of the projection image to which a frame-shaped image is added to an outer periphery by the frame-shaped image addition part of the projection image area | region detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る投影画像領域検出装置の枠状画像付加部によって外周に枠状画像が付加される投影画像の第2の例を示す概念図である。It is a conceptual diagram which shows the 2nd example of the projection image by which a frame-shaped image is added to an outer periphery by the frame-shaped image addition part of the projection image area | region detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る投影画像領域検出装置の投影画像領域検出部によって撮影画像からマーカ画像が映された領域を検出する例を示す概念図である。It is a conceptual diagram which shows the example which detects the area | region where the marker image was projected from the picked-up image by the projection image area | region detection part of the projection image area | region detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る投影画像領域検出装置の投影画像供給動作を説明するためのフローチャートである。It is a flowchart for demonstrating the projection image supply operation | movement of the projection image area | region detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る投影画像領域検出装置の投影画像送信動作を説明するためのフローチャートである。It is a flowchart for demonstrating the projection image transmission operation | movement of the projection image area | region detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置の実装図である。It is an implementation figure of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置のハードウェア構成図である。It is a hardware block diagram of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置の機能ブロック図である。It is a functional block diagram of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置の枠状画像付加部によって外周に枠状画像が付加される投影画像の一例を示す概念図である。It is a conceptual diagram which shows an example of the projection image to which a frame-shaped image is added to an outer periphery by the frame-shaped image addition part of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置の投影動作を説明するためのフローチャートである。It is a flowchart for demonstrating the projection operation | movement of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 本発明の第2の実施の形態としての投影画像領域検出装置の投影画像送信動作を説明するためのフローチャートである。It is a flowchart for demonstrating the projection image transmission operation | movement of the projection image area | region detection apparatus as the 2nd Embodiment of this invention. 従来のプロジェクタシステムによって投影される画像の例を示す概念図である。It is a conceptual diagram which shows the example of the image projected by the conventional projector system.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(第1の実施の形態)
図1に示すように、本発明の第1の実施の形態としての投影画像領域検出システム1は、投影対象物としてのホワイトボード2に画像を投影する投影装置3と、ホワイトボード2に投影された画像を含む領域を撮影する撮影装置4と、投影画像が映された領域を撮影画像から検出する投影画像領域検出装置5とを備えている。
(First embodiment)
As shown in FIG. 1, a projection image area detection system 1 according to a first embodiment of the present invention is projected on a whiteboard 2 and a projection device 3 that projects an image on a whiteboard 2 as a projection object. A photographing device 4 for photographing a region including the image and a projected image region detecting device 5 for detecting a region where the projected image is projected from the photographed image.

ここで、本実施の形態においては、投影対象物としてホワイトボードを適用した例について説明するが、本発明においては、投影対象物としてスクリーンや紙等を適用してもよい。   Here, in this embodiment, an example in which a whiteboard is applied as a projection target will be described. However, in the present invention, a screen, paper, or the like may be applied as a projection target.

投影装置3は、例えば、汎用的なプロジェクタによって構成され、投影画像領域検出装置5から送信された画像を投影するようになっている。ここで、投影装置3は、ホワイトボード2の描画領域に投影範囲が含まれるよう設置される。   The projection device 3 is constituted by a general-purpose projector, for example, and projects an image transmitted from the projection image region detection device 5. Here, the projection device 3 is installed so that the projection area is included in the drawing area of the whiteboard 2.

撮影装置4は、例えば、汎用的なカメラによって構成され、0.5秒間に1回、または、1秒間に15回等の予め設定された時間間隔で撮影したホワイトボード2に表示された画像を投影画像領域検出装置5に送信するようになっている。ここで、撮影装置4は、投影装置3の投影領域を撮影できるよう設置される。   The photographing device 4 is constituted by, for example, a general-purpose camera, and displays an image displayed on the whiteboard 2 photographed at a preset time interval such as once every 0.5 seconds or 15 times per second. The data is transmitted to the projection image area detection device 5. Here, the imaging device 4 is installed so that the projection area of the projection device 3 can be imaged.

投影画像領域検出装置5は、図2に示すように、CPU(Central Processing Unit)10と、RAM(Random Access Memory)11と、ROM(Read Only Memory)12と、ハードディスク装置13と、キーボードやポインティングデバイス等よりなる入力装置14と、液晶ディスプレイ等よりなる表示装置15と、投影装置3および撮影装置4等の外部機器との間で通信するためのデバイス通信モジュール16と、ネットワークを介して接続された外部機器との間で通信を行うためのネットワーク通信モジュール17とを備えた汎用的なコンピュータ装置によって構成されている。   As shown in FIG. 2, the projected image area detection device 5 includes a CPU (Central Processing Unit) 10, a RAM (Random Access Memory) 11, a ROM (Read Only Memory) 12, a hard disk device 13, a keyboard, and a pointing device. An input device 14 made of a device, a display device 15 made of a liquid crystal display, etc., and a device communication module 16 for communicating with external devices such as the projection device 3 and the photographing device 4 are connected via a network. It is comprised by the general purpose computer apparatus provided with the network communication module 17 for communicating with the external apparatus.

ROM12およびハードディスク装置13には、当該コンピュータ装置を投影画像領域検出装置5として機能させるためのプログラムが記憶されている。すなわち、CPU10がRAM11を作業領域としてROM12およびハードディスク装置13に記憶されたプログラムを実行することにより、当該コンピュータ装置は、投影画像領域検出装置5として機能する。   The ROM 12 and the hard disk device 13 store a program for causing the computer device to function as the projection image area detection device 5. That is, when the CPU 10 executes a program stored in the ROM 12 and the hard disk device 13 using the RAM 11 as a work area, the computer apparatus functions as the projection image area detection apparatus 5.

投影画像領域検出装置5は、図3に示すように、後述する枠状画像を投影画像の外周に付加する枠状画像付加部20と、枠状画像が付加された投影画像を投影装置3に供給する画像供給部21と、撮影装置4によって撮影された撮影画像から投影画像が映された領域を検出する投影画像領域検出部22と、投影画像領域検出部22によって検出された領域に基づいて、撮影画像の射影歪みを補正する画像補正部23と、画像補正部23によって補正された撮影画像から投影画像が映された領域を切り出す投影画像切り出し部24とを備えている。   As shown in FIG. 3, the projection image area detection device 5 adds a frame-like image adding unit 20 that adds a frame-like image, which will be described later, to the outer periphery of the projection image, and a projection image with the frame-like image added to the projection device 3. Based on the supplied image supply unit 21, the projection image region detection unit 22 that detects a region where the projection image is projected from the captured image captured by the imaging device 4, and the region detected by the projection image region detection unit 22. The image correction unit 23 corrects the projection distortion of the captured image, and the projection image cutout unit 24 extracts a region where the projection image is projected from the captured image corrected by the image correction unit 23.

ここで、枠状画像付加部20、投影画像領域検出部22、画像補正部23および投影画像切り出し部24は、CPU10によって構成され、画像供給部21は、デバイス通信モジュール16によって構成される。   Here, the frame-shaped image adding unit 20, the projection image region detection unit 22, the image correction unit 23, and the projection image cutout unit 24 are configured by the CPU 10, and the image supply unit 21 is configured by the device communication module 16.

また、本実施の形態において、投影画像は、表示装置15の表示画面を表すものとするが、投影画像領域検出装置5を構成するコンピュータによって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像であってもよい。また、投影画像は、遠隔地にある他の投影画像領域検出装置5のような外部機器からネットワーク通信モジュール17を介して受信された画像であってもよい。   In the present embodiment, the projection image represents the display screen of the display device 15, but is an image created by an application such as presentation software executed by a computer constituting the projection image region detection device 5. There may be. The projection image may be an image received from an external device such as another projection image area detection device 5 at a remote place via the network communication module 17.

図4に示すように、枠状画像付加部20は、投影画像40の外周に枠状画像41を付加するようになっている。枠状画像41には、投影装置3に投影させる投影画像の4隅を特定するためのマーカ画像42a〜42dのみが含まれている。   As shown in FIG. 4, the frame-shaped image adding unit 20 adds a frame-shaped image 41 to the outer periphery of the projection image 40. The frame-like image 41 includes only marker images 42 a to 42 d for specifying the four corners of the projection image projected on the projection device 3.

また、枠状画像41は、少なくともマーカ画像42a〜42dが収まる幅を有する矩形枠状を成している。なお、図4において、各マーカ画像42a〜42dは、白抜きの矩形で示されているが、本発明におけるマーカ画像は、枠状画像の中で識別可能なものであればよく、その形状、模様および色彩は、白抜きの矩形に限定されない。   The frame-like image 41 has a rectangular frame shape having a width that can accommodate at least the marker images 42a to 42d. In FIG. 4, each of the marker images 42 a to 42 d is shown by a white rectangle, but the marker image in the present invention may be any one that can be identified in the frame-like image, Patterns and colors are not limited to white rectangles.

枠状画像付加部20は、投影画像40の外周と、枠状画像41の外周とが一致するように投影画像40に枠状画像41を付加するようになっている。なお、本実施の形態において、枠状画像付加部20は、枠状画像41がホワイトボード2上に投影されたときに、破線で示した外周および内周が表示されないように、投影画像40に枠状画像41を付加するものとするが、ホワイトボード2上で枠状画像41が投影された領域に対するユーザの描き込みを抑制するために、外周および内周が実線等で表示されるように、投影画像40に枠状画像41を付加するようにしてもよい。   The frame-shaped image adding unit 20 adds the frame-shaped image 41 to the projection image 40 so that the outer periphery of the projection image 40 and the outer periphery of the frame-shaped image 41 coincide. In the present embodiment, the frame-shaped image adding unit 20 applies the projection image 40 so that the outer periphery and the inner periphery indicated by the broken lines are not displayed when the frame-shaped image 41 is projected on the whiteboard 2. Although the frame-like image 41 is added, the outer periphery and the inner periphery are displayed with solid lines or the like in order to suppress the user's drawing on the area where the frame-like image 41 is projected on the whiteboard 2. The frame image 41 may be added to the projection image 40.

また、枠状画像付加部20は、図5に示すように、投影画像40の外周と、枠状画像41の内周とが一致するように投影画像40に枠状画像41を付加するようにしてもよい。この場合には、枠状画像付加部20は、枠状画像41の幅の分、投影画像40を縮小するように構成される。   Further, as shown in FIG. 5, the frame-shaped image adding unit 20 adds the frame-shaped image 41 to the projected image 40 so that the outer periphery of the projected image 40 and the inner periphery of the frame-shaped image 41 coincide with each other. May be. In this case, the frame-shaped image adding unit 20 is configured to reduce the projection image 40 by the width of the frame-shaped image 41.

図3において、画像供給部21は、枠状画像が付加された投影画像を投影させるよう投影装置3に供給するようになっている。このように、投影装置3に供給される投影画像は、枠状画像が付加されても、解像度やサイズが変化しないため、投影装置3として汎用的なプロジェクタを適用することができる。   In FIG. 3, the image supply unit 21 supplies the projection device 3 with a projection image to which a frame-like image is added. As described above, since the resolution and size of the projection image supplied to the projection device 3 does not change even when a frame-like image is added, a general-purpose projector can be applied as the projection device 3.

投影画像領域検出部22は、マーカ画像が映された領域を撮影装置4によって撮影された撮影画像から検出することにより、投影画像が映された領域を撮影画像から検出するようになっている。   The projected image area detection unit 22 detects the area where the projected image is projected from the captured image by detecting the area where the marker image is projected from the captured image captured by the imaging device 4.

例えば、投影画像領域検出部22は、図6に示すように、撮影画像の各角の二等分線50を副走査方向として斜めに走査していくことにより各マーカ画像51が映された領域を検出し、検出した領域から投影画像が映された領域の各隅を検出するようになっている。   For example, as shown in FIG. 6, the projected image area detection unit 22 scans the bisector 50 at each corner of the captured image obliquely with the sub-scanning direction as an area in which each marker image 51 is projected. , And each corner of the area where the projected image is projected is detected from the detected area.

図3において、画像補正部23は、投影画像領域検出部22によって検出された領域を長方形にするための射影歪み補正の係数を算出し、算出した係数を用いて撮影画像の射影歪み補正を行うようになっている。   In FIG. 3, the image correction unit 23 calculates a projection distortion correction coefficient for making the area detected by the projection image area detection unit 22 a rectangle, and performs the projection distortion correction of the captured image using the calculated coefficient. It is like that.

投影画像切り出し部24は、画像補正部23によって補正された撮影画像から投影画像が映された領域を切り出すようになっている。本実施の形態において、投影画像領域検出装置5は、投影画像切り出し部24によって切り出された画像を遠隔地に設けられた表示装置6(図1参照)にネットワーク通信モジュール17を介して送信し、表示装置6に表示させるものとする。   The projection image cutout unit 24 cuts out an area where the projection image is projected from the captured image corrected by the image correction unit 23. In the present embodiment, the projection image area detection device 5 transmits the image cut out by the projection image cutout unit 24 to the display device 6 (see FIG. 1) provided at a remote location via the network communication module 17, It is assumed to be displayed on the display device 6.

ここで、投影画像領域検出装置5は、投影画像切り出し部24によって切り出された画像を遠隔地にある他の投影画像領域検出装置5のような外部機器にネットワーク通信モジュール17を介して送信するようにしてもよい。   Here, the projection image area detection device 5 transmits the image cut out by the projection image cutout unit 24 to an external device such as another projection image area detection device 5 at a remote location via the network communication module 17. It may be.

また、投影画像領域検出装置5は、投影画像切り出し部24によって切り出された画像を外部の記録装置にネットワーク通信モジュール17を介して送信し、当該記録装置に表示させるようにしてもよく、ハードディスク装置13に記録するようにしてもよい。   Further, the projection image area detection device 5 may transmit the image cut out by the projection image cutout unit 24 to an external recording device via the network communication module 17 and display the image on the recording device. 13 may be recorded.

このように構成された投影画像領域検出装置5について、図7および図8を用いてその動作を説明する。   The operation of the projection image area detection apparatus 5 configured as described above will be described with reference to FIGS.

図7は、投影画像領域検出装置5の投影画像供給動作を説明するためのフローチャートである。なお、以下に説明する投影画像供給動作は、入力装置14等による入力操作に応じて実行される。   FIG. 7 is a flowchart for explaining the projection image supply operation of the projection image region detection apparatus 5. Note that the projection image supply operation described below is executed in response to an input operation by the input device 14 or the like.

まず、枠状画像付加部20によって、表示装置15の表示画面を表す投影画像の外周に枠状画像が付加され(ステップS1)、枠状画像が付加された投影画像が画像供給部21によって投影装置3に供給される(ステップS2)。   First, a frame-like image is added to the outer periphery of the projection image representing the display screen of the display device 15 by the frame-like image addition unit 20 (step S1), and the projection image with the frame-like image added is projected by the image supply unit 21. It is supplied to the device 3 (step S2).

ここで、入力装置14等による入力操作によって投影画像供給動作の終了が指示されている場合には、投影画像供給動作は終了し、投影画像供給動作の終了が指示されていない場合には、投影画像供給動作はステップS1に戻る(ステップS3)。   Here, when the end of the projection image supply operation is instructed by an input operation using the input device 14 or the like, the projection image supply operation ends. When the end of the projection image supply operation is not instructed, the projection image supply operation ends. The image supply operation returns to step S1 (step S3).

図8は、投影画像領域検出装置5の投影画像送信動作を説明するためのフローチャートである。なお、以下に説明する投影画像送信動作は、投影装置3によってホワイトボード2上に投影された画像を含む領域が撮影装置4によって撮影され、撮影された撮影画像がデバイス通信モジュール16を介して受信される度に実行される。   FIG. 8 is a flowchart for explaining the projection image transmission operation of the projection image region detection apparatus 5. In the projected image transmission operation described below, an area including an image projected on the whiteboard 2 by the projection device 3 is photographed by the photographing device 4, and the photographed photographed image is received via the device communication module 16. It is executed whenever it is done.

まず、受信された撮影画像から各マーカ画像が映された領域が投影画像領域検出部22によって検出され(ステップS10)、検出された各マーカ画像が映された領域に基づいて、投影画像が映された領域が投影画像領域検出部22によって撮影画像から検出される(ステップS11)。   First, an area in which each marker image is projected from the received captured image is detected by the projected image area detection unit 22 (step S10), and the projected image is projected based on the detected area in which each marker image is projected. The projected area is detected from the captured image by the projected image area detection unit 22 (step S11).

次に、投影画像領域検出部22によって検出された領域を射影歪み補正するための係数が画像補正部23によって算出され(ステップS12)、算出された係数を用いて撮影画像の射影歪み補正が画像補正部23によって行われる(ステップS13)。   Next, a coefficient for correcting the projection distortion of the area detected by the projection image area detection unit 22 is calculated by the image correction unit 23 (step S12), and the projection distortion correction of the captured image is performed using the calculated coefficient. This is performed by the correction unit 23 (step S13).

次に、画像補正部23によって補正された撮影画像から投影画像が映された領域が投影画像切り出し部24によって切り出され(ステップS14)、切り出された画像が遠隔地に設けられた表示装置6にネットワーク通信モジュール17を介して送信される(ステップS15)。   Next, the region where the projected image is projected from the photographed image corrected by the image correcting unit 23 is cut out by the projected image cutting unit 24 (step S14), and the cut out image is displayed on the display device 6 provided in the remote place. It is transmitted via the network communication module 17 (step S15).

なお、以上に説明した投影画像送信動作において、撮影装置4によって撮影された撮影画像がデバイス通信モジュール16を介して最初に受信されたときにだけステップS10〜S12を実行するようにし、ステップS13において、最初に実行されたステップS12で算出された係数を用いて画像補正部23が射影歪み補正を行うようにしてもよい。   In the projection image transmission operation described above, steps S10 to S12 are executed only when the captured image captured by the imaging device 4 is first received via the device communication module 16, and in step S13. The image correction unit 23 may perform projection distortion correction using the coefficient calculated in step S12 executed first.

さらに、ホワイトボード2、投影装置3および撮影装置4が相対的に動いてしまった場合に対応するために、入力装置14やネットワーク通信モジュール17を介して入力された係数の再計算指示に応じてステップS10〜S12を実行するようにし、ステップS13において、直前に実行されたステップS12で算出された係数を用いて画像補正部23が射影歪み補正を行うようにしてもよい。   Furthermore, in order to cope with the case where the whiteboard 2, the projection device 3, and the photographing device 4 have moved relatively, in response to a coefficient recalculation instruction input via the input device 14 or the network communication module 17. Steps S10 to S12 may be executed, and in step S13, the image correction unit 23 may perform projection distortion correction using the coefficient calculated in step S12 executed immediately before.

以上に説明したように、本発明の第1の実施の形態としての投影画像領域検出システム1は、投影装置3に投影画像とマーカ画像とを異なる領域に投影させることにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   As described above, the projection image area detection system 1 according to the first embodiment of the present invention causes the projection device 3 to project the projection image and the marker image onto different areas, thereby causing the marker on the projection image. Since the images are not superimposed, it is possible to more reliably detect the area where the projected image is projected from the captured image than the conventional one.

(第2の実施の形態)
図9に示すように、本発明の第2の実施の形態としての投影画像領域検出装置は、本発明の第1の実施の形態における投影装置3と、撮影装置4と、投影画像領域検出装置5とを一体化し、以下に説明するように最適化した構成を有している。したがって、本実施の形態において、本発明の第1の実施の形態と同一のものには、同一の符号を付して説明を省略する。
(Second Embodiment)
As shown in FIG. 9, the projection image area detection apparatus as the second embodiment of the present invention is the projection apparatus 3, the imaging apparatus 4, and the projection image area detection apparatus according to the first embodiment of the present invention. 5 and an optimized configuration as described below. Accordingly, in the present embodiment, the same components as those in the first embodiment of the present invention are denoted by the same reference numerals and description thereof is omitted.

図10に示すように、投影画像領域検出装置60は、CPU10と、RAM11と、ROM12と、ハードディスク装置13と、入力装置14と、ネットワーク通信モジュール17と、プロジェクタ70と、カメラ71とを備えている。   As shown in FIG. 10, the projected image area detection device 60 includes a CPU 10, a RAM 11, a ROM 12, a hard disk device 13, an input device 14, a network communication module 17, a projector 70, and a camera 71. Yes.

ROM12およびハードディスク装置13には、当該装置を投影画像領域検出装置60として機能させるためのプログラムが記憶されている。すなわち、CPU10がRAM11を作業領域としてROM12およびハードディスク装置13に記憶されたプログラムを実行することにより、当該装置は、投影画像領域検出装置60として機能する。   The ROM 12 and the hard disk device 13 store a program for causing the device to function as the projection image area detection device 60. That is, when the CPU 10 executes a program stored in the ROM 12 and the hard disk device 13 using the RAM 11 as a work area, the apparatus functions as the projection image area detection device 60.

投影画像領域検出装置60は、図11に示すように、枠状画像付加部20と、枠状画像が付加された投影画像を投影する投影部80と、ホワイトボード2に投影された画像を含む領域を撮影する撮影部81と、撮影部81によって撮影された撮影画像から投影画像が映された領域を検出する投影画像領域検出部22と、画像補正部23と、投影画像切り出し部24とを備えている。   As shown in FIG. 11, the projection image region detection device 60 includes a frame-shaped image addition unit 20, a projection unit 80 that projects a projection image with the frame-shaped image added thereto, and an image projected on the whiteboard 2. An imaging unit 81 that captures an area, a projection image region detection unit 22 that detects an area where a projection image is projected from a captured image captured by the imaging unit 81, an image correction unit 23, and a projection image cutout unit 24. I have.

ここで、枠状画像付加部20、投影画像領域検出部22、画像補正部23および投影画像切り出し部24は、CPU10によって構成され、投影部80は、プロジェクタ70によって構成され、撮影部81は、カメラ71によって構成される。   Here, the frame-shaped image adding unit 20, the projected image region detecting unit 22, the image correcting unit 23, and the projected image clipping unit 24 are configured by the CPU 10, the projecting unit 80 is configured by the projector 70, and the photographing unit 81 is The camera 71 is used.

本実施の形態において、投影画像は、投影画像領域検出装置60に接続された画像供給装置61によって供給される。画像供給装置61は、例えば、汎用的なコンピュータ装置によって構成される。   In the present embodiment, the projection image is supplied by an image supply device 61 connected to the projection image region detection device 60. The image supply device 61 is configured by a general-purpose computer device, for example.

投影画像としては、画像供給装置61を構成するコンピュータ装置の表示画面を表す画像、当該コンピュータ装置によって実行されるプレゼンテーションソフトウェア等のアプリケーションによって作成された画像、または、当該コンピュータ装置に他の外部機器から受信された画像等がある。   As a projected image, an image representing a display screen of a computer device constituting the image supply device 61, an image created by an application such as presentation software executed by the computer device, or another external device on the computer device There are received images and the like.

投影画像領域検出装置60は、本発明の第1の実施の形態としての投影画像領域検出装置5に対して、投影部80を内蔵しているため、投影部80に供給する画像の解像度やサイズ等の規格が制約されない。   Since the projection image area detection device 60 incorporates the projection unit 80 with respect to the projection image region detection apparatus 5 as the first embodiment of the present invention, the resolution and size of the image supplied to the projection unit 80 Standards such as are not constrained.

このため、本実施の形態における枠状画像付加部20は、投影画像40を縮小する必要がなく、図12に示すように、投影画像40の外周と、枠状画像41の内周とが一致するように投影画像40に枠状画像41を付加するようになっている。   For this reason, the frame-shaped image adding unit 20 in the present embodiment does not need to reduce the projection image 40, and the outer periphery of the projection image 40 and the inner periphery of the frame-shaped image 41 coincide as shown in FIG. As described above, a frame-like image 41 is added to the projected image 40.

このように構成された投影画像領域検出装置60について、図13および図14を用いてその動作を説明する。   The operation of the thus configured projection image region detection device 60 will be described with reference to FIGS. 13 and 14.

図13は、投影画像領域検出装置60の投影動作を説明するためのフローチャートである。なお、以下に説明する投影動作は、画像供給装置61から投影画像が供給される度に実行される。   FIG. 13 is a flowchart for explaining the projection operation of the projection image region detection apparatus 60. The projection operation described below is executed each time a projection image is supplied from the image supply device 61.

画像供給装置61から供給された投影画像は、枠状画像が枠状画像付加部20によって外周に付加され(ステップS21)、枠状画像が付加された投影画像が投影部80によって投影される(ステップS22)。   In the projection image supplied from the image supply device 61, a frame-like image is added to the outer periphery by the frame-like image addition unit 20 (step S21), and the projection image with the frame-like image added is projected by the projection unit 80 ( Step S22).

図14は、投影画像領域検出装置60の投影画像送信動作を説明するためのフローチャートである。なお、以下に説明する投影画像送信動作は、投影部80によってホワイトボード2上に投影された画像を含む領域が撮影部81によって撮影される度に実行される。   FIG. 14 is a flowchart for explaining the projection image transmission operation of the projection image region detection apparatus 60. Note that the projection image transmission operation described below is executed each time an area including an image projected on the whiteboard 2 by the projection unit 80 is imaged by the imaging unit 81.

まず、撮影部81によって撮影された撮影画像から各マーカ画像が映された領域が投影画像領域検出部22によって検出され(ステップS30)、検出された各マーカ画像が映された領域に基づいて、投影画像が映された領域が投影画像領域検出部22によって撮影画像から検出される(ステップS31)。   First, an area in which each marker image is projected from a photographed image photographed by the photographing unit 81 is detected by the projection image area detection unit 22 (step S30), and based on the area in which each detected marker image is projected, An area where the projected image is projected is detected from the captured image by the projected image area detecting unit 22 (step S31).

次に、投影画像領域検出部22によって検出された領域を射影歪み補正するための係数が画像補正部23によって算出され(ステップS32)、算出された係数を用いて撮影画像の射影歪み補正が画像補正部23によって行われる(ステップS33)。   Next, a coefficient for correcting the projection distortion of the area detected by the projection image area detection unit 22 is calculated by the image correction unit 23 (step S32), and the projection distortion correction of the captured image is performed using the calculated coefficient. This is performed by the correction unit 23 (step S33).

次に、画像補正部23によって補正された撮影画像から投影画像が映された領域が投影画像切り出し部24によって切り出され(ステップS34)、切り出された画像が遠隔地に設けられた表示装置6にネットワーク通信モジュール17を介して送信される(ステップS35)。   Next, the region where the projected image is projected from the photographed image corrected by the image correcting unit 23 is cut out by the projected image cutting unit 24 (step S34), and the cut out image is displayed on the display device 6 provided in the remote place. It is transmitted via the network communication module 17 (step S35).

なお、以上に説明した投影画像送信動作において、撮影部81によって撮影された撮影画像がデバイス通信モジュール16を介して最初に受信されたときにだけステップS30〜S32を実行するようにし、ステップS33において、最初に実行されたステップS32で算出された係数を用いて画像補正部23が射影歪み補正を行うようにしてもよい。   In the projection image transmission operation described above, steps S30 to S32 are executed only when a captured image captured by the capturing unit 81 is first received via the device communication module 16, and in step S33. The image correction unit 23 may perform projection distortion correction using the coefficient calculated in step S32 executed first.

さらに、ホワイトボード2および投影画像領域検出装置60が相対的に動いてしまった場合に対応するために、入力装置14やネットワーク通信モジュール17を介して入力された係数の再計算指示に応じてステップS30〜S32を実行するようにし、ステップS33において、直前に実行されたステップS32で算出された係数を用いて画像補正部23が射影歪み補正を行うようにしてもよい。   Further, in order to cope with the case where the whiteboard 2 and the projection image region detection device 60 have moved relatively, a step is performed in accordance with a coefficient recalculation instruction input via the input device 14 or the network communication module 17. S30 to S32 may be executed, and in step S33, the image correction unit 23 may perform projective distortion correction using the coefficient calculated in step S32 executed immediately before.

以上に説明したように、本発明の第2の実施の形態としての投影画像領域検出装置60は、投影画像とマーカ画像とを異なる領域に投影することにより、投影画像上にマーカ画像を重畳させないため、撮影画像から投影画像が映された領域を従来のものより確実に検出することができる。   As described above, the projection image area detection device 60 according to the second embodiment of the present invention does not superimpose the marker image on the projection image by projecting the projection image and the marker image in different areas. Therefore, it is possible to detect the region where the projected image is projected from the captured image more reliably than the conventional one.

1 投影画像領域検出システム
2 ホワイトボード
3 投影装置
4 撮影装置
5、60 投影画像領域検出装置
6 表示装置
10 CPU
11 RAM
12 ROM
13 ハードディスク装置
14 入力装置
15 表示装置
16 デバイス通信モジュール
17 ネットワーク通信モジュール
20 枠状画像付加部
21 画像供給部
22 投影画像領域検出部
23 画像補正部
24 投影画像切り出し部
61 画像供給装置
70 プロジェクタ
71 カメラ
80 投影部
81 撮影部
DESCRIPTION OF SYMBOLS 1 Projection image area detection system 2 White board 3 Projection apparatus 4 Imaging device 5, 60 Projection image area detection apparatus 6 Display apparatus 10 CPU
11 RAM
12 ROM
DESCRIPTION OF SYMBOLS 13 Hard disk device 14 Input device 15 Display device 16 Device communication module 17 Network communication module 20 Frame-shaped image addition part 21 Image supply part 22 Projected image area detection part 23 Image correction part 24 Projected image cropping part 61 Image supply apparatus 70 Projector 71 Camera 80 Projection unit 81 Imaging unit

特開2008−225553号公報JP 2008-225553 A

Claims (14)

投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、
前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出部を備えた投影画像領域検出装置において、
前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部と、
前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を備えたことを特徴とする投影画像領域検出装置。
A projection device for projecting an image on the projection object, and an imaging device for photographing an area including the image projected on the projection object;
An area in which the projected image is projected is detected by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the projection apparatus is captured from the captured image captured by the imaging apparatus. In the projection image area detection device provided with the projection image area detection unit for detecting from
A frame-shaped image adding unit that includes only the marker image and adds a rectangular frame-shaped image having a width that fits at least the marker image to the outer periphery of the projection image;
An image supply unit that supplies the projection image to the projection device so as to project the projection image to which the frame-like image is added.
前記枠状画像付加部は、前記投影画像の外周と、前記枠状画像の外周とが一致するように前記投影画像に前記枠状画像を付加することを特徴とする請求項1に記載の投影画像領域検出装置。   The projection according to claim 1, wherein the frame-shaped image adding unit adds the frame-shaped image to the projection image so that an outer periphery of the projection image and an outer periphery of the frame-shaped image coincide with each other. Image area detection device. 前記枠状画像付加部は、前記投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像を縮小し、縮小した投影画像に前記枠状画像を付加することを特徴とする請求項1に記載の投影画像領域検出装置。   The frame-like image adding unit reduces the projection image so that an outer circumference of the projection image and an inner circumference of the frame-like image coincide with each other, and adds the frame-like image to the reduced projection image. The projection image area detection apparatus according to claim 1. 前記投影画像領域検出部によって検出された領域に基づいて、前記撮影画像の射影歪みを補正する画像補正部を備えたことを特徴とする請求項1乃至請求項3の何れかに記載の投影画像領域検出装置。   The projection image according to any one of claims 1 to 3, further comprising an image correction unit that corrects projection distortion of the captured image based on an area detected by the projection image area detection unit. Area detection device. 前記画像補正部によって補正された撮影画像から前記投影画像が映された領域を切り出す投影画像切り出し部を備えたことを特徴とする請求項4に記載の投影画像領域検出装置。   The projection image area detection apparatus according to claim 4, further comprising: a projection image cutout unit that cuts out an area in which the projection image is projected from the captured image corrected by the image correction unit. 外部装置から供給された投影画像を投影対象物に投影する投影部と、
前記投影対象物に投影された画像を含む領域を撮影する撮影部と、
前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出部と、を備えた投影画像領域検出装置において、
前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部をさらに備え、
前記投影部は、前記枠状画像が付加された投影画像を投影することを特徴とする投影画像領域検出装置。
A projection unit that projects a projection image supplied from an external device onto a projection object;
An imaging unit that captures an area including an image projected on the projection object;
An area in which the projected image is projected is detected by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the projection apparatus is captured from the captured image captured by the imaging apparatus. A projection image region detection device comprising: a projection image region detection unit for detecting from:
A frame-shaped image adding unit that includes only the marker image and adds a rectangular frame-shaped image having a width that fits at least the marker image to the outer periphery of the projection image;
The projection unit projects a projection image to which the frame-like image is added.
前記枠状画像付加部は、投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像に前記枠状画像を付加することを特徴とする請求項6に記載の投影画像領域検出装置。   The projection according to claim 6, wherein the frame-shaped image adding unit adds the frame-shaped image to the projection image so that an outer periphery of the projection image matches an inner periphery of the frame-shaped image. Image area detection device. 投影対象物に画像を投影する投影装置と、
前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、
前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置と、を備えた投影画像領域検出システムにおいて、
前記投影画像領域検出装置は、
前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加する枠状画像付加部と、
前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給する画像供給部と、を有することを特徴とする投影画像領域検出システム。
A projection device for projecting an image onto a projection object;
An imaging device for imaging an area including an image projected on the projection object;
An area in which the projected image is projected is detected by detecting an area in which a marker image for specifying the four corners of the projected image to be projected on the projection apparatus is captured from the captured image captured by the imaging apparatus. In a projection image area detection system comprising a projection image area detection device for detecting from
The projected image area detection device includes:
A frame-shaped image adding unit that includes only the marker image and adds a rectangular frame-shaped image having a width that fits at least the marker image to the outer periphery of the projection image;
An image supply unit that supplies the projection image to the projection device so as to project the projection image to which the frame-like image is added.
投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置を用いた投影画像領域検出方法において、
前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像領域検出装置が前記投影画像の外周に付加する枠状画像付加ステップと、
前記枠状画像が付加された投影画像を投影させるよう前記投影画像領域検出装置が該投影画像を前記投影装置に供給する画像供給ステップと、を有することを特徴とする投影画像領域検出方法。
A projection device that projects an image onto a projection target and a photographing device that captures an area that includes the image projected onto the projection target are provided to identify four corners of the projection image that is projected onto the projection device. Projection image region detection using a projection image region detection device that detects a region in which the projection image is projected from the captured image by detecting a region in which the marker image is projected from the captured image captured by the imaging device In the method
A frame-shaped image adding step in which the projection image region detection device adds a rectangular frame-shaped image that includes only the marker image and has a width that fits at least the marker image to the outer periphery of the projection image;
An image supply step in which the projection image region detection device supplies the projection image to the projection device so as to project the projection image to which the frame-like image is added.
前記枠状画像付加ステップでは、前記投影画像の外周と、前記枠状画像の外周とが一致するように前記投影画像領域検出装置が前記投影画像に前記枠状画像を付加することを特徴とする請求項9に記載の投影画像領域検出方法。   In the frame-shaped image adding step, the projection image area detecting device adds the frame-shaped image to the projection image so that an outer periphery of the projection image and an outer periphery of the frame-shaped image coincide with each other. The projection image area | region detection method of Claim 9. 前記枠状画像付加ステップでは、前記投影画像の外周と、前記枠状画像の内周とが一致するように前記投影画像領域検出装置が前記投影画像を縮小し、縮小した投影画像に前記枠状画像を付加することを特徴とする請求項9に記載の投影画像領域検出方法。   In the frame-like image adding step, the projection image area detecting device reduces the projection image so that an outer periphery of the projection image and an inner periphery of the frame-like image coincide with each other, and the frame-like image is reduced to the reduced projection image. The projection image area detection method according to claim 9, wherein an image is added. 前記マーカ画像検出ステップで検出した領域に基づいて、前記投影画像領域検出装置が前記撮影画像の射影歪みを補正する画像補正ステップを有することを特徴とする請求項9乃至請求項11の何れかに記載の投影画像領域検出方法。   12. The projection image region detection device according to claim 9, further comprising an image correction step of correcting projection distortion of the captured image based on the region detected in the marker image detection step. The projected image area detection method described. 前記投影画像領域検出装置が前記画像補正ステップで補正した撮影画像から前記投影画像が映された領域を切り出す投影画像切り出しステップを有することを特徴とする請求項12に記載の投影画像領域検出方法。   13. The projection image region detection method according to claim 12, further comprising a projection image cutout step of cutting out a region in which the projection image is projected from the captured image corrected by the projection image region detection device in the image correction step. 投影対象物に画像を投影する投影装置と、前記投影対象物に投影された画像を含む領域を撮影する撮影装置と、が設けられ、前記投影装置に投影させる投影画像の4隅を特定するためのマーカ画像が映された領域を前記撮影装置によって撮影された撮影画像から検出することにより前記投影画像が映された領域を前記撮影画像から検出する投影画像領域検出装置に実行させるための投影画像領域検出プログラムにおいて、
前記マーカ画像のみが含まれ、少なくとも前記マーカ画像が収まる幅を有する矩形枠状の枠状画像を前記投影画像の外周に付加させる枠状画像付加ステップと、
前記枠状画像が付加された投影画像を投影させるよう該投影画像を前記投影装置に供給させる画像供給ステップと、を有することを特徴とする投影画像領域検出プログラム。
A projection device that projects an image onto a projection target and a photographing device that captures an area that includes the image projected onto the projection target are provided to identify four corners of the projection image that is projected onto the projection device. A projected image for causing a projected image area detection device to detect an area in which the projected image is projected from the captured image by detecting an area in which the marker image is projected from the captured image captured by the imaging apparatus In the area detection program,
A frame-shaped image addition step of adding a rectangular frame-shaped image including only the marker image and having a width that fits at least the marker image to the outer periphery of the projection image;
An image supply step of supplying the projection image to the projection device so as to project the projection image to which the frame-like image is added.
JP2009198579A 2009-08-28 2009-08-28 Projection image area detection device Expired - Fee Related JP5343764B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009198579A JP5343764B2 (en) 2009-08-28 2009-08-28 Projection image area detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009198579A JP5343764B2 (en) 2009-08-28 2009-08-28 Projection image area detection device

Publications (2)

Publication Number Publication Date
JP2011048773A true JP2011048773A (en) 2011-03-10
JP5343764B2 JP5343764B2 (en) 2013-11-13

Family

ID=43834988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009198579A Expired - Fee Related JP5343764B2 (en) 2009-08-28 2009-08-28 Projection image area detection device

Country Status (1)

Country Link
JP (1) JP5343764B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132446A1 (en) * 2015-02-17 2016-08-25 日立マクセル株式会社 Picture projection apparatus and shaking correction method
JP2019028456A (en) * 2017-07-27 2019-02-21 大日本印刷株式会社 Diffraction optical element, light irradiation device, light irradiation system and correction method of projection pattern

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078682A (en) * 2002-08-20 2004-03-11 Casio Comput Co Ltd Display controlling device, information terminal device, and display controlling program
JP2004198817A (en) * 2002-12-19 2004-07-15 Ricoh Elemex Corp Presentation device
JP2005326557A (en) * 2004-05-13 2005-11-24 Olympus Corp Projector device
JP2007257438A (en) * 2006-03-24 2007-10-04 Casio Comput Co Ltd Pointing device, external information processor, instruction position specifying device and instruction position specifying method
JP2007295049A (en) * 2006-04-21 2007-11-08 Casio Comput Co Ltd Projector, and video image projection method and program
JP2008225553A (en) * 2007-03-08 2008-09-25 Lunascape Co Ltd Projector system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078682A (en) * 2002-08-20 2004-03-11 Casio Comput Co Ltd Display controlling device, information terminal device, and display controlling program
JP2004198817A (en) * 2002-12-19 2004-07-15 Ricoh Elemex Corp Presentation device
JP2005326557A (en) * 2004-05-13 2005-11-24 Olympus Corp Projector device
JP2007257438A (en) * 2006-03-24 2007-10-04 Casio Comput Co Ltd Pointing device, external information processor, instruction position specifying device and instruction position specifying method
JP2007295049A (en) * 2006-04-21 2007-11-08 Casio Comput Co Ltd Projector, and video image projection method and program
JP2008225553A (en) * 2007-03-08 2008-09-25 Lunascape Co Ltd Projector system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132446A1 (en) * 2015-02-17 2016-08-25 日立マクセル株式会社 Picture projection apparatus and shaking correction method
JP2019028456A (en) * 2017-07-27 2019-02-21 大日本印刷株式会社 Diffraction optical element, light irradiation device, light irradiation system and correction method of projection pattern
JP7230358B2 (en) 2017-07-27 2023-03-01 大日本印刷株式会社 Diffraction optical element, light irradiation device, light irradiation system, projection pattern correction method

Also Published As

Publication number Publication date
JP5343764B2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
US8870386B2 (en) Projection image area detecting device that generates marker images
US7911500B2 (en) Image processing device, computer readable recording medium, and image processing method
US7764307B2 (en) Remote instruction system, computer readable medium for remote instruction system and method
JP5266953B2 (en) Projection display apparatus and display method
JP5266954B2 (en) Projection display apparatus and display method
JP2014131257A (en) Image correction system, image correction method, and program
JP2007017543A (en) Device, system, method and program for presentation
KR20050001336A (en) Image processing system, projector, information storage medium and image processing method
US20120069045A1 (en) Drawn image sharing apparatus
US20170118451A1 (en) Information processing apparatus, image projection system, and computer program product
KR101450782B1 (en) Image processing device and program
JP2006235374A (en) Projection type display apparatus, projection display method, projection display program, and recording medium in which projection display program is stored
JP5560722B2 (en) Image processing apparatus, image display system, and image processing method
JP5343764B2 (en) Projection image area detection device
JP2005303493A (en) Obstacle-adaptive projection type display
JP2014092715A (en) Electronic equipment, information processing method, and program
JP5152317B2 (en) Presentation control apparatus and program
JP5162855B2 (en) Image processing apparatus, remote image processing system, and image processing method
JP2010086193A (en) Presentation material distribution system and distribution system for indication position data on presentation material
JP2009188639A (en) Indication system, indication program, and indication device
JP5742305B2 (en) Drawing image processing device
JP2014160998A (en) Image processing system, image processing method, image processing program and recording medium
JP2010062726A (en) Apparatus and method for supporting imaging position determination, and computer program
JP7391502B2 (en) Image processing device, image processing method and program
JP2021061510A (en) Projection control device, method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

R151 Written notification of patent or utility model registration

Ref document number: 5343764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees