JP2006018374A - Image processor with projector function, and program - Google Patents

Image processor with projector function, and program Download PDF

Info

Publication number
JP2006018374A
JP2006018374A JP2004192890A JP2004192890A JP2006018374A JP 2006018374 A JP2006018374 A JP 2006018374A JP 2004192890 A JP2004192890 A JP 2004192890A JP 2004192890 A JP2004192890 A JP 2004192890A JP 2006018374 A JP2006018374 A JP 2006018374A
Authority
JP
Japan
Prior art keywords
image
area
output target
output
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004192890A
Other languages
Japanese (ja)
Inventor
Jiro Sekizaki
次郎 関崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Casio Soft Co Ltd
Original Assignee
Casio Computer Co Ltd
Casio Soft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd, Casio Soft Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004192890A priority Critical patent/JP2006018374A/en
Publication of JP2006018374A publication Critical patent/JP2006018374A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To discriminate an image section in an arbitrary designated region in a projected image in a status that an output object image is optically converted, and outputted as the projected image. <P>SOLUTION: In a presentation system, when "enlargement" and "thick line" in menu items are selected and designated in a status that an arbitrary region in a projected image where an output object image is projected and outputted through a projector 1 to a screen 4 is designated, a PC 3 acquires a photographic image obtained by photographing the projected image by a digital camera 2, and specifies a corresponding region in the photographic image corresponding to the designated region by analyzing the photographic image, and specifies the corresponding region in the output object image corresponding to the specified region. Then, it is possible to discriminate the image section of the corresponding region in the output object image, so as to output the output object image after identification processing is operated to the image section from the projector 1 as the projected image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、出力対象画像を光変換して投影画像として出力するプロジェクタ機能付き画像処理装置およびプログラムに関する。   The present invention relates to an image processing apparatus with a projector function and a program for optically converting an output target image and outputting it as a projection image.

従来、CRT(ブラウン管)あるいは液晶パネルなどを使用して、出力対象画像を光変換してスクリーン上に投影表示するプロジェクタは、高解像で鮮明なカラー投影を得ることができるようになり、また、パーソナルコンピュータ(PC)からの画像をスクリーン上に投影表示するようにしたプレゼンテーションシステムとしては、たとえば、PCから外部表示装置に対して送られた出力対象画像のうち、任意の領域をPC側から指定すると、この指定領域内の画像部分を抽出して外部表示装置に送り、この外部表示装置を介してスクリーン上に投影するようにした表示用画面の部分選択装置が知られている(特許文献1参照)。
特開2000−181422号公報
Conventionally, a projector that uses a CRT (CRT) or a liquid crystal panel to convert an output target image and project and display it on a screen can obtain a high-resolution and clear color projection. As a presentation system in which an image from a personal computer (PC) is projected and displayed on a screen, for example, an arbitrary area of an output target image sent from a PC to an external display device is displayed from the PC side. A display screen partial selection device is known that, when designated, extracts an image portion in the designated region, sends it to an external display device, and projects it onto the screen via the external display device (Patent Document). 1).
JP 2000-181422 A

しかしながら、上述した特許文献の部分選択装置にあっては、指定領域内の画像部分を抽出して投影表示させるようにしているため、プレゼンテーションの参加者にあっては、その部分を注視することができるが、領域が指定される以前の画像全体までも知ることはできず、部分画像が表示されている状態では、画像全体に対して当該部分がどのような関係にあるかを把握することはできなかった。  However, in the partial selection device of the above-mentioned patent document, since the image portion in the designated area is extracted and projected and displayed, the presentation participant can watch the portion. Although it is impossible to know the entire image before the area is specified, it is not possible to know how the part is related to the entire image when the partial image is displayed. could not.

ところで、各種資料をスクリーン上に投影表示させているプレゼンテーション時において、発表者は、スクリーン上の資料に沿って説明を行うようにしているが、その際、発表内容と参考資料との対応関係を口述で説明しながら行うようにしている。この場合、参加者にあっては、スクリーン上に投影表示されている多くの資料の中から現在の説明内容に該当する参考資料を即座に見つけ出すことができなかったり、間違った資料を見てしまうことがあり、さらには、説明内容を聞き逃すことがあるなど、発表者と参加者との間に大きなギャップが生じることがあった。このことは、プレゼンテーションの進行が速くなればなる程、顕著なものとなる。  By the way, during the presentation when various materials are projected and displayed on the screen, the presenter explains the materials according to the materials on the screen. It is done while explaining by dictation. In this case, the participant cannot immediately find the reference material corresponding to the current explanation content from the many materials projected and displayed on the screen, or sees the wrong material. In some cases, there was a big gap between the presenters and the participants, such as missed explanations. This becomes more noticeable as the presentation progresses faster.

第1の発明の課題は、出力対象画像を光変換して投影画像として出力している状態において、投影画像内の任意の領域が指定されると、この指定領域内の画像部分を識別できるようにすることである。
第2の発明の課題は、出力対象画像を光変換して投影画像として出力している状態において、投影画像内の任意の領域が指定されると、この指定領域に関する関連情報を出力できるようにすることである。
According to a first aspect of the present invention, when an arbitrary region in a projection image is designated in a state where the output target image is optically converted and output as a projection image, the image portion in the designated region can be identified. Is to do.
According to a second aspect of the present invention, when an arbitrary region in a projection image is specified in a state where the output target image is optically converted and output as a projection image, related information regarding the specified region can be output. It is to be.

請求項1記載の発明(第1の発明)は、出力対象画像を光変換して投影画像として出力するプロジェクタ機能付き画像処理装置において、出力対象画像が投影出力されている投影画像内の任意の領域を指定する領域指定手段と、この領域指定手段によって領域指定されている状態において当該投影画像を撮影してデジタル変換する撮影手段と、この撮影手段からの撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する領域特定手段と、この領域特定手段によって特定された出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施す識別処理手段と、この識別処理手段によって識別処理が施された後の出力対象画像を投影画像として出力する出力手段とを具備したことを特徴とする。
さらに、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項11記載の発明)。
The invention according to claim 1 (first invention) is an image processing apparatus with a projector function that optically converts an output target image and outputs it as a projection image. An area designating unit for designating an area, an imaging unit for capturing and digitally converting the projection image in a state designated by the area designating unit, and analyzing the captured image from the imaging unit And a corresponding area in the output target image specified by the area specifying means, a corresponding area in the output target image corresponding to the specific area, and a corresponding area in the output target image specified by the area specifying means Identification processing means for performing identification processing on the image portion so that the image portion can be identified, and after the identification processing is performed by the identification processing means Characterized by comprising an output means for outputting the output target image as a projection image.
Further, a program for realizing the main functions shown in the invention described in claim 1 is provided to the computer (the invention described in claim 11).

なお、請求項1記載の発明は次のようなものであってもよい。
前記出力対象画像内の対応領域の画像部分を識別するために予め用意されている複数の識別種の中から任意の種類を選択指定する識別種選択手段を設け、前記識別処理手段は、この識別種選択手段によって任意に選択された識別種に基づいて出力対象画像内の対応領域の画像部分を識別処理する(請求項2記載の発明)。
The invention described in claim 1 may be as follows.
There is provided an identification type selection means for selecting and specifying an arbitrary type from among a plurality of identification types prepared in advance for identifying the image portion of the corresponding area in the output target image, and the identification processing means The image portion of the corresponding region in the output target image is subjected to identification processing based on the identification species arbitrarily selected by the species selection means (the invention according to claim 2).

投影画像と共に識別種メニューが投影されている状態において、この識別種メニューの中から任意の種類が投影画像内で選択指定された際に、このときの撮影画像を解析することによって前記選択指定された識別種を特定する(請求項3記載の発明)。   In a state where the identification type menu is projected together with the projection image, when an arbitrary type is selected and designated from the identification type menu in the projection image, the selection and designation is performed by analyzing the captured image at this time. The identified species is specified (the invention according to claim 3).

前記指定手段は、発光体を操作することによって投影画像内の任意の領域が照明された際に、この照明部分を領域指定する(請求項5記載の発明)。
この場合、前記領域特定手段は、発光体を操作することによって投影画像内の任意の照明ポイントが移動される毎に、撮影画像を順次取り込みながらその照明位置の移動軌跡を追随検出し、この照明ポイントの移動軌跡によって指示された領域を撮影画像内の対応領域として特定するようにしてもよい(請求項6記載の発明)。
The designating unit designates the illumination portion as a region when an arbitrary region in the projection image is illuminated by operating the light emitter (the invention according to claim 5).
In this case, each time an arbitrary illumination point in the projection image is moved by operating the light emitter, the area specifying unit follows the movement locus of the illumination position while sequentially capturing the captured images, and this illumination You may make it identify the area | region instruct | indicated by the movement locus | trajectory of a point as a corresponding | compatible area | region in a picked-up image (invention of Claim 6).

投影画像と共に処理メニューが投影されている状態において、この処理メニューの中から任意のメニュー項目が投影画像内で選択指定された際に、そのときの撮影画像を解析することによって前記選択指定されたメニュー項目を特定すると共に、このメニュー項目に対応する処理を実行する(請求項7記載の発明)。   In a state where the processing menu is projected together with the projection image, when an arbitrary menu item is selected and specified in the projection image from the processing menu, the selection and specification is performed by analyzing the captured image at that time. A menu item is specified, and processing corresponding to the menu item is executed (invention of claim 7).

請求項4記載の発明(第2の発明)は、出力対象画像を光変換して投影画像として出力するプロジェクタ機能を備えた画像処理装置において、出力対象画像が投影出力されている投影画像内の任意の領域を指定する領域指定手段と、この領域指定手段によって領域指定されている状態において当該投影画像を撮影してデジタル変換する撮影手段と、この撮影手段からの撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する領域特定手段と、この領域特定手段によって特定された出力対象画像内の対応領域に関する関連情報を取得する取得手段と、この取得手段によって得られた関連情報を出力する出力手段とを具備したことを特徴とする。
さらに、コンピュータに対して、上述した請求項4記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項12記載の発明)。
The invention according to claim 4 (second invention) is an image processing apparatus having a projector function for optically converting an output target image and outputting it as a projection image. An area designating unit for designating an arbitrary area, an imaging unit for capturing and digitally converting the projection image in a state designated by the area designating unit, and analyzing the captured image from the imaging unit A corresponding area in the captured image corresponding to the specified area is specified, a corresponding area in the output target image corresponding to the specific area is specified, and an output target image specified by the area specifying means Characterized in that it comprises an acquisition means for acquiring related information related to the corresponding area, and an output means for outputting the related information obtained by the acquisition means. That.
Furthermore, a program for realizing the main functions shown in the invention described in claim 4 is provided to the computer (the invention described in claim 12).

なお、請求項4記載の発明は次のようなものであってもよい。
前記出力手段は、出力対象画像内の対応領域に関する関連情報が音声情報であれば、この音声情報を合成出力する(請求項8記載の発明)。
The invention described in claim 4 may be as follows.
If the related information regarding the corresponding area in the output target image is audio information, the output means synthesizes and outputs the audio information (the invention according to claim 8).

前記取得手段は、出力対象画像内の対応領域に関する関連情報を取得する際に、当該対応領域内に含まれている文字列を文字認識すると共に、この認識結果を音声情報に変換することによって対応領域に関する関連情報を取得し、前記出力手段は、この取得手段によって得られた音声情報を合成出力する(請求項9記載の発明)。   When acquiring the related information related to the corresponding area in the output target image, the acquisition unit recognizes a character string included in the corresponding area and converts the recognition result into voice information. The related information on the area is acquired, and the output means synthesizes and outputs the voice information obtained by the acquisition means (the invention according to claim 9).

前記出力手段は、出力対象画像内の対応領域に関する関連情報が登録画像であれば、この登録画像を投影画像として出力する(請求項10記載の発明)。
その他、請求項4記載の発明(第2の発明)にあっても、上述した請求項5〜請求項7記載の発明であってもよい。
If the related information regarding the corresponding region in the output target image is a registered image, the output means outputs the registered image as a projection image.
In addition, the invention according to claim 4 (second invention) may be the invention according to claims 5 to 7 described above.

請求項1記載の発明(第1の発明)によれば、出力対象画像が投影出力されている投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影した撮影画像を解析することによって指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定し、この出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施した後の出力対象画像を投影画像として出力するようにしたから、投影画像内の任意の領域が指定されると、この指定領域内の画像部分を識別することができ、たとえば、プレゼンテーションにおいて、スクリーン上に多くの資料が投影表示されている場合でも、説明内容と参考資料との対応関係を即座に確認することができず、対応する資料を探したり、間違った資料を見たり、説明内容を聞き逃すことを効果的に防止することが可能となる。
なお、識別処理としては、領域拡大処理、領域アウトラインの太線化処理、網掛け処理、着色処理、反転処理、輝度変化処理、点滅処理など任意である。
According to the first aspect of the present invention (first invention), in a state where an arbitrary area in the projection image on which the output target image is projected and output is specified, a captured image obtained by photographing the projection image is analyzed. The corresponding area in the captured image corresponding to the designated area can be specified, the corresponding area in the output target image corresponding to the specific area can be specified, and the image portion of the corresponding area in the output target image can be identified For this reason, since the output target image after performing the identification process on the image portion is output as a projection image, when an arbitrary region in the projection image is designated, the image portion in the designated region is For example, even if many materials are projected and displayed on the screen in a presentation, the correspondence between the explanation contents and reference materials can be confirmed immediately. Not, or looking for a corresponding article, or look at the wrong material, it is possible to effectively prevent the miss listening to the explanation contents.
As the identification process, an area enlargement process, an area outline thickening process, a shading process, a coloring process, an inversion process, a luminance change process, a blinking process, and the like are arbitrary.

請求項2記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、出力対象画像内の対応領域の画像部分を識別可能とするために予め用意されている複数の識別種の中から任意の種類が選択指定されると、選択された識別種に基づいて出力対象画像内の対応領域の画像部分を識別処理するようにしたから、所望する領域識別を実現することができると共に、必要に応じて識別の仕方を変更することができるなど、より効果的なプレゼンテーションが可能となる。   According to the second aspect of the present invention, in addition to the same effect as the first aspect of the present invention, a plurality of preliminarily prepared in order to be able to identify the image portion of the corresponding area in the output target image. When an arbitrary type is selected and specified from among the identification types, the image portion of the corresponding region in the output target image is identified based on the selected identification type, so that the desired region identification is realized. In addition, the presentation method can be changed more effectively, and the presentation can be changed more effectively.

請求項3記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、投影画像と共に識別種メニューが投影されている状態において、この識別種メニューの中から任意の種類が投影画像内で選択指定された際に、このときの撮影画像を解析することによって選択指定された識別種を特定するようにしたから、所望する識別種を投影画像内で選択指定することができる。   According to the invention described in claim 3, in addition to having the same effect as that of the invention described in claim 1 described above, in the state where the identification seed menu is projected together with the projection image, any kind of the identification seed menu can be selected. Is selected and specified in the projection image, the identification type selected and specified is analyzed by analyzing the photographed image at this time. Therefore, the desired identification type can be selected and specified in the projection image. it can.

請求項5記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、発光体を操作することによって投影画像内の任意の領域が照明された際に、この照明部分を領域指定するようにしたから、たとえば、レーザ発光ペンを使用して遠方から投影画像内の任意の領域を照明するだけで、この照明部分の領域を容易に指定することができる。
なお、発光ペンは、たとえば、赤色のレーザビームを発光するもので、その指向性によって遠方からでも所望する位置をポイント照明することができるものである。
この場合、発光体を操作することによって投影画像内の任意の照明ポイントが移動される毎に、撮影画像を順次取り込みながらその照明位置の移動軌跡を追随検出し、この照明ポイントの移動軌跡によって指示された領域を撮影画像内の対応領域として特定するようにすれば(請求項6記載の発明)、詳細な領域指定を実現することが可能となる。
According to the invention described in claim 5, in addition to having the same effect as that of the invention described in claim 1 described above, when an arbitrary area in the projection image is illuminated by operating the light emitter, this illumination portion Therefore, the area of the illumination part can be easily specified only by illuminating an arbitrary area in the projection image from a distance using a laser light-emitting pen, for example.
Note that the light-emitting pen emits a red laser beam, for example, and can illuminate a desired position from a distance by point directivity.
In this case, every time an arbitrary illumination point in the projection image is moved by operating the light emitter, the movement locus of the illumination position is detected while sequentially capturing captured images, and an instruction is given by the movement locus of the illumination point. If the specified area is specified as the corresponding area in the photographed image (the invention according to claim 6), detailed area designation can be realized.

請求項7記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、投影画像と共に処理メニューが投影されている状態において、この処理メニューの中から任意のメニュー項目が投影画像内で選択指定された際に、そのときの撮影画像を解析することによって選択指定されたメニュー項目を特定すると共に、このメニュー項目に対応する処理を実行するようにしたから、たとえば、画像切り換えなどの各種の処理を投影画像内で選択指定することができる。   According to the invention described in claim 7, in addition to having the same effect as that of the invention described in claim 1 described above, an arbitrary menu item can be selected from the process menu in a state where the process menu is projected together with the projection image. When a selection is specified in the projection image, the menu item selected and specified is analyzed by analyzing the captured image at that time, and processing corresponding to this menu item is executed. Various processes such as switching can be selected and designated in the projection image.

請求項4記載の発明(第2の発明)によれば、出力対象画像が投影出力されている投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影した撮影画像を解析することによって指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定し、この出力対象画像内の対応領域に関する関連情報を取得して出力するようにしたから、投影画像内の任意の領域が指定されると、この指定領域に関する関連情報を出力することができ、たとえば、プレゼンテーションにおいて、スクリーン上に投影表示されている資料に関する補足説明などを出力することによって、より効果的なプレゼンテーションが可能となる。   According to the invention described in claim 4 (second invention), in a state where an arbitrary area in the projection image on which the output target image is projected and output is specified, the photographed image obtained by photographing the projection image is analyzed. To identify a corresponding area in the captured image corresponding to the specified area, identify a corresponding area in the output target image corresponding to the specific area, and acquire related information regarding the corresponding area in the output target image. When an arbitrary area in the projected image is specified, related information about the specified area can be output. For example, in the presentation, supplementary information on the material projected and displayed on the screen By outputting explanations and the like, more effective presentation is possible.

請求項8記載の発明によれば、上述した請求項4記載の発明と同様の効果を有する他、出力対象画像内の対応領域に関する関連情報が音声情報であれば、この音声情報を合成出力するようにしたから、投影画像の補足説明として音声による説明が可能となる。
この場合、出力対象画像内の対応領域に関する関連情報を取得する際に、当該対応領域内に含まれている文字列を文字認識すると共に、この認識結果を音声情報に変換することによって音声情報を合成出力するようにしてもよい(請求項9記載の発明)。
According to the eighth aspect of the invention, in addition to the same effect as the above-described fourth aspect of the invention, if the related information regarding the corresponding region in the output target image is voice information, the voice information is synthesized and output. Since it did in this way, the description by a voice | voice becomes possible as supplementary description of a projection image.
In this case, when acquiring the related information about the corresponding area in the output target image, the character information included in the corresponding area is recognized and the voice information is converted by converting the recognition result into the voice information. A composite output may be made (the invention according to claim 9).

請求項10記載の発明によれば、上述した請求項4記載の発明と同様の効果を有する他、出力対象画像内の対応領域に関する関連情報が登録画像であれば、この登録画像を投影画像として出力するようにしたから、投影画像の補足説明として別画像による説明が可能となる。
なお、請求項4記載の発明(第2の発明)においても、上述した請求項5〜請求項7記載の発明と同様の効果を有する。
According to the tenth aspect of the invention, in addition to the same effect as the above-described fourth aspect of the invention, if the related information regarding the corresponding area in the output target image is a registered image, the registered image is used as a projection image. Since the data is output, it is possible to use another image as a supplementary explanation of the projection image.
The invention according to claim 4 (second invention) also has the same effects as those of the inventions according to claims 5 to 7 described above.

以下、図1〜図10を参照して本発明の実施例を説明する。
図1は、この実施例におけるプレゼンテーションシステムの全体構成の概要を示したブロック図である。
このプレゼンテーションシステムは、プロジェクタ機能付き画像処理装置を構成するもので、たとえば、会社等における商談会、報告会、審議会などのビジネスミーティング用として使用され、プロジェクタ1、デジタルカメラ2、パーソナルコンピュータ(PC)3、スクリーン4を有する構成となっている。
Embodiments of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram showing an outline of the overall configuration of the presentation system in this embodiment.
This presentation system constitutes an image processing apparatus with a projector function, and is used, for example, for business meetings such as business meetings, debriefing meetings, and council meetings in a company. 3) The screen 4 is provided.

プロジェクタ1は、たとえば、液晶パネルを使用した液晶プロジェクタであり、光源、プリズム、投影レンズのほか、CPU、通信インターフェイスなどを有する構成で、プロジェクタ1とPC3とは、無線あるいは有線によって接続され、PC3から送信されてきた画像を受信すると、液晶パネルを介してスクリーン4上に投影出力するようにしている。デジタルカメラ2は、CCD等の撮像素子、光学系、CPU、記録メディアなどを有し、PC3からの指示によって動作するもので、プレゼンテーションの開始が指示された際に、スクリーン4を被写体として投影画像の全体を動画撮影するビデオカメラあるいは動画撮影が可能なスチルカメラであり、プロジェクタ1に取り付けられている。   The projector 1 is, for example, a liquid crystal projector using a liquid crystal panel, and includes a light source, a prism, a projection lens, a CPU, a communication interface, and the like. The projector 1 and the PC 3 are connected wirelessly or by wire. When an image transmitted from is received, it is projected onto the screen 4 via a liquid crystal panel. The digital camera 2 has an image pickup device such as a CCD, an optical system, a CPU, a recording medium, and the like, and operates according to an instruction from the PC 3. When the start of the presentation is instructed, the digital camera 2 projects a projected image using the screen 4 as a subject. These are a video camera that shoots the entire movie or a still camera that can shoot a movie, and is attached to the projector 1.

この場合、プロジェクタ1の上面部には、デジタルカメラ2が取り付けられており、プロジェクタ1の投影レンズとデジタルカメラ2の撮影レンズとの光軸が上下相対するように極力接近させてある。なお、プロジェクタ1とデジタルカメラ2との間には、プロジェクタ1内の光源からの発熱がデジタルカメラ2に影響しないように断熱部材(図示せず)が設けられている。
レーザ発光ペン5は、プロジェクタ1からスクリーン4上に投影出力された投影画像内において、たとえば、任意の位置をポイント照明する赤色のレーザビームを発光する棒状の発光体であり、その指向性によって遠方からでも所望する位置をポイント照明することができるものである
In this case, the digital camera 2 is attached to the upper surface portion of the projector 1 and is as close as possible so that the optical axes of the projection lens of the projector 1 and the photographing lens of the digital camera 2 are vertically opposed to each other. A heat insulating member (not shown) is provided between the projector 1 and the digital camera 2 so that heat generated from the light source in the projector 1 does not affect the digital camera 2.
The laser light-emitting pen 5 is a rod-shaped light emitter that emits a red laser beam that illuminates an arbitrary position in the projected image projected and projected on the screen 4 from the projector 1, and is distant by its directivity. It is possible to illuminate the desired position even from the point

図2は、プロジェクタ1側において出力対象画像を光変換して投影画像として出力させた状態を示した図である。
この場合、PC3側の画面(PC画面)には、出力対象画像と共に、その下側にはメニュー項目が表示され、また、スクリーン4上には、この出力対象画像の投影画像とメニュー項目の投影画像が並列的に表示される。このようにPC画面の表示内容とスクリーン4上の投影内容とは対応付けられており、PC画面の表示内容がそのまま投影画像となる。ここの投影画像内において、発表者は、レーザ発光ペン5を使用することによって、投影画像内の任意の領域を指定したり、投影画像内のメニュー項目を任意に指定する。
FIG. 2 is a diagram illustrating a state in which the output target image is optically converted and output as a projection image on the projector 1 side.
In this case, on the screen on the PC 3 side (PC screen), the menu item is displayed together with the output target image, and the projection image of the output target image and the menu item are projected on the screen 4. Images are displayed in parallel. In this way, the display content of the PC screen and the projection content on the screen 4 are associated with each other, and the display content of the PC screen becomes a projection image as it is. In the projection image here, the presenter uses the laser emitting pen 5 to specify an arbitrary area in the projection image or arbitrarily specify a menu item in the projection image.

この場合、レーザ発光ペン5によって投影画像内の任意の位置がポイント照明されている状態において、デジタルカメラ2は、この投影画像の全体を撮影するようにしている。PC3は、この撮影画像を順次取り込みながら画像解析を行い、レーザ発光ペン5によってポイント照明されている位置の移動軌跡(発光照明軌跡)を追随検出し、この照明ポイントの移動軌跡によって指示された領域を特定するようにしている。ここで、PC3は、投影画像内の照明軌跡に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定し、この出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施すと共に、識別処理を施した後の出力対象画像を投影画像として再出力させるようにしている。また、PC3は、識別処理を施す以外に、出力対象画像内の対応領域に対応して登録されている関連情報を読み出し、この関連情報が音声であれば、この関連情報を音声出力させ、画像であれば、この関連情報を出力対象画像に合成して再出力させるようにしている。   In this case, in a state where an arbitrary position in the projection image is point-lit by the laser light emitting pen 5, the digital camera 2 captures the entire projection image. The PC 3 performs image analysis while sequentially capturing the captured images, detects the movement locus (light emission illumination locus) of the position illuminated by the laser light-emitting pen 5, and indicates the area indicated by the movement locus of the illumination point. To identify. Here, the PC 3 specifies the corresponding region in the captured image corresponding to the illumination locus in the projection image, specifies the corresponding region in the output target image corresponding to the specific region, and the correspondence in the output target image. In order to identify the image portion of the region, the image portion is subjected to identification processing, and the output target image after the identification processing is re-output as a projection image. In addition to performing the identification process, the PC 3 reads related information registered corresponding to the corresponding area in the output target image, and if the related information is audio, the related information is output as audio. If so, the related information is combined with the output target image and re-outputted.

また、PC3は、照明ポイントの位置が投影画像内のメニュー項目上であれば、このメニュー項目対応の処理を実行するようにしている。メニュー項目は、「拡大」、「太線」、「音声」、「補足」、‥‥の各項目を有している。ここで、「拡大」のメニュー項目は、識別処理の1つで、指定領域内の画像部分を拡大すべきことを指示するためのメニュー項目である。「太線」のメニュー項目は、他の識別処理で、指定領域のアウトラインを特定すると共にこのアウトラインを太線で囲むべきことを指示するためのメニュー項目である。「音声」のメニュー項目は、指定領域内に含まれている文字列を文字認識すると共に、この認識結果を音声情報に変換して合成出力すべきことを指示するためのメニュー項目である。「補足」のメニュー項目は、指定領域に対応して予め登録されている関連情報を出力すべきこと指示するためのメニュー項目である。この場合、関連情報が音声情報であれば、この音声情報を合成出力し、関連情報が登録画像であれば、この登録画像を投影画像として当該指定領域に対応付けて出力する。   If the position of the illumination point is on the menu item in the projection image, the PC 3 executes processing corresponding to this menu item. The menu items include “enlarged”, “thick line”, “voice”, “supplement”, and so on. Here, the “enlarge” menu item is a menu item for instructing that the image portion in the designated area should be enlarged in one of the identification processes. The menu item “bold line” is a menu item for specifying the outline of the designated area in other identification processing and instructing that this outline should be surrounded by a bold line. The “voice” menu item is a menu item for recognizing a character string included in the designated area and instructing that the recognition result should be converted into voice information and synthesized and output. The “supplement” menu item is a menu item for instructing that related information registered in advance corresponding to the designated area should be output. In this case, if the related information is audio information, the audio information is synthesized and output. If the related information is a registered image, the registered image is output as a projection image in association with the designated area.

図3は、PC3の基本的構成要素を示したブロック図である。
CPU31は、記憶部32内のオペレーティングシステム、各種アプリケーションソフトに応じてこのPC3の全体動作を制御する中央演算処理装置である。記憶部32は、プログラム領域とデータ領域とを有し、磁気的メモリ、光学的メモリ、半導体メモリ等の他、その駆動系を有する構成となっている。この記憶部32内のプログラム領域には、後述する図4〜図6に示す動作手順に応じて本実施例を実現するためのアプリケーションプログラムが格納されている。
FIG. 3 is a block diagram showing the basic components of the PC 3.
The CPU 31 is a central processing unit that controls the overall operation of the PC 3 according to the operating system and various application software in the storage unit 32. The storage unit 32 has a program area and a data area, and has a drive system in addition to a magnetic memory, an optical memory, a semiconductor memory, and the like. In the program area in the storage unit 32, an application program for realizing the present embodiment is stored in accordance with operation procedures shown in FIGS.

この記憶部32内のプログラム、データは、必要に応じてRAM(たとえば、スタティックRAM)33にロードされたり、このRAM33内のデータが記憶部32にセーブされる。なお、RAM33内の移動軌跡メモリ33−1は、上述した投影画像内の照明ポイントが順次セットされるもので、CPU31は、この移動軌跡メモリ33−1に基づいて照明ポイントの移動軌跡を解析し、この移動軌跡が閉曲線に近似したものであれば、この閉曲線を指定領域として特定するようにしている。なお、記録媒体34は、CD−ROM、フレキシブルディスク、RAMカード等である。   The program and data in the storage unit 32 are loaded into a RAM (for example, static RAM) 33 as needed, or the data in the RAM 33 is saved in the storage unit 32. The movement trajectory memory 33-1 in the RAM 33 is set with the illumination points in the above-mentioned projected image in sequence, and the CPU 31 analyzes the movement trajectory of the illumination points based on the movement trajectory memory 33-1. If the movement trajectory approximates a closed curve, the closed curve is specified as the designated region. The recording medium 34 is a CD-ROM, a flexible disk, a RAM card, or the like.

CPU31には、その入出力周辺デバイスである通信I/F(インターフェイス)35、入力装置36、表示装置37、音声出力部38がバスラインを介して接続されており、入出力プログラムによってCPU31は、これらの入出力デバイスの動作制御を行う。
通信I/F35は、プロジェクタ1、デジタルカメラ2との間で画像データ等の送受信を行う有線/無線インターフェイスである。入力装置36は、キーボード、タッチパネルあるいはマウス、タッチ入力ペン等のポインティングデバイスを構成する操作部であり、文字列データ、各種コマンドの入力を行う。表示装置37は、フルカラー表示を行う液晶表示装置、CRT表示装置、プラズマ表示装置等である。音声出力部38は、スピーカ等を有し、たとえば、スクリーン4の両側などに配置されている。
A communication I / F (interface) 35, an input device 36, a display device 37, and an audio output unit 38, which are input / output peripheral devices, are connected to the CPU 31 via a bus line. It controls the operation of these input / output devices.
The communication I / F 35 is a wired / wireless interface that transmits and receives image data and the like between the projector 1 and the digital camera 2. The input device 36 is an operation unit that constitutes a pointing device such as a keyboard, a touch panel, a mouse, or a touch input pen, and inputs character string data and various commands. The display device 37 is a liquid crystal display device that performs full-color display, a CRT display device, a plasma display device, or the like. The audio output unit 38 includes a speaker or the like, and is disposed on, for example, both sides of the screen 4.

次ぎに、この実施例におけるプレゼンテーションシステムの動作概念を図4〜図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。   Next, the operation concept of the presentation system in this embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. In addition, the operation according to the above-described program code transmitted via the transmission medium can be sequentially executed. In other words, in addition to the recording medium, the program / data supplied externally via the transmission medium can be used to execute the operation specific to this embodiment.

図4は、プレゼンテーションの開始指示に応答して実行開始されるPC3の全体動作を示したフローチャートである。
先ず、CPU31は、プレゼンテーションの開始指示に応答してプロジェクタ1およびデジタルカメラ2を起動させると共に(ステップA1)、図2に示したように「拡大」、「太線」、「音声」、「補足」、‥‥の各項目を有するメニュー項目画像を投影出力の対象画像として生成する(ステップA2)。そして、予め登録されている各種画像の一覧画面を表示出力させると共に、この一覧画面の中から複数の画像が投影出力の対象画像群として任意に選択指定されると(ステップA3)、この選択画像群の先頭から1画像データを読み出すと共に(ステップA4)、この読み出し画像をPC画面に表示出力させる(ステップA5)。この場合、PC画面には、図2で示したように、当該読み出し画像と共にメニュー項目画像が並列的に表示出力される。
FIG. 4 is a flowchart showing the overall operation of the PC 3 that is started in response to a presentation start instruction.
First, the CPU 31 activates the projector 1 and the digital camera 2 in response to a presentation start instruction (step A1), and “enlarged”, “thick line”, “voice”, “supplement” as shown in FIG. ,... Are generated as target images for projection output (step A2). Then, a list screen of various images registered in advance is displayed and output, and when a plurality of images are arbitrarily selected and designated as target images for projection output (step A3), the selected image is displayed. One image data is read from the head of the group (step A4), and this read image is displayed and output on the PC screen (step A5). In this case, as shown in FIG. 2, the menu item image is displayed and output in parallel with the read image on the PC screen.

そして、この読み出し画像とメニュー項目画像との合成画像を生成して(ステップA6)、この合成画像をプロジェクタ1に送信する(ステップA7)。ここで、プロジェクタ1側では、この合成画像が液晶パネルに展開されて、プリズム、投影レンズなどを介してスクリーン4上に投影出力させる。この状態において、PC3側においては、その入力装置36に設けられている画像送りキー(図示せず)の操作有無をチェックし(ステップA8)、この画像送りキーが操作された際には、上述の選択画像群の中から次ぎの1画像データを読み出して(ステップA9)、次画像の有無をチェックする(ステップA10)。ここで、次画像が有れば、ステップA5に戻り、この読み出し画像をメニュー項目画像と共にPC画面に表示出力させる。最初は、先頭画像の投影を開始した場合であり、画像送りキーが操作されなければ(ステップA10でNO)、デジタルカメラ2から撮影画像を取得して(ステップA11)、後述する撮影画像解析処理を行うと共に(ステップA12)、解析結果対応処理を実行した後に(ステップA13)、画像送りキーの操作有無をチェックし(ステップA8)、以下、画像送りキーが操作されるまで撮影画像を取得しながら撮影画像解析処理(ステップA12)、解析結果対応処理(ステップA13)が繰り返し実行される。  Then, a composite image of the read image and the menu item image is generated (step A6), and the composite image is transmitted to the projector 1 (step A7). Here, on the projector 1 side, the composite image is developed on a liquid crystal panel, and is projected onto the screen 4 via a prism, a projection lens, and the like. In this state, the PC 3 side checks whether or not an image feed key (not shown) provided in the input device 36 is operated (step A8). Next image data is read out from the selected image group (step A9), and the presence or absence of the next image is checked (step A10). If there is a next image, the process returns to step A5, and this read image is displayed and output on the PC screen together with the menu item image. The first is a case where the projection of the head image is started. If the image advance key is not operated (NO in step A10), a captured image is acquired from the digital camera 2 (step A11), and a captured image analysis process described later is performed. (Step A12), and after executing the analysis result handling process (step A13), the presence / absence of operation of the image advance key is checked (step A8), and thereafter, a captured image is acquired until the image advance key is operated. However, the captured image analysis process (step A12) and the analysis result handling process (step A13) are repeatedly executed.

図5は、撮影画像解析処理を詳述するためのフローチャートである。
この撮影画像解析処理は、デジタルカメラ2から取得した撮影画像を解析し、この撮影画像内に含まれている照明ポイントを特定すると共に、この照明ポイントに対応する出力対象画像内の位置を特定するもので、先ず、CPU31は、撮影画像全体を解析しながら(ステップB1)、レーザ発光ペン5による照明ポイント(所定大の赤色部分)の有無を調べ(ステップB2)、撮影画像内に照明ポイントが含まれていなければ(ステップB2でNO)、移動軌跡メモリ33−1の内容をクリアして初期化するが(ステップB3)、撮影画像内に照明ポイントが含まれていれば、撮影画像内における照明ポイントの位置を特定し(ステップB4)、この照明ポイントの位置は、メニュー項目の表示上か否かを判別する(ステップB5)。いま、メニュー項目が発光照明されている場合には(ステップB5でYES)、当該照明位置に基づいて対応のメニュー項目として、「拡大」、「太線」、「音声」、「補足」、‥‥のうち、何れの項目が指定されたかを特定する(ステップB6)。
FIG. 5 is a flowchart for explaining the captured image analysis processing in detail.
In this captured image analysis process, a captured image acquired from the digital camera 2 is analyzed, an illumination point included in the captured image is specified, and a position in the output target image corresponding to the illumination point is specified. First, the CPU 31 analyzes the entire captured image (step B1), checks the presence or absence of an illumination point (predetermined red portion) by the laser light-emitting pen 5 (step B2), and finds an illumination point in the captured image. If it is not included (NO in step B2), the contents of the movement trajectory memory 33-1 are cleared and initialized (step B3), but if the illumination point is included in the captured image, the content in the captured image is displayed. The position of the illumination point is specified (step B4), and it is determined whether the position of the illumination point is on the menu item display (step B5). If the menu item is currently illuminated (YES in step B5), the corresponding menu items based on the illumination position are “enlarged”, “thick line”, “voice”, “supplement”,... Which item is designated is identified (step B6).

一方、照明ポイントの位置がメニュー項目の表示上ではなければ(ステップB5でNO)、移動軌跡メモリ33−1から前回の照明位置を読み出し(ステップB7)、この前回の照明位置と今回特定した照明位置とを比較して(ステップB8)、今回の照明位置は前回の照明位置の近傍かを判別する(ステップB9)。ここで、今回の照明位置と前回の照明位置とが離れている場合には、新たな領域を指定するためにポイント指定されたものと判別するが、投影画像内の任意の領域を指定するために、発光ポイントの位置が連続的に変化しているような場合には、今回の照明位置は前回の照明位置の近傍であると判別する。  On the other hand, if the position of the illumination point is not on the menu item display (NO in step B5), the previous illumination position is read from the movement locus memory 33-1 (step B7), and the previous illumination position and the illumination specified this time are read. The position is compared (step B8), and it is determined whether the current illumination position is in the vicinity of the previous illumination position (step B9). Here, if the current illumination position is far from the previous illumination position, it is determined that a point has been designated to designate a new area, but an arbitrary area in the projection image is designated. In addition, when the position of the light emission point is continuously changing, it is determined that the current illumination position is in the vicinity of the previous illumination position.

図7は、今回の照明位置が前回の照明位置の近傍であるか否かを判別するための判別方法を説明するための図である。
たとえば、出力対象画像全体を「4×4」、「6×6」、「8×8」のようにマトリックス状に分割した場合において、今回の照明位置と前回の照明位置が同一の分割領域内に存在しているときには今回の照明位置は前回の照明位置の近傍であると判別され、また、今回の照明位置と前回の照明位置が異なる分割領域であっても、その距離が分割領域サイズ分以下のときにも今回の照明位置は前回の照明位置の近傍であると判別される。この場合、出力対象画像の複雑度合いに基づいて「4×4」、「6×6」、「8×8」の何れか一方で画像全体を分割するようにしている。なお、図7の例では、「4×4」で分割した場合を例示したもので、たとえば、図示のように今回の照明位置が存在する分割エリアが (3、3)の座標値で示されるエリアで、前回の照明位置が存在する分割エリアも (3、3) の座標値で示されるエリアであれば、今回の照明位置は前回の照明位置の近傍であると判別されるが、今回の照明位置が存在する分割エリアが (3、3)で、前回の照明位置が存在する分割エリアが (3、4)であり、その距離が分割領域サイズを超える場合には、今回の照明位置は前回の照明位置の近傍ではないと判別される。
FIG. 7 is a diagram for explaining a determination method for determining whether or not the current illumination position is in the vicinity of the previous illumination position.
For example, when the entire output target image is divided into a matrix such as “4 × 4”, “6 × 6”, “8 × 8”, the current illumination position and the previous illumination position are within the same divided region. Is present, it is determined that the current illumination position is in the vicinity of the previous illumination position, and even if the current illumination position and the previous illumination position are different divided areas, the distance is equal to the divided area size. Also in the following cases, the current illumination position is determined to be in the vicinity of the previous illumination position. In this case, the entire image is divided by any one of “4 × 4”, “6 × 6”, and “8 × 8” based on the complexity of the output target image. In the example of FIG. 7, the case of dividing by “4 × 4” is illustrated. For example, as shown in the figure, the divided area where the current illumination position exists is indicated by the coordinate values of (3, 3). If the area where the previous illumination position exists is also an area indicated by the coordinate values of (3, 3), the current illumination position is determined to be near the previous illumination position. If the division area where the illumination position exists is (3, 3), the division area where the previous illumination position exists is (3, 4), and the distance exceeds the division area size, the current illumination position is It is determined that it is not in the vicinity of the previous illumination position.

いま、今回の照明位置が前回の照明位置の近傍であれば(ステップB9でYES)、今回の照明位置データを移動軌跡メモリ33−1に追加記憶させた後(ステップB10)、移動軌跡メモリ33−1内の各位置データを全て読み出して解析し(ステップB11)、各位置によって特定される形状、つまり、発光ポイントの移動軌跡は、閉曲線に近似するか否かを調べる(ステップB12)。
図8は、発光ポイントの移動軌跡に応じて指定領域が特定される場合を例示した図であり、発光ポイントの移動軌跡は、投影画像内において任意に指定された領域を特定可能であればよく、略矩形、三角形などであってもく、また、完全な閉曲線を成す必要はなく、たとえば、略半円形であっても閉曲線に近似すると判別される。なお、移動軌跡の形状によってメニュー項目の種類を特定しても良い。例えば、移動軌跡の形状が三角あれば音声、四角であれば拡大、丸であれば太線、∞であれば補足のメニュー項目を特定するようにしても良い。
If the current illumination position is near the previous illumination position (YES in step B9), the current illumination position data is additionally stored in the movement locus memory 33-1 (step B10), and then the movement locus memory 33 is stored. All the position data within −1 are read and analyzed (step B11), and it is checked whether the shape specified by each position, that is, the movement locus of the light emission point approximates a closed curve (step B12).
FIG. 8 is a diagram exemplifying a case where the designated area is specified according to the movement locus of the light emission point. The movement locus of the light emission point only needs to be able to specify an arbitrarily designated area in the projection image. It may be a substantially rectangular shape, a triangular shape, or the like, and it is not necessary to form a complete closed curve. For example, even a substantially semicircular shape is determined to approximate a closed curve. Note that the type of menu item may be specified by the shape of the movement locus. For example, if the shape of the movement locus is a triangle, the voice may be specified, if it is a square, it will be enlarged, if it is a circle, a thick line may be specified, and if it is ∞, a supplemental menu item may be specified.

ここで、移動軌跡メモリ33−1の内容を解析した結果、各位置によって特定された形状が閉曲線に近似する場合には(ステップB12でYES)、この発光ポイントの移動軌跡によって囲まれた領域は、投影画像内において任意に指定された領域であるとして、当該領域を照明指示領域として特定した後に(ステップB13)、移動軌跡メモリ33−1の内容を全てクリアして初期状態に戻すが(ステップB14)、閉曲線に近似せず、発光ポイントの移動軌跡が直線的であったり、半円形にも達していないような場合には(ステップB12でNO)、上述の各ステップB13およびB14をスキップすることによって発光ポイントの移動軌跡を追跡する処理を引き続いて行うようにしている。
一方、今回の照明位置が前回の照明位置の近傍ではなく、互いに離れている場合には(ステップB9でNO)、新たな領域を指定するためにポイント指定されたものと判別し、移動軌跡メモリ33−1の内容を全てクリアして初期状態に戻した後に(ステップB15)、今回の照明位置を始点位置として移動軌跡メモリ33−1に記憶させる(ステップB16)。
Here, as a result of analyzing the contents of the movement locus memory 33-1, when the shape specified by each position approximates a closed curve (YES in Step B12), the region surrounded by the movement locus of the light emission point is Then, after specifying the area as an illumination instruction area assuming that the area is arbitrarily designated in the projection image (step B13), all the contents of the movement locus memory 33-1 are cleared and returned to the initial state (step B13). B14) If the movement locus of the light emission point is not linear and does not reach a semicircular shape (NO in step B12), the above steps B13 and B14 are skipped. Thus, the process of tracking the movement locus of the light emission point is continuously performed.
On the other hand, if the current illumination position is not near the previous illumination position but separated from each other (NO in step B9), it is determined that a point has been designated for designating a new area, and the movement trajectory memory is determined. After all the contents of 33-1 are cleared and returned to the initial state (step B15), the current illumination position is stored in the movement locus memory 33-1 as the start point position (step B16).

図6は、撮影画像解析処理の終了後に実行開始される解析結果対応処理を詳述するためのフローチャートである。
先ず、CPU31は、上述した撮影画像解析処理によってメニュー項目が特定されたか否かをチェックする(ステップC1)。いま、投影画像内のメニュー項目の何れかの位置がレーザ発光ペン5によって照明されている場合には(ステップC1でYES)、この特定メニュー項目をアクティブメニュー項目としてセットすることによって当該メニュー処理を実行可能な状態にセットしておく(ステップC2)。なお、アクティブメニュー項目のデフォルト値は、「拡大」に設定されており、投影画像内のメニュー項目として、たとえば、「太線」の位置がポイント照明された際には、アクティブメニュー項目は、「太線」のメニュー項目に変更される。
FIG. 6 is a flowchart for explaining in detail the analysis result handling process started to be executed after the photographed image analysis process is completed.
First, the CPU 31 checks whether or not a menu item has been specified by the above-described captured image analysis process (step C1). If any position of the menu item in the projected image is illuminated by the laser emitting pen 5 (YES in step C1), the menu process is performed by setting this specific menu item as an active menu item. It is set in an executable state (step C2). Note that the default value of the active menu item is set to “enlarged”, and as a menu item in the projected image, for example, when the position of “thick line” is point-lit, the active menu item is “thick line”. To the menu item.

また、メニュー項目が特定されていない場合、つまり、投影画像内のメニュー項目がスポット照明されていない場合には(ステップC1でNO)、上述した撮影画像解析処理によって発光ポイントの移動軌跡によって囲まれた領域(照明指示領域)が特定されたか否かをチェックし(ステップC3)、照明指示領域が特定されなければ、この時点で当該フローから抜けるが、照明指示領域が特定されている場合には、現在のアクティブメニュー項目を判別する(ステップC4)。ここで、アクティブメニュー項目が「音声」であれば、音声認識プログラムを起動させて、照明指示領域内のデータ(文字列)を文字認識すると共に(ステップC5)、この認識結果を音声データに変換し(ステップC6)、この音声データを合成出力させる(ステップC7)。すなわち、これら(ステップC5〜7)による音声変換処理によって照明指示領域内のデータがそのまま読み上げられるので、参加者にあっては、照明指示領域内の文字列を読み取らなくても音声によってその内容を知ることができる。  If the menu item is not specified, that is, if the menu item in the projection image is not spot-lit (NO in step C1), it is surrounded by the movement locus of the light emission point by the above-described captured image analysis processing. If the lighting instruction area is not specified, the flow goes out of the flow at this point. However, if the lighting instruction area is specified, it is determined whether or not the lighting instruction area is specified (step C3). The current active menu item is discriminated (step C4). Here, if the active menu item is “voice”, the voice recognition program is started to recognize the data (character string) in the illumination instruction area (step C5), and the recognition result is converted into voice data. (Step C6), the voice data is synthesized and output (Step C7). That is, since the data in the lighting instruction area is read as it is by the voice conversion processing by these (Steps C5 to C7), the participant can read the contents by voice without reading the character string in the lighting instruction area. I can know.

また、アクティブメニュー項目が「拡大」であれば、照明指示領域全体を所定倍率(たとえば、2倍)に拡大すると共に(ステップC8)、この拡大画像を元画像(出力対象画像)の対応位置に貼り付ける画像合成を行い(ステップC9)。そして、この合成画像にメニュー項目画像を合成した後(ステップC10)、この合成画像をプロジェクタ1に送信する(ステップC11)修飾処理がなされる。
図9は、発光ポイントの移動軌跡を追随することによって特定された照明指示領域に対して各種の処理を施した後の投影画像を例示した図で、図9(A)に示すように、照明指示領域が2行目〜3行目内の「いいい‥‥」、「ううう‥‥」であれば、この照明指示領域内の各データは、図9(B)に示すように2倍に拡大されて、プロジェクタ1から投影出力される。なお、修飾処理(ステップC8〜11)で施される修飾種としては、縮小処理、網掛け処理、着色処理、反転処理、輝度変化処理、ぼかし処理、するなどの修飾であってもよい。
If the active menu item is “enlarge”, the entire illumination instruction area is enlarged to a predetermined magnification (for example, 2 times) (step C8), and this enlarged image is set at the corresponding position of the original image (output target image). An image composition to be pasted is performed (step C9). Then, after the menu item image is synthesized with this synthesized image (step C10), this synthesized image is transmitted to the projector 1 (step C11), and a modification process is performed.
FIG. 9 is a diagram exemplifying a projection image after various processing is performed on the illumination instruction area specified by following the movement locus of the light emission point. As shown in FIG. If the indication area is "Ii ..." and "Uu ..." in the 2nd to 3rd lines, each data in this illumination indication area is doubled as shown in FIG. 9 (B). And is projected from the projector 1. The modification type applied in the modification process (steps C8 to 11) may be a modification such as a reduction process, a shading process, a coloring process, an inversion process, a luminance change process, and a blurring process.

また、アクティブメニュー項目が「太線」であれば、照明指示領域のアウトラインを特定すると共に(ステップC12)、このアウトラインを太線に変換し(ステップC13)、この太線を元の出力対象画像の対応位置に貼り付けて画像合成する(ステップC14)。さらに、この合成画像にメニュー項目画像を合成した後(ステップC10)、この合成画像をプロジェクタ1に送信する(ステップC11)。この場合、図9(A)に示す照明指示領域は、図9(C)に示すような太線のアウトラインによって囲まれて、デジタルカメラ2から投影出力される。このように「太線」により文字列を囲んで、他の文字と区別可能にする以外に、点線、波線などによって文字列を囲んだり、図形を丸や四角で囲んだり、点滅処理、背景の色を変更するような強調処理であってもよい(ステップC12〜14)。  If the active menu item is “thick line”, the outline of the illumination instruction area is specified (step C12), the outline is converted into a thick line (step C13), and the corresponding position of the original output target image is converted to the thick line. The image is synthesized by pasting to (step C14). Further, after the menu item image is synthesized with this synthesized image (step C10), this synthesized image is transmitted to the projector 1 (step C11). In this case, the illumination instruction area shown in FIG. 9A is surrounded by a thick outline as shown in FIG. 9C and is projected and output from the digital camera 2. In addition to enclosing the character string with “thick lines” to make it distinguishable from other characters, the character string is enclosed by dotted lines, wavy lines, etc., the figure is enclosed by circles and squares, blinking, and background color It may be an emphasis process that changes (steps C12 to C14).

また、アクティブメニュー項目が「補足」であれば、記憶部32に設けられている補足説明ファイル32−1をアクセスして、当該照明指示領域に対応する関連情報を読み出す(ステップC15)。
図10は、補足説明ファイル32−1の内容を示した図であり、この補足説明ファイル32−1は、出力対象画像毎に「構成要素」、「関連情報」、「種類」とを対応付けて記憶管理するもので、補足説明ファイル32−1の内容は、予め任意に登録されたものである。ここで、「構成要素」は、図表、写真、項目別文章などを示し、「関連情報」は、図表、写真、項目別文章などを補足説明するための音声データ、文字列・図表・写真などの画像データを示し、「種類」は、関連情報のデータ種を示し、音声データか画像データかを示している。
If the active menu item is “supplementary”, the supplementary explanation file 32-1 provided in the storage unit 32 is accessed to read related information corresponding to the illumination instruction area (step C15).
FIG. 10 is a diagram showing the contents of the supplementary explanation file 32-1. The supplementary explanation file 32-1 associates “component”, “related information”, and “type” with each output target image. The contents of the supplementary explanation file 32-1 are arbitrarily registered in advance. Here, “components” indicate charts, photos, texts by item, etc., “related information” is voice data, character strings, charts, photos, etc. for supplementary explanation of charts, photos, text by items, etc. The “type” indicates the data type of the related information, and indicates whether it is audio data or image data.

この場合、CPU31は、照明指示領域に基づいて出力対象画像内の該当領域を特定すると共に、この領域内に含まれている「構成要素」を特定し、この「構成要素」に基づいて補足説明ファイル32−1を検索することによって「構成要素」に対応する「関連情報」、「種類」を読み出す(ステップC15)。そして、この「種類」は、音声データか画像データかを判別し(ステップC16)、音声であれば、登録されている音声データ「関連情報」を音声出力するが(ステップC17)、画像であれば、登録されている画像データ「関連情報」を出力対象画像の対応位置に貼り付ける画像合成を行うと共に(ステップC18)、この合成画像にメニュー項目画像を合成した後(ステップC10)、この合成画像をプロジェクタ1に送信する(ステップC11)。この場合、図9(A)に示す照明指示領域には、図9(D)に示すような関連情報「AA‥‥」、「BB‥‥」が補足説明として付加されて、プロジェクタ1から投影出力される。なお、ステップC17では、予め登録されている音声を出力する以外に、照明指示領域内のデータの内容に応じた楽曲を出力するような補足付加処理(ステップC16〜17)にしてもよい。また、ステップC18の合成画像は静止画であっても動画であってもよい。  In this case, the CPU 31 specifies a corresponding region in the output target image based on the illumination instruction region, specifies a “component” included in this region, and supplementary explanation based on the “component”. By searching the file 32-1, “related information” and “type” corresponding to “component” are read (step C15). Then, it is determined whether the “type” is audio data or image data (step C16). If it is audio, the registered audio data “related information” is output as audio (step C17). For example, the image data “related information” registered is pasted at the corresponding position of the output target image (step C18), and the menu item image is synthesized with the synthesized image (step C10). The image is transmitted to the projector 1 (step C11). In this case, in the illumination instruction area shown in FIG. 9A, related information “AA...” And “BB...” As shown in FIG. Is output. In step C17, in addition to outputting a pre-registered voice, a supplementary addition process (steps C16 to 17) may be performed in which music corresponding to the content of the data in the illumination instruction area is output. Further, the composite image in step C18 may be a still image or a moving image.

以上のように、この実施例のプレゼンテーションシステムにおいてPC3は、出力対象画像がプロジェクタ1を介して投影出力されている投影画像内の任意の領域が指定されている状態において、メニュー項目内の「拡大」、「太線」が選択指定された場合に、デジタルカメラ2によって投影画像を撮影した撮影画像を取得し、この撮影画像を解析することによって指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定し、この出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施した後の出力対象画像を投影画像としてプロジェクタ1から出力させるようにしたから、投影画像内の任意の領域が指定されると、この指定領域内の画像部分を「拡大」、「太線」によって識別することができ、プレゼンテーションにおいて、スクリーン上に多くの資料が投影表示されている場合でも、説明内容と参考資料との対応関係を即座に確認することができず、対応する資料を探したり、間違った資料を見たり、説明内容を聞き逃すことを効果的に防止することが可能となる。  As described above, in the presentation system of this embodiment, the PC 3 displays the “enlargement” in the menu item in a state where an arbitrary area in the projection image in which the output target image is projected and output through the projector 1 is designated. "," When "thick line" is selected and specified, a captured image obtained by capturing a projected image by the digital camera 2 is acquired, and the captured image corresponding to the specified region is specified by analyzing the captured image. In addition, the output target after specifying the corresponding region in the output target image corresponding to the specific region and identifying the image portion of the corresponding region in the output target image so that the image portion can be identified Since the image is output from the projector 1 as a projection image, when an arbitrary area in the projection image is designated, the image portion in the designated area is designated. Can be identified by “enlarged” and “thick line”, and even if many materials are projected on the screen in the presentation, the correspondence between the explanation contents and the reference materials can be confirmed immediately. Therefore, it is possible to effectively prevent searching for corresponding materials, seeing wrong materials, and overlooking explanations.

この場合、PC3は、出力対象画像内の対応領域の画像部分を識別可能とするために予め用意されている複数の識別種「拡大」、「太線」の中から任意の種類が選択指定されると、選択された識別種に基づいて出力対象画像内の対応領域の画像部分を識別処理するようにしたから、所望する領域識別を実現することができると共に、必要に応じて識別の仕方を変更することができるなど、より効果的なプレゼンテーションが可能となる。また、投影画像と共に識別種メニューが投影されている状態において、この識別種メニューの中から任意の種類が投影画像内で選択指定された際に、このときの撮影画像を解析することによって選択指定された識別種を特定するようにしたから、所望する識別種を投影画像内で選択指定することができる。   In this case, the PC 3 selects and designates an arbitrary type from among a plurality of identification types “enlarged” and “thick line” prepared in advance so that the image portion of the corresponding area in the output target image can be identified. Since the image portion of the corresponding area in the output target image is identified based on the selected identification type, the desired area identification can be realized and the identification method can be changed as necessary. And more effective presentations are possible. In addition, when an identification type menu is projected together with the projection image, when an arbitrary type is selected and specified from the identification type menu in the projection image, it is selected and specified by analyzing the captured image at this time. Since the identified identification type is specified, the desired identification type can be selected and specified in the projection image.

PC3は、出力対象画像が投影出力されている投影画像内の任意の領域が指定されている状態において、メニュー項目内の「補足」が選択指定された場合には、当該投影画像を撮影した撮影画像を解析することによって指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定し、この出力対象画像内の対応領域に関する関連情報を取得して出力するようにしたから、投影画像内の任意の領域が指定されると、この指定領域に関する関連情報を出力することができ、プレゼンテーションにおいて、スクリーンに投影表示されている資料に関する補足説明などを出力することによって、より効果的なプレゼンテーションが可能となる。   In a state where an arbitrary area in the projection image in which the output target image is projected and output is specified, the PC 3 captures the projection image when “supplement” in the menu item is selected and specified. By analyzing the image, the corresponding area in the captured image corresponding to the specified area is specified, the corresponding area in the output target image corresponding to the specific area is specified, and the related information regarding the corresponding area in the output target image When an arbitrary area in the projected image is specified, related information about the specified area can be output, and supplementary information about the material projected and displayed on the screen in the presentation By outputting explanations and the like, more effective presentation is possible.

この場合、関連情報が音声データであれば、補足説明ファイル32−1から音声データを取得して音声出力するようにしたから、投影画像の補足説明として音声による説明が可能となる。また、関連情報が画像データであれば、補足説明ファイル32−1から画像データを取得して投影画像として出力するようにしたから、投影画像の補足説明として別画像による説明が可能となる。この場合、元の出力対象画像と補足説明用の画像とを合成し、この合成画像を投影画像として出力させることができる。   In this case, if the related information is voice data, the voice data is acquired from the supplementary explanation file 32-1 and outputted as voice. Therefore, the voice explanation can be given as the supplementary explanation of the projection image. If the related information is image data, the image data is acquired from the supplementary explanation file 32-1 and output as a projection image. Therefore, the supplementary explanation of the projection image can be explained by another image. In this case, the original output target image and the supplementary explanation image can be synthesized and the synthesized image can be output as a projection image.

一方、メニュー項目内の「音声」が選択指定された場合、PC3は、出力対象画像内の対応領域に関する関連情報を補足説明ファイル32−1から取得せず、当該対応領域内に含まれている文字列を文字認識すると共に、この認識結果を音声データに変換することによって音声データを合成出力するようにしたから、指定領域内のデータをそのまま読み上げることができ、参加者にあっては、照明指示領域内の文字列を読み取らなくても音声によってその内容を知ることができる。   On the other hand, when “sound” in the menu item is selected and specified, the PC 3 does not acquire the related information regarding the corresponding area in the output target image from the supplementary explanation file 32-1, but is included in the corresponding area. Since the character string is recognized and voice data is synthesized and output by converting the recognition result into voice data, the data in the designated area can be read out as it is. The contents can be known by voice without reading the character string in the instruction area.

また、レーザ発光ペン5を操作することによって投影画像内の任意の領域が照明された際に、この照明部分を領域指定するようにしたから、遠方から投影画像内の任意の領域を照明するだけで、この照明部分の領域を容易に指定することができる。この場合、PC3は、レーザ発光ペン5を操作することによって投影画像内の任意の照明ポイントが移動される毎に、撮影画像を順次取り込みながらその照明位置の移動軌跡を追随検出し、この照明ポイントの移動軌跡によって指示された領域を撮影画像内の対応領域として特定するようにしたから、詳細な領域指定を実現することが可能となる。   In addition, when an arbitrary area in the projection image is illuminated by operating the laser light-emitting pen 5, the illumination portion is designated as an area, so that only an arbitrary area in the projection image is illuminated from a distance. Thus, the area of the illumination portion can be easily specified. In this case, every time an arbitrary illumination point in the projection image is moved by operating the laser light-emitting pen 5, the PC 3 detects the movement locus of the illumination position while sequentially capturing captured images, and this illumination point. Since the area designated by the movement locus is specified as the corresponding area in the photographed image, it is possible to realize detailed area designation.

PC3は、投影画像と共にメニュー項目が投影されている状態において、このメニュー項目の中から任意のメニュー項目がレーザ発光ペン5を操作することによって投影画像内で選択指定された際に、そのときの撮影画像を解析することによって選択指定されたメニュー項目を特定すると共に、このメニュー項目に対応する処理を実行するようにしたから、たとえば、画像切り換えなどの各種の処理を投影画像内で選択指定することができる。   When a menu item is projected together with the projection image, the PC 3 selects and designates an arbitrary menu item from the menu items in the projection image by operating the laser emitting pen 5. The menu item selected and specified by analyzing the captured image is specified and the processing corresponding to the menu item is executed. For example, various processing such as image switching is selected and specified in the projection image. be able to.

なお、上述した実施例においては、指定領域内のデータを拡大(修飾処理)した後、この拡大画像を元の画像に貼り付ける際に、この拡大画像の大きさ、拡大画像の貼り付け位置によっては元の画像に影響を及ぼすことも考えられるが、このような場合、図11に示すように画像の一部分をシフトするようにしていもよい。すなわち、図11(A)に示すように、2行目の文字列「BBBB‥‥」と、3行目の文字列「CCCC‥‥」のうち、その一部が領域指定された場合、つまり、各行の先頭から2文字を除く部分が領域指定された場合には、当該領域内の各文字を拡大した後、図11(B)に示すように、1行目、2行目の先頭2文字「BB」、「CC」を領域拡大に応じてシフトするようにしてもよい。図11(B)は、このような文字位置をシフトによってその一部が他の画像に重なり合った場合を示している。  In the above-described embodiment, after enlarging (modifying processing) the data in the designated area, when pasting the enlarged image on the original image, the size of the enlarged image and the pasting position of the enlarged image are determined. May affect the original image. In such a case, a part of the image may be shifted as shown in FIG. That is, as shown in FIG. 11A, when a part of the character string “BBBB...” On the second line and the character string “CCCC. When a portion excluding two characters from the head of each line is designated as an area, each character in the area is enlarged, and then, as shown in FIG. The characters “BB” and “CC” may be shifted according to the area expansion. FIG. 11B shows a case where such a character position is partially overlapped with another image by shifting.

上述した実施例において、発光ポイントの移動軌跡を追随検出する際に、投影画像(出力対象画像)全体を「4×4」、「6×6」、「8×8」のようにマトリックス状に分割し、今回の照明位置と前回の照明位置が同一の分割領域内に存在しているか否かに基づいて今回の照明位置は前回の照明位置の近傍か否かを判別するようにしたが、時間的要素を加味することによって発光ポイントの移動軌跡を追随検出するようにしてもよい。たとえば、前回の照明から今回の照明までの経過時間を計測し、この計測時間が一定時間を経過した場合には、新たな領域が指定された場合であると判断し、一定時間以下の場合には、引き続いて移動軌跡を追随検出するようにしてもよい。  In the above-described embodiment, when the movement locus of the light emission point is detected following, the entire projection image (output target image) is arranged in a matrix like “4 × 4”, “6 × 6”, “8 × 8”. Dividing and determining whether or not the current illumination position is in the vicinity of the previous illumination position based on whether or not the current illumination position and the previous illumination position are in the same divided area, The movement trajectory of the light emitting point may be detected following the time factor. For example, the elapsed time from the previous lighting to the current lighting is measured, and if this measurement time has passed a certain time, it is determined that a new area has been specified, and if it is less than a certain time May continue to detect the movement trajectory.


また、上述した実施例においては、メニュー項目として、(「拡大」修飾処理)、(「太線」強調処理)、(「音声」音声変換処理)、(「補足」識別データ付加処理)を例示したが、これに限らず、たとえば、プレゼンテーションの開始/終了を指示するコマンド、次頁画像の切り換えを指示するコマンドなどを含むメニュー項目を投影画像として出力するようにしてもよい。

Further, in the above-described embodiment, (“enlargement” modification processing), (“thick line” emphasis processing), (“speech” speech conversion processing), (“supplement” identification data addition processing) are illustrated as menu items. However, the present invention is not limited thereto, and for example, menu items including a command for instructing start / end of a presentation, a command for instructing switching of the next page image, and the like may be output as a projected image.

また、上述した実施例においては、投影画像内にメニュー項目を一覧表示させたが、メニュー項目を一覧表示させる場合に限らず、たとえば、所定の操作に応じてプルダウン形式のメニューを投影画像内に表示させ、その中から所望するメニュー項目を選択指定するようにしてもよく、また、投影画像内に1つの項目を表示させ、この項目が発光指定されるごとに、サイクリックに「拡大」、「太線」、「音声」、「補足」のメニュー項目に切り換えるようにしてもよい。   In the embodiment described above, the menu items are displayed in a list in the projection image. However, the menu items are not limited to being displayed in a list. For example, a pull-down menu is displayed in the projection image according to a predetermined operation. The desired menu item may be selected and designated from among them, and one item is displayed in the projection image, and each time this item is designated to emit light, cyclically “enlarge”, You may make it switch to the menu item of "bold line", "voice", and "supplement".

上述した実施例においては、レーザ発光ペン5を操作することによって投影画像内の任意のメニュー項目を選択指定したり、任意の領域を指定するようにしたが、レーザ発光ペンによって投影画像内の任意の位置をポイント指定する場合に限らず、たとえば、光の拡散を任意に可変可能な発光ペンを用いて、光の拡散している領域を指定領域として直接的に指定するようにしてもよい。例えば、光の拡散形状が丸であれば音声、四角であれば拡大、星であれば太線、∞であれば補足のメニュー項目を特定するようにしても良い。
また、発光ポイントの移動軌跡を追随検出し、その形が閉曲線に近似する場合には、この閉曲線で囲まれている領域を指定領域としたが、発光ポイントの移動軌跡が直線の場合には、この直線に対応する行を指定領域としてもよい。
In the above-described embodiment, an arbitrary menu item in the projection image or an arbitrary area is specified by operating the laser emitting pen 5, but an arbitrary area in the projection image is specified by the laser emitting pen. For example, the light diffusing area may be directly designated as the designated area by using a light emitting pen capable of arbitrarily changing the light diffusion. For example, if the light diffusion shape is a circle, the voice may be specified, if it is a square, it will be enlarged, if it is a star, it will be a thick line, if it is ∞, a supplemental menu item may be specified.
In addition, when the movement locus of the light emission point is detected and the shape approximates a closed curve, the area surrounded by the closed curve is set as the designated area, but when the movement locus of the light emission point is a straight line, A line corresponding to this straight line may be designated.

その他、会社等における商談会、報告会、審議会などのビジネスミーティング用に限らず、一般家庭用であってもよい。また、デスクトップ型のパーソナルコンピュータに限らず、携帯情報端末であってもよく、また、プロジェクタ1の中にデジタルカメラ2を一体的に組み込んだ構成であってもよく、また、プロジェクタ1、デジタルカメラ2、PC3をそれぞれ一体的に組み込んだ構成であってもよい。つまり、プレゼンテーションシステムに限らず、スタンドアロンタイプのプロジェクタ機能付き画像処理装置であってもよい。   In addition, it is not limited to business meetings such as business meetings, report meetings, and councils in companies, but may be for general households. Further, the present invention is not limited to a desktop personal computer, and may be a portable information terminal, a configuration in which the digital camera 2 is integrated in the projector 1, or the projector 1, the digital camera. 2 and PC3 may be integrally incorporated. That is, not only a presentation system but also a stand-alone image processing apparatus with a projector function may be used.

一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体(たとえば、CD−ROM、フレキシブルディスク、RAMカード等)を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、出力対象画像が光変換されて投影出力されいる投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影してデジタル変換する機能と、撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する機能と、特定された出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施す機能と、識別処理が施された後の出力対象画像を投影画像として出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。   On the other hand, a recording medium (for example, a CD-ROM, a flexible disk, a RAM card, etc.) on which program codes for executing the above-described units are recorded may be provided to the computer. That is, a recording medium having a computer-readable program code, and the projection image is shot in a state in which an arbitrary region in the projection image that is output and projected after being optically converted is designated. A function for digitally converting the image, a corresponding area in the captured image corresponding to the specified area by analyzing the captured image, and a function for specifying the corresponding area in the output target image corresponding to the specific area; A function of performing identification processing on the image portion so that the image portion of the corresponding region in the identified output target image can be identified, and a function of outputting the output target image after the identification processing is performed as a projection image A computer-readable recording medium on which a program for realizing the above is recorded may be provided.

また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、出力対象画像が光変換されて投影出力されている投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影してデジタル変換する機能と、撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する機能と、特定された出力対象画像内の対応領域に対応付けて予め登録されている関連情報を取得する機能と、取得した関連情報を出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。   In addition, a recording medium having a computer-readable program code is captured in a state where an arbitrary region in a projection image in which an output target image is optically converted and projected and output is designated. A function for performing digital conversion and a corresponding area in the captured image corresponding to the specified area by analyzing the captured image, and a function for specifying the corresponding area in the output target image corresponding to the specific area; Readable by a computer recording a program for realizing the function of acquiring the pre-registered related information in association with the corresponding area in the specified output target image and the function of outputting the acquired related information A simple recording medium may be provided.

プレゼンテーションシステムの全体構成の概要を示したブロック図。The block diagram which showed the outline | summary of the whole structure of a presentation system. プロジェクタ1側において出力対象画像を光変換して投影画像として出力させた状態を示した図。The figure which showed the state which optically converted the output object image on the projector 1 side, and was made to output as a projection image. PC3の基本的構成要素を示したブロック図。The block diagram which showed the basic component of PC3. プレゼンテーションの開始指示に応答して実行開始されるPC3の全体動作を示したフローチャート。The flowchart which showed the whole operation | movement of PC3 started execution in response to the start instruction | indication of a presentation. 図4で示した撮影画像解析処理を詳述するためのフローチャート。5 is a flowchart for explaining the captured image analysis process shown in FIG. 4 in detail. 図4で示した撮影画像解析処理の終了後に実行開始される解析結果対応処理を詳述するためのフローチャート。6 is a flowchart for explaining in detail an analysis result handling process that is started after the captured image analysis process shown in FIG. 4 ends. 今回の照明位置が前回の照明位置の近傍であるか否かを判別するための判別方法を説明するための図。The figure for demonstrating the discrimination | determination method for discriminating whether this illumination position is the vicinity of the last illumination position. 発光ポイントの移動軌跡に応じて指定領域が特定される場合を例示した図。The figure which illustrated the case where a designated field was specified according to the movement locus of a luminescence point. 発光軌跡を追随することによって特定された照明指示領域に対して各種の処理を施した後の投影画像で、(A)は特定された照明指示領域を示し、(B)は照明指示領域内のデータを拡大した状態、(C)は照明指示領域のアウトラインを太線化した状態、(D)は照明指示領域に対応する関連情報を付加した状態を示した図。The projection image after performing various processes on the illumination instruction area specified by following the light emission locus, (A) shows the specified illumination instruction area, and (B) shows the illumination instruction area. The state which expanded the data, (C) is the state which made the outline of the illumination instruction | indication area | region thick, The figure which showed the state which added the relevant information corresponding to the illumination instruction | indication area | region. 補足説明ファイル32−1の内容を示した図。The figure which showed the content of the supplementary explanation file 32-1. この実施例の変形応用例を説明するための図。The figure for demonstrating the modification application example of this Example.

符号の説明Explanation of symbols

1 プロジェクタ
2 デジタルカメラ
3 PC
4 スクリーン
5 レーザ発光ペン
31 CPU
32 記憶部
35 通信I/F
36 入力装置
37 表示装置
38 音声出力部
32−1 補足説明ファイル
33−1 移動軌跡メモリ
1 Projector 2 Digital camera 3 PC
4 screen 5 laser emitting pen 31 CPU
32 storage unit 35 communication I / F
36 Input Device 37 Display Device 38 Audio Output Unit 32-1 Supplementary Explanation File 33-1 Movement Trajectory Memory

Claims (12)

出力対象画像を光変換して投影画像として出力するプロジェクタ機能付き画像処理装置において、
出力対象画像が投影出力されている投影画像内の任意の領域を指定する領域指定手段と、
この領域指定手段によって領域指定されている状態において当該投影画像を撮影してデジタル変換する撮影手段と、
この撮影手段からの撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する領域特定手段と、
この領域特定手段によって特定された出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施す識別処理手段と、
この識別処理手段によって識別処理が施された後の出力対象画像を投影画像として出力する出力手段と、
を具備したことを特徴とするプロジェクタ機能付き画像処理装置。
In an image processing apparatus with a projector function for optically converting an output target image and outputting it as a projection image,
Area designating means for designating an arbitrary area in the projection image in which the output target image is projected and output;
Photographing means for photographing and digitally converting the projection image in a state where the area is designated by the area designation means;
By identifying a corresponding area in the captured image corresponding to the specified area by analyzing the captured image from the imaging means, an area specifying means for specifying a corresponding area in the output target image corresponding to the specific area;
Identification processing means for performing identification processing on the image portion so that the image portion of the corresponding region in the output target image specified by the region specifying means can be identified;
Output means for outputting the output target image after the identification processing by the identification processing means as a projection image;
An image processing apparatus with a projector function, comprising:
前記出力対象画像内の対応領域の画像部分を識別するために予め用意されている複数の識別種の中から任意の種類を選択指定する識別種選択手段を設け、
前記識別処理手段は、この識別種選択手段によって任意に選択された識別種に基づいて出力対象画像内の対応領域の画像部分を識別処理する、
ようにしたことを特徴とする請求項1のプロジェクタ機能付き画像処理装置。
Providing an identification type selection means for selecting and specifying an arbitrary type from among a plurality of identification types prepared in advance for identifying the image portion of the corresponding region in the output target image;
The identification processing means performs identification processing on the image portion of the corresponding region in the output target image based on the identification type arbitrarily selected by the identification type selection means.
2. The image processing apparatus with a projector function according to claim 1, wherein the image processing apparatus has a projector function.
投影画像と共に識別種メニューが投影されている状態において、この識別種メニューの中から任意の種類が投影画像内で選択指定された際に、このときの撮影画像を解析することによって前記選択指定された識別種を特定する、
ようにしたことを特徴とする請求項2のプロジェクタ機能付き画像処理装置。
In a state where the identification type menu is projected together with the projection image, when an arbitrary type is selected and designated from the identification type menu in the projection image, the selection and designation is performed by analyzing the captured image at this time. Identify identified species,
The image processing apparatus with a projector function according to claim 2, which is configured as described above.
出力対象画像を光変換して投影画像として出力するプロジェクタ機能を備えた画像処理装置において、
出力対象画像が投影出力されている投影画像内の任意の領域を指定する領域指定手段と、
この領域指定手段によって領域指定されている状態において当該投影画像を撮影してデジタル変換する撮影手段と、
この撮影手段からの撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する領域特定手段と、
この領域特定手段によって特定された出力対象画像内の対応領域に関する関連情報を取得する取得手段と、
この取得手段によって得られた関連情報を出力する出力手段と、
を具備したことを特徴とするプロジェクタ機能付き画像処理装置。
In an image processing apparatus having a projector function for optically converting an output target image and outputting it as a projection image,
Area designating means for designating an arbitrary area in the projection image in which the output target image is projected and output;
Photographing means for photographing and digitally converting the projection image in a state where the area is designated by the area designation means;
By identifying a corresponding area in the captured image corresponding to the specified area by analyzing the captured image from the imaging means, an area specifying means for specifying a corresponding area in the output target image corresponding to the specific area;
Acquisition means for acquiring related information related to the corresponding area in the output target image specified by the area specifying means;
Output means for outputting related information obtained by the acquisition means;
An image processing apparatus with a projector function, comprising:
前記指定手段は、発光体を操作することによって投影画像内の任意の領域が照明された際に、この照明部分を領域指定する、
ようにしたことを特徴とする請求項1あるいは請求項4記載のプロジェクタ機能付き画像処理装置。
The designation means designates the illumination portion as a region when an arbitrary region in the projection image is illuminated by operating the light emitter.
5. The image processing apparatus with a projector function according to claim 1, wherein the image processing apparatus has a projector function.
前記領域特定手段は、発光体を操作することによって投影画像内の任意の照明ポイントが移動される毎に、撮影画像を順次取り込みながらその照明位置の移動軌跡を追随検出し、この照明ポイントの移動軌跡によって指示された領域を撮影画像内の対応領域として特定する、
ようにしたことを特徴とする請求項5記載のプロジェクタ機能付き画像処理装置。
Each time the arbitrary illumination point in the projection image is moved by operating the light emitter, the area specifying means follows the movement locus of the illumination position while sequentially capturing the captured images, and the movement of the illumination point Specify the area indicated by the locus as the corresponding area in the captured image.
6. The image processing apparatus with a projector function according to claim 5, wherein the image processing apparatus has a projector function.
投影画像と共に処理メニューが投影されている状態において、この処理メニューの中から任意のメニュー項目が投影画像内で選択指定された際に、そのときの撮影画像を解析することによって前記選択指定されたメニュー項目を特定すると共に、このメニュー項目に対応する処理を実行する、
ようにしたことを特徴とする請求項1あるいは請求項4記載のプロジェクタ機能付き画像処理装置。
In a state where the processing menu is projected together with the projection image, when an arbitrary menu item is selected and specified in the projection image from the processing menu, the selection and specification is performed by analyzing the captured image at that time. Specify the menu item and execute the process corresponding to this menu item.
5. The image processing apparatus with a projector function according to claim 1, wherein the image processing apparatus has a projector function.
前記出力手段は、出力対象画像内の対応領域に関する関連情報が音声情報であれば、この音声情報を合成出力する、
ようにしたことを特徴とする請求項4記載のプロジェクタ機能付き画像処理装置。
If the related information regarding the corresponding area in the output target image is audio information, the output means synthesizes and outputs the audio information.
5. The image processing apparatus with a projector function according to claim 4, wherein the image processing apparatus has a projector function.
前記取得手段は、出力対象画像内の対応領域に関する関連情報を取得する際に、当該対応領域内に含まれている文字列を文字認識すると共に、この認識結果を音声情報に変換することによって対応領域に関する関連情報を取得し、
前記出力手段は、この取得手段によって得られた音声情報を合成出力する、
ようにしたことを特徴とする請求項4記載のプロジェクタ機能付き画像処理装置。
When acquiring the related information related to the corresponding area in the output target image, the acquisition unit recognizes a character string included in the corresponding area and converts the recognition result into voice information. Get related information about the region,
The output means synthesizes and outputs the voice information obtained by the acquisition means.
5. The image processing apparatus with a projector function according to claim 4, wherein the image processing apparatus has a projector function.
前記出力手段は、出力対象画像内の対応領域に関する関連情報が登録画像であれば、この登録画像を投影画像として出力する、
ようにしたことを特徴とする請求項4記載のプロジェクタ機能付き画像処理装置。
If the related information regarding the corresponding region in the output target image is a registered image, the output means outputs the registered image as a projection image.
5. The image processing apparatus with a projector function according to claim 4, wherein the image processing apparatus has a projector function.
コンピュータに対して、
出力対象画像が光変換されて投影出力されている投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影してデジタル変換する機能と、
撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する機能と、
特定された出力対象画像内の対応領域の画像部分を識別可能とするために当該画像部分に識別処理を施す機能と、
識別処理が施された後の出力対象画像を投影画像として出力する機能と、
を実現させるためのプログラム。
Against the computer,
A function of photographing and digitally converting the projection image in a state where an arbitrary region in the projection image in which the output target image is optically converted and projected and output is designated;
A function of identifying a corresponding region in the captured image corresponding to the specified region by analyzing the captured image, and identifying a corresponding region in the output target image corresponding to the specific region;
A function of performing identification processing on the image portion so that the image portion of the corresponding region in the identified output target image can be identified;
A function of outputting the output target image after the identification processing is performed as a projection image;
A program to realize
コンピュータに対して、
出力対象画像が光変換されて投影出力されている投影画像内の任意の領域が指定されている状態において、当該投影画像を撮影してデジタル変換する機能と、
撮影画像を解析することによって前記指定領域に対応する撮影画像内の対応領域を特定すると共に、この特定領域に対応する出力対象画像内の対応領域を特定する機能と、
特定された出力対象画像内の対応領域に対応付けて予め登録されている関連情報を取得する機能と、
取得した関連情報を出力する機能と、
を実現させるためのプログラム。
Against the computer,
A function of photographing and digitally converting the projection image in a state where an arbitrary region in the projection image in which the output target image is optically converted and projected and output is designated;
A function of identifying a corresponding region in the captured image corresponding to the specified region by analyzing the captured image, and identifying a corresponding region in the output target image corresponding to the specific region;
A function of acquiring related information registered in advance in association with the corresponding region in the specified output target image;
A function to output the acquired related information;
A program to realize
JP2004192890A 2004-06-30 2004-06-30 Image processor with projector function, and program Pending JP2006018374A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004192890A JP2006018374A (en) 2004-06-30 2004-06-30 Image processor with projector function, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004192890A JP2006018374A (en) 2004-06-30 2004-06-30 Image processor with projector function, and program

Publications (1)

Publication Number Publication Date
JP2006018374A true JP2006018374A (en) 2006-01-19

Family

ID=35792627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004192890A Pending JP2006018374A (en) 2004-06-30 2004-06-30 Image processor with projector function, and program

Country Status (1)

Country Link
JP (1) JP2006018374A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151351A (en) * 2007-12-18 2009-07-09 Fuji Xerox Co Ltd Image information processing system
WO2009131131A1 (en) * 2008-04-25 2009-10-29 シャープ株式会社 Display device and display method
JP2009265440A (en) * 2008-04-25 2009-11-12 Sharp Corp Display device and display method
JP2010146328A (en) * 2008-12-19 2010-07-01 Seiko Epson Corp Projector, and method and program for controlling the same
JP2012003666A (en) * 2010-06-21 2012-01-05 Konica Minolta Business Technologies Inc Presentation support device
CN103186018A (en) * 2011-12-27 2013-07-03 精工爱普生株式会社 Projector and method of controlling projector
JP2014228945A (en) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 Area designating device
US9778633B2 (en) 2011-12-22 2017-10-03 Compagnie Generale Des Etablissements Michelin Direct address laser ablation
JP2018026117A (en) * 2016-07-28 2018-02-15 シャープ株式会社 Image display device, image display system and program
CN107817924A (en) * 2016-09-12 2018-03-20 精工爱普生株式会社 The control method of display device and display device

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151351A (en) * 2007-12-18 2009-07-09 Fuji Xerox Co Ltd Image information processing system
WO2009131131A1 (en) * 2008-04-25 2009-10-29 シャープ株式会社 Display device and display method
JP2009265440A (en) * 2008-04-25 2009-11-12 Sharp Corp Display device and display method
JP2010146328A (en) * 2008-12-19 2010-07-01 Seiko Epson Corp Projector, and method and program for controlling the same
JP2012003666A (en) * 2010-06-21 2012-01-05 Konica Minolta Business Technologies Inc Presentation support device
US10705493B2 (en) 2011-12-22 2020-07-07 Compagnie Generale Des Etablissements Michelin Direct address laser ablation
US9778633B2 (en) 2011-12-22 2017-10-03 Compagnie Generale Des Etablissements Michelin Direct address laser ablation
US9310938B2 (en) 2011-12-27 2016-04-12 Seiko Epson Corporation Projector and method of controlling projector
CN103186018B (en) * 2011-12-27 2016-08-31 精工爱普生株式会社 Projector and the control method of projector
CN106354343A (en) * 2011-12-27 2017-01-25 精工爱普生株式会社 Projector and method of controlling projector
JP2013134409A (en) * 2011-12-27 2013-07-08 Seiko Epson Corp Projector and control method of the same
CN106354343B (en) * 2011-12-27 2019-01-08 精工爱普生株式会社 The control method of projector and projector
CN103186018A (en) * 2011-12-27 2013-07-03 精工爱普生株式会社 Projector and method of controlling projector
JP2014228945A (en) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 Area designating device
JP2018026117A (en) * 2016-07-28 2018-02-15 シャープ株式会社 Image display device, image display system and program
CN107817924A (en) * 2016-09-12 2018-03-20 精工爱普生株式会社 The control method of display device and display device

Similar Documents

Publication Publication Date Title
US7652638B2 (en) Display control apparatus, system, and display control method
US9176601B2 (en) Information processing device, computer-readable storage medium, and projecting system
TW200413825A (en) Interactive display device
JP2008033389A (en) Function instruction system, function instruction device, function instruction analysis system, presentation system and function instruction analysis program
TW201241679A (en) Image supply device, image display system, method of controlling image supply device, image display device, and recording medium
US8659613B2 (en) Method and system for displaying an image generated by at least one camera
US20120212408A1 (en) Image generation device, projector, and image generation method
CN102194136A (en) Information recognition system and its control method
JP2006018374A (en) Image processor with projector function, and program
JP2004198858A (en) Projector
JP2011065348A (en) Conference system, display device, display control method, and display control program
JP2008005358A (en) Remote support apparatus, remote support system, and remote support method
US20060013508A1 (en) Projection apparatus and image acquisition method
US10129457B2 (en) Control apparatus, method of controlling shooting apparatus, and computer-readable storage medium
JP7310123B2 (en) Imaging device and program
CN109863746B (en) Immersive environment system and video projection module for data exploration
JP5262888B2 (en) Document display control device and program
JP2009063685A (en) Display method and projector
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
KR100858138B1 (en) Control System Using Remote Pointing Device
JP4540358B2 (en) Pointer position specifying program and pointer position specifying method
CN112068787B (en) Display device control method and display device
JP2009200846A (en) Indication system, indication program and indication device
JP2016184268A (en) Display device, display system, and control method for display device
JP2008083861A (en) Image projector and image projection system

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060526

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060526