JP2017116900A

JP2017116900A - Information processing system, its control method, and program

Info

Publication number: JP2017116900A
Application number: JP2015255706A
Authority: JP
Inventors: 努上島; Tsutomu Ueshima
Original assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Current assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Priority date: 2014-12-26
Filing date: 2015-12-28
Publication date: 2017-06-29

Abstract

PROBLEM TO BE SOLVED: To register additional information physically written on a screen and image data on a page being projected, in association with each other, and to display this additional information as well when the image data is projected again after that.SOLUTION: Image data on a page that has accepted an instruction to project is output to be projected on a screen. If an instruction to project a page other than the page corresponding to the image data being output is accepted, the screen is imaged. According to captured image data and output image data, additional information physically written on the screen is produced. The additional information and the output image data on the page are registered in association with each other. When an instruction to project a page output in the past is accepted thereafter, it is output in order to project image data, which is a combination of the image data on this page and the additional information registered in association with this page.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理システム、及びその制御方法、プログラムに関し、特に、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示する技術に関するものである。 The present invention relates to an information processing system, a control method thereof, and a program, and in particular, registers additional information physically written on a screen and image data of a projected page in association with each other, and then again The present invention relates to a technique for displaying the additional information together when projecting image data.

一般に利用されているプロジェクターは、資料や画像、映像を大型スクリーンなどに投影している。会議等での用途では、投影された資料に、コメントなどを追記し、出席者間で共有したりすることがある。 Generally used projectors project data, images, and videos on a large screen. When used in meetings, etc., comments may be added to the projected material and shared among attendees.

特許文献１には、プレゼンテーションソフトウェアの電子データ（資料）を、プロジェクターを用いて、スクリーンに投影し、電子ペンで当該スクリーン上に文字などを書く動作を行うと、その電子ペンの軌跡から付加情報を生成して表示することが記載されている。 In Patent Document 1, when electronic data (documents) of presentation software is projected onto a screen using a projector and characters are written on the screen with an electronic pen, additional information is obtained from the trajectory of the electronic pen. Is generated and displayed.

特開２０１２−１９５７３０号公報JP 2012-195730 A

しかしながら、上記特許文献１では、電子ペンを使用するため、マジックペン等で紙やホワイトボード等のスクリーンに直接物理的に書くことに比べ、例えば電子ペンの反応速度などが遅く、書き心地が良い。 However, in the above-mentioned patent document 1, since an electronic pen is used, for example, the response speed of the electronic pen is slow and the writing comfort is good compared to direct physical writing on a screen such as paper or whiteboard with a magic pen or the like. .

また、従来、プロジェクターで映像を投影したスクリーンに、マジックペン等で、直接物理的に手書きした内容を、投影した映像（画像データ）と紐付けて管理することが出来なかったため、例えば、１ページ目を投影してマジックペン等でスクリーンに手書きし、その後、２ページ目を投影し、そして、１ページ目を再度表示した際に、過去に１ページ目を投影した際にスクリーンにマジックペン等で手書きした内容を、プロジェクターが表示することはできなかった。 Also, conventionally, it has not been possible to manage the content directly physically handwritten with a magic pen or the like on the screen on which the image is projected by the projector, in association with the projected image (image data). Project your eyes and handwritten on the screen with a magic pen, then project the second page, and when you display the first page again, when you project the first page in the past, the magic pen etc. The projector could not display the content handwritten with.

そのため、会議中等で以前のディスカッション内容（手書きの内容）を、プロジェクターが表示することが出来ず、会議の生産性・効率性が低下してしまうおそれがある。 For this reason, the previous discussion contents (handwritten contents) cannot be displayed by the projector during a meeting or the like, which may reduce the productivity and efficiency of the meeting.

そこで、本発明の目的は、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示する仕組みを提供することである。 Therefore, an object of the present invention is to register the additional information physically written on the screen and the image data of the projected page in association with each other, and then project the additional image data when projecting the image data again. It is to provide a mechanism for displaying information together.

本発明は、画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムであって、複数のページから構成される画像データを記憶する記憶手段と、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段と、を備え、前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。 The present invention provides an information processing system that performs a projection instruction to project image data onto a screen and images the screen on which the image data is projected, and a storage unit that stores image data including a plurality of pages. Receiving means for receiving a projection instruction for a page of image data stored in the storage means according to a user operation, and image data for a page for which the projection instruction has been received by the receiving means and stored by the storage means Output means for outputting image data to be projected onto the screen; and determination means for determining whether or not the reception means has received a projection instruction for a page other than the page of image data output by the output means; Instruction for projecting a page other than the page of image data output by the output means by the determining means When it is determined that the image data has been received, the imaging unit that captures the screen from which the image data is output, the captured image data captured by the imaging unit, and the image data output by the output unit And generating means for generating additional information physically written on the screen, the additional information generated by the generating means, and the image data of the page output by the output means in association with the storage means Registration means for registering, and the output means accepts a projection instruction of a page output by the output means in the past by the accepting means, whereby the image data of the page and the registration means The image data combining the additional information registered in association with the image data of the page is displayed on the screen. And outputs to be projected.

また、本発明は、複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムにおける制御方法であって、前記情報処理システムの受付手段が、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付工程と、前記情報処理システムの出力手段が、前記受付工程により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力工程と、前記情報処理システムの判定手段が、前記受付工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定工程と、前記情報処理システムの撮像手段が、前記判定工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力工程により当該画像データが出力されている前記スクリーンを撮像する撮像工程と、前記情報処理システムの生成手段が、前記撮像工程により撮像された撮像画像データと、前記出力工程により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成工程と、前記情報処理システムの登録手段が、前記生成工程により生成された付加情報と、前記出力工程により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録工程と、を備え、前記出力工程は、前記受付工程により、前記出力工程により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録工程により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。 In addition, the present invention includes a storage unit that stores image data composed of a plurality of pages, performs a projection instruction to project the image data onto a screen, and performs information processing for imaging the screen on which the image data is projected A control method in the system, wherein the receiving unit of the information processing system receives a projection instruction of a page of image data stored in the storage unit according to a user operation, and an output unit of the information processing system An output step for outputting the image data of the page for which the projection instruction has been received in the receiving step and the image data stored in the storage unit to be projected onto the screen; and the determination unit of the information processing system, The projection finger of a page other than the page of the image data output by the output step by the reception step A determination step for determining whether or not the image data has been received and the imaging unit of the information processing system has determined that the projection step has received a projection instruction for a page other than the page of the image data output by the output step. In this case, the imaging process for capturing the screen on which the image data is output by the output process, and the generation unit of the information processing system outputs the captured image data captured by the imaging process and the output process. A generating step for generating additional information physically written on the screen according to the image data, and a registration unit of the information processing system outputs the additional information generated by the generating step and the output step. A registration step of associating with the image data of the recorded page and registering it in the storage means, and the output step The receiving step accepts projection instructions for pages that have been output in the past by the output step, so that the image data of the page and additional information registered in association with the image data of the page by the registration step, Is output to project the image data on the screen.

また、本発明は、複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段として機能させ、前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。 In addition, the present invention includes a storage unit that stores image data composed of a plurality of pages, performs a projection instruction to project the image data onto a screen, and performs information processing for imaging the screen on which the image data is projected A program that can be read and executed by a system, wherein the information processing system is configured to accept a projection instruction for a page of image data stored in the storage unit according to a user operation, and to perform a projection instruction using the reception unit. An output means for outputting the image data of the received page stored in the storage means to be projected on the screen, and a page other than the page of the image data output by the output means by the receiving means. A determination means for determining whether or not a page projection instruction has been received, and the determination means When it is determined that a projection instruction for a page other than the page of image data output by the output unit has been received, an imaging unit for imaging the screen on which the image data is output by the output unit, and the imaging unit Generating means for generating additional information physically written on the screen according to the captured image data captured by the output means and the image data output by the output means; additional information generated by the generating means; The output unit functions as a registration unit that associates the image data of the page output by the output unit with the storage unit, and the output unit instructs the projection of the pages output by the output unit in the past by the receiving unit. , The image data of the page and the image data of the page by the registration means And the additional information registered with communication, the image data that combines and outputs to be projected on the screen.

本発明によれば、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することができる。 According to the present invention, when the additional information physically written on the screen and the image data of the projected page are registered in association with each other and then the image data is projected again, the additional information is also stored. Can be displayed together.

本発明の実施形態に係る情報処理システムの構成を示す図である。It is a figure which shows the structure of the information processing system which concerns on embodiment of this invention. 図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of functional block configurations of a PC 200 and a projector 100 illustrated in FIG. 1. 本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the process which the projector 100 and PC200 which concern on embodiment of this invention perform. 頁データ・付加情報関連管理テーブルの一例を示す図である。It is a figure which shows an example of a page data and additional information related management table. ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。4 is a diagram illustrating an example of a projection instruction screen 210 displayed on the display unit of the PC 200 and a projection image displayed on the screen 10. FIG. ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。4 is a diagram illustrating an example of a projection instruction screen 210 displayed on the display unit of the PC 200 and a projection image displayed on the screen 10. FIG. ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。4 is a diagram illustrating an example of a projection instruction screen 210 displayed on the display unit of the PC 200 and a projection image displayed on the screen 10. FIG. ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。4 is a diagram illustrating an example of a projection instruction screen 210 displayed on the display unit of the PC 200 and a projection image displayed on the screen 10. FIG. ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。4 is a diagram illustrating an example of a projection instruction screen 210 displayed on the display unit of the PC 200 and a projection image displayed on the screen 10. FIG. 頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す図である。It is a figure which shows an example of page data (A), additional information (B), and a projection image (C). 付加情報を削除（更新）する処理の流れを説明するための画面遷移図の一例を示す図である。It is a figure which shows an example of the screen transition diagram for demonstrating the flow of the process which deletes (updates) additional information. 付加情報を削除（更新）する処理の流れを説明するための、撮像画像、投影画像、削除画像、付加情報、更新後の付加情報の一例を示す図である。It is a figure which shows an example of the captured image, a projection image, a deletion image, additional information, and the additional information after an update for demonstrating the flow of the process which deletes (updates) additional information.

以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜図１の説明＞
図１は、本発明の実施形態に係る情報処理システムの構成を示す図である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Description of FIG. 1>
FIG. 1 is a diagram showing a configuration of an information processing system according to an embodiment of the present invention.

図１に示す情報処理システムは、ＰＣ（投影指示装置）２００と、カメラなどの撮像装置として機能する画像読取り装置１１０を備えたプロジェクター１００とを含み、ＰＣ（投影指示装置）２００とプロジェクター１００とは、接続ケーブル１５０を介して相互に通信可能に接続されている。 The information processing system illustrated in FIG. 1 includes a PC (projection instruction apparatus) 200 and a projector 100 including an image reading device 110 that functions as an imaging apparatus such as a camera. Are connected to each other via a connection cable 150 so that they can communicate with each other.

ＰＣ（投影指示装置）２００は、パーソナルコンピュータ等の情報処理装置であって、プレゼンテーションソフトウェアがインストールされている。 A PC (projection instruction apparatus) 200 is an information processing apparatus such as a personal computer, and has presentation software installed therein.

プロジェクター１００は、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に従って、当該投影指示に含まれる投影画像２０（投影するページの画像）と、予めプロジェクターが記憶している位置判定用マーカー４０の画像とを合成して、当該合成された画像（映像）を、画像投影用のスクリーン１０に対して投影する。 In accordance with a projection instruction from presentation software of a PC (projection instruction apparatus) 200, the projector 100 includes a projection image 20 (image of a page to be projected) included in the projection instruction and a position determination marker 40 stored in advance by the projector. And the synthesized image (video) is projected onto the image projection screen 10.

画像読取り装置１１０は、プロジェクター１００により映像が投影されたスクリーン１０を撮像して、撮像された画像を読み取る撮像装置である。 The image reading device 110 is an imaging device that captures an image of the screen 10 on which an image is projected by the projector 100 and reads the captured image.

画像読取り装置１１０は、ＰＣ（投影指示装置）２００から、画像読み取り指示を受け付けつけると、スクリーン１０を撮像して、当該撮像することで画像を取得する。 When receiving an image reading instruction from a PC (projection instruction apparatus) 200, the image reading device 110 captures an image of the screen 10 and acquires an image by capturing the image.

そして、プロジェクター１００は、当該撮像することで得られた画像を解析して得られる位置判定用マーカー４０の情報を基に、当該画像の位置、傾き、彩度の補正を行う。 Then, the projector 100 corrects the position, inclination, and saturation of the image based on the information of the position determination marker 40 obtained by analyzing the image obtained by imaging.

そして、プロジェクター１００は、補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像）とを同一サイズに変更する。 Then, the projector 100 sets the corrected image (captured image) and the projection image 20 (projected page image) included in the projection instruction from the presentation software of the PC (projection instruction apparatus) 200 to the same size. change.

そして、プロジェクター１００は、当該変更された、当該撮像画像と、投影画像２０（投影したページの画像）とを比較する。この比較処理により、当該撮像することで得られた画像と、投影画像２０（投影したページの画像）との差分の画像データである差分画像データを生成する。 Then, the projector 100 compares the changed captured image with the projected image 20 (projected page image). By this comparison processing, difference image data that is difference image data between the image obtained by imaging and the projection image 20 (projected page image) is generated.

ここで生成された差分画像データは、ユーザにより物理的にスクリーン１０に対して手書きされた情報に対しては色が付いており、他の領域には色が付いていない透明の画像データである。そのため、差分画像データは、ユーザにより物理的にスクリーン１０に対して手書きされた付加情報として用いられる。また、この差分画像データは、投影画像２０（投影したページの画像のデータ）と同一のサイズである。そのため、投影する画像データのどの位置にユーザにより手書きされたのかを特定するための位置情報（ユーザにより手書きされた位置の情報）を管理する必要がなくなる。 The difference image data generated here is transparent image data in which the information physically handwritten on the screen 10 by the user is colored and the other areas are not colored. . Therefore, the difference image data is used as additional information physically handwritten on the screen 10 by the user. The difference image data has the same size as the projected image 20 (projected page image data). Therefore, it is not necessary to manage position information (position information handwritten by the user) for specifying which position of the image data to be projected is handwritten by the user.

そして、プロジェクター１００は、生成された差分画像データを、接続ケーブル１５０を介してＰＣ（投影指示装置）２００に送信し、ＰＣ（投影指示装置）２００は、ＰＣ（投影指示装置）２００の記憶部２３０に、投影画像２０（投影したページの画像の頁データ２３２）と、当該差分画像データとを関連付けて記憶・管理する。 Then, the projector 100 transmits the generated difference image data to the PC (projection instruction apparatus) 200 via the connection cable 150, and the PC (projection instruction apparatus) 200 is a storage unit of the PC (projection instruction apparatus) 200. 230 stores and manages the projection image 20 (page data 232 of the image of the projected page) and the difference image data in association with each other.

ＰＣ（投影指示装置）２００の記憶部２３０は、本発明の記憶手段の適用例であり、複数のページから構成される画像データ（２３２）を記憶する。
＜図２の説明＞ A storage unit 230 of a PC (projection instruction apparatus) 200 is an application example of the storage unit of the present invention, and stores image data (232) composed of a plurality of pages.
<Description of FIG. 2>

以下、図２を用いて、図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例について説明する。 Hereinafter, an example of a functional block configuration of the PC 200 and the projector 100 illustrated in FIG. 1 will be described with reference to FIG.

図２は、図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例を示す図である。 FIG. 2 is a diagram illustrating an example of functional block configurations of the PC 200 and the projector 100 illustrated in FIG.

図２に示すＰＣ２００は、通信部２０１と、プレゼンテーションソフトウェア２２０と、記憶部２３０とを備えている。 The PC 200 shown in FIG. 2 includes a communication unit 201, presentation software 220, and a storage unit 230.

通信部２０１は、プロジェクター１００の通信部１０２と相互に通信を行う機能を備えている。 The communication unit 201 has a function of communicating with the communication unit 102 of the projector 100.

記憶部２３０には、投影資料ファイル２３１が記憶されており、投影資料ファイル２３１のページごとに、当該ページのデータ（頁データ２３２）を記憶しており、頁データ２３２毎に、付加情報２３３が関連付けられて記憶されている。図２の２３４は、頁データ２３２と付加情報２３３とが関連付けられていることを示している。図１０に、頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す。図１０は、頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す図である。 A projection material file 231 is stored in the storage unit 230, and data (page data 232) of the page is stored for each page of the projection material file 231. Additional information 233 is stored for each page data 232. Associated and stored. 234 in FIG. 2 indicates that the page data 232 and the additional information 233 are associated with each other. FIG. 10 shows an example of page data (A), additional information (B), and projected image (C). FIG. 10 is a diagram illustrating an example of page data (A), additional information (B), and a projection image (C).

プレゼンテーションソフトウェア２２０は、付加機能部２２１と、標準機能部２２５とを備えている。 The presentation software 220 includes an additional function unit 221 and a standard function unit 225.

標準機能部２２５は、投影資料再生部２２６を有し投影資料再生部２２６は、記憶部２３０に記憶されている投影資料ファイル２３１の頁データ２３２、及び頁データ２３２に関連付けられた付加情報を合成して、当該合成されたデータをプロジェクター１００の通信部１０２に送信して当該データの投影指示を行う機能を備えている。 The standard function unit 225 includes a projection material reproduction unit 226, and the projection material reproduction unit 226 combines the page data 232 of the projection material file 231 stored in the storage unit 230 and additional information associated with the page data 232. Thus, a function of transmitting the synthesized data to the communication unit 102 of the projector 100 and instructing projection of the data is provided.

また、付加機能部２２１は、プロジェクター１００から受信した付加情報を受信する付加情報受信部２２２と、当該受信した付加情報を、頁データ２３２と関連付けて記憶部２３０に記憶・管理する付加情報管理部２２３とを備えている。 Further, the additional function unit 221 includes an additional information receiving unit 222 that receives additional information received from the projector 100, and an additional information management unit that stores and manages the received additional information in the storage unit 230 in association with the page data 232. 223.

プロジェクター１００は、通信部１０２と、投影部１３０と、記憶部１４０と、付加情報取得部１２０とを備えている。
通信部１０２は、ＰＣ２００の通信部２０１と相互に通信する機能を備えている。 The projector 100 includes a communication unit 102, a projection unit 130, a storage unit 140, and an additional information acquisition unit 120.
The communication unit 102 has a function of communicating with the communication unit 201 of the PC 200.

記憶部１４０は、通信部１０２を介してＰＣ２００から受信した当該データの投影指示に含まれるデータ（頁データ）１４４と、投影装置１０１の画像生成部１３１で生成された投影画像データ１４２と、投影画像データに対して行うキーストーン等の補正処理で用いられる値（キーストーン等の画像を補正している補正値）１４１とを記憶している。 The storage unit 140 includes data (page data) 144 included in the projection instruction of the data received from the PC 200 via the communication unit 102, the projection image data 142 generated by the image generation unit 131 of the projection apparatus 101, and projection. A value (correction value for correcting an image such as a keystone) 141 used in correction processing such as a keystone performed on image data is stored.

また、投影部１３０は、通信部１０２を介してＰＣ２００から受信した当該データの投影指示に含まれるデータ（頁データ）１４４から、投影画像データ（投影画像）を生成する画像生成部１３１と、当該生成された投影画像データをスクリーン１０に投影する投影装置１０１とを備えている。 The projection unit 130 includes an image generation unit 131 that generates projection image data (projection image) from data (page data) 144 included in the projection instruction of the data received from the PC 200 via the communication unit 102, and And a projection device 101 that projects the generated projection image data onto a screen 10.

付加情報取得部１２０は、画像読取り装置１１０と、画像補正部１２１と、画像比較部１２２と、付加情報生成部１２３とを備えている。 The additional information acquisition unit 120 includes an image reading device 110, an image correction unit 121, an image comparison unit 122, and an additional information generation unit 123.

画像補正部１２１は、画像読取り装置１１０で撮像された画像を解析して得られる位置判定用マーカー４０の情報を基に、当該画像の位置、傾き、彩度の補正を行う機能を備えている。 The image correction unit 121 has a function of correcting the position, inclination, and saturation of the image based on the information of the position determination marker 40 obtained by analyzing the image captured by the image reading device 110. .

画像補正部１２１は、プロジェクター１００に、キーストーン等の画像を補正して投影する設定がなされている場合には、当該投影画像データに対して、キーストーン等の補正の処理を行う。この補正の処理で用いられる値（キーストーン等の画像を補正している補正値）１４１は、記憶部１４０のキーストーン補正値である。 When the projector 100 is set to correct and project an image such as a keystone, the image correction unit 121 performs a correction process such as a keystone on the projection image data. A value (correction value for correcting an image such as a keystone) 141 used in this correction processing is a keystone correction value in the storage unit 140.

画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像）とを比較する機能を備えている。 The image comparison unit 122 includes the image (captured image) corrected by the image correction unit 121 and the projection image 20 (image data of the projected page) included in the projection instruction from the presentation software of the PC (projection instruction device) 200. ) Is changed to the same size, and the changed captured image is compared with the projected image 20 (projected page image).

そして、付加情報生成部１２３は、画像比較部１２２による比較処理により、当該撮像画像と、投影画像２０（投影したページの画像）との差分の画像データである差分画像データ（付加情報）を生成する機能を備えている。
＜図３の説明＞ Then, the additional information generation unit 123 generates difference image data (additional information) that is image data of the difference between the captured image and the projection image 20 (projected page image) by the comparison processing by the image comparison unit 122. It has a function to do.
<Description of FIG. 3>

以下、図３を参照して、本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理について、説明する。 Hereinafter, with reference to FIG. 3, processing executed by the projector 100 and the PC 200 according to the embodiment of the present invention will be described.

図３は、本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理のフローチャートの一例を示す図である。 FIG. 3 is a diagram illustrating an example of a flowchart of processing executed by the projector 100 and the PC 200 according to the embodiment of the present invention.

ステップＳ１０１〜Ｓ１０６、ステップＳ３０１〜Ｓ３０５に示す各ステップの処理は、プロジェクター１００のメモリに記憶されているプログラムによる制御に従ってプロジェクター１００のＣＰＵが実行する。 The processing of each step shown in steps S101 to S106 and steps S301 to S305 is executed by the CPU of the projector 100 according to control by a program stored in the memory of the projector 100.

また、ステップＳ２０１〜Ｓ２１１に示すステップの処理は、ＰＣ２００のメモリに記憶されているプログラムによる制御に従ってＰＣ２００のＣＰＵが実行する。 Further, the processing of the steps shown in steps S201 to S211 is executed by the CPU of the PC 200 according to control by a program stored in the memory of the PC 200.

本実施形態では、プロジェクター１００と、ＰＣ２００との筐体を別々に分けて説明するが、プロジェクター１００と、ＰＣ２００との筐体を１つ筐体にして情報処理システムとすることができる。すなわち、プロジェクター１００と、ＰＣ２００と１つの情報処理装置として合体して情報処理システムとすることができる。その場合、図３に示す全ての処理（ステップ）を、１つの情報処理装置として合体した情報処理システムのＣＰＵ（制御部）が実行することで実現される。 In this embodiment, the case of the projector 100 and the PC 200 will be described separately. However, the case of the projector 100 and the PC 200 may be one case to form an information processing system. That is, the projector 100 and the PC 200 can be combined as one information processing apparatus to form an information processing system. In that case, it implement | achieves when CPU (control part) of the information processing system which united all the processes (step) shown in FIG. 3 as one information processing apparatus is performed.

情報処理システムは、画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像するシステムである。 The information processing system is a system that issues a projection instruction to project image data onto a screen and images the screen on which the image data is projected.

まず、ＰＣ２００のプレゼンテーションソフトウェア２２０は、投影指示画面２１０（例えば図５）をＰＣ２００の表示部に表示し、ユーザから投影するページの指示とそのページの投影指示を受付ける（ステップＳ２０１）。 First, the presentation software 220 of the PC 200 displays a projection instruction screen 210 (for example, FIG. 5) on the display unit of the PC 200, and receives an instruction for a page to be projected and a projection instruction for the page from the user (step S201).

ステップＳ２０１は、本発明の受付手段の適用例であり、ユーザの操作に従って、記憶手段に記憶されている画像データのページの投影指示を受け付ける。 Step S201 is an application example of the accepting means of the present invention, and accepts an instruction to project a page of image data stored in the storage means in accordance with a user operation.

そして、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ユーザにより指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されているか否かを判定する（ステップＳ２０２）。 Then, the presentation software 220 of the PC 200 determines whether or not the additional information 233 associated with the page data (page data 232) designated by the user is stored in the storage unit 230 (step S202).

記憶部２３０に、図４に示す頁データ・付加情報関連管理テーブルが記憶されている。
図４は、頁データ・付加情報関連管理テーブルの一例を示す図である。 The page data / additional information related management table shown in FIG. 4 is stored in the storage unit 230.
FIG. 4 is a diagram showing an example of the page data / additional information relation management table.

図４に示す投影資料の頁データ・付加情報関連管理テーブルは、頁番号、頁データ（２３２），付加情報（２３３）の情報から構成される。頁データ・付加情報関連管理テーブルの頁番号，頁データ（２３２）、付加情報（２３３）は、それぞれ、関連付けられて登録されている。付加情報は、１頁データに対して複数登録可能である。 The page data / additional information related management table of the projection material shown in FIG. 4 is composed of information of page number, page data (232), and additional information (233). The page number, page data (232), and additional information (233) in the page data / additional information association management table are registered in association with each other. A plurality of additional information can be registered for one page data.

付加情報（差分画像データ）は、頁データと同一サイズ（例えば、Ａ４サイズの大きさ）の画像ファイルとなっており、手書きされた領域以外の領域は透過（透明）である。 The additional information (difference image data) is an image file having the same size as the page data (for example, A4 size), and the area other than the handwritten area is transparent (transparent).

ステップＳ２０４でプロジェクター１００に送信する（付加情報付き）頁データは、ユーザにより指定された頁データに、該当頁に対応する付加情報をオーバーレイすることにより合成され生成されるが、付加情報を頁データと同サイズの画像ファイルとすることで、付加情報の位置情報を保持しなくても配置を再現することが出来る。また、付加情報の不要部分は透過状態とすることで、複数の付加情報を重ね合わせて表示することができる。 The page data (with additional information) transmitted to the projector 100 in step S204 is generated by combining the page data designated by the user with the additional information corresponding to the corresponding page. Therefore, the arrangement can be reproduced without holding the position information of the additional information. Further, by setting unnecessary portions of the additional information in a transparent state, a plurality of additional information can be displayed in an overlapping manner.

ステップＳ２０４は、本発明の出力手段の適用例であり、受付手段により投影指示を受け付けたページの画像データであって記憶手段により記憶された画像データをスクリーンに投影するべく出力する。 Step S204 is an application example of the output means of the present invention, and outputs the image data of the page for which the projection instruction has been received by the receiving means and the image data stored by the storage means to be projected onto the screen.

また、ステップＳ２０４では、スクリーンに付加情報の位置を特定するためのマーカー（位置判定用マーカー４０）を、投影指示を受け付けたページの画像データに含めて（合成して）出力する。 In step S204, a marker (position determination marker 40) for specifying the position of the additional information on the screen is included in (combined with) the image data of the page on which the projection instruction has been received.

ステップＳ２０２では、ユーザにより投影指示されたページのページ番号の頁データに関連付けられて、図４の頁データ・付加情報関連管理テーブルに付加情報が記憶されているか否かを判定することにより、ユーザにより指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されているか否かを判定する。 In step S202, it is determined whether or not additional information is stored in the page data / additional information relation management table of FIG. 4 in association with the page data of the page number of the page instructed to be projected by the user. It is determined whether or not the additional information 233 associated with the page data (page data 232) instructed by is stored in the storage unit 230.

ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０２で、ステップＳ２０１で指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されていると判定された場合には（ＹＥＳ）、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して、当該合成された画像を投影画像データ（投影画像）とする（ステップＳ２０３）。 If the presentation software 220 of the PC 200 determines in step S202 that the additional information 233 associated with the page data (page data 232) instructed in step S201 is stored in the storage unit 230 (YES). ), The page data 232 and the additional information 233 (one or a plurality of additional information 233) associated with the page data 232 are combined, and the combined image is used as projection image data (projection image) (step). S203).

そして、ＰＣ２００のプレゼンテーションソフトウェア２２０（投影資料再生部２２６）は、ステップＳ２０３で合成することで得られた画像データ（映像データ）を、画像投影用のスクリーン１０に対して投影するべく、当該画像データ（映像データ）を投影画像として含む投影指示（（付加情報付き）頁データ１４４）をプロジェクター１００に送信する（ステップＳ２０４）。 The presentation software 220 (projection material reproducing unit 226) of the PC 200 then projects the image data (video data) obtained by combining in step S203 onto the screen 10 for image projection. A projection instruction ((with additional information) page data 144) including (video data) as a projection image is transmitted to the projector 100 (step S204).

また、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０２で、ステップＳ２０１で指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されていないと判定された場合には（ステップＳ２０２：ＮＯ）、ユーザにより指示されたページの頁データを投影画像として含む投影指示をプロジェクター１００に送信する（ステップＳ２０４）。 If the presentation software 220 of the PC 200 determines in step S202 that the additional information 233 associated with the page data (page data 232) instructed in step S201 is not stored in the storage unit 230. (Step S202: NO), a projection instruction including the page data of the page designated by the user as a projection image is transmitted to the projector 100 (Step S204).

プロジェクター１００の投影部１３０は、ＰＣ２００から、（付加情報付き）頁データ１４４を受信する（ステップＳ１０１）。 The projection unit 130 of the projector 100 receives the page data 144 (with additional information) from the PC 200 (step S101).

そして、プロジェクター１００の画像生成部１３１は、ＰＣ２００から受信した（付加情報付き）頁データ１４４から、投影装置１０１で投影可能なデータである投影画像データを生成する（ステップＳ１０２）。 Then, the image generation unit 131 of the projector 100 generates projection image data, which is data that can be projected by the projection apparatus 101, from the page data 144 (with additional information) received from the PC 200 (step S102).

そして、プロジェクター１００の画像生成部１３１は、キーストーン等の画像の補正処理を行う設定がなされているかを判定し（ステップＳ１０３）、キーストーン等の画像の補正処理を行う設定がなされているか場合には（ステップＳ１０３：ＹＥＳ）、当該生成した投影画像データに対して、キーストーン補正値１４１に従って補正を行う（ステップＳ１０４）。 Then, the image generation unit 131 of the projector 100 determines whether or not the setting for performing the correction process for the image such as the keystone is made (step S103), and if the setting for performing the correction process for the image such as the keystone is performed. (Step S103: YES), the generated projection image data is corrected according to the keystone correction value 141 (step S104).

ステップＳ１０４の補正処理は、本発明の補正手段の適用例であり、出力手段により出力される画像データの位置、傾き、彩度のいずれかを所定の補正値に従って補正する。 The correction process in step S104 is an application example of the correction unit of the present invention, and corrects any one of the position, inclination, and saturation of the image data output by the output unit according to a predetermined correction value.

そして、プロジェクター１００の画像生成部１３１は、補正した投影画像データに、投影位置特定用の位置判定用マーカー４０を合成する（ステップＳ１０５）。 Then, the image generation unit 131 of the projector 100 synthesizes the position determination marker 40 for specifying the projection position with the corrected projection image data (step S105).

なお、投影画像データに、投影位置特定用の位置判定用マーカー４０を合成する処理（投影画像データに、投影位置特定用の位置判定用マーカー４０を含める処理）は、ＰＣ２００がステップＳ２０２からＳ２０４の間に行っても良いし、また、Ｓ２０４で行ってもよい。 Note that the process of synthesizing the position determination marker 40 for specifying the projection position with the projection image data (the process of including the position determination marker 40 for specifying the projection position in the projection image data) is performed by the PC 200 in steps S202 to S204. It may be performed in the middle or in S204.

ステップＳ１０６、プロジェクター１００は、Ｓ１０４で補正された画像データをスクリーンに投影する投影手段の適用例である。 Step S106, the projector 100 is an application example of a projection unit that projects the image data corrected in S104 onto the screen.

また、プロジェクター１００の画像生成部１３１は、キーストーン等の画像の補正処理を行う設定がなされていないと判定された場合には（ステップＳ１０３：ＮＯ）、ステップＳ１０２で生成された投影画像データに対して、投影位置特定用の位置判定用マーカー４０を合成する（ステップＳ１０５）。 If the image generation unit 131 of the projector 100 determines that the setting for correcting the image such as keystone is not made (step S103: NO), the image generation unit 131 adds the projection image data generated in step S102. On the other hand, the position determination marker 40 for specifying the projection position is synthesized (step S105).

次に、プロジェクター１００の投影装置１０１は、ステップＳ１０５で合成して得られた投影画像データをスクリーン１０に対し投影する処理を行う（ステップＳ１０６）。 Next, the projection device 101 of the projector 100 performs a process of projecting the projection image data obtained by combining in step S105 onto the screen 10 (step S106).

ステップＳ１０６でスクリーン１０に投影画像データを投影した後に、ユーザは、スクリーン１０（ホワイトボード等）に対して、マジック等の物理的にスクリーン１０（ホワイトボード等）に対して書くことができるペンで書く。 After projecting the projection image data on the screen 10 in step S106, the user can use a pen that can write on the screen 10 (whiteboard, etc.) physically, such as magic, on the screen 10 (whiteboard, etc.). write.

その後、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０４の処理を実行した後、ステップＳ２０５にて、投影指示画面２１０からの次の指示を待ち（ステップＳ２０５）、ユーザからの改頁の指示を受け付けたと判定された場合には（ステップＳ２０６：ＹＥＳ）、投影装置１０１により現在投影画像データが投影されているスクリーン１０を撮像する指示（画像読み取り指示）を、プロジェクター１００の付加情報取得部１２０の画像読取り装置１１０に対して送信する（ステップＳ２０７）。 After that, the presentation software 220 of the PC 200 executes the process of step S204, and then waits for the next instruction from the projection instruction screen 210 in step S205 (step S205), and determines that the page break instruction from the user has been accepted. If it is determined (step S206: YES), an instruction (image reading instruction) for imaging the screen 10 on which the projection image data is currently projected by the projection apparatus 101 is sent to the image reading apparatus of the additional information acquisition unit 120 of the projector 100. 110 is transmitted (step S207).

ステップＳ２０６で、改頁の指示を受け付ける処理は、本発明の受付手段の適用例であり、ユーザの操作に従って、記憶手段に記憶されている画像データのページの投影指示を受け付ける処理である。また、ステップＳ２０６は、本発明の判定手段の適用例であり、受付手段により、出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する。 The process of accepting a page break instruction in step S206 is an application example of the accepting means of the present invention, and is a process of accepting a projection instruction for a page of image data stored in the storage means in accordance with a user operation. Step S206 is an application example of the determination unit of the present invention. The reception unit determines whether a projection instruction for a page other than the page of the image data output by the output unit has been received.

そして、画像読取り装置１１０は、ＰＣ２００から、スクリーン１０を撮像する指示（画像読み取り指示）を受信すると、スクリーン１０を撮像する（ステップＳ３０１）。 Then, when receiving an instruction (image reading instruction) for imaging the screen 10 from the PC 200, the image reading apparatus 110 images the screen 10 (step S301).

ステップＳ２０７、Ｓ３０１、画像読取り装置１１０は、本発明の撮像手段の適用例であり、判定手段により、出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、出力手段により当該画像データが出力されているスクリーンを撮像する。 Steps S207 and S301 and the image reading apparatus 110 are application examples of the imaging unit of the present invention, and when the determination unit determines that a projection instruction for a page other than the page of image data output by the output unit has been received. In addition, the screen on which the image data is output is captured by the output means.

次に、プロジェクター１００の画像補正部１２１は、プロジェクター１００に、キーストーン等の画像の補正処理を行う設定がなされているかを判定し、キーストーン等の画像の補正処理を行う設定がなされているか場合には、当該撮像で得られた画像データに対して、キーストーン補正値１４１に従って補正（傾き補正）を行う（ステップＳ３０２）。 Next, the image correction unit 121 of the projector 100 determines whether or not the projector 100 is set to perform correction processing for an image such as a keystone, and is it set to perform correction processing for an image such as a keystone. In this case, correction (tilt correction) is performed on the image data obtained by the imaging according to the keystone correction value 141 (step S302).

ステップＳ３０２では、さらに、当該撮像で得られた画像データ内の位置判定用マーカー４０の位置を基準にして、画像を切り抜き、及び（付加情報付き）頁データ１４４との位置合わせを行う。また、投影場所の明るさによっては明度・彩度の補正も行う。プロジェクター１００に設定されたキーストーン設定値を傾き補正に用いることにより、傾きを正確に補正する事ができ、次のステップＳ３０２での画像比較の処理の精度を向上させることができる。 In step S302, the image is further cut out and aligned with the page data 144 (with additional information) based on the position of the position determination marker 40 in the image data obtained by the imaging. Also, brightness and saturation are corrected depending on the brightness of the projection location. By using the keystone setting value set in the projector 100 for tilt correction, the tilt can be corrected accurately, and the accuracy of the image comparison process in the next step S302 can be improved.

ステップＳ３０２は、本発明の撮像画像データ補正手段の適用例であり、撮像手段により撮像された撮像画像データの位置、傾き、彩度のいずれかを前記所定の補正値に従って補正する。 Step S302 is an application example of the captured image data correction unit of the present invention, and corrects any one of the position, inclination, and saturation of the captured image data captured by the imaging unit in accordance with the predetermined correction value.

次に、プロジェクター１００の画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像、すなわち、Ｓ２０４で送信したデータ（画像データ））とを比較する（ステップＳ３０３）。 Next, the image comparison unit 122 of the projector 100 includes the image (captured image) corrected by the image correction unit 121 and the projection image 20 (included in the projection instruction from the presentation software of the PC (projection instruction apparatus) 200). The size of the captured image is changed so as to be the same size as the projected page image data), and the changed captured image and the projected image 20 (projected page image, that is, data transmitted in S204). (Image data)) is compared (step S303).

プロジェクター１００の付加情報生成部１２３は、ステップＳ３０３による比較処理により、当該撮像画像と、投影画像２０（投影したページの画像データ）（（付加情報付き）頁データ１４４）との差分の画像データである差分画像データ（付加情報）を生成する（ステップＳ３０４）。 The additional information generation unit 123 of the projector 100 uses the comparison process in step S303 as the difference image data between the captured image and the projected image 20 (image data of the projected page) (page data 144 with (additional information)). Certain difference image data (additional information) is generated (step S304).

なお、同一頁に対して複数回の投影と、複数回の付加情報の追記（ペンでの書き込み）が行われた場合は、ステップＳ３０３で比較する（付加情報付き）頁データ１４４は、ステップＳ２０３にてプレゼンテーションソフトウェア２２０により以前の付加情報も合成されている為、ステップＳ３０４では、改頁直前に追記された付加情報のみを抽出（生成）する事が可能となる。 Note that when multiple projections and additional information additional writing (writing with a pen) are performed on the same page, page data 144 to be compared (with additional information) in step S303 is step S203. Since the previous additional information is also synthesized by the presentation software 220, only the additional information added immediately before the page break can be extracted (generated) in step S304.

また、ステップＳ２０３で合成する付加情報２３３が、１ページに対して複数、登録されている場合も、重ね合わせて全ての付加情報を合成することが可能となる。 Even when a plurality of additional information 233 to be combined in step S203 is registered for one page, it is possible to combine all the additional information by superimposing them.

ステップＳ３０４は、本発明の生成手段の適用例であり、撮像手段により撮像された撮像画像データと、出力手段により出力された画像データとに従って、スクリーンに物理的に書き込まれた付加情報を生成する。 Step S304 is an application example of the generation unit of the present invention, and generates additional information physically written on the screen according to the captured image data captured by the imaging unit and the image data output by the output unit. .

また、Ｓ３０４では、Ｓ３０２で補正された撮像画像データと、Ｓ２０４で出力された画像データとに従って、当該撮像画像データに含まれる当該マーカーの位置を基準にスクリーンに物理的に書き込まれた付加情報を生成する。 Further, in S304, the additional information physically written on the screen based on the position of the marker included in the captured image data according to the captured image data corrected in S302 and the image data output in S204 is obtained. Generate.

次に、プロジェクター１００は、ステップＳ３０４で生成された差分画像データ（付加情報）をＰＣ２００に送信する（ステップＳ３０５）。 Next, the projector 100 transmits the difference image data (additional information) generated in step S304 to the PC 200 (step S305).

そして、ＰＣ２００の付加情報受信部２２２は、プロジェクター１００から差分画像データ（付加情報）を受信し（ステップＳ２０８）、ＰＣ２００の付加情報管理部２２３は、当該受信した差分画像データ（付加情報）を、記憶部２３０の、現在投影しているページの頁データ２３２と関連付けて登録（記憶）する。このとき、当該受信した差分画像データ（付加情報）を、図４に示す頁データ・付加情報関連管理テーブルの、現在投影しているページのページ番号、及び頁データに対応する付加情報として登録（記憶）する（ステップＳ２０９）。 Then, the additional information receiving unit 222 of the PC 200 receives the difference image data (additional information) from the projector 100 (step S208), and the additional information management unit 223 of the PC 200 receives the received difference image data (additional information). Registration (storage) is performed in association with the page data 232 of the currently projected page in the storage unit 230. At this time, the received difference image data (additional information) is registered as the page number of the currently projected page and the additional information corresponding to the page data in the page data / additional information relation management table shown in FIG. (Step S209).

その後、ＰＣ２００は、ステップＳ２０９の処理を実行すると、ユーザによる終了指示を受け付けたか否かを判定し（ステップＳ２１０）、終了指示を受け付けたと判定された場合には（ＹＥＳ）、処理を終了し、一方、終了指示を受け付けていないと判定された場合には（ＮＯ）、ユーザによる改頁の指示を受け付けたか否かを判定し、受け付けたと判定された場合には、当該指示を受けた頁が存在するか否かを、投影資料ファイル２３１、又は、図４のテーブルを用いて判定する。そして、当該指示を受けた頁が存在すると判定された場合には、当該頁を処理対象にして（改頁して）、処理をステップＳ２０２に戻す（Ｓ２１１）。
＜図５〜図９の説明＞ Thereafter, when executing the process of step S209, the PC 200 determines whether or not an end instruction from the user has been received (step S210). If it is determined that the end instruction has been received (YES), the process ends. On the other hand, when it is determined that an end instruction has not been received (NO), it is determined whether or not a page break instruction from the user has been received. Whether or not it exists is determined using the projection material file 231 or the table of FIG. If it is determined that there is a page for which the instruction has been received, the page is set as a processing target (page break), and the process returns to step S202 (S211).
<Description of FIGS. 5 to 9>

以下に、ＰＣ２００の表示部に表示される画面、スクリーン１０に表示される投影映像の具体例について説明する。 Hereinafter, specific examples of the screen displayed on the display unit of the PC 200 and the projected image displayed on the screen 10 will be described.

図３に示すフローチャートに示す処理を実行することにより、例えば、後述する図５〜図９に示す画面、投影映像が表示されることとなる。 By executing the processing shown in the flowchart shown in FIG. 3, for example, screens and projection images shown in FIGS. 5 to 9 described later are displayed.

図５〜図９に示す投影指示画面２１０は、ＰＣ２００の表示部に表示される画面であり、スクリーン１０は、スクリーン１０に表示される投影映像である。 A projection instruction screen 210 shown in FIGS. 5 to 9 is a screen displayed on the display unit of the PC 200, and the screen 10 is a projection image displayed on the screen 10.

図５は、会議等での発表者が投影資料の１頁目を投影した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の１頁目が表示されたスクリーン１０である。プレゼンテーションソフトウェア２２０が発表者のプレゼンテーション実行指示を受け付け、プロジェクター１００に対し投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。頁データ２３２と位置判定用マーカー４０の合成はプレゼンテーションソフトウェア２２０およびプロジェクター１００のいずれで実施しても良い。 FIG. 5 shows a projection instruction screen 210 displayed on a PC (projection instruction apparatus) 200 when a presenter at a meeting or the like projects the first page of projection material, and a screen 10 on which the first page of projection material is displayed. It is. The presentation software 220 receives a presentation execution instruction from the presenter and issues a projection instruction to the projector 100. The projector 100 synthesizes the position determination marker 40 with the received page data 232 to be projected and projects an image onto the screen 10. The composition of the page data 232 and the position determination marker 40 may be performed by either the presentation software 220 or the projector 100.

図６は、上記図５の状態から会議出席者等がスクリーン１０上にホワイトボード・マーカー等の筆記用具を用い、付加情報３０（後述の付加情報２３３と同じ）を記載した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の１頁目が表示されたスクリーン１０である。会議出席者は電子ペンなどの特殊な機器を用いず任意の筆記用具を用い頁データが投影されたスクリーン上へ文字等の付加情報を追記する事が出来る。 FIG. 6 shows a PC (projection) when the attendees etc. write additional information 30 (same as additional information 233 described later) on the screen 10 using a writing tool such as a whiteboard marker from the state of FIG. This is the screen 10 on which the projection instruction screen 210 displayed on the pointing device 200 and the first page of the projection material are displayed. The attendees of the meeting can add additional information such as characters on the screen on which the page data is projected using an arbitrary writing tool without using a special device such as an electronic pen.

図７は、上記図６の状態から投影資料の改頁（１頁目から２頁目への改頁）を実施した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。 FIG. 7 shows a projection instruction screen 210 and a projection displayed on a PC (projection instruction apparatus) 200 when a page break of the projection material (page break from the first page to the second page) is performed from the state of FIG. It is the screen 10 on which the second page of the document is displayed.

プレゼンテーションソフトウェア２２０は、発表者からの改頁指示を受付け、プロジェクター１００の付加情報取得部１２０に対しスクリーンに記録された画像データの読み取り（撮像）指示を行う。付加情報取得部１２０は、プレゼンテーションソフトウェア２２０からの指示を受付け、画像データが投影されたスクリーンの読み取り（撮像）を実施し、図５で表示していた１頁目の頁データ１４４と比較を行う為にキーストーン補正値・位置判定用マーカーを利用し画像データの傾き補正および位置合わせを実施する。投影場所の明るさによっては彩度の補正も実施する。 The presentation software 220 receives a page break instruction from the presenter and instructs the additional information acquisition unit 120 of the projector 100 to read (capture) the image data recorded on the screen. The additional information acquisition unit 120 receives an instruction from the presentation software 220, reads (captures) the screen on which the image data is projected, and compares it with the page data 144 of the first page displayed in FIG. Therefore, the keystone correction value / position determination marker is used to correct the inclination and position of the image data. Saturation correction is also performed depending on the brightness of the projection location.

補正した画像データと図５で表示していた１頁目の頁データ１４４の画像比較を行い、図６時点で追記された付加情報３０を画像の差分データとして抽出する。付加情報取得部１２０は、抽出した付加情報をプレゼンテーションソフトウェア２２０へ送信する。 An image comparison between the corrected image data and the page data 144 of the first page displayed in FIG. 5 is performed, and the additional information 30 added at the time of FIG. 6 is extracted as image difference data. The additional information acquisition unit 120 transmits the extracted additional information to the presentation software 220.

プレゼンテーションソフトウェア２２０は、受信した付加情報を投影資料の１頁目頁データと関連付けて付加情報２３３として記憶する。 The presentation software 220 stores the received additional information as additional information 233 in association with the first page data of the projection material.

その後、プレゼンテーションソフトウェア２２０は投影資料の改頁を実施し、２頁目の頁データ１４４の生成およびプロジェクター１００に対し２頁目の投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。 Thereafter, the presentation software 220 performs a page break of the projection material, generates page data 144 for the second page, and instructs the projector 100 to project the second page. The projector 100 synthesizes the position determination marker 40 with the received page data 232 to be projected and projects an image onto the screen 10.

図８は、上記図７の最終状態から会議出席者等がスクリーン１０上にホワイトボード・マーカー等の筆記用具を用い、付加情報３０を追記した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。 FIG. 8 is displayed on a PC (projection instruction apparatus) 200 when a conference attendant or the like adds additional information 30 on the screen 10 using a writing tool such as a whiteboard marker from the final state of FIG. This is the screen 10 on which the projection instruction screen 210 and the second page of the projection material are displayed.

図９は、上記図８の状態から投影資料の改頁（２頁目から１頁目への改頁）を実施した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。 FIG. 9 shows a projection instruction screen 210 and a projection displayed on a PC (projection instruction apparatus) 200 when the page of the projection material is changed from the state shown in FIG. 8 (page change from the second page to the first page). It is the screen 10 on which the second page of the document is displayed.

プレゼンテーションソフトウェア２２０、プロジェクター１００および付加情報取得部１２０は、図７での説明と同様に改頁指示を受付け、付加情報を取得・保管（記憶）する。 The presentation software 220, the projector 100, and the additional information acquisition unit 120 receive a page break instruction and acquire / store (store) the additional information in the same manner as described with reference to FIG.

保管完了後、プレゼンテーションソフトウェア２２０は投影資料の改頁を実施し、プロジェクター１００に対し２頁目の頁データと図７の状態にて保管した１頁目の付加情報を合成し付加情報付き頁データ１４４を生成し投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。 After the storage is completed, the presentation software 220 performs a page break of the projection material, synthesizes the page data of the second page and the additional information of the first page stored in the state of FIG. 144 is generated and a projection instruction is issued. The projector 100 synthesizes the position determination marker 40 with the received page data 232 to be projected and projects an image onto the screen 10.

以上、本発明によれば、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することが出来る。 As described above, according to the present invention, when the additional information physically written on the screen and the image data of the projected page are registered in association with each other and then the image data is projected again, the additional information is recorded. Information can also be displayed.

そのため、本発明によれば、たとえば、インタラクティブホワイトボード等の電子的な読み取り装置を備えたスクリーンを必要とせず、ホワイトボード等のアナログなスクリーン上に手書きされた付加情報を読み取り投影資料の頁と関連付けて管理・表示し、ディスカッション情報を記録・再現することが可能となる。 Therefore, according to the present invention, for example, a screen equipped with an electronic reading device such as an interactive whiteboard is not required, and additional information handwritten on an analog screen such as a whiteboard is read, It is possible to manage and display in association with each other, and to record and reproduce discussion information.

次に、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）が、プロジェクター投影部がＳ１０６で投影され、当該付加情報を削除（更新）する処理について説明する。 Next, in step S203, the projection image (A in FIG. 11) obtained by combining the page data 232 and the additional information 233 (one or a plurality of additional information 233) associated with the page data 232 is A process in which the projector projection unit projects in S106 and deletes (updates) the additional information will be described.

図１１、図１２を用いて、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）を、プロジェクター投影部がＳ１０６で投影して、その投影された投影面（壁など）に、ユーザが例えば、赤色などの所定の色のマジックペン等で紙やホワイトボード等のスクリーン（投影面）に直接物理的に、削除領域１１０１を書き（図１１（Ｂ））、その後、Ｓ２０５で、改頁指示がなされ、当該指示された頁の投影画像をＳ１０６で投影面（壁など）に投影し（図１１（Ｃ））、その後、Ｓ２０５で、削除領域１１０１が書かれたページへの改頁指示がなされ、当該ページの投影画像（図１１（Ｄ））が表示された場合の一連の流れについて説明する。 11 and 12, in step S203, a projection image (FIG. 10) obtained by combining page data 232 and additional information 233 (one or a plurality of additional information 233) associated with page data 232 is displayed. 11A) is projected by the projector projection unit in S106, and the screen is projected on the projected projection surface (wall or the like) by a user using a magic pen or the like of a predetermined color such as red, for example, paper or a whiteboard. The deletion area 1101 is directly physically written on the (projection plane) (FIG. 11B), and then a page break is instructed in S205. ) (FIG. 11C), and after that, in S205, a page break instruction is given to the page in which the deletion area 1101 is written, and a projected image of the page (FIG. 11D) is displayed. A series of flows It will be described.

図１１は、付加情報を削除（更新）する処理の流れを説明するための画面遷移図の一例を示す図である。 FIG. 11 is a diagram showing an example of a screen transition diagram for explaining the flow of processing for deleting (updating) additional information.

図１２は、付加情報を削除（更新）する処理の流れを説明するための、撮像画像、投影画像、削除画像、付加情報、更新後の付加情報の一例を示す図である。 FIG. 12 is a diagram illustrating an example of a captured image, a projected image, a deleted image, additional information, and updated additional information for explaining the flow of processing for deleting (updating) additional information.

ＰＣ２００が、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）を、プロジェクター投影部がＳ１０６で投影する。 In step S203, the PC 200 synthesizes the projection image (A in FIG. 11) obtained by combining the page data 232 and the additional information 233 (one or a plurality of additional information 233) associated with the page data 232. The projector projection unit projects in S106.

その後、ユーザが、その投影された投影面（壁など）に、ユーザが例えば、赤色などの所定の色のマジックペン等で紙やホワイトボード等のスクリーン（投影面）に直接物理的に、削除領域１１０１を書きこむ。ここで、スクリーン（投影面）に直接物理的に、削除領域１１０１が書き込まれたスクリーンを図１１（Ｂ）に示す。 After that, the user physically deletes the projected projection surface (such as a wall) directly on a screen (projection surface) such as paper or a whiteboard with a magic pen of a predetermined color such as red. The area 1101 is written. Here, FIG. 11B shows a screen in which the deletion area 1101 is written directly and physically on the screen (projection surface).

そして、その後、ＰＣ２００が、Ｓ２０５で、ユーザによる改頁指示を受け付けると、投影装置１０１により現在投影画像データが投影されているスクリーン１０を撮像する指示（画像読み取り指示）を、プロジェクター１００の付加情報取得部１２０の画像読取り装置１１０に対して送信する（ステップＳ２０７）。 After that, when the PC 200 accepts a page break instruction from the user in S205, an instruction to capture the screen 10 on which the projection image data is currently projected by the projection apparatus 101 (an image reading instruction) is sent. The data is transmitted to the image reading device 110 of the acquisition unit 120 (step S207).

その後、画像読取り装置１１０は、ＰＣ２００から、スクリーン１０を撮像する指示（画像読み取り指示）を受信すると、スクリーン１０を撮像する（ステップＳ３０１）。 Thereafter, when receiving an instruction (image reading instruction) for imaging the screen 10 from the PC 200, the image reading apparatus 110 images the screen 10 (step S301).

次に、プロジェクター１００の画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像、すなわち、Ｓ２０４で送信したデータ（画像データ））とを比較する（ステップＳ３０３）。
ここで、当該撮像画像は、例えば、図１２（Ａ）である。 Next, the image comparison unit 122 of the projector 100 includes the image (captured image) corrected by the image correction unit 121 and the projection image 20 (included in the projection instruction from the presentation software of the PC (projection instruction apparatus) 200). The size of the captured image is changed so as to be the same size as the projected page image data), and the changed captured image and the projected image 20 (projected page image, that is, data transmitted in S204). (Image data)) is compared (step S303).
Here, the captured image is, for example, FIG.

そして、プロジェクター１００の付加情報生成部１２３は、Ｓ２０４で送信された投影画像１２０２（図１１の（Ａ））は図１２の（Ｂ）であり、ステップＳ３０３では、Ｓ２０４で送信された投影画像１２０２と、当該撮像画像（図１２（Ａ））とを比較して、更に、差分の画像データである差分画像データ（付加情報）を生成する（ステップＳ３０４）。 Then, in the additional information generation unit 123 of the projector 100, the projection image 1202 transmitted in S204 ((A) in FIG. 11) is (B) in FIG. 12, and in step S303, the projection image 1202 transmitted in S204. And the captured image (FIG. 12A) are compared, and difference image data (additional information), which is difference image data, is further generated (step S304).

そして、プロジェクター１００は、ステップＳ３０４において、ここで生成された差分画像データの１１０１の色が、所定の色であるかを判定して、所定の色であると判定された場合には、１１０１を削除領域として判定し、ここで生成される差分画像データ（図１２の（Ｃ））を、削除画像１２０３としてＰＣ２００に送信する（Ｓ３０５）。 In step S304, the projector 100 determines whether the color 1101 of the difference image data generated here is a predetermined color. If it is determined that the color is the predetermined color, 1101 is set. It determines as a deletion area | region, The difference image data (FIG.12 (C)) produced | generated here is transmitted to PC200 as the deletion image 1203 (S305).

そして、ＰＣ２００は、Ｓ２０８で、当該削除画像１２０３（付加情報）を受信すると、当該削除画像１２０３（付加情報）と、現在表示しているページ番号に対応付けて図４に登録されている付加情報１２０４とを比較して、付加情報１２０４のうち、削除領域１１０１で囲まれている領域を削除する（透明にする）処理を行い、付加情報１２０４を更新する（Ｓ２０９）。
ここで更新された付加情報が図１２の（Ｅ）に示す付加情報１２０５である。 Then, when the PC 200 receives the deleted image 1203 (additional information) in S208, the additional information registered in FIG. 4 in association with the deleted image 1203 (additional information) and the currently displayed page number. 1204, a process of deleting (making transparent) the area surrounded by the deletion area 1101 in the additional information 1204 is performed, and the additional information 1204 is updated (S209).
The additional information updated here is additional information 1205 shown in FIG.

そして、その後、Ｓ２０５で、削除領域１１０１が書かれたページへの改頁指示がなされると、ＰＣ２００は、Ｓ２０３で、当該更新された付加情報と、当該ページの頁データとを合成して、図１１の（Ｄ）の投影画像を投影面に表示することができるようになる。 After that, when a page break instruction is given to the page in which the deletion area 1101 is written in S205, the PC 200 combines the updated additional information and the page data of the page in S203, The projection image shown in FIG. 11D can be displayed on the projection surface.

そのため、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することが出来ると共に、その後、物理的に書き込まれた削除領域を読み取り付加情報を削除（更新）することが可能となり、ユーザの利便性を向上させることができる。 Therefore, the additional information physically written on the screen and the image data of the projected page are registered in association with each other, and when the image data is projected again, the additional information is also displayed. After that, it is possible to read the physically written deletion area and delete (update) the additional information, thereby improving user convenience.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のカード、ＲＯＭ等を用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile card, a ROM, or the like can be used.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置（コンピュータ）が前述した実施形態の機能を実現する。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (basic system or operating system) running on the computer based on the instruction of the program code. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. An information processing apparatus (computer) that can read and execute the program code realizes the functions of the above-described embodiments.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

１０スクリーン
２０投影画像
３０手書きされた付加情報
４０位置判定用マーカー
１００プロジェクター
１１０画像読取り装置
１５０接続ケーブル
２００ＰＣ（投影指示装置）
２１０投影指示画面

DESCRIPTION OF SYMBOLS 10 Screen 20 Projection image 30 Additional information handwritten 40 Marker for position determination 100 Projector 110 Image reading device 150 Connection cable 200 PC (projection instruction device)
210 Projection instruction screen

Claims

An information processing system that performs a projection instruction to project image data on a screen and images a screen on which the image data is projected,
Storage means for storing image data composed of a plurality of pages;
Accepting means for accepting an instruction to project a page of image data stored in the storage means in accordance with a user operation;
Output means for outputting the image data of the page for which the projection instruction is accepted by the accepting means, and the image data stored by the storage means to be projected on the screen;
A determination unit that determines whether the reception unit has received a projection instruction for a page other than the page of the image data output by the output unit;
When the determination unit determines that a projection instruction for a page other than the page of image data output by the output unit has been received, imaging for capturing the screen on which the image data is output by the output unit Means,
Generating means for generating additional information physically written on the screen according to the captured image data captured by the imaging means and the image data output by the output means;
A registration unit that associates the additional information generated by the generation unit with the image data of the page output by the output unit and registers it in the storage unit;
With
The output means is registered in association with the image data of the page and the image data of the page by the registration means by receiving the projection instruction of the page output by the output means in the past by the receiving means. An information processing system for outputting image data, which is a combination of additional information and the screen, to be projected onto the screen.

Correction means for correcting any of the position, inclination, and saturation of the image data output by the output means according to a predetermined correction value;
Projecting means for projecting the image data corrected by the correcting means onto the screen;
Captured image data correction means for correcting any of the position, inclination, and saturation of the captured image data captured by the imaging means according to the predetermined correction value;
Further comprising
The generation unit generates additional information physically written on the screen according to the captured image data corrected by the captured image data correction unit and the image data output by the output unit. The information processing system according to claim 1.

The output means includes a marker for specifying the position of the additional information on the screen included in the image data of the page for which the projection instruction is received by the reception means,
The generation unit physically writes on the screen with reference to the position of the marker included in the captured image data according to the captured image data captured by the imaging unit and the image data output by the output unit. The information processing system according to claim 1, wherein the additional information is generated.

A control method in an information processing system that includes storage means for storing image data composed of a plurality of pages, performs a projection instruction to project the image data onto a screen, and images the screen on which the image data is projected. And
A receiving step in which a receiving unit of the information processing system receives a projection instruction of a page of image data stored in the storage unit in accordance with a user operation;
An output step in which the output means of the information processing system outputs the image data of the page for which the projection instruction has been received in the receiving step and is output to project the image data stored in the storage means on the screen;
A determination step of determining whether the determination unit of the information processing system has received a projection instruction for a page other than the page of the image data output by the output step by the reception step;
When it is determined by the determination step that the imaging unit of the information processing system has received a projection instruction for a page other than the page of the image data output by the output step, the image data is output by the output step. An imaging step of imaging the screen being performed;
A generating step in which the generation unit of the information processing system generates additional information physically written on the screen according to the captured image data captured in the imaging step and the image data output in the output step; ,
A registration step in which the registration unit of the information processing system registers the additional information generated in the generation step and the image data of the page output in the output step in association with the storage unit;
With
The output step is registered in association with the image data of the page and the image data of the page by the registration step by receiving the projection instruction of the page output by the output step in the past by the receiving step. A control method comprising: outputting image data that is a combination of additional information and projecting the image data onto the screen.

Storage means for storing image data composed of a plurality of pages is provided, a projection instruction for projecting the image data onto a screen is performed, and the information processing system that images the screen on which the image data is projected can be read and executed A program,
The information processing system;
Accepting means for accepting an instruction to project a page of image data stored in the storage means in accordance with a user operation;
Output means for outputting the image data of the page for which the projection instruction is accepted by the accepting means, and the image data stored by the storage means to be projected on the screen;
A determination unit that determines whether the reception unit has received a projection instruction for a page other than the page of the image data output by the output unit;
When the determination unit determines that a projection instruction for a page other than the page of image data output by the output unit has been received, imaging for capturing the screen on which the image data is output by the output unit Means,
Generating means for generating additional information physically written on the screen according to the captured image data captured by the imaging means and the image data output by the output means;
The additional information generated by the generation unit and the image data of the page output by the output unit are associated with each other and function as a registration unit for registration in the storage unit,
The output means is registered in association with the image data of the page and the image data of the page by the registration means by receiving the projection instruction of the page output by the output means in the past by the receiving means. A program for outputting image data in combination with additional information to be projected onto the screen.