JP2006251206A - Information presentation apparatus, information presentation method and program therefor - Google Patents

Information presentation apparatus, information presentation method and program therefor Download PDF

Info

Publication number
JP2006251206A
JP2006251206A JP2005065847A JP2005065847A JP2006251206A JP 2006251206 A JP2006251206 A JP 2006251206A JP 2005065847 A JP2005065847 A JP 2005065847A JP 2005065847 A JP2005065847 A JP 2005065847A JP 2006251206 A JP2006251206 A JP 2006251206A
Authority
JP
Japan
Prior art keywords
information
image information
image
space
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005065847A
Other languages
Japanese (ja)
Other versions
JP4478047B2 (en
Inventor
Ayako Takenouchi
紋子 竹野内
Yoshito Nanjo
義人 南條
Yoshimasa Yanagihara
義正 柳原
Satoshi Iwaki
敏 岩城
Tamotsu Machino
保 町野
Hiroaki Kawada
博昭 河田
Kenichiro Shimokura
健一朗 下倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005065847A priority Critical patent/JP4478047B2/en
Publication of JP2006251206A publication Critical patent/JP2006251206A/en
Application granted granted Critical
Publication of JP4478047B2 publication Critical patent/JP4478047B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To display the trail of an object at least, even after the object is moved in a real space. <P>SOLUTION: A CPU 11 of the information presentation apparatus 1 executes a regional information accepting program 14a to display a picture which is taken by a camera 2 and inputted from a camera input I/F 15, on a display device 19 and then, accepts regional information inputted from an input device 18 to store the regional information into a regional information storage area 13a. Further, the CPU 11 of the information presentation apparatus 1 executes a projection control program 14b to read each regional information stored in the regional information storage area 13a and form a projected picture, stores the formed projected picture into a projected picture storage area 13b and outputs the projected picture to a projector 3 from a projector output I/F 16. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、例えば、プロジェクタ等の投影装置により情報を提示する情報提示装置及び情報提示方法とそのプログラムに関する。   The present invention relates to an information presentation apparatus, an information presentation method, and a program for presenting information using a projection apparatus such as a projector.

従来、複数の人で情報を共有する手段の一つとして、実物体の上に情報を投影する方法が提案されている(例えば、特許文献1を参照)。これによると、対面でのコミュニケーションに限らず、例えば、遠隔作業支援システムのように遠隔地間で情報を伝達する際にも、話の対象となっている実空間上の物体に関連する情報をプロジェクタで投影することができる。このように、実空間上に視覚的に情報を提示することで、情報を容易にかつ正確に伝達することができる。   Conventionally, as a means for sharing information among a plurality of people, a method of projecting information on a real object has been proposed (see, for example, Patent Document 1). According to this, not only in face-to-face communication, but also when transmitting information between remote locations, such as a remote work support system, It can be projected with a projector. In this way, information can be easily and accurately transmitted by visually presenting information on the real space.

特開2001−211372号公報JP 2001-211132 A

しかしながら、上記従来の情報提示装置のように、実空間に存在する対象物の上に情報を重畳して投影したのち、実空間内の物体が移動した場合、投影された情報だけが提示されたままで、この情報が何に対して付与されたのか不明になる。
この発明は上記事情に着目してなされたもので、その目的とするところは、実空間上の対象物が移動した後も、少なくとも当該対象物の痕跡を表示することを可能とする情報提示装置及び情報提示方法とそのプログラムを提供することにある。
However, like the above-described conventional information presentation apparatus, when information is superimposed on an object existing in real space and then projected, only the projected information is presented when an object in the real space moves. Until now, it is unclear what this information was given to.
The present invention has been made by paying attention to the above circumstances, and an object of the present invention is to provide an information presentation device capable of displaying at least traces of an object even after the object in real space has moved. And providing an information presentation method and a program thereof.

上記目的を達成するためにこの発明に係わる情報提示装置及び情報提示方法とそのプログラムは、撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を上記投影装置により上記空間に提示する情報提示装置であって、上記対象物を上記撮影装置により撮影して得られる第1の画像情報を取得する。そして、上記付加情報の入力を受け付ける手段と、上記取得された第1の画像情報と上記受け付けた付加情報とを合成して第2の画像情報を作成する手段とを備え、作成された第2の画像情報を上記対象物の存在位置に対応付けて、上記投影装置により上記空間に投影させるようにしたものである。   In order to achieve the above object, an information presentation device, an information presentation method, and a program therefor according to the present invention project additional information related to an object existing in the space in the space where the imaging device and the projection device are arranged. It is an information presentation device presented in the space by the device, and obtains first image information obtained by photographing the object by the photographing device. And means for receiving the input of the additional information and means for generating the second image information by combining the acquired first image information and the received additional information. The image information is associated with the position where the object is present and projected onto the space by the projection device.

このように構成することにより、実空間上の対象物が移動した後も、対象物に関する情報と対象物との関連性を明確に表すことが可能になる。このため、対象物が移動してしまった場合でも、付加情報のみがそのまま提示されることなく、何に関する付加情報であるか明確に把握させることができる。   By configuring in this way, it is possible to clearly represent the relationship between the information related to the object and the object even after the object in the real space has moved. For this reason, even if the target object has moved, only the additional information is not presented as it is, and it is possible to clearly grasp what is the additional information.

また、この発明は次のような各種構成を備えることも特徴とする。
第1の構成は、上記第1の画像情報中の対象物を含む特定の範囲を指定する情報の入力を受け付ける手段と、上記受け付けた特定範囲を指定する情報に基づいて、上記第1の画像情報から上記特定範囲に該当する画像を抽出して第3の画像情報を作成する手段とをさらに備え、上記第2の画像情報を作成する手段は、上記作成された第3の画像情報と上記受け付けた付加情報とを合成して第2の画像情報を作成する。
これにより、対象物の特定範囲にのみ投影画像が表示されるため、対象物と付加情報との関連性を容易に把握することができる。
The present invention is also characterized by having the following various configurations.
The first configuration is based on means for accepting input of information specifying a specific range including an object in the first image information, and the first image based on the information specifying the received specific range. Means for extracting third image information by extracting an image corresponding to the specific range from the information, and the means for generating the second image information includes the generated third image information and the above-described third image information. The received additional information is combined to create second image information.
Thereby, since a projection image is displayed only in the specific range of a target object, the relationship between a target object and additional information can be grasped | ascertained easily.

第2の構成は、上記特定範囲を指定する情報の入力を受け付ける手段は、上記第1の画像情報中の対象物の輪郭を表す情報の入力を受け付けるようにする。
このようにすると、対象物の領域にのみに投影画像が表示されるため、対象物と付加情報との関連性をより確実に把握することができる。
In the second configuration, the means for accepting input of information specifying the specific range accepts input of information representing the contour of the object in the first image information.
In this way, since the projection image is displayed only in the region of the target object, the relevance between the target object and the additional information can be grasped more reliably.

第3の構成は、上記第2の画像情報を作成する手段は、上記第3の画像情報の表示の有無を制御する表示制御手段を備え、上記表示制御手段により表示有りと設定された場合は、上記作成された第3の画像情報と上記受け付けた付加情報とを合成して第2の画像情報を作成し、上記表示制御手段により表示無しと設定された場合は、上記受け付けた付加情報のみからなる第2の画像情報を作成するものである。
このように構成すると、実空間に対象物が存在する場合は、対象物の画像を投影しないようにすることができる。これにより、実空間の対象物に対象物の画像が重畳されて視認性を損なうことがない。
According to a third configuration, the means for creating the second image information includes display control means for controlling whether or not the third image information is displayed, and when the display control means sets display to be present. The second image information is created by combining the generated third image information and the received additional information, and when the display control means sets no display, only the received additional information is displayed. The second image information consisting of is created.
If comprised in this way, when a target object exists in real space, it can avoid projecting the image of a target object. Thereby, the image of the object is not superimposed on the object in the real space, and the visibility is not impaired.

第4の構成は、上記表示制御手段は、上記対象物が上記空間内の上記特定範囲に存在するか否かを判定する対象物検出手段と、上記対象物検出手段により、上記対象物が上記特定範囲に存在しないと判定された場合には上記第3の画像情報を表示有りに設定し、上記対象物が上記特定範囲に存在すると判定された場合には上記第3の画像情報を表示無しに設定する。   According to a fourth configuration, the display control means includes a target detection means for determining whether or not the target is present in the specific range in the space, and the target detection means, so that the target is detected by the target detection means. If it is determined that the object does not exist in the specific range, the third image information is set to display. If the object is determined to exist in the specific range, the third image information is not displayed. Set to.

これにより、対象物が存在するか否かを検出して、対象物の画像の表示・非表示が自律的に切り替えられるため、対象物に関する情報を対象物と共により確実に伝達することが可能となる。
第5の構成は、上記対象物検出手段は、上記撮影装置により撮影して得られる第4の画像情報と上記第3の画像情報との差分値を算出し、算出された差分値が所定の閾値を超えた場合には上記対象物が存在しないと判定し、上記算出された差分値が所定の閾値を超えない場合には上記対象物が存在すると判定する。
このように構成することにより、新たに他の装置を必要とすることなく実現可能であり、例えば、市販の画像処理アルゴリズムを用いて対象物の存在を簡単に検出することができる。
As a result, it is possible to detect whether or not the target object is present and autonomously switch between display and non-display of the target object image, so that information on the target object can be more reliably transmitted together with the target object. Become.
In the fifth configuration, the object detection means calculates a difference value between the fourth image information obtained by photographing with the photographing device and the third image information, and the calculated difference value is a predetermined value. When the threshold value is exceeded, it is determined that the object does not exist, and when the calculated difference value does not exceed a predetermined threshold value, it is determined that the object exists.
By configuring in this way, it can be realized without requiring another new device. For example, the presence of an object can be easily detected using a commercially available image processing algorithm.

第6の構成は、空間に存在する対象物を撮影装置により撮影して得られる第1の画像情報を取得する手段を備え、上記第1の画像情報を取得したのち、上記対象物が上記空間内の存在位置に存在するか否かを検出する。この検出により、上記対象物が上記存在位置に存在しないと判定された場合に、上記第1の画像情報を上記対象物の存在位置に対応付けて、投影装置により上記空間に投影させるものである。
このようにすると、付加情報が提示されなくとも、実空間上の対象物が移動した場合に、実空間上に存在した当該対象物の痕跡を明示することができる。
The sixth configuration includes means for obtaining first image information obtained by photographing an object existing in a space with a photographing device, and after obtaining the first image information, the object is in the space. It is detected whether or not it exists in the existing position. When it is determined by this detection that the object does not exist at the existence position, the first image information is associated with the existence position of the object and projected onto the space by the projection device. .
In this way, even when the additional information is not presented, when the object in the real space moves, the trace of the object existing in the real space can be clearly indicated.

要するにこの発明によれば、実空間上の対象物が移動した後も、少なくとも当該対象物の痕跡を表示することを可能とする情報提示装置及び情報提示方法とそのプログラムを提供することができる。   In short, according to the present invention, it is possible to provide an information presentation device, an information presentation method, and a program thereof that can display at least traces of the target object even after the target object in real space has moved.

(第1の実施形態)
図1は、この発明の第1の実施形態に係わる情報提示装置を備える情報提示システムを示す概略構成図である。
この情報提示システムは、情報提示装置1とカメラ2とプロジェクタ3とを備える。カメラ2及びプロジェクタ3は、情報提示装置1にそれぞれ接続されている。また、情報提示装置1には、キーボードやマウス等からなる入力装置18と液晶表示器(LCD)等の表示装置19とが接続される。
(First embodiment)
FIG. 1 is a schematic configuration diagram showing an information presentation system including an information presentation apparatus according to the first embodiment of the present invention.
This information presentation system includes an information presentation device 1, a camera 2, and a projector 3. The camera 2 and the projector 3 are connected to the information presentation device 1 respectively. The information presentation apparatus 1 is connected with an input device 18 such as a keyboard and a mouse and a display device 19 such as a liquid crystal display (LCD).

また、カメラ2及びプロジェクタ3は、同図に示すようにカメラ2の撮影範囲とプロジェクタ3の映像投影範囲が一致するように固定されている。例えば、ハーフミラーやミラー、カメラ2やプロジェクタ3のフォーカス・ズーム機能を用いて、カメラ2とプロジェクタ3の光軸と画角を一致させる。この状態で、カメラ2による撮影画像をそのままプロジェクタ3に出力した場合、被写体である対象物5に対象物5の撮影画像が重なって投影される。また、投影付加情報51は、ユーザが情報提示装置1から入力した対象物5に関連する情報であり、プロジェクタ3により投影される画像、映像またはテキストデータ等で表される。   The camera 2 and the projector 3 are fixed so that the shooting range of the camera 2 and the video projection range of the projector 3 coincide as shown in FIG. For example, the optical axis and the field angle of the camera 2 and the projector 3 are made to coincide with each other by using a half mirror, a mirror, and the focus / zoom function of the camera 2 and the projector 3. In this state, when an image captured by the camera 2 is output to the projector 3 as it is, the image captured by the object 5 is projected onto the object 5 that is the subject. The projection additional information 51 is information related to the object 5 input by the user from the information presentation device 1 and is represented by an image, video, text data, or the like projected by the projector 3.

図2は、この発明の第1の実施形態に係わる情報提示装置1の機能構成を示すブロック図である。
情報提示装置1は、主制御部として中央処理ユニット(CPU:Central Processing Unit)11を備える。このCPU11にバス12を介してデータメモリ13とプログラムメモリ14が接続され、さらに、カメラ入力インタフェース(カメラ入力I/F)15と、プロジェクタ出力インタフェース(プロジェクタ出力I/F)16と、入出力インタフェース(入出力I/F)17とが接続される。そして、入出力I/F17には、上述したキーボード等の入力装置18及びLCD等の表示装置19がそれぞれ接続されている。
FIG. 2 is a block diagram showing a functional configuration of the information presentation apparatus 1 according to the first embodiment of the present invention.
The information presentation apparatus 1 includes a central processing unit (CPU) 11 as a main control unit. A data memory 13 and a program memory 14 are connected to the CPU 11 via a bus 12, and further a camera input interface (camera input I / F) 15, a projector output interface (projector output I / F) 16, and an input / output interface. (Input / output I / F) 17 is connected. The input / output I / F 17 is connected to the above-described input device 18 such as a keyboard and a display device 19 such as an LCD.

カメラ入力I/F15は、上記カメラ2との接続インタフェースであり、カメラ2の撮影画像を入力する機能を有する。また、プロジェクタ出力I/F16は、プロジェクタ3との接続インタフェースであり、CPU11の制御のもと、プロジェクタ3に投影画像を出力する。   The camera input I / F 15 is a connection interface with the camera 2 and has a function of inputting a photographed image of the camera 2. The projector output I / F 16 is a connection interface with the projector 3 and outputs a projection image to the projector 3 under the control of the CPU 11.

データメモリ13は、例えば、RAMやハードディスクにより構成され、領域情報記憶エリア13aと投影画像記憶エリア13bが記憶される。領域情報記憶エリア13aには、プロジェクタ3により投影される投影画像を作成するための領域情報が記憶される。図3に領域情報記憶エリア13aの構成を示す。   The data memory 13 is composed of, for example, a RAM or a hard disk, and stores an area information storage area 13a and a projection image storage area 13b. The area information storage area 13 a stores area information for creating a projection image projected by the projector 3. FIG. 3 shows the configuration of the area information storage area 13a.

領域情報記憶エリア13aに記憶される各領域情報は、領域情報を識別するためのIDと、領域画像と、付加情報と、領域座標と、表示フラグとから構成される。領域画像は、カメラ2の撮影画像から対象物5を含む領域を抽出した画像である。付加情報は、画像やテキストデータ等からなる対象物5に関連する付加情報である。領域座標は、上記カメラ2の撮影画像における対象物5の領域を表す座標値である。表示フラグは、領域画像を表示するか否かを“ON”と“OFF”で設定する。   Each area information stored in the area information storage area 13a includes an ID for identifying area information, an area image, additional information, area coordinates, and a display flag. The area image is an image obtained by extracting an area including the object 5 from the image captured by the camera 2. The additional information is additional information related to the object 5 made up of images, text data, and the like. The area coordinates are coordinate values that represent the area of the object 5 in the captured image of the camera 2. The display flag is set to “ON” or “OFF” whether or not to display the area image.

投影画像記憶エリア13bには、上記領域情報記憶エリア13aに基づいて、後述する投影制御プログラム14bにより作成されるプロジェクタ3の投影画像が記憶される。また、投影画像記憶エリア13bに記憶された投影画像は、投影制御プログラム14bにより、プロジェクタ出力I/F16を介してプロジェクタ3に出力される。   In the projection image storage area 13b, a projection image of the projector 3 created by the projection control program 14b described later is stored based on the area information storage area 13a. Further, the projection image stored in the projection image storage area 13b is output to the projector 3 via the projector output I / F 16 by the projection control program 14b.

プログラムメモリ14には、この発明を実現するための制御プログラムとして、領域情報受付プログラム14aと投影制御プログラム14bとが格納される。領域情報受付プログラム14aは、上記領域情報を構成するための入力データを受け付け、領域情報記憶エリア13aに記憶する機能を有する。また上述したように、投影画像記憶エリア13bには、領域画像を表示するか否かの表示フラグがそれぞれ設けられており、領域情報受付プログラム14aは、この表示フラグを“ON”又は“OFF”に更新する処理を行う。   The program memory 14 stores an area information receiving program 14a and a projection control program 14b as control programs for realizing the present invention. The area information receiving program 14a has a function of receiving input data for configuring the area information and storing it in the area information storage area 13a. As described above, the projection image storage area 13b is provided with a display flag indicating whether or not to display an area image. The area information reception program 14a sets the display flag to "ON" or "OFF". Process to update to.

投影制御プログラム14bは、上記領域情報記憶エリア13aに記憶される領域情報を読み出して、この読み出された領域情報をもとにプロジェクタ3の投影画像を作成し、作成した投影画像を投影画像記憶エリア13bに記憶すると共に、プロジェクタ出力I/F16からプロジェクタ3に出力する。   The projection control program 14b reads the region information stored in the region information storage area 13a, creates a projection image of the projector 3 based on the read region information, and stores the created projection image in the projection image storage. The information is stored in the area 13b and output from the projector output I / F 16 to the projector 3.

次に、以上のように構成された情報提示装置1の動作について説明する。図4は、この情報提示装置1の領域情報受付処理の手順とその内容を示すフローチャートである。
はじめに、ステップS4aにより、情報提示装置1は、カメラ2による対象物5の撮影画像をカメラ入力I/F15から取り込み、入出力I/F17により表示装置19に出力する。次に、情報提示装置1のCPU11は、領域情報受付プログラム14aを実行し、キーボードやマウス等の入力装置18から入力される領域情報(ここでは、付加情報、領域座標、表示フラグ)を入出力I/F17を介して取り込む。付加情報は、対象物5に関する表示情報であり、画像データまたは、キーボード等の入力装置から入力されたテキストデータなどである。領域座標は、例えば、対象物5の撮像画像が表示されている表示装置19の画面上で、マウス等の入力装置18により対象物5を包含する領域を移動させ、この移動操作の始点から終点までの軌跡の座標値とする。
Next, the operation of the information presentation apparatus 1 configured as described above will be described. FIG. 4 is a flowchart showing the procedure and contents of the area information receiving process of the information presentation apparatus 1.
First, in step S4a, the information presenting apparatus 1 captures a captured image of the object 5 by the camera 2 from the camera input I / F 15 and outputs it to the display device 19 through the input / output I / F 17. Next, the CPU 11 of the information presentation apparatus 1 executes the area information reception program 14a, and inputs and outputs area information (here, additional information, area coordinates, and display flag) input from the input device 18 such as a keyboard and a mouse. Capture via I / F 17. The additional information is display information related to the object 5, and is image data or text data input from an input device such as a keyboard. For example, the region coordinates are obtained by moving a region including the target object 5 with the input device 18 such as a mouse on the screen of the display device 19 on which the captured image of the target object 5 is displayed. The coordinate value of the trajectory up to.

次に、ステップS4cにおいて、上記受け付けた領域座標に従ってカメラ2のよる撮影画像から領域画像を抽出する。そして、ステップS4dにより、この領域画像と領域座標と付加情報と表示フラグとを各領域情報に固有に発行されるIDに対応付けて領域情報記憶エリア13aに記憶させる。   Next, in step S4c, an area image is extracted from the image captured by the camera 2 in accordance with the received area coordinates. In step S4d, the region image, the region coordinates, the additional information, and the display flag are stored in the region information storage area 13a in association with the ID that is uniquely issued to each region information.

次に、上記記憶された領域情報にしたがって、情報提示装置1の情報提示動作について説明する。図5は、この情報提示装置1の領域情報提示処理の手順とその内容を示すフローチャートである。
情報提示装置1のCPU11は、投影制御プログラム14bを実行して、先ず、投影画像記憶エリア13bに記憶される投影画像を初期化したのち、ステップS5a〜S5fにおいて、プロジェクタ3に投影させる投影画像の作成処理を行う。ステップS5bにおいて、領域情報記憶エリア13aから領域情報を読み出す。
Next, the information presentation operation of the information presentation device 1 will be described according to the stored area information. FIG. 5 is a flowchart showing the procedure and contents of the area information presentation process of the information presentation apparatus 1.
The CPU 11 of the information presentation apparatus 1 executes the projection control program 14b, first initializes the projection image stored in the projection image storage area 13b, and then in step S5a to S5f, the projection image to be projected on the projector 3 is displayed. Perform the creation process. In step S5b, the area information is read from the area information storage area 13a.

そして、ステップS5cにより、表示フラグが、“ON”に設定されているか否かを判定する。この判定により、表示フラグが“ON”の場合は、ステップS5dに移行して、領域画像を領域座標に従って投影画像に書き込む。続いて、ステップS5eにおいて付加情報を上記投影画像に書き込む。一方、ステップS5cの判定において、表示フラグが“OFF”の場合は、ステップS5dの書き込み処理をスキップして、ステップS5eに移行して、付加情報のみを上記投影画像に書き込む。このステップS5b〜S5fの処理を領域情報記憶エリア13aに記憶されるすべての各領域情報についてそれぞれ行う。   In step S5c, it is determined whether the display flag is set to “ON”. If it is determined that the display flag is “ON”, the process proceeds to step S5d, and the area image is written in the projection image according to the area coordinates. Subsequently, in step S5e, additional information is written into the projection image. On the other hand, if it is determined in step S5c that the display flag is “OFF”, the writing process in step S5d is skipped, the process proceeds to step S5e, and only the additional information is written in the projection image. The processes of steps S5b to S5f are performed for all the area information stored in the area information storage area 13a.

そして、上述の処理のように投影画像を作成したのち、ステップS5gにおいて、情報提示装置1のCPU11は、作成された投影画像を投影画像記憶エリア13bに記憶させると共に、この投影画像をプロジェクタ出力I/F16によりプロジェクタ3に出力する。かくして、実空間上の対象物5に重畳された領域画像(対象物5の画像)及びこの対象物5に関連する投影付加情報51がプロジェクタ3により投影される。   Then, after creating a projection image as described above, in step S5g, the CPU 11 of the information presenting apparatus 1 stores the created projection image in the projection image storage area 13b and the projection image I. Output to the projector 3 by / F16. Thus, the projector 3 projects the area image (image of the target object 5) superimposed on the target object 5 in the real space and the projection additional information 51 related to the target object 5.

このように第1の実施形態では、情報提示装置1のCPU11は、領域情報受付プログラム14aを実行して、カメラ入力I/F15から入力されたカメラ2の撮影画像を表示装置19に表示する。そして、入力装置18から入力される領域情報を受け付け、領域情報記憶エリア13aに記憶させる。また、情報提示装置1のCPU11は、投影制御プログラム14bを実行して、上記領域情報記憶エリア13aに記憶された領域情報をそれぞれ読み出して、投影画像を作成し、作成された投影画像を投影画像記憶エリア13bに記憶すると共に、この投影画像をプロジェクタ出力I/F16からプロジェクタ3に出力するようにしたものである。   As described above, in the first embodiment, the CPU 11 of the information presentation device 1 executes the area information reception program 14 a and displays the captured image of the camera 2 input from the camera input I / F 15 on the display device 19. Then, the area information input from the input device 18 is received and stored in the area information storage area 13a. In addition, the CPU 11 of the information presentation device 1 executes the projection control program 14b, reads each area information stored in the area information storage area 13a, creates a projection image, and creates the projection image as a projection image. In addition to being stored in the storage area 13b, this projection image is output from the projector output I / F 16 to the projector 3.

したがって第1の実施形態によれば、図10(b)に示したように、対象物5に関する投影付加情報51だけでなく、対象物の画像52も合わせてプロジェクタ3により実際の対象物5に重畳して投影される。従来では、図10(a)のように投影付加情報51のみが投影されていたので、実際の対象物5が存在しなくなった場合に、投影された投影付加情報51が何に対する情報であるのか不明となっていた。この発明では、投影付加情報51と共に対象物の画像52も表示されているため、何に関する付加情報であるのかを確実に把握させることができる。   Therefore, according to the first embodiment, as shown in FIG. 10B, not only the projection additional information 51 related to the object 5 but also the image 52 of the object is combined with the actual object 5 by the projector 3. Projected in a superimposed manner. Conventionally, since only the projection additional information 51 is projected as shown in FIG. 10A, what information the projected projection additional information 51 is for when the actual object 5 no longer exists. It was unknown. In this invention, since the image 52 of the target object is displayed together with the projection additional information 51, it is possible to reliably grasp what the additional information is related to.

また、表示フラグを設定することにより領域画像を表示するか否かを制御できる。このように構成すると、実空間に対象物5が存在する場合は、図10(a)に示すように対象物の画像52を投影しないようにすることができる。これにより、実空間の対象物5に対象物の画像52が重畳されることによる視認性の低下を避けることができる。   In addition, it is possible to control whether or not to display a region image by setting a display flag. If comprised in this way, when the target object 5 exists in real space, as shown to Fig.10 (a), it can avoid projecting the image 52 of a target object. Thereby, it is possible to avoid a decrease in visibility due to the object image 52 being superimposed on the object 5 in the real space.

なお、上記第1の実施形態において、領域座標は、マウス等の入力装置18の移動軌跡の座標値とするように構成したが、その他にも、入力装置18から対象物5を選択することで、市販の画像認識アルゴリズムにより対象物5の輪郭を抽出し、抽出された輪郭を表す座標値を領域座標として用いるようにしてもよい。   In the first embodiment, the region coordinates are configured to be the coordinate values of the movement trajectory of the input device 18 such as a mouse, but in addition, by selecting the object 5 from the input device 18. Alternatively, the contour of the object 5 may be extracted by a commercially available image recognition algorithm, and coordinate values representing the extracted contour may be used as region coordinates.

(第2の実施形態)
図6は、この発明の第2の実施形態に係わる情報提示装置1Aの機能構成を示すブロック図である。なお、この図は、上記第1の実施形態における情報提示装置1の他の構成例を示すものであり、同図において上記図2と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置1Aは、CPU11を備え、このCPU11にバス12を介してデータメモリ131とプログラムメモリ141が接続され、さらに、カメラ入力I/F15と、プロジェクタ出力I/F16と入出力I/F17とが接続される。そして、上記第1の実施形態と同様に入出力I/F17には入力装置18と表示装置19とが接続されている。
(Second Embodiment)
FIG. 6 is a block diagram showing a functional configuration of an information presentation apparatus 1A according to the second embodiment of the present invention. This figure shows another configuration example of the information presentation apparatus 1 in the first embodiment. In the figure, the same parts as those in FIG. .
The information presentation apparatus 1A includes a CPU 11, a data memory 131 and a program memory 141 are connected to the CPU 11 via a bus 12, and further, a camera input I / F 15, a projector output I / F 16, an input / output I / F 17, and the like. Is connected. As in the first embodiment, an input device 18 and a display device 19 are connected to the input / output I / F 17.

データメモリ131には、領域情報記憶エリア131aと投影画像記憶エリア13bとカメラ画像記憶エリア13cとが記憶される。領域情報記憶エリア131aに記憶される各領域情報は、領域情報を識別するためのIDと、領域画像と、付加情報と、領域座標とから構成される。すなわち、上記第1の実施形態の領域情報記憶エリア13aから、表示フラグが削除されたものである。カメラ画像記憶エリア13cには、カメラ入力I/F15から入力されたカメラ2の撮影画像が記憶される。   The data memory 131 stores an area information storage area 131a, a projection image storage area 13b, and a camera image storage area 13c. Each area information stored in the area information storage area 131a includes an ID for identifying the area information, an area image, additional information, and area coordinates. That is, the display flag is deleted from the area information storage area 13a of the first embodiment. In the camera image storage area 13c, a photographed image of the camera 2 input from the camera input I / F 15 is stored.

プログラムメモリ141には、領域情報受付プログラム14aと投影制御プログラム141bとに加え、差分算出プログラム14cが格納される。差分算出プログラム14cは、上記カメラ画像記憶エリア13cに記憶されるカメラ画像と領域情報記憶エリア131aに記憶される各領域画像との差分をそれぞれ算出する機能を有する。詳細については、後述する。   The program memory 141 stores a difference calculation program 14c in addition to the area information reception program 14a and the projection control program 141b. The difference calculation program 14c has a function of calculating the difference between the camera image stored in the camera image storage area 13c and each area image stored in the area information storage area 131a. Details will be described later.

このように構成された情報提示装置1Aの動作について説明する。図7は、この情報提示装置1Aの領域情報提示処理の手順とその内容を示すフローチャートである。なお、これに先立ち、上記第1の実施形態と同様に図4に示した領域情報受付処理が行われたものとする。   The operation of the information presentation device 1A configured as described above will be described. FIG. 7 is a flowchart showing the procedure and contents of the area information presentation process of the information presentation apparatus 1A. Prior to this, it is assumed that the area information reception process shown in FIG. 4 is performed in the same manner as in the first embodiment.

情報提示装置1AのCPU11は、投影制御プログラム14bを実行して、先ず、投影画像記憶エリア13bに記憶される投影画像を初期化したのち、ステップS7a〜S7gにおいて、プロジェクタ3に投影させる投影画像の作成処理を行う。ステップS7bにより、領域情報記憶エリア131aから領域情報(領域画像、領域座標、付加情報)を読み出す。次に、ステップS7cにおいて、上記読み出された領域情報をもとに、領域画像とカメラ画像記憶エリア13cに記憶されるカメラ画像との領域座標内における画素ごとの差分値の総和を算出する。   The CPU 11 of the information presenting apparatus 1A executes the projection control program 14b, first initializes the projection image stored in the projection image storage area 13b, and then in step S7a to S7g, the projection image to be projected on the projector 3 is displayed. Perform the creation process. In step S7b, region information (region image, region coordinates, additional information) is read from the region information storage area 131a. Next, in step S7c, based on the read area information, the sum of the difference values for each pixel in the area coordinates between the area image and the camera image stored in the camera image storage area 13c is calculated.

そして、ステップS7dにおいて、上記算出された差分値の総和と予め決められた閾値とを比較判定し、差分値の総和が閾値より大きい場合には、ステップS7eに移行して、領域画像を領域座標に従って投影画像に書き込む。これに続いて、ステップS7fにおいて付加情報を上記投影画像に書き込む。一方、ステップS7dの判定において、差分値の総和が閾値より小さい場合は、ステップS7dの領域画像の書き込み処理をスキップして、ステップS7fに移行して、付加情報のみを上記投影画像に書き込む。このステップS7b〜S7fの処理を領域情報記憶エリア131aに記憶されるすべての各領域情報についてそれぞれ行う。   Then, in step S7d, a comparison is made between the calculated sum of the difference values and a predetermined threshold value. If the sum of the difference values is larger than the threshold value, the process proceeds to step S7e, and the region image is converted into region coordinates. Write to the projected image according to Following this, additional information is written into the projection image in step S7f. On the other hand, if it is determined in step S7d that the sum of the difference values is smaller than the threshold value, the area image writing process in step S7d is skipped, and the process proceeds to step S7f to write only the additional information in the projection image. The processes in steps S7b to S7f are performed for all the area information stored in the area information storage area 131a.

そして、上述の処理のように投影画像を作成したのち、ステップS7hにおいて、情報提示装置1AのCPU11は、作成された投影画像を投影画像記憶エリア13bに記憶させると共に、この投影画像をプロジェクタ出力I/F16によりプロジェクタ3に出力する。かくして、実空間上の対象物5に重畳された領域画像(対象物5の画像)及びこの対象物5に関連する投影付加情報51がプロジェクタ3により投影される。   Then, after creating the projection image as described above, in step S7h, the CPU 11 of the information presenting apparatus 1A stores the created projection image in the projection image storage area 13b, and also outputs this projection image to the projector output I. Output to the projector 3 by / F16. Thus, the projector 3 projects the area image (image of the target object 5) superimposed on the target object 5 in the real space and the projection additional information 51 related to the target object 5.

第2の実施形態では、カメラ2から入力される対象物5の撮影画像と領域画像との画素ごとの差分値の総和を算出し、算出された値が予め決められた閾値より大きい場合は、領域画像をプロジェクタ3により投影し、閾値より小さい場合には領域画像を投影しないようにする。つまり、実空間上の対象物5が移動した場合には、領域画像(対象物5の画像)が投影され、実空間上に対象物5が領域情報登録時の位置に存在する場合には、対象物5に領域画像(対象物5の画像)が重畳されることがない。   In the second embodiment, the sum of the difference values for each pixel between the captured image of the target object 5 and the region image input from the camera 2 is calculated, and when the calculated value is larger than a predetermined threshold value, The area image is projected by the projector 3, and if the area image is smaller than the threshold value, the area image is not projected. That is, when the target object 5 in the real space moves, a region image (image of the target object 5) is projected, and when the target object 5 exists on the real space at the position when registering the region information, The area image (image of the object 5) is not superimposed on the object 5.

このような構成であるから、実空間に対象物5が存在するか否かを検出して、対象物5の領域画像の表示/非表示が自律的に切り替えられるため、対象物5に関する投影付加情報51を対象物5と共により確実に伝達することが可能となる。また、これにより、投影付加情報51が存在しない場合でも、実空間上に対象物5が存在した痕跡を明示することができる。   Since it is such a configuration, it is detected whether or not the object 5 exists in the real space, and the display / non-display of the area image of the object 5 is autonomously switched. It becomes possible to transmit the information 51 together with the object 5 more reliably. This also makes it possible to clearly show the trace of the object 5 in real space even when the projection additional information 51 does not exist.

また、実空間に対象物5が存在するか否かの検出処理は、カメラ2の撮影画像と上記領域画像との差分値を算出し、算出された差分値が所定の閾値を超えた場合には、上記対象物が存在しないと判定し、算出された差分値が所定の閾値を超えない場合は、上記対象物5が実空間に存在すると判定している。
このように構成することにより、新たに他の装置を必要とすることなく実現可能であり、例えば、市販の画像処理アルゴリズムを用いて対象物の存在を簡単に検出することができる。また、実空間に対象物5が存在するか否かを判定するための閾値にある程度の幅をもたせることで、例えば、照明条件が多少変化しても対象物5を認識することができるため、ある程度の環境の変化に対しても安定した動作が可能である。
In addition, the detection process for determining whether or not the object 5 exists in the real space calculates a difference value between the captured image of the camera 2 and the region image, and when the calculated difference value exceeds a predetermined threshold value. Determines that the object does not exist, and determines that the object 5 exists in the real space if the calculated difference value does not exceed a predetermined threshold.
By configuring in this way, it can be realized without requiring another new device. For example, the presence of an object can be easily detected using a commercially available image processing algorithm. Moreover, since the threshold value for determining whether or not the target object 5 exists in the real space has a certain width, for example, the target object 5 can be recognized even if the illumination condition slightly changes. Stable operation is possible even with a certain degree of environmental change.

さらに、上記判定において、差分算出に用いた画素数、つまり領域座標に含まれる画素数を用いて、(算出された差分値)/(差分算出に用いた画素数)の値を求め、この値が予め設定された閾値を超えるか否かで対象物5の有無を判定するようにしてもよい。これにより、上述した差分値の積算よりも、領域座標に含まれる画素数で正規化された値を用いることで、領域画像の大小にかかわらず、より適切な指標によって対象物5の有無を判定することができる。   Furthermore, in the above determination, the value of (calculated difference value) / (number of pixels used for difference calculation) is obtained using the number of pixels used for difference calculation, that is, the number of pixels included in the region coordinates, and this value The presence / absence of the object 5 may be determined based on whether or not exceeds a preset threshold value. Thus, by using the value normalized by the number of pixels included in the region coordinates rather than the integration of the difference values described above, the presence / absence of the object 5 is determined by a more appropriate index regardless of the size of the region image. can do.

なお、上記第2の実施形態では、カメラ2の撮影画像と領域画像とを画像処理により比較させて実空間上の対象物5の有無を判定するように構成したが、対象物5が領域座標に該当する位置に存在するか否かを検出できればよく、例えば、赤外線センサや超音波センサのような他の検出器を使用するようにしてもよい。   In the second embodiment, the image captured by the camera 2 and the area image are compared by image processing to determine the presence or absence of the object 5 in the real space. For example, other detectors such as an infrared sensor and an ultrasonic sensor may be used.

(第3の実施形態)
図8は、第3の実施形態に係わる情報提示装置を備えた遠隔作業支援システムの概略構成図である。なお、同図において上記第1の実施形態における図1と同一部分には同一符号を付して詳しい説明は省略する。
この遠隔作業支援システムは、作業現場に配置される情報提示装置1Bと遠隔指示者がいるサポートセンタに配置される指示装置6との間を通信ネットワークNWを介して接続可能としたものである。上記通信ネットワークNWは、有線伝送路、無線伝送路のどちらでもよく、例えば、LAN(Local Area Network)やインターネットを含むWAN(Wide Area Network)を介するように構成してもよい。情報提示装置1Bには、第1の実施形態と同様にカメラ2及びプロジェクタ3がそれぞれ接続されている。また、指示装置6には、液晶表示器(LCD)などの表示装置とキーボードやマウス等からなる入力装置が接続される。
(Third embodiment)
FIG. 8 is a schematic configuration diagram of a remote work support system including an information presentation device according to the third embodiment. In the figure, the same parts as those in FIG. 1 in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
In this remote work support system, the information presentation apparatus 1B arranged at the work site and the instruction apparatus 6 arranged in the support center where the remote instructor is located can be connected via the communication network NW. The communication network NW may be either a wired transmission path or a wireless transmission path. For example, the communication network NW may be configured to pass through a LAN (Local Area Network) or a WAN (Wide Area Network) including the Internet. Similarly to the first embodiment, a camera 2 and a projector 3 are connected to the information presentation device 1B. Further, a display device such as a liquid crystal display (LCD) and an input device such as a keyboard and a mouse are connected to the instruction device 6.

図9は、図8に示した情報提示装置1Bの機能構成を示すブロック図である。なお、この図は、上記第1の実施形態における情報提示装置1の他の構成例を示すものであり、同図において上記図2と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置1Bは、情報提示装置1における入出力I/F17、入力装置18、及び表示装置19のかわりに通信インタフェース(通信I/F)20を備える。通信I/F20は、上記通信ネットワークNWを経由してサポートセンタに設置される指示装置6との間で通信を行う。また、CPU11に接続されるプログラムメモリ142は、領域情報受付プログラム142aと投影制御プログラム14bとを格納する。
FIG. 9 is a block diagram showing a functional configuration of the information presentation device 1B shown in FIG. This figure shows another configuration example of the information presentation apparatus 1 in the first embodiment. In the figure, the same parts as those in FIG. .
The information presentation device 1 </ b> B includes a communication interface (communication I / F) 20 instead of the input / output I / F 17, the input device 18, and the display device 19 in the information presentation device 1. The communication I / F 20 performs communication with the instruction device 6 installed in the support center via the communication network NW. The program memory 142 connected to the CPU 11 stores an area information reception program 142a and a projection control program 14b.

領域情報受付プログラム142aは、指示装置6から入力される領域情報を通信I/F20により受信して、領域情報記憶エリア13aに記憶する。第1の実施形態で述べたように、投影画像記憶エリア13bには、領域画像を表示するか否かの表示フラグがそれぞれ設けられており、領域情報受付プログラム142aは、指示装置6から送信される表示フラグに基づいて、この表示フラグを“ON”又は“OFF”に更新する処理を行う。   The area information reception program 142a receives the area information input from the instruction device 6 through the communication I / F 20, and stores it in the area information storage area 13a. As described in the first embodiment, the projection image storage area 13b is provided with a display flag indicating whether or not to display a region image, and the region information reception program 142a is transmitted from the instruction device 6. The display flag is updated to “ON” or “OFF” based on the display flag.

指示装置6は、例えば、パーソナル・コンピュータにより構成され、表示装置と入力装置と通信I/Fとを備える。通信I/Fは、上記通信ネットワークNWを経由して作業現場に設置される情報提示装置1Bとの間で通信を行う。表示装置は、液晶表示器(LCD)等により構成され、情報提示装置1Bから送られるカメラ2の撮影画像を表示する。入力装置は、例えば、キーボードやマウスが用いられ、遠隔指示者が領域情報を入力するのに使用される。入力された領域情報は作業装置の通信I/Fから通信ネットワークNWを介して情報提示装置1Bに送信される。   The instruction device 6 is configured by, for example, a personal computer, and includes a display device, an input device, and a communication I / F. The communication I / F communicates with the information presentation apparatus 1B installed at the work site via the communication network NW. The display device is configured by a liquid crystal display (LCD) or the like, and displays a photographed image of the camera 2 sent from the information presentation device 1B. As the input device, for example, a keyboard and a mouse are used, and a remote instructor inputs region information. The input area information is transmitted from the communication I / F of the work apparatus to the information presentation apparatus 1B via the communication network NW.

以上のように構成された遠隔作業支援システムの動作について説明する。情報提示装置1BのCPU11は、領域情報受付プログラム142aを実行して、作業現場の様子をカメラ2により撮影し、この撮影画像を通信I/F20により通信ネットワークNWを介して指示装置6に向けて送信する。指示装置6は、情報提示装置1Bから送信されたカメラ2の撮影画像を受信して、表示装置に出力する。   The operation of the remote work support system configured as described above will be described. The CPU 11 of the information presenting apparatus 1B executes the area information receiving program 142a to photograph the state of the work site with the camera 2, and the photographed image is directed to the instruction apparatus 6 via the communication network NW by the communication I / F 20. Send. The instruction device 6 receives the captured image of the camera 2 transmitted from the information presentation device 1B and outputs it to the display device.

サポートセンタの遠隔指示者は、上記表示装置に表示されたカメラ2の撮影画像から作業現場の様子を把握し、マウス等で対象物5の領域を選択し、この対象物5の領域情報(ここでは、付加情報、領域座標、表示フラグ)を通信ネットワークNWを介して情報提示装置1Bに送信する。そして、情報提示装置1Bは、送信された領域情報を通信I/F20を介して受信する。その後、指示装置6から入力された領域情報にしたがって、第1の実施形態と同様に、上記図4のステップS4c〜S4dの処理を行い、領域情報が領域情報記憶エリア13aに記憶される。このように記憶された領域情報をもとに、第1の実施形態と同様に投影制御プログラム14bにより、対象物5の画像と共に、投影付加情報51がプロジェクタ3により投影される。   The remote instructor of the support center grasps the state of the work site from the photographed image of the camera 2 displayed on the display device, selects the area of the object 5 with a mouse or the like, and the area information of the object 5 (here Then, additional information, area coordinates, and display flags) are transmitted to the information presentation apparatus 1B via the communication network NW. Then, the information presentation device 1B receives the transmitted area information via the communication I / F 20. Thereafter, according to the region information input from the pointing device 6, the processing in steps S4c to S4d in FIG. 4 is performed as in the first embodiment, and the region information is stored in the region information storage area 13a. Based on the area information stored in this way, the projection additional information 51 is projected by the projector 3 together with the image of the object 5 by the projection control program 14b as in the first embodiment.

以上のように第3の実施形態では、情報提示装置1Bは、通信I/F20を備え、この通信I/F20により通信ネットワークNWを介して指示装置6との間で接続可能である。情報提示装置1BのCPU11は、領域情報受付プログラム142aを実行して、カメラ2の撮影画像を通信I/F20により指示装置6に送信する。一方、指示装置6は、上記送信されたカメラ2の撮像画像を表示装置に出力する。そして、指示装置6は、遠隔指示者から入力装置により入力された領域情報を通信ネットワークNWを介して情報提示装置1Bに送信する。情報提示装置1Bは、この指示装置6から送信された領域情報を通信I/F20により受信して、領域情報記憶エリア13aに記憶するようにしたものである。   As described above, in the third embodiment, the information presentation device 1B includes the communication I / F 20, and can be connected to the instruction device 6 via the communication network NW by the communication I / F 20. The CPU 11 of the information presentation device 1B executes the area information reception program 142a and transmits the captured image of the camera 2 to the instruction device 6 through the communication I / F 20. On the other hand, the instruction device 6 outputs the transmitted captured image of the camera 2 to a display device. And the instruction | indication apparatus 6 transmits the area | region information input with the input device from the remote instructor to the information presentation apparatus 1B via the communication network NW. The information presenting apparatus 1B receives the area information transmitted from the instruction apparatus 6 through the communication I / F 20 and stores it in the area information storage area 13a.

これにより、遠隔指示者は、サポートセンタに居ながらにして、作業現場の様子を把握すると共に、対象物5に関連する投影付加情報51を作業現場に提示することができる。さらに、作業現場の対象物5が存在するか否かを遠隔から確認して、領域画像(対象物5の画像)を表示するか否かを制御することができる。   Thus, the remote instructor can grasp the state of the work site while staying at the support center, and can present the projection additional information 51 related to the object 5 to the work site. Further, it is possible to remotely confirm whether or not the object 5 at the work site exists and control whether or not to display the region image (image of the object 5).

なお、第3の実施形態では、指示装置6から領域情報として領域座標と付加情報とを情報提示装置1Bに送信するように構成したが、表示装置に出力されているカメラ2の撮影画像から領域座標に基づいて領域画像を抽出し、抽出された領域画像と領域座標と付加情報とを送信するようにしてもよい。   In the third embodiment, the area coordinates and the additional information are transmitted as the area information from the pointing device 6 to the information presentation apparatus 1B. However, the area is determined from the captured image of the camera 2 output to the display apparatus. An area image may be extracted based on the coordinates, and the extracted area image, area coordinates, and additional information may be transmitted.

この発明は、上記各実施形態に限定されるものではない。例えば、この情報提示装置1は、第3の実施形態に示した遠隔作業支援システム以外にも、例えば、遠隔医療システムや教育支援システムのような様々な用途に適用することができる。また、情報提示装置1の構成、データメモリ13に記憶される項目、及びプログラムメモリ14に格納される各プログラムの処理手順とその処理内容についてもこの発明の要旨を逸脱しない範囲で種々に変形して実施できる。   The present invention is not limited to the above embodiments. For example, the information presentation apparatus 1 can be applied to various uses such as a telemedicine system and an education support system other than the remote work support system shown in the third embodiment. In addition, the configuration of the information presentation device 1, items stored in the data memory 13, and processing procedures and processing contents of each program stored in the program memory 14 are variously modified without departing from the gist of the present invention. Can be implemented.

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。   In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine the component covering different embodiment suitably.

この発明の第1の実施形態に係わる情報提示装置を備える情報提示システムを示す概略図。BRIEF DESCRIPTION OF THE DRAWINGS Schematic which shows an information presentation system provided with the information presentation apparatus concerning 1st Embodiment of this invention. 図1に示す情報提示装置の機能構成を示すブロック図。The block diagram which shows the function structure of the information presentation apparatus shown in FIG. 図2に示す情報提示装置の領域情報記憶エリアの構成を示す図。The figure which shows the structure of the area | region information storage area of the information presentation apparatus shown in FIG. 図1に示す情報提示装置の領域情報受付処理の手順とその内容を示すフローチャート。The flowchart which shows the procedure of the area | region information reception process of the information presentation apparatus shown in FIG. 1, and its content. 図1に示す情報提示装置の領域情報提示処理の手順とその内容を示すフローチャート。The flowchart which shows the procedure of the area | region information presentation process of the information presentation apparatus shown in FIG. 1, and its content. この発明の第2の実施形態に係わる情報提示装置を備える情報提示システムを示す概略図。Schematic which shows an information presentation system provided with the information presentation apparatus concerning 2nd Embodiment of this invention. 図6に示す情報提示装置の領域情報提示処理の手順とその内容を示すフローチャート。The flowchart which shows the procedure of the area | region information presentation process of the information presentation apparatus shown in FIG. 6, and its content. この発明の第3の実施形態に係わる情報提示装置を備える遠隔作業支援システムを示す概略図。Schematic which shows the remote work assistance system provided with the information presentation apparatus concerning the 3rd Embodiment of this invention. 図8に示す情報提示装置の機能構成を示すブロック図。The block diagram which shows the function structure of the information presentation apparatus shown in FIG. プロジェクタにより投影される画像を示す図。The figure which shows the image projected by a projector.

符号の説明Explanation of symbols

1,1A,1B…情報提示装置、2…カメラ2…プロジェクタ、5…対象物、51…付加情報、11…CPU、12…バス、13,131…データメモリ、13a,131a…領域情報記憶エリア、13b…投影画像記憶エリア、13c…カメラ画像記憶エリア、14,141,142…プログラムメモリ、14a,142a…領域情報受付プログラム、14b…投影制御プログラム、14c…差分算出プログラム、15…カメラ入力I/F、16…プロジェクタ出力I/F、17…入出力I/F、18…入力装置、19…表示装置、NW…通信ネットワーク、6…指示装置、51…投影付加情報、52…対象物の画像。   DESCRIPTION OF SYMBOLS 1,1A, 1B ... Information presentation apparatus, 2 ... Camera 2 ... Projector, 5 ... Object, 51 ... Additional information, 11 ... CPU, 12 ... Bus, 13, 131 ... Data memory, 13a, 131a ... Area information storage area , 13b ... projected image storage area, 13c ... camera image storage area, 14, 141, 142 ... program memory, 14a, 142a ... area information reception program, 14b ... projection control program, 14c ... difference calculation program, 15 ... camera input I / F, 16 ... Projector output I / F, 17 ... Input / output I / F, 18 ... Input device, 19 ... Display device, NW ... Communication network, 6 ... Indicator, 51 ... Projection additional information, 52 ... Object image.

Claims (10)

撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する情報提示装置であって、
前記対象物を前記撮影装置により撮影して得られる第1の画像情報を取得する手段と、
前記付加情報の入力を受け付ける手段と、
前記取得された第1の画像情報と前記受け付けた付加情報とを合成して第2の画像情報を作成する手段と、
前記作成された第2の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる手段と
を具備することを特徴とする情報提示装置。
An information presentation device for presenting additional information related to an object existing in the space to the space by the projection device in a space where the imaging device and the projection device are arranged,
Means for obtaining first image information obtained by photographing the object by the photographing device;
Means for receiving input of the additional information;
Means for combining the acquired first image information and the received additional information to create second image information;
An information presentation device comprising: means for causing the projection device to project the created second image information to the space in association with the position where the object exists.
前記第1の画像情報中の対象物を含む特定の範囲を指定する情報の入力を受け付ける手段と、
前記受け付けた特定範囲を指定する情報に基づいて、前記第1の画像情報から前記特定範囲に該当する画像を抽出して第3の画像情報を作成する手段と
をさらに具備し、
前記第2の画像情報を作成する手段は、
前記作成された第3の画像情報と前記受け付けた付加情報とを合成して第2の画像情報を作成することを特徴とする請求項1記載の情報提示装置。
Means for accepting input of information for designating a specific range including the object in the first image information;
Means for extracting third image information by extracting an image corresponding to the specific range from the first image information based on the information specifying the received specific range;
The means for creating the second image information includes:
The information presentation apparatus according to claim 1, wherein the second image information is created by synthesizing the created third image information and the received additional information.
前記特定範囲を指定する情報の入力を受け付ける手段は、
前記第1の画像情報中の対象物の輪郭を表す情報の入力を受け付けることを特徴とする請求項2記載の情報提示装置。
Means for receiving input of information specifying the specific range,
The information presentation apparatus according to claim 2, wherein an input of information representing an outline of an object in the first image information is received.
前記第2の画像情報を作成する手段は、
前記第3の画像情報の表示の有無を制御する表示制御手段
を備え、
前記表示制御手段により表示有りと設定された場合は、前記作成された第3の画像情報と前記受け付けた付加情報とを合成して第2の画像情報を作成し、前記表示制御手段により表示無しと設定された場合は、前記受け付けた付加情報のみからなる第2の画像情報を作成することを特徴とする請求項2記載の情報提示装置。
The means for creating the second image information includes:
Comprising display control means for controlling presence or absence of display of the third image information;
When the display control means sets display, the second image information is created by combining the created third image information and the received additional information, and no display is made by the display control means. The information presentation apparatus according to claim 2, wherein the second image information including only the received additional information is created.
前記表示制御手段は、
前記対象物が前記空間内の前記特定範囲に存在するか否かを判定する対象物検出手段と、
前記対象物検出手段により、前記対象物が前記特定範囲に存在しないと判定された場合には前記第3の画像情報を表示有りに設定し、前記対象物が前記特定範囲に存在すると判定された場合には前記第3の画像情報を表示無しに設定する手段と
を備えることを特徴とする請求項4記載の情報提示装置。
The display control means includes
Object detection means for determining whether or not the object is present in the specific range in the space;
When it is determined by the object detection means that the object does not exist in the specific range, the third image information is set to display, and it is determined that the object exists in the specific range. 5. The information presenting apparatus according to claim 4, further comprising means for setting the third image information to no display.
前記対象物検出手段は、前記撮影装置により撮影して得られる第4の画像情報と前記第3の画像情報との差分値を算出し、算出された差分値が所定の閾値を超えた場合には前記対象物が存在しないと判定し、前記算出された差分値が所定の閾値を超えない場合には前記対象物が存在すると判定することを特徴とする請求項5記載の情報提示装置。     The object detection unit calculates a difference value between the fourth image information obtained by photographing with the photographing device and the third image information, and the calculated difference value exceeds a predetermined threshold value. 6. The information presentation apparatus according to claim 5, wherein the information presenting apparatus determines that the object does not exist, and determines that the object exists if the calculated difference value does not exceed a predetermined threshold. 空間に存在する対象物を撮影装置により撮影して得られる第1の画像情報を取得する手段と、
前記第1の画像情報を取得したのち、前記対象物が前記空間内の存在位置に存在するか否かを検出する手段と、
前記検出する手段により、前記対象物が前記存在位置に存在しないと判定された場合に、前記第1の画像情報を前記対象物の存在位置に対応付けて、投影装置により前記空間に投影させる手段と
を具備することを特徴とする情報提示装置。
Means for obtaining first image information obtained by photographing an object existing in space with a photographing device;
Means for detecting whether or not the object exists at an existing position in the space after obtaining the first image information;
Means for causing the projection device to project the first image information in association with the presence position of the target object when the detection means determines that the target object does not exist at the presence position; An information presentation apparatus comprising:
撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する情報提示方法であって、
前記対象物を前記撮影装置により撮影して得られる第1の画像情報を取得する過程と、
前記付加情報の入力を受け付ける過程と、
前記取得された第1の画像情報と前記受け付けた付加情報とを合成して第2の画像情報を作成する過程と、
前記作成された第2の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる過程と
を具備することを特徴とする情報提示方法。
In a space where an imaging device and a projection device are arranged, an information presentation method for presenting additional information related to an object existing in the space to the space by the projection device,
Acquiring first image information obtained by photographing the object with the photographing device;
Receiving the input of the additional information;
Combining the acquired first image information and the received additional information to create second image information;
And a step of projecting the created second image information into the space by the projection device in association with the position where the object exists.
撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する、コンピュータを備える情報提示装置で使用されるプログラムであって、
前記対象物を前記撮影装置により撮影して得られる第1の画像情報を取得する処理と、
前記付加情報の入力を受け付ける処理と、
前記取得された第1の画像情報と前記受け付けた付加情報とを合成して第2の画像情報を作成する処理と、
前記作成された第2の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
In a space where an imaging device and a projection device are arranged, a program used in an information presentation device including a computer that presents additional information related to an object existing in the space to the space by the projection device,
Processing for obtaining first image information obtained by photographing the object by the photographing device;
A process of receiving input of the additional information;
A process of creating the second image information by combining the acquired first image information and the received additional information;
A program for causing the computer to execute a process of associating the created second image information with an existing position of the object and projecting the second image information onto the space by the projection device.
対象物が存在すると共に撮影装置及び投影装置が配置される空間において、前記投影装置により前記空間に情報を提示する、コンピュータを備える情報提示装置で使用されるプログラムであって、
前記対象物を前記撮影装置により撮影して得られる第1の画像情報を取得する処理と、
前記第1の画像情報を取得したのち、前記対象物が前記空間内の存在位置に存在するか否かを検出する処理と、
前記検出する処理により、前記対象物が前記存在位置に存在しないと判定された場合に、前記第1の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
A program for use in an information presentation device including a computer that presents information in the space by the projection device in a space where an object exists and an imaging device and a projection device are arranged,
Processing for obtaining first image information obtained by photographing the object by the photographing device;
After obtaining the first image information, a process for detecting whether or not the object exists at an existing position in the space;
When it is determined by the detection process that the object does not exist at the existence position, the first image information is associated with the existence position of the object and is projected onto the space by the projection device. A program for causing a computer to execute processing.
JP2005065847A 2005-03-09 2005-03-09 Information presentation apparatus, information presentation method, and program thereof Expired - Fee Related JP4478047B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005065847A JP4478047B2 (en) 2005-03-09 2005-03-09 Information presentation apparatus, information presentation method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005065847A JP4478047B2 (en) 2005-03-09 2005-03-09 Information presentation apparatus, information presentation method, and program thereof

Publications (2)

Publication Number Publication Date
JP2006251206A true JP2006251206A (en) 2006-09-21
JP4478047B2 JP4478047B2 (en) 2010-06-09

Family

ID=37091810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005065847A Expired - Fee Related JP4478047B2 (en) 2005-03-09 2005-03-09 Information presentation apparatus, information presentation method, and program thereof

Country Status (1)

Country Link
JP (1) JP4478047B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259627A (en) * 2005-03-18 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> Image processor, image processing method and program
US7673996B2 (en) 2006-12-22 2010-03-09 Fuji Xerox Co., Ltd. Image projection apparatus and image projection system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689085A (en) * 1992-09-08 1994-03-29 Fuji Xerox Co Ltd Electronic conference device
JPH0886615A (en) * 1994-09-19 1996-04-02 Mitsubishi Electric Corp Image display apparatus and image display system
JP2000299851A (en) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd Instruction information transmitter
JP2001292443A (en) * 2000-04-06 2001-10-19 Hiroki Tamai Video projector and video projecting method
JP2001312001A (en) * 2000-04-28 2001-11-09 Nippon Avionics Co Ltd Projected image storage system in multimedia projector
JP2004109402A (en) * 2002-09-18 2004-04-08 Ricoh Co Ltd Table type display device
JP2004151435A (en) * 2002-10-31 2004-05-27 Nippon Telegr & Teleph Corp <Ntt> Projection control method, projection controller, projection system, projection control program and recording medium with projection control program recorded thereon
WO2004070485A1 (en) * 2003-02-03 2004-08-19 Siemens Aktiengesellschaft Projection of synthetic information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0689085A (en) * 1992-09-08 1994-03-29 Fuji Xerox Co Ltd Electronic conference device
JPH0886615A (en) * 1994-09-19 1996-04-02 Mitsubishi Electric Corp Image display apparatus and image display system
JP2000299851A (en) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd Instruction information transmitter
JP2001292443A (en) * 2000-04-06 2001-10-19 Hiroki Tamai Video projector and video projecting method
JP2001312001A (en) * 2000-04-28 2001-11-09 Nippon Avionics Co Ltd Projected image storage system in multimedia projector
JP2004109402A (en) * 2002-09-18 2004-04-08 Ricoh Co Ltd Table type display device
JP2004151435A (en) * 2002-10-31 2004-05-27 Nippon Telegr & Teleph Corp <Ntt> Projection control method, projection controller, projection system, projection control program and recording medium with projection control program recorded thereon
WO2004070485A1 (en) * 2003-02-03 2004-08-19 Siemens Aktiengesellschaft Projection of synthetic information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259627A (en) * 2005-03-18 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> Image processor, image processing method and program
JP4579730B2 (en) * 2005-03-18 2010-11-10 日本電信電話株式会社 Image processing apparatus, image processing method and program thereof
US7673996B2 (en) 2006-12-22 2010-03-09 Fuji Xerox Co., Ltd. Image projection apparatus and image projection system

Also Published As

Publication number Publication date
JP4478047B2 (en) 2010-06-09

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP2017200208A5 (en) Imaging apparatus, information acquisition system, information search server, and program
US11636644B2 (en) Output of virtual content
US8994785B2 (en) Method for generating video data and image photographing device thereof
WO2017169369A1 (en) Information processing device, information processing method, program
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
JP2009169768A (en) Information processor and program
KR20150131357A (en) Real world analytics visualization
JP4872482B2 (en) Remote support device, remote support system, and remote support method
JP2017211811A (en) Display control program, display control method and display control device
JP6544996B2 (en) Control device and control method
JP2004532441A (en) System and method for extracting predetermined points of an object in front of a computer-controllable display captured by an imaging device
JPWO2018025825A1 (en) Imaging system
US10750080B2 (en) Information processing device, information processing method, and program
JP5307407B2 (en) Endoscope apparatus and program
JP4478047B2 (en) Information presentation apparatus, information presentation method, and program thereof
JP2014086988A (en) Image display device and program
JP2019062497A5 (en)
WO2014174630A1 (en) Multi-monitor and display method for multi-monitor
JP4674627B2 (en) Information processing apparatus, remote instruction system, and program
JP6444981B2 (en) Image processing apparatus, image processing method, and image processing program
US20230244318A1 (en) Program, head-mounted display, and information processing device
JP2012058353A (en) Image display device and control method thereof
JP2009281830A (en) Device, method, program and system for setting installation of plurality of displays

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees