JP2007156325A - Information-presenting device, information-presenting method and program thereof - Google Patents

Information-presenting device, information-presenting method and program thereof Download PDF

Info

Publication number
JP2007156325A
JP2007156325A JP2005354901A JP2005354901A JP2007156325A JP 2007156325 A JP2007156325 A JP 2007156325A JP 2005354901 A JP2005354901 A JP 2005354901A JP 2005354901 A JP2005354901 A JP 2005354901A JP 2007156325 A JP2007156325 A JP 2007156325A
Authority
JP
Japan
Prior art keywords
projection
distance
image
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005354901A
Other languages
Japanese (ja)
Other versions
JP4694957B2 (en
Inventor
Yoko Ishii
陽子 石井
Minoru Kobayashi
稔 小林
Akira Nakayama
彰 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005354901A priority Critical patent/JP4694957B2/en
Publication of JP2007156325A publication Critical patent/JP2007156325A/en
Application granted granted Critical
Publication of JP4694957B2 publication Critical patent/JP4694957B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To project focused images on a plurality of corresponding projection planes, existing in a common projection area. <P>SOLUTION: A plurality of image projectors 1 for forming projection planes at different projection distances from a reference position, directed toward the common projection area are provided. The position calculating section 4 of the information presenting device 1 detects the position of the projection plane for an object existing in the projection area, from a photographing of image obtained from an imaging device 3. In addition, from a distance measurement device 9, a distance calculating section 10 obtains information about the distance of the object to the projection plane, and calculates the distance of the object from each image projector 1 based on the obtained distance information. Based on the calculated distance information, an image projector selecting section 5 selects among the image projectors, which has projection distance, corresponding to the distance of the object to the projection plane. Then, based on the position information of the projection plane for the object, obtained from the position calculating section 4, an image, input to the selected image projector 1 from an image holder 7, is projected on the projection plane provided for the object. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、投影装置を用いて投影面に情報を提示する情報提示装置及び情報提示方法とそのプログラムに関する。   The present invention relates to an information presentation apparatus, an information presentation method, and a program for presenting information on a projection plane using a projection apparatus.

現在、プロジェクタなどの投影装置により映像を投影し情報を提供する環境が整いつつある。そこで様々な箇所へ映像を投影するため、凸凹面に歪まない映像を投影する技術や、黒板など色のついた投影面へ正しい色で映像を表示する技術が開発されている。   Currently, an environment for projecting images and providing information by a projection device such as a projector is being prepared. Therefore, in order to project an image to various locations, a technique for projecting an image that is not distorted on an uneven surface and a technique for displaying an image in a correct color on a colored projection surface such as a blackboard have been developed.

また、プロジェクタにより映像を投影する情報提示装置において、ユーザの体の特定部位を検出することで、その特定部位に映像を投影する情報提示装置が発明されている(例えば、非特許文献1を参照。)。   Further, in an information presentation apparatus that projects an image by a projector, an information presentation apparatus that projects an image on a specific part of a user's body by detecting a specific part of the user's body has been invented (see, for example, Non-Patent Document 1). .)

石井陽子、小林稔、中山彰、細田真道、“情報との出会いを演出する手の平表示インタフェース”、信学技報、MVE−2005−42、Sep.2005、社団法人電子情報通信学会、pp.89−93Yoko Ishii, Satoshi Kobayashi, Akira Nakayama, Michi Hosoda, "Hand Display Interface for Directing Encounters with Information", Shingaku Technical Report, MVE-2005-42, Sep. 2005, The Institute of Electronics, Information and Communication Engineers, pp. 89-93

Yalin Xiong,Steven A.Shafer:“Depth from Focusing and Defocusing”,proceedings CVPR,pp.68−73,New York City,1993Yalin Xiong, Steven A. Shafer: “Depth from Focusing and Defocusing”, proceedings CVPR, pp. 68-73, New York City, 1993

上述したような情報提示装置では、複数の特定部位が検出され、プロジェクタから各特定部位までの距離がそれぞれ異なる場合に映像を投影すると、ある部位では焦点(ピント)が外れてしまう。このため、ある部位では、ぼやけてはっきりしない映像が表示される場合がある。   In the information presentation apparatus as described above, when a plurality of specific parts are detected and the images are projected when the distances from the projector to the specific parts are different, the focal point is out of focus at a certain part. For this reason, a blurred and unclear image may be displayed at a certain part.

この発明は、上記事情に着目してなされたもので、その目的とするところは、共通の投影領域に存在する複数の投影面に対して、それぞれ焦点が合った映像を投影することができる情報提示装置及び情報提示方法とそのプログラムを提供することにある。   The present invention has been made paying attention to the above circumstances, and the object of the present invention is to be able to project a focused image on a plurality of projection planes existing in a common projection area. To provide a presentation apparatus, an information presentation method, and a program thereof.

上記目的を達成するためにこの発明に関わる情報提示装置及び情報提示方法とそのプログラムは、共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の投影装置により情報を映像として投影し提示する情報提示装置であって、前記投影領域内に存在する物体を検出する検出手段と、前記基準位置から前記検出された物体の投影面までの距離情報を取得する距離取得手段と、前記取得された距離情報に基づいて前記複数の投影装置のうち前記物体の投影面までの距離に相当する投写距離を有する第1の投影装置を選択する選択手段と、前記選択された第1の投影装置に前記物体の投影面に向けて前記映像を投影させる投影制御手段とを具備することを特徴とする。   In order to achieve the above object, an information presentation apparatus, an information presentation method, and a program therefor according to the present invention provide information by a plurality of projection apparatuses that form projection planes at different projection distances from a reference position toward a common projection area. An information presentation device that projects and presents as an image, the detection means for detecting an object existing in the projection area, and the distance acquisition means for acquiring distance information from the reference position to the projection plane of the detected object Selection means for selecting a first projection apparatus having a projection distance corresponding to the distance to the projection plane of the object among the plurality of projection apparatuses based on the acquired distance information, and the selected first Projection control means for projecting the video toward the projection plane of the object is provided on one projection apparatus.

上記構成では、検出された物体の投影面に対して、最適な投写距離を有する投影装置を選択するようにしている。したがってこの発明によれば、投影領域に複数の投影面が存在する場合でも、それぞれの投影面に対してピントが合ったはっきりした映像が提示される。これにより、例えば、プロジェクタで投影される文字や画像等の視認性を向上することが可能となる。   In the above configuration, a projection apparatus having an optimum projection distance is selected with respect to the projection plane of the detected object. Therefore, according to the present invention, even when there are a plurality of projection planes in the projection area, a clear image in which each projection plane is in focus is presented. Thereby, for example, the visibility of characters and images projected by the projector can be improved.

また、この発明の情報提示装置は、次のような各種構成を備えることも特徴とする。
第1の構成は、前記投影制御手段は、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定手段と、前記複数の投影装置の輝度をそれぞれ変更する輝度変更手段とを備え、前記判定手段により、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記輝度変更手段により前記第1の投影装置及び第2の投影装置の輝度を変更するようにする。
The information presentation apparatus of the present invention is also characterized by having the following various configurations.
In the first configuration, the projection control unit determines whether or not a difference between a distance of the object to the projection surface and a projection distance of the selected first projection device exceeds a predetermined threshold value. And a brightness changing means for changing the brightness of each of the plurality of projection devices, and the determination means determines a difference between the distance to the projection surface of the object and the projection distance of the first projection device. A projection distance corresponding to the distance from the first projection device to the projection plane of the object, based on the acquired distance information. A second projection device is selected, and the brightness changing unit selects the first projection device and the second projection device according to a difference between a distance to the projection plane of the object and a projection distance of the selected projection device. Change the brightness of Projector 2 Unisuru.

このように構成することにより、例えば、物体の投影面が動的に移動している状態で映像を投影する投影装置を第1の投影装置から第2の投影装置に切り替える必要がある場合に、第1の投影装置と第2の投影装置とで輝度を徐々に変更して映像を投影することで、滑らかな映像を投影し続けることを可能とする。   By configuring in this way, for example, when it is necessary to switch the projection device that projects an image while the projection plane of the object is dynamically moving from the first projection device to the second projection device, By projecting an image by gradually changing the luminance between the first projection device and the second projection device, it is possible to continue projecting a smooth image.

第2の構成は、前記投影制御手段は、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定手段と、前記複数の投影装置の色度をそれぞれ変更する色度変更手段とを備え、前記判定手段により、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記色度変更手段により前記第1の投影装置及び第2の投影装置の色度を変更するものである。   In the second configuration, the projection control unit determines whether or not a difference between a distance of the object to the projection surface and a projection distance of the selected first projection device exceeds a predetermined threshold value. And a difference between a distance to the projection surface of the object and a projection distance of the first projection device by the determination unit. Projection that corresponds to the distance from the first projection device to the projection plane of the object next to the first projection device among the plurality of projection devices based on the acquired distance information. A second projection device having a distance is selected, and the first projection is performed by the chromaticity changing unit according to a difference between the distance to the projection plane of the object and the projection distance of the selected projection device. The chromaticity of the apparatus and the second projection apparatus Than is.

このように構成することにより、例えば、物体の投影面が動的に移動している状態で映像を投影する投影装置を第1の投影装置から第2の投影装置に切り替える必要がある場合に、第1の投影装置と第2の投影装置とで色度を徐々に変更して映像を投影することで、滑らかな映像を投影し続けることを可能とする。   By configuring in this way, for example, when it is necessary to switch the projection device that projects an image while the projection plane of the object is dynamically moving from the first projection device to the second projection device, By projecting an image by gradually changing the chromaticity between the first projection device and the second projection device, it is possible to continue projecting a smooth image.

第3の構成は、前記距離取得手段は、前記複数の投影装置に前記共通の投影領域に向けて、前記複数の投影装置毎に識別可能な識別画像を投影させる手段と、前記複数の投影装置により識別画像が投影された状態で前記共通の投影領域が撮像された撮像画像を取得する撮像画像取得手段と、前記撮像画像からぼけ具合を検出するぼけ検出手段とを備え、前記検出されたぼけ具合をもとに前記基準位置から前記検出された物体の投影面までの距離情報を取得することを特徴する。
このように構成することで、基準位置から検出された物体の投影面までの距離を測定するために、ステレオカメラや音波距離測定装置等の新たなデバイスを必要としないため、簡易な構成で実現することが可能となる。
According to a third configuration, the distance acquisition unit projects the identification image that can be identified for each of the plurality of projection devices toward the common projection area on the plurality of projection devices, and the plurality of projection devices. A captured image acquisition unit that acquires a captured image in which the common projection area is captured in a state in which the identification image is projected by a blur detection unit, and a blur detection unit that detects a degree of blur from the captured image. The distance information from the reference position to the projection plane of the detected object is acquired based on the condition.
This configuration does not require a new device such as a stereo camera or a sonic distance measuring device to measure the distance from the reference position to the projection surface of the detected object. It becomes possible to do.

第4の構成は、前記距離取得手段は、前記複数の投影装置に前記共通の投影領域に向けて、前記複数の投影装置毎に識別可能な識別画像を投影させる手段と、前記複数の投影装置により識別画像が投影された状態で前記共通の投影領域が撮像された撮像画像を取得する撮像画像取得手段と、前記撮像画像から識別画像の輪郭情報を検出する輪郭検出手段とを備え、前記検出された輪郭情報をもとに前記基準位置から前記検出された物体の投影面までの距離情報を取得するようにする。
このように構成しても、基準位置から検出された物体の投影面までの距離を測定するために、ステレオカメラや音波距離測定装置等の新たなデバイスを必要としないため、簡易な構成で実現することが可能となる。
According to a fourth configuration, the distance acquisition unit projects the identification image identifiable for each of the plurality of projection devices toward the common projection area on the plurality of projection devices, and the plurality of projection devices. A detection unit configured to acquire a captured image obtained by capturing the common projection area in a state in which the identification image is projected, and a contour detection unit configured to detect contour information of the identification image from the captured image. Based on the contour information thus obtained, distance information from the reference position to the projection plane of the detected object is acquired.
Even with this configuration, it does not require a new device such as a stereo camera or a sonic distance measuring device to measure the distance from the reference position to the projection surface of the detected object. It becomes possible to do.

要するにこの発明によれば、共通の投影領域に存在する複数の投影面に対して、それぞれ焦点が合った映像を投影することができる情報提示装置及び情報提示方法とそのプログラムを提供することができる。   In short, according to the present invention, it is possible to provide an information presentation apparatus, an information presentation method, and a program thereof capable of projecting a focused image on a plurality of projection planes existing in a common projection area. .

以下、本発明の実施の形態について図面を参照して説明する。
(第1の実施形態)
この発明の第1の実施形態は、共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の投影装置が設けられ、情報提示装置は、上記投影領域内に存在する物体を検出し、基準位置から検出された物体の投影面までの距離情報を算出し、算出された距離情報に基づいて前記複数の投影装置のうち前記物体の投影面までの距離に相当する投写距離を有する投影装置を選択するものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
In the first embodiment of the present invention, a plurality of projection devices that form projection surfaces at different projection distances from a reference position toward a common projection region are provided, and the information presentation device exists in the projection region. Detecting an object, calculating distance information from the reference position to the projection plane of the detected object, and projecting corresponding to the distance to the projection plane of the object among the plurality of projection devices based on the calculated distance information A projection device having a distance is selected.

図1は、この発明の第1の実施形態に係わる情報提示装置の構成を示すブロック図である。
情報提示装置101は、位置算出部4と映像投影装置選択部5と複数の映像保持部7と距離算出部10とを備える。また、情報提示装置101には、複数の映像投影装置1と、撮像装置3と、距離計測装置9とが接続されている。なお、映像保持部7は、映像投影装置1と同数設けられる。複数の映像投影装置1は、共通の投影領域に向けて基準位置からそれぞれ異なる焦点、すなわち、異なる投写距離を有するように設置され、各映像保持部7から供給される映像データをもとに、上記共通の投影領域に対して映像を投影する。撮像装置3は、映像投影装置1が提示する映像の投影領域を撮像し、撮像された映像データを位置算出部4に送信している。距離計測装置9は、距離計測装置9から検出された物体の投影面までの距離を計測する。
FIG. 1 is a block diagram showing the configuration of the information presentation apparatus according to the first embodiment of the present invention.
The information presentation device 101 includes a position calculation unit 4, a video projection device selection unit 5, a plurality of video holding units 7, and a distance calculation unit 10. In addition, a plurality of video projection devices 1, an imaging device 3, and a distance measuring device 9 are connected to the information presentation device 101. Note that the same number of video holding units 7 as the video projection device 1 are provided. The plurality of video projectors 1 are installed so as to have different focal points, that is, different projection distances from a reference position toward a common projection area, and based on video data supplied from each video holding unit 7, An image is projected onto the common projection area. The imaging device 3 images the projection area of the video presented by the video projection device 1 and transmits the captured video data to the position calculation unit 4. The distance measuring device 9 measures the distance of the object detected from the distance measuring device 9 to the projection surface.

情報提示装置101の位置算出部4は、撮像装置3から供給される映像データを差分処理し、物体が形成する投影面の個数と大きさとを検出する。位置算出部4は、検出された投影面のモーメントを求め物体の中心位置を検出する。位置算出部4は、投影面の個数と大きさと中心位置の情報を距離算出部10と映像投影装置選択部5とへそれぞれ送信する。また、距離算出部10は、距離計測装置9から物体の投影面までの距離情報を距離計測装置9から受け取り、この距離情報と、予め求められている距離計測装置9と複数の映像投影装置1と間のそれぞれの距離情報から、物体の投影面から各映像投影装置1の間の距離をそれぞれ算出する。そして、距離算出部10は、算出された距離情報を映像投影装置選択部5へ送信する。   The position calculation unit 4 of the information presentation device 101 performs differential processing on the video data supplied from the imaging device 3 and detects the number and size of projection planes formed by the object. The position calculation unit 4 obtains the moment of the detected projection plane and detects the center position of the object. The position calculation unit 4 transmits information on the number, size, and center position of the projection plane to the distance calculation unit 10 and the video projection device selection unit 5. Further, the distance calculation unit 10 receives distance information from the distance measurement device 9 to the projection plane of the object from the distance measurement device 9, and this distance information, the distance measurement device 9 obtained in advance and the plurality of video projection devices 1. The distance between each image projection device 1 from the projection surface of the object is calculated from the distance information between and. Then, the distance calculation unit 10 transmits the calculated distance information to the video projection device selection unit 5.

映像投影装置選択部5は、位置算出部4及び距離算出部10から送られる情報に基づいて映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が最小となる映像投影装置を当該映像投影面に映像を投影する映像投影装置として選択する。そして、映像投影装置選択部5は、各映像投影装置1に対して、映像を投影するか否かの指示情報を各映像保持部7を介してそれぞれ送信する。映像保持部7は、映像投影装置選択部5から映像を投影する指示を受けた場合、各映像投影装置1に対し、映像投影指示と共に予め保持している映像情報を送信する。映像投影指示を受けた映像投影装置1は、予め設定された投写距離で指定された物体の投影面に向けて映像を投影する。   The video projection device selection unit 5 has a difference (absolute value) between the distance from the video projection device to the video projection surface and the projection distance of the video projection device based on information sent from the position calculation unit 4 and the distance calculation unit 10. The smallest video projection apparatus is selected as the video projection apparatus that projects an image on the image projection plane. Then, the video projection device selection unit 5 transmits instruction information as to whether or not to project a video to each video projection device 1 via each video holding unit 7. When the video holding unit 7 receives an instruction to project a video from the video projection device selection unit 5, the video holding unit 7 transmits video information stored in advance together with the video projection command to each video projection device 1. Receiving the video projection instruction, the video projection device 1 projects the video toward the projection plane of the object designated at a preset projection distance.

図2は、情報提示装置101の実装例を示す概略構成図である。映像投影装置1は、4つのプロジェクタ23,24,25,26として実装する。プロジェクタ23〜26は、互いに異なる投写距離を有するように設定される。例えば、プロジェクタ23は最も短い投写距離を有し、順にプロジェクタ24、プロジェクタ25と徐々に長い投写距離を有し、プロジェクタ26が最も長い投写距離を有するようにする。それぞれの投写距離をL1,L2,L3,L4とすると、各投写距離は次の式で表される。
L1<L2<L3<L4
また、同図に示すように、プロジェクタ23〜26は、床面に向けて映像を投影するものとし、それぞれほぼ同じ領域内に映像を投影できるように設置される。また、最も長い投写距離を有するプロジェクタ26が床面に焦点が合うように設定されているものとする。
FIG. 2 is a schematic configuration diagram illustrating an implementation example of the information presentation apparatus 101. The video projector 1 is mounted as four projectors 23, 24, 25, and 26. The projectors 23 to 26 are set to have different projection distances. For example, the projector 23 has the shortest projection distance, the projector 24 and the projector 25 have a gradually longer projection distance in order, and the projector 26 has the longest projection distance. When the respective projection distances are L1, L2, L3, and L4, each projection distance is expressed by the following expression.
L1 <L2 <L3 <L4
Further, as shown in the figure, the projectors 23 to 26 project an image toward the floor, and are installed so as to project an image in substantially the same area. In addition, it is assumed that the projector 26 having the longest projection distance is set so as to be focused on the floor surface.

一方、位置算出部4、距離算出部10、及び映像投影装置選択部5は、制御プログラムとしてパーソナル・コンピュータ等の計算機21内に実装されている。また、映像保持部7は、プロジェクタ23〜26と同数設けられ、制御プログラムとして計算機22内にそれぞれ実装される。プロジェクタ23〜26は、計算機22に接続され、さらに計算機21と計算機22との間が接続されている。   On the other hand, the position calculation unit 4, the distance calculation unit 10, and the video projection device selection unit 5 are implemented as a control program in a computer 21 such as a personal computer. Further, the same number of video holding units 7 as the projectors 23 to 26 are provided, and each of the video holding units 7 is mounted in the computer 22 as a control program. The projectors 23 to 26 are connected to the computer 22 and further connected between the computer 21 and the computer 22.

また、撮像装置3にはビデオカメラ20を用いる。ビデオカメラ20は、計算機21に接続され、上記プロジェクタ23〜26により映像が投影される領域内を全て撮像できる位置に設置される。距離計測装置9は、2眼ステレオカメラ27で構成され、計算機21に接続される。2眼ステレオカメラ27からは、間隔をおいた2つのカメラから撮像される画像情報が得られ、この画像情報の誤差、いわゆる視差を測定することにより、物体との距離を測定することができる。2眼ステレオカメラ27も上記ビデオカメラ20と同様に、プロジェクタ23〜26により映像が投影される領域内を全て撮像できる位置に設置する。   In addition, a video camera 20 is used for the imaging device 3. The video camera 20 is connected to the computer 21 and is installed at a position where the entire area where the video is projected by the projectors 23 to 26 can be imaged. The distance measuring device 9 includes a twin-lens stereo camera 27 and is connected to the computer 21. The binocular stereo camera 27 obtains image information captured by two cameras at intervals, and the distance from the object can be measured by measuring an error of the image information, so-called parallax. Similarly to the video camera 20, the binocular stereo camera 27 is also installed at a position where the entire area where the images are projected by the projectors 23 to 26 can be imaged.

次に、このように構成される情報提示装置101の動作について説明する。図3は、情報提示装置101の動作手順とその内容を示すフローチャートである。なお、本実施形態では、映像が投影される物体の投影面として、人の手の平と床面を対象とする。
ステップS3aにおいて、プロジェクタ26から床面に対して焦点(ピント)の合う映像を投影範囲全体に投影している。この状態で、プロジェクタ23〜26の投影範囲内に人が侵入し、例えばプロジェクタ24の投写距離の投影面上に手の平を差し出すと、その映像がビデオカメラ20により撮像され、計算機21に入力される。
Next, the operation of the information presentation apparatus 101 configured as described above will be described. FIG. 3 is a flowchart showing the operation procedure of the information presentation apparatus 101 and its contents. In the present embodiment, the palm and floor of a human hand are targeted as the projection plane of the object on which the video is projected.
In step S3a, an image focused on the floor surface from the projector 26 is projected onto the entire projection range. In this state, when a person enters the projection range of the projectors 23 to 26 and puts out a palm on the projection surface of the projection distance of the projector 24, for example, the video is captured by the video camera 20 and input to the computer 21. .

先ず、計算機21は、ステップS3bにおいて、上記入力される撮像映像から背景差分抽出処理により人体を抽出する。人体が抽出されると、ステップS3cに移行し、計算機21は、位置算出部4において、抽出された人体の中から、予め定められた閾値を満たす大きさの肌色領域を抽出することでその領域を手の平として検出し、手の平の大きさ、位置、個数を求める。   First, in step S3b, the computer 21 extracts a human body from the input captured video by background difference extraction processing. When the human body is extracted, the process proceeds to step S3c, and the computer 21 extracts the skin color area having a size satisfying a predetermined threshold from the extracted human body in the position calculation unit 4 to thereby extract the area. Is detected as a palm, and the size, position, and number of palms are obtained.

次に、ステップS3dにより、2眼ステレオカメラ27はプロジェクタ23〜26の投影領域内を2つのカメラで撮像し、それぞれ得られた映像の特徴点を抽出することで、2眼ステレオカメラ27から手の平までの距離を計測する。さらに、ステップS3eにより、2眼ステレオカメラ27と各プロジェクタ23〜26との位置関係よりプロジェクタ23〜26の設置されている基準位置から手の平の位置までの距離をそれぞれ算出する。そして、ステップS3fにおいて、計算機21は、算出された距離情報をもとに、映像投影装置選択部5により映像を投影するプロジェクタを決定する。映像投影装置選択部5は、プロジェクタから映像投影面、すなわち、手の平までの距離と当該プロジェクタの投写距離との差(絶対値)が最小となるプロジェクタ24を手の平に映像を投影するプロジェクタとして選択する。   Next, in step S3d, the binocular stereo camera 27 images the projection areas of the projectors 23 to 26 with the two cameras, and extracts the feature points of the obtained images, whereby the palm of the hand from the binocular stereo camera 27 is obtained. Measure the distance to. In step S3e, the distance from the reference position where the projectors 23 to 26 are installed to the palm position is calculated from the positional relationship between the binocular stereo camera 27 and the projectors 23 to 26, respectively. In step S3f, the computer 21 determines a projector to project an image by the image projection device selection unit 5 based on the calculated distance information. The image projection device selection unit 5 selects the projector 24 that projects the image on the palm as the projector 24 that minimizes the difference (absolute value) between the distance from the projector to the image projection plane, that is, the palm and the projection distance of the projector. .

一方、計算機22は、計算機21から映像を投影すべき手の平の大きさと位置の情報と、上記選択されたプロジェクタの選択情報とを受け取る。そして、ステップS3gにおいて、床面に映像を投影しているプロジェクタ26に映像を供給する映像保持部7において手の平の領域をマスクし、マスク処理を行った映像をプロジェクタ26に投影させる。また、ステップS3hにおいて、計算機22は、投影指示を受けたプロジェクタ24から手の平の領域に映像を投影させる。手の平へ映像を投影する際、プロジェクタ24の映像は、手の平の領域以外の部分は塗りつぶしのない透明な背景となるよう黒色とし、プロジェクタ24から投影される映像が手の平からはみ出し、プロジェクタ26から投影される床面の映像に重ならない様にする。   On the other hand, the computer 22 receives from the computer 21 information on the size and position of the palm on which an image is to be projected and selection information on the selected projector. In step S3g, the palm area is masked in the image holding unit 7 that supplies the image to the projector 26 that projects the image on the floor, and the image subjected to the masking process is projected on the projector 26. In step S3h, the computer 22 projects an image on the palm area from the projector 24 that has received the projection instruction. When the image is projected onto the palm of the hand, the image of the projector 24 is black so that the portion other than the palm region has a transparent background without being filled, and the image projected from the projector 24 protrudes from the palm and is projected from the projector 26. Do not overlap with the floor image.

そして、ステップS3iにおいて、検出された手の平がまだあるか否かを判定し、あると判定された場合には、ステップS3dに移行して、上記処理を繰り返す。また、検出されたすべての手の平に対して映像が提示されると、ステップS3jに移行して提示処理を繰り返すか否かの判定を行う。ステップS3jにおいて提示処理の終了指示が通知されるまで、上記処理を繰り返し行う。   In step S3i, it is determined whether or not the detected palm is still present. If it is determined that there is a palm, the process proceeds to step S3d to repeat the above processing. When video is presented to all detected palms, the process proceeds to step S3j to determine whether to repeat the presentation process. The above process is repeated until an instruction to end the presentation process is notified in step S3j.

上述したように、第1の実施形態では、共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の映像投影装置1が設けられ、情報提示装置1の位置算出部4は、撮像装置3から得られた撮像画像から上記投影領域内に存在する物体の投影面の位置を検出する。また、距離算出部10は、距離計測装置9から上記物体の投影面までの距離情報を取得し、取得された距離情報をもとに各映像投影装置1から物体の投影面までの距離を算出する。映像投影装置選択部5は、上記算出された距離情報に基づいて、複数の映像投影装置のうち物体の投影面までの距離に相当する投写距離を有する映像投影装置を選択する。そして、位置算出部4から得られる物体の投影面の位置情報をもとに、選択された映像投影装置1に映像保持部7から入力される映像を物体の投影面に対して投影させるようにしている。   As described above, in the first embodiment, a plurality of video projection devices 1 that form projection surfaces at different projection distances from the reference position toward the common projection region are provided, and the position calculation unit of the information presentation device 1 is provided. 4 detects the position of the projection plane of the object existing in the projection area from the captured image obtained from the imaging apparatus 3. Further, the distance calculation unit 10 acquires distance information from the distance measurement device 9 to the projection plane of the object, and calculates a distance from each video projection device 1 to the projection plane of the object based on the acquired distance information. To do. Based on the calculated distance information, the video projection device selection unit 5 selects a video projection device having a projection distance corresponding to the distance to the projection plane of the object from the plurality of video projection devices. Then, based on the position information of the projection plane of the object obtained from the position calculation unit 4, the video input from the video holding unit 7 is projected onto the projection plane of the object by the selected video projection device 1. ing.

したがって上記第1の実施形態によれば、検出された物体の投影面に対して、最適な投写距離を有する投影装置を選択するようにしている。このように構成することで、投影領域に複数の投影面が存在する場合でも、それぞれの投影面に対してピントが合ったはっきりした映像が提示される。これにより、例えば、プロジェクタで投影される文字や画像等の視認性を向上することが可能となる。
なお、上記第1の実施形態では、計算機21,22の2台の計算機を用いたが、1台の計算機に位置算出部4、映像投影装置選択部5、映像保持部7、及び距離算出部10を実装するように構成してもよい。
Therefore, according to the first embodiment, a projection device having an optimum projection distance is selected with respect to the projection plane of the detected object. With this configuration, even when there are a plurality of projection planes in the projection area, a clear image in which each projection plane is in focus is presented. Thereby, for example, the visibility of characters and images projected by the projector can be improved.
In the first embodiment, the two computers 21 and 22 are used. However, the position calculation unit 4, the video projection device selection unit 5, the video holding unit 7, and the distance calculation unit are included in one computer. 10 may be implemented.

(第2の実施形態)
この発明の第2の実施形態は、上記第1の実施形態で述べた情報提示装置に、さらに輝度変更部を備えることで、例えば、映像投影面が移動している場合に、移動距離に応じて映像投影装置から投影する映像の輝度を変化させて映像を投影させるようにするものである。
図4は、この発明の第2の実施形態に係わる情報提示装置の一実施形態を示すブロック構成図である。なお、上記第1の実施形態の図1と同一構成の部分には同一符号を付し、詳細な説明については省略する。
(Second Embodiment)
According to the second embodiment of the present invention, the information presentation apparatus described in the first embodiment further includes a luminance changing unit, so that, for example, when the image projection plane is moving, the information presentation apparatus is adapted to the moving distance. Thus, the brightness of the image projected from the image projection device is changed to project the image.
FIG. 4 is a block diagram showing an embodiment of the information presentation apparatus according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the part of the same structure as FIG. 1 of the said 1st Embodiment, and detailed description is abbreviate | omitted.

情報提示装置102は、上記第1の実施形態で述べた位置算出部4と、映像投影装置選択部5と、映像保持部7と、距離算出部10とに加え、さらに輝度変更部6を備える。
輝度変更部6は、映像投影装置選択部5から各映像投影装置1が映像を投影するか否かの指示情報と映像を投影する面の位置、大きさ、個数、及び映像投影装置までの距離情報を受け取る。輝度変更部6は、映像投影装置選択部5から送られた情報に基づいて、映像を投影する映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が予め定められた閾値以上である場合に、投影する映像の輝度を変化させる。
The information presentation device 102 includes a luminance change unit 6 in addition to the position calculation unit 4, the video projection device selection unit 5, the video holding unit 7, and the distance calculation unit 10 described in the first embodiment. .
The luminance changing unit 6 includes information indicating whether each video projection device 1 projects video from the video projection device selection unit 5, the position, size, number, and distance to the video projection device. Receive information. Based on the information sent from the video projection device selection unit 5, the brightness changing unit 6 is the difference (absolute value) between the distance from the video projection device that projects the video to the video projection surface and the projection distance of the video projection device. Is greater than or equal to a predetermined threshold, the brightness of the projected image is changed.

また、輝度変更部6は、映像を投影する映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が予め定められた閾値以上である場合、映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が次に小さい映像投影装置からも映像を提示するように映像投影装置選択部5から送られた指示情報を変更するとともに、投影する映像の輝度を変更する。輝度変更部6は、決定した輝度の情報と、映像を提示するか否かの命令を映像保持部7へそれぞれ送信する。映像保持部7は、映像を提示する指示を輝度変更部6から受けた場合、保持している映像を指定された輝度に変更した上で映像投影装置1へそれぞれ送信する。映像投影指示を受けた映像投影装置1は、予め設定された投写距離で指定された投影面に向けて映像を投影する。   In addition, the brightness changing unit 6 projects the image when the difference (absolute value) between the distance from the image projection device that projects the image to the image projection surface and the projection distance of the image projection device is equal to or greater than a predetermined threshold. Instruction information sent from the video projection device selection unit 5 so as to present a video from a video projection device having the next smallest difference (absolute value) between the distance from the device to the video projection surface and the projection distance of the video projection device. And the brightness of the projected image is changed. The brightness changing unit 6 transmits the determined brightness information and a command as to whether or not to present a video to the video holding unit 7. When the video holding unit 7 receives an instruction to present a video from the luminance changing unit 6, the video holding unit 7 changes the held video to the designated luminance and then transmits the video to the video projector 1. Receiving the video projection instruction, the video projection device 1 projects the video toward the projection plane designated at a preset projection distance.

次に、このように構成される情報提示装置102の動作について説明する。図5は、情報提示装置102の動作手順とその内容を示すフローチャートである。また、情報提示装置102の実装例として前記図2に示した概略構成図を用いる。輝度変更部6は、計算機21に設けられる。なお、本実施形態では、映像が投影される物体の投影面として、人の手の平と床面を対象とし、手の平は、プロジェクタ24が形成する投影面とプロジェクタ25が形成する投影面との間で、なおかつ、プロジェクタ25が形成する投影面よりプロジェクタ24が形成する投影面に近い位置に差し出されたものとする。また、図5において、ステップS5a〜S5e及びステップS5k〜S5lの処理は、上記第1の実施形態における図3のステップS3a〜S3e及びS3i〜S3jの処理と同様であるため説明を省略し、ここでは、ステップS5f〜S5hの処理について詳しく説明する。   Next, the operation of the information presentation device 102 configured as described above will be described. FIG. 5 is a flowchart showing an operation procedure and contents of the information presentation apparatus 102. Further, the schematic configuration diagram shown in FIG. 2 is used as an implementation example of the information presentation apparatus 102. The brightness changing unit 6 is provided in the computer 21. In the present embodiment, human palms and floor surfaces are targeted as the projection planes of an object on which an image is projected, and the palm is between the projection plane formed by the projector 24 and the projection plane formed by the projector 25. In addition, it is assumed that the projection surface is formed closer to the projection surface formed by the projector 24 than the projection surface formed by the projector 25. In FIG. 5, the processes in steps S5a to S5e and steps S5k to S5l are the same as the processes in steps S3a to S3e and S3i to S3j in FIG. Now, the processing of steps S5f to S5h will be described in detail.

ステップS5fにおいて、映像投影装置選択部5により選択されたプロジェクタ24についてプロジェクタ24から投影面までの距離とプロジェクタ24の投写距離との差が所定の閾値を超えているか否かを判定する。この判定において、手の平である投影面までの距離と投写距離との差が所定の閾値を超えないと判定された場合は、ステップS5hに移行して映像投影装置選択部5により選択されたプロジェクタ24を映像を提示するプロジェクタとして決定する。一方、ステップS5fの判定において投影面までの距離と投写距離との差が所定の閾値を超えると判定された場合は、ステップS5gに移行して輝度変更処理を行う。   In step S5f, it is determined whether or not the difference between the distance from the projector 24 to the projection surface and the projection distance of the projector 24 for the projector 24 selected by the video projection device selection unit 5 exceeds a predetermined threshold value. In this determination, when it is determined that the difference between the distance to the projection surface that is the palm and the projection distance does not exceed the predetermined threshold, the process proceeds to step S5h and the projector 24 selected by the video projector selection unit 5 is performed. Are determined as projectors that present video. On the other hand, if it is determined in step S5f that the difference between the distance to the projection surface and the projection distance exceeds a predetermined threshold value, the process proceeds to step S5g to perform luminance change processing.

ここで、輝度変更部6の詳しい動作手順について説明する。
計算機21は、映像投影装置選択部5により選択されたプロジェクタ24から手の平までの距離とプロジェクタ24の投写距離との差(絶対値)が予め定められた所定の閾値以上である場合、プロジェクタ24から手の平までの距離とプロジェクタ24の投写距離との差(絶対値)が大きくなるに従い、投影する映像の輝度を下げる指示を計算機22へ送信する。それと同時に計算機21は、プロジェクタから手の平までの距離とプロジェクタの投写距離との差(絶対値)が次に小さい別のプロジェクタ(ここでは、プロジェクタ25)の輝度を変更する命令を計算機22へ送信する。計算機21は、プロジェクタ25から手の平までの距離とプロジェクタ25の投写距離との差(絶対値)が小さくなるに従い、投影する映像の輝度を上げるように、計算機22へ指示を送信する。
Here, a detailed operation procedure of the luminance changing unit 6 will be described.
When the difference (absolute value) between the distance from the projector 24 to the palm selected by the video projection device selection unit 5 and the projection distance of the projector 24 is equal to or greater than a predetermined threshold value, the computer 21 As the difference (absolute value) between the distance to the palm and the projection distance of the projector 24 increases, an instruction to lower the brightness of the projected image is transmitted to the computer 22. At the same time, the computer 21 transmits to the computer 22 a command to change the brightness of another projector (here, the projector 25) having the next smallest difference (absolute value) between the distance from the projector to the palm and the projection distance of the projector. . The computer 21 transmits an instruction to the computer 22 to increase the brightness of the projected image as the difference (absolute value) between the distance from the projector 25 to the palm and the projection distance of the projector 25 decreases.

つまり、計算機22は、プロジェクタ24及び25が投影面に投影する映像をHSV変換により、各成分に分解し、その中からV成分(明度:Value of Brightness)である輝度情報を抽出する。そして、抽出したV成分を変更した映像を生成し、投影する映像とする。プロジェクタ24の投写距離に丁度合致する位置にある手の平へは、輝度1(=元画像の輝度:輝度0とは輝度のまったくない暗い画像を指す)の映像をプロジェクタ24から投影し、手の平がプロジェクタ24の投写距離に合致する位置から徐々に離れるにつれ、その離れた距離が所定の閾値を超えるとプロジェクタ24から手の平に投影する映像の輝度を0.9、0.8、0.7と下げて行く。それと同時にプロジェクタから手の平までの距離と当該プロジェクタの投写距離との差(絶対値)が次に小さい別のプロジェクタ25からも同じ映像を手の平へ投影しはじめ、その輝度を0.1、0.2、0.3と徐々に上げる。手の平がさらにプロジェクタ25の投写距離に合致する位置に近づき、ある閾値を超えると、プロジェクタ24から映像を投影することをやめ、プロジェクタ25のみから輝度1の映像を手の平へ投影する。映像投影面が動的に移動している状態で映像を投影するプロジェクタを切り替える必要がある場合、この様に輝度を変更しながら映像を投影することで、滑らかな映像を投影し続けることを可能とする。輝度は次の式を満たしながら変化する。   That is, the computer 22 decomposes the images projected by the projectors 24 and 25 onto the projection plane into respective components by HSV conversion, and extracts luminance information that is a V component (Value of Brightness) from the components. And the image | video which changed the extracted V component is produced | generated, and it is set as the image | video which projects. An image with luminance 1 (= luminance of the original image: luminance 0 means a dark image with no luminance at all) is projected from the projector 24 to the palm at a position that exactly matches the projection distance of the projector 24. As the distance from the position that matches the projection distance of 24 gradually exceeds a predetermined threshold, the brightness of the image projected from the projector 24 onto the palm is reduced to 0.9, 0.8, and 0.7. go. At the same time, another projector 25 having the next smallest difference (absolute value) between the distance from the projector to the palm and the projection distance of the projector starts to project the same image onto the palm, and the brightness is set to 0.1, 0.2. , Gradually increase to 0.3. When the palm further approaches a position that matches the projection distance of the projector 25 and exceeds a certain threshold value, the projection of the image from the projector 24 is stopped, and the image of brightness 1 is projected from the projector 25 only onto the palm. When it is necessary to switch the projector that projects the image while the image projection plane is moving dynamically, it is possible to continue projecting a smooth image by projecting the image while changing the brightness in this way. And The brightness changes while satisfying the following formula.

At+Bt=1
ただし、0≦|At|≦1,0≦|Bt|≦1
At:プロジェクタAより投影されている映像の輝度
Bt:プロジェクタBより投影されている映像の輝度
計算機22は、計算機21から映像を投影すべき手の平の大きさと位置の情報と、どのプロジェクタからどの程度の輝度の映像を投影するかを表す指示情報を受け取る。そして、ステップS5iにおいて、床面に映像を投影しているプロジェクタ26に映像を供給する映像保持部7において手の平の領域をマスクし、マスク処理を行った映像をプロジェクタ26に投影させる。また、ステップS5jにおいて、計算機22は、映像投影指示を受けたプロジェクタ24,25から、それぞれ輝度を変化させた映像を投影する。手の平へ映像を投影する際、プロジェクタ24の映像は、手の平の領域以外の部分は塗りつぶしのない透明な背景となるよう黒色とし、プロジェクタ24から投影される映像が手の平からはみ出し、プロジェクタ26から投影される床面の映像に重ならない様にする。
At + Bt = 1
However, 0 ≦ | At | ≦ 1, 0 ≦ | Bt | ≦ 1
At: Brightness of the image projected from the projector A
Bt: Luminance of the image projected from the projector B The computer 22 is information on the size and position of the palm on which the image is to be projected from the computer 21, and instruction information indicating which luminance image is projected from which projector. Receive. In step S5i, the image holding unit 7 that supplies the image to the projector 26 that projects the image on the floor masks the palm area and causes the projector 26 to project the image that has been subjected to the masking process. In step S5j, the computer 22 projects the video with the brightness changed from the projectors 24 and 25 that have received the video projection instruction. When the image is projected onto the palm of the hand, the image of the projector 24 is black so that the part other than the palm region has a transparent background without being filled. Do not overlap with the floor image.

このように、第2の実施形態では、情報提示装置102に輝度変更部6を設け、映像投影面が動的に移動している状態で映像を投影するプロジェクタを切り替える必要がある場合に、投影しているプロジェクタと切り替えるプロジェクタで輝度を徐々に変更して映像を投影することで、滑らかな映像を投影し続けることを可能とする。   As described above, in the second embodiment, the brightness changing unit 6 is provided in the information presentation apparatus 102, and the projection is performed when it is necessary to switch the projector that projects the image while the image projection plane is moving dynamically. By projecting an image by gradually changing the brightness with a projector that switches to a projector that is switching, it is possible to continue projecting a smooth image.

(第3の実施形態)
この発明の第3の実施形態は、上記第2の実施形態で述べた情報提示装置の輝度変更部を色度変更部に置き換えることで、例えば、映像投影面が移動している場合に、移動距離に応じて映像投影装置から投影する映像の色度を変化させて映像を投影させるようにするものである。
図6は、この発明の第3の実施形態に係わる情報提示装置の一実施形態を示すブロック構成図である。なお、上記第1の実施形態の図1と同一構成の部分には同一符号を付し、詳細な説明については省略する。
(Third embodiment)
The third embodiment of the present invention replaces the luminance changing unit of the information presentation apparatus described in the second embodiment with a chromaticity changing unit, for example, when the video projection plane is moving. The video is projected by changing the chromaticity of the video projected from the video projection device according to the distance.
FIG. 6 is a block diagram showing an embodiment of an information presentation apparatus according to the third embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the part of the same structure as FIG. 1 of the said 1st Embodiment, and detailed description is abbreviate | omitted.

情報提示装置103は、上記第1の実施形態で述べた位置算出部4と、映像投影装置選択部5と、映像保持部7と、距離算出部10とに加え、さらに色度変更部11を備える。
色度変更部11は、映像投影装置選択部5から映像を投影するか否かの指示情報と映像を投影する面の位置、大きさ、個数、及び映像投影装置までの距離情報を受け取る。色度変更部11は、映像投影装置選択部5から送られた情報に基づいて、映像を投影する映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が予め定められた閾値以上である場合に、投影する映像の色度を変化させる。
The information presentation device 103 includes a chromaticity changing unit 11 in addition to the position calculating unit 4, the video projecting device selecting unit 5, the video holding unit 7, and the distance calculating unit 10 described in the first embodiment. Prepare.
The chromaticity changing unit 11 receives from the video projection device selection unit 5 instruction information on whether or not to project a video, the position, size and number of surfaces on which the video is projected, and distance information to the video projection device. Based on the information sent from the video projection device selection unit 5, the chromaticity changing unit 11 determines the difference (absolute value) between the distance from the video projection device that projects the video to the video projection surface and the projection distance of the video projection device. ) Is greater than or equal to a predetermined threshold, the chromaticity of the projected image is changed.

また、色度変更部11は、映像を投影する映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が予め定められた閾値以上である場合、映像投影装置から映像投影面までの距離と当該映像投影装置の投写距離との差(絶対値)が次に小さい映像投影装置からも映像を提示するように映像投影装置選択部5から送られた指示情報を変更するとともに、投影する映像の色度を変更する。色度変更部11は、決定した色度の情報と、映像を投影するか否かの命令を映像保持部7へそれぞれ送信する。映像保持部7は、映像を投影する指示を色度変更部11から受けた場合、保持している映像を指定された色度に変更した上で映像投影装置1へそれぞれ送信する。映像投影指示を受けた映像投影装置1は、予め設定された投写距離で指定された投影面に向けて映像を投影する。   Further, the chromaticity changing unit 11 is configured to display a video when a difference (absolute value) between a distance from a video projection device that projects a video to a video projection surface and a projection distance of the video projection device is equal to or greater than a predetermined threshold. An instruction sent from the video projection device selection unit 5 to present a video from a video projection device having the next smallest difference (absolute value) between the distance from the projection device to the video projection surface and the projection distance of the video projection device. Change the information and change the chromaticity of the projected image. The chromaticity changing unit 11 transmits the determined chromaticity information and an instruction as to whether or not to project a video to the video holding unit 7. When the video holding unit 7 receives an instruction to project a video from the chromaticity changing unit 11, the video holding unit 7 changes the held video to a designated chromaticity and transmits the video to the video projecting device 1. Receiving the video projection instruction, the video projection device 1 projects the video toward the projection plane designated at a preset projection distance.

次に、以上のように構成される情報提示装置103の動作について説明する。図7は、情報提示装置103の動作手順とその内容を示すフローチャートである。なお、本実施形態では、映像が投影される物体の投影面として、人の手の平と床面を対象とし、手の平は、プロジェクタ24が形成する投影面とプロジェクタ25が形成する投影面との間で、なおかつ、プロジェクタ25が形成する投影面よりプロジェクタ24が形成する投影面に近い位置に差し出されたものとする。また、図7において、ステップS7a〜S7e及びステップS7k〜S7lの処理は、上記第1の実施形態における図3のステップS3a〜S3e及びS3i〜S3jの処理と同様であるため説明を省略し、ここでは、ステップS7f〜S7hの処理について詳しく説明する。   Next, the operation of the information presentation device 103 configured as described above will be described. FIG. 7 is a flowchart showing the operation procedure and contents of the information presentation device 103. In the present embodiment, human palms and floor surfaces are targeted as the projection planes of an object on which an image is projected, and the palm is between the projection plane formed by the projector 24 and the projection plane formed by the projector 25. In addition, it is assumed that the projection surface is formed closer to the projection surface formed by the projector 24 than the projection surface formed by the projector 25. In FIG. 7, the processes of steps S7a to S7e and steps S7k to S7l are the same as the processes of steps S3a to S3e and S3i to S3j of FIG. Now, the processing of steps S7f to S7h will be described in detail.

ステップS7fにおいて、映像投影装置選択部5により選択されたプロジェクタ24についてプロジェクタ24から投影面までの距離とプロジェクタ24の投写距離との差が所定の閾値を超えているか否かを判定する。この判定において、手の平である投影面までの距離と投写距離との差が所定の閾値を超えないと判定された場合は、ステップS7hに移行して映像投影装置選択部5により選択されたプロジェクタ24を映像を提示するプロジェクタとして決定する。一方、ステップS7fの判定において投影面までの距離と投写距離との差が所定の閾値を超えると判定された場合は、ステップS7gに移行して色度変更処理を行う。   In step S7f, it is determined whether or not the difference between the distance from the projector 24 to the projection plane and the projection distance of the projector 24 exceeds a predetermined threshold for the projector 24 selected by the video projection device selection unit 5. In this determination, when it is determined that the difference between the distance to the projection plane that is the palm and the projection distance does not exceed the predetermined threshold, the process proceeds to step S7h and the projector 24 selected by the video projector selection unit 5 is performed. Are determined as projectors that present video. On the other hand, if it is determined in step S7f that the difference between the distance to the projection surface and the projection distance exceeds a predetermined threshold, the process proceeds to step S7g to perform chromaticity change processing.

ここで、色度変更部11の詳しい動作手順について説明する。
計算機21は、映像投影装置選択部5により選択されたプロジェクタ24から手の平までの距離とプロジェクタ24の投写距離との差(絶対値)が予め定められた所定の閾値以上である場合、プロジェクタ24から手の平までの距離とプロジェクタ24の投写距離との差(絶対値)が大きくなるに従い、投影する映像の色度を下げる指示を計算機22へ送信する。それと同時に計算機21は、プロジェクタから手の平までの距離とプロジェクタの投写距離との差(絶対値)が次に小さい別のプロジェクタ(ここでは、プロジェクタ25)の色度を変更する命令を計算機22へ送信する。計算機21は、プロジェクタ25から手の平までの距離とプロジェクタ25の投写距離との差(絶対値)が小さくなるに従い、投影する映像の色度を上げるように、計算機22へ指示を送信する。
Here, a detailed operation procedure of the chromaticity changing unit 11 will be described.
When the difference (absolute value) between the distance from the projector 24 to the palm selected by the video projection device selection unit 5 and the projection distance of the projector 24 is equal to or greater than a predetermined threshold value, the computer 21 As the difference (absolute value) between the distance to the palm and the projection distance of the projector 24 increases, an instruction to lower the chromaticity of the projected image is transmitted to the computer 22. At the same time, the computer 21 sends a command to the computer 22 to change the chromaticity of another projector (here, the projector 25) having the next smallest difference (absolute value) between the distance from the projector to the palm and the projection distance of the projector. To do. The computer 21 transmits an instruction to the computer 22 to increase the chromaticity of the projected image as the difference (absolute value) between the distance from the projector 25 to the palm and the projection distance of the projector 25 decreases.

つまり、計算機22は、プロジェクタ24及び25が投影面に投影する映像をHSV変換により、各成分に分解し、その中からH成分(色相:Hue)である色度情報を抽出する。そして、抽出したH成分を変更した映像を生成し、投影する映像とする。プロジェクタ24の投写距離に丁度合致する位置にある手の平へは、元画像の色度の映像をプロジェクタ24から投影し、手の平がプロジェクタ24の投写距離に合致する位置から徐々に離れるにつれ、その離れた距離が所定の閾値を超えるとプロジェクタ24から手の平に投影する映像の色度を徐々に下げていく。下げる限界値は0までとする。それと同時にプロジェクタから手の平までの距離と当該プロジェクタの投写距離との差(絶対値)が次に小さい別のプロジェクタ25からも同じ映像を手の平に投影しはじめ、その色度を徐々に上げる。上げる上限値は、現画像の色度の値までとする。手の平がさらにプロジェクタBの投写距離に合致する位置に近づき、ある閾値を超えると、プロジェクタ24から映像を投影することをやめ、プロジェクタ25のみ元画像の色度を持つ映像を手の平へ投影する。映像投影面が動的に移動しているため映像を投影するプロジェクタを切り替える必要がある場合、この様に色度を変更しながら映像を投影することで、滑らかな映像を投影し続けることを可能とする。色度は常にプラスの値を指すものとし、次の式を満たしながら変化する。   That is, the computer 22 decomposes the images projected by the projectors 24 and 25 onto the projection plane into respective components by HSV conversion, and extracts chromaticity information that is the H component (hue: Hue) from the components. And the image | video which changed the extracted H component is produced | generated, and it is set as the image | video which projects. An image of the chromaticity of the original image is projected from the projector 24 to the palm at a position that exactly matches the projection distance of the projector 24, and as the palm gradually moves away from the position that matches the projection distance of the projector 24, the distance increases. When the distance exceeds a predetermined threshold, the chromaticity of the image projected from the projector 24 onto the palm is gradually lowered. The lower limit value is set to 0. At the same time, another projector 25 having the next smallest difference (absolute value) between the distance from the projector to the palm and the projection distance of the projector starts to project the same image onto the palm and gradually increases the chromaticity. The upper limit to be raised is up to the chromaticity value of the current image. When the palm further approaches a position that matches the projection distance of the projector B and exceeds a certain threshold value, the projector 24 stops projecting the image, and only the projector 25 projects the image having the chromaticity of the original image onto the palm. When it is necessary to switch the projector that projects the image because the image projection plane moves dynamically, it is possible to continue projecting a smooth image by projecting the image while changing the chromaticity in this way. And The chromaticity always indicates a positive value, and changes while satisfying the following formula.

Ai+Bi=I
ただし、0≦Ai≦1、0≦Bi≦1
I:元画像が元々持つ色度
Ai:プロジェクタAより投影されている映像の色度
Bi:プロジェクタBより投影されている映像の色度
計算機22は、計算機21から映像を投影すべき手の平の大きさと位置の情報と、どのプロジェクタからどの程度の色度の映像を投影するかを表す指示情報を受け取る。そして、ステップS5iにおいて、床面に映像を投影しているプロジェクタ26に映像を供給する映像保持部7において手の平の領域をマスクし、マスク処理を行った映像をプロジェクタ26に投影させる。また、ステップS7jにおいて、計算機22は、映像投影指示を受けたプロジェクタ24,25から、それぞれ色度を変化させた映像を投影する。手の平へ映像を投影する際、プロジェクタ24の映像は、手の平の領域以外の部分は塗りつぶしのない透明な背景となるよう黒色とし、プロジェクタ24から投影される映像が手の平からはみ出し、プロジェクタ26から投影される床面の映像に重ならない様にする。
Ai + Bi = I
However, 0 ≦ Ai ≦ 1, 0 ≦ Bi ≦ 1
I: Original chromaticity of the original image
Ai: chromaticity of the image projected from the projector A
Bi: Chromaticity of the image projected from the projector B The computer 22 represents information on the size and position of the palm from which the image is projected from the computer 21, and from which projector the chromaticity of the image is projected. Receive instruction information. In step S5i, the image holding unit 7 that supplies the image to the projector 26 that projects the image on the floor masks the palm area and causes the projector 26 to project the image that has been subjected to the masking process. Further, in step S7j, the computer 22 projects images with different chromaticities from the projectors 24 and 25 that have received the image projection instruction. When the image is projected onto the palm of the hand, the image of the projector 24 is black so that the part other than the palm region has a transparent background without being filled. Do not overlap with the floor image.

このように、第3の実施形態では、情報提示装置102に色度変更部11を設け、映像投影面が動的に移動している状態で映像を投影するプロジェクタを切り替える必要がある場合に、投影しているプロジェクタと切り替えるプロジェクタで色度を徐々に変更して映像を投影することで、滑らかな映像を投影し続けることを可能とする。   As described above, in the third embodiment, when the chromaticity changing unit 11 is provided in the information presentation apparatus 102 and it is necessary to switch a projector that projects an image in a state where the image projection plane is dynamically moving, By projecting the image by gradually changing the chromaticity with the projector that switches to the projector that is projecting, it is possible to continue projecting a smooth image.

(第4の実施形態)
この発明の第4の実施形態は、距離計測装置に音波距離測定装置を用いて物体の投影面までの距離を計測し、計測された距離情報から映像投影装置と物体の投影面との間の距離を算出するものである。
図8は、この発明の第4の実施形態に係わる情報提示装置の一実施形態を示す概略構成図である。本実施形態において、映像投影装置1はプロジェクタ41,42,43として実装する。プロジェクタ41〜43は、共通の投影領域に向けて基準位置から互いに異なる投写距離を有するように設置される。プロジェクタ41は、最も近い投写距離を持ち、順にプロジェクタ42、プロジェクタ43と徐々に長い投写距離を持つ。それぞれの投写距離をL8,L9,L10とすると、各投写距離は、次の式で表される。
(Fourth embodiment)
In a fourth embodiment of the present invention, a distance to an object projection surface is measured using a sonic distance measurement device as a distance measurement device, and the distance between the image projection device and the object projection surface is measured from the measured distance information. The distance is calculated.
FIG. 8 is a schematic configuration diagram showing an embodiment of an information presentation apparatus according to the fourth embodiment of the present invention. In the present embodiment, the video projector 1 is implemented as projectors 41, 42, and 43. The projectors 41 to 43 are installed so as to have different projection distances from the reference position toward a common projection area. The projector 41 has the closest projection distance, and gradually has a longer projection distance with the projector 42 and the projector 43 in order. When the respective projection distances are L8, L9, and L10, each projection distance is expressed by the following expression.

L8<L9<L10
プロジェクタ41〜43は、床面に向けて映像を投影するものとし、それぞれほぼ同じ領域内に映像を投影できるよう設置される。また、最も長い投写距離を有するプロジェクタ43が床面に焦点が合うように設定されているものとする。
L8 <L9 <L10
The projectors 41 to 43 are assumed to project an image toward the floor, and are installed so as to project an image in substantially the same area. Further, it is assumed that the projector 43 having the longest projection distance is set so as to be focused on the floor surface.

一方、位置算出部4、距離算出部10、映像投影装置選択部5は制御プログラムとしてパーソナル・コンピュータ等の計算機44内に実装されている。映像保持部7は、プロジェクタ41〜43と同数設けられ、制御プログラムとして計算機45内に実装されている。プロジェクタ41〜43は、計算機45に接続され、さらに計算機44と計算機45との間が接続されている。   On the other hand, the position calculation unit 4, the distance calculation unit 10, and the video projection device selection unit 5 are implemented as a control program in a computer 44 such as a personal computer. The same number of video holding units 7 as the projectors 41 to 43 are provided, and are installed in the computer 45 as a control program. The projectors 41 to 43 are connected to a computer 45 and further connected between the computer 44 and the computer 45.

また、撮像装置3にはビデオカメラ46を用いる。ビデオカメラ46は、計算機44に接続され、上記プロジェクタ41〜43により映像が投影される領域内を全て撮像できる位置に設置される。距離計測装置9は、音波による音波距離測定装置47を用いる。音波距離測定装置47は、プロジェクタ41〜43で映像が投影されている領域内全てにおいて距離が計測できる位置に設置する。   Further, a video camera 46 is used for the imaging device 3. The video camera 46 is connected to the computer 44 and installed at a position where the entire area where the video is projected by the projectors 41 to 43 can be imaged. The distance measuring device 9 uses a sound wave distance measuring device 47 using sound waves. The sonic distance measuring device 47 is installed at a position where the distance can be measured in the entire area where the images are projected by the projectors 41 to 43.

次に、このように構成される第4の実施形態の情報提示装置の動作について説明する。図9は、情報提示装置の動作手順とその内容を示すフローチャートである。なお、本実施形態では、映像が投影される物体の投影面として、人の手の平と床面を対象とする。
ステップS9aにおいて、プロジェクタ43から床面に対して焦点(ピント)の合う映像を投影範囲全体に投影している。この状態で、プロジェクタ23〜26の投影範囲内を撮像し、その映像がビデオカメラ46により撮像され、計算機44に入力される。
Next, the operation of the information presentation apparatus according to the fourth embodiment configured as described above will be described. FIG. 9 is a flowchart showing an operation procedure and contents of the information presentation apparatus. In the present embodiment, the palm and floor of a human hand are targeted as the projection plane of the object on which the video is projected.
In step S9a, the projector 43 projects an image focused on the floor surface over the entire projection range. In this state, an image is picked up within the projection range of the projectors 23 to 26, and the image is picked up by the video camera 46 and input to the computer 44.

次に、ステップS9bにおいて、計算機44は、位置算出部4において、上記入力される撮像映像から画像処理により物体48,49を検出し、物体の大きさ、位置、個数を求める。音波距離測定装置47は、ステップS9cにより、先ず、位置算出部4により求められた物体48の位置へ向けて音波を発生させ、音の反射を計測することで音波距離測定装置47から物体48までの距離をそれぞれ測定する。   Next, in step S <b> 9 b, the calculator 44 detects the objects 48 and 49 by image processing from the input captured video in the position calculation unit 4, and obtains the size, position, and number of objects. In step S9c, the sonic distance measuring device 47 first generates a sonic wave toward the position of the object 48 obtained by the position calculating unit 4, and measures the reflection of the sound, thereby measuring the sonic distance measuring device 47 to the object 48. Measure the distance of each.

さらに、ステップS9dにより、音波距離測定装置47と各プロジェクタ41〜43との位置関係よりプロジェクタ41〜43の設置されている基準位置から物体48の投影面の位置までの距離をそれぞれ算出する。そして、ステップS9eにおいて、計算機44は、算出された距離情報をもとに、映像投影装置選択部5により映像を投影するプロジェクタを決定する。映像投影装置選択部5は、プロジェクタから物体48の投影面、すなわち、物体48までの距離と当該プロジェクタの投写距離との差(絶対値)が最小となるプロジェクタ41を物体48に映像を投影するプロジェクタとして選択する。   Further, in step S9d, the distance from the reference position where the projectors 41 to 43 are installed to the position of the projection plane of the object 48 is calculated from the positional relationship between the sonic distance measuring device 47 and each of the projectors 41 to 43. In step S <b> 9 e, the computer 44 determines a projector to project an image by the image projection device selection unit 5 based on the calculated distance information. The image projection device selection unit 5 projects an image on the object 48 using the projector 41 that minimizes the difference (absolute value) between the projection plane of the object 48 from the projector, that is, the distance from the object 48 to the projection distance of the projector. Select as a projector.

一方、計算機45は、計算機44から映像を投影すべき物体48の大きさと位置の情報と、上記選択されたプロジェクタの選択情報とを受け取る。そして、ステップS9fにおいて、床面に映像を投影しているプロジェクタ43に映像を供給する映像保持部7において物体48の領域をマスクし、マスク処理を行った映像をプロジェクタ43に投影させる。また、ステップS9gにおいて、計算機45は、投影指示を受けたプロジェクタ41から物体48の領域に映像を投影させる。物体48へ映像を投影する際、プロジェクタ41の映像は、物体48の領域以外の部分は塗りつぶしのない透明な背景となるよう黒色とし、プロジェクタ41から投影される映像が物体48からはみ出し、プロジェクタ43から投影される床面の映像に重ならない様にする。   On the other hand, the computer 45 receives from the computer 44 information on the size and position of the object 48 on which an image is to be projected and selection information on the selected projector. In step S9f, the video holding unit 7 that supplies video to the projector 43 that projects video on the floor masks the area of the object 48 and causes the projector 43 to project the masked video. In step S9g, the computer 45 projects an image on the area of the object 48 from the projector 41 that has received the projection instruction. When the image is projected onto the object 48, the image of the projector 41 is black so that the part other than the area of the object 48 has a transparent background without filling, and the image projected from the projector 41 protrudes from the object 48. Do not overlap with the floor image projected from.

そして、ステップS9hにおいて、検出された物体がまだあるか否かを判定し、あると判定された場合には、ステップS9cに移行して、上記処理を繰り返す。ここで、上記同様に、物体49の投影面に対してもプロジェクタ42から映像が投影される。また、検出されたすべての物体に対して映像が提示されると、ステップS9iに移行して提示処理を繰り返すか否かの判定を行う。ステップS9iにおいて提示処理の終了指示が通知されるまで、上記処理を繰り返し行う。   In step S9h, it is determined whether or not there is still a detected object. If it is determined that there is an object, the process proceeds to step S9c and the above process is repeated. Here, as described above, an image is projected from the projector 42 onto the projection surface of the object 49. When video is presented to all detected objects, the process proceeds to step S9i to determine whether to repeat the presentation process. The above process is repeated until an instruction to end the presentation process is notified in step S9i.

上記第4の実施形態では、距離計測装置9に音波距離測定装置47を用いて物体の投影面までの距離を計測し、計測された距離情報から映像投影装置1と物体の投影面との間の距離を算出している。このように構成することで、投影されている映像に影響を与えることなく、物体の投影面までの距離を計測することが可能となる。
また、上記第4の実施形態では、計算機44、45の2台の計算機を用いたが、1台の計算機に位置算出部4、映像投影装置選択部5、映像保持部7、及び距離算出部10を実装するように構成してもよい。
In the fourth embodiment, a distance to the object projection surface is measured using the sonic distance measurement device 47 as the distance measurement device 9, and the distance between the image projection device 1 and the object projection surface is measured from the measured distance information. The distance is calculated. With this configuration, it is possible to measure the distance of the object to the projection plane without affecting the projected image.
In the fourth embodiment, the two computers 44 and 45 are used. However, the position calculation unit 4, the image projection device selection unit 5, the image holding unit 7, and the distance calculation unit are included in one computer. 10 may be implemented.

(第5の実施形態)
この発明の第5の実施形態は、距離計測装置に照明装置を用いて物体の投影面を照らし、この状態が撮像された撮像画像から得られる照度情報をもとに物体の投影面までの距離を算出するものである。
図8は、この発明の第5の実施形態に係わる情報提示装置の一実施形態を示す概略構成図である。本実施形態において、上記第4の実施形態の前記図8と同一構成部分には同一符号を付し、詳しい説明は省略する。距離計測装置9として、照明装置50を用いる。照明装置50は、プロジェクタ41〜43により映像が投影されている領域内全てにおいて照明を当てられる位置に設置される。
(Fifth embodiment)
In the fifth embodiment of the present invention, an illumination device is used as a distance measuring device to illuminate the projection surface of an object, and this state is the distance to the projection surface of the object based on illuminance information obtained from the captured image obtained by imaging Is calculated.
FIG. 8 is a schematic configuration diagram showing an embodiment of an information presentation apparatus according to the fifth embodiment of the present invention. In this embodiment, the same components as those in FIG. 8 of the fourth embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. An illumination device 50 is used as the distance measuring device 9. The illuminating device 50 is installed at a position where the illumination can be applied in the entire area where the image is projected by the projectors 41 to 43.

次に、このように構成される第5の実施形態の情報提示装置の動作について説明する。図11は、情報提示装置の動作手順とその内容を示すフローチャートである。なお、図11において、ステップS11a〜S11b及びステップS11e〜S11iの処理は、上記第4の実施形態における図9のステップS9a〜S9b及びステップS9e〜S9iの処理と同様であるため説明を省略し、ここでは、ステップS11c〜S11dの処理について詳しく説明する。   Next, the operation of the information presentation apparatus of the fifth embodiment configured as described above will be described. FIG. 11 is a flowchart showing an operation procedure and contents of the information presentation apparatus. In addition, in FIG. 11, since the process of step S11a-S11b and step S11e-S11i is the same as the process of step S9a-S9b of FIG. 9 in the said 4th Embodiment, and step S9e-S9i, description is abbreviate | omitted. Here, the processing of steps S11c to S11d will be described in detail.

ステップS11cにおいて、情報提示装置は、位置算出部4により算出された物体48,49の位置情報から、照明装置50はライトを点ける。ビデオカメラ46は、物体48,49の位置の照度を撮影する。距離算出部10は、得られた照度情報から照明装置50から物体48及び49までの距離を算出する。さらに、ステップS11dにおいて、照明装置50とプロジェクタ41〜43との位置関係から、プロジェクタ41〜43と物体48,49までの距離をそれぞれ導き出す。計算機44は、算出結果の距離情報から、映像投影装置選択部5により映像を投影するプロジェクタを決定する。   In step S <b> 11 c, the information presentation apparatus turns on the lighting device 50 from the position information of the objects 48 and 49 calculated by the position calculation unit 4. The video camera 46 captures the illuminance at the positions of the objects 48 and 49. The distance calculation unit 10 calculates the distances from the illumination device 50 to the objects 48 and 49 from the obtained illuminance information. Further, in step S11d, the distances between the projectors 41 to 43 and the objects 48 and 49 are derived from the positional relationship between the lighting device 50 and the projectors 41 to 43, respectively. The computer 44 determines a projector to project an image by the image projection device selection unit 5 from the distance information of the calculation result.

上記第5の実施形態では、距離計測装置9に照明装置50を用いて物体の投影面を照らし、この状態をビデオカメラ46により撮像した撮像画像から得られる照度情報をもとに物体の投影面までの距離を算出するようにしている。このように構成することで、簡易な構成で物体の投影面までの距離を計測することが可能となる。   In the fifth embodiment, an object projection plane is illuminated on the distance measuring device 9 using the illumination device 50, and the object projection plane is obtained based on illuminance information obtained from a captured image obtained by capturing this state with the video camera 46. The distance is calculated. With this configuration, it is possible to measure the distance of the object to the projection plane with a simple configuration.

(第6の実施形態)
この発明の第6の実施形態は、距離計測装置の替わりにぼけ検出技術を用いるもので、複数の投影装置に、投影装置毎に識別可能な識別画像を共通の投影領域に向けて投影させ、この状態が撮像された撮像画像からぼけ具合を検出し、検出されたぼけ具合をもとに物体の投影面までの距離を算出するものである。
図12は、この発明の第6の実施形態に係わる情報提示装置の一実施形態を示す概略構成図である。本実施形態において、上記第4の実施形態の前記図8と同一構成部分には同一符号を付し、詳しい説明は省略する。距離計測装置9としてぼけ検出部を用いる。ぼけ検出部は、ソフトウェアとして計算機44に実装されている。ぼけ検出の処理には、例えば、非特許文献2に挙げるような、撮像画像を分析することでぼけ具合を求める手法などを用いる。
(Sixth embodiment)
The sixth embodiment of the present invention uses blur detection technology instead of a distance measuring device, and causes a plurality of projection devices to project an identification image that can be identified for each projection device toward a common projection region, In this state, the degree of blur is detected from the captured image, and the distance to the projection plane of the object is calculated based on the detected degree of blur.
FIG. 12: is a schematic block diagram which shows one Embodiment of the information presentation apparatus concerning the 6th Embodiment of this invention. In this embodiment, the same components as those in FIG. 8 of the fourth embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. A blur detector is used as the distance measuring device 9. The blur detection unit is implemented in the computer 44 as software. For the blur detection process, for example, a technique such as that described in Non-Patent Document 2 is used to determine the degree of blur by analyzing captured images.

距離計測装置9は、プロジェクタ41〜43よりそれぞれ異なった色の映像を一度に投影させる。ビデオカメラ46は、物体48,49に上記映像が投影された様子を撮像し、映像投影装置選択部5に入力する。映像投影装置選択部5は、この撮像画像から各色ごとにぼけ検出処理を行い、その中で最もはっきりとした映像を検出し、その映像の色に対応するプロジェクタを、プロジェクタから映像投影面までの距離と当該プロジェクタの投写距離との差(絶対値)が最小となるプロジェクタとして検出する。   The distance measuring device 9 projects images of different colors from the projectors 41 to 43 at a time. The video camera 46 takes an image of the image projected onto the objects 48 and 49 and inputs it to the image projection device selection unit 5. The video projection device selection unit 5 performs blur detection processing for each color from this captured image, detects the clearest video among them, and selects a projector corresponding to the color of the video from the projector to the video projection surface. The projector is detected as the projector having the smallest difference (absolute value) between the distance and the projection distance of the projector.

次に、このように構成される第6の実施形態の情報提示装置の動作について説明する。図13は、情報提示装置の動作手順とその内容を示すフローチャートである。なお、図13において、ステップS13a〜S13b及びステップS13f〜S13jの処理は、上記第4の実施形態における図9のステップS9a〜S9b及びステップS9e〜S9iの処理と同様であるため説明を省略し、ここでは、ステップS13c〜S13eの処理について詳しく説明する。   Next, the operation of the information presentation apparatus according to the sixth embodiment configured as described above will be described. FIG. 13 is a flowchart showing an operation procedure and contents of the information presentation apparatus. In FIG. 13, the processes of steps S13a to S13b and steps S13f to S13j are the same as the processes of steps S9a to S9b and steps S9e to S9i of FIG. Here, the processing of steps S13c to S13e will be described in detail.

ステップS13cにおいて、距離計測装置9は、計算機44は位置算出部4により算出された物体48,49の情報から、その位置へ向けてプロジェクタ41〜43より格子状の映像を投影する様に、計算機45へ指示する。計算機45は受け取った情報をプロジェクタ41〜43へ送信し、プロジェクタ41〜43はそれぞれ互いに異なった色の格子を物体48,49へ向けて投影する。この様子を図14に示す。   In step S <b> 13 c, the distance measuring device 9 is configured so that the computer 44 projects a grid-like image from the projectors 41 to 43 toward the position from the information of the objects 48 and 49 calculated by the position calculation unit 4. 45 is instructed. The computer 45 transmits the received information to the projectors 41 to 43, and the projectors 41 to 43 project grids of different colors toward the objects 48 and 49, respectively. This is shown in FIG.

ステップS13dにおいて、ビデオカメラ46は、物体48,49に投影された映像の様子を撮像する。計算機44は、ビデオカメラ46で撮像された映像を受け取り、各色ごとにぼけ検出処理を行い、最もぼけの少ない映像を検出する。そして、ステップS13eにより、映像投影装置選択部5は、物体に対して最もぼけの少ない映像を投影しているプロジェクタをその物体に映像を投影するプロジェクタとして決定する。   In step S <b> 13 d, the video camera 46 takes an image of the images projected on the objects 48 and 49. The computer 44 receives the video imaged by the video camera 46, performs blur detection processing for each color, and detects the video with the least blur. In step S13e, the video projection device selection unit 5 determines the projector that projects the video with the least blur on the object as the projector that projects the video on the object.

このように第6の実施形態は、距離計測装置9の替わりにぼけ検出技術を用いるもので、複数の映像投影装置1に、装置毎に識別可能な識別画像を共通の投影領域に向けて投影させ、この状態をビデオカメラ46により撮像した撮像画像からぼけ具合を検出し、検出されたぼけ具合をもとに物体の投影面までの距離を算出するものである。
このように構成することで、基準位置から検出された物体の投影面までの距離を測定するために、ステレオカメラや音波距離測定装置等の新たなデバイスを必要としないため、簡易な構成で実現することが可能となる。
As described above, the sixth embodiment uses blur detection technology instead of the distance measurement device 9, and projects an identification image that can be identified for each device toward a common projection region on the plurality of video projection devices 1. In this state, the degree of blur is detected from an image captured by the video camera 46, and the distance to the projection plane of the object is calculated based on the detected degree of blur.
This configuration does not require a new device such as a stereo camera or a sonic distance measuring device to measure the distance from the reference position to the projection surface of the detected object. It becomes possible to do.

また、今回、ぼけ検出処理の高速化を可能とするため、プロジェクタ毎に投影するのではなく、各プロジェクタで異なる色を一度に投影して画像処理を行った。なお、本実施形態においては色以外に、互いに異なる形の映像を各プロジェクタで投影するようにしても良い。   In addition, this time, in order to increase the speed of the blur detection process, image processing is performed by projecting different colors at the same time for each projector instead of projecting each projector. In the present embodiment, in addition to colors, images of different shapes may be projected by each projector.

(第7の実施形態)
この発明の第6の実施形態は、距離計測装置の替わりに輪郭検出技術を用いるもので、複数の投影装置に、投影装置毎に識別可能な識別画像を共通の投影領域に向けて投影させ、この状態が撮像された撮像画像から輪郭情報を検出し、検出された輪郭情報をもとに物体の投影面までの距離を算出するものである。
図15は、この発明の第7の実施形態に係わる情報提示装置の一実施形態を示す概略構成図である。本実施形態において、映像投影装置1はプロジェクタ31,32,33として実装する。プロジェクタ31〜33は、共通の投影領域に向けて基準位置から互いに異なる投写距離を有するように設置される。プロジェクタ31は、最も近い投写距離を持ち、順にプロジェクタ32、プロジェクタ33と徐々に長い投写距離を持つ。それぞれの投写距離をL5,L6,L7とすると、各投写距離は、次の式で表される。
(Seventh embodiment)
The sixth embodiment of the present invention uses a contour detection technique instead of a distance measuring device, and causes a plurality of projection devices to project an identification image that can be identified for each projection device toward a common projection region, In this state, contour information is detected from the captured image, and the distance to the projection plane of the object is calculated based on the detected contour information.
FIG. 15: is a schematic block diagram which shows one Embodiment of the information presentation apparatus concerning 7th Embodiment of this invention. In the present embodiment, the video projector 1 is implemented as projectors 31, 32, and 33. The projectors 31 to 33 are installed so as to have different projection distances from the reference position toward a common projection area. The projector 31 has the closest projection distance, and gradually has a longer projection distance with the projector 32 and the projector 33 in order. When the respective projection distances are L5, L6, and L7, each projection distance is expressed by the following expression.

L5<L6<L7
プロジェクタ31〜33は、床面に向けて映像を投影するものとし、それぞれほぼ同じ領域内に映像を投影できるよう設置される。また、最も長い投写距離を有するプロジェクタ26が床面に焦点が合うように設定されているものとする。
L5 <L6 <L7
The projectors 31 to 33 are assumed to project an image toward the floor, and are installed so that the images can be projected in substantially the same area. In addition, it is assumed that the projector 26 having the longest projection distance is set so as to be focused on the floor surface.

一方、位置算出部4、距離算出部10、映像投影装置選択部5は制御プログラムとしてパーソナル・コンピュータ等の計算機34内に実装されている。映像保持部7は、プロジェクタ31〜33と同数設けられ、制御プログラムとして計算機35内に実装されている。プロジェクタ31〜33は、計算機35に接続され、さらに計算機34と計算機35との間が接続されている。   On the other hand, the position calculation unit 4, the distance calculation unit 10, and the video projection device selection unit 5 are implemented as a control program in a computer 34 such as a personal computer. The video holding units 7 are provided in the same number as the projectors 31 to 33 and are installed in the computer 35 as a control program. The projectors 31 to 33 are connected to the computer 35 and further connected between the computer 34 and the computer 35.

また、撮像装置3にはビデオカメラ36を用いる。ビデオカメラ36は、計算機34に接続され、上記プロジェクタ31〜33により映像が投影される領域内を全て撮像できる位置に設置される。距離計測装置9として、プロジェクタ31〜33により予め定めた色と形の映像を投影面へ投影し、各投影面に投影された映像の輪郭とその映像の大きさを計測することで距離を測定する手法を用いる。   In addition, a video camera 36 is used for the imaging device 3. The video camera 36 is connected to the computer 34 and is installed at a position where the entire area in which the video is projected by the projectors 31 to 33 can be imaged. As the distance measuring device 9, the projectors 31 to 33 project images of a predetermined color and shape onto the projection plane, and measure the distance by measuring the outline of the image projected on each projection plane and the size of the image. The technique to be used is used.

本実施形態において、映像が投影される投影面としては、位置、高さ、大きさの異なる物体37及び38と床面を対象とする。
次に、このように構成される第7の実施形態の情報提示装置の動作について説明する。図16は、情報提示装置の動作手順とその内容を示すフローチャートである。
In the present embodiment, the projection surfaces on which the image is projected are objects 37 and 38 having different positions, heights, and sizes, and the floor surface.
Next, the operation of the information presentation apparatus of the seventh embodiment configured as described above will be described. FIG. 16 is a flowchart showing an operation procedure and contents of the information presentation apparatus.

ステップS16aにおいて、プロジェクタ33からは床面に対して焦点(ピント)の合う映像を画面全体に投影している。ビデオカメラ36は、映像の投影範囲内を撮像し、その映像を計算機34へ送信する。計算機34はビデオカメラ36により撮像された映像を受信する。次に、ステップS16bにおいて、計算機34は位置算出部4により、撮像された映像の中から背景差分抽出や色検出処理などにより物体37,38を検出し、物体の映像が投影される面の大きさ、位置、個数を求める。そして、計算機34は、算出結果のデータを計算機35へ送信する。   In step S16a, the projector 33 projects an image focused on the floor surface on the entire screen. The video camera 36 captures an image within the projection range of the video and transmits the video to the computer 34. The computer 34 receives the video imaged by the video camera 36. Next, in step S <b> 16 b, the calculator 34 detects the objects 37 and 38 from the captured image by background difference extraction or color detection processing by the position calculation unit 4, and the size of the surface on which the object image is projected. Find the position, number. Then, the computer 34 transmits the calculation result data to the computer 35.

ステップS16cにおいて、計算機35は、上記受信したデータに基づき、物体37、38へ向けて、プロジェクタ31〜33により順番に映像を投影する。ステップS16dにおいて、ビデオカメラ36は、物体37,38に投影された映像の様子を撮像する。そして、計算機34はビデオカメラ36で撮像された映像を受け取り、ステップS16eにおいて、距離算出部10により距離を算出する。   In step S <b> 16 c, the computer 35 projects images in order by the projectors 31 to 33 toward the objects 37 and 38 based on the received data. In step S <b> 16 d, the video camera 36 captures an image of the image projected on the objects 37 and 38. Then, the computer 34 receives the video imaged by the video camera 36, and calculates the distance by the distance calculation unit 10 in step S16e.

具体的には、各プロジェクタ31〜33の投影映像が撮像された映像を受信し、各プロジェクタ31〜33から投影された物体37,38に投影されている映像のエッジを抽出する。そして、ステップS16fにおいて、計算機34は、映像投影装置選択部5により投影すべき映像のエッジ抽出データと、各プロジェクタにより投影された映像のエッジ抽出データをそれぞれ比較し、投影すべき映像のエッジ抽出データにより近いエッジ抽出データを持つプロジェクタを選択する。このように構成することで、距離測定のために新たなデバイスを必要としない。   Specifically, an image obtained by capturing the projection images of the projectors 31 to 33 is received, and the edges of the images projected on the objects 37 and 38 projected from the projectors 31 to 33 are extracted. In step S16f, the computer 34 compares the edge extraction data of the image to be projected by the image projection device selection unit 5 with the edge extraction data of the image projected by each projector, and extracts the edge of the image to be projected. A projector having edge extraction data closer to the data is selected. With this configuration, no new device is required for distance measurement.

一方、計算機35は、計算機34から映像を投影すべき物体37の大きさと位置の情報と、上記選択されたプロジェクタの選択情報とを受け取る。そして、ステップS16fにおいて、床面に映像を投影しているプロジェクタ33に映像を供給する映像保持部7において物体48の領域をマスクし、マスク処理を行った映像をプロジェクタ33に投影させる。また、ステップS16gにおいて、計算機35は、投影指示を受けたプロジェクタ31から物体37の領域に映像を投影させる。物体37へ映像を投影する際、プロジェクタ31の映像は、物体37の領域以外の部分は塗りつぶしのない透明な背景となるよう黒色とし、プロジェクタ31から投影される映像が物体37からはみ出し、プロジェクタ33から投影される床面の映像に重ならない様にする。   On the other hand, the computer 35 receives from the computer 34 information on the size and position of the object 37 on which an image is to be projected, and selection information on the selected projector. In step S16f, the video holding unit 7 that supplies video to the projector 33 that projects video on the floor masks the area of the object 48 and causes the projector 33 to project the masked video. In step S16g, the computer 35 projects an image on the area of the object 37 from the projector 31 that has received the projection instruction. When the image is projected onto the object 37, the image of the projector 31 is black so that the part other than the region of the object 37 has a transparent background without being filled, and the image projected from the projector 31 protrudes from the object 37. Do not overlap with the floor image projected from.

そして、ステップS16hにおいて、検出された物体がまだあるか否かを判定し、あると判定された場合には、ステップS16cに移行して、上記処理を繰り返す。ここで、上記同様に、物体37の投影面に対してもプロジェクタ32から映像が投影される。また、検出されたすべての物体に対して映像が提示されると、ステップS16iに移行して提示処理を繰り返すか否かの判定を行う。ステップS16iにおいて提示処理の終了指示が通知されるまで、上記処理を繰り返し行う。   In step S16h, it is determined whether or not there is still a detected object. If it is determined that there is an object, the process proceeds to step S16c and the above process is repeated. Here, similarly to the above, an image is projected from the projector 32 onto the projection surface of the object 37. When video is presented for all detected objects, the process proceeds to step S16i to determine whether or not to repeat the presentation process. The above process is repeated until an instruction to end the presentation process is notified in step S16i.

上記第7の実施形態では、距離計測装置9の替わりに輪郭検出技術を用いるもので、複数の映像投影装置1に、装置毎に識別可能な識別画像を共通の投影領域に向けて投影させ、この状態をビデオカメラ46により撮像した撮像画像から輪郭情報を検出し、検出された輪郭情報をもとに物体の投影面までの距離を算出するものである。
このように構成しても、基準位置から検出された物体の投影面までの距離を測定するために、ステレオカメラや音波距離測定装置等の新たなデバイスを必要としないため、簡易な構成で実現することが可能となる。
In the seventh embodiment, contour detection technology is used instead of the distance measuring device 9, and the plurality of video projecting devices 1 project identification images that can be identified for each device toward a common projection area, In this state, contour information is detected from a captured image captured by the video camera 46, and the distance to the projection plane of the object is calculated based on the detected contour information.
Even with this configuration, it does not require a new device such as a stereo camera or a sonic distance measuring device to measure the distance from the reference position to the projection surface of the detected object. It becomes possible to do.

また、上記第7の実施形態では、計算機34、35の2台の計算機を用いたが、1台の計算機に位置算出部4、映像投影装置選択部5、映像保持部7、及び距離算出部10を実装するように構成することもできる。また、プロジェクタ31〜33により順番に予め定めた色と形の映像を物体の投影面へ投影するように構成したが、プロジェクタ毎に異なる識別画像を一度に投影するようにして、この状態が撮像された撮像画像からプロジェクタそれぞれの輪郭情報を検出するようにしてもよい。このようにるすと、物体の投影面までの距離を短時間で算出することが可能となる。   In the seventh embodiment, the two computers 34 and 35 are used. However, the position calculation unit 4, the video projection device selection unit 5, the video holding unit 7, and the distance calculation unit are included in one computer. 10 may be implemented. In addition, the projectors 31 to 33 are configured to project images of predetermined colors and shapes in order onto the projection surface of the object, but this state is obtained by projecting different identification images for each projector at a time. The contour information of each projector may be detected from the captured image. In this way, the distance to the projection plane of the object can be calculated in a short time.

なお、この発明は上記各実施形態に限定されるものではない。本発明の情報提示装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、通信ネットワークを通じて提供することも可能である。その他、情報提示装置の構成および各部の動作手順とその内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。   The present invention is not limited to the above embodiments. The information presentation apparatus of the present invention can be realized by a computer and a program, and can be recorded on a recording medium or provided through a communication network. In addition, the configuration of the information presentation device, the operation procedure of each unit, and the contents thereof can be variously modified and implemented without departing from the scope of the present invention.

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

この発明の第1の実施形態に係わる情報提示装置の一実施形態を示すブロック構成図。The block block diagram which shows one Embodiment of the information presentation apparatus concerning 1st Embodiment of this invention. 図1に示す情報提示装置の実装例を示す概略構成図。The schematic block diagram which shows the example of mounting of the information presentation apparatus shown in FIG. 図1に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. この発明の第2の実施形態に係わる情報提示装置の一実施形態を示すブロック構成図。The block block diagram which shows one Embodiment of the information presentation apparatus concerning 2nd Embodiment of this invention. 図4に示す情報提示装置の動作の手順とその内容を示すフローチャート。The flowchart which shows the procedure of the operation | movement of the information presentation apparatus shown in FIG. 4, and its content. この発明の第3の実施形態に係わる情報提示装置の一実施形態を示すブロック構成図。The block block diagram which shows one Embodiment of the information presentation apparatus concerning the 3rd Embodiment of this invention. 図6に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. 6, and its content. この発明の第4の実施形態に係わる情報提示装置の概略構成図。The schematic block diagram of the information presentation apparatus concerning the 4th Embodiment of this invention. 図8に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. この発明の第5の実施形態に係わる情報提示装置の概略構成図。The schematic block diagram of the information presentation apparatus concerning the 5th Embodiment of this invention. 図10に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. この発明の第6の実施形態に係わる情報提示装置の概略構成図。The schematic block diagram of the information presentation apparatus concerning the 6th Embodiment of this invention. 図12に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. 図12に示す情報提示装置から物体に映像を投影した様子を示す図。The figure which shows a mode that the image | video was projected on the object from the information presentation apparatus shown in FIG. この発明の第7の実施形態に係わる情報提示装置の概略構成図。The schematic block diagram of the information presentation apparatus concerning the 7th Embodiment of this invention. 図15に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. 15, and its content.

符号の説明Explanation of symbols

101…情報提示装置、1…映像投影装置、3…撮像装置、4…位置算出部、5…映像投影装置選択部、7…映像保持部、9…距離計測装置、10…距離算出部、20…ビデオカメラ、21、22…計算機、23,24,25,26…プロジェクタ、27…2眼ステレオカメラ、6…輝度変更部、7…色度変更部、41,42,43…プロジェクタ、44、45…計算機、46…ビデオカメラ、47、音波距離測定装置、48,49…物体、50…照明装置、31,32,33…プロジェクタ、34、35…計算機、36…ビデオカメラ、37,38…物体。   DESCRIPTION OF SYMBOLS 101 ... Information presentation apparatus, 1 ... Video projection apparatus, 3 ... Imaging apparatus, 4 ... Position calculation part, 5 ... Video projection apparatus selection part, 7 ... Video holding part, 9 ... Distance measurement apparatus, 10 ... Distance calculation part, 20 ... Video camera, 21, 22 ... Computer, 23, 24, 25, 26 ... Projector, 27 ... Binocular stereo camera, 6 ... Luminance changing unit, 7 ... Chromaticity changing unit, 41, 42, 43 ... Projector, 44, 45: Computer, 46: Video camera, 47, Sonic distance measuring device, 48, 49 ... Object, 50 ... Illumination device, 31, 32, 33 ... Projector, 34, 35 ... Computer, 36 ... Video camera, 37, 38 ... object.

Claims (9)

共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の投影装置により情報を映像として投影し提示する情報提示装置であって、
前記投影領域内に存在する物体を検出する検出手段と、
前記基準位置から前記検出された物体の投影面までの距離情報を取得する距離取得手段と、
前記取得された距離情報に基づいて前記複数の投影装置のうち前記物体の投影面までの距離に相当する投写距離を有する第1の投影装置を選択する選択手段と、
前記選択された第1の投影装置に前記物体の投影面に向けて前記映像を投影させる投影制御手段と
を具備することを特徴とする情報提示装置。
An information presentation device that projects and presents information as images by a plurality of projection devices that form projection planes at different projection distances from a reference position toward a common projection region,
Detecting means for detecting an object present in the projection area;
Distance acquisition means for acquiring distance information from the reference position to the projection surface of the detected object;
Selection means for selecting a first projection device having a projection distance corresponding to the distance to the projection surface of the object, among the plurality of projection devices based on the acquired distance information;
An information presentation apparatus comprising: a projection control unit configured to project the video toward the projection plane of the object on the selected first projection apparatus.
前記投影制御手段は、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定手段と、前記複数の投影装置の輝度をそれぞれ変更する輝度変更手段とを備え、前記判定手段により、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記輝度変更手段により前記第1の投影装置及び第2の投影装置の輝度を変更することを特徴とする請求項1記載の情報提示装置。   The projection control unit includes a determination unit that determines whether or not a difference between a distance of the object to the projection plane and a projection distance of the selected first projection device exceeds a predetermined threshold; Brightness change means for changing the brightness of each of the projection devices, and the determination means determines that the difference between the distance of the object to the projection surface and the projection distance of the first projection device exceeds a predetermined threshold value. A second projection device having a projection distance corresponding to a distance from the first projection device to the projection surface of the object, based on the acquired distance information. Brightness of the first and second projection devices by the brightness changing means according to the difference between the distance to the projection surface of the object and the projection distance of the selected projection device. It is characterized by changing Information presentation apparatus according to claim 1. 前記投影制御手段は、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定手段と、前記複数の投影装置の色度をそれぞれ変更する色度変更手段とを備え、前記判定手段により、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記色度変更手段により前記第1の投影装置及び第2の投影装置の色度を変更することを特徴とする請求項1記載の情報提示装置。   The projection control unit includes a determination unit that determines whether or not a difference between a distance of the object to the projection plane and a projection distance of the selected first projection device exceeds a predetermined threshold; Chromaticity changing means for changing the chromaticity of the projection apparatus, respectively, and the difference between the distance to the projection surface of the object and the projection distance of the first projection apparatus exceeds a predetermined threshold by the determination means. A second projection distance corresponding to a distance from the first projection device to the projection plane of the object based on the acquired distance information. A projection device is selected, and the first projection device and the second projection are selected by the chromaticity changing means according to a difference between a distance of the object to the projection surface and a projection distance of the selected projection device. It is characterized by changing the chromaticity of the device. Information presentation apparatus according to claim 1. 前記距離取得手段は、前記複数の投影装置に前記共通の投影領域に向けて、前記複数の投影装置毎に識別可能な識別画像を投影させる手段と、前記複数の投影装置により識別画像が投影された状態で前記共通の投影領域が撮像された撮像画像を取得する撮像画像取得手段と、前記撮像画像からぼけ具合を検出するぼけ検出手段とを備え、
前記検出されたぼけ具合をもとに前記基準位置から前記検出された物体の投影面までの距離情報を取得することを特徴する請求項1記載の情報提示装置。
The distance acquisition unit projects the identification image that can be identified for each of the plurality of projection devices toward the common projection area on the plurality of projection devices, and the identification image is projected by the plurality of projection devices. A captured image acquisition unit that acquires a captured image in which the common projection area is captured in a state in which the common projection region is captured, and a blur detection unit that detects a degree of blur from the captured image,
The information presentation apparatus according to claim 1, wherein distance information from the reference position to the projection plane of the detected object is acquired based on the detected degree of blur.
前記距離取得手段は、前記複数の投影装置に前記共通の投影領域に向けて、前記複数の投影装置毎に識別可能な識別画像を投影させる手段と、前記複数の投影装置により識別画像が投影された状態で前記共通の投影領域が撮像された撮像画像を取得する撮像画像取得手段と、前記撮像画像から識別画像の輪郭情報を検出する輪郭検出手段とを備え、
前記検出された輪郭情報をもとに前記基準位置から前記検出された物体の投影面までの距離情報を取得することを特徴する請求項1記載の情報提示装置。
The distance acquisition unit projects the identification image that can be identified for each of the plurality of projection devices toward the common projection area on the plurality of projection devices, and the identification image is projected by the plurality of projection devices. A captured image acquisition unit that acquires a captured image in which the common projection area is captured in a state of being captured, and a contour detection unit that detects contour information of an identification image from the captured image,
The information presentation apparatus according to claim 1, wherein distance information from the reference position to the projection plane of the detected object is acquired based on the detected contour information.
共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の投影装置により情報を映像として投影し提示する情報提示装置で用いられ、
前記投影領域内に存在する物体を検出する検出ステップと、
前記基準位置から前記検出された物体の投影面までの距離情報を取得する距離取得ステップと、
前記取得された距離情報に基づいて前記複数の投影装置のうち前記物体の投影面までの距離に相当する投写距離を有する第1の投影装置を選択する選択ステップと、
前記選択された第1の投影装置に前記物体の投影面に向けて前記映像を投影させる投影制御ステップと
を具備することを特徴とする情報提示方法。
Used in an information presentation device that projects and presents information as a video by a plurality of projection devices that form projection planes at different projection distances from a reference position toward a common projection region,
A detection step of detecting an object present in the projection region;
A distance acquisition step of acquiring distance information from the reference position to the projection plane of the detected object;
A selection step of selecting a first projection device having a projection distance corresponding to a distance to the projection plane of the object, among the plurality of projection devices, based on the acquired distance information;
A projection control step of causing the selected first projection device to project the video toward the projection plane of the object.
前記投影制御ステップは、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定ステップと、前記複数の投影装置の輝度をそれぞれ変更する輝度変更ステップとを備え、
前記判定ステップにより、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記輝度変更ステップにより前記第1の投影装置及び第2の投影装置の輝度を変更することを特徴とする請求項6記載の情報提示方法。
The projection control step includes a determination step of determining whether a difference between a distance of the object to the projection surface and a projection distance of the selected first projection device exceeds a predetermined threshold value, A brightness changing step for changing the brightness of the projection device,
When the determination step determines that the difference between the distance of the object to the projection surface and the projection distance of the first projection device exceeds a predetermined threshold, A second projection device having a projection distance corresponding to a distance from the first projection device to the projection plane of the object is selected from among the plurality of projection devices, and the distance to the projection plane of the object; 7. The information presentation according to claim 6, wherein the luminance of the first projection device and the second projection device is changed by the luminance change step according to a difference with a projection distance of the selected projection device. Method.
前記投影制御ステップは、前記物体の投影面までの距離と前記選択された第1の投影装置が有する投写距離との差が所定の閾値を超えるか否かを判定する判定ステップと、前記複数の投影装置の色度をそれぞれ変更する色度変更ステップとを備え、
前記判定ステップにより、前記物体の投影面までの距離と前記第1の投影装置が有する投写距離との差が所定の閾値を超えると判定される場合に、前記取得された距離情報に基づいて前記複数の投影装置のうち前記第1の投影装置の次に前記物体の投影面までの距離に相当する投写距離を有する第2の投影装置を選択し、前記物体の投影面までの距離と、前記選択された投影装置が有する投写距離との差に応じて、前記色度変更ステップにより前記第1の投影装置及び第2の投影装置の色度を変更することを特徴とする請求項6記載の情報提示方法。
The projection control step includes a determination step of determining whether a difference between a distance of the object to the projection surface and a projection distance of the selected first projection device exceeds a predetermined threshold value, A chromaticity change step for changing the chromaticity of the projection device,
When the determination step determines that the difference between the distance of the object to the projection surface and the projection distance of the first projection device exceeds a predetermined threshold, A second projection device having a projection distance corresponding to a distance from the first projection device to the projection plane of the object is selected from among the plurality of projection devices, and the distance to the projection plane of the object; The chromaticity of the first projection device and the second projection device is changed by the chromaticity changing step according to a difference with a projection distance of the selected projection device. Information presentation method.
共通の投影領域に向けて基準位置から互いに異なる投写距離に投影面を形成する複数の投影装置により情報を映像として投影し提示する、コンピュータを備える情報提示装置で使用されるプログラムであって、
前記投影領域内に存在する物体を検出する検出処理と、
前記基準位置から前記検出された物体の投影面までの距離情報を取得する距離取得処理と、
前記取得された距離情報に基づいて前記複数の投影装置のうち前記物体の投影面までの距離に相当する投写距離を有する投影装置を選択する選択処理と、
前記選択された投影装置に前記物体の投影面に向けて前記映像を投影させる投影制御処理と
を、前記コンピュータに実行させることを特徴とするプログラム。
A program used in an information presentation apparatus including a computer that projects and presents information as a video by a plurality of projection apparatuses that form projection planes at different projection distances from a reference position toward a common projection area,
A detection process for detecting an object present in the projection area;
Distance acquisition processing for acquiring distance information from the reference position to the projection surface of the detected object;
A selection process for selecting a projection device having a projection distance corresponding to the distance to the projection surface of the object from the plurality of projection devices based on the acquired distance information;
A program that causes the computer to execute a projection control process that causes the selected projection device to project the video toward a projection plane of the object.
JP2005354901A 2005-12-08 2005-12-08 Information presenting apparatus, information presenting method, and program thereof Expired - Fee Related JP4694957B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005354901A JP4694957B2 (en) 2005-12-08 2005-12-08 Information presenting apparatus, information presenting method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005354901A JP4694957B2 (en) 2005-12-08 2005-12-08 Information presenting apparatus, information presenting method, and program thereof

Publications (2)

Publication Number Publication Date
JP2007156325A true JP2007156325A (en) 2007-06-21
JP4694957B2 JP4694957B2 (en) 2011-06-08

Family

ID=38240746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005354901A Expired - Fee Related JP4694957B2 (en) 2005-12-08 2005-12-08 Information presenting apparatus, information presenting method, and program thereof

Country Status (1)

Country Link
JP (1) JP4694957B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249894A (en) * 2007-03-29 2008-10-16 Casio Comput Co Ltd Display drive and display device including the same
JP2009251257A (en) * 2008-04-07 2009-10-29 Nikon Corp Projector
JP2010086928A (en) * 2008-10-03 2010-04-15 Panasonic Electric Works Co Ltd Illuminating device
JP2012124545A (en) * 2010-12-06 2012-06-28 Hitachi Consumer Electronics Co Ltd Operation controller
JP2015163930A (en) * 2014-01-30 2015-09-10 株式会社リコー Image projection device, control method of image projection device, and control program of image projection device
WO2017038203A1 (en) * 2015-08-28 2017-03-09 富士フイルム株式会社 Distance image acquisition device-equipped projector device and projection mapping method
WO2019058415A1 (en) * 2017-09-19 2019-03-28 Necディスプレイソリューションズ株式会社 Multi-projection system, image projecting method, and projector
WO2021019897A1 (en) * 2019-07-26 2021-02-04 富士フイルム株式会社 Control device, projection system, control method, and control program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163528A (en) * 2002-11-11 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional display device
JP2005084374A (en) * 2003-09-09 2005-03-31 Nec Viewtechnology Ltd Projector and three-dimensional image display system
JP2005234114A (en) * 2004-02-18 2005-09-02 Fuji Xerox Co Ltd Stereoscopic display device and stereoscopic display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163528A (en) * 2002-11-11 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional display device
JP2005084374A (en) * 2003-09-09 2005-03-31 Nec Viewtechnology Ltd Projector and three-dimensional image display system
JP2005234114A (en) * 2004-02-18 2005-09-02 Fuji Xerox Co Ltd Stereoscopic display device and stereoscopic display method

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008249894A (en) * 2007-03-29 2008-10-16 Casio Comput Co Ltd Display drive and display device including the same
JP2009251257A (en) * 2008-04-07 2009-10-29 Nikon Corp Projector
JP2010086928A (en) * 2008-10-03 2010-04-15 Panasonic Electric Works Co Ltd Illuminating device
CN104460989B (en) * 2010-12-06 2017-07-28 日立麦克赛尔株式会社 Operating control device
JP2012124545A (en) * 2010-12-06 2012-06-28 Hitachi Consumer Electronics Co Ltd Operation controller
CN102566750A (en) * 2010-12-06 2012-07-11 日立民用电子株式会社 Operation controlling apparatus
CN104460989A (en) * 2010-12-06 2015-03-25 日立民用电子株式会社 Operation controlling apparatus
JP2015163930A (en) * 2014-01-30 2015-09-10 株式会社リコー Image projection device, control method of image projection device, and control program of image projection device
JPWO2017038203A1 (en) * 2015-08-28 2018-07-05 富士フイルム株式会社 Projector device with distance image acquisition device and projection mapping method
CN107925750A (en) * 2015-08-28 2018-04-17 富士胶片株式会社 Projection arrangement with range image acquisition device and projection mapping method
WO2017038203A1 (en) * 2015-08-28 2017-03-09 富士フイルム株式会社 Distance image acquisition device-equipped projector device and projection mapping method
CN107925750B (en) * 2015-08-28 2019-06-14 富士胶片株式会社 Projection arrangement with range image acquisition device and projection mapping method
US10412352B2 (en) 2015-08-28 2019-09-10 Fujifilm Corporation Projector apparatus with distance image acquisition device and projection mapping method
WO2019058415A1 (en) * 2017-09-19 2019-03-28 Necディスプレイソリューションズ株式会社 Multi-projection system, image projecting method, and projector
US11620732B2 (en) 2017-09-19 2023-04-04 Sharp Nec Display Solutions, Ltd. Multi-projection system, image projection method and projector
WO2021019897A1 (en) * 2019-07-26 2021-02-04 富士フイルム株式会社 Control device, projection system, control method, and control program
JPWO2021019897A1 (en) * 2019-07-26 2021-02-04
CN114175624A (en) * 2019-07-26 2022-03-11 富士胶片株式会社 Control device, projection system, control method, and control program
JP7125561B2 (en) 2019-07-26 2022-08-24 富士フイルム株式会社 Control device, projection system, control method, control program
CN114175624B (en) * 2019-07-26 2024-05-03 富士胶片株式会社 Control device, projection system, control method, and storage medium

Also Published As

Publication number Publication date
JP4694957B2 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
JP4694957B2 (en) Information presenting apparatus, information presenting method, and program thereof
US9491418B2 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
JP6075122B2 (en) System, image projection apparatus, information processing apparatus, information processing method, and program
US20210264210A1 (en) Learning data collection device, learning data collection system, and learning data collection method
US9843727B2 (en) Image capturing apparatus and image capturing method
KR20160095060A (en) Camera selection based on occlusion of field of view
JP2009064110A (en) Image projection device and control method therefor
JP2011180712A (en) Projection type image display apparatus
US10282819B2 (en) Image display control to grasp information about image
JP4848521B2 (en) Method for substituting mouse for projector projected image and system for substituting mouse for the same
JP2013125181A (en) Projector
JP2013030150A (en) Image processor, information processor, method, program and recording medium
JP4501701B2 (en) Image capturing apparatus, image processing method for image capturing apparatus, and program
JP2014056450A (en) Image processing device and program
JP2006237937A (en) Image recording method and camera device
JP3804302B2 (en) Display device and information recording medium
WO2015173344A1 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
JP2006109005A (en) Image output device and imaging device
JP2004023359A (en) Presentation system using data presenting apparatus
CN112508770A (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6067040B2 (en) Information processing apparatus, information processing method, and program
JP4509155B2 (en) Captured image processing system and captured image processing program
JP7394151B2 (en) Display method
JP2014098789A (en) Information display device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees