JP2007334698A - Image display system - Google Patents

Image display system Download PDF

Info

Publication number
JP2007334698A
JP2007334698A JP2006166754A JP2006166754A JP2007334698A JP 2007334698 A JP2007334698 A JP 2007334698A JP 2006166754 A JP2006166754 A JP 2006166754A JP 2006166754 A JP2006166754 A JP 2006166754A JP 2007334698 A JP2007334698 A JP 2007334698A
Authority
JP
Japan
Prior art keywords
data
dimensional image
dimensional
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006166754A
Other languages
Japanese (ja)
Other versions
JP4806302B2 (en
Inventor
Yasuhiro Sato
康弘 佐藤
Yoshiaki Nagataki
慶明 長瀧
Yasunari Morikawa
泰成 森川
Fumihiko Saito
史彦 斎藤
Katsuyuki Kanbe
勝之 神部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Original Assignee
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SORITSUDOREI KENKYUSHO KK, Taisei Corp filed Critical SORITSUDOREI KENKYUSHO KK
Priority to JP2006166754A priority Critical patent/JP4806302B2/en
Publication of JP2007334698A publication Critical patent/JP2007334698A/en
Application granted granted Critical
Publication of JP4806302B2 publication Critical patent/JP4806302B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display system favorably checking the layout of an object in a space. <P>SOLUTION: The image display system comprises a storage unit 84 for storing the space data on the space and the object data on an object arranged in the space, a data updating unit 85 for updating the object data, a two-dimensional image data generation unit 86 for generating the two-dimensional image data based on the space data and the object data, a three-dimensional image data generation unit 87 for generating the three-dimensional image data based on the space data and the object data, a two-dimensional image display device for displaying the two-dimensional image based on the two-dimensional image data, and a three-dimensional image display device for displaying a three-dimensional image based on the three-dimensional image data. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像表示システムに関する。   The present invention relates to an image display system.

従来、多人数に対して表示画像を用いてプレゼンテーションを行ったり、多人数で表示画像を用いて協調作業を行ったりする際に、レーザポインタにより表示画像の特定位置を指し示すことが行われている。
ここで、かかるポインティング位置を検出し、検出されたポインティング位置を表示画像の制御に利用する技術がある（特許文献１参照）。
特開２０００−２７６２９７号公報 Conventionally, when a presentation is performed using a display image for a large number of people or a collaborative operation is performed using a display image for a large number of people, a specific position of the display image is indicated by a laser pointer. .
Here, there is a technique for detecting such a pointing position and using the detected pointing position for display image control (see Patent Document 1).
JP 2000-276297 A

しかしながら、特許文献１に記載の技術を用いて、住宅、建築物等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、平面図を表示させていたが、平面図ベースでは、実際の設計、レイアウトを説明するのに限界があった。   However, when performing presentations and collaborative work for consensus building regarding the design and layout of houses, buildings, etc. using the technology described in Patent Document 1, a plan view is displayed. Then, there was a limit in explaining the actual design and layout.

本発明は、前記した問題を解決すべく創案されたものであり、空間における物体のレイアウトを好適に確認することが可能な画像表示システムを提供することを課題とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image display system capable of suitably confirming the layout of an object in a space.

前記課題を解決するため、請求項１に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、前記空間データおよび前記物体データを更新するデータ更新部と、前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備えていることを特徴とする。   In order to solve the above-described problem, an image display system according to claim 1 is a storage unit that stores spatial data related to space and object data related to an object arranged in the space; the spatial data; and A data update unit that updates object data, a two-dimensional image data generation unit that generates two-dimensional image data based on the spatial data and the object data, and a three-dimensional image based on the spatial data and the object data A 3D image data generation unit for generating data, a 2D image display device for displaying a 2D image based on the 2D image data, and a 3D image for displaying a 3D image based on the 3D image data And a three-dimensional image display device.

かかる構成によると、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。   According to such a configuration, since the two-dimensional image and the three-dimensional image are displayed in conjunction with each other according to the update result, the layout of the object in the space can be suitably confirmed.

また、請求項２に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。   The invention according to claim 2 is the image display system according to claim 1, further comprising two-dimensional position data input means for inputting two-dimensional position data, wherein the data update unit is input The two-dimensional position data is stored in the storage unit as viewpoint position data in three-dimensional image data, and the three-dimensional image data generation unit generates the three-dimensional image data based on the viewpoint position data. To do.

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする。   The invention according to claim 3 is the image display system according to claim 1 or 2, further comprising three-dimensional position data input means for inputting three-dimensional position data, wherein the data updating unit is The inputted three-dimensional position data is stored in the storage unit as viewpoint position data in the three-dimensional image data, and the three-dimensional image data generation unit generates the three-dimensional image data based on the viewpoint position data It is characterized by that.

また、請求項４に記載の発明は、請求項１に記載の画像表示システムであって、２次元位置データを入力する２次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。   The invention according to claim 4 is the image display system according to claim 1, further comprising two-dimensional position data input means for inputting two-dimensional position data, wherein the data update unit is input The two-dimensional position data is stored in the storage unit as object position data in object data, and the two-dimensional image data generation unit generates the two-dimensional image data based on the object position data, and the three-dimensional image data The generation unit generates the three-dimensional image data based on the object position data.

また、請求項５に記載の発明は、請求項１または請求項４に記載の画像表示システムであって、３次元位置データを入力する３次元位置データ入力手段をさらに備え、前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする。   The invention according to claim 5 is the image display system according to claim 1 or 4, further comprising three-dimensional position data input means for inputting three-dimensional position data, wherein the data update unit includes: The inputted three-dimensional position data is stored in the storage unit as object position data in object data, and the two-dimensional image data generation unit generates the two-dimensional image data based on the object position data, The three-dimensional image data generation unit generates the three-dimensional image data based on the object position data.

また、請求項６に記載の発明は、請求項１に記載の画像表示システムであって、前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする。 The invention according to claim 6 is the image display system according to claim 1, wherein the spatial data includes object placement prohibition region data related to a region in which placement of the object is prohibited,
The data updating unit prohibits data updating such that the object is arranged in a region where the object is prohibited from being arranged based on the object position data and the object arrangement prohibited region data in the object data. And

また、請求項７に記載の発明は、請求項１に記載の画像表示システムであって、位置データを入力する位置データ入力手段をさらに備え、前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする。   The invention according to claim 7 is the image display system according to claim 1, further comprising position data input means for inputting position data, wherein the data update unit is input by the position data input means. The two-dimensional image data generation unit is configured to select any two of points, lines, surfaces, and objects in the spatial data and the object data based on the two position data, and to store a selection result in the storage unit. Generates two-dimensional image data that can display any two distances of the selected point, line, surface, and object based on the selection result, and the three-dimensional image data generator generates the selection result. Based on this, three-dimensional image data capable of displaying any two distances of the selected point, line, surface and object is generated.

また、請求項８に記載の発明である画像表示システムは、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、を備え、前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする。   According to an eighth aspect of the present invention, there is provided an image display system comprising: a first storage unit that stores spatial data related to a space; and object data related to an object disposed in the space; and the first storage unit. A first data updating unit for updating the stored spatial data and the object data; and generating two-dimensional image data based on the spatial data and the object data stored in the first storage unit. A first control device including a two-dimensional image data generation unit, a first data transmission / reception unit that transmits and receives data, and a two-dimensional image display device that displays a two-dimensional image based on the two-dimensional image data A second storage unit that stores the spatial data related to the space and the object data related to the object disposed in the space, and the spatial data and the object data stored in the second storage unit A second data updating unit for updating, a three-dimensional image data generating unit for generating three-dimensional image data based on the spatial data and the object data stored in the second storage unit, and data transmission / reception A second data transmission / reception unit for performing the first data transmission / reception unit, and a three-dimensional image display device for displaying a three-dimensional image based on the three-dimensional image data. And the second data transmitting / receiving unit reflect one update result of the first data storage unit and the second data storage unit on the other.

本発明によれば、２次元画像と３次元画像とが更新結果に応じて連動して表示されるので、空間における物体のレイアウトを好適に確認することができる。   According to the present invention, since the two-dimensional image and the three-dimensional image are displayed in conjunction with each other according to the update result, the layout of the object in the space can be suitably confirmed.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted.

（第一の実施形態）
図１は、本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。図２は、本発明の第一の実施形態に係る画像表示システムを示すブロック図である。図３は、本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。図４は、本発明の第一の実施形態に係るポインタを示す斜視図である。なお、図４における方向は、ポインタの利用者による使用状態での方向を基準としている。 (First embodiment)
FIG. 1 is a schematic diagram showing the appearance of the image display system according to the first embodiment of the present invention. FIG. 2 is a block diagram showing the image display system according to the first embodiment of the present invention. FIG. 3 is a schematic configuration diagram showing the pointing position detection system according to the first embodiment of the present invention. FIG. 4 is a perspective view showing a pointer according to the first embodiment of the present invention. The direction in FIG. 4 is based on the direction in which the pointer is being used by the user.

図１に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０に表示された２次元画像と３次元画像表示スクリーン２０に表示された３次元画像とを連動させて利用者に見せるためのシステムである。
図２に示すように、本発明の第一の実施形態に係る画像表示システム１は、２次元画像表示スクリーン１０と、３次元画像表示スクリーン２０と、２次元画像光照射装置３０と、３次元画像光照射装置４０と、一以上のポインタ５０と、撮影装置６０と、３次元位置センサ７０と、制御装置８０と、一以上の液晶シャッタメガネ９０と、を備えている。
ここで、２次元画像表示スクリーン１０と、２次元画像光照射装置３０との組み合わせが、特許請求の範囲における「２次元画像表示装置」の一例である。
また、３次元画像表示スクリーン２０と、３次元画像光照射装置４０と、一以上の液晶シャッタメガネ９０との組み合わせが、特許請求の範囲における「３次元画像表示装置」の一例である。
また、２次元画像表示スクリーン１０と、一以上のポインタ５０と、撮影装置６０との組み合わせが、特許請求の範囲における「２次元位置データ入力手段」の一例である。
また、３次元位置センサ７０が、特許請求の範囲における「３次元位置データ入力手段」の一例である。
また、２次元画像表示スクリーン１０と、２次元画像光照射装置３０と、撮影装置６０と、制御装置８０（の一部）との組み合わせが、ポインティング位置検出システムを構成している。 As shown in FIG. 1, the image display system 1 according to the first embodiment of the present invention includes a two-dimensional image displayed on the two-dimensional image display screen 10 and a three-dimensional image displayed on the three-dimensional image display screen 20. It is a system to show the user in conjunction with.
As shown in FIG. 2, the image display system 1 according to the first embodiment of the present invention includes a two-dimensional image display screen 10, a three-dimensional image display screen 20, a two-dimensional image light irradiation device 30, and a three-dimensional image. The image light irradiation device 40, one or more pointers 50, a photographing device 60, a three-dimensional position sensor 70, a control device 80, and one or more liquid crystal shutter glasses 90 are provided.
Here, the combination of the two-dimensional image display screen 10 and the two-dimensional image light irradiation device 30 is an example of the “two-dimensional image display device” in the claims.
The combination of the three-dimensional image display screen 20, the three-dimensional image light irradiation device 40, and one or more liquid crystal shutter glasses 90 is an example of the “three-dimensional image display device” in the claims.
A combination of the two-dimensional image display screen 10, one or more pointers 50, and the photographing device 60 is an example of “two-dimensional position data input means” in the claims.
The three-dimensional position sensor 70 is an example of “three-dimensional position data input means” in the claims.
Further, a combination of the two-dimensional image display screen 10, the two-dimensional image light irradiation device 30, the photographing device 60, and a control device 80 (a part thereof) constitutes a pointing position detection system.

図１および図３に示すように、２次元画像表示スクリーン１０は、リアプロジェクション型対応のスクリーンであり、表面が上、裏面が下を向くように水平に配置されている。   As shown in FIGS. 1 and 3, the two-dimensional image display screen 10 is a rear projection type screen, and is arranged horizontally so that the front surface faces up and the back surface faces down.

図１および図３に示すように、３次元画像表示スクリーン２０は、リアプロジェクション型対応のスクリーンであり、鉛直に配置されている。   As shown in FIGS. 1 and 3, the three-dimensional image display screen 20 is a screen corresponding to a rear projection type, and is arranged vertically.

図３に示すように、２次元画像光照射装置３０は、リアプロジェクション型であり、２次元画像表示スクリーン１０の裏面側（下側）に設けられている。２次元画像光照射装置３０は、ミラーＭを介して、後記する２次元画像に基づいて２次元画像光を照射することにより、２次元画像表示スクリーン１０に２次元画像（本実施形態では、平面図）を表示させる。   As shown in FIG. 3, the two-dimensional image light irradiation device 30 is a rear projection type, and is provided on the back side (lower side) of the two-dimensional image display screen 10. The two-dimensional image light irradiation device 30 irradiates a two-dimensional image light on the two-dimensional image display screen 10 by irradiating two-dimensional image light through a mirror M on the basis of a two-dimensional image described later (in this embodiment, a plane Display).

図２に示すように、３次元画像光照射装置４０は、リアプロジェクション型であり、３次元画像表示スクリーン２０の裏面側に設けられている。３次元画像光照射装置４０は、後記する３次元画像データに基づいて３次元画像光を照射することにより、３次元画像表示スクリーン２０に３次元画像を表示させる。
なお、３次元画像光照射装置４０は、フロントプロジェクション型であり、３次元画像表示スクリーンの表面側に設けられていてもよい。
３次元画像光照射装置４０は、時分割シャッタ方式の立体視を行う場合には、液晶シャッタメガネ９０と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、３次元画像光照射装置４０は、右眼用画像光および左眼用画像光を２台の３次元画像光照射装置で照射する。２台の３次元画像光照射装置は、互いに直交する偏光（直線偏光または円偏光）板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。利用者は、左右が互いに直交する偏光メガネを装着して３次元画像を観察する。
なお、立体視をせずに３次元画像を表示する場合には、３次元画像表示スクリーン２０および３次元画像光照射装置に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。 As shown in FIG. 2, the three-dimensional image light irradiation device 40 is a rear projection type and is provided on the back side of the three-dimensional image display screen 20. The three-dimensional image light irradiation device 40 displays a three-dimensional image on the three-dimensional image display screen 20 by irradiating three-dimensional image light based on three-dimensional image data described later.
The three-dimensional image light irradiation device 40 is a front projection type and may be provided on the surface side of the three-dimensional image display screen.
The three-dimensional image light irradiation device 40 alternately emits the image light for the right eye and the image light for the left eye in synchronization with the liquid crystal shutter glasses 90 when performing the time-division shutter-type stereoscopic vision.
In addition, when performing polarization stereoscopic viewing, the three-dimensional image light irradiation device 40 irradiates the right eye image light and the left eye image light with two three-dimensional image light irradiation devices. The two three-dimensional image light irradiating devices irradiate the image light for the right eye and the image light for the left eye through polarization plates (linearly polarized light or circularly polarized light) orthogonal to each other. A user wears polarized glasses whose left and right are orthogonal to each other and observes a three-dimensional image.
When displaying a three-dimensional image without stereoscopic viewing, a liquid crystal display, a plasma display, or the like can be used instead of the three-dimensional image display screen 20 and the three-dimensional image light irradiation device.
A stereoscopic display can also be used.

本発明において、２次元画像とは、ｘｙ平面のみが表れる画像であり、３次元画像とは、ｘｙｚ座標が表れ、立体を表示する画像である。   In the present invention, the two-dimensional image is an image in which only the xy plane appears, and the three-dimensional image is an image in which xyz coordinates appear and a three-dimensional image is displayed.

図１および図３に示すように、一以上のポインタ５０は、２次元画像に対応して２次元方向の位置・向き（本実施形態では、水平面における位置・向き）等を入力するための装置である。
図４に示すように、ポインタ５０は、台座部５１と、本体部５２と、を備えている。
台座部５１は、底板部５１ａ、後板部５１ｂおよび上板部５１ｃからなり、側面視で「コ」字状を呈する透明樹脂製の部材である。上板部５１ｃには二つの穴（図示せず）が設けられており、二つの穴に後記する第一の筒部５２ａおよび第二の筒部５２ｂをそれぞれ挿通させた状態で、上板部５１ｃの上面と本体部５２の下面とが固定されている。
本体部５２は、第一の赤外線ＬＥＤ５２ａ１を有する第一の筒部５２ａと、第二の赤外線ＬＥＤ５２ｂ１を有する第二の筒部５２ｂと、第一のボタン５２ｃと、第二のボタン５２ｄと、を備えている。
第一の赤外線ＬＥＤ５２ａ１は、第一の筒部５２ａの先端に設けられており、赤外線（第一の光）を照射する。
第二の赤外線ＬＥＤ５２ｂ１は、第二の筒部５２ｂの先端に設けられており、赤外線（第二の光）を照射する。
第一のボタン５２ｃは、本体部５２の上面の前方左側に設けられている。
第二のボタン５２ｄは、本体部５２の上面の前方右側に設けられている。
第一のボタン５２ｃおよび第二のボタン５２ｄは、例えばマウスの左ボタンおよび右ボタンと同様の機能を有することができる。
第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号は、制御装置８０に出力される。 As shown in FIGS. 1 and 3, one or more pointers 50 are devices for inputting a position / orientation in a two-dimensional direction corresponding to a two-dimensional image (in this embodiment, a position / orientation in a horizontal plane) and the like. It is.
As shown in FIG. 4, the pointer 50 includes a pedestal 51 and a main body 52.
The pedestal 51 is composed of a bottom plate 51a, a rear plate 51b, and an upper plate 51c, and is a transparent resin member having a “U” shape in a side view. Two holes (not shown) are provided in the upper plate portion 51c, and the upper plate portion is inserted in the first tube portion 52a and the second tube portion 52b described later in the two holes, respectively. The upper surface of 51c and the lower surface of the main-body part 52 are being fixed.
Body portion 52 includes a first cylindrical portion 52a having a first infrared LEDs 52a 1, and a second cylindrical portion 52b having a second infrared LED 52b 1, a first button 52c, a second button 52d It is equipped with.
The first infrared LEDs 52a 1 is provided on the distal end of the first cylindrical portion 52a, emitting an infrared ray (first light).
The second infrared LED 52b 1 is provided at the tip of the second cylindrical portion 52b and irradiates infrared rays (second light).
The first button 52 c is provided on the front left side of the upper surface of the main body 52.
The second button 52 d is provided on the front right side of the upper surface of the main body portion 52.
The first button 52c and the second button 52d can have the same functions as, for example, the left button and the right button of the mouse.
Input signals of the first button 52 c and the second button 52 d are output to the control device 80.

ポインタ５０は、水平な２次元画像表示スクリーン１０の表面（上面）に台座部５１の底板部５１ａの下面が接するように置かれて使用される。かかる使用状態において、ポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、鉛直下方に赤外線（第一の光および第二の光）を照射する。 The pointer 50 is placed and used so that the lower surface of the bottom plate portion 51a of the pedestal 51 is in contact with the surface (upper surface) of the horizontal two-dimensional image display screen 10. In such use, the first infrared LEDs 52a 1 and the second infrared LED 52b 1 of the pointer 50 is emitting an infrared ray (first light and second light) vertically downward.

図３に示すように、撮影装置６０は、２次元画像表示スクリーン１０の裏面側（下側）に設けられており、２次元画像表示スクリーン１０の裏面を撮影する。撮影結果は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）を含んでいる。
撮影装置６０は、２次元画像表示スクリーン１０の裏面を１台または複数台連動で撮影し、撮影結果（画像）をポインタ５０による光（第一の光および第二の光）の取得に支障がない程度の頻度（例えば、１／３０秒ごと）と分解能（例えば、２次元画像表示スクリーン１０のサイズの１／１０００）とで制御装置８０に送信する。
撮影装置６０としては、ＣＣＤカメラ、ＣＭＯＳカメラ等が使用可能である。
撮影装置６０の撮影可能な波長領域は、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光（第一の光および第二の光）を撮影可能であればよい。
撮影結果は、制御装置８０に出力される。 As shown in FIG. 3, the photographing device 60 is provided on the back side (lower side) of the two-dimensional image display screen 10 and photographs the back side of the two-dimensional image display screen 10. The imaging result includes light (first light and second light) from the first infrared LED 52a 1 and the second infrared LED 52b 1 .
The imaging device 60 captures one or more back surfaces of the two-dimensional image display screen 10 in conjunction with each other, and there is a hindrance in obtaining light (first light and second light) by the pointer 50 as a result of photographing (image). The frequency is transmitted to the control device 80 with a frequency (for example, every 1/30 seconds) and a resolution (for example, 1/1000 of the size of the two-dimensional image display screen 10).
As the photographing device 60, a CCD camera, a CMOS camera, or the like can be used.
The wavelength region that can be imaged by the imaging device 60 only needs to be able to image the light (first light and second light) of the first infrared LED 52a 1 and the second infrared LED 52b 1 .
The photographing result is output to the control device 80.

図２に示すように、３次元位置センサ７０は、利用者の操作入力に基づいて３次元位置データ（３次元座標）を生成するための装置である。
３次元位置センサ７０としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された３次元位置データは、制御装置８０に出力される。 As shown in FIG. 2, the three-dimensional position sensor 70 is a device for generating three-dimensional position data (three-dimensional coordinates) based on a user's operation input.
As the three-dimensional position sensor 70, a sensor of a magnetic type, a dynamic type, a wire type, an optical type, an ultrasonic type, or a combination of these can be used.
The generated three-dimensional position data is output to the control device 80.

制御装置８０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０、撮影装置６０および３次元位置センサ７０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図５に示すように、制御装置８０は、ボタン入力信号取得部８１と、ポインティング位置取得部８２と、３次元位置データ取得部８３と、記憶部８４と、データ更新部８５と、２次元画像データ生成部８６と、３次元画像データ生成部８７と、を備えている。 The control device 80 includes, for example, an external storage device such as a CPU, a RAM, a ROM, and a disk, and an input / output circuit, and inputs from the pointer 50, the imaging device 60, and the three-dimensional position sensor 70, and is stored in the storage device. Control is executed by performing each arithmetic processing based on the program and data.
As illustrated in FIG. 5, the control device 80 includes a button input signal acquisition unit 81, a pointing position acquisition unit 82, a three-dimensional position data acquisition unit 83, a storage unit 84, a data update unit 85, and a two-dimensional image. A data generation unit 86 and a three-dimensional image data generation unit 87 are provided.

ボタン入力信号取得部８１は、ポインタ５０から第一のボタン５２ｃおよび第二のボタン５２ｄの入力信号（ボタン入力信号）を取得する。
取得されたボタン入力信号は、データ更新部８５に出力される。 The button input signal acquisition unit 81 acquires input signals (button input signals) of the first button 52c and the second button 52d from the pointer 50.
The acquired button input signal is output to the data update unit 85.

ポインティング位置取得部８２は、前記撮影結果から照射された前記光をポインティング位置として検出する。換言すると、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、２次元画像表示スクリーン１０上におけるポインタ５０の光の位置に対応するポインティング位置を取得する。また、ポインティング位置取得部８２は、撮影装置６０からの入力（撮影結果）に基づいて、ポインタ５０の向きに対応するポインティング向きを取得する。そして、ポインティング位置取得部８２は、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成する。生成された２次元位置データおよび２次元向きデータは、データ更新部８５に出力される。   The pointing position acquisition unit 82 detects the light emitted from the imaging result as a pointing position. In other words, the pointing position acquisition unit 82 acquires a pointing position corresponding to the light position of the pointer 50 on the two-dimensional image display screen 10 based on an input (imaging result) from the imaging device 60. In addition, the pointing position acquisition unit 82 acquires a pointing direction corresponding to the direction of the pointer 50 based on an input (imaging result) from the imaging device 60. Then, the pointing position acquisition unit 82, based on the acquired pointing position and pointing direction, and the spatial data 84a reflected in the two-dimensional image data, two-dimensional position data and two-dimensional direction data corresponding to the two-dimensional image. Is generated. The generated two-dimensional position data and two-dimensional orientation data are output to the data update unit 85.

３次元位置データ取得部８３は、３次元位置センサ７０からの入力信号に基づいて、３次元位置データを取得する。３次元位置データ取得部８３は、３次元位置センサ７０からの入力と、３次元画像データに反映された空間データ８４ａとに基づいて、３次元画像に対応する３次元位置データを生成する。
取得された３次元位置データは、データ更新部８５に出力される。 The three-dimensional position data acquisition unit 83 acquires three-dimensional position data based on the input signal from the three-dimensional position sensor 70. The 3D position data acquisition unit 83 generates 3D position data corresponding to the 3D image based on the input from the 3D position sensor 70 and the spatial data 84a reflected in the 3D image data.
The acquired three-dimensional position data is output to the data update unit 85.

記憶部８４は、画像として表示される空間に関する空間データ８４ａと、この空間内に配置される物体に関する物体データ８４ｂと、を記憶している。
空間データ８４ａは、物体が配置される空間に関するデータであり、例えば、住居の一室（床、壁、天井など）の形状、寸法、座標、都市部の一区画（道路、川など）の形状、寸法、座標に関するデータである。
物体データ８４ｂは、物体のＩＤ、種類、形状、寸法、座標（位置）、向きなどを関連付けたものである。物体データ８４ｂの移動可能な範囲は、空間データ８４ａの規定する範囲内である。
ここで、物体データ８４ｂにおける座標（位置）に関するデータが、特許請求の範囲における物体位置データである。 The storage unit 84 stores space data 84a related to a space displayed as an image and object data 84b related to an object arranged in the space.
The space data 84a is data related to a space in which an object is placed. For example, the shape, dimensions, coordinates, and shape of a city block (road, river, etc.) of a room (floor, wall, ceiling, etc.) of a residence. , Data on dimensions and coordinates.
The object data 84b associates an object ID, type, shape, dimension, coordinates (position), orientation, and the like. The movable range of the object data 84b is within the range defined by the spatial data 84a.
Here, the data regarding the coordinates (position) in the object data 84b is the object position data in the claims.

データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された物体データを更新する。
また、データ更新部８５は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成して記憶部８４に記憶させることができる。
また、データ更新部８５は、ボタン入力信号取得部８１およびポインティング位置取得部８２から入力されたデータまたは３次元位置データ取得部８３から入力されたデータに基づいて、記憶部８４に記憶された空間データ８４ａを更新する。 The data update unit 85 acquires the object data stored in the storage unit 84 based on the data input from the button input signal acquisition unit 81 and the pointing position acquisition unit 82 or the data input from the three-dimensional position data acquisition unit 83. Update.
The data updating unit 85 can generate new object data based on an input signal from an input device such as a keyboard (not shown) and store the new object data in the storage unit 84.
The data update unit 85 also stores the space stored in the storage unit 84 based on the data input from the button input signal acquisition unit 81 and the pointing position acquisition unit 82 or the data input from the three-dimensional position data acquisition unit 83. Data 84a is updated.

２次元画像データ生成部８６は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、２次元画像データを生成する。
２次元画像データ生成部８６は、２次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された２次元画像データは、２次元画像光照射装置３０に出力される。 The two-dimensional image data generation unit 86 generates two-dimensional image data based on the spatial data 84a and the object data 84b stored in the storage unit 84.
The two-dimensional image data generation unit 86 generates two-dimensional image data continuously in time, and the update result is reflected.
The generated two-dimensional image data is output to the two-dimensional image light irradiation device 30.

３次元画像データ生成部８７は、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂに基づいて、３次元画像データを生成する。
３次元画像データ生成部８７は、３次元画像データを時間的に連続して生成しており、更新結果が反映される。
生成された３次元画像データは、３次元画像光照射装置４０に出力される。
また、立体視を行う場合には、３次元画像データ生成部８７は、３次元画像データとして右眼用画像光データと左眼用画像光データとを生成する。時分割シャッタ方式の立体視を行う場合には、３次元画像データ生成部８７は、右眼用画像データおよび左眼用画像データとともに同期信号を生成する。生成された同期信号は、液晶シャッタメガネ９０に出力される。偏光方式の立体視を行う場合には、右眼用画像データおよび左眼用画像データは、２台の３次元画像照射装置にそれぞれ出力される。 The three-dimensional image data generation unit 87 generates three-dimensional image data based on the spatial data 84a and the object data 84b stored in the storage unit 84.
The three-dimensional image data generation unit 87 generates three-dimensional image data continuously in time, and the update result is reflected.
The generated three-dimensional image data is output to the three-dimensional image light irradiation device 40.
When performing stereoscopic viewing, the three-dimensional image data generation unit 87 generates right-eye image light data and left-eye image light data as three-dimensional image data. When performing time-division shutter-type stereoscopic viewing, the three-dimensional image data generation unit 87 generates a synchronization signal together with right-eye image data and left-eye image data. The generated synchronization signal is output to the liquid crystal shutter glasses 90. When performing polarization-type stereoscopic vision, the image data for the right eye and the image data for the left eye are output to the two three-dimensional image irradiation devices, respectively.

（明るさ補正について）
記憶部８４は、明るさ補正テーブル８４ｃをさらに記憶している。
明るさ補正テーブル８４ｃは、キャリブレーション（位置較正）時に作成される。
例えば、矩形を呈する２次元画像表示スクリーン１０の四隅および中央にマークを表示させた状態で、利用者にポインタ５０の位置合わせを実行させる。ここで、明るさの最大値が明るさ補正テーブル８４ｃに記憶可能な上限を超えないように、予め明るさ調整がなされているものとする。
このとき、マークをクリックしたときの第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光（第一の光および第二の光）領域付近の明るさを取得し、それらの最大値（光点）および最小値（背景）を明るさ補正テーブル８４ｃに記憶させる。ポインティング位置算出部８２は、これらの値に基づいて撮影結果の画像内各領域での明るさの最大値および最小値を補間して算出し、光領域の明るさを補正する。例えば、ポインティング位置算出部８２は、光領域の明るさが小さい場合に明るさが大きくなるように補正する（明るさフィルタ処理）。 (About brightness correction)
The storage unit 84 further stores a brightness correction table 84c.
The brightness correction table 84c is created during calibration (position calibration).
For example, the user is caused to perform alignment of the pointer 50 in a state in which marks are displayed at the four corners and the center of the two-dimensional image display screen 10 having a rectangular shape. Here, it is assumed that the brightness is adjusted in advance so that the maximum value of the brightness does not exceed the upper limit that can be stored in the brightness correction table 84c.
In this case, to obtain a first infrared LEDs 52a 1 and the second infrared LED 52b 1 by the optical brightness of the (first light and second light) around the region when clicking the mark, their maximum value (light Point) and the minimum value (background) are stored in the brightness correction table 84c. Based on these values, the pointing position calculation unit 82 interpolates and calculates the maximum value and the minimum value of the brightness in each region of the image of the photographing result, and corrects the brightness of the light region. For example, the pointing position calculation unit 82 corrects the brightness to increase when the brightness of the light region is small (brightness filter processing).

（位置補正について）
記憶部８４は、位置補正テーブル８４ｄをさらに記憶している。
位置補正テーブル８４ｄは、撮影装置６０による撮影結果における位置と、２次元画像表示スクリーン１０に表示される２次元画像における位置との関係を関連付けるテーブルであり、キャリブレーション（位置較正）時に作成される。
第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１は、第一の光および第二の光の撮影結果が撮影装置６０の縦横それぞれに対して数ピクセルにわたる大きさとなるように、その高さ等が調整されている。そして、位置補正テーブル８４ｄは、複数ピクセル範囲に対する明るさ分布と当該明るさ分布における光の中心との関係を予め複数のパターンとして記憶している。位置補正テーブル８４ｄが複数のパターンを備えている場合には、ポインティング位置取得部８２は、これらのパターンと実際の撮影結果の光のパターンとをマッチングし、最も一致したパターンに基づいて光の中心を算出する。
すなわち、ポインティング位置取得部８２は、位置補正テーブル８４ｄを用いて、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１による光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１によるポインティング位置として決定する。
なお、ポインティング位置算出部８２は、予め記憶された複数のパターンを用いずに、光の明るさを曲線補間することにより明るさのピーク位置を算出し、このピーク位置をポインティング位置として決定する構成であってもよい。
前記した各手法によると、撮影装置６０のピクセル単位以上の精度でポインティング位置を算出することができる。
また、ポインティング位置算出部８２は、キャリブレーション時に取得された２次元画像表示スクリーン１０の四隅および中央の点における取得座標対スクリーン座標の関係に基づいて、線形補間等の補間手法を用いて光の位置（またはポインティング位置）を補正する。 (About position correction)
The storage unit 84 further stores a position correction table 84d.
The position correction table 84d is a table for associating the relationship between the position in the photographing result by the photographing device 60 and the position in the two-dimensional image displayed on the two-dimensional image display screen 10, and is created at the time of calibration (position calibration). .
The first infrared LED 52a 1 and the second infrared LED 52b 1 have such heights that the imaging results of the first light and the second light have a size of several pixels with respect to the vertical and horizontal directions of the imaging device 60, respectively. Has been adjusted. The position correction table 84d stores in advance a plurality of patterns as the relationship between the brightness distribution for a plurality of pixel ranges and the center of light in the brightness distribution. When the position correction table 84d includes a plurality of patterns, the pointing position acquisition unit 82 matches these patterns with the light pattern of the actual photographing result, and based on the most matched pattern, the light center Is calculated.
That is, the pointing position acquisition unit 82, using the position correction table 84d, the first infrared LEDs 52a 1 and second pointing due by about the first infrared LEDs 52a 1 and the second infrared LED 52b 1 of the optical infrared LED 52b 1 Determine as position.
The pointing position calculation unit 82 calculates the peak position of brightness by performing curve interpolation on the brightness of light without using a plurality of patterns stored in advance, and determines this peak position as the pointing position. It may be.
According to each method described above, the pointing position can be calculated with an accuracy of the pixel unit or more of the imaging device 60.
In addition, the pointing position calculation unit 82 uses an interpolation method such as linear interpolation based on the relationship between the acquired coordinates and the screen coordinates at the four corners and the center point of the two-dimensional image display screen 10 acquired at the time of calibration. Correct the position (or pointing position).

（ＬＥＤの識別について）
記憶部８４は、ＬＥＤ識別データ８４ｅを記憶している。
ＬＥＤ識別データ８４ｅは、一以上のポインタ５０の第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１を識別するためのデータである。
各赤外線ＬＥＤは、他の赤外線ＬＥＤと識別可能なように、固有の明るさまたは点灯タイミングで赤外線を照射するように構成されている。ＬＥＤ識別データ８４ｅは、これら固有の明るさまたは点灯タイミングと赤外線ＬＥＤのＩＤとを関連付けて記憶している。
ポインティング位置取得部８２は、ＬＥＤ識別データ８４ｅを用いて、ポインティング位置がどの赤外線ＬＥＤによるものであるかを識別する。
なお、ポインティング位置取得部８２は、前回ポインティング位置と今回ポインティング位置とが所定距離内である場合には、同一ＬＥＤによるポインティング位置であると判定する。このロジックは、前回ポインティング位置と今回ポインティング位置とが所定距離を超えて離れている場合には適用されない。所定距離が大きいと誤判定が増え、所定距離が小さいと判定外となりロジックが適用されない場合が増えるので、所定距離は、ポインタ５０の操作の限界移動速度に基づいて決定される。
ポインティング位置取得部８２は、前記したロジックの判定でＬＥＤの識別ができない場合に、明るさまたは点灯タイミングによる識別を実行する。 (About LED identification)
The storage unit 84 stores LED identification data 84e.
LED identification data 84e is data for identifying a first infrared LEDs 52a 1 and the second infrared LED 52b 1 of one or more pointers 50.
Each infrared LED is configured to irradiate infrared rays with inherent brightness or lighting timing so that it can be distinguished from other infrared LEDs. The LED identification data 84e stores the inherent brightness or lighting timing and the ID of the infrared LED in association with each other.
The pointing position acquisition unit 82 uses the LED identification data 84e to identify which infrared LED is the pointing position.
When the previous pointing position and the current pointing position are within a predetermined distance, the pointing position acquisition unit 82 determines that the pointing position is the same LED. This logic is not applied when the previous pointing position and the current pointing position are separated by more than a predetermined distance. If the predetermined distance is large, misjudgments increase, and if the predetermined distance is small, the determination is not made and logic is not applied. Therefore, the predetermined distance is determined based on the limit moving speed of the operation of the pointer 50.
The pointing position acquisition unit 82 performs identification based on brightness or lighting timing when the LED cannot be identified by the above-described logic determination.

図２に示すように、一以上の液晶シャッタメガネ９０は、右眼用シャッタと、左眼用シャッタと、同期信号受信装置と、を備えている。液晶シャッタメガネ９０は、同期信号受信装置により受信された同期信号に基づいて右眼用シャッタおよび左眼用シャッタを開閉させることにより、利用者に３次元画像を見せる。   As shown in FIG. 2, the one or more liquid crystal shutter glasses 90 include a right-eye shutter, a left-eye shutter, and a synchronization signal receiving device. The liquid crystal shutter glasses 90 display a three-dimensional image to the user by opening and closing the right-eye shutter and the left-eye shutter based on the synchronization signal received by the synchronization signal receiving device.

続いて、ポインティング位置およびポインティング向きを検出するための処理に関する制御フローについて、図６を参照して説明する。
図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。
まず、ポインティング位置取得部８２が、撮影装置６０の撮影結果に基づいて画像データを取得する（ステップＳ１）。
続いて、ポインティング位置取得部８２が、フィルタ処理を行い、画像データからノイズを除去する（ステップＳ２）。
続いて、ポインティング位置取得部８２が、明るさ補正テーブル８４ｃを用いて、明るさフィルタ処理を行う（ステップＳ３）。
続いて、ポインティング位置取得部８２が、画像データからポインタ５０による光に関するデータを分離する（ステップＳ４）。
続いて、ポインティング位置取得部８２が、位置補正テーブル８４ｄを用いて、ポインティング位置を算出する（ステップＳ５）。すなわち、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１の光の中心を第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置として決定する。ここで、ポインティング位置取得部８２は、第一の赤外線ＬＥＤ５２ａ１のポインティング位置をポインタ５０のポインティング位置として決定する。
続いて、ポインティング位置取得部８２が、第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置に基づいて、ポインタ５０のポインティング向きを算出する（ステップＳ６）。
続いて、ポインティング位置取得部８２が、ＬＥＤ識別データ８４ｅを用いて、光すなわちポインティング位置のＩＤ（光を照射するＬＥＤのＩＤ）を識別する（ステップＳ７）。
続いて、ポインティング位置取得部８２が、取得されたポインティング位置およびポインティング向きと、２次元画像データに反映された空間データ８４ａとに基づいて、２次元画像に対応する２次元位置データおよび２次元向きデータを生成し、生成された２次元位置データおよび２次元向きデータをデータ更新部８５に出力する（ステップＳ８）。 Next, a control flow related to processing for detecting a pointing position and a pointing direction will be described with reference to FIG.
FIG. 6 is a flowchart for explaining the pointing position and pointing direction detection processing according to the first embodiment of the present invention.
First, the pointing position acquisition unit 82 acquires image data based on the imaging result of the imaging device 60 (step S1).
Subsequently, the pointing position acquisition unit 82 performs a filtering process to remove noise from the image data (step S2).
Subsequently, the pointing position acquisition unit 82 performs brightness filter processing using the brightness correction table 84c (step S3).
Subsequently, the pointing position acquisition unit 82 separates data relating to light from the pointer 50 from the image data (step S4).
Subsequently, the pointing position acquisition unit 82 calculates a pointing position using the position correction table 84d (step S5). That is, to determine the center of the first infrared LEDs 52a 1 and the second infrared LED 52b 1 of the light as the first infrared LEDs 52a 1 and second pointing position of the infrared LED 52b 1 of. Here, the pointing position acquisition unit 82 determines the pointing position of the first infrared LED 52 a 1 as the pointing position of the pointer 50.
Subsequently, the pointing position acquisition unit 82 calculates the pointing direction of the pointer 50 based on the pointing positions of the first infrared LED 52a 1 and the second infrared LED 52b 1 (step S6).
Subsequently, the pointing position acquisition unit 82 identifies the light, that is, the ID of the pointing position (the ID of the LED that emits light) using the LED identification data 84e (step S7).
Subsequently, the pointing position acquisition unit 82 determines the two-dimensional position data and the two-dimensional direction corresponding to the two-dimensional image based on the acquired pointing position and pointing direction and the spatial data 84a reflected in the two-dimensional image data. Data is generated, and the generated two-dimensional position data and two-dimensional orientation data are output to the data update unit 85 (step S8).

続いて、本発明の第一の実施形態に係る画像表示システム１の使用例について、２次元画像および３次元画像を参照して説明する。以下の例において、空間は病室、物体はベッドである。
図７ないし図９は、本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。 Next, a usage example of the image display system 1 according to the first embodiment of the present invention will be described with reference to a two-dimensional image and a three-dimensional image. In the following example, the space is a hospital room and the object is a bed.
7 to 9 are diagrams showing a first usage example of the image display system according to the first embodiment of the present invention, where (a) shows a two-dimensional image, and (b) shows a three-dimensional image. FIG.

図７（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上に置かれると、ポインティング位置取得部８２がポインティング位置およびポインティング向きを算出し、データ更新部８５は、ポインティング位置およびポインティング向きを記憶部８４に記憶させる。３次元画像データ生成部８７は、ポインタ４０のポインティング位置およびポインティング向きを３次元画像における視点位置および視点向きとして３次元画像データを生成し、図７（ｂ）に示すように、３次元画像表示スクリーン２０に３次元画像を表示させる。   As shown in FIG. 7A, when the pointer 50 is placed on the two-dimensional image display screen 10, the pointing position acquisition unit 82 calculates the pointing position and the pointing direction, and the data update unit 85 calculates the pointing position and the pointing. The direction is stored in the storage unit 84. The three-dimensional image data generation unit 87 generates three-dimensional image data with the pointing position and pointing direction of the pointer 40 as the viewpoint position and viewpoint in the three-dimensional image, and displays the three-dimensional image as shown in FIG. 7B. A three-dimensional image is displayed on the screen 20.

そして、図８（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、３次元画像データ生成部８７は、移動したポインタ５０のポインティング位置（視点位置）に基づいて３次元画像データを再生成し、図８（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点位置に基づく３次元画像を表示させる。   Then, as illustrated in FIG. 8A, when the pointer 50 moves on the two-dimensional image display screen 10, the three-dimensional image data generation unit 87 performs 3 based on the pointing position (viewpoint position) of the moved pointer 50. The three-dimensional image data is regenerated, and a three-dimensional image based on the new viewpoint position is displayed on the three-dimensional image display screen 20 as shown in FIG.

また、図９（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、３次元画像データ生成部８７は、向きを変えたポインタ５０のポインティング位置（視点向き）に基づいて３次元画像データを再生成し、図９（ｂ）に示すように、３次元画像表示スクリーン２０に新たな視点の向きに基づく３次元画像を表示させる。
ここで、図９（ｃ）に、向き変更前における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ１，ｙ１）、（ｘ２，ｙ２）と、向き変更後における第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１のポインティング位置（ｘ３，ｙ３）、（ｘ４，ｙ４）との関係を示す。ポインティング位置取得部８２は、これらポインティング位置のなす角θだけポインティング向きを変えることになる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置を視点位置として決定するとともにポインティング向きを視点向きとして決定して記憶部８４に記憶させており、３次元画像データ生成部８７は、視点位置および視点向きに基づいて３次元画像データを生成する。 Also, as shown in FIG. 9A, when the pointer 50 changes its direction on the two-dimensional image display screen 10, the three-dimensional image data generation unit 87 points the pointing position (point of view) of the pointer 50 whose direction has changed. Then, the three-dimensional image data is regenerated, and the three-dimensional image based on the new viewpoint direction is displayed on the three-dimensional image display screen 20 as shown in FIG.
Here, in FIG. 9 (c), the first infrared LEDs 52a 1 and second pointing position of the infrared LED 52b 1 of the previous reorientation (x 1, y 1), and (x 2, y 2), after the reorientation The relationship between the first infrared LED 52a 1 and the second infrared LED 52b 1 pointing positions (x 3 , y 3 ) and (x 4 , y 4 ) in FIG. The pointing position acquisition unit 82 changes the pointing direction by an angle θ formed by these pointing positions.
That is, the data update unit 85 determines the position on the two-dimensional image corresponding to the pointing position as the viewpoint position, determines the pointing direction as the viewpoint direction, and stores it in the storage unit 84. The three-dimensional image data generation unit 87 generates 3D image data based on the viewpoint position and the viewpoint direction.

なお、図７（ａ）、図８（ａ）および図９（ａ）に示すように、２次元画像データ生成部８６は、記憶部８４に記憶された視野角データに基づいて、３次元画像として表示される部分を視野角として表示させてもよい。
すなわち、２次元画像データ生成部８６は、３次元画像の視点位置および視野に対応する視点位置および視野角を２次元画像に表示可能な２次元画像データを生成する。このようにすることで、３次元画像における視点を２次元画像で確認することができる。 Note that, as shown in FIGS. 7A, 8A, and 9A, the two-dimensional image data generation unit 86 is based on the viewing angle data stored in the storage unit 84. The portion displayed as may be displayed as the viewing angle.
That is, the two-dimensional image data generation unit 86 generates two-dimensional image data that can display the viewpoint position and the viewing angle corresponding to the viewpoint position and field of view of the three-dimensional image on the two-dimensional image. By doing in this way, the viewpoint in a three-dimensional image can be confirmed with a two-dimensional image.

図１０ないし図１２は、本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。以下の図では、ポインタ５０を１つだけ図示したが、複数のポインタ５０を同時に操作することも可能である。   10 to 12 are diagrams showing a second usage example of the image display system according to the first embodiment of the present invention, where (a) shows a two-dimensional image and (b) shows a three-dimensional image. FIG. In the following drawings, only one pointer 50 is shown, but a plurality of pointers 50 can be operated simultaneously.

図１０（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上でベッドＢを選択すると（例えば、ベッドＢの画像上でポインタ５０の第一のボタン５２ｃをクリック）、データ更新部８５は、ベッドＢを選択した旨のデータを記憶部８４に記憶させる。そして、図１０（ａ）および図１０（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢを囲む枠線を生成し、表示させる。   As shown in FIG. 10A, when the pointer 50 selects the bed B on the two-dimensional image display screen 10 (for example, when the first button 52c of the pointer 50 is clicked on the image of the bed B), the data update unit 85 stores data indicating that the bed B has been selected in the storage unit 84. Then, as shown in FIGS. 10A and 10B, the two-dimensional image data generation unit 86 and the three-dimensional image data generation unit 87 generate and display a frame line surrounding the bed B.

そして、図１１（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上を移動すると、データ更新部８５は、記憶部８４に記憶されたベッドＢの位置データを更新する。そして、図１１（ａ）および図１１（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの移動を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。   Then, as illustrated in FIG. 11A, when the pointer 50 moves on the two-dimensional image display screen 10, the data update unit 85 updates the position data of the bed B stored in the storage unit 84. 11A and 11B, the two-dimensional image data generation unit 86 and the three-dimensional image data generation unit 87 are two-dimensional image data and three-dimensional image reflecting the movement of the bed B. Regenerate and display the data.

また、図１２（ａ）に示すように、ポインタ５０が２次元画像表示スクリーン１０上で向きを変えると、データ更新部８５は、記憶部８４に記憶されたベッドＢの向きデータを更新する。そして、図１２（ａ）および図１２（ｂ）に示すように、２次元画像データ生成部８６および３次元画像データ生成部８７は、ベッドＢの向き変更を反映した２次元画像データおよび３次元画像データを再生成し、表示させる。
すなわち、データ更新部８５は、ポインティング位置に対応する２次元画像上の位置をベッドＢの位置として決定するとともにポインティング向きをベッドＢの向きとして決定して記憶部８４内のデータを更新しており、３次元画像データ生成部８７は、更新されたベッドＢの位置および向きを反映した３次元画像データを生成する。 Also, as shown in FIG. 12A, when the pointer 50 changes its direction on the two-dimensional image display screen 10, the data update unit 85 updates the bed B direction data stored in the storage unit 84. Then, as shown in FIGS. 12A and 12B, the two-dimensional image data generation unit 86 and the three-dimensional image data generation unit 87 have two-dimensional image data and three-dimensional data reflecting the orientation change of the bed B. Regenerate and display image data.
That is, the data update unit 85 updates the data in the storage unit 84 by determining the position on the two-dimensional image corresponding to the pointing position as the position of the bed B and determining the pointing direction as the direction of the bed B. The three-dimensional image data generation unit 87 generates three-dimensional image data reflecting the updated position and orientation of the bed B.

第一の使用例および第二の使用例以外にも、画像表示システム１は、空間データ８４ａを更新することにより空間のレイアウト（間取り、広さ等）を変更したり、物体データ８４ｂを更新することにより物体の大きさを変更したり、２次元画像および３次元画像の縮尺率を変更したりすることができる。
また、３次元位置センサ７０からの入力に基づいて、空間データ８４ａおよび物体データ８４ｂを更新することも可能である。
また、これらの更新内容の切換は、例えばＧＵＩを利用して実行可能である。
また、ポインタ５０および撮影装置６０または３次元位置センサ７０による２次元画像または３次元画像における２点を指示する入力と記憶部８４に記憶されたデータとに基づいて、２次元画像データ生成部８６および３次元画像データ生成部８７の少なくとも一方が、指示された２点間の距離を表示可能な２次元画像データまたは３次元画像データを生成して出力し、２点間の距離の表示を利用者に見せる構成であってもよい。この場合、３次元画像における距離の表示は、引き出し線とともに、常に利用者（観察者）視点方向に向くように３次元画像内に配置されることが好ましい。 In addition to the first usage example and the second usage example, the image display system 1 changes the space layout (room layout, size, etc.) by updating the space data 84a, or updates the object data 84b. Thus, the size of the object can be changed, and the scale ratio of the two-dimensional image and the three-dimensional image can be changed.
Further, based on the input from the three-dimensional position sensor 70, the spatial data 84a and the object data 84b can be updated.
Further, switching of these update contents can be executed using, for example, a GUI.
Further, the two-dimensional image data generation unit 86 is based on the pointer 50 and the input for instructing two points in the two-dimensional image or the three-dimensional image by the photographing device 60 or the three-dimensional position sensor 70 and the data stored in the storage unit 84. At least one of the three-dimensional image data generation unit 87 generates and outputs two-dimensional image data or three-dimensional image data that can display the distance between the two specified points, and uses the display of the distance between the two points. The structure shown to a person may be sufficient. In this case, the display of the distance in the three-dimensional image is preferably arranged in the three-dimensional image so as to always face the user (observer) viewpoint direction together with the lead line.

すなわち、データ更新部８５は、位置データ入力手段（ポインタ５０および撮影装置６０ならびに３次元位置センサ７０の少なくとも一方）により入力された二つの位置データ（２次元位置データおよび３次元位置データの少なくとも一方）に基づいて空間データ８４ａおよび物体データ８４ｂにおける点、線、面および物体のいずれか二つを選択して選択結果を記憶部８４に記憶させ、２次元画像データ生成部８６は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、３次元画像データ生成部８７は、選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成する。ここで、点と線、点と面、線と面等の組み合わせが可能であり、物体の距離としては、物体間の最も狭い距離でもよく、物体の中心間の距離であってもよい。
図１３は、３次元画像における距離の表示例を示す図である。
図１３（ａ）において、３次元位置センサ７０の入力により、ベッドＢ１，Ｂ２が選択され、３次元画像データ生成部８７は、ベッドＢ１，Ｂ２間の最短距離ＡＡＡＡを表示可能な３次元画像データを生成する。
そして、図１３（ｂ）に示すように、３次元位置センサ７０の入力により、ベッドＢ２の配置が変更される場合には、変更された配置に対応するベッドＢ１，Ｂ２間の最短距離ＢＢＢＢを表示可能な３次元画像データが生成される。 In other words, the data update unit 85 has at least one of two pieces of position data (two-dimensional position data and three-dimensional position data) input by position data input means (at least one of the pointer 50, the imaging device 60, and the three-dimensional position sensor 70). ) To select any two of points, lines, surfaces and objects in the spatial data 84a and the object data 84b and store the selection result in the storage unit 84, and the two-dimensional image data generation unit 86 selects the selection result. Based on this, two-dimensional image data that can display any two distances of the selected point, line, surface, and object is generated, and the three-dimensional image data generation unit 87 selects the selected point based on the selection result. 3D image data capable of displaying any two distances of a line, a surface, and an object is generated. Here, a combination of a point and a line, a point and a plane, a line and a plane, and the like are possible. The distance between the objects may be the narrowest distance between the objects or the distance between the centers of the objects.
FIG. 13 is a diagram illustrating a display example of the distance in the three-dimensional image.
In FIG. 13A, the beds B1 and B2 are selected by the input of the three-dimensional position sensor 70, and the three-dimensional image data generation unit 87 can display the shortest distance AAAA between the beds B1 and B2. Is generated.
And as shown in FIG.13 (b), when arrangement | positioning of the bed B2 is changed by the input of the three-dimensional position sensor 70, the shortest distance BBBB between the beds B1 and B2 corresponding to the changed arrangement is set. Displayable three-dimensional image data is generated.

また、空間データ８４ａは、物体の配置を禁止する領域に関する物体配置禁止領域データを含み、データ更新部８５は、物体データ８４ｂにおける物体位置データと物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することが望ましい。
例えば、法規制、敷地境界等に基づいて、空間データ８４ａ内に物体の配置禁止領域データを設定し、ポインタ５０および撮影装置６０または３次元位置センサ７０による物体（例えば、病室における前記したベッドＢ、都市空間における建築物等）を配置禁止領域に移動させようとする指示が入力された場合に、２次元画像データ生成部８６および３次元画像データ生成部８７が、前記した移動は不可能である旨を伝えるメッセージを含むデータを生成して出力し、このメッセージを利用者に見せる構成であってもよい。 Further, the spatial data 84a includes object placement prohibition region data related to a region where the placement of the object is prohibited, and the data update unit 85 determines whether the object is based on the object position data and the object placement prohibition region data in the object data 84b. It is desirable to prohibit data updating such that the data is arranged in a region where the arrangement of the object is prohibited.
For example, based on laws and regulations, site boundaries, etc., object placement prohibited area data is set in the space data 84a, and an object (for example, the above-described bed B in a hospital room) by the pointer 50 and the imaging device 60 or the 3D position sensor 70 2D image data generation unit 86 and 3D image data generation unit 87 cannot perform the above movement when an instruction to move the building in the city space to the prohibited area is input. It may be configured to generate and output data including a message indicating that there is a message and show the message to the user.

本発明の第一の実施形態に係る画像表示システム１は、以下の効果を奏する。
画像表示システム１は、ポインティング位置の検出が障害物により邪魔されることを防ぐことができる。また、赤外光を利用することで、照射された光とスクリーンの表示画像との混同を防ぐことができる。また、ポインタ５０の向きを変えるだけポインティング向きを変えることができるので、利用者によるポインティング向きの設定が容易になる。
画像表示システム１は、２次元画像と３次元画像とを更新結果に応じて連動して表示するので、空間における物体のレイアウトを好適に確認することができる。すなわち、住宅、建築物（工場、学校、病院等）等の設計、レイアウトに関する合意形成のためにプレゼンテーションや協調作業を行う際には、２次元画像および３次元画像の両方を用いることができるので、実際の設計、レイアウトを説明するのに好適である。特に、住宅、建築物のレイアウトを３次元画像として表示する場合には、実物大で表示することが望ましい。
特に、２次元画像を見ながらポインタ５０を用いて物体の移動を指示し、実際の移動結果を３次元画像を見て確認することにより、利用者にとってよりわかりやすい説明が可能である。
また、３次元画像の視点を２次元位置データを入力可能なポインタ５０または３次元位置センサ７０を用いて変更したり、３次元画像の視点を２次元画像を見ることで確認することが可能となる。 The image display system 1 according to the first embodiment of the present invention has the following effects.
The image display system 1 can prevent the detection of the pointing position from being obstructed by an obstacle. Further, by using infrared light, confusion between the irradiated light and the display image on the screen can be prevented. In addition, since the pointing direction can be changed only by changing the direction of the pointer 50, the user can easily set the pointing direction.
Since the image display system 1 displays the two-dimensional image and the three-dimensional image in conjunction with each other according to the update result, the layout of the object in the space can be suitably confirmed. In other words, both presentations and collaborative work can be used for consensus building regarding the design and layout of houses and buildings (factories, schools, hospitals, etc.). It is suitable for explaining the actual design and layout. In particular, when displaying the layout of a house or a building as a three-dimensional image, it is desirable to display the actual size.
In particular, the user can instruct the user to move the object using the pointer 50 while viewing the two-dimensional image, and confirm the actual movement result by looking at the three-dimensional image.
Further, the viewpoint of the 3D image can be changed by using the pointer 50 or the 3D position sensor 70 capable of inputting 2D position data, or the viewpoint of the 3D image can be confirmed by viewing the 2D image. Become.

（第二の実施形態）
続いて、本発明の第二の実施形態に係る画像表示システム２について、第一の実施形態に係る画像表示システム１との相違点を中心に説明する。
図１４は、本発明の第二の実施形態に係る画像表示システムを示すブロック図である。図１５は、本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。 (Second embodiment)
Next, the image display system 2 according to the second embodiment of the present invention will be described focusing on differences from the image display system 1 according to the first embodiment.
FIG. 14 is a block diagram showing an image display system according to the second embodiment of the present invention. FIG. 15 is a block diagram showing details of the control device according to the second embodiment of the present invention.

図１４に示すように、本発明の第二の実施形態に係る画像表示システム２は、制御装置８０に代えて、制御装置（第一の制御装置）１１０および制御装置（第二の制御装置）１２０を備えている。   As shown in FIG. 14, the image display system 2 according to the second embodiment of the present invention replaces the control device 80 with a control device (first control device) 110 and a control device (second control device). 120.

制御装置１１０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１１０は、ボタン入力信号取得部１１１と、ポインティング位置取得部１１２と、記憶部（第一の記憶部）１１４と、データ更新部（第一のデータ更新部）１１５と、２次元画像データ生成部１１６と、データ送受信部（第一のデータ送受信部）１１８と、を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係るボタン入力信号取得部８１、ポインティング位置取得部８２、記憶部８４、データ更新部８５および２次元画像データ生成部８６とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１１４に記憶された空間データ１１４ａ、物体データ１１４ｂ、明るさ補正テーブル１１４ｃ、位置補正テーブル１１４ｄおよびＬＥＤ識別データ１１４ｅは、記憶部８４に記憶された空間データ８４ａ、物体データ８４ｂ、明るさ補正テーブル８４ｃ、位置補正テーブル８４ｄおよびＬＥＤ識別データ８４ｅと同様である。 The control device 110 includes, for example, an external storage device such as a CPU, a RAM, a ROM, and a disk, and an input / output circuit, and is based on an input from the pointer 50 and the photographing device 60 and a program and data stored in the storage device. The control is executed by performing each calculation process.
As illustrated in FIG. 15, the control device 110 includes a button input signal acquisition unit 111, a pointing position acquisition unit 112, a storage unit (first storage unit) 114, and a data update unit (first data update unit). 115, a two-dimensional image data generation unit 116, and a data transmission / reception unit (first data transmission / reception unit) 118.
Here, the button input signal acquisition unit 111, the pointing position acquisition unit 112, the storage unit (first storage unit) 114, the data update unit (first data update unit) 115, and the two-dimensional image data generation unit 116 Since the button input signal acquisition unit 81, the pointing position acquisition unit 82, the storage unit 84, the data update unit 85, and the two-dimensional image data generation unit 86 according to the embodiment have substantially the same functions, description thereof will be omitted.
That is, the spatial data 114a, the object data 114b, the brightness correction table 114c, the position correction table 114d, and the LED identification data 114e stored in the storage unit 114 are the spatial data 84a, the object data 84b, and the brightness stored in the storage unit 84. This is the same as the height correction table 84c, the position correction table 84d, and the LED identification data 84e.

制御装置１２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ディスク等の外部記憶装置および入出力回路を備えており、ポインタ５０および撮影装置６０からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。
図１５に示すように、制御装置１２０は、３次元位置データ取得部１２３と、記憶部（第二の記憶部）１２４と、データ更新部（第二のデータ更新部）１２５と、３次元画像データ生成部１２７と、データ送受信部（第二のデータ送受信部）１２８を備えている。
ここで、ボタン入力信号取得部１１１、ポインティング位置取得部１１２、記憶部（第一の記憶部）１１４、データ更新部（第一のデータ更新部）１１５および２次元画像データ生成部１１６は、第一の実施形態に係る３次元位置データ取得部８３、記憶部８４、データ更新部８５および３次元画像データ生成部８７とほぼ同等の機能を有するので、説明を省略する。
すなわち、記憶部１２４に記憶された空間データ１２４ａおよび物体データ１２４ｂは、記憶部８４に記憶された空間データ８４ａおよび物体データ８４ｂと同様である。 The control device 120 includes, for example, an external storage device such as a CPU, a RAM, a ROM, a disk, and an input / output circuit, and is based on inputs from the pointer 50 and the photographing device 60 and programs and data stored in the storage device. The control is executed by performing each calculation process.
As illustrated in FIG. 15, the control device 120 includes a three-dimensional position data acquisition unit 123, a storage unit (second storage unit) 124, a data update unit (second data update unit) 125, and a three-dimensional image. A data generation unit 127 and a data transmission / reception unit (second data transmission / reception unit) 128 are provided.
Here, the button input signal acquisition unit 111, the pointing position acquisition unit 112, the storage unit (first storage unit) 114, the data update unit (first data update unit) 115, and the two-dimensional image data generation unit 116 Since it has substantially the same function as the three-dimensional position data acquisition unit 83, the storage unit 84, the data update unit 85, and the three-dimensional image data generation unit 87 according to one embodiment, a description thereof will be omitted.
That is, the spatial data 124 a and the object data 124 b stored in the storage unit 124 are the same as the spatial data 84 a and the object data 84 b stored in the storage unit 84.

データ送受信部１１８，１２８は、例えばＬＡＮ回線を介して、記憶部１１４，１２４の一方の物体データが更新された場合に、更新された物体データを送受信し、記憶部１１４，１２４の他方の物体データを更新させる。
第二の実施形態に係る画像表示システム２は、データ送受信部１１８，１２８を介して記憶部１１４，１２４に記憶されたデータを同一に更新するので、第一の実施形態に係る画像表示システム１と同様の効果を奏することができる。 The data transmission / reception units 118 and 128 transmit / receive the updated object data when the one object data of the storage units 114 and 124 is updated via, for example, a LAN line, and the other object of the storage units 114 and 124 Update the data.
Since the image display system 2 according to the second embodiment updates the data stored in the storage units 114 and 124 via the data transmission / reception units 118 and 128, the image display system 1 according to the first embodiment is updated. The same effect can be achieved.

以上、本発明の実施形態について図面を参照して説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、制御装置８０，１１０，１２０は、各機能部をソフトウェアとハードウェアとの協働により実現する構成であってもよく、これらの機能の一部をハードウェアのみで実現する構成であってもよい。
また、ポインタが第一の赤外線ＬＥＤ５２ａ１および第二の赤外線ＬＥＤ５２ｂ１に代えて非円形状（例えば、線状、楕円形、多角形等）を呈する光を照射することが可能な赤外光源を備え、制御装置が非円形状を呈する光の姿勢に基づいてポインティング向きを検出する構成であってもよい。 As mentioned above, although embodiment of this invention was described with reference to drawings, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, a design change is possible suitably.
For example, the control devices 80, 110, and 120 may have a configuration in which each functional unit is realized by cooperation of software and hardware, and a part of these functions is realized only by hardware. Also good.
Further, the pointer is first infrared LEDs 52a 1 and the second infrared LED 52b 1 in place of the non-circular shape (e.g., linear, elliptical, polygonal, etc.) infrared light source capable of irradiating light exhibiting The controller may be configured to detect the pointing direction based on the posture of the light having a non-circular shape.

本発明の第一の実施形態に係る画像表示システムの外観を示す模式図である。1 is a schematic diagram showing an appearance of an image display system according to a first embodiment of the present invention. 本発明の第一の実施形態に係る画像表示システムを示すブロック図である。1 is a block diagram illustrating an image display system according to a first embodiment of the present invention. 本発明の第一の実施形態に係るポインティング位置検出システムを示す概略構成図である。1 is a schematic configuration diagram showing a pointing position detection system according to a first embodiment of the present invention. 本発明の第一の実施形態に係るポインタを示す斜視図である。It is a perspective view which shows the pointer which concerns on 1st embodiment of this invention. 本発明の第一の実施形態に係る制御装置を示す詳細ブロック図である。It is a detailed block diagram which shows the control apparatus which concerns on 1st embodiment of this invention. 図６は、本発明の第一の実施形態に係るポインティング位置およびポインティング向き検出処理を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the pointing position and pointing direction detection processing according to the first embodiment of the present invention. 本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 1st usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a two-dimensional image, (b) is a figure which shows a three-dimensional image. 本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 1st usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a two-dimensional image, (b) is a figure which shows a three-dimensional image. 本発明の第一の実施形態に係る画像表示システムの第一の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 1st usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a two-dimensional image, (b) is a figure which shows a three-dimensional image. 本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 2nd usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a 2-dimensional image, (b) is a figure which shows a 3-dimensional image. 本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 2nd usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a 2-dimensional image, (b) is a figure which shows a 3-dimensional image. 本発明の第一の実施形態に係る画像表示システムの第二の使用例を示す図であり、（ａ）は２次元画像を示す図、（ｂ）は３次元画像を示す図である。It is a figure which shows the 2nd usage example of the image display system which concerns on 1st embodiment of this invention, (a) is a figure which shows a 2-dimensional image, (b) is a figure which shows a 3-dimensional image. ３次元画像における距離の表示例を示す図である。It is a figure which shows the display example of the distance in a three-dimensional image. 本発明の第二の実施形態に係る画像表示システムを示すブロック図である。It is a block diagram which shows the image display system which concerns on 2nd embodiment of this invention. 本発明の第二の実施形態に係る制御装置の詳細を示すブロック図である。It is a block diagram which shows the detail of the control apparatus which concerns on 2nd embodiment of this invention.

符号の説明Explanation of symbols

１，２ 画像表示システム
１０ ２次元画像表示スクリーン
２０ ３次元画像表示スクリーン
３０ ２次元画像光照射装置
４０ ３次元画像光照射装置
５０ ポインタ
６０ 撮影装置
７０ ３次元位置センサ
８０ 制御装置
９０ 液晶シャッタメガネ DESCRIPTION OF SYMBOLS 1, 2 Image display system 10 Two-dimensional image display screen 20 Three-dimensional image display screen 30 Two-dimensional image light irradiation apparatus 40 Three-dimensional image light irradiation apparatus 50 Pointer 60 Shooting apparatus 70 Three-dimensional position sensor 80 Control apparatus 90 Liquid crystal shutter glasses

Claims (8)

空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する記憶部と、
前記空間データおよび前記物体データを更新するデータ更新部と、
前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、
前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備えていることを特徴とする画像表示システム。 A storage unit that stores spatial data related to space and object data related to an object placed in the space;
A data update unit for updating the spatial data and the object data;
A two-dimensional image data generation unit that generates two-dimensional image data based on the spatial data and the object data;
A three-dimensional image data generation unit that generates three-dimensional image data based on the spatial data and the object data;
A two-dimensional image display device for displaying a two-dimensional image based on the two-dimensional image data;
A three-dimensional image display device for displaying a three-dimensional image based on the three-dimensional image data;
An image display system comprising: ２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。 A two-dimensional position data input means for inputting the two-dimensional position data;
The data update unit stores the input two-dimensional position data as viewpoint position data in three-dimensional image data in the storage unit,
The image display system according to claim 1, wherein the three-dimensional image data generation unit generates the three-dimensional image data based on the viewpoint position data. ３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを３次元画像データにおける視点位置データとして前記記憶部に記憶させ、
前記３次元画像データ生成部は、前記視点位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項２に記載の画像表示システム。 3D position data input means for inputting 3D position data is further provided,
The data update unit stores the input three-dimensional position data in the storage unit as viewpoint position data in three-dimensional image data,
The image display system according to claim 1, wherein the three-dimensional image data generation unit generates the three-dimensional image data based on the viewpoint position data. ２次元位置データを入力する２次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記２次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。 A two-dimensional position data input means for inputting the two-dimensional position data;
The data update unit stores the input two-dimensional position data in the storage unit as object position data in object data,
The two-dimensional image data generation unit generates the two-dimensional image data based on the object position data,
The image display system according to claim 1, wherein the three-dimensional image data generation unit generates the three-dimensional image data based on the object position data. ３次元位置データを入力する３次元位置データ入力手段をさらに備え、
前記データ更新部は、入力された前記３次元位置データを物体データにおける物体位置データとして前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記物体位置データに基づいて前記２次元画像データを生成し、
前記３次元画像データ生成部は、前記物体位置データに基づいて前記３次元画像データを生成することを特徴とする請求項１または請求項４に記載の画像表示システム。 3D position data input means for inputting 3D position data is further provided,
The data update unit causes the storage unit to store the input three-dimensional position data as object position data in object data,
The two-dimensional image data generation unit generates the two-dimensional image data based on the object position data,
The image display system according to claim 1, wherein the three-dimensional image data generation unit generates the three-dimensional image data based on the object position data. 前記空間データは、前記物体の配置を禁止する領域に関する物体配置禁止領域データを含み、
前記データ更新部は、前記物体データにおける物体位置データと前記物体配置禁止領域データとに基づいて、前記物体が前記物体の配置を禁止する領域へ配置されるようなデータ更新を禁止することを特徴とする請求項１に記載の画像表示システム。 The spatial data includes object placement prohibited area data related to an area where placement of the object is prohibited,
The data updating unit prohibits data updating such that the object is arranged in a region where the object is prohibited from being arranged based on the object position data and the object arrangement prohibited region data in the object data. The image display system according to claim 1. 位置データを入力する位置データ入力手段をさらに備え、
前記データ更新部は、前記位置データ入力手段により入力された二つの位置データに基づいて前記空間データおよび前記物体データにおける点、線、面および物体のいずれか二つを選択して選択結果を前記記憶部に記憶させ、
前記２次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な２次元画像データを生成し、
前記３次元画像データ生成部は、前記選択結果に基づいて、選択された点、線、面および物体のいずれか二つの距離を表示可能な３次元画像データを生成することを特徴とする請求項１に記載の画像表示システム。 It further comprises position data input means for inputting position data,
The data update unit selects any two of points, lines, surfaces and objects in the spatial data and the object data based on the two position data input by the position data input means, and selects the selection result as the Memorize it in the memory,
The two-dimensional image data generation unit generates two-dimensional image data capable of displaying any two distances of the selected point, line, surface, and object based on the selection result,
The said three-dimensional image data generation part produces | generates the three-dimensional image data which can display the distance of any two of the selected point, a line, a surface, and an object based on the said selection result. 2. The image display system according to 1. 空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第一の記憶部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データを更新する第一のデータ更新部と、前記第一の記憶部に記憶された前記空間データおよび前記物体データに基づいて、２次元画像データを生成する２次元画像データ生成部と、データの送受信を行う第一のデータ送受信部と、を備えた第一の制御装置と、
前記２次元画像データに基づいて、２次元画像を表示する２次元画像表示装置と、
空間に関する空間データと、空間に配置される物体に関する物体データと、を記憶する第二の記憶部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データを更新する第二のデータ更新部と、前記第二の記憶部に記憶された前記空間データおよび前記物体データに基づいて、３次元画像データを生成する３次元画像データ生成部と、データの送受信を行う第二のデータ送受信部と、を備えた第二の制御装置と、
前記３次元画像データに基づいて、３次元画像を表示する３次元画像表示装置と、
を備え、
前記第一のデータ送受信部および前記第二のデータ送受信部が、前記第一のデータ記憶部および前記第二のデータ記憶部の一方の更新結果を他方に反映させることを特徴とする画像表示システム。 A first storage unit that stores spatial data related to space and object data related to an object disposed in the space; and a first storage unit that updates the spatial data and the object data stored in the first storage unit. A data update unit, a two-dimensional image data generation unit that generates two-dimensional image data based on the spatial data and the object data stored in the first storage unit, and first data that transmits and receives data A first control device comprising: a transceiver unit;
A two-dimensional image display device for displaying a two-dimensional image based on the two-dimensional image data;
A second storage unit that stores spatial data related to space and object data related to an object disposed in the space; a second storage unit that updates the spatial data and the object data stored in the second storage unit; A data update unit, a three-dimensional image data generation unit that generates three-dimensional image data based on the spatial data and the object data stored in the second storage unit, and second data that transmits and receives data A second control device comprising: a transceiver unit;
A three-dimensional image display device for displaying a three-dimensional image based on the three-dimensional image data;
With
The first data transmission / reception unit and the second data transmission / reception unit reflect an update result of one of the first data storage unit and the second data storage unit on the other. .
JP2006166754A 2006-06-15 2006-06-15 Image display system Active JP4806302B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006166754A JP4806302B2 (en) 2006-06-15 2006-06-15 Image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006166754A JP4806302B2 (en) 2006-06-15 2006-06-15 Image display system

Publications (2)

Publication Number Publication Date
JP2007334698A true JP2007334698A (en) 2007-12-27
JP4806302B2 JP4806302B2 (en) 2011-11-02

Family

ID=38934113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006166754A Active JP4806302B2 (en) 2006-06-15 2006-06-15 Image display system

Country Status (1)

Country Link
JP (1) JP4806302B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106411A (en) * 1995-10-12 1997-04-22 Sekisui House Ltd Method for switch-displaying surface material of building by means of computer graphic picture
JPH09106408A (en) * 1995-10-12 1997-04-22 Sekisui House Ltd Preparing and displaying method for computer graphic picture concerning building
JPH10228231A (en) * 1997-02-17 1998-08-25 Olympus Optical Co Ltd Pseudo experience device
JP2000113211A (en) * 1998-10-09 2000-04-21 Sekisui House Ltd Method for producing and displaying cg image about building
JP2000348212A (en) * 1999-06-04 2000-12-15 Sekisui House Ltd Method for displaying building image by using communication line
JP2001115658A (en) * 1999-10-15 2001-04-24 Sekisui House Ltd Method of flow planning of building by use of computer
JP2003097063A (en) * 2001-09-20 2003-04-03 Sekisui House Ltd Room accent member display device, room accent member display method and recording medium recording computer program for displaying room accent member
JP2003271992A (en) * 2002-03-13 2003-09-26 Fukui Computer Kk Virtual model house experience system, method and program, and computer-readable storage medium storing virtual model house experience program
JP2003308344A (en) * 2002-04-18 2003-10-31 Gifu Prefecture Device and method for supporting design of indoor space

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106411A (en) * 1995-10-12 1997-04-22 Sekisui House Ltd Method for switch-displaying surface material of building by means of computer graphic picture
JPH09106408A (en) * 1995-10-12 1997-04-22 Sekisui House Ltd Preparing and displaying method for computer graphic picture concerning building
JPH10228231A (en) * 1997-02-17 1998-08-25 Olympus Optical Co Ltd Pseudo experience device
JP2000113211A (en) * 1998-10-09 2000-04-21 Sekisui House Ltd Method for producing and displaying cg image about building
JP2000348212A (en) * 1999-06-04 2000-12-15 Sekisui House Ltd Method for displaying building image by using communication line
JP2001115658A (en) * 1999-10-15 2001-04-24 Sekisui House Ltd Method of flow planning of building by use of computer
JP2003097063A (en) * 2001-09-20 2003-04-03 Sekisui House Ltd Room accent member display device, room accent member display method and recording medium recording computer program for displaying room accent member
JP2003271992A (en) * 2002-03-13 2003-09-26 Fukui Computer Kk Virtual model house experience system, method and program, and computer-readable storage medium storing virtual model house experience program
JP2003308344A (en) * 2002-04-18 2003-10-31 Gifu Prefecture Device and method for supporting design of indoor space

Also Published As

Publication number Publication date
JP4806302B2 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
CN106535806B (en) The quantitative three-dimensional imaging of surgical scene from multiport visual angle
JP3717653B2 (en) Head mounted image display device
CN101460893B (en) Image display device
CN106456267A (en) Quantitative three-dimensional visualization of instruments in a field of view
US9947112B2 (en) Scanning device and method for positioning a scanning device
JP2018512665A (en) Target tracking system
US9746989B2 (en) Three-dimensional image processing apparatus
JP2006084963A (en) Stereoscopic image display device
US20100231694A1 (en) Lighting apparatus
JP2014526335A (en) Viewing live 3DX rays
JP2005174887A (en) Sensor switch
JP2011015721A (en) Stereoscopic scale image forming device of stereoscopic video display device
JPH09238369A (en) Three-dimension image display device
JP2017527812A (en) Method for optical measurement of three-dimensional coordinates and calibration of a three-dimensional measuring device
JP2017528714A (en) Method for optical measurement of three-dimensional coordinates and control of a three-dimensional measuring device
US8730320B2 (en) Lighting apparatus
JP2023539962A (en) System and method for superimposing virtual images on real-time images
JP4930115B2 (en) Image display system
JP2016032227A (en) Image display system, three-dimensional image pointing device, and image display device
JP4664690B2 (en) Stereoscopic display device and stereoscopic display method
JP4814700B2 (en) Pointing position detection system
JP4806302B2 (en) Image display system
JP5582958B2 (en) 3D pointer device
JP6038701B2 (en) Remote visual recognition device and remote visual operation system
JP2004194033A (en) System for displaying three-dimensional image and method for displaying three-dimensional pointer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110812

R150 Certificate of patent or registration of utility model

Ref document number: 4806302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250