JP2010151867A - Head mounted display - Google Patents

Head mounted display Download PDF

Info

Publication number
JP2010151867A
JP2010151867A JP2008326883A JP2008326883A JP2010151867A JP 2010151867 A JP2010151867 A JP 2010151867A JP 2008326883 A JP2008326883 A JP 2008326883A JP 2008326883 A JP2008326883 A JP 2008326883A JP 2010151867 A JP2010151867 A JP 2010151867A
Authority
JP
Japan
Prior art keywords
sensor
display
head
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008326883A
Other languages
Japanese (ja)
Other versions
JP5262682B2 (en
Inventor
Makoto Nishida
誠 西田
Original Assignee
Brother Ind Ltd
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Ind Ltd, ブラザー工業株式会社 filed Critical Brother Ind Ltd
Priority to JP2008326883A priority Critical patent/JP5262682B2/en
Publication of JP2010151867A publication Critical patent/JP2010151867A/en
Application granted granted Critical
Publication of JP5262682B2 publication Critical patent/JP5262682B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mounted display for allowing a user to obtain the environment of a building with presence. <P>SOLUTION: This head mounted display 100 reads "sensing information" on a plurality of sensors 500 attached to the inside of the building, and can visually display the sensing information 600. When the sensors 500 are used for detecting the gas concentration, by displaying, on the head mounted display 100, the region where high-concentration gas 600 retains, the user can overlay the region where high-concentration gas 600 retains on the actual field of view of the user and can visually recognize them, and the user can obtain the environmental information with presence. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、ユーザが、建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイに関する。   The present invention relates to a head mounted display that allows a user to grasp an environment such as a building with a sense of reality.
従来特許文献1に示されるように、建造物の温度等の環境情報を、建造物の見取り図とともにディスプレイに表示することができる温熱環境ディスプレイ装置が知られている。このような装置は、建造物の温度等の環境を、視覚的に把握することができる。   As shown in Patent Document 1, a thermal environment display device capable of displaying environmental information such as the temperature of a building on a display together with a floor plan of the building is known. Such an apparatus can visually grasp the environment such as the temperature of the building.
しかしながら、実際には、ユーザが建造物の見取り図から、ユーザの視覚をイメージする必要があることから、ユーザが、建造物の環境情報を、臨場感をもって把握することが困難であった。   However, in reality, since the user needs to imagine the user's vision from the floor plan of the building, it is difficult for the user to grasp the environmental information of the building with a sense of reality.
特開平11−153492号公報JP 11-153492 A
本発明は、上記問題を解決し、ユーザが建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイを提供することを目的になされたものである。   An object of the present invention is to provide a head mounted display that solves the above-described problems and allows a user to grasp the environment of a building or the like with a sense of reality.
上記課題を解決するためになされた請求項1に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
ユーザの視線方向を計測する視線方向計測手段と、
前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
を有することを特徴とする。
The invention according to claim 1, which has been made to solve the above problems,
A head mounting part to be mounted on the user's head;
In a head-mounted display that is attached to the front part of the head-mounted unit, displays an image, and has an image display unit that allows the user to view the image
Sensing information measured by sensors installed at a plurality of positions, individual identification information of each sensor, information acquisition means for acquiring coordinate information of each sensor,
Head-mounted display coordinate acquisition means for calculating or acquiring the coordinates of the head-mounted display;
Gaze direction measuring means for measuring the gaze direction of the user;
Based on the coordinate information of each sensor acquired by the information acquisition unit and the coordinates of the head mounted display acquired by the head mounted display coordinate acquisition unit, the relative coordinates of the sensors based on the coordinates of the head mounted display are obtained. Sensor relative coordinate calculating means for calculating;
A visual field area calculating means for calculating a visual field area of the user from the visual line direction information of the user measured by the visual line direction measuring means;
Based on the field of view calculated by the field of view calculation unit and the sensor relative coordinates of each sensor calculated by the sensor relative coordinate calculation unit, communication is possible within the field of view and within a region extending the field of view in the field of view direction. Sensor selection means for selecting a sensor,
Sensing information image generating means for generating a sensing information image to be displayed on the image display unit based on sensor relative coordinates of each sensor selected by the sensor selecting means and sensing information of each sensor acquired by the information acquiring means;
It is characterized by having.
請求項2に記載の発明は、請求項1に記載の発明において、
センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
The invention according to claim 2 is the invention according to claim 1,
Image coordinate calculation means for calculating image coordinates, which are coordinates on an image displayed on the image display unit of each sensor selected by the sensor selection means, based on the sensor relative coordinates calculated by the sensor relative coordinate calculation means. Have
The sensing information image generation unit generates a sensing information image to be displayed on the image display unit based on the image coordinates of each sensor calculated by the image coordinate calculation unit and the sensing information of each sensor acquired by the information acquisition unit. It is characterized by that.
請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、
視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
The invention according to claim 3 is the invention according to claim 1 or 2,
An area that cannot be seen by the user or that the user can see based on sensing information measured by a sensor in the viewing area and in an area that extends the viewing area in the viewing direction and at least cannot be seen by the user A transmission mode that generates a sensing information image of an area that the user can see in addition to the incapable area;
A non-transparent mode for generating a sensing information image only in a region that can be viewed by the user, based on sensing information measured by a sensor in at least a region that can be viewed by the user;
It is characterized by having mode switching means for switching between.
請求項4に記載の発明は、請求項1〜請求項3に記載の発明において、
情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
前記部屋の境界情報を記憶した境界情報記憶部と、
視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
を有することを特徴とする。
The invention according to claim 4 is the invention according to claims 1 to 3,
The information acquisition means acquires sensing information measured by a plurality of sensors arranged in a room and coordinate information of each sensor,
A boundary information storage unit storing boundary information of the room;
Boundary line synthesizing means for synthesizing the boundary line of the room with the sensing information image based on the user's gaze direction measured by the gaze direction measuring means, the boundary information, and the coordinates of the head mounted display acquired by the head mounted display coordinate acquiring means. When,
It is characterized by having.
請求項5に記載の発明は、請求項4に記載の発明において、
境界線合成手段は、
異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする。
The invention according to claim 5 is the invention according to claim 4,
The boundary line synthesis means is
The present invention is characterized in that the display of the boundary lines is changed for each different room, and these boundary lines are synthesized with the sensing information image.
請求項6に記載の発明は、請求項1〜請求項5に記載の発明において、
各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする。
The invention according to claim 6 is the invention according to claims 1 to 5,
Sensor distance calculation means for calculating distance information for each sensor head-mounted display,
The head mounted display coordinate acquisition means calculates the coordinates of the head mounted display based on the distance information calculated by the sensor distance calculation means and the individual identification information and coordinate information of each sensor acquired by the information acquisition means. And
請求項1に記載の発明は、複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、ユーザの視線方向を計測する視線方向計測手段と、前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内及び視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段とを有することを特徴とする。
このため、ユーザがセンシング情報画像を、実際のユーザの視界に重ね合わせて視認することができることから、ユーザが、センサが検知したセンシング情報を臨場感を持って把握することが可能となる。
According to the first aspect of the present invention, the sensing information measured by the sensors installed at a plurality of positions, the individual identification information of each sensor, the information acquisition means for acquiring the coordinate information of each sensor, and the coordinates of the head mounted display are obtained. Head-mounted display coordinate acquisition means for calculating or acquiring, eye-gaze direction measuring means for measuring the user's line-of-sight direction, coordinate information of each sensor acquired by the information acquisition means, and the head-mounted display coordinate acquisition means Based on the coordinates of the head mounted display, the sensor relative coordinate calculating means for calculating the relative coordinates of each sensor with the coordinates of the head mounted display as a base point, and the user's gaze direction information measured by the gaze direction measuring means, A view area calculating means for calculating a view area of the view area and the view area calculating means A sensor that selects a communicable sensor in the visual field region and a region obtained by extending the visual field region in the visual field direction based on the projected visual field region and the sensor relative coordinate of each sensor calculated by the sensor relative coordinate calculation unit Sensing information image generation for generating a sensing information image to be displayed on the image display unit based on selection means, sensor relative coordinates of each sensor selected by the sensor selection means, and sensing information of each sensor acquired by the information acquisition means Means.
For this reason, since the user can view the sensing information image superimposed on the actual user's field of view, the user can grasp the sensing information detected by the sensor with a sense of reality.
請求項2に記載の発明は、センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
このため、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
The invention according to claim 2 is a coordinate on an image displayed on the image display unit of each sensor selected by the sensor selection unit based on the sensor relative coordinate of each sensor calculated by the sensor relative coordinate calculation unit. An image coordinate calculating unit that calculates image coordinates, and the sensing information image generating unit is based on the image coordinates of each sensor calculated by the image coordinate calculating unit and the sensing information of each sensor acquired by the information acquiring unit; A sensing information image to be displayed on the image display unit is generated.
For this reason, it is possible to accurately display the sensing information image displayed by the image generation unit.
請求項3に記載の発明は、視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
このため、必要に応じて、ユーザが見ることができない領域にあるセンサが計測したセンシング情報も視認することができ、例えば、隣の部屋に存在する一酸化炭素等の有毒ガスを、予め視認することができる。
According to a third aspect of the present invention, the user sees based on sensing information measured by a sensor in the visual field region and in a region where the visual field region extends in the visual field direction and at least in a region where the user cannot see. Based on a transmission mode for generating a sensing information image of a region that can be viewed by a user in addition to a region that cannot be viewed or a region that cannot be viewed by the user, and at least sensing information measured by a sensor in the region that can be viewed by the user A non-transparent mode that generates a sensing information image only in an area that the user can see,
It is characterized by having mode switching means for switching between.
For this reason, if necessary, sensing information measured by a sensor in an area that cannot be seen by the user can also be visually recognized. For example, a toxic gas such as carbon monoxide existing in an adjacent room is visually recognized in advance. be able to.
請求項4に記載の発明は、部屋の境界情報と、視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する。このため、ユーザが見ることができない領域のセンシング情報とともに、ユーザが視認することができない領域の境界線も視認することができるので、大変臨場感がある。   The invention according to claim 4 is based on the boundary information of the room, the user's line-of-sight direction measured by the line-of-sight direction measuring unit, the boundary information, and the coordinates of the head-mounted display acquired by the head-mounted display coordinate acquiring unit, The room boundary is combined with the sensing information image. For this reason, since the boundary line of the area | region which a user cannot visually recognize can also be visually recognized with the sensing information of the area | region which a user cannot see, there exists a very realistic feeling.
請求項5に記載の発明は、境界線合成手段は、異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成するので、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像を区別して認識することが可能となる。   In the fifth aspect of the invention, the boundary line synthesizing unit changes the display of the boundary line for each different room and synthesizes these boundary lines into the sensing information image. It becomes possible to distinguish and recognize the sensing information image of the room in the back of the room.
請求項6に記載の発明は、各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段と、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出するヘッドマウントディスプレイ座標算出手段を有することを特徴とする。
このため、ヘッドマウントディスプレイの座標を正確に算出することができることから、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
The invention according to claim 6 is a sensor distance calculation unit that calculates distance information of each sensor with respect to the head mounted display, distance information calculated by the sensor distance calculation unit, and individual identification of each sensor acquired by the information acquisition unit It has a head mounted display coordinate calculation means for calculating the coordinates of the head mounted display based on the information and the coordinate information.
For this reason, since the coordinates of the head mounted display can be accurately calculated, it is possible to accurately display the sensing information image displayed by the image generation unit.
(本発明の概要)
以下に図面を示しつつ、本発明の概要を説明する。図1は本発明のヘッドマウントディスプレイ100の全体図である。ヘッドマウントディスプレイ100は、ユーザの頭部に装着される頭部装着部1と、ユーザに視認させる画像を表示する画像表示部2とから構成されている。
(Outline of the present invention)
The outline of the present invention will be described below with reference to the drawings. FIG. 1 is an overall view of a head mounted display 100 of the present invention. The head-mounted display 100 includes a head-mounted unit 1 that is mounted on the user's head and an image display unit 2 that displays an image to be visually recognized by the user.
ヘッドマウントディスプレイ100の画像表示部2には、強度が画像に応じて変調されたレーザ光を2次元に走査した走査画像光を、ユーザの眼球に直接照射して、ユーザに画像を視認させる(以下「表示」とする)走査画像光照射部20(図3に示す)を有している。本発明のヘッドマウントディスプレイ100は、ユーザが、画像表示部2が表示する画像を視認しつつ、外界を見ることができる、所謂シースルー型のヘッドマウントディスプレイである。   The image display unit 2 of the head mounted display 100 directly irradiates the user's eyeball with scanned image light that is two-dimensionally scanned with laser light whose intensity is modulated according to the image, thereby allowing the user to visually recognize the image ( A scanning image light irradiation unit 20 (shown in FIG. 3) (hereinafter referred to as “display”) is included. The head-mounted display 100 of the present invention is a so-called see-through type head-mounted display that allows the user to see the outside world while visually recognizing the image displayed by the image display unit 2.
図2は、ヘッドマウントディスプレイ100を、頭部に装着したユーザの視界を表した図である。本発明のヘッドマウントディスプレイ100は、建造物等内に複数取り付けられた、センサ500が検知するセンシング情報を読み取り、当該センシング情報を、画像表示部2で、視覚的に表示することができるようになっている。前記センサ500が、ガス濃度を検知するセンサである場合には、図2に示されるように、高濃度のガス600が滞留している領域を、ヘッドマウントディスプレイ100の画像表示部2で表示させることにより、ユーザが高濃度のガス600が滞留している領域を、実際のユーザの視界に重ね合わせて視認することができ、ユーザがセンシング情報を臨場感を持って把握することが可能となる。なお、センサ500が検知するセンシング情報には、都市ガスや一酸化炭素等のガス濃度、温度、湿度、気圧、音量、粉塵濃度、煙、放射線量、水の存否等が含まれる。以下に、本発明のヘッドマウントディスプレイ100を詳細に説明する。   FIG. 2 is a diagram showing the field of view of a user who wears the head-mounted display 100 on the head. The head-mounted display 100 of the present invention reads sensing information detected by the sensor 500, which is mounted in a building or the like, and can visually display the sensing information on the image display unit 2. It has become. When the sensor 500 is a sensor that detects a gas concentration, the region where the high-concentration gas 600 is retained is displayed on the image display unit 2 of the head mounted display 100 as shown in FIG. As a result, the user can visually recognize the region where the high-concentration gas 600 is accumulated in the field of view of the actual user, and the user can grasp the sensing information with a sense of reality. . The sensing information detected by the sensor 500 includes gas concentrations such as city gas and carbon monoxide, temperature, humidity, atmospheric pressure, volume, dust concentration, smoke, radiation dose, presence / absence of water, and the like. Below, the head mounted display 100 of this invention is demonstrated in detail.
(ヘッドマウントディスプレイのブロック図)
図3は本発明のヘッドマウントディスプレイ100のブロック図である。画像表示部2は、制御部40を有している。制御部40は、CPU41、RAM42、ROM43、不揮発性メモリ44、入力インターフェース45、無線インターフェース55を有していて、これらは相互にバス46で接続されている。
(Block diagram of head-mounted display)
FIG. 3 is a block diagram of the head mounted display 100 of the present invention. The image display unit 2 includes a control unit 40. The control unit 40 includes a CPU 41, a RAM 42, a ROM 43, a nonvolatile memory 44, an input interface 45, and a wireless interface 55, which are connected to each other via a bus 46.
CPU(Central Processing Unitの略)41は、RAM(Random Access Memoryの略)42、ROM(Read Only Memoryの略)43と協動して、各種演算、処理を行う。   A CPU (abbreviation of central processing unit) 41 performs various calculations and processes in cooperation with a RAM (abbreviation of random access memory) 42 and a ROM (abbreviation of read only memory) 43.
RAM42は、CPU41によって処理されるプログラムや、CPU41で処理するデータを、そのアドレス空間に一時的に保存する。   The RAM 42 temporarily stores a program processed by the CPU 41 and data processed by the CPU 41 in its address space.
ROM43には、ヘッドマウントディスプレイ100を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、CPU41で処理されることにより、各種機能を実現している。ROM43には、後述するセンサ距離算出手段43a、ヘッドマウントディスプレイ座標算出手段43b、視線方向算出手段43c、センサ相対座標算出手段43d、視界領域算出手段43e、センサ選択手段43f、画像座標算出手段43g、センシング情報画像生成手段43h、境界情報合成手段43i等のプログラムが保存されている。なお、不揮発性メモリ44に、これらプログラムを保存することにしても差し支えない。   Various programs and parameters for controlling the head mounted display 100 are stored in the ROM 43. The various programs are processed by the CPU 41 to realize various functions. The ROM 43 includes a sensor distance calculation unit 43a, a head-mounted display coordinate calculation unit 43b, a line-of-sight direction calculation unit 43c, a sensor relative coordinate calculation unit 43d, a field-of-view area calculation unit 43e, a sensor selection unit 43f, and an image coordinate calculation unit 43g. Programs such as the sensing information image generating unit 43h and the boundary information synthesizing unit 43i are stored. Note that these programs may be stored in the nonvolatile memory 44.
センサ距離算出手段43aは、無線インターフェース55が受信する、各センサ500の受信電波強度から、ヘッドマウントディスプレイ100と各センサ500との距離を算出する手段である。   The sensor distance calculation unit 43 a is a unit that calculates the distance between the head mounted display 100 and each sensor 500 from the received radio wave intensity of each sensor 500 received by the wireless interface 55.
ヘッドマウントディスプレイ座標算出手段43b(ヘッドマウントディスプレイ座標取得手段)は、ヘッドマウントディスプレイ100に近い複数のセンサ500の「位置座標」及び、センサ距離算出手段43aが算出した、ヘッドマウントディスプレイ100とセンサ500との距離から、ヘッドマウントディスプレイ100の位置座標を算出する手段である。   The head-mounted display coordinate calculation unit 43b (head-mounted display coordinate acquisition unit) includes the “position coordinates” of the plurality of sensors 500 close to the head-mounted display 100 and the head-mounted display 100 and the sensor 500 calculated by the sensor distance calculation unit 43a. Is a means for calculating the position coordinates of the head-mounted display 100 from the distance.
視線方向算出手段43cは、方位センサ53及び傾きセンサ54が検出する信号に基づいて、ユーザの視線方向を算出する手段である。   The line-of-sight direction calculation means 43c is a means for calculating the user's line-of-sight direction based on signals detected by the azimuth sensor 53 and the tilt sensor 54.
センサ相対座標算出手段43dは、各センサ500の「位置座標」から、ヘッドマウントディスプレイ100の「位置座標」を引いて、各センサ500の「位置座標」を、ヘッドマウントディスプレイ100を中心座標とする座標系に変換した「センサ相対座標」に変換する手段である。   The sensor relative coordinate calculation unit 43d subtracts the “position coordinates” of the head mounted display 100 from the “position coordinates” of each sensor 500, and uses the “position coordinates” of each sensor 500 as the center coordinates of the head mounted display 100. It is a means for converting into “sensor relative coordinates” converted into a coordinate system.
視界領域算出手段43eは、視線方向算出手段43cが算出した、ユーザの視線方向から、ユーザの視界領域を算出する手段である。   The visual field area calculation unit 43e is a unit that calculates the user's visual field area from the user's visual line direction calculated by the visual line direction calculation unit 43c.
センサ選択手段43fは、視界領域算出手段43eが算出したユーザの視界領域及び、センサ相対座標算出手段43dが算出した各センサ500の「センサ相対座標」に基づいて、ユーザの視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサ500を選択する手段である。   Based on the user's field of view calculated by the field of view calculation unit 43e and the “sensor relative coordinates” of each sensor 500 calculated by the sensor relative coordinate calculation unit 43d, the sensor selection unit 43f Is a means for selecting a communicable sensor 500 in a region extending in the visual field direction.
画像座標算出手段43gは、センサ相対座標算出手段43dが算出した各センサ500の「センサ相対座標」に基づき、センサ選択手段43fが選択した各センサ500の画像表示部2で表示する画像上の座標である「画像座標」を算出する手段である。   The image coordinate calculation unit 43g is a coordinate on the image displayed on the image display unit 2 of each sensor 500 selected by the sensor selection unit 43f based on the “sensor relative coordinate” of each sensor 500 calculated by the sensor relative coordinate calculation unit 43d. It is a means for calculating “image coordinates”.
センシング情報画像生成手段43hは、センサ選択手段43fが選択した各センサ500の「画像座標」と、無線インターフェース55が取得した前記各センサ500の「センシング情報」に基づき、画像表示部2で表示する「センシング情報画像」を生成する手段である。   The sensing information image generation unit 43h displays on the image display unit 2 based on the “image coordinates” of each sensor 500 selected by the sensor selection unit 43f and the “sensing information” of each sensor 500 acquired by the wireless interface 55. It is means for generating a “sensing information image”.
境界情報合成手段43iは、視線方向算出手段43cが算出したユーザの視線方向及び、不揮発性メモリ44に保存された境界情報44b、ヘッドマウントディスプレイ座標算出手段43bが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線を「センシング情報画像」に合成する手段である。   The boundary information synthesizing unit 43i is based on the user's gaze direction calculated by the gaze direction calculating unit 43c, the boundary information 44b stored in the nonvolatile memory 44, and the coordinates of the head mounted display acquired by the head mounted display coordinate calculating unit 43b. This is a means for synthesizing the boundary line of the room with the “sensing information image”.
なお、センサ距離算出手段43a、ヘッドマウントディスプレイ座標算出手段43b、視線方向算出手段43c、センサ相対座標算出手段43d、視界領域算出手段43e、センサ選択手段43f、画像座標算出手段43g、センシング情報画像生成手段43h、境界情報合成手段43iを、ASIC(ApplicationSpecific Integrated Circuit)として構成することとしても差し支えない。   Sensor distance calculation means 43a, head mounted display coordinate calculation means 43b, line-of-sight direction calculation means 43c, sensor relative coordinate calculation means 43d, visual field area calculation means 43e, sensor selection means 43f, image coordinate calculation means 43g, sensing information image generation The means 43h and the boundary information synthesis means 43i may be configured as an ASIC (Application Specific Integrated Circuit).
不揮発性メモリ44は、ヘッドマウントディスプレイ100の各種設定や、表示パターンテーブル44a、境界情報44bを保存する。表示パターンテーブル44aは、図18に示されるように、「センシング情報」(計測値)の閾値と、当該閾値に応じ、どのように「センシング情報画像」として表示するかを表したテーブルである。境界情報44bは、図7に示されるような各部屋の境界座標の情報である。   The nonvolatile memory 44 stores various settings of the head mounted display 100, a display pattern table 44a, and boundary information 44b. As shown in FIG. 18, the display pattern table 44 a is a table that represents a threshold value of “sensing information” (measured value) and how to display it as a “sensing information image” according to the threshold value. The boundary information 44b is information on the boundary coordinates of each room as shown in FIG.
入力インターフェース45は、電源ボタン50、設定変更ボタン51、モード切替ボタン52、方位センサ53、傾きセンサ54と接続し、これらのボタン及びセンサが出力する信号の物理的、論理的な形式を変換し、バス46に引き渡す。   The input interface 45 is connected to the power button 50, the setting change button 51, the mode switching button 52, the azimuth sensor 53, and the tilt sensor 54, and converts the physical and logical formats of signals output from these buttons and sensors. , Hand over to bus 46.
電源ボタン50は、ヘッドマウントディスプレイ100への電源の投入・遮断を行うためのボタンである。設定変更ボタン51は、ヘッドマウントディスプレイ100の設定の変更を行うためのボタンである。モード切替ボタン52は、後述する「透過モード」と「非透過モード」と「視界領域全センサ閲覧モード」(広義の透過モード)とを切り替えるための手段(モード切替手段)である。なお、図1に示されているように、電源ボタン50、設定変更ボタン51、モード切替ボタン52は、画像表示部2に設けられている。   The power button 50 is a button for turning on / off the power to the head mounted display 100. The setting change button 51 is a button for changing the setting of the head mounted display 100. The mode switching button 52 is means (mode switching means) for switching between a “transmission mode”, a “non-transmission mode”, and a “view field entire sensor browsing mode” (transmission mode in a broad sense), which will be described later. As shown in FIG. 1, the power button 50, the setting change button 51, and the mode switching button 52 are provided on the image display unit 2.
方位センサ53は、地磁気を検知することにより、ヘッドマウントディスプレイ100の正面方向の方位、つまり、ユーザの視線の水平方向の方位を計測するセンサである。   The azimuth sensor 53 is a sensor that measures the azimuth in the front direction of the head mounted display 100, that is, the azimuth in the horizontal direction of the user's line of sight by detecting geomagnetism.
傾きセンサ54は、ヘッドマウントディスプレイ100の正面方向の水平面に対する仰角や俯角、つまり、ユーザの視線の水平面に対する角度を計測するセンサである。傾きセンサ54には、ジャイロセンサが含まれる。   The tilt sensor 54 is a sensor that measures the elevation angle and depression angle of the head mounted display 100 with respect to the horizontal plane in the front direction, that is, the angle of the user's line of sight with respect to the horizontal plane. The tilt sensor 54 includes a gyro sensor.
方位センサ53及び傾きセンサ54から、ユーザの視線方向を計測する「視線方向計測手段」が構成されている。   The azimuth sensor 53 and the tilt sensor 54 constitute a “gaze direction measuring unit” that measures the gaze direction of the user.
無線インターフェース55は、複数にセンサ500から、「センシング情報」、「個体識別情報」、「座標情報」を受信する「情報取得手段」である。   The wireless interface 55 is an “information acquisition unit” that receives “sensing information”, “individual identification information”, and “coordinate information” from a plurality of sensors 500.
走査画像光照射部20は、強度が画像に応じて変調されたレーザ光を2次元に走査した走査画像光を生成し、当該走査画像光をユーザの眼球に直接照射し、ユーザに画像を視認させる装置である。走査画像光照射部20は、走査光生成部21、コリメート光学系22、垂直走査部23、水平走査部24、リレー光学系25、リレー光学系26を有している。   The scanned image light irradiating unit 20 generates scanned image light obtained by two-dimensionally scanning laser light whose intensity is modulated according to an image, and directly irradiates the user's eyeball with the scanned image light so that the user can visually recognize the image. It is a device to let you. The scanning image light irradiation unit 20 includes a scanning light generation unit 21, a collimating optical system 22, a vertical scanning unit 23, a horizontal scanning unit 24, a relay optical system 25, and a relay optical system 26.
走査光生成部21は、センシング情報画像生成手段43hが生成した「センシング情報画像」を、ドットクロック毎に読み出し、読み出した「センシング情報画像」に応じて強度変調して走査光を生成する装置である。走査光生成部21は、信号処理回路211、光源部212、光合成部213を有している。   The scanning light generation unit 21 is a device that reads the “sensing information image” generated by the sensing information image generation unit 43h for each dot clock, and modulates the intensity according to the read “sensing information image” to generate scanning light. is there. The scanning light generation unit 21 includes a signal processing circuit 211, a light source unit 212, and a light combining unit 213.
信号処理回路211は、制御部40のバス46と接続している。信号処理回路211は、制御部40のバス46から入力された「センシング情報画像」に基づいて、走査画像光を生成するための要素となるB(青)、G(緑)、R(赤)の各画像信号214a〜214cを生成し、光源部212に出力する。また、信号処理回路211は、後述する垂直走査部23の垂直走査制御回路23bと接続している。信号処理回路211は、垂直駆動信号215を生成し、この垂直駆動信号215を垂直走査制御回路23bに出力する。更に、信号処理回路211は、後述する水平走査制御回路24bと接続している。信号処理回路211は、水平駆動信号216を生成し、この水平駆動信号216を水平走査制御回路24bに出力する。   The signal processing circuit 211 is connected to the bus 46 of the control unit 40. The signal processing circuit 211 is based on the “sensing information image” input from the bus 46 of the control unit 40, and serves as an element for generating scanning image light B (blue), G (green), and R (red). The image signals 214 a to 214 c are generated and output to the light source unit 212. The signal processing circuit 211 is connected to a vertical scanning control circuit 23b of the vertical scanning unit 23 described later. The signal processing circuit 211 generates a vertical drive signal 215 and outputs the vertical drive signal 215 to the vertical scanning control circuit 23b. Further, the signal processing circuit 211 is connected to a horizontal scanning control circuit 24b described later. The signal processing circuit 211 generates a horizontal drive signal 216 and outputs the horizontal drive signal 216 to the horizontal scanning control circuit 24b.
光源部212は、Bレーザドライバ212a、Gレーザドライバ212b、Rレーザドライバ212c、Bレーザ212d、Gレーザ212e、Rレーザ212fから構成されている。Bレーザドライバ212aは、信号処理回路211からドットクロック毎に出力されたB(青)の画像信号214aに基づき、Bレーザ212dを駆動させる。Bレーザ212dは、B(青)の画像信号214aに基づき、強度変調された青色のレーザ光を出射する。Gレーザ212e及びRレーザ212fも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。   The light source unit 212 includes a B laser driver 212a, a G laser driver 212b, an R laser driver 212c, a B laser 212d, a G laser 212e, and an R laser 212f. The B laser driver 212a drives the B laser 212d based on the B (blue) image signal 214a output from the signal processing circuit 211 for each dot clock. The B laser 212d emits intensity-modulated blue laser light based on the B (blue) image signal 214a. Similarly, the G laser 212e and the R laser 212f emit green laser light and red laser light, which are respectively intensity-modulated.
各レーザ212d〜212fには、半導体レーザや、高調波発生機能付固定レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固定レーザを用いる場合には、各レーザ212d〜212fそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。   Each of the lasers 212d to 212f includes a semiconductor laser and a fixed laser with a harmonic generation function. When a semiconductor laser is used, the drive current is directly modulated to modulate the intensity of the laser beam. When using a fixed laser with a harmonic generation function, each of the lasers 212d to 212f is provided with an external modulator to modulate the intensity of the laser light.
光合成部213は、コリメート光学系213a〜213c、ダイクロイックミラー213d〜213f、結合光学系213gとから構成されている。コリメート光学系213a〜213cは、それぞれ、レーザ212d〜212fの前方に配設されていて、各レーザ212d〜212fが出射したレーザ光を、平行光化する。ダイクロイックミラー213d〜213fは、それぞれ、コリメート光学系213a〜213cの前方に配設されていて、各コリメート光学系213a〜213cが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射又は透過する。   The light combining unit 213 includes collimating optical systems 213a to 213c, dichroic mirrors 213d to 213f, and a coupling optical system 213g. The collimating optical systems 213a to 213c are disposed in front of the lasers 212d to 212f, respectively, and collimate the laser beams emitted from the lasers 212d to 212f. The dichroic mirrors 213d to 213f are arranged in front of the collimating optical systems 213a to 213c, respectively, and convert the laser beams collimated by the collimating optical systems 213a to 213c to only laser beams having a predetermined range of wavelengths. Optionally, reflect or transmit.
結合光学系213gは、ダイクロイックミラー213dの前方に配設されている。ダイクロイックミラー213dを透過した青色のレーザ光及び、ダイクロイックミラー213e、213fをそれぞれ反射した、緑色のレーザ光、赤色のレーザ光が、結合光学系213gに入射する。結合光学系213gは、各3原色のレーザ光を集光(混合)させて、光ファイバ27に入射させる。   The coupling optical system 213g is disposed in front of the dichroic mirror 213d. Blue laser light transmitted through the dichroic mirror 213d and green laser light and red laser light reflected from the dichroic mirrors 213e and 213f are incident on the coupling optical system 213g. The coupling optical system 213g collects (mixes) the laser beams of the three primary colors and enters the optical fiber 27.
垂直走査部23及び水平走査部24は、光ファイバ27に入射されたレーザ光を、画像として照射するために、当該レーザ光を垂直方向と水平方向に走査して走査画像光を生成する。   In order to irradiate the laser beam incident on the optical fiber 27 as an image, the vertical scanning unit 23 and the horizontal scanning unit 24 scan the laser beam in the vertical direction and the horizontal direction to generate scanning image light.
垂直走査部23は、共振型偏向素子23a、垂直走査制御回路23bとから構成されている。光ファイバ27に入射されたレーザ光は、コリメート光学系22で平行光化され、共振型偏向素子23aに入射される。共振型偏向素子23aは、垂直走査制御回路23bで揺動される反射面23dを有し、入射されたレーザ光を、揺動する反射面23dで反射させて垂直方向に走査する。垂直走査制御回路23bは、信号処理回路211から出力される垂直駆動信号215に基づいて、共振型偏向素子23aの反射面23dを揺動させる駆動信号を発生する。   The vertical scanning unit 23 includes a resonant deflection element 23a and a vertical scanning control circuit 23b. The laser light incident on the optical fiber 27 is collimated by the collimating optical system 22 and is incident on the resonant deflection element 23a. The resonant deflection element 23a has a reflecting surface 23d that is oscillated by the vertical scanning control circuit 23b, and scans the incident laser beam in the vertical direction by reflecting the incident laser beam on the oscillating reflecting surface 23d. Based on the vertical drive signal 215 output from the signal processing circuit 211, the vertical scanning control circuit 23b generates a drive signal that swings the reflecting surface 23d of the resonant deflection element 23a.
水平走査部24は、偏向素子24a、水平走査制御回路24b、とから構成されている。偏向素子24aは、水平走査制御回路24bで揺動される反射面24dを有し、入射されたレーザ光を、揺動する反射面24dで反射させて水平方向に走査し、2次元的に走査された画像光として、リレー光学系26に出射する。水平走査制御回路24bは、信号処理回路211から出力される水平駆動信号216に基づいて、偏向素子24aの反射面24dを揺動させる駆動信号を発生する。   The horizontal scanning unit 24 includes a deflection element 24a and a horizontal scanning control circuit 24b. The deflecting element 24a has a reflecting surface 24d that is oscillated by the horizontal scanning control circuit 24b. The incident laser light is reflected by the oscillating reflecting surface 24d and scanned in the horizontal direction to scan two-dimensionally. The emitted image light is emitted to the relay optical system 26. The horizontal scanning control circuit 24b generates a driving signal for swinging the reflecting surface 24d of the deflection element 24a based on the horizontal driving signal 216 output from the signal processing circuit 211.
リレー光学系25は、共振型偏向素子23aと偏向素子24aの間に配設されている。リレー光学系25は、共振型偏向素子23aの反射面23dで、垂直方向に走査されたレーザ光を収束させて、偏向素子24aの反射面24dに入射させる。   The relay optical system 25 is disposed between the resonant deflection element 23a and the deflection element 24a. The relay optical system 25 converges the laser beam scanned in the vertical direction on the reflection surface 23d of the resonance type deflection element 23a and makes it incident on the reflection surface 24d of the deflection element 24a.
信号処理回路211は、電源が投入されれば、垂直駆動信号215と水平駆動信号216を、それぞれ垂直走査制御回路23bと水平走査制御回路24bに出力し、反射面23d、24dを振動させ、安定して2次元走査をさせるよう制御を行う。   When the power is turned on, the signal processing circuit 211 outputs the vertical drive signal 215 and the horizontal drive signal 216 to the vertical scanning control circuit 23b and the horizontal scanning control circuit 24b, respectively, and vibrates the reflecting surfaces 23d and 24d to stabilize the signal. Then, control is performed so that two-dimensional scanning is performed.
リレー光学系26は、正の屈折力を持つレンズ系26a、26bを有している。偏向素子24aから出射された画像光は、レンズ系26aによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系26bによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Eaに収束するように集光される。   The relay optical system 26 includes lens systems 26a and 26b having a positive refractive power. The image light emitted from the deflection element 24a is converted into convergent image light by the lens system 26a so that the respective image lights have their center lines substantially parallel to each other. The converged image light is converted into substantially parallel scanned image light by the lens system 26b, and the center line of these scanned image light is condensed so as to converge on the user's pupil Ea.
なお、本実施形態では、光ファイバ27から入射されたレーザ光を、垂直走査部23で垂直方向に走査した後、水平走査部24によって水平方向に走査することとしたが、垂直走査部23と水平走査部24の配置を入れ替え、水平走査部24に水平方向に走査した後、垂直走査部23で垂直方向に走査するように構成しても差し支えない。   In this embodiment, the laser light incident from the optical fiber 27 is scanned in the vertical direction by the vertical scanning unit 23 and then scanned in the horizontal direction by the horizontal scanning unit 24. The arrangement of the horizontal scanning unit 24 may be changed, the horizontal scanning unit 24 may be scanned in the horizontal direction, and then the vertical scanning unit 23 may be scanned in the vertical direction.
(メイン処理)
図4にメイン処理のフロー図を示し、メイン処理について説明する。ユーザが電源ボタン50を操作することにより、ヘッドマウントディスプレイ100の電源が投入されると、S11「初期化」の処理に進む。S11の処理において、ユーザは、設定変更ボタン51を操作することにより、「表示更新間隔」や「モード」を設定することができる。「表示更新間隔」とは、画像表示部2で表示する「センシング情報画像」を更新する間隔である。なお、「モード」には、「非透過モード」、「透過モード」、「視界領域全センサ閲覧モード」(広義の透過モード)がある。図20に示されるように、「非透過モード」とは、ヘッドマウントディスプレイ100がある領域、つまり、ユーザが見ることができる領域(例えば、ユーザが居る部屋)に取り付けられたセンサ500が計測した「センシング情報」のみから、「センシング情報画像」を生成するモードである。「透過モード」とは、ヘッドマウントディスプレイ100が無い領域、つまり、ユーザが見ることができない領域に取り付けられたセンサ500が計測した「センシング情報」から、「センシング情報画像」を生成するモードである。S11の処理が終了すると、S12「センシング情報受信処理起動」の処理に進む。
(Main process)
FIG. 4 shows a flowchart of the main process, and the main process will be described. When the power of the head mounted display 100 is turned on by the user operating the power button 50, the process proceeds to S11 “initialization”. In the process of S <b> 11, the user can set “display update interval” and “mode” by operating the setting change button 51. The “display update interval” is an interval for updating the “sensing information image” displayed on the image display unit 2. The “mode” includes a “non-transmission mode”, a “transmission mode”, and a “view region entire sensor browsing mode” (transmission mode in a broad sense). As shown in FIG. 20, the “non-transmission mode” is measured by the sensor 500 attached to an area where the head mounted display 100 is located, that is, an area where the user can see (for example, a room where the user is present). In this mode, a “sensing information image” is generated only from “sensing information”. The “transmission mode” is a mode for generating a “sensing information image” from “sensing information” measured by the sensor 500 attached to an area where the head-mounted display 100 is not present, that is, an area where the user cannot see. . When the process of S11 ends, the process proceeds to S12 “Activation of sensing information reception process”.
S12「センシング情報受信処理起動」の処理において、CPU41は、図5に示される、「センシング情報受信処理」を起動させる。当該処理については、図5を用いて後で詳細に説明する。S12の処理が終了すると、S13「タイマースタート」の処理に進む。   In the process of S12 “sensing information reception process activation”, the CPU 41 activates the “sensing information reception process” shown in FIG. This process will be described later in detail with reference to FIG. When the process of S12 ends, the process proceeds to the process of S13 “timer start”.
S13「タイマースタート」の処理において、CPU41は、「センシング情報画像」を更新するためのタイマーをスタートさせる処理を行う。S13の処理が終了すると、S15「表示更新間隔時間経過?」の判断処理に進む。   In the process of S13 “timer start”, the CPU 41 performs a process of starting a timer for updating the “sensing information image”. When the process of S13 is completed, the process proceeds to the determination process of S15 “display update interval time elapsed?”.
S15「表示更新間隔時間経過?」の判断処理において、CPU41は、S13の処理でスタートさせたタイマーが、「表示更新間隔」を経過したか判断する。CPU41が、「表示更新間隔」を経過したと判断した場合には、S16「ヘッドマウントディスプレイ位置座標算出処理」に進む。CPU11が、「表示更新間隔」を経過していないと判断した場合には、S21「透過モードON?」の判断処理に進む。   In the determination process of S15 “display update interval time elapsed?”, The CPU 41 determines whether the timer started in the process of S13 has passed the “display update interval”. When the CPU 41 determines that the “display update interval” has elapsed, the process proceeds to S16 “head mounted display position coordinate calculation processing”. If the CPU 11 determines that the “display update interval” has not elapsed, the process proceeds to the determination process of S21 “transparent mode ON?”.
S21「透過モードON?」の判断処理において、CPU41は、ユーザがモード切替ボタン52を押圧することにより「透過モード」が選択されたか否かを判断する。CPU41が、「透過モード」が選択されたと判断した場合には、S22「透過モードに切替処理」の処理に進む。一方で、CPU41が、「透過モード」が選択されたと判断しない場合には、S25「非透過モードON?」の判断処理に進む。   In the determination process of S21 “transparent mode ON?”, The CPU 41 determines whether the “transparent mode” is selected by the user pressing the mode switching button 52 or not. When the CPU 41 determines that the “transparent mode” is selected, the process proceeds to the process of S22 “switching to the transparent mode”. On the other hand, when the CPU 41 does not determine that the “transparent mode” is selected, the process proceeds to the determination process of S25 “non-transparent mode ON?”.
S22「透過モードに切替処理」において、CPU41は、「透過モード」に切り替える処理を実行する。S22の処理が終了すると、S15の判断処理に戻る。   In S22 “switching to transparent mode”, the CPU 41 executes a process of switching to “transparent mode”. When the process of S22 ends, the process returns to the determination process of S15.
S25「非透過モードON?」の判断処理において、CPU41は、ユーザがモード切替ボタン52を押圧することにより「非透過モード」が選択されたか否かを判断する。CPU41が、「非透過モード」が選択されたと判断した場合には、S26「非透過モードに切替処理」の処理に進む。一方で、CPU41が、「非透過モード」が選択されたと判断しない場合には、S28「視界領域全センサ閲覧モードON?」の判断処理に進む。   In the determination process of S25 “non-transparent mode ON?”, The CPU 41 determines whether or not the “non-transparent mode” is selected when the user presses the mode switching button 52. If the CPU 41 determines that the “non-transparent mode” has been selected, the process proceeds to S26 “switch to non-transparent mode”. On the other hand, if the CPU 41 does not determine that the “non-transparent mode” has been selected, the CPU 41 proceeds to a determination process of S28 “view area all-sensor browsing mode ON?”.
S26「非透過モードに切替処理」において、CPU41は、「非透過モード」に切り替える処理を実行する。S26の処理が終了すると、S15の判断処理に戻る。   In S <b> 26 “switch to non-transparent mode”, the CPU 41 executes a process to switch to “non-transparent mode”. When the process of S26 ends, the process returns to the determination process of S15.
S28「視界領域全センサ閲覧モードON?」の判断処理において、CPU41は、ユーザがモード切替ボタン52を押圧することにより「視界領域全センサ閲覧モード」が選択されたか否かを判断する。CPU41が、「視界領域全センサ閲覧モード」が選択されたと判断した場合には、S29「視界領域全センサ閲覧モードに切替処理」の処理に進む。一方で、CPU41が、「視界領域全センサ閲覧モード」が選択されたと判断しない場合には、S15の判断処理に戻る。   In the determination process of S <b> 28 “viewing area all-sensor browsing mode ON?”, The CPU 41 determines whether or not the “viewing area all-sensor viewing mode” is selected when the user presses the mode switching button 52. When the CPU 41 determines that the “viewing area all-sensor viewing mode” is selected, the CPU 41 proceeds to the process of “switching to the viewing area all-sensor viewing mode”. On the other hand, when the CPU 41 does not determine that the “viewing area all-sensor browsing mode” is selected, the process returns to the determination process of S15.
S29「視界領域全センサ閲覧モードに切替処理」において、CPU41は、「視界領域全センサ閲覧モード」に切り替える処理を実行する。S29の処理が終了すると、S15の判断処理に戻る。   In S <b> 29 “switching to the viewing area all-sensor browsing mode”, the CPU 41 executes a process of switching to the “viewing area all-sensor viewing mode”. When the process of S29 ends, the process returns to the determination process of S15.
S16「ヘッドマウントディスプレイ位置座標算出処理」において、図8を用いて後で詳細に説明するが、ヘッドマウントディスプレイ座標算出手段43bは、ヘッドマウントディスプレイ100の「位置座標」を算出する。S16の処理が終了すると、S17「センサ選択処理」に進む。   In S16 “Head Mount Display Position Coordinate Calculation Processing”, which will be described in detail later with reference to FIG. 8, the head mount display coordinate calculation means 43b calculates the “position coordinates” of the head mount display 100. When the process of S16 ends, the process proceeds to S17 “sensor selection process”.
S17「センサ選択処理」において。図10を用いて後で詳細に説明するが、センサ選択手段43fは、ユーザの「視界領域」内および「視界領域」を視界方向に延長した領域内にある通信可能なセンサ500を選択する。S17の処理が終了すると、S18「センシング情報表示処理」に進む。   In S17 “sensor selection process”. As will be described in detail later with reference to FIG. 10, the sensor selection unit 43 f selects the communicable sensor 500 in the “visual field region” of the user and the region extending the “visual field region” in the visual field direction. When the process of S17 ends, the process proceeds to S18 “sensing information display process”.
S18「センシング情報画像表示処理」において、図14を用いて後で詳細に説明するが、センシング情報画像生成手段43hは、「センシング情報画像」を生成する。S18の処理が終了すると、S19「電源OFF?」   In S18 “sensing information image display processing”, which will be described in detail later with reference to FIG. 14, the sensing information image generating unit 43h generates a “sensing information image”. When the process of S18 ends, S19 “Power OFF?”
S19「電源OFF?」の判断処理において、CPU41は、電源ボタン50の押下を検知し、ユーザがヘッドマウントディスプレイ100の電源をOFFにする操作を行ったか否かを判断する。CPU41が、電源ボタン50の押下を検知した場合には、S20「起動中の全ての処理を中止」の処理に進む。CPU41が、電源ボタン50の押下を検知しない場合には、S13の処理に戻る。   In the determination process of S19 “Power OFF?”, The CPU 41 detects the pressing of the power button 50, and determines whether or not the user has performed an operation to turn off the power of the head mounted display 100. If the CPU 41 detects that the power button 50 has been pressed, the process proceeds to S20 “Cancel all active processes”. When the CPU 41 does not detect pressing of the power button 50, the process returns to S13.
S20「起動中の全ての処理を中止」の処理において、CPU41は、起動中の全ての処理を終了させて、ヘッドマウントディスプレイ100の電源をOFFにする。S20の処理が終了すると、「ヘッドマウントディスプレイメイン処理」が終了する。   In the process of S20 “stop all active processes”, the CPU 41 ends all active processes and turns off the power of the head mounted display 100. When the process of S20 ends, the “head mounted display main process” ends.
(センシング情報受信処理)
図5にセンシング情報取得処理のフロー図を示して、当該処理について説明する。S12の処理で、CPU41が、「センシング情報受信処理」を開始させると、以下の処理がメイン処理と並列に実行される。まず、S31「センサからデータ受信?」の判断処理に進む。S31の判断処理において、CPU41が、センサ500からデータを受信したと判断した場合には、S32「センサ情報テーブルに保存」の処理に進む。なお、前記データは、「個体識別情報」、「座標情報」、「部屋情報」、「センシング情報」である。ここで、通常、ユーザがいる部屋内のセンサ500からは直接無線通信によりデータを受信できる。また一例としてユーザがいない部屋にあるセンサ500からのデータは、ユーザが視界領域を視界方向に延長した方向の近くのセンサ500に転送され、これを順次ユーザがいる部屋にあるセンサ500にまで繰り返すことにより、ユーザがいない部屋のセンサ500からのデータもユーザがいる部屋のセンサ500から受信することができる。いわゆるセンサネットワークが形成され、センサ500がマルチホップ通信(リレー通信)を行う場合には、建物内の離れた部屋、直接電波の届かないところにあるセンサ500からのデータも全て受信することができることも可能である。
(Sensing information reception processing)
FIG. 5 is a flowchart of sensing information acquisition processing, and the processing will be described. When the CPU 41 starts the “sensing information reception process” in the process of S12, the following process is executed in parallel with the main process. First, the process proceeds to S31 “data reception from sensor?”. In the determination process of S31, if the CPU 41 determines that data has been received from the sensor 500, the process proceeds to the process of S32 "Save in sensor information table". The data is “individual identification information”, “coordinate information”, “room information”, and “sensing information”. Here, normally, data can be received from the sensor 500 in the room where the user is located by direct wireless communication. Further, as an example, data from a sensor 500 in a room where there is no user is transferred to a sensor 500 near the direction in which the user extends the viewing area in the viewing direction, and this is sequentially repeated to the sensor 500 in the room where the user is present. Thus, data from the sensor 500 in the room where the user is not present can also be received from the sensor 500 in the room where the user is present. When a so-called sensor network is formed and the sensor 500 performs multi-hop communication (relay communication), it is possible to receive all data from the sensor 500 in a room away from the building or in a place where radio waves do not reach directly. Is also possible.
S32「センサ情報テーブルに保存」の処理において、CPU41は、各センサ500から受信した、「個体識別情報」(センサID)、「座標情報」(位置座標)、「部屋情報」(部屋)、「センシング情報」(計測値(%))を、図6に示されるような「センサ情報テーブル」として、RAM42の記憶領域に保存する。なお、図7に部屋の配置例を示す。センサ500の位置座標は、建造物の所定位置を原点としたセンサ500の位置座標である。S32の処理が終了すると、S33「センサとの距離を算出」の処理に進む。   In the process of S32 “store in sensor information table”, the CPU 41 receives “individual identification information” (sensor ID), “coordinate information” (positional coordinates), “room information” (room), “ The “sensing information” (measured value (%)) is stored in the storage area of the RAM 42 as a “sensor information table” as shown in FIG. In addition, the example of arrangement | positioning of a room is shown in FIG. The position coordinates of the sensor 500 are the position coordinates of the sensor 500 with the predetermined position of the building as the origin. When the process of S32 ends, the process proceeds to S33 “Calculate distance to sensor”.
S33「センサとの距離を算出」の処理において、センサ距離算出手段43aは、無線インターフェース55が受信する、直接電波を受信できた各センサ500の受信電波強度と電波の減衰曲線から、ヘッドマウントディスプレイ100と各センサ500との距離を算出し、「センサ情報テーブル」に保存する。S33の処理が終了すると、S31の判断処理に戻る。   In the process of S33 “Calculate the distance to the sensor”, the sensor distance calculation means 43a calculates the head-mounted display from the received radio wave intensity and the radio wave attenuation curve of each sensor 500 that the radio interface 55 can receive directly. The distance between the sensor 100 and each sensor 500 is calculated and stored in the “sensor information table”. When the process of S33 ends, the process returns to the determination process of S31.
(ヘッドマウントディスプレイ位置座標算出処理)
図8にヘッドマウントディスプレイ位置座標算出処理のフロー図を示して、以下当該処理について説明をする。図4のS16の処理が開始すると、図8のS41「近い順にセンサを4つ選択」の処理において、ヘッドマウントディスプレイ座標算出手段43bは、RAM42の記憶領域に記憶された「センサ情報テーブル」(図6に示す)を照合して、ヘッドマウントディスプレイ100から、最も近いセンサ500を4つ選択する。1つの部屋には複数のセンサ500が設けられているため、距離を算出できたセンサ500は部屋内のセンサ500となる。隣接した部屋のセンサ500から直接データが受信できた場合は、壁等の減衰により遠い距離にあるセンサ500として算出されるので、ここでは部屋内にあるセンサ500が選択されると考えて良い。S41の処理が終了すると、S42「ヘッドマウントディスプレイの位置座標算出」の処理に進む。
(Head-mounted display position coordinate calculation process)
FIG. 8 shows a flowchart of the head-mounted display position coordinate calculation process, which will be described below. When the process of S16 in FIG. 4 starts, in the process of S41 “select four sensors in the closest order” in FIG. 8, the head mounted display coordinate calculation unit 43b uses the “sensor information table” ( 4), the four closest sensors 500 are selected from the head mounted display 100. Since a plurality of sensors 500 are provided in one room, the sensor 500 that can calculate the distance becomes the sensor 500 in the room. When data can be directly received from the sensor 500 in the adjacent room, the sensor 500 is calculated as a sensor 500 at a far distance due to attenuation of a wall or the like, and therefore, it can be considered that the sensor 500 in the room is selected here. When the process of S41 ends, the process proceeds to S42 "Calculation of position coordinates of head mounted display".
S42「ヘッドマウントディスプレイの位置座標算出」の処理において、ヘッドマウントディスプレイ座標算出手段43bは、S41の処理で選択された4つのセンサ500それぞれについて、センサ500の位置座標を中心とし、ヘッドマウントディスプレイ100との距離(図6に示される「距離(m)」)を半径とする4つの球の交点の座標を算出する。前記4つの球の交点が、当該交点の座標が、ヘッドマウントディスプレイ100の「位置座標」(図7に示される建造物の所定位置を原点とした座標)である。図9に、S42の処理で算出されたヘッドマウントディスプレイ100の位置座標を示す。ヘッドマウントディスプレイ座標算出手段43bは、ヘッドマウントディスプレイ100の「位置座標」と、不揮発性メモリ44に保存された境界情報44bと照合して、ヘッドマウントディスプレイ100が建造物のどの部屋にある(ユーザがどの部屋にいるか)を認識する。S42の処理が終了すると、「ヘッドマウントディスプレイ位置座標算出処理」が終了し、図4に示される「メイン処理」のS17の処理に進む。   In the processing of S42 “calculation of position coordinates of the head mounted display”, the head mounted display coordinate calculation means 43b has the position coordinates of the sensor 500 as the center for each of the four sensors 500 selected in the processing of S41. The coordinates of the intersection of the four spheres having a radius of the distance (the “distance (m)” shown in FIG. 6) are calculated. The intersection of the four spheres is the “position coordinate” of the head mounted display 100 (coordinate with the predetermined position of the building shown in FIG. 7 as the origin). FIG. 9 shows the position coordinates of the head mounted display 100 calculated in the process of S42. The head mounted display coordinate calculation means 43b compares the “position coordinates” of the head mounted display 100 with the boundary information 44b stored in the nonvolatile memory 44, and in which room of the building the head mounted display 100 is located (user Which room is). When the process of S42 ends, the “head mounted display position coordinate calculation process” ends, and the process proceeds to S17 of the “main process” shown in FIG.
なお、ヘッドマウントディスプレイ100の「位置座標」を算出する処理は、図8に示したフローの実施形態に限定されず、GPS(ヘッドマウントディスプレイ座標取得手段)を使用したり、無線LANやPHSの基地局を利用したりして、当該基地局が発する電波の電波強度から、ヘッドマウントディスプレイ100の「位置座標」を算出することにしても差し支えない。また、アクティブタグ方式により、ヘッドマウントディスプレイ100の「位置座標」を算出することにしても差し支えない。   Note that the process of calculating the “position coordinates” of the head mounted display 100 is not limited to the embodiment of the flow shown in FIG. 8, and uses GPS (head mounted display coordinate acquisition means), wireless LAN, or PHS. The “position coordinates” of the head mounted display 100 may be calculated from the radio wave intensity of the radio wave emitted from the base station by using a base station. Further, the “position coordinates” of the head mounted display 100 may be calculated by the active tag method.
(センサ選択処理)
図10にセンサ選択処理のフロー図を示し、以下、当該フローについて説明する。図4のS17の処理が開始すると、図10のS51「初期化」の処理において、CPU41は、「視界水平角度」dh°及び「視界垂直角度」dv°を設定する。図11の(B)に示されるように、「視界水平角度」dh°は、ユーザの視界の水平方向の角度であり、ユーザが操作ボタン51を操作することにより任意に設定できるようになっている。図11の(C)に示されるように、「視界垂直角度」dv°は、ユーザの視界の垂直方向の角度であり、ユーザが操作ボタン51を操作することにより任意に設定できるようになっている。もちろん、人間の平均的な視界となるよう予め設定されていても良い。なお、図11の(A)〜(C)のx、y、z座標は、図7に示される建造物内にいるユーザの位置(ヘッドマウントディスプレイの位置)が原点となるように、建造物を基準としてセンサの座標を決定している座標軸を平行移動した相対座標である。S51の処理が終了すると、S52「視線水平角度を算出」の処理に進む。
(Sensor selection processing)
FIG. 10 shows a flowchart of the sensor selection process, and the flow will be described below. When the process of S17 in FIG. 4 is started, in the process of S51 “initialization” in FIG. 10, the CPU 41 sets “visual field horizontal angle” dh ° and “visual field vertical angle” dv °. As shown in FIG. 11B, the “field-of-view horizontal angle” dh ° is an angle in the horizontal direction of the user's field of view, and can be arbitrarily set by the user operating the operation button 51. Yes. As shown in FIG. 11C, the “visual field vertical angle” dv ° is an angle in the vertical direction of the user's visual field, and can be arbitrarily set by the user operating the operation button 51. Yes. Of course, it may be set in advance so as to obtain an average human field of view. 11A to 11C, the x, y, and z coordinates are such that the position of the user (the position of the head mounted display) in the building shown in FIG. 7 is the origin. Relative coordinates obtained by translating the coordinate axes that determine the coordinates of the sensor with reference to. When the process of S51 ends, the process proceeds to S52 “Calculate the gaze horizontal angle”.
S52「視線水平角度を算出」の処理において、視線方向算出手段43cは、方位センサ53から出力される信号に基づいて、図11の(B)に示されるように、ユーザの視線方向の水平角度h°を算出する。なお、水平角度h°は、図7に示される建造物内にいるユーザの位置を原点とした相対座標系のx軸に対し視線方向がなす角度である。S52の処理が終了すると、S53「視線垂直角度を算出」の処理に進む。   In the process of S52 “calculate gaze horizontal angle”, the gaze direction calculation means 43c, based on the signal output from the azimuth sensor 53, as shown in FIG. Calculate h °. The horizontal angle h ° is an angle formed by the line-of-sight direction with respect to the x axis of the relative coordinate system with the position of the user in the building shown in FIG. 7 as the origin. When the process of S52 is completed, the process proceeds to S53 "Calculate gaze vertical angle".
S53「視線垂直角度を算出」の処理において、視線方向算出手段43cは、傾きセンサ54から出力される信号に基づいて、図11の(C)に示されるように、ユーザの視線方向の垂直角度v°を算出する。なお、垂直角度v°は、図7に示される建造物内にいるユーザの位置を原点とした相対座標系のx−y面に対して視線方向がなす角度である。S53の処理が終了すると、S54「未チェックのセンサあり?」の判断処理に進む。   In the process of S53 “Calculate the gaze vertical angle”, the gaze direction calculation means 43c, based on the signal output from the tilt sensor 54, as shown in FIG. v ° is calculated. The vertical angle v ° is an angle formed by the line-of-sight direction with respect to the xy plane of the relative coordinate system with the position of the user in the building shown in FIG. 7 as the origin. When the process of S53 is completed, the process proceeds to S54 “Is there an unchecked sensor?”
S54「未チェックのセンサあり?」の判断処理において、CPU41は、S55〜S6の処理や判断処理を経ていない未チェックのセンサ500があるか否かを判断する。CPU41が、未チェックのセンサ500があると判断した場合には、S55「センサ相対座標」の処理に進む。一方で、CPU41が、未チェックのセンサ500がないと判断した場合には、「センサ選択処理」が終了し、図4に示される「メイン処理」のS18の処理に進む。   In the determination process of S54 “Is there an unchecked sensor?”, The CPU 41 determines whether there is an unchecked sensor 500 that has not undergone the processes of S55 to S6 or the determination process. If the CPU 41 determines that there is an unchecked sensor 500, the process proceeds to S55 “sensor relative coordinates”. On the other hand, if the CPU 41 determines that there is no unchecked sensor 500, the “sensor selection process” ends, and the process proceeds to S18 of the “main process” shown in FIG.
S55「センサ相対座標算出」の処理において、センサ相対座標算出手段43dは、RAM42に記憶された「センサ情報テーブル」(図6に示す)を参照して、各センサ500の建造物を基準とした「位置座標」から、ヘッドマウントディスプレイ100の「位置座標」を引いて、各センサ500の「位置座標」を、ヘッドマウントディスプレイ100を中心座標とする相対座標系に変換した「センサ相対座標」に変換する。S55の処理が終了すると、S56「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理に進む。   In the process of S55 “sensor relative coordinate calculation”, the sensor relative coordinate calculation unit 43d refers to the “sensor information table” (shown in FIG. 6) stored in the RAM 42 and uses the building of each sensor 500 as a reference. By subtracting the “position coordinates” of the head mounted display 100 from the “position coordinates”, the “position coordinates” of each sensor 500 are converted into “sensor relative coordinates” converted into a relative coordinate system with the head mounted display 100 as the center coordinates. Convert. When the process of S55 ends, the process proceeds to the process of S56 “Calculate sensor angle relative to head mounted display”.
S56「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理において、センサ選択手段43fは、図12に示されるように、ヘッドマウントディスプレイ100を中心座標とする座標系における、ヘッドマウントディスプレイ100に対する各センサ500の角度を算出する。具体的には、下式(式1、式2)に、S55の処理で算出した各センサの「センサ相対座標」を代入することにより、ヘッドマウントディスプレイ100に対する各センサ500の水平方向角度θ_h°及び垂直方向角度θ_v°を算出する。
In the process of S56 “calculate the angle of the sensor with respect to the head-mounted display”, the sensor selection unit 43f performs each sensor with respect to the head-mounted display 100 in the coordinate system having the head-mounted display 100 as the center coordinate as shown in FIG. An angle of 500 is calculated. Specifically, by substituting the “sensor relative coordinates” of each sensor calculated in the process of S55 into the following equations (Equation 1 and Equation 2), the horizontal direction angle θ_h ° of each sensor 500 with respect to the head mounted display 100. And the vertical direction angle θ_v ° is calculated.
なお、上式(式1、式2)から導き出される水平方向角度θ_h°及び垂直方向角度θ_v°は、2つの値が導き出されるが、S52、S53の処理でそれぞれ算出した、ユーザの視線方向の水平角度h°と垂直角度v°に近い方の値を採用する。S56の処理が終了すると、S57「視界領域算出」の処理に進む。   Two values are derived for the horizontal direction angle θ_h ° and the vertical direction angle θ_v ° derived from the above equations (Equation 1 and Equation 2), and calculated in the processing of S52 and S53, respectively. The value closer to the horizontal angle h ° and the vertical angle v ° is adopted. When the process of S56 is completed, the process proceeds to S57 “visual field calculation”.
S57「視界領域算出」の処理において、視界領域算出手段43eは、ユーザの視界領域を算出する。
具体的には、図12の(A)に示されるように、水平角度に関し、S52の処理で算出したユーザの視線方向の水平角度h°から、S51に処理で設定された「視界水平角度」dh°を、加算、減算した角度の範囲が、水平方向の視界の領域(以下「水平視界領域」とする)である。
また、図12の(B)に示されるように、垂直角度に関し、S53の処理で算出したユーザの視線方向の垂直角度v°から、S51の処理で設定された「視界垂直角度」dv°を、加算、減算した角度の範囲が、垂直方向の視界の領域(以下、「垂直視界領域」とする)である。S57の処理が終了すると、S58「センサが水平視界領域内にある?」の判断処理に進む。
In the processing of S57 “visual field calculation”, the visual field calculation unit 43e calculates the visual field of the user.
Specifically, as shown in FIG. 12A, regarding the horizontal angle, the “view horizontal angle” set in S51 from the horizontal angle h ° in the user's line-of-sight direction calculated in S52. The range of angles obtained by adding and subtracting dh ° is the horizontal field of view (hereinafter referred to as “horizontal field of view”).
Further, as shown in FIG. 12B, regarding the vertical angle, the “view vertical angle” dv ° set in the process of S51 is calculated from the vertical angle v ° of the user's line-of-sight direction calculated in the process of S53. The range of the angle obtained by adding and subtracting is the vertical field of view (hereinafter referred to as “vertical field of view”). When the process of S57 is completed, the process proceeds to the determination process of S58 “A sensor is in the horizontal field of view?”.
S58「センサが水平視界領域内にある?」の判断処理において、センサ選択手段43fは、通信可能なセンサ500が図12の(A)に示される「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、S56の処理で算出した、センサ500の水平方向角度θ_h°が、下式3に合致するか否かで判断する。
(h°−視界水平角度dh°)≦θ_h°≦(h°+視界水平角度dh°)……(式3)
センサ選択手段43fが、通信可能なセンサ500が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあると判断した場合には、S59「センサが垂直視界領域内にある?」の判断処理に進む。一方で、センサ選択手段43fが、通信可能なセンサ500が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にないと判断した場合には、S54の判断処理に戻る。
In the determination process of S58 “Sensor is in horizontal viewing area?”, Sensor selection unit 43f determines that communication capable sensor 500 is within “horizontal viewing area” and “horizontal viewing area” shown in FIG. Is in the region extending in the viewing direction. Specifically, the determination is made based on whether or not the horizontal angle θ_h ° of the sensor 500 calculated in the process of S56 matches the following expression 3.
(H ° −view horizontal angle dh °) ≦ θ_h ° ≦ (h ° + view horizontal angle dh °) (Equation 3)
If the sensor selection unit 43f determines that the communicable sensor 500 is in the “horizontal field of view” and the “horizontal field of view” extended in the direction of field of view, S59 “the sensor is in the vertical field of view”. The process proceeds to the determination process. On the other hand, if the sensor selection unit 43f determines that the communicable sensor 500 is not in the “horizontal field of view” and the region extending the “horizontal field of view” in the field of view direction, the process returns to the determination process in S54. .
S59「センサが垂直視界領域内にある?」の判断処理において、センサ選択手段43fは、通信可能なセンサ500が図12の(B)に示される「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、S56の処理で算出した、センサ500の垂直方向角度θ_v°が、下式4に合致するか否かで判断する。
(v°−視界垂直角度dv°)≦θ_v°≦(v°+視界垂直角度dv°)……(式4)
センサ選択手段43fが、通信可能なセンサ500が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあると判断した場合には、S60「センサを表示リストに登録」の処理に進む。一方で、センサ選択手段43fが、通信可能なセンサ500が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にないと判断した場合には、S54の判断処理に戻る。
In the determination process of S59 “A sensor is in the vertical viewing area?”, The sensor selecting unit 43f determines that the communicable sensor 500 is within the “vertical viewing area” and “vertical viewing area” shown in FIG. Is in the region extending in the viewing direction. Specifically, determination is made based on whether or not the vertical angle θ_v ° of the sensor 500 calculated in the process of S56 matches the following expression 4.
(V ° −view vertical angle dv °) ≦ θ_v ° ≦ (v ° + view vertical angle dv °) (Formula 4)
If the sensor selection unit 43f determines that the communicable sensor 500 is in the “vertical field of view” and the region extending the “vertical field of view” in the direction of field of view, S60 “registers the sensor in the display list”. Proceed to the process. On the other hand, when the sensor selection unit 43f determines that the communicable sensor 500 is not in the “vertical field of view” and the region extending the “vertical field of view” in the field of view direction, the process returns to the determination process in S54. .
S60「センサを表示リストに登録」の処理において、S58及びS59の処理で、ユーザの視界領域内にあると判断されたセンサ500を図13に示されるような「表示リスト」に登録する。S60処理が終了すると、S54の判断処理に戻る。   In the process of S60 “register sensor in display list”, the sensor 500 determined to be in the user's field of view in the processes of S58 and S59 is registered in the “display list” as shown in FIG. When the S60 process ends, the process returns to the determination process of S54.
(センシング情報画像表示処理)
図14にセンシング情報画像表示処理のフロー図を示して、以下当該処理について説明をする。図4のS18の処理が開始するとS71「透過モード?」の判断処理で、CPU41は、ヘッドマウントディスプレイ100の状態が「透過モード」であるか否かを判断する。CPU41が、ヘッドマウントディスプレイ100の状態が「透過モード」であると判断した場合には、S72「ユーザが見ることができる領域のセンサを表示リストから削除」の処理に進む。一方で、CPU41は、ヘッドマウントディスプレイ100の状態が「透過モード」でないと判断した場合には、S75「非透過モード?」の判断処理に進む。
(Sensing information image display processing)
FIG. 14 shows a flowchart of the sensing information image display process, and the process will be described below. When the process of S18 in FIG. 4 starts, the CPU 41 determines whether or not the state of the head mounted display 100 is “transparent mode” in the determination process of S71 “transparent mode?”. If the CPU 41 determines that the state of the head mounted display 100 is “transparent mode”, the process proceeds to S72 “Delete sensor in area that user can see from display list”. On the other hand, when the CPU 41 determines that the state of the head mounted display 100 is not “transparent mode”, the CPU 41 proceeds to a determination process of S75 “non-transparent mode?”.
S72「ユーザが見ることができる領域のセンサを表示リストから削除」の処理において、センサ選択手段43fは、ユーザが見ることができる領域(ユーザが現在いる部屋)のセンサ500を、図13に示される「表示リスト」から削除する処理を行う。図13において、各センサの部屋情報がヘッドマウントディスプレイ100の存在する部屋と一致するかを判定すればよい。S72の処理が終了すると、S73「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。   FIG. 13 shows the sensor 500 in the area (the room where the user is present) that the user can see in the process of S72 “Delete the sensor in the area that the user can see from the display list”. Delete the “display list”. In FIG. 13, it may be determined whether the room information of each sensor matches the room where the head mounted display 100 exists. When the process of S72 ends, the process proceeds to the process of S73 “Calculate image coordinates on the image to be displayed on the head mounted display of the sensor”.
S73「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段43gは、センサ相対座標算出手段43dが算出した各センサ500の「センサ相対座標」に基づき、センサ選択手段43fが選択した各センサ500の画像表示部2で表示する画像上の座標である「画像座標」を算出する。つまり、3次元上に配置されたセンサ500を、画像生成装置2が生成する2次元の画像上に表示させるための座標を算出する処理を行う。具体的に、図15及び図16に説明図を示して説明する。図15はヘッドマウントディスプレイ100を中心座標とする座標系の水平座標を示した図である。
(1)ユーザの視線方向の直線をw軸とする。
w軸に直交する軸を、p軸とする。
(2)視野範囲内の任意のセンサ500(図15の例では、センサA)を選択し、当該センサAを通りw軸と、直交する直線vを引く。 直線vは、wa=d_a×cos(h°−θ_h°)=√(xa+ya)×cos(h°−θ_h°)(式5)と表すことができる。
(3)右側最大視野方向の直線及び左側最大視野方向の直線は、いずれもw軸に対する角度は視野水平角度なので、(図12に示す)、右側の視野水平角度をdh1°、左側の視野水平角度をdh2°とすると、P=aw(式6)P=aw(式7)と表すことができる。ここで、a1=tan(−dh1°)、a2=tan(dh2°)
(4)式5及び式6とから、直線Vと右側最大視野方向の直線との交点mの座標(pm、wm)を算出する。
また、式5及び式7とから、直線Vと左側最大視野方向の直線との交点nの座標(pn、wn)を算出する。
交点mの座標(pm、wm)及び交点nの座標(pn、wn)から、下式8に示されるように、仮画面の横幅を算出する。
|pm−pn|…(式8)
(5)また、w軸(仮想画面の中心)からのセンサAの距離p_aは、下式9で求めることができる。
p_a=d_a×sin(h°−θ_h°)=√(xa+ya)×sin(h°−θ_h°)…(式9)
(6)センサBについては、ヘッドマウントディスプレイ原点及びセンサBを通る直線の式と、直線vの式から、両直線の交点の座標を算出することができ(xb’、yb’)当該座標から、上記した(1)〜(5)と同じ手法で、w軸(仮想画面の中心)からのセンサBの距離p_bを算出する。他のセンサ500についても同様の手法で、仮画面上の各センサ500の横幅方向の位置を算出する。
(7)図16に示されるように、同様の手法で、仮画面上の各センサ500の縦幅方向の位置を算出する。
(8)図17に示されるように、仮画面上のセンサの位置関係を保ったまま、画像表示部2が生成する画面のサイズに縮小することにより、画像生成装置2が表示する画像上の各センサ500の「画像座標」が算出される。
S73の処理が終了すると、S74「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理に進む。
In the process of S73 “calculate image coordinates on the image displayed on the head-mounted display of the sensor”, the image coordinate calculation means 43g is based on the “sensor relative coordinates” of each sensor 500 calculated by the sensor relative coordinate calculation means 43d. The “image coordinates” which are coordinates on the image displayed on the image display unit 2 of each sensor 500 selected by the sensor selection unit 43 f are calculated. That is, a process of calculating coordinates for displaying the sensor 500 arranged in three dimensions on a two-dimensional image generated by the image generation apparatus 2 is performed. Specifically, FIG. 15 and FIG. 16 will be described with reference to explanatory diagrams. FIG. 15 is a diagram showing the horizontal coordinate of the coordinate system with the head mounted display 100 as the center coordinate.
(1) A straight line in the user's line-of-sight direction is taken as the w-axis.
The axis orthogonal to the w axis is the p axis.
(2) Select an arbitrary sensor 500 (sensor A in the example of FIG. 15) within the visual field range, and draw a straight line v that passes through the sensor A and is orthogonal to the w axis. The straight line v can be expressed as wa = d_a × cos (h ° −θ_h °) = √ (xa 2 + ya 2 ) × cos (h ° −θ_h °) (Formula 5).
(3) The straight line in the maximum right visual field direction and the straight line in the maximum left visual field direction are both horizontal to the w-axis (shown in FIG. 12), so the right visual field horizontal angle is dh1 ° and the left visual field horizontal When the angle is dh2 °, it can be expressed as P = a 1 w (formula 6) P = a 2 w (formula 7). Here, a1 = tan (−dh1 °), a2 = tan (dh2 °)
(4) From Equations 5 and 6, the coordinates (pm, wm) of the intersection m between the straight line V and the straight line in the right-side maximum visual field direction are calculated.
Further, the coordinates (pn, wn) of the intersection point n between the straight line V and the straight line in the maximum left visual field direction are calculated from the formulas 5 and 7.
From the coordinates (pm, wm) of the intersection point m and the coordinates (pn, wn) of the intersection point n, the horizontal width of the temporary screen is calculated as shown in Equation 8 below.
| Pm−pn | (Formula 8)
(5) Further, the distance p_a of the sensor A from the w-axis (the center of the virtual screen) can be obtained by the following formula 9.
p_a = d_a × sin (h ° −θ_h °) = √ (xa 2 + ya 2 ) × sin (h ° −θ_h °) (Equation 9)
(6) For sensor B, the coordinates of the intersection of both straight lines can be calculated from the formula of the straight line passing through the head mounted display origin and sensor B and the formula of straight line v (xb ′, yb ′) The distance p_b of the sensor B from the w axis (the center of the virtual screen) is calculated by the same method as the above (1) to (5). For the other sensors 500, the position in the horizontal width direction of each sensor 500 on the temporary screen is calculated in the same manner.
(7) As shown in FIG. 16, the position in the vertical width direction of each sensor 500 on the temporary screen is calculated by the same method.
(8) As shown in FIG. 17, by reducing the size of the screen generated by the image display unit 2 while maintaining the positional relationship of the sensors on the temporary screen, the image on the image displayed by the image generation device 2 is displayed. The “image coordinates” of each sensor 500 are calculated.
When the process of S73 ends, the process proceeds to the process of S74 “display sensing information image and boundary line on head mounted display”.
S74「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段43hは、S73の処理で算出した、各センサ500の「画像座標」及び図18に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部2に出力して表示する。ここで、センサの値はセンサの各画像座標に与えられるが、良く知られた等高線処理や補間処理により、図19に見られるような面を示す画像が生成される。このような観点から、視界水平角度dh°や視界垂直角度dv°は実際にユーザの視界よりもやや広めに設定し、等高線処理や補間処理の視度を上げるようにしても良い。更に、境界情報合成手段43iは、視線方向算出手段43cが計測したユーザの視線方向及び、不揮発性メモリ44に保存された境界情報44b、ヘッドマウントディスプレイ座標算出手段43bが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線710を「センシング情報画像」に合成する。なお、前記部屋には、建造物の区切られた領域を意味し、廊下やロビー等も、本発明において部屋と見なされる。図19は「透過モード」の状態における、ユーザの視界を表した図である。本実施形態では、「透過モード」であるので、床面の下側に、センシング情報画像700が表示されている。更に、ユーザが視認することができない領域の境界線710が表示されている。図18、図19に示される実施形態では、センシング情報画像700は、高濃度の一酸化炭素が滞留している領域を表している。このように、本発明のヘッドマウントディスプレイ100を使用すれば、ユーザが見ることができない領域の「センシング情報」とともに、ユーザが視認することができない領域の境界線710も視認することができるので、大変臨場感がある。なお、異なる部屋ごとに境界線710の表示を変えて、これら境界線710をセンシング情報画像に合成することが好ましい。このようにすると、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像700を区別して認識することができる。S74の処理が終了すると、「センシング情報画像表示処理」が終了し、図4に示される「メイン処理」のS19の判断処理に進む。   In the process of S74 “display the sensing information image and the boundary line on the head mounted display”, the sensing information image generating unit 43h calculates the “image coordinates” of each sensor 500 calculated in the process of S73 and as shown in FIG. Based on the “display pattern table”, a “sensing information image” is generated, and the “sensing information image” is output to the image display unit 2 and displayed. Here, the sensor value is given to each image coordinate of the sensor, but an image showing a surface as shown in FIG. 19 is generated by well-known contour line processing and interpolation processing. From such a viewpoint, the visual field horizontal angle dh ° and the visual field vertical angle dv ° may be actually set slightly wider than the user's field of view, and the diopter of the contour line processing and the interpolation processing may be increased. Further, the boundary information synthesizing unit 43i includes the user's line-of-sight direction measured by the line-of-sight direction calculating unit 43c, the boundary information 44b stored in the nonvolatile memory 44, and the coordinates of the head-mounted display acquired by the head-mounted display coordinate calculating unit 43b. Based on the above, the room boundary line 710 is combined with the “sensing information image”. In addition, the said room means the area | region where the building was divided, and a corridor, a lobby, etc. are also regarded as a room in this invention. FIG. 19 shows the user's field of view in the “transmission mode” state. In this embodiment, since it is “transmission mode”, the sensing information image 700 is displayed on the lower side of the floor surface. Further, a boundary line 710 of an area that cannot be visually recognized by the user is displayed. In the embodiment shown in FIGS. 18 and 19, the sensing information image 700 represents a region where a high concentration of carbon monoxide is retained. Thus, if the head-mounted display 100 of the present invention is used, the boundary line 710 of the region that the user cannot visually recognize can be viewed together with the “sensing information” of the region that cannot be viewed by the user. There is a sense of realism. It is preferable to change the display of the boundary line 710 for each different room and synthesize these boundary lines 710 with the sensing information image. In this way, the user can distinguish and recognize the sensing information image 700 of the room in the back and the room in the back of the room. When the process of S74 ends, the “sensing information image display process” ends, and the process proceeds to the determination process of S19 of the “main process” shown in FIG.
S75「非透過モード?」の判断処理において、CPU41は、ヘッドマウントディスプレイ100の状態が「非透過モード」であるか否かを判断する。CPU41が、ヘッドマウントディスプレイ100の状態が「非透過モード」であると判断した場合には、S76「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理に進む。一方で、CPU41は、ヘッドマウントディスプレイ100の状態が「非透過モード」でなく「視界領域全センサ閲覧モード」と判断した場合には、S79「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。   In the determination process of S75 “non-transparent mode?”, The CPU 41 determines whether or not the state of the head mounted display 100 is “non-transparent mode”. If the CPU 41 determines that the state of the head mounted display 100 is the “non-transparent mode”, the process proceeds to S76 “Delete sensor other than the area that the user can see from the display list”. On the other hand, if the CPU 41 determines that the state of the head-mounted display 100 is not the “non-transparent mode” but the “viewing area all-sensor browsing mode”, the image coordinates on the image displayed on the head-mounted display of the sensor are S79. The process proceeds to “Calculate”.
S76「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理において、センサ選択手段43fは、ユーザが見ることができる領域以外(ユーザが現在いる部屋以外の)のセンサ500を、図13に示される「表示リスト」から削除する処理を行う。S76の処理が終了すると、S77「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。   In the process of S76 “deleting a sensor other than the area that the user can see from the display list”, the sensor selection unit 43f selects the sensor 500 other than the area that the user can see (other than the room where the user is currently present) A process of deleting from the “display list” shown in FIG. 13 is performed. When the process of S76 ends, the process proceeds to the process of S77 “calculate image coordinates on the image displayed on the head mounted display of the sensor”.
S77「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段43gは、S73の処理と同様に、センサ相対座標算出手段43dが算出した各センサ500の「センサ相対座標」に基づき、センサ選択手段43fが選択した各センサ500の画像表示部2で表示する画像上の座標である「画像座標」を算出する。S77の処理が終了すると、S78「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。   In the process of S77 “calculate the image coordinates on the image displayed on the head-mounted display of the sensor”, the image coordinate calculation unit 43g is similar to the process of S73, and “the sensor relative coordinate calculation unit 43d calculates“ Based on “sensor relative coordinates”, “image coordinates”, which are coordinates on the image displayed on the image display unit 2 of each sensor 500 selected by the sensor selection unit 43f, are calculated. When the process of S77 is completed, the process proceeds to S78 “Display Sensing Information Image on Head Mount Display”.
S78「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段43hは、S77の処理で算出した、各センサ500の「画像座標」及び、図18に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部2に出力して表示する。S78の処理では、ヘッドマウントディスプレイ100は、「非透過モード」なので、図2に示されるように、ユーザが見ることができる領域の、「センシング情報」が、画像表示部2で表示される。S78の処理が終了すると、「センシング情報画像表示処理」が終了し、図4に示される「メイン処理」のS19の判断処理に進む。   In the process of S78 “display the sensing information image on the head mounted display”, the sensing information image generating unit 43h calculates the “image coordinates” of each sensor 500 calculated in the process of S77 and the “display” as shown in FIG. Based on the “pattern table”, a “sensing information image” is generated, and the “sensing information image” is output to the image display unit 2 and displayed. In the process of S78, since the head mounted display 100 is in the “non-transparent mode”, “sensing information” in an area that can be viewed by the user is displayed on the image display unit 2 as shown in FIG. When the process of S78 ends, the “sensing information image display process” ends, and the process proceeds to the determination process of S19 of the “main process” shown in FIG.
S79「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段43gは、S73の処理やS77の処理と同様に、センサ相対座標算出手段43dが算出した各センサ500の「センサ相対座標」に基づき、センサ選択手段43fが選択した「表示リスト」にある全てのセンサ500の画像表示部2で表示する画像上の座標である「画像座標」を算出する。S79の処理が終了すると、S80「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。   In the process of S79 “Calculate the image coordinates on the image displayed on the head-mounted display of the sensor”, the image coordinate calculation means 43g is the same as the process of S73 and the process of S77. Based on the “sensor relative coordinates” of the sensor 500, “image coordinates” that are coordinates on the images displayed on the image display units 2 of all the sensors 500 in the “display list” selected by the sensor selection unit 43 f are calculated. When the process of S79 ends, the process proceeds to the process of S80 “display sensing information image on head mounted display”.
S80「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段43hは、S79の処理で算出した、各センサ500の「画像座標」及び、図18に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部2に出力して表示する。S80の処理では、ヘッドマウントディスプレイ100は、「視界領域全センサ閲覧モード」なので、ユーザが見ることができる領域及びユーザが見ることができない領域の、「センシング情報」が、画像表示部2で表示される。S80の処理が終了すると、「センシング情報画像表示処理」が終了し、図4に示される「メイン処理」のS19の判断処理に進む。   In the process of S80 “display the sensing information image on the head mounted display”, the sensing information image generating unit 43h calculates the “image coordinates” of each sensor 500 calculated in the process of S79 and the “display” as shown in FIG. Based on the “pattern table”, a “sensing information image” is generated, and the “sensing information image” is output to the image display unit 2 and displayed. In the processing of S80, since the head mounted display 100 is in the “viewing area all-sensor browsing mode”, “sensing information” of the area that the user can see and the area that the user cannot see is displayed on the image display unit 2. Is done. When the process of S80 ends, the “sensing information image display process” ends, and the process proceeds to the determination process of S19 of the “main process” shown in FIG.
以上説明した実施形態では、制御部40を画像表示部2に取り付けているが、制御部40を画像表示部2と別体構造にしても差し支えない。   In the embodiment described above, the control unit 40 is attached to the image display unit 2, but the control unit 40 may be separated from the image display unit 2.
図1に示される頭部装着部1は、眼鏡のフレーム形状をしている。頭部装着部1は、この形状に限定されず、ヘルメット形状等であってもよく、ユーザの頭部に装着される構造のものであれはすべて含まれる。頭部装着部1の側前部には、画像表示部2が取り付けられている。なお、図1に示されるヘッドマウントディスプレイ100は、1つの画像表示部2が、頭部装着部1の側前部に取り付けられているが、2つの画像表示部2が頭部装着部1の両側前部に取り付けられ、ユーザが両眼で画像を視認することができるヘッドマウントディスプレイであっても差し支えない。また、センシング情報を受信するときに、ユーザの視界内か判断して、視界内に位置するセンサからのデータを受信するようにしても良い。これにより、処理負荷を軽減できる。   The head mounting portion 1 shown in FIG. 1 has a frame shape of eyeglasses. The head mounting portion 1 is not limited to this shape, and may be a helmet shape or the like, and includes any structure that is mounted on the user's head. An image display unit 2 is attached to the front side of the head mounting unit 1. In the head mounted display 100 shown in FIG. 1, one image display unit 2 is attached to the front side of the head mounting unit 1, but the two image display units 2 are the head mounting unit 1. A head-mounted display that is attached to the front part on both sides and allows the user to visually recognize an image with both eyes may be used. Further, when sensing information is received, it may be determined whether the user is in the field of view and data from a sensor located in the field of view may be received. Thereby, the processing load can be reduced.
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。   Although the present invention has been described above in connection with the most practical and preferred embodiments at the present time, the present invention is not limited to the embodiments disclosed herein. However, the present invention can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification, and a head-mounted display accompanying such a change should also be understood as being included in the technical scope. I must.
本発明のヘッドマウントディスプレイの外観図である。It is an external view of the head mounted display of this invention. ヘッドマウントディスプレイを装着したユーザの視界を表した図である。It is a figure showing the field of view of the user wearing a head mounted display. ヘッドマウントディスプレイのブロック図である。It is a block diagram of a head mounted display. メイン処理のフロー図である。It is a flowchart of a main process. センシング情報取得処理のフロー図である。It is a flowchart of a sensing information acquisition process. センサ情報デーブルの説明図である。It is explanatory drawing of a sensor information table. 部屋配置の説明図である。It is explanatory drawing of room arrangement | positioning. ヘッドマウントディスプレイ位置座標算出処理のフロー図である。It is a flowchart of a head mounted display position coordinate calculation process. ヘッドマウントディスプレイの位置座標を表した図である。It is a figure showing the position coordinate of a head mounted display. センサ選択処理のフロー図である。It is a flowchart of a sensor selection process. 視線水平角度及び視線垂直角度の説明図である。It is explanatory drawing of a gaze horizontal angle and a gaze vertical angle. 視界領域及びセンサ角度を求める説明図である。It is explanatory drawing which calculates | requires a visual field area | region and a sensor angle. 表示リストの説明図である。It is explanatory drawing of a display list. センシング情報画像表示処理のフロー図である。It is a flowchart of a sensing information image display process. ヘッドマウントディスプレイを中心座標とする座標系の水平座標を示した図である。It is the figure which showed the horizontal coordinate of the coordinate system which makes a head mounted display a center coordinate. ヘッドマウントディスプレイを中心座標とする座標系の垂直座標を示した図である。It is the figure which showed the vertical coordinate of the coordinate system centering on a head mounted display. 仮画面上のセンサの位置関係を保ったまま、画像表示部が生成する画面のサイズに縮小し、画像生成装置が生成する画像上の各センサの座標を算出する説明図である。It is explanatory drawing which reduces to the size of the screen which an image display part produces | generates, maintaining the positional relationship of the sensor on a temporary screen, and calculates the coordinate of each sensor on the image which an image generation apparatus produces | generates. 表示パターンテーブルの説明図である。It is explanatory drawing of a display pattern table. ヘッドマウントディスプレイを装着したユーザの視界を表した図である。(透過モード、境界線情報を表示した図)It is a figure showing the field of view of a user wearing a head mounted display. (Transparent mode and boundary information display) 非透過モードと透過モードの説明図である。It is explanatory drawing of a non-transmissive mode and a transmissive mode.
符号の説明Explanation of symbols
1 頭部装着部
2 画像表示部
20 走査画像光照射部
21 走査光生成部
22 コリメート光学系
23 垂直走査部
23a 共振型偏向素子
23b 垂直走査制御回路
24 水平走査部
24a 偏向素子
24b 水平走査制御回路
25 リレー光学系
26 リレー光学系
26a レンズ系
26b レンズ系
27 光ファイバ
40 制御部
41 CPU
42 RAM
43 ROM
43a センサ距離算出手段
43b ヘッドマウントディスプレイ座標算出手段
43c 視線方向算出手段
43d センサ相対座標算出手段
43e 視界領域算出手段
43f センサ選択手段
43g 画像座標算出手段
43h センシング情報画像生成手段
43i 境界情報合成手段
44 不揮発性メモリ
44a 表示パターンテーブル
44b 境界情報
45 入力インターフェース
46 バス
50 電源ボタン
51 設定変更ボタン
52 モード切替ボタン
53 包囲センサ
54 傾きセンサ
55 無線インターフェース
100 ヘッドマウントディスプレイ
211 信号処理回路
212 光源部
212a Bレーザドライバ
212b Gレーザドライバ
212c Rレーザドライバ
212d Bレーザ
212e Gレーザ
212f Rレーザ
213 光合成部
213a〜213c コリメート光学系
213d〜213f ダイクロイックミラー
213g 結合光学系
214 画像信号
215 垂直駆動信号
216 水平駆動信号
500 センサ
600 高濃度のガスが滞留している領域
700 センシング情報画像(高濃度の一酸化炭素が滞留している領域)
710 境界線
E 眼球
Ea 瞳孔
DESCRIPTION OF SYMBOLS 1 Head mounting part 2 Image display part 20 Scanning image light irradiation part 21 Scanning light production | generation part 22 Collimating optical system 23 Vertical scanning part 23a Resonance-type deflection | deviation element 23b Vertical scanning control circuit 24 Horizontal scanning part 24a Deflection element 24b Horizontal scanning control circuit 25 relay optical system 26 relay optical system 26a lens system 26b lens system 27 optical fiber 40 control unit 41 CPU
42 RAM
43 ROM
43a sensor distance calculation means 43b head mounted display coordinate calculation means 43c gaze direction calculation means 43d sensor relative coordinate calculation means 43e visual field area calculation means 43f sensor selection means 43g image coordinate calculation means 43h sensing information image generation means 43i boundary information synthesis means 44 nonvolatile Memory 44a Display pattern table 44b Boundary information 45 Input interface 46 Bus 50 Power button 51 Setting change button 52 Mode switch button 53 Surrounding sensor 54 Tilt sensor 55 Wireless interface 100 Head mounted display 211 Signal processing circuit 212 Light source 212a B laser driver 212b G laser driver 212c R laser driver 212d B laser 212e G laser 212f R laser 213 Photosynthesis unit 13a to 213c Collimating optical system 213d to 213f Dichroic mirror 213g Coupling optical system 214 Image signal 215 Vertical driving signal 216 Horizontal driving signal 500 Sensor 600 Region where high concentration gas stays 700 Sensing information image (high concentration carbon monoxide Area where the
710 Boundary line E Eyeball Ea Pupil

Claims (6)

  1. ユーザの頭部に装着される頭部装着部と、
    前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
    複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
    ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
    ユーザの視線方向を計測する視線方向計測手段と、
    前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
    前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
    前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
    前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
    を有することを特徴とするヘッドマウントディスプレイ。
    A head mounting part to be mounted on the user's head;
    In a head-mounted display that is attached to the front part of the head-mounted unit, displays an image, and has an image display unit that allows the user to visually recognize the image.
    Sensing information measured by sensors installed at a plurality of positions, individual identification information of each sensor, information acquisition means for acquiring coordinate information of each sensor,
    Head-mounted display coordinate acquisition means for calculating or acquiring the coordinates of the head-mounted display;
    Gaze direction measuring means for measuring the gaze direction of the user;
    Based on the coordinate information of each sensor acquired by the information acquisition unit and the coordinates of the head mounted display acquired by the head mounted display coordinate acquisition unit, the relative coordinates of the sensors based on the coordinates of the head mounted display are obtained. Sensor relative coordinate calculating means for calculating;
    A visual field area calculating means for calculating a visual field area of the user from the visual line direction information of the user measured by the visual line direction measuring means;
    Based on the field of view calculated by the field of view calculation unit and the sensor relative coordinates of each sensor calculated by the sensor relative coordinate calculation unit, communication is possible within the field of view and within a region extending the field of view in the field of view direction. Sensor selection means for selecting a sensor,
    Sensing information image generating means for generating a sensing information image to be displayed on the image display unit based on sensor relative coordinates of each sensor selected by the sensor selecting means and sensing information of each sensor acquired by the information acquiring means;
    A head-mounted display comprising:
  2. センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
    センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
    Image coordinate calculation means for calculating image coordinates, which are coordinates on an image displayed on the image display unit of each sensor selected by the sensor selection means, based on the sensor relative coordinates calculated by the sensor relative coordinate calculation means. Have
    The sensing information image generation unit generates a sensing information image to be displayed on the image display unit based on the image coordinates of each sensor calculated by the image coordinate calculation unit and the sensing information of each sensor acquired by the information acquisition unit. The head mounted display according to claim 1.
  3. 視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
    少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
    を切り替えるモード切替手段を有することを特徴とする請求項1又は請求項2に記載のヘッドマウントディスプレイ。
    An area that cannot be seen by the user or that the user can see based on sensing information measured by a sensor in the viewing area and in an area that extends the viewing area in the viewing direction and at least cannot be seen by the user A transmission mode that generates a sensing information image of an area that the user can see in addition to the incapable area;
    A non-transparent mode for generating a sensing information image only in a region that can be viewed by the user, based on sensing information measured by a sensor in at least a region that can be viewed by the user;
    The head mounted display according to claim 1 or 2, further comprising mode switching means for switching between.
  4. 情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
    前記部屋の境界情報を記憶した境界情報記憶部と、
    視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
    を有することを特徴とする請求項1〜請求項3にいずれかに記載のヘッドマウントディスプレイ。
    The information acquisition means acquires sensing information measured by a plurality of sensors arranged in a room and coordinate information of each sensor,
    A boundary information storage unit storing boundary information of the room;
    Boundary line synthesizing means for synthesizing the boundary line of the room with the sensing information image based on the user's gaze direction measured by the gaze direction measuring means, the boundary information, and the coordinates of the head mounted display acquired by the head mounted display coordinate acquiring means. When,
    The head mounted display according to any one of claims 1 to 3, wherein the head mounted display is provided.
  5. 境界線合成手段は、
    異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする請求項4に記載のヘッドマウントディスプレイ。
    The boundary line synthesis means is
    The head-mounted display according to claim 4, wherein the display of the boundary lines is changed for each different room, and the boundary lines are combined with the sensing information image.
  6. 各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
    ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする請求項1〜請求項5のいずれかに記載のヘッドマウントディスプレイ。
    Sensor distance calculation means for calculating distance information for each sensor head-mounted display,
    The head mounted display coordinate acquisition means calculates the coordinates of the head mounted display based on the distance information calculated by the sensor distance calculation means and the individual identification information and coordinate information of each sensor acquired by the information acquisition means. The head mounted display according to any one of claims 1 to 5.
JP2008326883A 2008-12-24 2008-12-24 Head mounted display Active JP5262682B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008326883A JP5262682B2 (en) 2008-12-24 2008-12-24 Head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008326883A JP5262682B2 (en) 2008-12-24 2008-12-24 Head mounted display

Publications (2)

Publication Number Publication Date
JP2010151867A true JP2010151867A (en) 2010-07-08
JP5262682B2 JP5262682B2 (en) 2013-08-14

Family

ID=42571071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008326883A Active JP5262682B2 (en) 2008-12-24 2008-12-24 Head mounted display

Country Status (1)

Country Link
JP (1) JP5262682B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053115A1 (en) * 2010-10-22 2012-04-26 富士通株式会社 Data center, information processing system, information processing device, method for controlling information processing device, and control program
JP2012168683A (en) * 2011-02-14 2012-09-06 Nec Corp On-site operation support system, device, method and program
CN103926694A (en) * 2013-01-15 2014-07-16 精工爱普生株式会社 Head-mounted display device, control method for head-mounted display device, and image display system
CN104102344A (en) * 2013-04-15 2014-10-15 奥林巴斯株式会社 Wearable device, and display controlling method of wearable device
JP2015048171A (en) * 2013-08-30 2015-03-16 学校法人立命館 Picking system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153492A (en) * 1997-11-21 1999-06-08 Sekisui House Ltd Thermal environment display device for house
JP2002132241A (en) * 2000-10-27 2002-05-09 Nippon Telegr & Teleph Corp <Ntt> Virtual space display system based on real space
JP2004180208A (en) * 2002-11-29 2004-06-24 Toshiba Corp Television signal viewing device
JP2004219664A (en) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd Information display system and information display method
JP2006106228A (en) * 2004-10-04 2006-04-20 Hitachi Ltd Portable computer and radio tag data display method
JP2007078911A (en) * 2005-09-13 2007-03-29 Nikon Corp Video display apparatus
JP2007272067A (en) * 2006-03-31 2007-10-18 Brother Ind Ltd Image display device
JP2008065169A (en) * 2006-09-08 2008-03-21 Sony Corp Display device and display method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153492A (en) * 1997-11-21 1999-06-08 Sekisui House Ltd Thermal environment display device for house
JP2002132241A (en) * 2000-10-27 2002-05-09 Nippon Telegr & Teleph Corp <Ntt> Virtual space display system based on real space
JP2004180208A (en) * 2002-11-29 2004-06-24 Toshiba Corp Television signal viewing device
JP2004219664A (en) * 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd Information display system and information display method
JP2006106228A (en) * 2004-10-04 2006-04-20 Hitachi Ltd Portable computer and radio tag data display method
JP2007078911A (en) * 2005-09-13 2007-03-29 Nikon Corp Video display apparatus
JP2007272067A (en) * 2006-03-31 2007-10-18 Brother Ind Ltd Image display device
JP2008065169A (en) * 2006-09-08 2008-03-21 Sony Corp Display device and display method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053115A1 (en) * 2010-10-22 2012-04-26 富士通株式会社 Data center, information processing system, information processing device, method for controlling information processing device, and control program
JP2012168683A (en) * 2011-02-14 2012-09-06 Nec Corp On-site operation support system, device, method and program
CN103926694A (en) * 2013-01-15 2014-07-16 精工爱普生株式会社 Head-mounted display device, control method for head-mounted display device, and image display system
JP2014137396A (en) * 2013-01-15 2014-07-28 Seiko Epson Corp Head-mounted type display device, head-mounted type display device control method and image display system
CN104102344A (en) * 2013-04-15 2014-10-15 奥林巴斯株式会社 Wearable device, and display controlling method of wearable device
JP2015048171A (en) * 2013-08-30 2015-03-16 学校法人立命館 Picking system

Also Published As

Publication number Publication date
JP5262682B2 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
US10242504B2 (en) Head-mounted display device and computer program
US20090096714A1 (en) Image display device
JP5262682B2 (en) Head mounted display
JP5104679B2 (en) Head mounted display
US9898868B2 (en) Display device, method of controlling the same, and program
US20190353907A1 (en) Virtual/augmented reality system having reverse angle diffraction grating
JP5293025B2 (en) Head mounted display
KR20180035895A (en) INFORMATION DISPLAY DEVICE, INFORMATION PROVIDING SYSTEM, MOBILE DEVICE, INFORMATION DISPLAY METHOD, AND RECORDING MEDIUM
JP5262681B2 (en) Head mounted display and program thereof
KR20150123226A (en) Wearable behavior-based vision system
US20190293941A1 (en) Beam angle sensor in virtual/augmented reality system
JPWO2011111201A1 (en) Image position adjustment device
JP2015111772A (en) Projection device
WO2013024539A1 (en) Virtual image display device
US10634904B2 (en) Image projection device
JP2017067944A (en) Display image generation device and image display device
JP2005258022A (en) Image display device
JP4747635B2 (en) Image display device
JP5375481B2 (en) Head mounted display
JP2010199788A (en) Head-mounted display
JP5348004B2 (en) Strike zone presentation system
WO2019155916A1 (en) Image display device using retinal scan display unit and method therefor
JP2021086106A (en) Display unit, display system, movable body, and light quantity control method
JP2019139103A (en) Image projection device
JP2014145813A (en) Projector

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130415

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5262682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150