JP2019012154A - Fire extinguishing experience simulation system using vr, fire extinguisher for experience, and program - Google Patents

Fire extinguishing experience simulation system using vr, fire extinguisher for experience, and program Download PDF

Info

Publication number
JP2019012154A
JP2019012154A JP2017128155A JP2017128155A JP2019012154A JP 2019012154 A JP2019012154 A JP 2019012154A JP 2017128155 A JP2017128155 A JP 2017128155A JP 2017128155 A JP2017128155 A JP 2017128155A JP 2019012154 A JP2019012154 A JP 2019012154A
Authority
JP
Japan
Prior art keywords
video
experience
virtual reality
fire extinguishing
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017128155A
Other languages
Japanese (ja)
Other versions
JP6410378B1 (en
Inventor
治喜 平川
Haruki Hirakawa
治喜 平川
大野 雄吾
Yugo Ono
雄吾 大野
幸恵 木須
Yukie Kisu
幸恵 木須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MX MOBLING CO Ltd
Original Assignee
MX MOBLING CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MX MOBLING CO Ltd filed Critical MX MOBLING CO Ltd
Priority to JP2017128155A priority Critical patent/JP6410378B1/en
Application granted granted Critical
Publication of JP6410378B1 publication Critical patent/JP6410378B1/en
Publication of JP2019012154A publication Critical patent/JP2019012154A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To achieve a fire extinguishing experience simulation system using a VR which is easy in use, and capable of experiencing a procedure of an actual fire extinguishing activity with a feeling of presence.SOLUTION: A fire extinguishing experience simulation system using a VR comprises: an HMD 10 having a computer as a control part 200; and a fire extinguisher 20 for experience having a control lever 24 which functions as a switch for jetting fire extinguishing agent of virtual reality, a hose 26 which functions as a jetting tool for jetting fire extinguishing agent 5 of virtual reality from a top end 28, sensors S1, S2 for respectively detecting the state of the control lever and the movement of the top end of the hose, and a communication part 32. The control part 200 comprises: a real video/virtual reality video switching part 212; and a virtual reality video generation part 210 for generating a simulation video VR(F) to be displayed, which includes a video in which the fire extinguishing agent 5 of virtual reality is jetted from the top end of the hose 26 grasped by the hand of an experienced person U and a video in which flame 7 of virtual reality is extinguished.SELECTED DRAWING: Figure 1

Description

本発明は、VRを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム等に関し、特に、実際の消火器を模した(特に形状を模した)訓練用消火器とヘッドアップディスプレイ(HMD)とを使用して、例えば室内で、実際の消火活動と同じ手順での消火体験が可能な消火体験(消火器体験)シミュレータ等に関する。   The present invention relates to a fire extinguishing experience simulation system using VR, a fire extinguisher for experience, a program, and the like, and in particular, a fire extinguisher for training and a head-up display (HMD) imitating an actual fire extinguisher (particularly imitating a shape) For example, the present invention relates to a fire extinguishing experience (fire extinguisher experience) simulator that enables a fire extinguishing experience in the same procedure as an actual fire extinguishing activity, for example, indoors.

消火訓練シミュレータとして、例えば、トラック等の荷台に室内のセットを用意し、実際に火災を発生させて、実際の火炎に消火剤を投入できるようにしたものがある(特許文献1)。   As an extinguishing training simulator, for example, an indoor set is prepared on a loading platform such as a truck, and a fire is actually generated so that an extinguishing agent can be put into an actual flame (Patent Document 1).

また、ヘッドマウントディスプレイ(HMD)を用いた仮想現実体感シミュレータとして、HMDとグラフィックワークステーションをケーブルで接続してシミュレータを構築するものがある(特許文献2)。   Further, as a virtual reality simulator using a head mounted display (HMD), there is one that constructs a simulator by connecting a HMD and a graphic workstation with a cable (Patent Document 2).

また、スマートフォン等を用いてHMDを構成し、ディスプレイ上に、体験者の広範囲の視野に対応した映像を表示することで、体験者に没入型の視聴体験をもたらすことが意図されているウエアラブル装置が、特許文献3に記載されている。   In addition, a wearable device that is intended to bring an immersive viewing experience to the user by configuring the HMD using a smartphone or the like and displaying an image corresponding to a wide field of view of the user on the display. Is described in Patent Document 3.

特開平11−305647号公報Japanese Patent Application Laid-Open No. 11-305647 特開平9−54540号公報JP 9-54540 A 特開2017−515435号公報JP 2017-515435 A

特許文献1、2に開示される技術は、いずれも大がかりな仕組みを必要とし、例えば、シミュレータの可搬性、簡便性の点で改良の余地があり、又、いずれも専門家が使用することを主目的としており、体験者の年代を問わず誰もが手軽に利用できる、というものではない。   The techniques disclosed in Patent Documents 1 and 2 both require a large-scale mechanism, for example, there is room for improvement in terms of the portability and simplicity of the simulator, and both are used by experts. It is the main purpose, and it is not something that anyone can use easily, regardless of age.

また、近年、VR(仮想現実)空間において、種々の没入型の視聴体験が可能なウエアラブルコンピューティング技術(上記の特許文献3等)が進展しているが、この技術は、仮想現実(VR)空間に没入することを前提としており、例えば、現実の活動に使用される道具を使用して、現実の感覚を共有しながら、実際に役に立つ体験を行うことは意図されていない。   In recent years, wearable computing technologies (such as the above-mentioned Patent Document 3) that allow various immersive viewing experiences have been developed in a VR (virtual reality) space. This technology is based on virtual reality (VR). It is premised on immersion in the space, and it is not intended to provide a practically useful experience while sharing a sense of reality using, for example, tools used for actual activities.

本発明の1つの目的は、利用が容易であり、かつ実際の消火活動の手順を臨場感をもって体験できる、VRを用いた消火体験シミュレーションシステムを実現することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。   One object of the present invention is to realize a fire extinguishing experience simulation system using VR, which is easy to use and allows the user to experience an actual fire fighting procedure with a sense of reality. Other objects of the present invention will become apparent to those skilled in the art by referring to the aspects and best embodiments exemplified below and the accompanying drawings.

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。   In the following, in order to easily understand the outline of the present invention, embodiments according to the present invention will be exemplified.

第1の態様において、VRを用いた消火体験シミュレーションシステムは、
映像を表示するディスプレイと、コンピュータと、通信処理を行う第1の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ(HMD)と、
前記HMDの前記第1の通信部との間で通信を行う第2の通信部と、消火器本体と、前記HMDが仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第1のセンサと、
前記ホースの先端の動きを検出する第2のセンサと、を備え、前記HMDのコントローラとしての機能を兼ねる体験用消火器と、
を有し、
前記HMDの前記コンピュータは、前記HMDの動作を制御する制御部として機能し、
前記制御部は、
実映像表示モード/仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像/仮想現実映像切換部と、
前記HMDが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第2、第1の通信部を経由して入力される、前記体験用消火器の前記第1のセンサ及び前記第2のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
を有する。
In the first aspect, a fire extinguishing experience simulation system using VR is:
A head mounted display (HMD) that is equipped with a display that displays video, a computer, a first communication unit that performs communication processing, and a camera for capturing a real scene that captures a real scene;
Injecting a virtual reality fire extinguishing agent when the second communication unit that communicates with the first communication unit of the HMD, the fire extinguisher body, and the HMD is in a virtual reality (VR) display mode An operation lever that functions as a switch to perform, a hose that functions as an ejection tool for ejecting the virtual reality fire extinguishing agent from the tip, a first sensor that detects an operation of the operation lever by the experience person,
A second sensor that detects the movement of the tip of the hose, and a fire extinguisher for experience that also functions as a controller of the HMD,
Have
The computer of the HMD functions as a control unit that controls the operation of the HMD,
The controller is
A real image display mode / virtual reality display mode, and in the case of the real image display mode, an actual image / virtual reality image switching unit for displaying an actual image captured by the real scene imaging camera on the display;
When the HMD is switched from the real video display mode to the virtual reality video display mode, the first sensor of the fire extinguisher for experience, which is input via the second and first communication units, and Based on each detection information of the second sensor, an image in which the virtual reality fire extinguishing agent is jetted from the tip of the hose held in the hands of the experience person, and an image in which the virtual reality flame is calmed down A virtual reality video generation unit for displaying a simulation video including
Have

第1の態様では、実際に使用される消火器を模した体験用消火器(HMDのコントローラを兼ねる)を用いて、実際の消火活動と同様の、レバー操作やホースの先端の向きを変える動作を、手を使って行うことができる。よって、体験者は、実際の消火器の操作に慣れることができる。また、すぐに仮想現実空間に入り込むのではなく、実映像(例えば、HMDを構成するスマートフォンのカメラで撮像した、訓練用消火器を含む実像)をディスプレイに表示し、体験者が、訓練用消火器と自己の手の位置等を確認した後、その確認された実像に重ねる形で、仮想現実(VR)空間での消火活動シミュレーションを開始することが可能である。よって、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業(消火器体験)を行うことができる。よって、体験者は、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。また、本態様の消火体験シミュレーションシステムの主な構成要素は、体験用消火器とHMDであり、構成が簡素化されている。よって、可搬性(持ち運び性、設営性)に優れ、かつ簡便性(例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点)も備えたシミュレータを、容易に実現することができる。なお、訓練用消火器は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得る。   In the first mode, using an experiential fire extinguisher that simulates a fire extinguisher that is actually used (also serves as a controller for the HMD), the operation of changing the lever operation and the direction of the tip of the hose is the same as the actual fire extinguishing activity. Can be done by hand. Therefore, the experience person can get used to the operation of an actual fire extinguisher. In addition, instead of immediately entering the virtual reality space, a real image (for example, a real image including a fire extinguisher for training taken with a smartphone camera that constitutes the HMD) is displayed on the display, and the experience person can use the fire extinguishing for training. It is possible to start a fire-fighting simulation in a virtual reality (VR) space by confirming the position of the container and the hand of the user and then overlaying the confirmed real image. Therefore, it is possible to perform a fire extinguishing work (fire extinguisher experience) in the same procedure as an actual fire fighting activity procedure while sharing a sense of reality. Therefore, the experience person can experience the procedure of actual fire fighting activity with a sense of reality while sharing a sense of reality. Moreover, the main components of the fire-fighting experience simulation system of this aspect are a fire extinguisher for experience and an HMD, and the configuration is simplified. Therefore, a simulator that is excellent in portability (portability and operability) and simple (for example, can be easily implemented indoors without individual support from the staff) can be easily realized. The training fire extinguisher can be realized, for example, by mounting a unit including a sensor and a communication unit on the same thing as an actual fire extinguisher, but is not limited to this. Modifications such as reducing the weight of the fire extinguisher, making it a small fire extinguisher for children, or slightly changing the shape and design of the fire extinguisher body can be made as appropriate.

第1の態様に従属する第2の態様において、
前記HMDの前記第1の通信部との間で通信を行う第3の通信部を備え、かつ、前記第1、第3の通信部を経由して入力される、前記実映像表示モードにおける実映像の映像データ、及び前記仮想現実映像表示モードにおける仮想現実映像の映像データに基づいて、前記体験者が前記HMDの前記ディスプレイを介して見ているのと同じ映像をモニター映像として表示するモニターを、更に有するようにしてもよい。
In a second aspect dependent on the first aspect,
An actual video display mode in the real video display mode, which includes a third communication unit that communicates with the first communication unit of the HMD and is input via the first and third communication units; Based on the video data of the video and the video data of the virtual reality video in the virtual reality video display mode, a monitor that displays the same video that the user sees through the display of the HMD as a monitor video You may make it have further.

第2の態様によれば、体験者がHMDのディスプレイを介して視聴している映像が、そのままモニターに映し出されることから、体験者以外の一人又は複数人(観衆)が、体験者と同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者が、体験者に、適宜、助言を与えることが可能となり、また、観衆が叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。なお、モニターは、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。   According to the second aspect, since the video that the user is viewing through the HMD display is displayed on the monitor as it is, one or more people (audience) other than the user can view the same video as the user. Can share the same experience. Therefore, for example, a fire extinguishing leader can give advice to the experienced person as appropriate, and the audience can give a more realistic feeling by screaming. Become. Note that the monitor may be, for example, a projection display device having a single large screen commonly used by a plurality of people, or may be a display of a tablet terminal of each person in the audience.

第1、第2の態様に従う第3の態様において、
前記仮想現実映像生成部は、前記仮想現実空間に表示される、前記ホースの前記先端を握る前記体験者の前記手の手首の支点の位置を固定し、前記第2のセンサの検出信号に基づいて、前記手首の前記支点を中心として、前記仮想現実空間における前記ホースの前記先端の向きを変えるようにしてもよい。
In the third aspect according to the first and second aspects,
The virtual reality video generation unit fixes a position of a wrist fulcrum of the hand of the experiencer holding the tip of the hose displayed in the virtual reality space, and based on a detection signal of the second sensor Then, the direction of the tip of the hose in the virtual reality space may be changed around the fulcrum of the wrist.

第3の態様によれば、仮想現実空間に表示される、ホースの先端を握る体験者の手首の支点の位置を固定し、その支点を中心とする、例えば手首の回動による変移量等を測定することでホースの先端の方向を特定することができる。この場合、手の奥行き方向(前後方向)の動きや上下方向(鉛直方向)の動きを考慮する必要がないことからセンサの検出負担を減らすことができ、また、仮想現実映像生成部の、映像生成のための画像処理の負担も軽減される。また、消火器を使用する際の基本は、適切な距離から、炎の、例えば中心に向けて勢いよく消火剤を噴射しつつ、ホースの先端を持つ手首の動きによって噴出方向を微調整する(言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる)ということであり、この基本動作を確実に体験することができる。よって、体験者は、実際に役に立つ、消火活動の基本を習得することができる。   According to the third aspect, the position of the fulcrum of the wrist of the experiencer holding the tip of the hose, which is displayed in the virtual reality space, is fixed, and the amount of change or the like due to the rotation of the wrist, for example, is centered on the fulcrum. The direction of the tip of the hose can be specified by measuring. In this case, it is not necessary to consider the movement of the hand in the depth direction (front-rear direction) and the movement in the vertical direction (vertical direction), so that the detection burden of the sensor can be reduced. The burden of image processing for generation is also reduced. Also, the basics when using a fire extinguisher are to finely adjust the ejection direction by moving the wrist with the tip of the hose while jetting fire extinguishing agent vigorously toward the center of the flame, for example, from an appropriate distance ( In other words, do not make useless movements such as moving your arms and body greatly, and apply the fire extinguisher to the flame accurately), and you can definitely experience this basic action. Therefore, the experienced person can learn the basics of fire fighting activities that are actually useful.

第3の態様に従う第4の態様において、
前記仮想現実映像生成部は、前記実映像表示モードから前記仮想現実映像表示モードに切り換えられると、仮想現実空間に火災現状の消火活動前の映像を表示させ、その後、前記消火活動前の映像が前記体験者に近寄ってきて止まるように制御し、その後、前記シミュレーション映像を表示させ、前記炎が鎮静化されて所定の程度に小さくなると、前記鎮静化されて所定の程度に小さくなった炎を含む消火活動後の映像が前記体験者に、更に近寄ってきて止まるように制御するようにしてもよい。
In a fourth embodiment according to the third embodiment,
When the virtual reality video generation unit is switched from the real video display mode to the virtual reality video display mode, the virtual reality video generation unit displays the video before the current fire fighting activity in the virtual reality space, and then the video before the fire fighting activity is displayed. Control to stop approaching the experience person, and then display the simulation image. You may make it control so that the image | video after the fire extinguishing activity to include may come closer to the said experience person, and may stop.

上記の第3の態様では、ホースを持つ手の奥行き方向(前後方向)の動きが考慮されないことから、体験者にとって、消火対象である炎までの距離感をつかみにくい場合があることを考慮し、第4の態様では、仮想現実空間における映像(例えば、背景映像に炎の映像が重畳された映像)を、適切なタイミングで、体験者に近づけるようにし、これによって、体験者は、自分が炎に向かって歩を進めた(言い換えれば、適切な距離になるまで移動した)かのような感覚を得ることができる。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、映像を体験者に近づけることで、体験者は、まずは、消火対象である炎に対して、消火剤が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。さらに、消火活動が進行して、ある程度のレベルまで炎が鎮静化されたタイミングで、映像を近づけることで、炎が小さくなったからといって油断せず、さらに近づいて、確実に炎を消すことが重要である、という基本事項を学ぶことができる。本態様では、奥行き方向(前後方向)についての手の動きは検出しない簡素化された構成が採用される一方で、体験者は、奥行き方向(前後方向)における消火動作の注意すべき事項についても確実に習得することが可能である。   In the third aspect, since the movement in the depth direction (front-rear direction) of the hand holding the hose is not taken into consideration, it may be difficult for the experiencer to grasp the sense of distance to the flame to be extinguished. In the fourth aspect, an image in the virtual reality space (for example, an image in which a flame image is superimposed on a background image) is brought close to the experience person at an appropriate timing. You can get the sensation of walking toward the flame (in other words, moving to an appropriate distance). For example, when switching from the real video display mode to the virtual reality video display mode, instead of immediately starting the fire fighting activity, the user first brings the fire to the fire extinguisher by bringing the video closer to the user. On the other hand, it is possible to learn the basic items of fire extinguishing activities that it is important to approach the distance that the extinguishing agent reaches. Furthermore, when fire extinguishing activities proceed and when the flame has subsided to a certain level, the image is brought closer, so even if the flame has become smaller, you can't be wary of it, and get closer and securely extinguish the flame. You can learn the basics that is important. In this aspect, a simplified configuration that does not detect the movement of the hand in the depth direction (front-rear direction) is adopted, while the experience person also has to be careful about matters to be noted in the fire-extinguishing operation in the depth direction (front-rear direction). It is possible to learn with certainty.

第1乃至第4の何れか1つに従属する第5の態様において、
前記仮想現実映像生成部は、前記火災現状の消火活動前の映像に含まれる背景の映像、及び前記シミュレーション映像に含まれる背景の映像として、前記体験者が見渡すことができるパノラマ映像を表示させてもよい。
In a fifth aspect depending on any one of the first to fourth,
The virtual reality video generation unit displays a panoramic video that can be overlooked by the user as a background video included in the video before the fire extinguishing activity under the current state of fire and a background video included in the simulation video. Also good.

第5の態様では、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像(例えば、横にぐるりと見渡せるような360度のパノラマ映像)を採用することで、体験者に、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周(あるいは部分周)型だけではなく、プラネタリウムのようなドーム(半球)スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者の左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。   In the fifth aspect, the video displayed in the virtual reality space is not a flat video but a panoramic video with a wide field of view (for example, a 360-degree panoramic video that can be looked around to the side) that the user can look around. By adopting it, you can let the experience experience fire extinguishing activities full of realism. In addition, panoramic images are not only full-circle (or partial-circumference) type, but all-round type that covers the upper half of the field of view with a dome (hemisphere) screen like a planetarium, full view from front to back, left, right, top to feet. An omnidirectional video image covering the image can be adopted as appropriate. In addition, if it is possible to provide separate images with parallax correctly to the left and right eyes of the experiencer, it is also possible to realize a panoramic image of a celestial sphere.

また、第1乃至第5の何れか1つに従属する第6の態様において、
前記制御部は、前記仮想現実空間における消火活動が終了した後、前記体験者の消火活動を所定の基準に従って評価し、前記評価を示す情報を前記HMDの前記ディスプレイに表示させる評価部を、更に有してもよい。
In the sixth aspect subordinate to any one of the first to fifth aspects,
The control unit, after the fire extinguishing activity in the virtual reality space is finished, evaluates the fire extinguishing activity of the experience person according to a predetermined standard, and further includes an evaluation unit that displays information indicating the evaluation on the display of the HMD, You may have.

第6の態様では、消火体験の終了後に、評価部による評価(例えば「採点結果」や、「優、良、可といった程度を示す評価」)を、HMDのディスプレイ上(あるいは、第2の態様のようにモニターを備える場合は、モニターの表示面上)に表示することができる。例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者(および観衆)は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者に、VRを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなる。   In the sixth aspect, after the fire extinguishing experience is over, the evaluation by the evaluation unit (for example, “scoring result” or “evaluation indicating the degree of good, good, good”) is performed on the display of the HMD (or the second aspect) When a monitor is provided as in the above, it can be displayed on the display surface of the monitor. For example, the experience (and the audience) can actually experience a useful fire extinguishing experience without becoming serious, with a sense of game, by being evaluated according to the time required for fire extinguishing, the direction of injection of fire extinguishing agent, etc. Can do. Giving an evaluation also gives the experience a motivation to actively participate in fire fighting activities using VR.

第7の態様において、体験用消火器は、第1乃至第6の何れか1つに従属するVRを用いた消火体験シミュレーションシステムを構成する(言い換えれば、システムの構成要素である)体験用消火器である。   In the seventh aspect, the fire extinguisher for experience constitutes a fire extinguishing experience simulation system using a VR subordinate to any one of the first to sixth (in other words, is a component of the system) It is a vessel.

体験用消火器は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサ及びセンサの検出情報をHMDに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器を用いて、室内で、手軽に、VRを用いた消火活動を体験することが可能となる。   The fire extinguisher for experience has a shape, structure, etc. imitating an actual fire extinguisher, and further includes a sensor for detecting the hand of the user and a communication unit for transmitting sensor detection information to the HMD. Yes, it is possible for many ordinary people to experience fire extinguishing activities using VR easily and indoors using a fire extinguisher for experience.

第8の態様において、プログラムは、第1乃至第6の何れか1つのVRを用いた消火体験シミュレーションシステムにおける前記HMDに備わる前記コンピュータを、前記制御部として動作させるプログラムである。   In an eighth aspect, the program is a program that causes the computer included in the HMD in the fire-fighting experience simulation system using any one of the first to sixth VRs to operate as the control unit.

第8の態様では、例えば、プログラムをHMDのコンピュータにロードすることで、HMDを、VRを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のHMD(専用のウエアラブルコンピュータ)を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、VRを用いた消火体験シミュレーションシステムの普及に貢献する。   In the eighth aspect, for example, by loading a program into an HMD computer, the HMD can be a component of a fire extinguishing experience simulation system using VR, and a dedicated HMD (dedicated wearable computer) is prepared. There is no need to do. Therefore, many general people can use it easily. This contributes to the spread of fire extinguishing experience simulation systems using VR.

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。   Those skilled in the art will readily understand that the illustrated embodiments according to the present invention can be further modified without departing from the spirit of the present invention.

図1(A)は、本発明に従う、VR(仮想現実)を用いた消火体験シミュレーションシステムの基本的な構成例を示す図、図1(B)は、VRを用いた消火体験シミュレーションにおける消火活動例を示す図である。FIG. 1A is a diagram showing a basic configuration example of a fire-fighting experience simulation system using VR (virtual reality) according to the present invention, and FIG. 1B is a fire-fighting activity in a fire-fighting experience simulation using VR. It is a figure which shows an example. 図2(A)乃至図2(D)は、それぞれ、体験者が、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させることで、ホースの先端から噴射する消火剤の方向を変化させる例を示す図である。2 (A) to 2 (D) respectively show that the experience person fixes the wrist fulcrum of the hand holding the tip of the hose and rotates the wrist around the fulcrum, thereby ejecting from the tip of the hose. It is a figure which shows the example which changes the direction of the fire extinguisher to do. 図3(A)乃至図3(D)は、それぞれ、VRを用いた消火体験の手順例、ならびに仮想現実の炎の見える位置等について説明するための図である。FIGS. 3A to 3D are diagrams for explaining a procedure example of a fire extinguishing experience using VR, a position where a virtual reality flame can be seen, and the like. 図4(A)乃至図4(E)は、それぞれ、VRを用いた消火体験中における、体験者及び観衆(指導者を含む)が視認する映像例を示す図である。FIG. 4A to FIG. 4E are diagrams showing examples of images visually recognized by the experience person and the audience (including the instructor) during the fire extinguishing experience using the VR, respectively. VR(仮想現実)を用いた消火体験シミュレーションシステムの、全体の構成例を示す図である。It is a figure which shows the example of a whole structure of the fire-fighting experience simulation system using VR (virtual reality). 図6(A)及び図6(B)は、パノラマ映像の表示について説明するための図、図6(C)は、炎シミュレータの基本的な構成例を示す図である。6A and 6B are diagrams for explaining display of a panoramic image, and FIG. 6C is a diagram illustrating a basic configuration example of a flame simulator. 図7は、VR(仮想現実)を用いた消火体験シミュレーションシステムにおける、HMDの制御部(コンピュータ)の制御手順例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of a control procedure of the control unit (computer) of the HMD in the fire extinguishing experience simulation system using VR (virtual reality).

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。   The best mode described below is used to easily understand the present invention. Accordingly, those skilled in the art should note that the present invention is not unduly limited by the embodiments described below.

以下の説明では、仮想現実(VR)を体験するための装置として、ヘッドマウントディスプレイ(以下、HMDと称する)を使用した例について説明するが、HMDは、人の頭部に装着するものに限定されず、肩や首、あるいは胴部等に装着されるものであってもよく、広義には、身につけることができるコンピュータ(ウエアラブルコンピュータ)と同義に解釈することが可能である。   In the following description, an example in which a head-mounted display (hereinafter referred to as HMD) is used as an apparatus for experiencing virtual reality (VR) will be described. However, the HMD is limited to a device that is worn on a human head. Instead, it may be worn on the shoulder, neck, trunk, etc., and in a broad sense, it can be interpreted synonymously with a computer that can be worn (wearable computer).

また、頭部に装着されるHMDとしては、コンピュータの部分がディスプレイから離れて据え置かれる据え置き型、コンピュータが、ゴーグルあるいは眼鏡の本体部に一体的に設けられる一体型、スマートフォンやタブレット端末等の携帯可能なモバイル端末(モバイル携帯端末)を頭部装着用の帯状の支持部材に着脱自在に取り付けることでHMDを構成するモバイル型に大別される。本発明においては、いずれを用いてもよいが、但し、本発明では、特に、年代を問わずに、誰もが手軽に、ローコストで消火活動体験を経験できるようにして、システムの普及をめざすことを重視しており、この観点から、以下の説明では、モバイル型のHMDを用いる例について説明する。   In addition, as the HMD to be mounted on the head, a stationary type in which a computer portion is placed away from a display, an integrated type in which a computer is integrally provided in a main body of goggles or glasses, a mobile phone such as a smartphone or a tablet terminal A mobile terminal (mobile portable terminal) is roughly classified into a mobile type that constitutes an HMD by detachably attaching it to a belt-like support member for head mounting. Any of these may be used in the present invention. However, in the present invention, in particular, regardless of the age, anyone can easily experience a fire fighting experience at a low cost, aiming to spread the system. From this point of view, in the following description, an example using a mobile HMD will be described.

図1(A)は、本発明に従う、VR(仮想現実)を用いた消火体験シミュレーションシステムの基本的な構成例を示す図、図1(B)は、VRを用いた消火体験シミュレーションにおける消火活動例を示す図である。図1(A)の左上側に示されるように、実空間において、体験者Uの前方方向(奥行き方向)にY軸が設定され、Y軸に直交する左右方向にX軸が設定され、Y軸に直交する鉛直方向にZ軸が設定され、各軸によって3次元の座標空間が定義される。この3次元の座標空間は、見かけ上、仮想現実(VR)空間においても同様に適用され得る。   FIG. 1A is a diagram showing a basic configuration example of a fire-fighting experience simulation system using VR (virtual reality) according to the present invention, and FIG. 1B is a fire-fighting activity in a fire-fighting experience simulation using VR. It is a figure which shows an example. As shown in the upper left of FIG. 1A, in real space, the Y axis is set in the forward direction (depth direction) of the experience person U, the X axis is set in the left-right direction orthogonal to the Y axis, and Y A Z axis is set in a vertical direction orthogonal to the axis, and a three-dimensional coordinate space is defined by each axis. This three-dimensional coordinate space can be similarly applied to a virtual reality (VR) space.

図1(A)の左上側に示されるように、体験者Uは、頭部にHMD10を装着している。HMD10のゴーグルは、スマートフォンやタブレット端末等の携帯可能なモバイル端末(モバイル携帯端末)16を、頭部装着用の帯状の支持部材12に着脱自在に取り付けることで構成され、また、炎が燃える音等を聞くことができるようにヘッドホン14も設けられている。   As shown in the upper left of FIG. 1A, the experience person U wears the HMD 10 on the head. The goggle of the HMD 10 is configured by detachably attaching a portable mobile terminal (mobile portable terminal) 16 such as a smartphone or a tablet terminal to a belt-like support member 12 for wearing on the head, and a sound of burning flames. The headphones 14 are also provided so that the user can listen to the sound and the like.

この構成の場合、スマートフォン等のモバイル端末16に備わるディスプレイ(例えば液晶表示装置)の表示面が、HMD10が装着されている体験者Uの眼1(左眼1L、右眼1R)の眼前に位置し、そのディスプレイに仮想現実映像が映し出されることで、体験者Uは、VR(仮想現実)を用いた消火活動体験をすることができる。モバイル端末16に備わるディスプレイには、左右の各眼毎に異なる映像(視差画像)を表示することもできるが、ここでは、モバイル端末16に備わるコンピュータの負担を軽減するために、各眼用の画像は同じ画像としている。すなわち、図1(A)の例では、HMD10は単眼ゴーグルを有する構成である。   In the case of this configuration, the display surface of a display (for example, a liquid crystal display device) provided in the mobile terminal 16 such as a smartphone is positioned in front of the eyes 1 (left eye 1L, right eye 1R) of the experience person U wearing the HMD 10. Then, the virtual reality image is displayed on the display, so that the experience person U can experience fire fighting using VR (virtual reality). The display provided in the mobile terminal 16 can display different images (parallax images) for the left and right eyes, but here, in order to reduce the burden on the computer provided in the mobile terminal 16, The images are the same. That is, in the example of FIG. 1A, the HMD 10 has a monocular goggles.

また、モバイル端末16に備わるコンピュータ(CPU、MPU等)は、例えば、予めローディングされるプログラム(アプリケーションプログラム)に従って動作することで、VR(仮想現実)を用いた消火体験シミュレーションシステムを構成するHMD10の動作を制御する制御部として機能する。なお、図1(B)では、制御部は、「HMD制御部200」と表記されている。なお、以下の説明では、単に、「制御部200」という場合がある。   In addition, the computer (CPU, MPU, etc.) provided in the mobile terminal 16 operates in accordance with a program (application program) loaded in advance, for example, so that the HMD 10 constituting the fire extinguishing experience simulation system using VR (virtual reality) is used. It functions as a control unit that controls the operation. In FIG. 1B, the control unit is described as “HMD control unit 200”. In the following description, it may be simply referred to as “control unit 200”.

また、HMD10は、通信処理(体験用消火器20から送られてくるセンサの検出信号の受信処理、HMD10のディスプレイに表示している映像データの、モニター30への送信処理等)を行う通信部(第1の通信部:図1(A)では不図示、図1(B)では「HMD通信部300」と表記されている)と、HMD10を取り巻く実空間における実景を撮像することが可能な実景撮像用カメラ(後述)と、を備える。   In addition, the HMD 10 performs communication processing (receiving processing of sensor detection signals sent from the fire extinguisher 20 for experience, transmission processing of video data displayed on the display of the HMD 10 to the monitor 30, etc.). (First communication unit: not shown in FIG. 1A, “HMD communication unit 300” is shown in FIG. 1B), and a real scene in the real space surrounding the HMD 10 can be captured. A real scene imaging camera (described later).

また、図1(A)の左下側に示されるように、HMD10用のコントローラを兼ねる体験用消火器20が、予め用意されている。この体験用消火器20は、HMD10の通信部(第1の通信部)との間で通信を行う通信部(第2の通信部:例えば第1、第2の各センサS1、S2が通信機能も有しているとき、その通信機能を有する部分が第2の通信部となる)と、消火器本体22と、HMD10が仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバー24、及び仮想現実の消火剤5を先端から噴出させる噴出具として機能するホース26と、体験者Uによる操作レバー24の操作を検出する第1のセンサS1と、ホース26の先端28の動きを検出する第2のセンサS2と、を備えている。   In addition, as shown in the lower left side of FIG. 1A, an experience fire extinguisher 20 that also serves as a controller for the HMD 10 is prepared in advance. The fire extinguisher 20 for experience includes a communication unit (second communication unit: for example, the first and second sensors S1 and S2 have a communication function) that communicates with the communication unit (first communication unit) of the HMD 10 If the fire extinguisher body 22 and the HMD 10 are in the virtual reality (VR) display mode, the virtual reality fire extinguishing agent is used. An operation lever 24 that functions as a switch for spraying, a hose 26 that functions as an ejection tool for ejecting the virtual reality fire extinguishing agent 5 from the tip, a first sensor S1 that detects the operation of the operation lever 24 by the experience person U, And a second sensor S2 for detecting the movement of the tip 28 of the hose 26.

なお、訓練用消火器20は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器20の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体22の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得るものである。   Note that the fire extinguisher 20 for training can be realized, for example, by mounting a unit including a sensor and a communication unit on the same fire extinguisher as an actual fire extinguisher, but is not limited to this. Modifications such as reducing the weight of the fire extinguisher 20 for children, making it a small fire extinguisher for children, and changing the shape and design of the fire extinguisher main body 22 may be made as appropriate. It is.

この訓練用消火器20は、HMD10用のコントローラとしての機能をもつが、更に、実際の消火器の操作を実体験するための体験用具(体験道具)としても機能する。ここで、従来、没入型のHMDを用いた対戦ゲーム等で、仮想現実空間における、例えば竹刀の動きを制御するために、使用者が、玩具の竹刀型のコントローラを手にして仮想現実空間内の竹刀を動かす、といったことが行われるが、その場合の玩具の竹刀は、単にコントローラとして機能しているにすぎず、実際の竹刀の使用に慣れる等を目的とする体験用具(体験道具)としては機能していない。従って、本発明の体験用消火器は、コントローラの機能と体験用具(体験道具)としての機能を併せ持つ、消火体験シミュレーション用の新規、かつ有用な構造物である。   This training fire extinguisher 20 has a function as a controller for the HMD 10, but also functions as an experience tool (experience tool) for actually experiencing the operation of an actual fire extinguisher. Here, conventionally, in a battle game using an immersive HMD, for example, in order to control the movement of a bamboo sword in a virtual reality space, the user holds the toy bamboo sword controller in the virtual reality space. In that case, the toy bamboo sword is merely functioning as a controller, and as an experience tool (experience tool) for the purpose of getting used to the actual bamboo sword. Is not working. Therefore, the fire extinguisher for experience of the present invention is a new and useful structure for a fire extinguishing experience simulation having both the function of a controller and the function as an experience tool (experience tool).

言い換えれば、体験用消火器20は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサS1、S2等、及びセンサの検出情報をHMDに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器20を用いて、室内で、手軽に、VRを用いた消火活動を体験することが可能となる。   In other words, the experience fire extinguisher 20 has a shape, a structure, and the like imitating an actual fire extinguisher, and sensors S1, S2, etc. that detect the movement of the hands of the experience person, and sensor detection information in the HMD. It is the structure provided with the communication part etc. which transmit, and it becomes possible for many general people to experience the fire extinguishing activity using VR easily indoors using the fire extinguisher 20 for experience.

また、図1(A)の右側に示されるように、体験者Uの近くには、モニター30が設置されている。モニター30は、図1(B)に明記されるように、HMD10の通信部(第1の通信部)との間で通信を行う通信部(第3の通信部)32を備える。また、モニター30は、図示はしないが画像処理装置を搭載している。   Further, as shown on the right side of FIG. 1A, a monitor 30 is installed near the experience person U. The monitor 30 includes a communication unit (third communication unit) 32 that performs communication with the communication unit (first communication unit) of the HMD 10 as clearly shown in FIG. The monitor 30 includes an image processing device (not shown).

モニターに備わる画像処理装置(不図示)は、HMD10の通信部(第1の通信部)及びモニター30の通信部(第3の通信部)32を経由して入力される(言い換えれば、無線通信を介して送受信されてモニター30の内部に入力される)、HMD10が実映像表示モードであるときの実映像の映像データ、及び仮想現実映像表示モードであるときの仮想現実映像の映像データに基づいて、体験者Uが、HMD10のディスプレイを介して見ているのと同じ映像を、モニター映像として表示する。図1(A)の例では、体験者Uが見ている体験用消火器20、及び体験者Uの左手の手首付近の映像、言い換えれば、実景撮像用カメラ(具体的には、図5の外カメラ103)で撮像した実映像が映し出されている。なお、体験者Uが聴いている音は、モニター30に備わるスピーカ(不図示)からも出力される。   An image processing apparatus (not shown) included in the monitor is input via the communication unit (first communication unit) of the HMD 10 and the communication unit (third communication unit) 32 of the monitor 30 (in other words, wireless communication). Based on the video data of the real video when the HMD 10 is in the real video display mode, and the video data of the virtual reality video when the HMD 10 is in the virtual reality video display mode. Thus, the same image that the experience person U sees through the display of the HMD 10 is displayed as a monitor image. In the example of FIG. 1 (A), the fire extinguisher 20 for experience and the image near the wrist of the left hand of the experience person U, in other words, a camera for capturing a real scene (specifically, FIG. An actual image captured by the outer camera 103) is displayed. Note that the sound that the experience person U is listening to is also output from a speaker (not shown) provided in the monitor 30.

また、図1(A)の例では、消火活動の専門的な助言等を担当する指導者TCと、体験の順番待ちをしている体験希望者ADが、観衆としてモニター30に映し出されるモニター画像を見ている。モニター30が設置されることで、体験者以外の一人又は複数人(観衆)が、体験者Uと同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者TCが、体験者Uに、適宜、助言を与えることが可能となり、また、観衆ADが、叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。   In the example of FIG. 1A, a monitor image in which an instructor TC who is in charge of specialized advice on fire fighting activities, and an experience candidate AD who is waiting for the experience is displayed on the monitor 30 as an audience. Watching. By installing the monitor 30, one or more people (audience) other than the experience person can share the same experience through the same image as the experience person U. Therefore, for example, the fire fighting instructor TC can appropriately give advice to the experience person U, and the audience AD makes a production that increases the sense of reality by screaming. It is also possible.

なお、モニター30は、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。   The monitor 30 may be, for example, a projection display device including a single large screen commonly used by a plurality of people, or may be a display of a tablet terminal of each person in the audience.

図1(A)のように、消火器本体22や自身の手(右手3R)の映像(実映像)を体験者が確認した後、図1(B)へと移行する。言い換えれば、HMD10のモードが、HMD制御部200(具体的には、図5の実映像/仮想現実映像切換部212:後述)によって、実映像表示モードから仮想現実表示モードへと切り換えられる。   As shown in FIG. 1A, after the experience person confirms the image (actual image) of the fire extinguisher main body 22 and his / her hand (right hand 3R), the process proceeds to FIG. In other words, the mode of the HMD 10 is switched from the real video display mode to the virtual reality display mode by the HMD control unit 200 (specifically, the real video / virtual reality video switching unit 212 in FIG. 5).

図1(B)では、VRを用いた消火体験シミュレーションが開始される。HMD制御部200(具体的には、図5の仮想現実映像生成部210)は、HMD10が、実映像表示モードから仮想現実映像表示モードに切り換えられると、画像合成(画像のレンダリング)によって、体験者Uの手に握られたホース26の先端28を含む映像VR(1)と、ホース26の先端28から仮想現実の消火剤5が噴射される映像VR(2)と、仮想現実の炎7が鎮静される映像VR(3)とを、背景対象物9(図1(B)に示されるように、ここでは、火元となるタコ足配線のタップとする)を含む背景映像VR(4)に重畳させて、仮想現実表示のためのフレーム映像VR(4)を生成し、生成したフレーム映像VR(4)を含む映像を、シミュレーション映像として、HMD10のディスプレイに表示させ、また、これと併行して、フレーム映像VR(4)のデータを、モニター30へと送信させる。モニター30には、体験者Uが見ている映像と同じ映像が、モニター画像として映し出される。   In FIG. 1B, a fire-fighting experience simulation using VR is started. When the HMD 10 is switched from the real video display mode to the virtual reality video display mode, the HMD control unit 200 (specifically, the virtual reality video generation unit 210 in FIG. 5) performs an experience by image synthesis (image rendering). Image VR (1) including the tip 28 of the hose 26 held by the hand of the person U, image VR (2) in which the virtual reality extinguishing agent 5 is jetted from the tip 28 of the hose 26, and the virtual reality flame 7 And a video VR (3) that includes a background object 9 (here, as shown in FIG. 1B, a tap of an octopus foot wiring as a fire source) is included. ) To generate a frame video VR (4) for virtual reality display, and display a video including the generated frame video VR (4) on the display of the HMD 10 as a simulation video. On the line, the data of the frame image VR (4), is sent to the monitor 30. On the monitor 30, the same image as the image viewed by the experience person U is displayed as a monitor image.

フレーム映像VR(4)の生成は、図5に示される仮想現実映像生成部210が担当する。なお、仮想現実映像生成部210は、体験用消火器20から無線通信によって送られてくる(言い換えれば、体験用消火器20の第2の通信部、及びHMD10の第1の通信部を経由してHMD制御部200に入力される)、体験用消火器20の第1のセンサS1及び第2のセンサS2の各検出情報、ならびに経過時間の情報等に基づいて、ホース26の先端28から仮想現実の消火剤5が噴射される映像VR(2)、仮想現実の炎7が鎮静される映像VR(3)を生成する(後述)。   The generation of the frame video VR (4) is handled by the virtual reality video generation unit 210 shown in FIG. Note that the virtual reality video generation unit 210 is transmitted from the experience fire extinguisher 20 by wireless communication (in other words, via the second communication unit of the experience fire extinguisher 20 and the first communication unit of the HMD 10). Based on the detection information of the first sensor S1 and the second sensor S2 of the experience fire extinguisher 20, the information on the elapsed time, and the like, from the tip 28 of the hose 26 to the virtual An image VR (2) in which the actual fire extinguishing agent 5 is injected and an image VR (3) in which the virtual reality flame 7 is sedated are generated (described later).

図1(A)、(B)に示されるように、本実施形態のVR(仮想現実)を用いた消火体験シミュレーションシステムでは、実際に使用される消火器を模した体験用消火器20(HMD10のコントローラを兼ねる)を用いて、実際の消火活動と同様の、レバー24の操作やホース26の先端28の向きを変える動作を、体験者U自身の手3(左手3L、右手3R)を使って行うことができる。よって、体験者Uは、実際の消火器の操作に慣れることができる。   As shown in FIGS. 1A and 1B, in the fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment, the fire extinguisher 20 (HMD10) that simulates the fire extinguisher that is actually used. Using the hands 3 of the user U (left hand 3L, right hand 3R), the operation of the lever 24 and the operation of changing the direction of the tip 28 of the hose 26, similar to actual fire fighting activities, are also used. Can be done. Therefore, the experience person U can get used to the actual operation of the fire extinguisher.

また、すぐに仮想現実空間に入り込むのではなく、図1(A)に示されるように、まず、実映像(例えば、HMD10を構成するスマートフォン等のモバイル端末16のカメラで撮像した、訓練用消火器を含む実像)をディスプレイに表示し、体験者Uが、訓練用消火器20と自己の手(右手3R)の位置等を確認した後、その確認された実像に重ねる形で、仮想現実(VR)空間での消火活動シミュレーションを開始することが可能である。   In addition, as shown in FIG. 1A, instead of immediately entering the virtual reality space, first, an actual image (for example, a training fire extinguisher imaged by a camera of a mobile terminal 16 such as a smartphone constituting the HMD 10) Virtual images (including real equipment) are displayed on the display, and the experience person U confirms the positions of the training fire extinguisher 20 and his / her own hand (right hand 3R), and then superimposes the virtual reality ( It is possible to start a fire fighting simulation in VR) space.

従って、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業を行うことができる。よって、体験者Uは、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。   Therefore, the fire extinguishing work can be performed in the same procedure as the actual fire extinguishing activity procedure while sharing a sense of reality. Therefore, the experience person U can experience the procedure of actual fire fighting activities with a sense of reality while sharing a sense of reality.

また、図1(A)、(B)に示される消火体験シミュレーションシステムの主な構成要素は、体験用消火器20とHMD10であり(更に、必要に応じて、モニター30が設けられる)、構成が簡素化されている。よって、可搬性(持ち運び性、設営性)に優れ、かつ簡便性(例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点)も備えたシミュレータを、容易に実現することができる。   Moreover, the main components of the fire extinguishing experience simulation system shown in FIGS. 1A and 1B are the fire extinguisher 20 for experience and the HMD 10 (and a monitor 30 is provided if necessary). Has been simplified. Therefore, a simulator that is excellent in portability (portability and operability) and simple (for example, can be easily implemented indoors without individual support from the staff) can be easily realized.

本実施形態のVR(仮想現実)を用いた消火体験シミュレーションシステムは、従来の没入型のゲーム装置等は異なり、体験用消火器20という現実の道具を操作して、その触感や質感等を常に現実に感じ取りつつ、その現実の手の動きと連動して変化する、仮想現実空間でのVR映像による視覚によって臨場感あふれる消火活動を経験できるものであり、リアルな現実感を伴う仮想の消火体験シミュレータということができる。   The fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment is different from the conventional immersive game device and the like, and the actual tool such as the experience fire extinguisher 20 is operated, and the tactile sensation, texture, etc. are always maintained. A virtual fire-fighting experience with realistic reality that allows you to experience realistic fire-fighting activities with VR visuals in a virtual reality space that change in conjunction with the movement of the actual hand while feeling real. It can be called a simulator.

次に、図2を参照する。図2(A)乃至図2(D)は、それぞれ、体験者が、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させることで、ホースの先端から噴射する消火剤の方向を変化させる例を示す図である。   Reference is now made to FIG. 2 (A) to 2 (D) respectively show that the experience person fixes the wrist fulcrum of the hand holding the tip of the hose and rotates the wrist around the fulcrum, thereby ejecting from the tip of the hose. It is a figure which shows the example which changes the direction of the fire extinguisher to do.

図1(B)で説明したように、ホース26の先端28から噴射される仮想現実の消火剤5の噴射の方向は、ホース26の先端28を握っている体験者Uの手の動きによって変化する。その手の動きを、体験用消火器20のホース26の先端28に備わる第2のセンサS2によって検出する。例えば、第2のセンサS2として六軸センサ(複合型の慣性センサであり、X,Y,Zの各軸方向の動きと、各軸周りの回転θX、θY、θZを検出するもの)を用いれば、複雑な手の動きを詳細に検出することができる。もちろん、このような検出手法を本発明においても使用することもできるが、しかし、この場合は、検出情報が多いことから、シミュレーション用の画像を生成するための画像処理が複雑化し、HMD10を構成するモバイル端末16の処理能力を超える場合も想定され、また、高機能なモバイル端末を用意する場合には、コスト高となるのは否めない。消火体験シミュレーションシステムの普及を促進するためには、できるだけローコストで、多くの一般の方々が手軽に利用できることが望ましい。   As described with reference to FIG. 1B, the injection direction of the virtual reality fire extinguishing agent 5 injected from the tip 28 of the hose 26 changes depending on the movement of the hands of the experience person U holding the tip 28 of the hose 26. To do. The movement of the hand is detected by the second sensor S2 provided at the tip 28 of the hose 26 of the experience fire extinguisher 20. For example, as the second sensor S2, a six-axis sensor (a compound type inertial sensor that detects movements in the X, Y, and Z axial directions and rotations θX, θY, and θZ around the respective axes) is used. Thus, it is possible to detect complicated hand movements in detail. Of course, such a detection method can also be used in the present invention. However, in this case, since there is a lot of detection information, the image processing for generating an image for simulation is complicated, and the HMD 10 is configured. It is assumed that the processing capability of the mobile terminal 16 is exceeded, and when a highly functional mobile terminal is prepared, the cost is undeniable. In order to promote the spread of fire-fighting experience simulation systems, it is desirable that many general people can easily use them at the lowest possible cost.

この観点から、図2の例では、画像処理の負担の軽減等を考慮し、HMD制御部200(具体的には、図5の仮想現実映像生成部210)は、仮想現実空間に表示される、ホース26の先端28を握る体験者Uの手(例えば右手3R)の手首の支点K1の位置を固定し、第2のセンサS2の検出信号に基づいて、手首の支点K1を中心として(具体的には、支点K1を中心とする手首の回動による変移を検出して)、仮想現実空間におけるホース26の先端28の向きを変えるようにする。   From this point of view, in the example of FIG. 2, the HMD control unit 200 (specifically, the virtual reality video generation unit 210 of FIG. 5) is displayed in the virtual reality space in consideration of reducing the burden of image processing. The position of the wrist fulcrum K1 of the hand of the experience person U holding the tip 28 of the hose 26 (for example, the right hand 3R) is fixed, and based on the detection signal of the second sensor S2, the wrist fulcrum K1 is the center (specifically Specifically, the direction of the tip 28 of the hose 26 in the virtual reality space is changed by detecting a change caused by the rotation of the wrist around the fulcrum K1).

図2(A)は、仮想現実空間における、右手3Rと、ホース26の先端28と、ホース26の先端28から噴出される仮想現実の消火剤5と、仮想現実の炎7を、上下方向(鉛直方向)に対応するZ軸に沿って見た場合の画像(Z軸方向から見た平面視のVR画像)を示している。図3(B)は、そのVR画像がモニター30に映し出されている様子を示している。   FIG. 2A shows the right hand 3R, the tip 28 of the hose 26, the virtual reality fire extinguishing agent 5 ejected from the tip 28 of the hose 26, and the virtual reality flame 7 in the virtual reality space in the vertical direction ( An image (a VR image in plan view viewed from the Z-axis direction) when viewed along the Z-axis corresponding to (vertical direction) is illustrated. FIG. 3B shows a state in which the VR image is displayed on the monitor 30.

図2(A)、(B)から明らかなように、仮想現実空間における右手3Rの手首の支点K1の位置が固定されており、実空間において、仮に右手3Rが動いたとしても、仮想現実空間では、その動きは反映されず、常に、支点K1は同じ位置にある。図3(A)の例では、Z軸を中心とした回動(回転)、言い換えれば、体験者Uから見て左右方向における、時計回り/反時計回りの回動(回転)が、体験用消火器20のセンサS2によって検出される。   2A and 2B, the position of the wrist fulcrum K1 of the right hand 3R in the virtual reality space is fixed, and even if the right hand 3R moves in the real space, the virtual reality space Then, the movement is not reflected, and the fulcrum K1 is always at the same position. In the example of FIG. 3A, rotation (rotation) about the Z axis, in other words, clockwise / counterclockwise rotation (rotation) in the left-right direction as viewed from the experience person U, is used for the experience. It is detected by the sensor S2 of the fire extinguisher 20.

図2(C)は、図2(A)と同じ画像を、左右方向に対応するX軸方向から見た平面視のVR画像であり、図2(D)は、そのVR画像がモニター30に映し出されている様子を示す図である。同様に、支点K1は固定であり、X軸を中心とした回動(回転)、言い換えれば、体験者Uから見て上下方向における、時計回り/反時計回りの回動(回転)が、体験用消火器20のセンサS2によって検出される。   FIG. 2C is a plan view VR image of the same image as FIG. 2A viewed from the X-axis direction corresponding to the left-right direction, and FIG. 2D is the VR image on the monitor 30. It is a figure which shows a mode that it is projected. Similarly, the fulcrum K1 is fixed, and the rotation (rotation) about the X axis, in other words, the clockwise / counterclockwise rotation (rotation) in the vertical direction when viewed from the experience person U is experienced. It is detected by the sensor S2 of the fire extinguisher 20.

このように、検出する動きを、Z軸、X軸の各軸回りの回動(回転)による変移とする(もちろん、他の軸についての動きを検出してもよいが、この場合は、上記の2軸回りの動き以外の検出情報は画像生成に使用しない)ことによって、HMD制御部(制御部)200の処理負担等を軽減することができる。   In this way, the movement to be detected is a transition caused by rotation (rotation) around each of the Z-axis and X-axis (of course, movements about other axes may be detected. The detection information other than the movement around the two axes is not used for image generation), so that the processing load on the HMD control unit (control unit) 200 can be reduced.

言い換えれば、仮想現実空間に表示される、ホース26の先端28を握る体験者Uの手右手3Rの手首の支点K1の位置を固定し、その支点K1を中心とする、例えば手首の回動による変移量を角速度センサ(ジャイロセンサ等)で測定することでホース26の先端28の方向を特定することができ、一方、手の奥行き方向(前後方向であるY軸方向)に沿う動き(並進)や上下方向(鉛直方向)に沿う動き(並進)を考慮する必要がないことから、第2のセンサS2の検出負担を減らすことができ、また、HMD制御部(制御部)200における仮想現実映像生成部210(図5参照)の、映像生成のための画像処理の負担も軽減される。   In other words, the position of the wrist fulcrum K1 of the right hand 3R of the user U holding the tip 28 of the hose 26 displayed in the virtual reality space is fixed, and the fulcrum K1 is the center, for example, by turning the wrist By measuring the amount of displacement with an angular velocity sensor (such as a gyro sensor), the direction of the tip 28 of the hose 26 can be specified, while the movement along the depth direction of the hand (the Y-axis direction which is the front-rear direction) (translation) Since there is no need to consider the movement (translation) along the vertical direction (vertical direction), the detection load of the second sensor S2 can be reduced, and the virtual reality video in the HMD control unit (control unit) 200 can be reduced. The burden of image processing for generating images by the generation unit 210 (see FIG. 5) is also reduced.

また、消火器を使用する際の基本は、適切な距離から、炎7の、例えば中心に向けて勢いよく消火剤5を噴射しつつ、ホース26の先端28を持つ手(右手3R)の手首の動きによって噴出方向を微調整する、言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる、ということであり、この基本動作を確実に体験することができる。よって、体験者Uは、実際に役に立つ、消火活動の基本を習得することができる。   Further, when using a fire extinguisher, the wrist of the hand (right hand 3R) having the tip 28 of the hose 26 while jetting the extinguishing agent 5 vigorously toward the center of the flame 7, for example, from an appropriate distance. By finely adjusting the ejection direction by the movement of the body, in other words, without making a useless movement such as moving the arm and body greatly, accurately applying the fire extinguisher to the flame, and definitely experiencing this basic movement Can do. Thus, the experience person U can learn the basics of fire fighting activities that are actually useful.

次に、図3を参照する。図3(A)乃至図3(D)は、それぞれ、VRを用いた消火体験の手順例、ならびに仮想現実の炎の見える位置等について説明するための図である。図3において、前掲の図と同じ対象には同じ符号を付している。なお、この点は、他の図においても同様である。   Reference is now made to FIG. FIGS. 3A to 3D are diagrams for explaining a procedure example of a fire extinguishing experience using VR, a position where a virtual reality flame can be seen, and the like. In FIG. 3, the same reference numerals are assigned to the same objects as those in the previous figures. This point is the same in other drawings.

図3(A)では、HMD10を装着した体験者Uが、まず、体験用消火器20から安全ピン13を引き抜く、次に、一方の手(ここでは右手3R)をレバー24に掛け(握りしめていないので第1のセンサS1の検出信号はオフ状態)、他方の手(ここでは左手3L)でホース26の先端28を握る(保持する)。   In FIG. 3A, the experience person U wearing the HMD 10 first pulls out the safety pin 13 from the fire extinguisher 20 for experience, and then hangs (grasps) one hand (here, the right hand 3R) on the lever 24. Since the detection signal of the first sensor S1 is OFF, the tip 28 of the hose 26 is grasped (held) with the other hand (here, the left hand 3L).

先に説明したように、図3(A)の状態では、ゴーグルとして機能するモバイル端末16は、カメラで撮像した実映像を表示しており(例えば、図1(A)のモニター画像参照)、体験者Uは、体験用消火器20や自身の手の位置等を視認して、確認することができる。   As described above, in the state of FIG. 3A, the mobile terminal 16 functioning as goggles displays a real image captured by the camera (for example, see the monitor image of FIG. 1A). The experience person U can visually confirm the fire extinguisher 20 for experience, the position of his / her hand, and the like.

次に、HMD10が、実映像表示モードから仮想現実映像表示モードへと切り換えられる。図3(B)では、仮想現実空間に、火災現状の消火活動前の映像(例えば、火元となっている、オフィス内のタコ足配線のタップ9周りの映像)が表示される。体験者Uから炎7までの距離はL0である。その後、その映像が体験者Uの側に近寄ってきて止まる。この場合、体験者Uから炎7までの距離はL1(L1<L0)となる。   Next, the HMD 10 is switched from the real video display mode to the virtual reality video display mode. In FIG. 3B, an image before the fire extinguishing activity in the current state of fire (for example, an image around the tap 9 of the octopus foot wiring in the office, which is the source of fire) is displayed in the virtual reality space. The distance from the experience person U to the flame 7 is L0. Thereafter, the video approaches the experience person U and stops. In this case, the distance from the experience person U to the flame 7 is L1 (L1 <L0).

火元の映像を、体験者Uに近づけさせるのは、以下の理由による。すなわち、上述のように、ホース26の先端28を持つ手の奥行き方向(前後方向)の動きが考慮されない場合には、体験者Uにとって、消火対象である炎7までの距離感をつかみにくい場合があり得る。この点を考慮し、仮想現実空間における火元の映像(背景映像に炎の映像が重畳された映像)を、適切なタイミングで、体験者Uに近づけるようにし、これによって、体験者Uが、自分が炎7に向かって歩を進めた(言い換えれば、適切な距離になるまで移動した)かのような感覚を得ることができるようにしている。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、火元の映像を体験者Uに近づけることで、体験者Uは、まずは、消火対象である炎7に対して、消火剤5が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。   The reason why the image of the fire source is brought close to the experience person U is as follows. That is, as described above, when the movement in the depth direction (front-rear direction) of the hand having the tip 28 of the hose 26 is not considered, it is difficult for the experience person U to grasp the sense of distance to the flame 7 to be extinguished. There can be. Considering this point, the image of the fire source in the virtual reality space (the image in which the image of the flame is superimposed on the background image) is brought closer to the user U at an appropriate timing. It makes it possible to get a feeling as if he had walked toward the flame 7 (in other words, moved to an appropriate distance). For example, when switching from the real video display mode to the virtual reality video display mode, instead of immediately starting the fire fighting activity, by bringing the video of the fire source closer to the experience person U, the experience person U, It is possible to learn the basic matter of fire extinguishing activity that it is important to approach the fire 7 that is the target of extinguishing to the distance that the extinguishing agent 5 reaches.

次に、図3(C)のように、消火活動のシミュレーション映像が表示され、仮想現実空間内において、消火剤5の噴射(噴霧)によって、炎7が、時間の経過と共に鎮静化される様子を示す映像が表示される。   Next, as shown in FIG. 3C, a simulation image of fire extinguishing activities is displayed, and the flame 7 is subsided over time by the injection (spraying) of the fire extinguishing agent 5 in the virtual reality space. A video showing is displayed.

次に、図3(D)のように、炎7が鎮静化されて所定の程度に小さくなる(例えば、炎の大きさが初期状態の30%程度となる)と、鎮静化されて所定の程度に小さくなった炎7を含む消火活動後の映像が、体験者Uに、更に近寄ってきて止まる。消火活動が進行して、ある程度のレベルまで炎7が鎮静化されたタイミングで、火元を含む映像を近づけることで、炎7が小さくなったからといって油断せず、さらに近づいて、確実に炎7を消すことが重要である、という基本事項を学ぶことができる。やがて、炎は完全に鎮火され、これによって体験シミュレーションが終了する。   Next, as shown in FIG. 3D, when the flame 7 is sedated and reduced to a predetermined level (for example, when the size of the flame is about 30% of the initial state), the flame 7 is sedated to a predetermined level. The image after the fire extinguishing activity including the flame 7 which has become smaller to the extent comes closer to the experience person U and stops. When the fire extinguishing activity progresses and the flame 7 is subdued to a certain level, the image including the source of the fire is brought closer, so even if the flame 7 becomes smaller, it will not be overwhelmed, and it will come closer. You can learn the basics that extinguishing the flame 7 is important. Eventually, the flame is completely extinguished, which ends the experience simulation.

このように、奥行き方向(前後方向)についての手の動きは検出しない簡素化された構成が採用される場合であっても、体験者Uは、奥行き方向(前後方向)における消火動作の注意すべき事項についても確実に習得することが可能である。   Thus, even when a simplified configuration that does not detect hand movement in the depth direction (front-rear direction) is employed, the experience person U is careful about the fire extinguishing operation in the depth direction (front-rear direction). It is possible to learn the necessary items.

次に、図4を参照する。図4(A)乃至図4(E)は、それぞれ、VRを用いた消火体験中における、体験者及び観衆(指導者を含む)が視認する映像例を示す図である。図4では、左側にHMD10(におけるディスプレイ)に表示される画像が示され、右側に、モニター30に表示される画像が示されている。   Reference is now made to FIG. FIG. 4A to FIG. 4E are diagrams showing examples of images visually recognized by the experience person and the audience (including the instructor) during the fire extinguishing experience using the VR, respectively. In FIG. 4, an image displayed on the HMD 10 (display) is shown on the left side, and an image displayed on the monitor 30 is shown on the right side.

図4(A)では、シミュレーションを開始するにあたってのナビゲーション画像が表示される。図4(B)では、先に、図1(A)に示した実映像(実像)が表示される。   In FIG. 4A, a navigation image for starting the simulation is displayed. In FIG. 4B, the real video (real image) shown in FIG. 1A is displayed first.

図4(C)では、実映像(実像)からVR映像(虚像)へと切り換わる。HMD10には、火元を示す画像(左眼用の炎7Lを示す画像VR(2L)、右眼用の炎7Rを示す画像VR(2R))が表示される。モニター30には、炎7を示す画像VR(2)が示される。   In FIG. 4C, the real video (real image) is switched to the VR video (virtual image). The HMD 10 displays an image indicating a fire source (an image VR (2L) indicating a flame 7L for the left eye, an image VR (2R) indicating a flame 7R for the right eye). On the monitor 30, an image VR (2) showing the flame 7 is shown.

図4(D)では、HMD10には、消火活動中におけるシミュレーション画像(言い換えれば、左眼用のフレーム画像VR(FL)、右眼用のフレーム画像VR(FR))が表示される。モニター30には、フレーム画像VR(F)が表示される。   In FIG. 4D, a simulation image (in other words, a frame image VR (FL) for the left eye, a frame image VR (FR) for the right eye) during the fire extinguishing activity is displayed on the HMD 10. A frame image VR (F) is displayed on the monitor 30.

図4(E)では、HMD10には、炎7が鎮静化されて初期の30%程度の大きさになった状態におけるシミュレーション画像(言い換えれば、左眼用のフレーム画像VR(FL)、右眼用のフレーム画像VR(FR))が表示される。モニター30には、フレーム画像VR(F)が表示される。   In FIG. 4E, the HMD 10 includes a simulation image (in other words, a frame image VR (FL) for the left eye, a right eye) in a state where the flame 7 has been sedated and has an initial size of about 30%. Frame image VR (FR)) is displayed. A frame image VR (F) is displayed on the monitor 30.

次に、図5を参照する。図5は、VR(仮想現実)を用いた消火体験シミュレーションシステムの、全体の構成例を示す図である。図5の右上には、HMD10の本体(HMD本体)101における構成が示され、図5の左側には、HMD10の制御部(HMD制御部)200の構成が示されている。   Reference is now made to FIG. FIG. 5 is a diagram illustrating an overall configuration example of a fire-fighting experience simulation system using VR (virtual reality). 5 shows the configuration of the main body (HMD main body) 101 of the HMD 10, and the left side of FIG. 5 shows the configuration of the control unit (HMD control unit) 200 of the HMD 10.

HMD本体101は、画像処理部107と、外部を撮像する外カメラ(実景撮像用カメラ)103と、ディスプレイ駆動部109と、ディスプレイの左眼1L用の表示領域16Lと、ディスプレイの右眼1R用の表示領域16Rと、ヘッドホン14(左耳用のスピーカ11L及び右耳用のスピーカ11Lを含む)と、体験者Uの視線(視点)の移動を検出する内カメラ(瞳検出用カメラ)13と、センサ部15と、を有する。センサ部15は、視線検出部17と、ジャイロセンサや加速度センサ等を含む慣性センサ19と、センサ信号に基づいて手の動きを検出する動き検出部21と、を含む。   The HMD main body 101 includes an image processing unit 107, an external camera (real scene imaging camera) 103 that images the outside, a display driving unit 109, a display area 16L for the left eye 1L of the display, and a right eye 1R for the display. A display area 16R, a headphone 14 (including a left ear speaker 11L and a right ear speaker 11L), an inner camera (pupil detection camera) 13 for detecting movement of the line of sight (viewpoint) of the user U, and , And a sensor unit 15. The sensor unit 15 includes a line-of-sight detection unit 17, an inertial sensor 19 including a gyro sensor, an acceleration sensor, and the like, and a motion detection unit 21 that detects hand movement based on the sensor signal.

なお、ヘッドホン14があることによって、例えば、消火体験シミュレーション中に、炎が燃える音等が体験者Uの耳に出力され、これによって、体験者Uは、より臨場感にあふれる消火活動を体験することができる。   In addition, the presence of the headphones 14 outputs, for example, a flame burning sound to the ear of the experience person U during the fire extinguishing experience simulation, and thereby, the experience person U experiences a fire fighting activity more realistic. be able to.

また、内カメラ13によって撮影された瞳を、視線検出部17で解析することによって、体験者Uの視線位置(視点位置)を検出することができる。例えば、HMD10のディスプレイに、「シミュレーションを止める」、「消火活動をせずに逃げる」といった選択肢を提示し、体験者Uが、視線を、希望する選択肢に合わせることで、所望の動作を実行させる、といったことが可能となる。   In addition, the visual line position (viewpoint position) of the experience person U can be detected by analyzing the pupil photographed by the inner camera 13 by the visual line detection unit 17. For example, on the display of the HMD 10, options such as “stop simulation” and “escape without performing fire fighting” are presented, and the experience person U performs a desired action by matching the line of sight to the desired option , And so on.

制御部(HMD制御部)200は、仮想現実映像生成部210と、実映像/仮想現実映像切換部212と、記憶部220と、評価部(採点部)230と、タイマー240と、画像信号生成部250と、音響処理部260と、音響信号生成部270と、を有する。   The control unit (HMD control unit) 200 includes a virtual reality video generation unit 210, a real video / virtual reality video switching unit 212, a storage unit 220, an evaluation unit (scoring unit) 230, a timer 240, and an image signal generation. Unit 250, acoustic processing unit 260, and acoustic signal generation unit 270.

制御部(HMD制御部)200は、図4(A)に示されるようなナビゲーション(案内)画像を生成する案内画像生成部211と、パノラマ画像生成部213と、ホース先端及び手首の画像生成部214と、消火剤の散布(噴出)画像生成部216と、火元の画像である燃焼画像を生成する燃焼画像生成部(言い換えれば、炎シミュレータ)216と、を有している。なお、パノラマ画像については後述する。   The control unit (HMD control unit) 200 includes a guide image generation unit 211 that generates a navigation (guidance) image as shown in FIG. 4A, a panoramic image generation unit 213, and an image generation unit for a hose tip and a wrist. 214, a fire extinguishing agent spray (spout) image generation unit 216, and a combustion image generation unit (in other words, a flame simulator) 216 that generates a combustion image that is a fire source image. The panoramic image will be described later.

ここで、実映像/仮想現実映像切換部212は、HMD10における実映像表示モード/仮想現実表示モードを切り換え、かつ、実映像表示モードの場合には、実景撮像用カメラ(外カメラ)103で撮像した実映像を、HMD10のディスプレイに表示させる。   Here, the real video / virtual reality video switching unit 212 switches between the real video display mode / virtual reality display mode in the HMD 10 and, in the real video display mode, captures with the real scene imaging camera (outer camera) 103. The actual video thus displayed is displayed on the display of the HMD 10.

また、仮想現実映像生成部210は、HMD10が、実映像表示モードから仮想現実映像表示モードに切り換わると、体験用消火器20の通信部(第2の通信部)、及びHMDの通信部(第1の通信部)300を経由して入力される、体験用消火器20の第1のセンサS1及び第2のセンサS2の各検出情報(図5に示されるレバーのON/OFF信号、X軸、Z軸周りの回転(回動)による変移を示す情報θX、θZ)に基づいて、体験者Uの手に握られたホース26の先端28から仮想現実の消火剤が噴射される映像(図1(B)の映像VR(2))、及び仮想現実の炎が鎮静される映像(図1(B)の映像VR(3))を含むシミュレーション映像(図1(B)のフレーム映像VR(F))を表示させるように動作する。   In addition, when the HMD 10 switches from the real video display mode to the virtual reality video display mode, the virtual reality video generation unit 210 and the communication unit (second communication unit) of the fire extinguisher 20 for experience and the communication unit of the HMD ( Each detection information of the first sensor S1 and the second sensor S2 of the experience fire extinguisher 20 input via the first communication unit 300 (ON / OFF signal of the lever shown in FIG. 5, X Image of virtual reality fire extinguishing agent ejected from the tip 28 of the hose 26 held by the hands of the experience person U based on the information θX, θZ indicating the transition due to rotation (rotation) around the axis and the Z axis ( A simulation video (frame video VR of FIG. 1B) including a video VR (2) of FIG. 1B and a video (video VR (3) of FIG. 1B) in which the virtual reality flame is subdued. (F)) is displayed.

また、記憶部220は、RAM、ROM、EEPROM等からなり、画像生成用データ221と、システムプログラム222と、アプリケーションプログラム223と、を有する。   The storage unit 220 includes a RAM, a ROM, an EEPROM, and the like, and includes image generation data 221, a system program 222, and an application program 223.

アプリケーションプログラム223は、VRを用いた消火体験シミュレーションシステムにおけるHMD10に備わるコンピュータ(CPU、MPU)を、制御部(HMD制御部)200として動作させるプログラムである。従って、アプリケーションプログラム223を、HMD10のコンピュータ(CPU、MPU)にロードすることで、HMD10を、VRを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のHMD(専用のウエアラブルコンピュータ)を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、VRを用いた消火体験の普及に貢献する。   The application program 223 is a program that causes the computer (CPU, MPU) included in the HMD 10 in the fire-fighting experience simulation system using VR to operate as the control unit (HMD control unit) 200. Therefore, by loading the application program 223 into the HMD 10 computer (CPU, MPU), the HMD 10 can be made a component of a fire extinguishing experience simulation system using VR, and a dedicated HMD (dedicated wearable computer). There is no need to prepare. Therefore, many general people can use it easily. This contributes to the spread of fire fighting experiences using VR.

また、上述のとおり、制御部(HMD制御部)200は、評価部(採点部)230を有している。評価部(採点部)230は、仮想現実空間における消火活動が終了した後、体験者Uの消火活動を所定の基準に従って評価し、評価を示す情報をHMD10のディスプレイに表示させる。   Further, as described above, the control unit (HMD control unit) 200 includes the evaluation unit (scoring unit) 230. After the fire fighting activity in the virtual reality space is completed, the evaluation unit (scoring unit) 230 evaluates the fire fighting activity of the experience person U according to a predetermined standard, and displays information indicating the evaluation on the display of the HMD 10.

例えば、消火体験の終了後に、評価部(採点部)230による評価(例えば「採点結果」や、「優、良、可といった程度を示す評価」)が、HMD10のディスプレイ上、及びモニター30の表示面上に表示される。   For example, after the fire extinguishing experience is over, evaluation by the evaluation unit (scoring unit) 230 (for example, “scoring result” or “evaluation indicating degree of good, good, good”) is displayed on the display of the HMD 10 and on the monitor 30 Displayed on the screen.

具体的には、例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者(および観衆)は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者Uに、VRを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなり、システムの普及に貢献する。   Specifically, for example, the experience (and the audience) does not become serious in a game sense by being evaluated according to the time required for fire extinguishing, the direction of jetting of the extinguishing agent, etc. You can have a practical fire fighting experience. Giving an evaluation also gives the experience U a motivation to actively participate in fire fighting activities using VR, contributing to the spread of the system.

次に、図6を参照する。図6(A)及び図6(B)は、パノラマ映像の表示について説明するための図、図6(C)は、炎シミュレータの基本的な構成例を示す図である。まず、パノラマ画像の生成について説明する。   Reference is now made to FIG. 6A and 6B are diagrams for explaining display of a panoramic image, and FIG. 6C is a diagram illustrating a basic configuration example of a flame simulator. First, generation of a panoramic image will be described.

図5で説明したように、仮想現実映像生成部210は、パノラマ画像生成部213を有している。パノラマ画像生成部213は、例えば、火災現状の消火活動前の映像に含まれる背景の映像、及びシミュレーション映像に含まれる背景の映像として、体験者Uが見渡すことができるパノラマ映像を生成して表示させる機能を有する。   As described with reference to FIG. 5, the virtual reality video generation unit 210 includes a panoramic image generation unit 213. For example, the panorama image generation unit 213 generates and displays a panoramic image that can be overlooked by the experience person U as a background image included in the image before the fire fighting operation in the current state of fire and a background image included in the simulation image. It has a function to make it.

ここで、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像(例えば、横にぐるりと見渡せるような360度のパノラマ映像)を採用することで、体験者Uに、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周(あるいは部分周)型だけではなく、プラネタリウムのようなドーム(半球)スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者Uの左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。但し、例えば、視差画像を用いて、立体視を実現しようとすると、画像処理の負担が増えることから、制御部(HMD制御部)200の負担とならない範囲でのパノラマ画像の生成処理を行う必要がある。   Here, as a video displayed in the virtual reality space, a wide-view panoramic video (for example, a 360-degree panoramic video that can be looked around to the side) that can be viewed by the experiencer is adopted instead of a planar video. The experience person U can experience fire extinguishing activities full of realism. In addition, panoramic images are not only full-circle (or partial-circumference) type, but all-round type that covers the upper half of the field of view with a dome (hemisphere) screen like a planetarium, full view from front to back, left, right, top to feet. An omnidirectional video image covering the image can be adopted as appropriate. Further, if the left and right eyes of the experience person U can correctly provide separate images with parallax, an omnidirectional stereoscopic panoramic image can be realized. However, for example, if stereoscopic viewing is to be realized using a parallax image, the burden of image processing increases, so it is necessary to perform panoramic image generation processing within a range that does not burden the control unit (HMD control unit) 200. There is.

図6(A)では、半球状の座標空間MPを設定し、体験者Uの眼1(右眼1R、左眼1L)から、基準距離Lだけ離れた位置に、広視野に対応した曲面状の仮想的なスクリーン(映像投影領域)SEを設定する。このスクリーンSEを、体験者Uの頭部の動き(あるいは、図5で説明した眼の動き)に基づいて、例えば左右方向に回転(回動)させることで、体験者Uが横方向に見渡せるような広視野のパノラマ映像による表示を実現することができる。   In FIG. 6A, a hemispherical coordinate space MP is set, and a curved surface corresponding to a wide field of view is located at a position away from the eye 1 (right eye 1R, left eye 1L) of the experience person U by a reference distance L. The virtual screen (image projection area) SE is set. By rotating (turning) the screen SE in the left-right direction based on the movement of the head of the experience person U (or the movement of the eyes described with reference to FIG. 5), the experience person U can look around in the horizontal direction. Such a display with a panoramic image with a wide field of view can be realized.

なお、図6(B)に記載されるように、体験者Uの頭部HAの動きは、例えば、図5で示した、HMD10の本体101に搭載される慣性センサによって、測定することができる。例えば、六軸センサ(複合型の慣性センサであり、X,Y,Zの各軸方向の動きと、各軸周りの回転θX、θY、θZを検出するもの)を用いれば、頭部HAの動きを詳細に検出することが可能である。   As shown in FIG. 6B, the movement of the head HA of the experience person U can be measured by, for example, an inertial sensor mounted on the main body 101 of the HMD 10 shown in FIG. . For example, if a six-axis sensor (a compound type inertial sensor that detects movements in the X, Y, and Z axial directions and rotations θX, θY, and θZ around each axis) is used, It is possible to detect the movement in detail.

また、図5で説明した燃焼画像生成部(炎シミュレータ)216は、例えば、図6(C)のような構成を有する。すなわち、燃焼モデルに基づいて作成された火炎片データベース501と、燃焼画像データ生成部503と、タイマー505と、を有しており、燃焼画像データ生成部503は、体験用消火器20から送られてくるセンサ情報(センサS1、S2の検出信号)と、タイマー505が計測する経時情報と、を考慮して、火炎片データベース501にアクセスし、必要な大きさの火炎片を合成することで、刻一刻と変化する炎7の映像を生成する。   Moreover, the combustion image generation part (flame simulator) 216 demonstrated in FIG. 5 has a structure like FIG.6 (C), for example. In other words, it has a flame fragment database 501 created based on the combustion model, a combustion image data generation unit 503, and a timer 505. The combustion image data generation unit 503 is sent from the experience fire extinguisher 20. Considering the incoming sensor information (detection signals of the sensors S1 and S2) and the time-lapse information measured by the timer 505, the flame piece database 501 is accessed and a flame piece of a required size is synthesized. An image of the flame 7 changing every moment is generated.

図2(A)、(B)で説明したように、ホース26の先端28を保持する手(右手3R)の手首の回動(回転)に応じて、消火剤5の噴出方向が変更されるが、噴出の広がりは予めわかっていることから、噴出方向が定まれば、炎7のどの範囲に、単位時間当たり、どれだけの消火剤が当たるかを予測することができる。この予測結果に基づいて、上記のような構成を用いて、燃焼画像データを生成することができる。   As described with reference to FIGS. 2A and 2B, the ejection direction of the extinguishing agent 5 is changed according to the rotation (rotation) of the wrist of the hand (right hand 3R) holding the tip 28 of the hose 26. However, since the spread of the ejection is known in advance, if the ejection direction is determined, it is possible to predict which range of the flame 7 is applied with how much extinguishing agent per unit time. Based on this prediction result, combustion image data can be generated using the configuration as described above.

次に、図7を参照する。図7は、VR(仮想現実)を用いた消火体験シミュレーションシステムにおける、HMDの制御部(コンピュータ)の制御手順例を示すフローチャートである。なお、図7に示される手順は、先に、図3、図4で示したシミュレーション手順に従うものとする。   Reference is now made to FIG. FIG. 7 is a flowchart illustrating an example of a control procedure of the control unit (computer) of the HMD in the fire extinguishing experience simulation system using VR (virtual reality). Note that the procedure shown in FIG. 7 follows the simulation procedure shown in FIGS.

HMDの制御部(プログラムに従って動作するコンピュータ)200は、まず、操作説明等の案内(ガイダンス)映像を表示させ(ステップS10)、次に、図5の外カメラ103で撮像した画像(例えば、図4(B)で示したような体験用消火器20及び手首の付近の撮像画像)を表示させる(ステップS20)。   The HMD control unit (computer operating in accordance with the program) 200 first displays a guidance video such as an operation explanation (step S10), and then an image (for example, FIG. 5) captured by the outer camera 103 in FIG. The fire extinguisher for experience 20 as shown in 4 (B) and a captured image near the wrist are displayed (step S20).

次に、VRを用いた消火体験が開始されると(ステップS30)、VR動画の映像(例えば、消火活動前の図4(C)で示したような、消火活動前の火災現状を示す映像)を表示させる(ステップS40)。次に、例えば、体験者Uが、消火活動の開始を選択するか否かを判定する(ステップS50)。ここでは、例えば、HMD10のディスプレイに、例えば、「逃げる」、「開始する」という2つの選択肢を提示し、体験者Uが、アイコンタクトでいずれか一方を選択する、というような手順が実施される。   Next, when a fire fighting experience using VR is started (step S30), a video of a VR video (for example, a video showing the current state of fire before the fire fighting activity as shown in FIG. 4C before the fire fighting activity). ) Is displayed (step S40). Next, for example, the experience person U determines whether or not to select the start of the fire fighting activity (step S50). Here, for example, a procedure in which, for example, two options of “run away” and “start” are presented on the display of the HMD 10 and the experience person U selects one of them by eye contact is performed. The

ステップS50でYの場合は、図4(B)で説明したように、奥行き感を体感できるように、火元の画像を体験者Uに近づける(接近させる)制御を実施し(ステップS60)、体験者Uによるレバー操作の有無(レバー24のオン/オフ)を検出する(ステップS70)。   In the case of Y in step S50, as described with reference to FIG. 4B, the fire source image is controlled to approach (approach) the experience person U so that a sense of depth can be experienced (step S60). The presence or absence of lever operation by the experience person U (ON / OFF of the lever 24) is detected (step S70).

ステップS70でYの場合は、図4(C)で説明したように、ホース26の先端28から、消火剤5を放出するVR映像の表示、及び、散布される消火剤5によって時間経過と共に鎮火されていく炎のVR映像の表示を行う(ステップS80)。これと併行して、同じVR映像をモニター30に送信して、モニター30に表示させる(ステップS90)。   In the case of Y in step S70, as described with reference to FIG. 4C, the display of the VR image in which the extinguishing agent 5 is released from the tip 28 of the hose 26 and the extinguishing with the lapse of time by the extinguishing agent 5 sprayed. The VR image of the flame being displayed is displayed (step S80). At the same time, the same VR video is transmitted to the monitor 30 and displayed on the monitor 30 (step S90).

次に、図4(D)で説明したように、炎7が、初期状態の約30%以下の大きさにまで鎮火されると(ステップS100)、体験者Uに奥行き感を感じさせるべく、火元の映像を、さらに体験者に接近させ(ステップS110)、炎が鎮火されると(ステップS120)、採点(評価結果の生成)を行い、その採点(評価結果)を、HMD10のディスプレイ上、及びモニター30の表示面上に表示させる(ステップS130)。この場合、例えば、消火活動の制限時間を30秒とし、消火完了までの時間で評価することができる。例えば、15秒未満で消火できた場合は100点、15秒以上20秒未満で70点、というように評価する。   Next, as described in FIG. 4D, when the flame 7 is extinguished to a size of about 30% or less of the initial state (step S100), in order to make the experience person U feel a sense of depth, When the image of the fire source is further brought closer to the experience person (step S110) and the flame is extinguished (step S120), scoring (generation of the evaluation result) is performed, and the scoring (evaluation result) is displayed on the display of the HMD 10 And on the display surface of the monitor 30 (step S130). In this case, for example, the time limit for extinguishing the fire can be set to 30 seconds, and evaluation can be performed by the time until the completion of the fire extinguishing. For example, when the fire can be extinguished in less than 15 seconds, 100 points are evaluated, and in the case of 15 seconds to less than 20 seconds, 70 points are evaluated.

以上、説明したように、本発明のVRを用いた消火体験シミュレーションシステム、プログラム及び体験用消火器によれば、可搬性、簡便性に優れ、実際の消火活動と同じ手順で消火体験ができ、適宜、指導者による指導を受けることも可能な、新規な消火体験シミュレータを実現することができる。   As described above, according to the fire extinguishing experience simulation system, program, and experience fire extinguisher using the VR of the present invention, it is excellent in portability and convenience, and a fire extinguishing experience can be performed in the same procedure as the actual fire extinguishing activity. A new fire extinguishing experience simulator that can receive guidance from a leader as appropriate can be realized.

また、消火までの時間、噴射の向きなどに応じて得点を付与するなどゲーム特生を持たせることで、消火体験への動機づけを与えることができる。また、消火剤の噴射可能時間を実際の消火器と同じにし、また、実際の消火器の使用感に近づけることで、実際に役立つ消火訓練を実現することができる。   In addition, motivation for the fire fighting experience can be given by giving game specials such as giving points according to the time until fire extinguishing, the direction of jetting, and the like. In addition, practical fire extinguishing training can be realized by making the jettable time of the extinguishing agent the same as that of an actual fire extinguisher and bringing it closer to the feeling of use of the actual fire extinguisher.

また、単眼ゴーグルを使用するなどして、小学生以下でも使用可とし、これによって、年代を問わず使えるシミュレータとなる。また、モニターを利用することで、観衆(観客)と体験者とが、同じ体験を共有することができる。   In addition, by using monocular goggles, it can be used by elementary school students and younger, so that it can be used regardless of age. In addition, by using the monitor, the audience (audience) and the experience can share the same experience.

また、例えば、火元に3〜5メートルの距離まで近づいて消火活動を始め、消火活動が進んで炎が小さくなったら、更に火元に近寄って、完全に消火するという、奥行き感のある消火行動を、仮想現実(VR)空間上で体感できる(図4(B)乃至図4(D))。   Also, for example, fire extinguishing activities that approach fire sources up to a distance of 3 to 5 meters, and when the fire extinguishing activities progress and the flames become smaller, the fire extinguishes closer to the fire source and extinguishes completely. Actions can be experienced in a virtual reality (VR) space (FIGS. 4B to 4D).

また、HMD10を構成するモバイル端末等をインターネットに接続しない構成とすることで、セキュリティの低下を防止することができる。   In addition, it is possible to prevent the security from being lowered by adopting a configuration in which the mobile terminal or the like constituting the HMD 10 is not connected to the Internet.

以上、本発明を実施形態に基づいて説明したが、本発明は、上記の実施形態に限定されるものではなく、種々、変形、応用が可能である。例えば、仮想現実空間で表示される背景の画像や炎の画像は、複数の画像の中から選択できるようにし、例えば、選択肢となる画像を定期的に更新することにより、より適切な状況を設定して、実践的な消火活動体験を手軽に実施できるようになる。   Although the present invention has been described based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are possible. For example, the background image and the flame image displayed in the virtual reality space can be selected from a plurality of images, and for example, a more appropriate situation can be set by periodically updating the options image. As a result, a practical fire fighting experience can be carried out easily.

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。   The present invention is not limited to the above-described exemplary embodiments, and those skilled in the art will be able to easily modify the above-described exemplary embodiments to the extent included in the claims. .

1(1L、1R)・・・体験者の眼(左眼、右眼)、3(3L、3R)・・・体験者の手(左手、右手)、5・・・仮想現実の消火剤(消火剤CG)、7・・・仮想現実の炎(炎CG)、9・・・火元となる対象物(例えばタップ)、10・・・HMD、12・・・頭部装着用の支持部材、14・・・ヘッドホン、16・・・モバイル端末、20・・・体験用消火器、22・・・消火器本体、24・・・レバー、26・・・ホース、28・・・ホースの先端(先端部)、30・・・モニター、32・・・モニター通信部(第3の通信部)、200・・・制御部(HMD制御部)、300・・・HMD通信部(第1の通信部)、TC・・・指導者、AD・・・観衆。   1 (1L, 1R) ... Experiencer's eyes (left eye, right eye), 3 (3L, 3R) ... Experiencer's hands (left hand, right hand), 5 ... Virtual reality fire extinguishing agent ( Fire extinguishing agent CG), 7... Virtual reality flame (flame CG), 9... Fire source object (for example, tap), 10... HMD, 12. , 14 ... headphones, 16 ... mobile terminal, 20 ... fire extinguisher for experience, 22 ... fire extinguisher body, 24 ... lever, 26 ... hose, 28 ... tip of hose (Tip portion), 30 ... monitor, 32 ... monitor communication unit (third communication unit), 200 ... control unit (HMD control unit), 300 ... HMD communication unit (first communication) Part), TC ... instructor, AD ... audience.

Claims (8)

映像を表示するディスプレイと、コンピュータと、通信処理を行う第1の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ(HMD)と、
前記HMDの前記第1の通信部との間で通信を行う第2の通信部と、消火器本体と、前記HMDが仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第1のセンサと、前記ホースの先端の動きを検出する第2のセンサと、を備え、前記HMDのコントローラとしての機能を兼ねる体験用消火器と、
を有し、
前記HMDの前記コンピュータは、前記HMDの動作を制御する制御部として機能し、
前記制御部は、
実映像表示モード/仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像/仮想現実映像切換部と、
前記HMDが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第2、第1の通信部を経由して入力される、前記体験用消火器の前記第1のセンサ及び前記第2のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
を有することを特徴とする、VRを用いた消火体験シミュレーションシステム。
A head mounted display (HMD) that is equipped with a display that displays video, a computer, a first communication unit that performs communication processing, and a camera for capturing a real scene that captures a real scene;
Injecting a virtual reality fire extinguishing agent when the second communication unit that communicates with the first communication unit of the HMD, the fire extinguisher body, and the HMD is in a virtual reality (VR) display mode An operation lever that functions as a switch to perform, a hose that functions as an ejection tool that ejects the virtual reality fire extinguishing agent from the tip, a first sensor that detects operation of the operation lever by the experiencer, and a tip of the hose A second sensor for detecting the movement of the experience, a fire extinguisher for experience that also functions as a controller of the HMD,
Have
The computer of the HMD functions as a control unit that controls the operation of the HMD,
The controller is
A real image display mode / virtual reality display mode, and in the case of the real image display mode, an actual image / virtual reality image switching unit for displaying an actual image captured by the real scene imaging camera on the display;
When the HMD is switched from the real video display mode to the virtual reality video display mode, the first sensor of the fire extinguisher for experience, which is input via the second and first communication units, and Based on each detection information of the second sensor, an image in which the virtual reality fire extinguishing agent is jetted from the tip of the hose held in the hands of the experience person, and an image in which the virtual reality flame is calmed down A virtual reality video generation unit for displaying a simulation video including
A fire extinguishing experience simulation system using VR.
前記HMDの前記第1の通信部との間で通信を行う第3の通信部を備え、かつ、前記第1、第3の通信部を経由して入力される、前記実映像表示モードにおける実映像の映像データ、及び前記仮想現実映像表示モードにおける仮想現実映像の映像データに基づいて、前記体験者が前記HMDの前記ディスプレイを介して見ているのと同じ映像をモニター映像として表示するモニターを、更に有することを特徴とする、請求項1に記載のVRを用いた消火体験シミュレーションシステム。   An actual video display mode in the real video display mode, which includes a third communication unit that communicates with the first communication unit of the HMD and is input via the first and third communication units; Based on the video data of the video and the video data of the virtual reality video in the virtual reality video display mode, a monitor that displays the same video that the user sees through the display of the HMD as a monitor video The fire extinguishing experience simulation system using the VR according to claim 1, further comprising: 前記仮想現実映像生成部は、前記仮想現実空間に表示される、前記ホースの前記先端を握る前記体験者の前記手の手首の支点の位置を固定し、前記第2のセンサの検出信号に基づいて、前記手首の前記支点を中心として、前記仮想現実空間における前記ホースの前記先端の向きを変えることを特徴とする、請求項1又は2に記載のVRを用いた消火体験シミュレーションシステム。   The virtual reality video generation unit fixes a position of a wrist fulcrum of the hand of the experiencer holding the tip of the hose displayed in the virtual reality space, and based on a detection signal of the second sensor The fire extinguishing experience simulation system using VR according to claim 1, wherein the direction of the tip of the hose in the virtual reality space is changed around the fulcrum of the wrist. 前記仮想現実映像生成部は、前記実映像表示モードから前記仮想現実映像表示モードに切り換えられると、仮想現実空間に火災現状の消火活動前の映像を表示させ、その後、前記消火活動前の映像が前記体験者に近寄ってきて止まるように制御し、その後、前記シミュレーション映像を表示させ、前記炎が鎮静化されて所定の程度に小さくなると、前記鎮静化されて所定の程度に小さくなった炎を含む消火活動後の映像が前記体験者に、更に近寄ってきて止まるように制御することを特徴とする、請求項3に記載のVRを用いた消火体験シミュレーションシステム。   When the virtual reality video generation unit is switched from the real video display mode to the virtual reality video display mode, the virtual reality video generation unit displays the video before the current fire fighting activity in the virtual reality space, and then the video before the fire fighting activity is displayed. Control to stop approaching the experience person, and then display the simulation video, and when the flame is subdued and reduced to a predetermined level, the flame that has been subdued and reduced to a predetermined level The fire extinguishing experience simulation system using VR according to claim 3, wherein the image after the fire extinguishing activity is controlled so as to come closer to the experience person and stop. 前記仮想現実映像生成部は、前記火災現状の消火活動前の映像に含まれる背景の映像、及び前記シミュレーション映像に含まれる背景の映像として、前記体験者が見渡すことができるパノラマ映像を表示させることを特徴とする請求項1乃至4の何れか1項に記載のVRを用いた消火体験シミュレーションシステム。   The virtual reality video generation unit displays a panoramic video that can be overlooked by the experience person as a background video included in the video before the fire extinguishing activity under the current state of fire and a background video included in the simulation video. A fire extinguishing experience simulation system using the VR according to any one of claims 1 to 4. 前記制御部は、前記仮想現実空間における消火活動が終了した後、前記体験者の消火活動を所定の基準に従って評価し、前記評価を示す情報を前記HMDの前記ディスプレイに表示させる評価部を、更に有することを特徴とする、請求項1乃至5の何れか1項に記載のVRを用いた消火体験シミュレーションシステム。   The control unit, after the fire extinguishing activity in the virtual reality space is finished, evaluates the fire extinguishing activity of the experience person according to a predetermined standard, and further includes an evaluation unit that displays information indicating the evaluation on the display of the HMD, A fire extinguishing experience simulation system using a VR according to any one of claims 1 to 5, characterized by comprising: 請求項1乃至6の何れか1項に記載のVRを用いた消火体験シミュレーションシステムを構成する体験用消火器。   The fire extinguisher for experience which comprises the fire extinguishing experience simulation system using VR of any one of Claims 1 thru | or 6. 請求項1乃至6の何れか1項に記載のVR消火体験シミュレーションシステムにおける前記HMDに備わる前記コンピュータを、前記制御部として動作させるプログラム。   The program which operates the said computer with which the said HMD in the VR fire extinguishing experience simulation system of any one of Claims 1 thru | or 6 operates as said control part.
JP2017128155A 2017-06-30 2017-06-30 Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program Active JP6410378B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017128155A JP6410378B1 (en) 2017-06-30 2017-06-30 Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017128155A JP6410378B1 (en) 2017-06-30 2017-06-30 Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program

Publications (2)

Publication Number Publication Date
JP6410378B1 JP6410378B1 (en) 2018-10-24
JP2019012154A true JP2019012154A (en) 2019-01-24

Family

ID=63920495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017128155A Active JP6410378B1 (en) 2017-06-30 2017-06-30 Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program

Country Status (1)

Country Link
JP (1) JP6410378B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117633A (en) * 2019-04-05 2020-10-14 주식회사 에이알미디어웍스 Fire fighting experience system based on mixed reality
WO2020250377A1 (en) * 2019-06-13 2020-12-17 マクセル株式会社 Head-mounted information processing device and control method thereof
JP2021068209A (en) * 2019-10-23 2021-04-30 スコネック エンターテインメント カンパニー リミテッド Virtual reality control system
WO2021261595A1 (en) * 2020-06-26 2021-12-30 川崎重工業株式会社 Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft
WO2023106539A1 (en) * 2021-12-06 2023-06-15 주식회사 엘지에너지솔루션 Vr-based fire response simulation method and device for secondary battery production

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360453A (en) * 2018-11-26 2019-02-19 四川科特检测技术有限公司 Special equipment detection training system and method based on VR
CN109767666A (en) * 2019-01-15 2019-05-17 深圳市蓝游网络科技有限公司 Fire-fighting life-saving drilling method based on VR technology
CN109767668B (en) * 2019-03-05 2021-04-20 郑州万特电气股份有限公司 Unity 3D-based virtual fire-fighting training device
JP2022007791A (en) 2020-06-26 2022-01-13 川崎重工業株式会社 System, method, and program for vr training of aircraft
CN113077678A (en) * 2021-04-06 2021-07-06 中国科学技术大学 Multi-person interactive evacuation simulation system under multi-disaster coupling

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60260983A (en) * 1984-06-08 1985-12-24 株式会社 ナムコ Simulated fire extinguishment training apparatus
JPH07117812B2 (en) * 1990-07-18 1995-12-18 株式会社テレシステムズ Imitation device for fire extinguishing training
JPH09212078A (en) * 1996-01-31 1997-08-15 Hitachi Denshi Ltd Education system
US6129552A (en) * 1996-07-19 2000-10-10 Technique-Pedagogie-Securite Equipements Teaching installation for learning and practicing the use of fire-fighting equipment
JP2000352960A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Effect adding device for compound reality feeling picture, picture processing method for effect adding, and program storing medium
JP2000353248A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Composite reality feeling device and composite reality feeling presenting method
JP2005025563A (en) * 2003-07-03 2005-01-27 Canon Inc Virtual reality generation method
JP2012204998A (en) * 2011-03-24 2012-10-22 Seiko Epson Corp Head-mounted type display device and control method for head-mounted type display device
JP2014155207A (en) * 2013-02-14 2014-08-25 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
JP2015121756A (en) * 2013-12-25 2015-07-02 株式会社日立国際電気 Rescue training system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60260983A (en) * 1984-06-08 1985-12-24 株式会社 ナムコ Simulated fire extinguishment training apparatus
JPH07117812B2 (en) * 1990-07-18 1995-12-18 株式会社テレシステムズ Imitation device for fire extinguishing training
JPH09212078A (en) * 1996-01-31 1997-08-15 Hitachi Denshi Ltd Education system
US6129552A (en) * 1996-07-19 2000-10-10 Technique-Pedagogie-Securite Equipements Teaching installation for learning and practicing the use of fire-fighting equipment
JP2000352960A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Effect adding device for compound reality feeling picture, picture processing method for effect adding, and program storing medium
JP2000353248A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Composite reality feeling device and composite reality feeling presenting method
JP2005025563A (en) * 2003-07-03 2005-01-27 Canon Inc Virtual reality generation method
JP2012204998A (en) * 2011-03-24 2012-10-22 Seiko Epson Corp Head-mounted type display device and control method for head-mounted type display device
JP2014155207A (en) * 2013-02-14 2014-08-25 Seiko Epson Corp Head-mounted display device and control method of head-mounted display device
JP2015121756A (en) * 2013-12-25 2015-07-02 株式会社日立国際電気 Rescue training system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"防災VR/火災編", IDEACLOUD INC., JPN6018021853, February 2017 (2017-02-01), pages 30 - 6, ISSN: 0003816421 *
益村 明人、ほか2名: "VRを利用した消火訓練システム", 電子情報通信学会2001年情報・システムソサイエティ大会講演論文集, JPN6018021848, 29 August 2001 (2001-08-29), pages 265, ISSN: 0003867076 *
益村 明人: "初期消火訓練のためのVirtual Reality環境", 名古屋大学大学院情報学研究科知能システム学専攻システム知能情報学講座, vol. [平成30年6月4日検索], JPN6018021850, 31 March 2002 (2002-03-31), ISSN: 0003816420 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117633A (en) * 2019-04-05 2020-10-14 주식회사 에이알미디어웍스 Fire fighting experience system based on mixed reality
KR102212241B1 (en) * 2019-04-05 2021-02-04 주식회사 에이알미디어웍스 Fire fighting experience system based on mixed reality
WO2020250377A1 (en) * 2019-06-13 2020-12-17 マクセル株式会社 Head-mounted information processing device and control method thereof
JPWO2020250377A1 (en) * 2019-06-13 2020-12-17
JP7324843B2 (en) 2019-06-13 2023-08-10 マクセル株式会社 Head-mounted information processing device and its control method
US11886629B2 (en) 2019-06-13 2024-01-30 Maxell, Ltd. Head-mounted information processing apparatus and its controlling method
JP2021068209A (en) * 2019-10-23 2021-04-30 スコネック エンターテインメント カンパニー リミテッド Virtual reality control system
JP7000397B2 (en) 2019-10-23 2022-02-04 スコネック エンターテインメント カンパニー リミテッド Virtual reality control system
WO2021261595A1 (en) * 2020-06-26 2021-12-30 川崎重工業株式会社 Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft
JP2022007792A (en) * 2020-06-26 2022-01-13 川崎重工業株式会社 System, method, and program for vr training of aircraft
JP7429613B2 (en) 2020-06-26 2024-02-08 川崎重工業株式会社 Aircraft VR training system, aircraft VR training method, and aircraft VR training program
WO2023106539A1 (en) * 2021-12-06 2023-06-15 주식회사 엘지에너지솔루션 Vr-based fire response simulation method and device for secondary battery production

Also Published As

Publication number Publication date
JP6410378B1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
JP6410378B1 (en) Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program
US9884248B2 (en) Display control method for head-mounted display (HMD) and image generation device
JP6257827B1 (en) Method, program, and information processing apparatus executed by computer to provide virtual space
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
JP2018089227A (en) Information processing method, device, and program for implementing that information processing method on computer
KR20160108017A (en) Device for virtual tour experience and method thereof
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
JP6306765B1 (en) Method executed by computer for moving in virtual space, program for causing computer to execute the method, and information processing apparatus
JP2018072604A (en) Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device
JP6248219B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
KR101824083B1 (en) Fire extinguisher for training of virtual reality
JP6479933B1 (en) Program, information processing apparatus, and method
JP2018147465A (en) Information processing method, device, and program for causing computer to execute the method
JP6203346B1 (en) Method, program, and recording medium for providing virtual space
JP6263292B1 (en) Information processing method, computer, and program for causing computer to execute information processing method
JP6225242B1 (en) Information processing method, apparatus, and program causing computer to execute information processing method
JP6382928B2 (en) Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus
KR20210013900A (en) Simulation system of digestion experience using VR
JP2018170013A (en) Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device
JP2019020836A (en) Information processing method, device, and program for causing computer to execute the method
JP2018129692A (en) Head mounted display device and simulation system
JP6820299B2 (en) Programs, information processing equipment, and methods
JP6330072B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP6839046B2 (en) Information processing methods, devices, information processing systems, and programs that allow computers to execute the information processing methods.
JP2019015972A (en) Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180921

R150 Certificate of patent or registration of utility model

Ref document number: 6410378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250