JP2019012154A - Fire extinguishing experience simulation system using vr, fire extinguisher for experience, and program - Google Patents
Fire extinguishing experience simulation system using vr, fire extinguisher for experience, and program Download PDFInfo
- Publication number
- JP2019012154A JP2019012154A JP2017128155A JP2017128155A JP2019012154A JP 2019012154 A JP2019012154 A JP 2019012154A JP 2017128155 A JP2017128155 A JP 2017128155A JP 2017128155 A JP2017128155 A JP 2017128155A JP 2019012154 A JP2019012154 A JP 2019012154A
- Authority
- JP
- Japan
- Prior art keywords
- video
- experience
- virtual reality
- fire extinguishing
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、VRを用いた消火体験シミュレーションシステム、体験用消火器、及びプログラム等に関し、特に、実際の消火器を模した(特に形状を模した)訓練用消火器とヘッドアップディスプレイ(HMD)とを使用して、例えば室内で、実際の消火活動と同じ手順での消火体験が可能な消火体験(消火器体験)シミュレータ等に関する。 The present invention relates to a fire extinguishing experience simulation system using VR, a fire extinguisher for experience, a program, and the like, and in particular, a fire extinguisher for training and a head-up display (HMD) imitating an actual fire extinguisher (particularly imitating a shape) For example, the present invention relates to a fire extinguishing experience (fire extinguisher experience) simulator that enables a fire extinguishing experience in the same procedure as an actual fire extinguishing activity, for example, indoors.
消火訓練シミュレータとして、例えば、トラック等の荷台に室内のセットを用意し、実際に火災を発生させて、実際の火炎に消火剤を投入できるようにしたものがある(特許文献1)。 As an extinguishing training simulator, for example, an indoor set is prepared on a loading platform such as a truck, and a fire is actually generated so that an extinguishing agent can be put into an actual flame (Patent Document 1).
また、ヘッドマウントディスプレイ(HMD)を用いた仮想現実体感シミュレータとして、HMDとグラフィックワークステーションをケーブルで接続してシミュレータを構築するものがある(特許文献2)。 Further, as a virtual reality simulator using a head mounted display (HMD), there is one that constructs a simulator by connecting a HMD and a graphic workstation with a cable (Patent Document 2).
また、スマートフォン等を用いてHMDを構成し、ディスプレイ上に、体験者の広範囲の視野に対応した映像を表示することで、体験者に没入型の視聴体験をもたらすことが意図されているウエアラブル装置が、特許文献3に記載されている。
In addition, a wearable device that is intended to bring an immersive viewing experience to the user by configuring the HMD using a smartphone or the like and displaying an image corresponding to a wide field of view of the user on the display. Is described in
特許文献1、2に開示される技術は、いずれも大がかりな仕組みを必要とし、例えば、シミュレータの可搬性、簡便性の点で改良の余地があり、又、いずれも専門家が使用することを主目的としており、体験者の年代を問わず誰もが手軽に利用できる、というものではない。
The techniques disclosed in
また、近年、VR(仮想現実)空間において、種々の没入型の視聴体験が可能なウエアラブルコンピューティング技術(上記の特許文献3等)が進展しているが、この技術は、仮想現実(VR)空間に没入することを前提としており、例えば、現実の活動に使用される道具を使用して、現実の感覚を共有しながら、実際に役に立つ体験を行うことは意図されていない。 In recent years, wearable computing technologies (such as the above-mentioned Patent Document 3) that allow various immersive viewing experiences have been developed in a VR (virtual reality) space. This technology is based on virtual reality (VR). It is premised on immersion in the space, and it is not intended to provide a practically useful experience while sharing a sense of reality using, for example, tools used for actual activities.
本発明の1つの目的は、利用が容易であり、かつ実際の消火活動の手順を臨場感をもって体験できる、VRを用いた消火体験シミュレーションシステムを実現することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。 One object of the present invention is to realize a fire extinguishing experience simulation system using VR, which is easy to use and allows the user to experience an actual fire fighting procedure with a sense of reality. Other objects of the present invention will become apparent to those skilled in the art by referring to the aspects and best embodiments exemplified below and the accompanying drawings.
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。 In the following, in order to easily understand the outline of the present invention, embodiments according to the present invention will be exemplified.
第1の態様において、VRを用いた消火体験シミュレーションシステムは、
映像を表示するディスプレイと、コンピュータと、通信処理を行う第1の通信部と、実景を撮像する実景撮像用カメラと、を備え、体験者に装着されるヘッドマウントディスプレイ(HMD)と、
前記HMDの前記第1の通信部との間で通信を行う第2の通信部と、消火器本体と、前記HMDが仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第1のセンサと、
前記ホースの先端の動きを検出する第2のセンサと、を備え、前記HMDのコントローラとしての機能を兼ねる体験用消火器と、
を有し、
前記HMDの前記コンピュータは、前記HMDの動作を制御する制御部として機能し、
前記制御部は、
実映像表示モード/仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像/仮想現実映像切換部と、
前記HMDが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第2、第1の通信部を経由して入力される、前記体験用消火器の前記第1のセンサ及び前記第2のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
を有する。
In the first aspect, a fire extinguishing experience simulation system using VR is:
A head mounted display (HMD) that is equipped with a display that displays video, a computer, a first communication unit that performs communication processing, and a camera for capturing a real scene that captures a real scene;
Injecting a virtual reality fire extinguishing agent when the second communication unit that communicates with the first communication unit of the HMD, the fire extinguisher body, and the HMD is in a virtual reality (VR) display mode An operation lever that functions as a switch to perform, a hose that functions as an ejection tool for ejecting the virtual reality fire extinguishing agent from the tip, a first sensor that detects an operation of the operation lever by the experience person,
A second sensor that detects the movement of the tip of the hose, and a fire extinguisher for experience that also functions as a controller of the HMD,
Have
The computer of the HMD functions as a control unit that controls the operation of the HMD,
The controller is
A real image display mode / virtual reality display mode, and in the case of the real image display mode, an actual image / virtual reality image switching unit for displaying an actual image captured by the real scene imaging camera on the display;
When the HMD is switched from the real video display mode to the virtual reality video display mode, the first sensor of the fire extinguisher for experience, which is input via the second and first communication units, and Based on each detection information of the second sensor, an image in which the virtual reality fire extinguishing agent is jetted from the tip of the hose held in the hands of the experience person, and an image in which the virtual reality flame is calmed down A virtual reality video generation unit for displaying a simulation video including
Have
第1の態様では、実際に使用される消火器を模した体験用消火器(HMDのコントローラを兼ねる)を用いて、実際の消火活動と同様の、レバー操作やホースの先端の向きを変える動作を、手を使って行うことができる。よって、体験者は、実際の消火器の操作に慣れることができる。また、すぐに仮想現実空間に入り込むのではなく、実映像(例えば、HMDを構成するスマートフォンのカメラで撮像した、訓練用消火器を含む実像)をディスプレイに表示し、体験者が、訓練用消火器と自己の手の位置等を確認した後、その確認された実像に重ねる形で、仮想現実(VR)空間での消火活動シミュレーションを開始することが可能である。よって、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業(消火器体験)を行うことができる。よって、体験者は、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。また、本態様の消火体験シミュレーションシステムの主な構成要素は、体験用消火器とHMDであり、構成が簡素化されている。よって、可搬性(持ち運び性、設営性)に優れ、かつ簡便性(例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点)も備えたシミュレータを、容易に実現することができる。なお、訓練用消火器は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得る。 In the first mode, using an experiential fire extinguisher that simulates a fire extinguisher that is actually used (also serves as a controller for the HMD), the operation of changing the lever operation and the direction of the tip of the hose is the same as the actual fire extinguishing activity. Can be done by hand. Therefore, the experience person can get used to the operation of an actual fire extinguisher. In addition, instead of immediately entering the virtual reality space, a real image (for example, a real image including a fire extinguisher for training taken with a smartphone camera that constitutes the HMD) is displayed on the display, and the experience person can use the fire extinguishing for training. It is possible to start a fire-fighting simulation in a virtual reality (VR) space by confirming the position of the container and the hand of the user and then overlaying the confirmed real image. Therefore, it is possible to perform a fire extinguishing work (fire extinguisher experience) in the same procedure as an actual fire fighting activity procedure while sharing a sense of reality. Therefore, the experience person can experience the procedure of actual fire fighting activity with a sense of reality while sharing a sense of reality. Moreover, the main components of the fire-fighting experience simulation system of this aspect are a fire extinguisher for experience and an HMD, and the configuration is simplified. Therefore, a simulator that is excellent in portability (portability and operability) and simple (for example, can be easily implemented indoors without individual support from the staff) can be easily realized. The training fire extinguisher can be realized, for example, by mounting a unit including a sensor and a communication unit on the same thing as an actual fire extinguisher, but is not limited to this. Modifications such as reducing the weight of the fire extinguisher, making it a small fire extinguisher for children, or slightly changing the shape and design of the fire extinguisher body can be made as appropriate.
第1の態様に従属する第2の態様において、
前記HMDの前記第1の通信部との間で通信を行う第3の通信部を備え、かつ、前記第1、第3の通信部を経由して入力される、前記実映像表示モードにおける実映像の映像データ、及び前記仮想現実映像表示モードにおける仮想現実映像の映像データに基づいて、前記体験者が前記HMDの前記ディスプレイを介して見ているのと同じ映像をモニター映像として表示するモニターを、更に有するようにしてもよい。
In a second aspect dependent on the first aspect,
An actual video display mode in the real video display mode, which includes a third communication unit that communicates with the first communication unit of the HMD and is input via the first and third communication units; Based on the video data of the video and the video data of the virtual reality video in the virtual reality video display mode, a monitor that displays the same video that the user sees through the display of the HMD as a monitor video You may make it have further.
第2の態様によれば、体験者がHMDのディスプレイを介して視聴している映像が、そのままモニターに映し出されることから、体験者以外の一人又は複数人(観衆)が、体験者と同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者が、体験者に、適宜、助言を与えることが可能となり、また、観衆が叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。なお、モニターは、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。 According to the second aspect, since the video that the user is viewing through the HMD display is displayed on the monitor as it is, one or more people (audience) other than the user can view the same video as the user. Can share the same experience. Therefore, for example, a fire extinguishing leader can give advice to the experienced person as appropriate, and the audience can give a more realistic feeling by screaming. Become. Note that the monitor may be, for example, a projection display device having a single large screen commonly used by a plurality of people, or may be a display of a tablet terminal of each person in the audience.
第1、第2の態様に従う第3の態様において、
前記仮想現実映像生成部は、前記仮想現実空間に表示される、前記ホースの前記先端を握る前記体験者の前記手の手首の支点の位置を固定し、前記第2のセンサの検出信号に基づいて、前記手首の前記支点を中心として、前記仮想現実空間における前記ホースの前記先端の向きを変えるようにしてもよい。
In the third aspect according to the first and second aspects,
The virtual reality video generation unit fixes a position of a wrist fulcrum of the hand of the experiencer holding the tip of the hose displayed in the virtual reality space, and based on a detection signal of the second sensor Then, the direction of the tip of the hose in the virtual reality space may be changed around the fulcrum of the wrist.
第3の態様によれば、仮想現実空間に表示される、ホースの先端を握る体験者の手首の支点の位置を固定し、その支点を中心とする、例えば手首の回動による変移量等を測定することでホースの先端の方向を特定することができる。この場合、手の奥行き方向(前後方向)の動きや上下方向(鉛直方向)の動きを考慮する必要がないことからセンサの検出負担を減らすことができ、また、仮想現実映像生成部の、映像生成のための画像処理の負担も軽減される。また、消火器を使用する際の基本は、適切な距離から、炎の、例えば中心に向けて勢いよく消火剤を噴射しつつ、ホースの先端を持つ手首の動きによって噴出方向を微調整する(言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる)ということであり、この基本動作を確実に体験することができる。よって、体験者は、実際に役に立つ、消火活動の基本を習得することができる。 According to the third aspect, the position of the fulcrum of the wrist of the experiencer holding the tip of the hose, which is displayed in the virtual reality space, is fixed, and the amount of change or the like due to the rotation of the wrist, for example, is centered on the fulcrum. The direction of the tip of the hose can be specified by measuring. In this case, it is not necessary to consider the movement of the hand in the depth direction (front-rear direction) and the movement in the vertical direction (vertical direction), so that the detection burden of the sensor can be reduced. The burden of image processing for generation is also reduced. Also, the basics when using a fire extinguisher are to finely adjust the ejection direction by moving the wrist with the tip of the hose while jetting fire extinguishing agent vigorously toward the center of the flame, for example, from an appropriate distance ( In other words, do not make useless movements such as moving your arms and body greatly, and apply the fire extinguisher to the flame accurately), and you can definitely experience this basic action. Therefore, the experienced person can learn the basics of fire fighting activities that are actually useful.
第3の態様に従う第4の態様において、
前記仮想現実映像生成部は、前記実映像表示モードから前記仮想現実映像表示モードに切り換えられると、仮想現実空間に火災現状の消火活動前の映像を表示させ、その後、前記消火活動前の映像が前記体験者に近寄ってきて止まるように制御し、その後、前記シミュレーション映像を表示させ、前記炎が鎮静化されて所定の程度に小さくなると、前記鎮静化されて所定の程度に小さくなった炎を含む消火活動後の映像が前記体験者に、更に近寄ってきて止まるように制御するようにしてもよい。
In a fourth embodiment according to the third embodiment,
When the virtual reality video generation unit is switched from the real video display mode to the virtual reality video display mode, the virtual reality video generation unit displays the video before the current fire fighting activity in the virtual reality space, and then the video before the fire fighting activity is displayed. Control to stop approaching the experience person, and then display the simulation image. You may make it control so that the image | video after the fire extinguishing activity to include may come closer to the said experience person, and may stop.
上記の第3の態様では、ホースを持つ手の奥行き方向(前後方向)の動きが考慮されないことから、体験者にとって、消火対象である炎までの距離感をつかみにくい場合があることを考慮し、第4の態様では、仮想現実空間における映像(例えば、背景映像に炎の映像が重畳された映像)を、適切なタイミングで、体験者に近づけるようにし、これによって、体験者は、自分が炎に向かって歩を進めた(言い換えれば、適切な距離になるまで移動した)かのような感覚を得ることができる。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、映像を体験者に近づけることで、体験者は、まずは、消火対象である炎に対して、消火剤が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。さらに、消火活動が進行して、ある程度のレベルまで炎が鎮静化されたタイミングで、映像を近づけることで、炎が小さくなったからといって油断せず、さらに近づいて、確実に炎を消すことが重要である、という基本事項を学ぶことができる。本態様では、奥行き方向(前後方向)についての手の動きは検出しない簡素化された構成が採用される一方で、体験者は、奥行き方向(前後方向)における消火動作の注意すべき事項についても確実に習得することが可能である。 In the third aspect, since the movement in the depth direction (front-rear direction) of the hand holding the hose is not taken into consideration, it may be difficult for the experiencer to grasp the sense of distance to the flame to be extinguished. In the fourth aspect, an image in the virtual reality space (for example, an image in which a flame image is superimposed on a background image) is brought close to the experience person at an appropriate timing. You can get the sensation of walking toward the flame (in other words, moving to an appropriate distance). For example, when switching from the real video display mode to the virtual reality video display mode, instead of immediately starting the fire fighting activity, the user first brings the fire to the fire extinguisher by bringing the video closer to the user. On the other hand, it is possible to learn the basic items of fire extinguishing activities that it is important to approach the distance that the extinguishing agent reaches. Furthermore, when fire extinguishing activities proceed and when the flame has subsided to a certain level, the image is brought closer, so even if the flame has become smaller, you can't be wary of it, and get closer and securely extinguish the flame. You can learn the basics that is important. In this aspect, a simplified configuration that does not detect the movement of the hand in the depth direction (front-rear direction) is adopted, while the experience person also has to be careful about matters to be noted in the fire-extinguishing operation in the depth direction (front-rear direction). It is possible to learn with certainty.
第1乃至第4の何れか1つに従属する第5の態様において、
前記仮想現実映像生成部は、前記火災現状の消火活動前の映像に含まれる背景の映像、及び前記シミュレーション映像に含まれる背景の映像として、前記体験者が見渡すことができるパノラマ映像を表示させてもよい。
In a fifth aspect depending on any one of the first to fourth,
The virtual reality video generation unit displays a panoramic video that can be overlooked by the user as a background video included in the video before the fire extinguishing activity under the current state of fire and a background video included in the simulation video. Also good.
第5の態様では、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像(例えば、横にぐるりと見渡せるような360度のパノラマ映像)を採用することで、体験者に、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周(あるいは部分周)型だけではなく、プラネタリウムのようなドーム(半球)スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者の左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。 In the fifth aspect, the video displayed in the virtual reality space is not a flat video but a panoramic video with a wide field of view (for example, a 360-degree panoramic video that can be looked around to the side) that the user can look around. By adopting it, you can let the experience experience fire extinguishing activities full of realism. In addition, panoramic images are not only full-circle (or partial-circumference) type, but all-round type that covers the upper half of the field of view with a dome (hemisphere) screen like a planetarium, full view from front to back, left, right, top to feet. An omnidirectional video image covering the image can be adopted as appropriate. In addition, if it is possible to provide separate images with parallax correctly to the left and right eyes of the experiencer, it is also possible to realize a panoramic image of a celestial sphere.
また、第1乃至第5の何れか1つに従属する第6の態様において、
前記制御部は、前記仮想現実空間における消火活動が終了した後、前記体験者の消火活動を所定の基準に従って評価し、前記評価を示す情報を前記HMDの前記ディスプレイに表示させる評価部を、更に有してもよい。
In the sixth aspect subordinate to any one of the first to fifth aspects,
The control unit, after the fire extinguishing activity in the virtual reality space is finished, evaluates the fire extinguishing activity of the experience person according to a predetermined standard, and further includes an evaluation unit that displays information indicating the evaluation on the display of the HMD, You may have.
第6の態様では、消火体験の終了後に、評価部による評価(例えば「採点結果」や、「優、良、可といった程度を示す評価」)を、HMDのディスプレイ上(あるいは、第2の態様のようにモニターを備える場合は、モニターの表示面上)に表示することができる。例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者(および観衆)は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者に、VRを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなる。 In the sixth aspect, after the fire extinguishing experience is over, the evaluation by the evaluation unit (for example, “scoring result” or “evaluation indicating the degree of good, good, good”) is performed on the display of the HMD (or the second aspect) When a monitor is provided as in the above, it can be displayed on the display surface of the monitor. For example, the experience (and the audience) can actually experience a useful fire extinguishing experience without becoming serious, with a sense of game, by being evaluated according to the time required for fire extinguishing, the direction of injection of fire extinguishing agent, etc. Can do. Giving an evaluation also gives the experience a motivation to actively participate in fire fighting activities using VR.
第7の態様において、体験用消火器は、第1乃至第6の何れか1つに従属するVRを用いた消火体験シミュレーションシステムを構成する(言い換えれば、システムの構成要素である)体験用消火器である。 In the seventh aspect, the fire extinguisher for experience constitutes a fire extinguishing experience simulation system using a VR subordinate to any one of the first to sixth (in other words, is a component of the system) It is a vessel.
体験用消火器は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサ及びセンサの検出情報をHMDに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器を用いて、室内で、手軽に、VRを用いた消火活動を体験することが可能となる。 The fire extinguisher for experience has a shape, structure, etc. imitating an actual fire extinguisher, and further includes a sensor for detecting the hand of the user and a communication unit for transmitting sensor detection information to the HMD. Yes, it is possible for many ordinary people to experience fire extinguishing activities using VR easily and indoors using a fire extinguisher for experience.
第8の態様において、プログラムは、第1乃至第6の何れか1つのVRを用いた消火体験シミュレーションシステムにおける前記HMDに備わる前記コンピュータを、前記制御部として動作させるプログラムである。 In an eighth aspect, the program is a program that causes the computer included in the HMD in the fire-fighting experience simulation system using any one of the first to sixth VRs to operate as the control unit.
第8の態様では、例えば、プログラムをHMDのコンピュータにロードすることで、HMDを、VRを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のHMD(専用のウエアラブルコンピュータ)を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、VRを用いた消火体験シミュレーションシステムの普及に貢献する。 In the eighth aspect, for example, by loading a program into an HMD computer, the HMD can be a component of a fire extinguishing experience simulation system using VR, and a dedicated HMD (dedicated wearable computer) is prepared. There is no need to do. Therefore, many general people can use it easily. This contributes to the spread of fire extinguishing experience simulation systems using VR.
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。 Those skilled in the art will readily understand that the illustrated embodiments according to the present invention can be further modified without departing from the spirit of the present invention.
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。 The best mode described below is used to easily understand the present invention. Accordingly, those skilled in the art should note that the present invention is not unduly limited by the embodiments described below.
以下の説明では、仮想現実(VR)を体験するための装置として、ヘッドマウントディスプレイ(以下、HMDと称する)を使用した例について説明するが、HMDは、人の頭部に装着するものに限定されず、肩や首、あるいは胴部等に装着されるものであってもよく、広義には、身につけることができるコンピュータ(ウエアラブルコンピュータ)と同義に解釈することが可能である。 In the following description, an example in which a head-mounted display (hereinafter referred to as HMD) is used as an apparatus for experiencing virtual reality (VR) will be described. However, the HMD is limited to a device that is worn on a human head. Instead, it may be worn on the shoulder, neck, trunk, etc., and in a broad sense, it can be interpreted synonymously with a computer that can be worn (wearable computer).
また、頭部に装着されるHMDとしては、コンピュータの部分がディスプレイから離れて据え置かれる据え置き型、コンピュータが、ゴーグルあるいは眼鏡の本体部に一体的に設けられる一体型、スマートフォンやタブレット端末等の携帯可能なモバイル端末(モバイル携帯端末)を頭部装着用の帯状の支持部材に着脱自在に取り付けることでHMDを構成するモバイル型に大別される。本発明においては、いずれを用いてもよいが、但し、本発明では、特に、年代を問わずに、誰もが手軽に、ローコストで消火活動体験を経験できるようにして、システムの普及をめざすことを重視しており、この観点から、以下の説明では、モバイル型のHMDを用いる例について説明する。 In addition, as the HMD to be mounted on the head, a stationary type in which a computer portion is placed away from a display, an integrated type in which a computer is integrally provided in a main body of goggles or glasses, a mobile phone such as a smartphone or a tablet terminal A mobile terminal (mobile portable terminal) is roughly classified into a mobile type that constitutes an HMD by detachably attaching it to a belt-like support member for head mounting. Any of these may be used in the present invention. However, in the present invention, in particular, regardless of the age, anyone can easily experience a fire fighting experience at a low cost, aiming to spread the system. From this point of view, in the following description, an example using a mobile HMD will be described.
図1(A)は、本発明に従う、VR(仮想現実)を用いた消火体験シミュレーションシステムの基本的な構成例を示す図、図1(B)は、VRを用いた消火体験シミュレーションにおける消火活動例を示す図である。図1(A)の左上側に示されるように、実空間において、体験者Uの前方方向(奥行き方向)にY軸が設定され、Y軸に直交する左右方向にX軸が設定され、Y軸に直交する鉛直方向にZ軸が設定され、各軸によって3次元の座標空間が定義される。この3次元の座標空間は、見かけ上、仮想現実(VR)空間においても同様に適用され得る。 FIG. 1A is a diagram showing a basic configuration example of a fire-fighting experience simulation system using VR (virtual reality) according to the present invention, and FIG. 1B is a fire-fighting activity in a fire-fighting experience simulation using VR. It is a figure which shows an example. As shown in the upper left of FIG. 1A, in real space, the Y axis is set in the forward direction (depth direction) of the experience person U, the X axis is set in the left-right direction orthogonal to the Y axis, and Y A Z axis is set in a vertical direction orthogonal to the axis, and a three-dimensional coordinate space is defined by each axis. This three-dimensional coordinate space can be similarly applied to a virtual reality (VR) space.
図1(A)の左上側に示されるように、体験者Uは、頭部にHMD10を装着している。HMD10のゴーグルは、スマートフォンやタブレット端末等の携帯可能なモバイル端末(モバイル携帯端末)16を、頭部装着用の帯状の支持部材12に着脱自在に取り付けることで構成され、また、炎が燃える音等を聞くことができるようにヘッドホン14も設けられている。
As shown in the upper left of FIG. 1A, the experience person U wears the
この構成の場合、スマートフォン等のモバイル端末16に備わるディスプレイ(例えば液晶表示装置)の表示面が、HMD10が装着されている体験者Uの眼1(左眼1L、右眼1R)の眼前に位置し、そのディスプレイに仮想現実映像が映し出されることで、体験者Uは、VR(仮想現実)を用いた消火活動体験をすることができる。モバイル端末16に備わるディスプレイには、左右の各眼毎に異なる映像(視差画像)を表示することもできるが、ここでは、モバイル端末16に備わるコンピュータの負担を軽減するために、各眼用の画像は同じ画像としている。すなわち、図1(A)の例では、HMD10は単眼ゴーグルを有する構成である。
In the case of this configuration, the display surface of a display (for example, a liquid crystal display device) provided in the
また、モバイル端末16に備わるコンピュータ(CPU、MPU等)は、例えば、予めローディングされるプログラム(アプリケーションプログラム)に従って動作することで、VR(仮想現実)を用いた消火体験シミュレーションシステムを構成するHMD10の動作を制御する制御部として機能する。なお、図1(B)では、制御部は、「HMD制御部200」と表記されている。なお、以下の説明では、単に、「制御部200」という場合がある。
In addition, the computer (CPU, MPU, etc.) provided in the
また、HMD10は、通信処理(体験用消火器20から送られてくるセンサの検出信号の受信処理、HMD10のディスプレイに表示している映像データの、モニター30への送信処理等)を行う通信部(第1の通信部:図1(A)では不図示、図1(B)では「HMD通信部300」と表記されている)と、HMD10を取り巻く実空間における実景を撮像することが可能な実景撮像用カメラ(後述)と、を備える。
In addition, the
また、図1(A)の左下側に示されるように、HMD10用のコントローラを兼ねる体験用消火器20が、予め用意されている。この体験用消火器20は、HMD10の通信部(第1の通信部)との間で通信を行う通信部(第2の通信部:例えば第1、第2の各センサS1、S2が通信機能も有しているとき、その通信機能を有する部分が第2の通信部となる)と、消火器本体22と、HMD10が仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバー24、及び仮想現実の消火剤5を先端から噴出させる噴出具として機能するホース26と、体験者Uによる操作レバー24の操作を検出する第1のセンサS1と、ホース26の先端28の動きを検出する第2のセンサS2と、を備えている。
In addition, as shown in the lower left side of FIG. 1A, an
なお、訓練用消火器20は、例えば、実際の消火器と同じものに、例えば、センサ及び通信部を備えるユニットを装着して実現することができるが、これに限定されるものではなく、訓練用消火器20の重さを軽くしたり、小児用に小ぶりの消火器としたり、消火器本体22の形状や表面に付されるデザインを若干、変更する等の変形は、適宜、なし得るものである。
Note that the
この訓練用消火器20は、HMD10用のコントローラとしての機能をもつが、更に、実際の消火器の操作を実体験するための体験用具(体験道具)としても機能する。ここで、従来、没入型のHMDを用いた対戦ゲーム等で、仮想現実空間における、例えば竹刀の動きを制御するために、使用者が、玩具の竹刀型のコントローラを手にして仮想現実空間内の竹刀を動かす、といったことが行われるが、その場合の玩具の竹刀は、単にコントローラとして機能しているにすぎず、実際の竹刀の使用に慣れる等を目的とする体験用具(体験道具)としては機能していない。従って、本発明の体験用消火器は、コントローラの機能と体験用具(体験道具)としての機能を併せ持つ、消火体験シミュレーション用の新規、かつ有用な構造物である。
This
言い換えれば、体験用消火器20は、実際の消火器を模した形状、構造等を有し、更に、体験者の手の動きを検出するセンサS1、S2等、及びセンサの検出情報をHMDに送信する通信部等を備える構成であり、多くの一般の方々が、体験用消火器20を用いて、室内で、手軽に、VRを用いた消火活動を体験することが可能となる。
In other words, the
また、図1(A)の右側に示されるように、体験者Uの近くには、モニター30が設置されている。モニター30は、図1(B)に明記されるように、HMD10の通信部(第1の通信部)との間で通信を行う通信部(第3の通信部)32を備える。また、モニター30は、図示はしないが画像処理装置を搭載している。
Further, as shown on the right side of FIG. 1A, a
モニターに備わる画像処理装置(不図示)は、HMD10の通信部(第1の通信部)及びモニター30の通信部(第3の通信部)32を経由して入力される(言い換えれば、無線通信を介して送受信されてモニター30の内部に入力される)、HMD10が実映像表示モードであるときの実映像の映像データ、及び仮想現実映像表示モードであるときの仮想現実映像の映像データに基づいて、体験者Uが、HMD10のディスプレイを介して見ているのと同じ映像を、モニター映像として表示する。図1(A)の例では、体験者Uが見ている体験用消火器20、及び体験者Uの左手の手首付近の映像、言い換えれば、実景撮像用カメラ(具体的には、図5の外カメラ103)で撮像した実映像が映し出されている。なお、体験者Uが聴いている音は、モニター30に備わるスピーカ(不図示)からも出力される。
An image processing apparatus (not shown) included in the monitor is input via the communication unit (first communication unit) of the
また、図1(A)の例では、消火活動の専門的な助言等を担当する指導者TCと、体験の順番待ちをしている体験希望者ADが、観衆としてモニター30に映し出されるモニター画像を見ている。モニター30が設置されることで、体験者以外の一人又は複数人(観衆)が、体験者Uと同じ映像を通して、同じ経験を共有することができる。よって、例えば、消火活動の指導者TCが、体験者Uに、適宜、助言を与えることが可能となり、また、観衆ADが、叫び声をあげるなどして、より現実感を増す演出をする、といったことも可能となる。
In the example of FIG. 1A, a monitor image in which an instructor TC who is in charge of specialized advice on fire fighting activities, and an experience candidate AD who is waiting for the experience is displayed on the
なお、モニター30は、例えば、複数人が共通に使用する一台の大型スクリーンを備える投射型表示装置であってよく、あるいは、観衆の各人のタブレット端末のディスプレイであってもよい。
The
図1(A)のように、消火器本体22や自身の手(右手3R)の映像(実映像)を体験者が確認した後、図1(B)へと移行する。言い換えれば、HMD10のモードが、HMD制御部200(具体的には、図5の実映像/仮想現実映像切換部212:後述)によって、実映像表示モードから仮想現実表示モードへと切り換えられる。
As shown in FIG. 1A, after the experience person confirms the image (actual image) of the fire extinguisher
図1(B)では、VRを用いた消火体験シミュレーションが開始される。HMD制御部200(具体的には、図5の仮想現実映像生成部210)は、HMD10が、実映像表示モードから仮想現実映像表示モードに切り換えられると、画像合成(画像のレンダリング)によって、体験者Uの手に握られたホース26の先端28を含む映像VR(1)と、ホース26の先端28から仮想現実の消火剤5が噴射される映像VR(2)と、仮想現実の炎7が鎮静される映像VR(3)とを、背景対象物9(図1(B)に示されるように、ここでは、火元となるタコ足配線のタップとする)を含む背景映像VR(4)に重畳させて、仮想現実表示のためのフレーム映像VR(4)を生成し、生成したフレーム映像VR(4)を含む映像を、シミュレーション映像として、HMD10のディスプレイに表示させ、また、これと併行して、フレーム映像VR(4)のデータを、モニター30へと送信させる。モニター30には、体験者Uが見ている映像と同じ映像が、モニター画像として映し出される。
In FIG. 1B, a fire-fighting experience simulation using VR is started. When the
フレーム映像VR(4)の生成は、図5に示される仮想現実映像生成部210が担当する。なお、仮想現実映像生成部210は、体験用消火器20から無線通信によって送られてくる(言い換えれば、体験用消火器20の第2の通信部、及びHMD10の第1の通信部を経由してHMD制御部200に入力される)、体験用消火器20の第1のセンサS1及び第2のセンサS2の各検出情報、ならびに経過時間の情報等に基づいて、ホース26の先端28から仮想現実の消火剤5が噴射される映像VR(2)、仮想現実の炎7が鎮静される映像VR(3)を生成する(後述)。
The generation of the frame video VR (4) is handled by the virtual reality
図1(A)、(B)に示されるように、本実施形態のVR(仮想現実)を用いた消火体験シミュレーションシステムでは、実際に使用される消火器を模した体験用消火器20(HMD10のコントローラを兼ねる)を用いて、実際の消火活動と同様の、レバー24の操作やホース26の先端28の向きを変える動作を、体験者U自身の手3(左手3L、右手3R)を使って行うことができる。よって、体験者Uは、実際の消火器の操作に慣れることができる。
As shown in FIGS. 1A and 1B, in the fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment, the fire extinguisher 20 (HMD10) that simulates the fire extinguisher that is actually used. Using the
また、すぐに仮想現実空間に入り込むのではなく、図1(A)に示されるように、まず、実映像(例えば、HMD10を構成するスマートフォン等のモバイル端末16のカメラで撮像した、訓練用消火器を含む実像)をディスプレイに表示し、体験者Uが、訓練用消火器20と自己の手(右手3R)の位置等を確認した後、その確認された実像に重ねる形で、仮想現実(VR)空間での消火活動シミュレーションを開始することが可能である。
In addition, as shown in FIG. 1A, instead of immediately entering the virtual reality space, first, an actual image (for example, a training fire extinguisher imaged by a camera of a
従って、現実の感覚を共有しながら、実際の消火活動の手順と同じ手順で、炎の消火作業を行うことができる。よって、体験者Uは、現実感を共有しつつ、実際の消火活動の手順を、臨場感をもって体験することが可能である。 Therefore, the fire extinguishing work can be performed in the same procedure as the actual fire extinguishing activity procedure while sharing a sense of reality. Therefore, the experience person U can experience the procedure of actual fire fighting activities with a sense of reality while sharing a sense of reality.
また、図1(A)、(B)に示される消火体験シミュレーションシステムの主な構成要素は、体験用消火器20とHMD10であり(更に、必要に応じて、モニター30が設けられる)、構成が簡素化されている。よって、可搬性(持ち運び性、設営性)に優れ、かつ簡便性(例えば、スタッフの個別サポートなしで、室内で手軽に実施できる点)も備えたシミュレータを、容易に実現することができる。
Moreover, the main components of the fire extinguishing experience simulation system shown in FIGS. 1A and 1B are the
本実施形態のVR(仮想現実)を用いた消火体験シミュレーションシステムは、従来の没入型のゲーム装置等は異なり、体験用消火器20という現実の道具を操作して、その触感や質感等を常に現実に感じ取りつつ、その現実の手の動きと連動して変化する、仮想現実空間でのVR映像による視覚によって臨場感あふれる消火活動を経験できるものであり、リアルな現実感を伴う仮想の消火体験シミュレータということができる。
The fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment is different from the conventional immersive game device and the like, and the actual tool such as the
次に、図2を参照する。図2(A)乃至図2(D)は、それぞれ、体験者が、ホースの先端を握る手の手首の支点を固定し、支点を中心として手首を回動させることで、ホースの先端から噴射する消火剤の方向を変化させる例を示す図である。 Reference is now made to FIG. 2 (A) to 2 (D) respectively show that the experience person fixes the wrist fulcrum of the hand holding the tip of the hose and rotates the wrist around the fulcrum, thereby ejecting from the tip of the hose. It is a figure which shows the example which changes the direction of the fire extinguisher to do.
図1(B)で説明したように、ホース26の先端28から噴射される仮想現実の消火剤5の噴射の方向は、ホース26の先端28を握っている体験者Uの手の動きによって変化する。その手の動きを、体験用消火器20のホース26の先端28に備わる第2のセンサS2によって検出する。例えば、第2のセンサS2として六軸センサ(複合型の慣性センサであり、X,Y,Zの各軸方向の動きと、各軸周りの回転θX、θY、θZを検出するもの)を用いれば、複雑な手の動きを詳細に検出することができる。もちろん、このような検出手法を本発明においても使用することもできるが、しかし、この場合は、検出情報が多いことから、シミュレーション用の画像を生成するための画像処理が複雑化し、HMD10を構成するモバイル端末16の処理能力を超える場合も想定され、また、高機能なモバイル端末を用意する場合には、コスト高となるのは否めない。消火体験シミュレーションシステムの普及を促進するためには、できるだけローコストで、多くの一般の方々が手軽に利用できることが望ましい。
As described with reference to FIG. 1B, the injection direction of the virtual reality
この観点から、図2の例では、画像処理の負担の軽減等を考慮し、HMD制御部200(具体的には、図5の仮想現実映像生成部210)は、仮想現実空間に表示される、ホース26の先端28を握る体験者Uの手(例えば右手3R)の手首の支点K1の位置を固定し、第2のセンサS2の検出信号に基づいて、手首の支点K1を中心として(具体的には、支点K1を中心とする手首の回動による変移を検出して)、仮想現実空間におけるホース26の先端28の向きを変えるようにする。
From this point of view, in the example of FIG. 2, the HMD control unit 200 (specifically, the virtual reality
図2(A)は、仮想現実空間における、右手3Rと、ホース26の先端28と、ホース26の先端28から噴出される仮想現実の消火剤5と、仮想現実の炎7を、上下方向(鉛直方向)に対応するZ軸に沿って見た場合の画像(Z軸方向から見た平面視のVR画像)を示している。図3(B)は、そのVR画像がモニター30に映し出されている様子を示している。
FIG. 2A shows the
図2(A)、(B)から明らかなように、仮想現実空間における右手3Rの手首の支点K1の位置が固定されており、実空間において、仮に右手3Rが動いたとしても、仮想現実空間では、その動きは反映されず、常に、支点K1は同じ位置にある。図3(A)の例では、Z軸を中心とした回動(回転)、言い換えれば、体験者Uから見て左右方向における、時計回り/反時計回りの回動(回転)が、体験用消火器20のセンサS2によって検出される。
2A and 2B, the position of the wrist fulcrum K1 of the
図2(C)は、図2(A)と同じ画像を、左右方向に対応するX軸方向から見た平面視のVR画像であり、図2(D)は、そのVR画像がモニター30に映し出されている様子を示す図である。同様に、支点K1は固定であり、X軸を中心とした回動(回転)、言い換えれば、体験者Uから見て上下方向における、時計回り/反時計回りの回動(回転)が、体験用消火器20のセンサS2によって検出される。
FIG. 2C is a plan view VR image of the same image as FIG. 2A viewed from the X-axis direction corresponding to the left-right direction, and FIG. 2D is the VR image on the
このように、検出する動きを、Z軸、X軸の各軸回りの回動(回転)による変移とする(もちろん、他の軸についての動きを検出してもよいが、この場合は、上記の2軸回りの動き以外の検出情報は画像生成に使用しない)ことによって、HMD制御部(制御部)200の処理負担等を軽減することができる。 In this way, the movement to be detected is a transition caused by rotation (rotation) around each of the Z-axis and X-axis (of course, movements about other axes may be detected. The detection information other than the movement around the two axes is not used for image generation), so that the processing load on the HMD control unit (control unit) 200 can be reduced.
言い換えれば、仮想現実空間に表示される、ホース26の先端28を握る体験者Uの手右手3Rの手首の支点K1の位置を固定し、その支点K1を中心とする、例えば手首の回動による変移量を角速度センサ(ジャイロセンサ等)で測定することでホース26の先端28の方向を特定することができ、一方、手の奥行き方向(前後方向であるY軸方向)に沿う動き(並進)や上下方向(鉛直方向)に沿う動き(並進)を考慮する必要がないことから、第2のセンサS2の検出負担を減らすことができ、また、HMD制御部(制御部)200における仮想現実映像生成部210(図5参照)の、映像生成のための画像処理の負担も軽減される。
In other words, the position of the wrist fulcrum K1 of the
また、消火器を使用する際の基本は、適切な距離から、炎7の、例えば中心に向けて勢いよく消火剤5を噴射しつつ、ホース26の先端28を持つ手(右手3R)の手首の動きによって噴出方向を微調整する、言い換えれば、腕や体を大きく動かすといった無駄な動きをせず、消火剤を炎に正確に当てる、ということであり、この基本動作を確実に体験することができる。よって、体験者Uは、実際に役に立つ、消火活動の基本を習得することができる。
Further, when using a fire extinguisher, the wrist of the hand (
次に、図3を参照する。図3(A)乃至図3(D)は、それぞれ、VRを用いた消火体験の手順例、ならびに仮想現実の炎の見える位置等について説明するための図である。図3において、前掲の図と同じ対象には同じ符号を付している。なお、この点は、他の図においても同様である。 Reference is now made to FIG. FIGS. 3A to 3D are diagrams for explaining a procedure example of a fire extinguishing experience using VR, a position where a virtual reality flame can be seen, and the like. In FIG. 3, the same reference numerals are assigned to the same objects as those in the previous figures. This point is the same in other drawings.
図3(A)では、HMD10を装着した体験者Uが、まず、体験用消火器20から安全ピン13を引き抜く、次に、一方の手(ここでは右手3R)をレバー24に掛け(握りしめていないので第1のセンサS1の検出信号はオフ状態)、他方の手(ここでは左手3L)でホース26の先端28を握る(保持する)。
In FIG. 3A, the experience person U wearing the
先に説明したように、図3(A)の状態では、ゴーグルとして機能するモバイル端末16は、カメラで撮像した実映像を表示しており(例えば、図1(A)のモニター画像参照)、体験者Uは、体験用消火器20や自身の手の位置等を視認して、確認することができる。
As described above, in the state of FIG. 3A, the
次に、HMD10が、実映像表示モードから仮想現実映像表示モードへと切り換えられる。図3(B)では、仮想現実空間に、火災現状の消火活動前の映像(例えば、火元となっている、オフィス内のタコ足配線のタップ9周りの映像)が表示される。体験者Uから炎7までの距離はL0である。その後、その映像が体験者Uの側に近寄ってきて止まる。この場合、体験者Uから炎7までの距離はL1(L1<L0)となる。
Next, the
火元の映像を、体験者Uに近づけさせるのは、以下の理由による。すなわち、上述のように、ホース26の先端28を持つ手の奥行き方向(前後方向)の動きが考慮されない場合には、体験者Uにとって、消火対象である炎7までの距離感をつかみにくい場合があり得る。この点を考慮し、仮想現実空間における火元の映像(背景映像に炎の映像が重畳された映像)を、適切なタイミングで、体験者Uに近づけるようにし、これによって、体験者Uが、自分が炎7に向かって歩を進めた(言い換えれば、適切な距離になるまで移動した)かのような感覚を得ることができるようにしている。例えば、実映像表示モードから仮想現実映像表示モードに切り換わったときに、すぐに消火活動を開始させるのではなく、火元の映像を体験者Uに近づけることで、体験者Uは、まずは、消火対象である炎7に対して、消火剤5が到達する距離まで近づくことが重要である、という消火活動の基本事項を学ぶことができる。
The reason why the image of the fire source is brought close to the experience person U is as follows. That is, as described above, when the movement in the depth direction (front-rear direction) of the hand having the
次に、図3(C)のように、消火活動のシミュレーション映像が表示され、仮想現実空間内において、消火剤5の噴射(噴霧)によって、炎7が、時間の経過と共に鎮静化される様子を示す映像が表示される。
Next, as shown in FIG. 3C, a simulation image of fire extinguishing activities is displayed, and the
次に、図3(D)のように、炎7が鎮静化されて所定の程度に小さくなる(例えば、炎の大きさが初期状態の30%程度となる)と、鎮静化されて所定の程度に小さくなった炎7を含む消火活動後の映像が、体験者Uに、更に近寄ってきて止まる。消火活動が進行して、ある程度のレベルまで炎7が鎮静化されたタイミングで、火元を含む映像を近づけることで、炎7が小さくなったからといって油断せず、さらに近づいて、確実に炎7を消すことが重要である、という基本事項を学ぶことができる。やがて、炎は完全に鎮火され、これによって体験シミュレーションが終了する。
Next, as shown in FIG. 3D, when the
このように、奥行き方向(前後方向)についての手の動きは検出しない簡素化された構成が採用される場合であっても、体験者Uは、奥行き方向(前後方向)における消火動作の注意すべき事項についても確実に習得することが可能である。 Thus, even when a simplified configuration that does not detect hand movement in the depth direction (front-rear direction) is employed, the experience person U is careful about the fire extinguishing operation in the depth direction (front-rear direction). It is possible to learn the necessary items.
次に、図4を参照する。図4(A)乃至図4(E)は、それぞれ、VRを用いた消火体験中における、体験者及び観衆(指導者を含む)が視認する映像例を示す図である。図4では、左側にHMD10(におけるディスプレイ)に表示される画像が示され、右側に、モニター30に表示される画像が示されている。
Reference is now made to FIG. FIG. 4A to FIG. 4E are diagrams showing examples of images visually recognized by the experience person and the audience (including the instructor) during the fire extinguishing experience using the VR, respectively. In FIG. 4, an image displayed on the HMD 10 (display) is shown on the left side, and an image displayed on the
図4(A)では、シミュレーションを開始するにあたってのナビゲーション画像が表示される。図4(B)では、先に、図1(A)に示した実映像(実像)が表示される。 In FIG. 4A, a navigation image for starting the simulation is displayed. In FIG. 4B, the real video (real image) shown in FIG. 1A is displayed first.
図4(C)では、実映像(実像)からVR映像(虚像)へと切り換わる。HMD10には、火元を示す画像(左眼用の炎7Lを示す画像VR(2L)、右眼用の炎7Rを示す画像VR(2R))が表示される。モニター30には、炎7を示す画像VR(2)が示される。
In FIG. 4C, the real video (real image) is switched to the VR video (virtual image). The
図4(D)では、HMD10には、消火活動中におけるシミュレーション画像(言い換えれば、左眼用のフレーム画像VR(FL)、右眼用のフレーム画像VR(FR))が表示される。モニター30には、フレーム画像VR(F)が表示される。
In FIG. 4D, a simulation image (in other words, a frame image VR (FL) for the left eye, a frame image VR (FR) for the right eye) during the fire extinguishing activity is displayed on the
図4(E)では、HMD10には、炎7が鎮静化されて初期の30%程度の大きさになった状態におけるシミュレーション画像(言い換えれば、左眼用のフレーム画像VR(FL)、右眼用のフレーム画像VR(FR))が表示される。モニター30には、フレーム画像VR(F)が表示される。
In FIG. 4E, the
次に、図5を参照する。図5は、VR(仮想現実)を用いた消火体験シミュレーションシステムの、全体の構成例を示す図である。図5の右上には、HMD10の本体(HMD本体)101における構成が示され、図5の左側には、HMD10の制御部(HMD制御部)200の構成が示されている。
Reference is now made to FIG. FIG. 5 is a diagram illustrating an overall configuration example of a fire-fighting experience simulation system using VR (virtual reality). 5 shows the configuration of the main body (HMD main body) 101 of the
HMD本体101は、画像処理部107と、外部を撮像する外カメラ(実景撮像用カメラ)103と、ディスプレイ駆動部109と、ディスプレイの左眼1L用の表示領域16Lと、ディスプレイの右眼1R用の表示領域16Rと、ヘッドホン14(左耳用のスピーカ11L及び右耳用のスピーカ11Lを含む)と、体験者Uの視線(視点)の移動を検出する内カメラ(瞳検出用カメラ)13と、センサ部15と、を有する。センサ部15は、視線検出部17と、ジャイロセンサや加速度センサ等を含む慣性センサ19と、センサ信号に基づいて手の動きを検出する動き検出部21と、を含む。
The HMD
なお、ヘッドホン14があることによって、例えば、消火体験シミュレーション中に、炎が燃える音等が体験者Uの耳に出力され、これによって、体験者Uは、より臨場感にあふれる消火活動を体験することができる。
In addition, the presence of the
また、内カメラ13によって撮影された瞳を、視線検出部17で解析することによって、体験者Uの視線位置(視点位置)を検出することができる。例えば、HMD10のディスプレイに、「シミュレーションを止める」、「消火活動をせずに逃げる」といった選択肢を提示し、体験者Uが、視線を、希望する選択肢に合わせることで、所望の動作を実行させる、といったことが可能となる。
In addition, the visual line position (viewpoint position) of the experience person U can be detected by analyzing the pupil photographed by the
制御部(HMD制御部)200は、仮想現実映像生成部210と、実映像/仮想現実映像切換部212と、記憶部220と、評価部(採点部)230と、タイマー240と、画像信号生成部250と、音響処理部260と、音響信号生成部270と、を有する。
The control unit (HMD control unit) 200 includes a virtual reality
制御部(HMD制御部)200は、図4(A)に示されるようなナビゲーション(案内)画像を生成する案内画像生成部211と、パノラマ画像生成部213と、ホース先端及び手首の画像生成部214と、消火剤の散布(噴出)画像生成部216と、火元の画像である燃焼画像を生成する燃焼画像生成部(言い換えれば、炎シミュレータ)216と、を有している。なお、パノラマ画像については後述する。
The control unit (HMD control unit) 200 includes a guide
ここで、実映像/仮想現実映像切換部212は、HMD10における実映像表示モード/仮想現実表示モードを切り換え、かつ、実映像表示モードの場合には、実景撮像用カメラ(外カメラ)103で撮像した実映像を、HMD10のディスプレイに表示させる。
Here, the real video / virtual reality
また、仮想現実映像生成部210は、HMD10が、実映像表示モードから仮想現実映像表示モードに切り換わると、体験用消火器20の通信部(第2の通信部)、及びHMDの通信部(第1の通信部)300を経由して入力される、体験用消火器20の第1のセンサS1及び第2のセンサS2の各検出情報(図5に示されるレバーのON/OFF信号、X軸、Z軸周りの回転(回動)による変移を示す情報θX、θZ)に基づいて、体験者Uの手に握られたホース26の先端28から仮想現実の消火剤が噴射される映像(図1(B)の映像VR(2))、及び仮想現実の炎が鎮静される映像(図1(B)の映像VR(3))を含むシミュレーション映像(図1(B)のフレーム映像VR(F))を表示させるように動作する。
In addition, when the
また、記憶部220は、RAM、ROM、EEPROM等からなり、画像生成用データ221と、システムプログラム222と、アプリケーションプログラム223と、を有する。
The
アプリケーションプログラム223は、VRを用いた消火体験シミュレーションシステムにおけるHMD10に備わるコンピュータ(CPU、MPU)を、制御部(HMD制御部)200として動作させるプログラムである。従って、アプリケーションプログラム223を、HMD10のコンピュータ(CPU、MPU)にロードすることで、HMD10を、VRを用いた消火体験シミュレーションシステムの構成要素とすることができ、専用のHMD(専用のウエアラブルコンピュータ)を用意する必要がない。よって、多くの一般者が、手軽に利用できるようなる。このことは、VRを用いた消火体験の普及に貢献する。
The
また、上述のとおり、制御部(HMD制御部)200は、評価部(採点部)230を有している。評価部(採点部)230は、仮想現実空間における消火活動が終了した後、体験者Uの消火活動を所定の基準に従って評価し、評価を示す情報をHMD10のディスプレイに表示させる。
Further, as described above, the control unit (HMD control unit) 200 includes the evaluation unit (scoring unit) 230. After the fire fighting activity in the virtual reality space is completed, the evaluation unit (scoring unit) 230 evaluates the fire fighting activity of the experience person U according to a predetermined standard, and displays information indicating the evaluation on the display of the
例えば、消火体験の終了後に、評価部(採点部)230による評価(例えば「採点結果」や、「優、良、可といった程度を示す評価」)が、HMD10のディスプレイ上、及びモニター30の表示面上に表示される。
For example, after the fire extinguishing experience is over, evaluation by the evaluation unit (scoring unit) 230 (for example, “scoring result” or “evaluation indicating degree of good, good, good”) is displayed on the display of the
具体的には、例えば、消火に要した時間、消火剤の噴射の向き等に応じて、評価が下されることによって、体験者(および観衆)は、ゲーム感覚で、深刻になることなく、実際に役立つ消火体験をすることができる。また、評価を与えることは、体験者Uに、VRを用いた消火活動に積極的に参加してみようとする動機付けを与えることにもなり、システムの普及に貢献する。 Specifically, for example, the experience (and the audience) does not become serious in a game sense by being evaluated according to the time required for fire extinguishing, the direction of jetting of the extinguishing agent, etc. You can have a practical fire fighting experience. Giving an evaluation also gives the experience U a motivation to actively participate in fire fighting activities using VR, contributing to the spread of the system.
次に、図6を参照する。図6(A)及び図6(B)は、パノラマ映像の表示について説明するための図、図6(C)は、炎シミュレータの基本的な構成例を示す図である。まず、パノラマ画像の生成について説明する。 Reference is now made to FIG. 6A and 6B are diagrams for explaining display of a panoramic image, and FIG. 6C is a diagram illustrating a basic configuration example of a flame simulator. First, generation of a panoramic image will be described.
図5で説明したように、仮想現実映像生成部210は、パノラマ画像生成部213を有している。パノラマ画像生成部213は、例えば、火災現状の消火活動前の映像に含まれる背景の映像、及びシミュレーション映像に含まれる背景の映像として、体験者Uが見渡すことができるパノラマ映像を生成して表示させる機能を有する。
As described with reference to FIG. 5, the virtual reality
ここで、仮想現実空間に表示される映像として、平面映像ではなく、体験者が見回すことのできる広視野なパノラマ映像(例えば、横にぐるりと見渡せるような360度のパノラマ映像)を採用することで、体験者Uに、臨場感あふれる消火活動を体験させることができる。なお、パノラマ映像は、全周(あるいは部分周)型だけではなく、プラネタリウムのようなドーム(半球)スクリーンで視野の上半分を覆うような全天周型、前後左右頭上から足元まで全視野を覆うような全天球型の映像を、適宜、採用することができる。また、体験者Uの左右の目に正しく視差の付いた別々の映像を与えることができれば、全天球立体型のパノラマ映像を実現することもできる。但し、例えば、視差画像を用いて、立体視を実現しようとすると、画像処理の負担が増えることから、制御部(HMD制御部)200の負担とならない範囲でのパノラマ画像の生成処理を行う必要がある。 Here, as a video displayed in the virtual reality space, a wide-view panoramic video (for example, a 360-degree panoramic video that can be looked around to the side) that can be viewed by the experiencer is adopted instead of a planar video. The experience person U can experience fire extinguishing activities full of realism. In addition, panoramic images are not only full-circle (or partial-circumference) type, but all-round type that covers the upper half of the field of view with a dome (hemisphere) screen like a planetarium, full view from front to back, left, right, top to feet. An omnidirectional video image covering the image can be adopted as appropriate. Further, if the left and right eyes of the experience person U can correctly provide separate images with parallax, an omnidirectional stereoscopic panoramic image can be realized. However, for example, if stereoscopic viewing is to be realized using a parallax image, the burden of image processing increases, so it is necessary to perform panoramic image generation processing within a range that does not burden the control unit (HMD control unit) 200. There is.
図6(A)では、半球状の座標空間MPを設定し、体験者Uの眼1(右眼1R、左眼1L)から、基準距離Lだけ離れた位置に、広視野に対応した曲面状の仮想的なスクリーン(映像投影領域)SEを設定する。このスクリーンSEを、体験者Uの頭部の動き(あるいは、図5で説明した眼の動き)に基づいて、例えば左右方向に回転(回動)させることで、体験者Uが横方向に見渡せるような広視野のパノラマ映像による表示を実現することができる。
In FIG. 6A, a hemispherical coordinate space MP is set, and a curved surface corresponding to a wide field of view is located at a position away from the eye 1 (
なお、図6(B)に記載されるように、体験者Uの頭部HAの動きは、例えば、図5で示した、HMD10の本体101に搭載される慣性センサによって、測定することができる。例えば、六軸センサ(複合型の慣性センサであり、X,Y,Zの各軸方向の動きと、各軸周りの回転θX、θY、θZを検出するもの)を用いれば、頭部HAの動きを詳細に検出することが可能である。
As shown in FIG. 6B, the movement of the head HA of the experience person U can be measured by, for example, an inertial sensor mounted on the
また、図5で説明した燃焼画像生成部(炎シミュレータ)216は、例えば、図6(C)のような構成を有する。すなわち、燃焼モデルに基づいて作成された火炎片データベース501と、燃焼画像データ生成部503と、タイマー505と、を有しており、燃焼画像データ生成部503は、体験用消火器20から送られてくるセンサ情報(センサS1、S2の検出信号)と、タイマー505が計測する経時情報と、を考慮して、火炎片データベース501にアクセスし、必要な大きさの火炎片を合成することで、刻一刻と変化する炎7の映像を生成する。
Moreover, the combustion image generation part (flame simulator) 216 demonstrated in FIG. 5 has a structure like FIG.6 (C), for example. In other words, it has a
図2(A)、(B)で説明したように、ホース26の先端28を保持する手(右手3R)の手首の回動(回転)に応じて、消火剤5の噴出方向が変更されるが、噴出の広がりは予めわかっていることから、噴出方向が定まれば、炎7のどの範囲に、単位時間当たり、どれだけの消火剤が当たるかを予測することができる。この予測結果に基づいて、上記のような構成を用いて、燃焼画像データを生成することができる。
As described with reference to FIGS. 2A and 2B, the ejection direction of the extinguishing
次に、図7を参照する。図7は、VR(仮想現実)を用いた消火体験シミュレーションシステムにおける、HMDの制御部(コンピュータ)の制御手順例を示すフローチャートである。なお、図7に示される手順は、先に、図3、図4で示したシミュレーション手順に従うものとする。 Reference is now made to FIG. FIG. 7 is a flowchart illustrating an example of a control procedure of the control unit (computer) of the HMD in the fire extinguishing experience simulation system using VR (virtual reality). Note that the procedure shown in FIG. 7 follows the simulation procedure shown in FIGS.
HMDの制御部(プログラムに従って動作するコンピュータ)200は、まず、操作説明等の案内(ガイダンス)映像を表示させ(ステップS10)、次に、図5の外カメラ103で撮像した画像(例えば、図4(B)で示したような体験用消火器20及び手首の付近の撮像画像)を表示させる(ステップS20)。
The HMD control unit (computer operating in accordance with the program) 200 first displays a guidance video such as an operation explanation (step S10), and then an image (for example, FIG. 5) captured by the
次に、VRを用いた消火体験が開始されると(ステップS30)、VR動画の映像(例えば、消火活動前の図4(C)で示したような、消火活動前の火災現状を示す映像)を表示させる(ステップS40)。次に、例えば、体験者Uが、消火活動の開始を選択するか否かを判定する(ステップS50)。ここでは、例えば、HMD10のディスプレイに、例えば、「逃げる」、「開始する」という2つの選択肢を提示し、体験者Uが、アイコンタクトでいずれか一方を選択する、というような手順が実施される。
Next, when a fire fighting experience using VR is started (step S30), a video of a VR video (for example, a video showing the current state of fire before the fire fighting activity as shown in FIG. 4C before the fire fighting activity). ) Is displayed (step S40). Next, for example, the experience person U determines whether or not to select the start of the fire fighting activity (step S50). Here, for example, a procedure in which, for example, two options of “run away” and “start” are presented on the display of the
ステップS50でYの場合は、図4(B)で説明したように、奥行き感を体感できるように、火元の画像を体験者Uに近づける(接近させる)制御を実施し(ステップS60)、体験者Uによるレバー操作の有無(レバー24のオン/オフ)を検出する(ステップS70)。 In the case of Y in step S50, as described with reference to FIG. 4B, the fire source image is controlled to approach (approach) the experience person U so that a sense of depth can be experienced (step S60). The presence or absence of lever operation by the experience person U (ON / OFF of the lever 24) is detected (step S70).
ステップS70でYの場合は、図4(C)で説明したように、ホース26の先端28から、消火剤5を放出するVR映像の表示、及び、散布される消火剤5によって時間経過と共に鎮火されていく炎のVR映像の表示を行う(ステップS80)。これと併行して、同じVR映像をモニター30に送信して、モニター30に表示させる(ステップS90)。
In the case of Y in step S70, as described with reference to FIG. 4C, the display of the VR image in which the
次に、図4(D)で説明したように、炎7が、初期状態の約30%以下の大きさにまで鎮火されると(ステップS100)、体験者Uに奥行き感を感じさせるべく、火元の映像を、さらに体験者に接近させ(ステップS110)、炎が鎮火されると(ステップS120)、採点(評価結果の生成)を行い、その採点(評価結果)を、HMD10のディスプレイ上、及びモニター30の表示面上に表示させる(ステップS130)。この場合、例えば、消火活動の制限時間を30秒とし、消火完了までの時間で評価することができる。例えば、15秒未満で消火できた場合は100点、15秒以上20秒未満で70点、というように評価する。
Next, as described in FIG. 4D, when the
以上、説明したように、本発明のVRを用いた消火体験シミュレーションシステム、プログラム及び体験用消火器によれば、可搬性、簡便性に優れ、実際の消火活動と同じ手順で消火体験ができ、適宜、指導者による指導を受けることも可能な、新規な消火体験シミュレータを実現することができる。 As described above, according to the fire extinguishing experience simulation system, program, and experience fire extinguisher using the VR of the present invention, it is excellent in portability and convenience, and a fire extinguishing experience can be performed in the same procedure as the actual fire extinguishing activity. A new fire extinguishing experience simulator that can receive guidance from a leader as appropriate can be realized.
また、消火までの時間、噴射の向きなどに応じて得点を付与するなどゲーム特生を持たせることで、消火体験への動機づけを与えることができる。また、消火剤の噴射可能時間を実際の消火器と同じにし、また、実際の消火器の使用感に近づけることで、実際に役立つ消火訓練を実現することができる。 In addition, motivation for the fire fighting experience can be given by giving game specials such as giving points according to the time until fire extinguishing, the direction of jetting, and the like. In addition, practical fire extinguishing training can be realized by making the jettable time of the extinguishing agent the same as that of an actual fire extinguisher and bringing it closer to the feeling of use of the actual fire extinguisher.
また、単眼ゴーグルを使用するなどして、小学生以下でも使用可とし、これによって、年代を問わず使えるシミュレータとなる。また、モニターを利用することで、観衆(観客)と体験者とが、同じ体験を共有することができる。 In addition, by using monocular goggles, it can be used by elementary school students and younger, so that it can be used regardless of age. In addition, by using the monitor, the audience (audience) and the experience can share the same experience.
また、例えば、火元に3〜5メートルの距離まで近づいて消火活動を始め、消火活動が進んで炎が小さくなったら、更に火元に近寄って、完全に消火するという、奥行き感のある消火行動を、仮想現実(VR)空間上で体感できる(図4(B)乃至図4(D))。 Also, for example, fire extinguishing activities that approach fire sources up to a distance of 3 to 5 meters, and when the fire extinguishing activities progress and the flames become smaller, the fire extinguishes closer to the fire source and extinguishes completely. Actions can be experienced in a virtual reality (VR) space (FIGS. 4B to 4D).
また、HMD10を構成するモバイル端末等をインターネットに接続しない構成とすることで、セキュリティの低下を防止することができる。
In addition, it is possible to prevent the security from being lowered by adopting a configuration in which the mobile terminal or the like constituting the
以上、本発明を実施形態に基づいて説明したが、本発明は、上記の実施形態に限定されるものではなく、種々、変形、応用が可能である。例えば、仮想現実空間で表示される背景の画像や炎の画像は、複数の画像の中から選択できるようにし、例えば、選択肢となる画像を定期的に更新することにより、より適切な状況を設定して、実践的な消火活動体験を手軽に実施できるようになる。 Although the present invention has been described based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are possible. For example, the background image and the flame image displayed in the virtual reality space can be selected from a plurality of images, and for example, a more appropriate situation can be set by periodically updating the options image. As a result, a practical fire fighting experience can be carried out easily.
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。 The present invention is not limited to the above-described exemplary embodiments, and those skilled in the art will be able to easily modify the above-described exemplary embodiments to the extent included in the claims. .
1(1L、1R)・・・体験者の眼(左眼、右眼)、3(3L、3R)・・・体験者の手(左手、右手)、5・・・仮想現実の消火剤(消火剤CG)、7・・・仮想現実の炎(炎CG)、9・・・火元となる対象物(例えばタップ)、10・・・HMD、12・・・頭部装着用の支持部材、14・・・ヘッドホン、16・・・モバイル端末、20・・・体験用消火器、22・・・消火器本体、24・・・レバー、26・・・ホース、28・・・ホースの先端(先端部)、30・・・モニター、32・・・モニター通信部(第3の通信部)、200・・・制御部(HMD制御部)、300・・・HMD通信部(第1の通信部)、TC・・・指導者、AD・・・観衆。 1 (1L, 1R) ... Experiencer's eyes (left eye, right eye), 3 (3L, 3R) ... Experiencer's hands (left hand, right hand), 5 ... Virtual reality fire extinguishing agent ( Fire extinguishing agent CG), 7... Virtual reality flame (flame CG), 9... Fire source object (for example, tap), 10... HMD, 12. , 14 ... headphones, 16 ... mobile terminal, 20 ... fire extinguisher for experience, 22 ... fire extinguisher body, 24 ... lever, 26 ... hose, 28 ... tip of hose (Tip portion), 30 ... monitor, 32 ... monitor communication unit (third communication unit), 200 ... control unit (HMD control unit), 300 ... HMD communication unit (first communication) Part), TC ... instructor, AD ... audience.
Claims (8)
前記HMDの前記第1の通信部との間で通信を行う第2の通信部と、消火器本体と、前記HMDが仮想現実(VR)表示モードである場合に、仮想現実の消火剤を噴射するスイッチとして機能する操作レバーと、前記仮想現実の消火剤を先端から噴出させる噴出具として機能するホースと、前記体験者による前記操作レバーの操作を検出する第1のセンサと、前記ホースの先端の動きを検出する第2のセンサと、を備え、前記HMDのコントローラとしての機能を兼ねる体験用消火器と、
を有し、
前記HMDの前記コンピュータは、前記HMDの動作を制御する制御部として機能し、
前記制御部は、
実映像表示モード/仮想現実表示モードを切り換え、かつ前記実映像表示モードの場合には、前記実景撮像用カメラで撮像した実映像を前記ディスプレイに表示させる実映像/仮想現実映像切換部と、
前記HMDが、前記実映像表示モードから前記仮想現実映像表示モードに切り換わると、前記第2、第1の通信部を経由して入力される、前記体験用消火器の前記第1のセンサ及び前記第2のセンサの各検出情報に基づいて、前記体験者の手に保持された前記ホースの前記先端から前記仮想現実の消火剤が噴射される映像、及び仮想現実の炎が鎮静される映像を含むシミュレーション映像を表示させる仮想現実映像生成部と、
を有することを特徴とする、VRを用いた消火体験シミュレーションシステム。 A head mounted display (HMD) that is equipped with a display that displays video, a computer, a first communication unit that performs communication processing, and a camera for capturing a real scene that captures a real scene;
Injecting a virtual reality fire extinguishing agent when the second communication unit that communicates with the first communication unit of the HMD, the fire extinguisher body, and the HMD is in a virtual reality (VR) display mode An operation lever that functions as a switch to perform, a hose that functions as an ejection tool that ejects the virtual reality fire extinguishing agent from the tip, a first sensor that detects operation of the operation lever by the experiencer, and a tip of the hose A second sensor for detecting the movement of the experience, a fire extinguisher for experience that also functions as a controller of the HMD,
Have
The computer of the HMD functions as a control unit that controls the operation of the HMD,
The controller is
A real image display mode / virtual reality display mode, and in the case of the real image display mode, an actual image / virtual reality image switching unit for displaying an actual image captured by the real scene imaging camera on the display;
When the HMD is switched from the real video display mode to the virtual reality video display mode, the first sensor of the fire extinguisher for experience, which is input via the second and first communication units, and Based on each detection information of the second sensor, an image in which the virtual reality fire extinguishing agent is jetted from the tip of the hose held in the hands of the experience person, and an image in which the virtual reality flame is calmed down A virtual reality video generation unit for displaying a simulation video including
A fire extinguishing experience simulation system using VR.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128155A JP6410378B1 (en) | 2017-06-30 | 2017-06-30 | Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128155A JP6410378B1 (en) | 2017-06-30 | 2017-06-30 | Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6410378B1 JP6410378B1 (en) | 2018-10-24 |
JP2019012154A true JP2019012154A (en) | 2019-01-24 |
Family
ID=63920495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017128155A Active JP6410378B1 (en) | 2017-06-30 | 2017-06-30 | Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6410378B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200117633A (en) * | 2019-04-05 | 2020-10-14 | 주식회사 에이알미디어웍스 | Fire fighting experience system based on mixed reality |
WO2020250377A1 (en) * | 2019-06-13 | 2020-12-17 | マクセル株式会社 | Head-mounted information processing device and control method thereof |
JP2021068209A (en) * | 2019-10-23 | 2021-04-30 | スコネック エンターテインメント カンパニー リミテッド | Virtual reality control system |
WO2021261595A1 (en) * | 2020-06-26 | 2021-12-30 | 川崎重工業株式会社 | Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft |
WO2023106539A1 (en) * | 2021-12-06 | 2023-06-15 | 주식회사 엘지에너지솔루션 | Vr-based fire response simulation method and device for secondary battery production |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109360453A (en) * | 2018-11-26 | 2019-02-19 | 四川科特检测技术有限公司 | Special equipment detection training system and method based on VR |
CN109767666A (en) * | 2019-01-15 | 2019-05-17 | 深圳市蓝游网络科技有限公司 | Fire-fighting life-saving drilling method based on VR technology |
CN109767668B (en) * | 2019-03-05 | 2021-04-20 | 郑州万特电气股份有限公司 | Unity 3D-based virtual fire-fighting training device |
JP2022007791A (en) | 2020-06-26 | 2022-01-13 | 川崎重工業株式会社 | System, method, and program for vr training of aircraft |
CN113077678A (en) * | 2021-04-06 | 2021-07-06 | 中国科学技术大学 | Multi-person interactive evacuation simulation system under multi-disaster coupling |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60260983A (en) * | 1984-06-08 | 1985-12-24 | 株式会社 ナムコ | Simulated fire extinguishment training apparatus |
JPH07117812B2 (en) * | 1990-07-18 | 1995-12-18 | 株式会社テレシステムズ | Imitation device for fire extinguishing training |
JPH09212078A (en) * | 1996-01-31 | 1997-08-15 | Hitachi Denshi Ltd | Education system |
US6129552A (en) * | 1996-07-19 | 2000-10-10 | Technique-Pedagogie-Securite Equipements | Teaching installation for learning and practicing the use of fire-fighting equipment |
JP2000352960A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Effect adding device for compound reality feeling picture, picture processing method for effect adding, and program storing medium |
JP2000353248A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Composite reality feeling device and composite reality feeling presenting method |
JP2005025563A (en) * | 2003-07-03 | 2005-01-27 | Canon Inc | Virtual reality generation method |
JP2012204998A (en) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | Head-mounted type display device and control method for head-mounted type display device |
JP2014155207A (en) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
JP2015121756A (en) * | 2013-12-25 | 2015-07-02 | 株式会社日立国際電気 | Rescue training system |
-
2017
- 2017-06-30 JP JP2017128155A patent/JP6410378B1/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60260983A (en) * | 1984-06-08 | 1985-12-24 | 株式会社 ナムコ | Simulated fire extinguishment training apparatus |
JPH07117812B2 (en) * | 1990-07-18 | 1995-12-18 | 株式会社テレシステムズ | Imitation device for fire extinguishing training |
JPH09212078A (en) * | 1996-01-31 | 1997-08-15 | Hitachi Denshi Ltd | Education system |
US6129552A (en) * | 1996-07-19 | 2000-10-10 | Technique-Pedagogie-Securite Equipements | Teaching installation for learning and practicing the use of fire-fighting equipment |
JP2000352960A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Effect adding device for compound reality feeling picture, picture processing method for effect adding, and program storing medium |
JP2000353248A (en) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Composite reality feeling device and composite reality feeling presenting method |
JP2005025563A (en) * | 2003-07-03 | 2005-01-27 | Canon Inc | Virtual reality generation method |
JP2012204998A (en) * | 2011-03-24 | 2012-10-22 | Seiko Epson Corp | Head-mounted type display device and control method for head-mounted type display device |
JP2014155207A (en) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
JP2015121756A (en) * | 2013-12-25 | 2015-07-02 | 株式会社日立国際電気 | Rescue training system |
Non-Patent Citations (3)
Title |
---|
"防災VR/火災編", IDEACLOUD INC., JPN6018021853, February 2017 (2017-02-01), pages 30 - 6, ISSN: 0003816421 * |
益村 明人、ほか2名: "VRを利用した消火訓練システム", 電子情報通信学会2001年情報・システムソサイエティ大会講演論文集, JPN6018021848, 29 August 2001 (2001-08-29), pages 265, ISSN: 0003867076 * |
益村 明人: "初期消火訓練のためのVirtual Reality環境", 名古屋大学大学院情報学研究科知能システム学専攻システム知能情報学講座, vol. [平成30年6月4日検索], JPN6018021850, 31 March 2002 (2002-03-31), ISSN: 0003816420 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200117633A (en) * | 2019-04-05 | 2020-10-14 | 주식회사 에이알미디어웍스 | Fire fighting experience system based on mixed reality |
KR102212241B1 (en) * | 2019-04-05 | 2021-02-04 | 주식회사 에이알미디어웍스 | Fire fighting experience system based on mixed reality |
WO2020250377A1 (en) * | 2019-06-13 | 2020-12-17 | マクセル株式会社 | Head-mounted information processing device and control method thereof |
JPWO2020250377A1 (en) * | 2019-06-13 | 2020-12-17 | ||
JP7324843B2 (en) | 2019-06-13 | 2023-08-10 | マクセル株式会社 | Head-mounted information processing device and its control method |
US11886629B2 (en) | 2019-06-13 | 2024-01-30 | Maxell, Ltd. | Head-mounted information processing apparatus and its controlling method |
JP2021068209A (en) * | 2019-10-23 | 2021-04-30 | スコネック エンターテインメント カンパニー リミテッド | Virtual reality control system |
JP7000397B2 (en) | 2019-10-23 | 2022-02-04 | スコネック エンターテインメント カンパニー リミテッド | Virtual reality control system |
WO2021261595A1 (en) * | 2020-06-26 | 2021-12-30 | 川崎重工業株式会社 | Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft |
JP2022007792A (en) * | 2020-06-26 | 2022-01-13 | 川崎重工業株式会社 | System, method, and program for vr training of aircraft |
JP7429613B2 (en) | 2020-06-26 | 2024-02-08 | 川崎重工業株式会社 | Aircraft VR training system, aircraft VR training method, and aircraft VR training program |
WO2023106539A1 (en) * | 2021-12-06 | 2023-06-15 | 주식회사 엘지에너지솔루션 | Vr-based fire response simulation method and device for secondary battery production |
Also Published As
Publication number | Publication date |
---|---|
JP6410378B1 (en) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6410378B1 (en) | Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program | |
US9884248B2 (en) | Display control method for head-mounted display (HMD) and image generation device | |
JP6257827B1 (en) | Method, program, and information processing apparatus executed by computer to provide virtual space | |
US11086392B1 (en) | Devices, systems, and methods for virtual representation of user interface devices | |
JP2018089227A (en) | Information processing method, device, and program for implementing that information processing method on computer | |
KR20160108017A (en) | Device for virtual tour experience and method thereof | |
US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
JP6306765B1 (en) | Method executed by computer for moving in virtual space, program for causing computer to execute the method, and information processing apparatus | |
JP2018072604A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device | |
JP6248219B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
KR101824083B1 (en) | Fire extinguisher for training of virtual reality | |
JP6479933B1 (en) | Program, information processing apparatus, and method | |
JP2018147465A (en) | Information processing method, device, and program for causing computer to execute the method | |
JP6203346B1 (en) | Method, program, and recording medium for providing virtual space | |
JP6263292B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
JP6225242B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
JP6382928B2 (en) | Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus | |
KR20210013900A (en) | Simulation system of digestion experience using VR | |
JP2018170013A (en) | Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device | |
JP2019020836A (en) | Information processing method, device, and program for causing computer to execute the method | |
JP2018129692A (en) | Head mounted display device and simulation system | |
JP6820299B2 (en) | Programs, information processing equipment, and methods | |
JP6330072B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6839046B2 (en) | Information processing methods, devices, information processing systems, and programs that allow computers to execute the information processing methods. | |
JP2019015972A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6410378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |