JP2016067844A - Aed operation supporting system using wearable terminal - Google Patents
Aed operation supporting system using wearable terminal Download PDFInfo
- Publication number
- JP2016067844A JP2016067844A JP2014203648A JP2014203648A JP2016067844A JP 2016067844 A JP2016067844 A JP 2016067844A JP 2014203648 A JP2014203648 A JP 2014203648A JP 2014203648 A JP2014203648 A JP 2014203648A JP 2016067844 A JP2016067844 A JP 2016067844A
- Authority
- JP
- Japan
- Prior art keywords
- video
- rescue
- rescuer
- operator
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ＡＥＤ（自動体外式除細動器）を操作する救護者を支援するシステムに係り、特に救護者が装着するグラス型（眼鏡型）のウェアラブル端末から送信される救護状況（映像・音声）をオペレータ（有識者）が救護者の視点で確認することができ、救護者に対し的確かつ直感的なオペレーション（救護活動）を指示することが可能となるＡＥＤ操作支援システムに関するものである。 The present invention relates to a system for supporting a rescuer who operates an AED (automated external defibrillator), and in particular, a rescue situation (video / image) transmitted from a glass-type (glasses-type) wearable terminal worn by the rescuer. The present invention relates to an AED operation support system in which an operator (intelligence) can confirm a voice (sound) from the viewpoint of a rescuer, and can instruct the rescuer to perform an accurate and intuitive operation (rescue activity).
ＡＥＤは２００４年７月より医療従事者ではない一般市民でも使用が可能となり、医療機関、消防機関、公共施設など様々場所に設置され普及が進んでいる。
設置が進んでいるＡＥＤだが、実際に救命の現場で有効活用されるためには、一般市民に対して、いざという時、的確な操作が行える様に操作方法について広く認知してもらう必要がある。そのため、認知度を高めるための活動とし、救命に関する講習会が各地で実施されており、実際にＡＥＤを操作することのできる環境が一般に提供されている。
The AED can be used by ordinary citizens who are not medical workers since July 2004, and has been installed in various places such as medical institutions, fire engines, and public facilities.
The AED is being installed, but in order to be effectively used in the lifesaving settings, it is necessary for the general public to be widely aware of the operation method so that an appropriate operation can be performed in an emergency. . For this reason, as a part of activities to increase awareness, lifesaving classes are held in various places, and an environment where the AED can actually be operated is generally provided.
ただ、ＡＥＤの操作が必要となる場合、その操作を行う救護者が必ずしも前述の様な講習会を受けているとは限らない。そのため、ＡＥＤ自体も、救護者に操作経験がない場合でも操作が行える様に、音声にて操作手順のガイダンスを流すものや、オペレータとの音声によるコミュニケーションを可能とし、対話形式で操作を支援するといった機能を有するものがある。これは特に救護者がＡＥＤを操作した経験がない場合においては必要不可欠なものであると言える。 However, when the operation of the AED is necessary, the rescuer who performs the operation does not necessarily have received the above-described class. For this reason, the AED itself can be used even if the rescuer has no experience in operation, and it can be used to provide guidance on the operation procedure by voice and voice communication with the operator to support the operation in an interactive manner. Some of them have functions such as This can be said to be indispensable especially when the rescuer has no experience of operating the AED.
下記特許文献１に開示された技術は、ＡＥＤにスピーカフォン機能を有しており、救護者がオペレータと対話しながら救護が行えるようにしたものである。 The technology disclosed in Patent Document 1 below has a speakerphone function in an AED, and a rescuer can perform rescue while interacting with an operator.
前述の通り、ＡＥＤには音声にて操作手順のガイダンスを流すものや、オペレータとの音声による対話を可能としたものなど、救護者によるＡＥＤの操作を支援する機能を有するものがいくつか存在する。しかし、実際に人命のかかった救命の現場において、救護者がＡＥＤを初めて操作するとなった場合、救護者はかなりの緊張状態であることが想定され、音声のみの支援では、救護者がオペレータに状況を伝えるのも、オペレータから指示を救護者が落ち着いて理解し、行動に移すことも難しいのではないかと考えられる。例えば救護者がオペレータから現場の状況を聞かれた場合、救護者は処置を続けながら言葉のみで状況を正確に伝えなければならない。もし、このような状況で音声のみならず、救護者の視点による映像でオペレータと状況を共有できれば、言葉での伝達は不要となり、オペレータは共有された映像を見ただけで現場の状況を確認することができる。救護者においても処置に集中できるため、より落ち着いて処置を進めることができる。
また、ＡＥＤの操作で不明な点があったとしても、映像と音声を通して、「そこです」や「それです」など、より直感的に対話を行うことができる。これにより処置の正確性が上がることは勿論、対話を行う救護者とオペレータのコミュニケーションのスピードも上がるため、結果的に処置を完了するまでの時間短縮にもつながる。
As mentioned above, there are some AEDs that have a function to support the operation of AEDs by rescuers, such as those that provide guidance on operation procedures by voice and those that allow voice dialogue with operators. . However, when a rescuer operates an AED for the first time in a lifesaving situation where human life has actually taken place, it is assumed that the rescuer is in a considerable state of tension. It is thought that it is difficult for the rescuer to calmly understand the instructions from the operator and move them to action. For example, if the rescuer is asked by the operator about the situation in the field, the rescuer must accurately convey the situation by words only while continuing the treatment. If the situation can be shared with the operator not only by voice but also from the viewpoint of the rescuer in this situation, it is not necessary to communicate in words, and the operator can check the situation at the site simply by viewing the shared video. can do. Since the rescuer can concentrate on the treatment, the treatment can proceed more calmly.
In addition, even if there are unclear points in the operation of the AED, it is possible to perform a more intuitive dialogue such as “There is” or “It is” through video and audio. As a result, the accuracy of the treatment is improved, and the speed of communication between the rescuer and the operator who conducts the dialogue is also increased. As a result, the time until the treatment is completed is shortened.
本発明の目的は、グラス型（眼鏡型）のウェアラブル端末を使用し、救護者視点の映像を救護者とオペレータで共有でき、ＡＥＤ操作時にオペレータから救護者に対して、的確で直感的な操作支援を可能とするＡＥＤ操作支援システムを提供することにある。 An object of the present invention is to use a glass-type (glasses-type) wearable terminal, and to share a rescuer's viewpoint image between the rescuer and the operator, and from the operator to the rescuer during the AED operation, an accurate and intuitive operation. An object is to provide an AED operation support system that enables support.
上記目的を達成するために、本発明のＡＥＤ操作支援システムは、ＡＥＤの付属装置として構成され、救護者による救護対象者の救護活動状況を撮影するカメラ、救護活動に関わる指示や応答を遠隔支援者であるオペレータとの間で音声によって送受するためのマイクと、救護の参考となる参考映像を表示すると共に、救護者による救護活動状況の映像を表示する表示手段とを備えたウェアラブル端末と、このウェアラブル端末からの支援要求を受け、前記遠隔支援者であるオペレータに対して前記ウェアラブル端末のカメラによって撮影した救護活動状況の映像をリアルタイムで通知すると共に、救護の参考となる映像をオペレータの指示に従い選択して前記ウェアラブル端末に送信し、前記オペレータによる救護支援に係る指示音声を前記ウェアラブル端末に送信するオペレーション端末と、このオペレーション端末と前記ウェアラブル端末との映像信号、音声信号の通信制御を救護支援の開始時から終了時まで支援要求別に実行するオペレーション制御手段とを備えたことを特徴とする。 In order to achieve the above object, the AED operation support system according to the present invention is configured as an auxiliary device of the AED, and provides remote support for instructions and responses related to the rescue activity, a camera for photographing the rescue activity status of the rescue target by the rescuer. A wearable terminal equipped with a microphone for transmitting and receiving by voice to and from the operator who is a person, a reference image for reference of rescue, and a display means for displaying a video of the rescue activity status by the rescuer; In response to the support request from the wearable terminal, the remote support operator is notified in real time of the rescue activity status image taken by the wearable terminal camera, and the operator provides an instruction for the rescue. Selected according to the above and transmitted to the wearable terminal, and the instruction voice related to the rescue support by the operator An operation terminal for transmitting to the wearable terminal, and an operation control means for executing communication control of video signals and audio signals between the operation terminal and the wearable terminal for each support request from the start to the end of rescue support. Features.
本発明のＡＥＤ操作支援システムによれば、ウェアラブル端末を通して、オペレータが救護者の視点で処置状況を確認できる様になり、オペレータから救護者に対する操作支援をより的確で直感的なものにすることができる。
映像を交えた対話を実現するため、コミュニケーションスピードを向上することができ、結果的にＡＥＤを操作した処置にかかる時間を短縮することができる。
According to the AED operation support system of the present invention, the operator can confirm the treatment status from the viewpoint of the rescuer through the wearable terminal, and the operation support from the operator to the rescuer can be made more accurate and intuitive. it can.
Since the dialogue with the video is realized, the communication speed can be improved, and as a result, the time required for the treatment of operating the AED can be shortened.
以下、本発明を適用したウェアラブル端末を用いたＡＥＤ操作支援システムの一実施の形態について説明する。
図１は、本発明に係るＡＥＤ操作支援システムの実施の形態を示すシステム構成図である。
本実施形態で示すＡＥＤ操作支援システムは、オペレーション情報を管理するオペレーション制御システム１０２と、オペレータと救護者との間で交わされる映像・音声データの通信処理を担う映像・音声通信システム１１０と、オペレーションセンタ１１４に配備され、オペレータが操作するオペレーション端末１１５ａ、１１５ｂ、１１５ｎと、ＡＥＤの付属装置として具備され、救護者が装着するグラス型のウェアラブル端末１１７ａ、１１７ｂ、１１７ｎから構成される。
ここで、オペレーション情報とは、オペレータと救護者との間で交わされる映像・音声データや、その応答を識別するオペレーション単位のＩＤ等で構成される情報である。
オペレーション端末１１５ａ、１１５ｂ、１１５ｎはインターネット１１８に接続されており、同じくインターネット１１８に接続されるオペレーション制御システム１０２、映像・音声通信システム１１０とインターネット１１８を介して接続される。ウェアラブル端末１１５ａ、１１５ｂ、１１５ｎは無線回線により基地局１１６と接続され、インターネット１１８に接続される基地局１１６を通して、オペレーション制御システム１０２、映像・音声制御システム１１０と接続される。
Hereinafter, an embodiment of an AED operation support system using a wearable terminal to which the present invention is applied will be described.
FIG. 1 is a system configuration diagram showing an embodiment of an AED operation support system according to the present invention.
The AED operation support system shown in the present embodiment includes an
Here, the operation information is information composed of video / audio data exchanged between the operator and the rescuer, an operation unit ID for identifying the response, and the like.
The
オペレーション制御システム１０２には、オペレーション制御データベース１０１が設けられる。オペレーション制御データベース１０１には、オペレーション制御情報が格納され、オペレーション端末１１５ａ、１１５ｂ、１１５ｎごとのオペレーション状況が管理される。救護者が装着するウェアラブル端末１１７ａ、１１７ｂ、１１７ｎからオペレーション開始要求（救護者から有識者に対する救護支援の開始要求）があった場合は、オペレーション制御システム１０２が、実際のオペレーション状況をもとにオペレーションセンタ１１４のオペレータによる指示を救護者に伝達しながら救護活動を支援する。
The
オペレーション制御システム１０２は、前述したオペレーション制御データベース１０１に格納されるオペレーション制御情報の検索処理を行う検索処理部１０４と、同じく更新処理を行うＤＢ更新部１０３と、映像・音声通信システム１１０、オペレーション端末１１５ａ、１１５ｂ、１１５ｎ、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの映像・音声情報の送受信を行う送受信部１０５とを備える。
The
図２は、オペレーション制御データベース１０１の構成を示したデータ構成図である。
オペレーション制御データベース１０１は、オペレーション端末情報テーブル２０１とオペレーション制御情報テーブル２０２から構成される。
オペレーション端末情報テーブル２０１は、オペレーションセンタＩＤ２０３とオペレーション端末ＩＤ２０４とステータス２０５から構成される。
オペレーション制御情報テーブル２０２は、オペレーションＩＤ２０６、オペレーションセンタＩＤ２０７、オペレーション端末ＩＤ２０８、開始日時２０９、終了日時２１０から構成される。
FIG. 2 is a data configuration diagram showing the configuration of the
The
The operation terminal information table 201 includes an
The operation control information table 202 includes an
映像・音声通信システム１１０には、映像・音声通信データベース１０６と映像・音声格納領域１０７が設けられる。
映像・音声通信データベース１０６には、オペレーション制御システム１０２から通知を受けたオペレーションＩＤと、それに紐付く映像・音声格納領域上の映像・音声データの格納場所が登録される。
映像・音声格納領域１０７は、オペレーション単位で、オペレータ領域１０８と救護者領域１０９が設けられる。この領域には、各オペレーションにおいて、オペレータと救護者からリアルタイムに送信される映像・音声データがそれぞれ格納される。
The video /
In the video /
The video /
映像・音声通信システム１１０は、前述した映像・音声通信データベース１０６の検索処理を行う検索処理部１１２と、同じく更新処理を行うＤＢ更新部１１１と、オペレーション制御システム１０２、オペレーション端末１１５ａ、１１５ｂ、１１５ｎ、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの送受信を行う送受信部１１３とを備える。
The video /
図３は、映像・音声通信データベース１０６の構成を示したデータ構成図である。
映像・音声通信データベース１０６は、映像・音声格納領域情報テーブル３０１から構成される。映像・音声格納領域情報テーブル３０１は、オペレーションＩＤ３０２、オペレータ領域３０３、救護者領域３０４から構成される。
FIG. 3 is a data configuration diagram showing the configuration of the video /
The video /
図４は、オペレーションセンタ１１４に設置されたオペレーション端末１１５ａ、１１５ｂ、１１５ｎの構成を示した図である。
オペレーション端末１１５ａ、１１５ｂ、１１５ｎは一般的なＰＣ（パーソナルコンピュータ）であり、表示部（ディスプレイ）４０１、入力部（マウス、キーボード、マイク）４０８、出力部（スピーカー）４０９、送受信部４１０から構成される。
また、オペレーション端末１１５ａ、１１５ｂ、１１５ｎにはオペレーション用アプリケーション４０２がインストールされる。このオペレーション用アプリケーション４０２は、オペレーション要求確認処理部４０３、映像・音声送受信処理部４０４、映像・音声データ処理部４０５、救護参考ファイル選択処理部４０６、オペレーション終了要求処理部４０７から構成される。
FIG. 4 is a diagram showing the configuration of the
The
In addition, an
図５は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎの構成を示した図である。ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎは、表示部（ディスプレイ）５０１、入力部（カメラ、マイク）５０６、出力部（スピーカー）５０７、送受信部５０８、データ処理部５０２から構成される。
データ処理部５０２は、オペレーション開始要求処理部５０３、映像・音声データ送受信部５０４、映像・音声データ処理部５０５から構成される。
FIG. 5 is a diagram showing the configuration of
The
表示部（ディスプレイ）５０１はグラス型ウェアラブル端末であるため、グラス（眼鏡）のレンズ部分と共有した構成になっている。入力部５０６を構成するカメラは、救護対象者の映像を撮影可能なように、救護者の頭部の一部にヘッドバンド等によって固定されている。また、マイクは救護者の音声を確実に集音できるように救護者の口元付近に固定されている。
Since the display unit (display) 501 is a glass-type wearable terminal, it is configured to be shared with the lens part of the glass (glasses). The camera that constitutes the
以下、以上の様に構成されたＡＥＤ操作支援システムの動作を説明する。
図６は、オペレーション制御システム１０２のオペレーション制御処理の概要を示すフローチャートである。
オペレーション制御システム１０２は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎからのオペレーション開始要求（救護者から有識者に対する救護支援の開始要求）を受信した場合、オペレーション制御データベース１０１のオペレーション端末情報テーブル２０１からステータ２０５が「要求待ち」になっているオペレーション端末の検索を行う（ステップ６０１、６０２）。
The operation of the AED operation support system configured as described above will be described below.
FIG. 6 is a flowchart showing an outline of operation control processing of the
When the
次に検索結果で取得した要求待ち状態のオペレーション端末からランダムで１つを抽出し、そのオペレーション端末のステータス２０５を「受付待ち」に更新する（ステップ６０３、６０４）。その後、オペレーション開始要求の応答として、開始要求の発信元のウェアラブル端末１１７ａ、１１７ｂ、１１７ｎの１つに対して正常メッセージの返却を行う（ステップ６０５）。この正常メッセージには、「受付待ち」となったオペレーション端末のＩＤ２０４、オペレーションセンタＩＤ２０３が含まれている。
Next, one is randomly extracted from the operation terminals waiting for the request acquired from the search result, and the
オペレーション制御システム１０２は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎからのオペレーション要求確認（正常メッセージを確認したことを示す応答メッセージであり、救護支援要求に対しいずれかのオペレーション端末の救護支援体制の準備が整ったことを開始要求の発信元のウェアラブル端末が確認したことを意味するメッセージ）に対する要求を受信した場合、要求に含まれるオペレーションセンタＩＤ２０３とオペレーション端末ＩＤ２０４、ステータス２０５を「受付待ち」の条件でオペレーション端末情報テーブル２０１の検索を行う（ステップ６０６、６０７）。
The
検索で該当データがある場合は、そのデータのステータス２０５を「対応中」に更新し、各オペレーションを一意に識別するオペレーションＩＤの発番を行い、次にオペレーション制御テーブル２０２へ発番したオペレーションＩＤ２０６、オペレーションセンタＩＤ２０７、オペレーション端末ＩＤ２０８、開始日時２０９（システム日付）を登録する（ステップ６０８、６０９、６１０）。その後、映像・音声通信システム１１０へオペレーション開始通知を送信し、正常終了のメッセージを受けて、オペレーション端末１１５ａ、１１５ｂ、１１５ｎへオペレーション要求確認の応答として、発番したオペレーションＩＤを返却する（ステップ６１１、６１２）。
If there is corresponding data in the search, the
オペレーション制御システム１０２は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎからオペレーション終了要求を受信した場合、要求に含まれるオペレーションセンタＩＤ２０３、オペレーション端末ＩＤ２０４を条件にオペレーション端末情報テーブル２０１の検索を行い、検索で該当データがある場合は、そのデータのステータス２０５を「要求待ち」に更新する（ステップ６１３、６１４、６１５）。
When the
次に同じく要求に含まれるオペレーションＩＤ２０６を条件にオペレーション制御テーブル２０２の検索を行い、検索で該当データがある場合は、そのデータの終了日時２１０をシステム日付で更新する（ステップ６１６、６１７）。その後、映像・音声通信システム１１０に対して、オペレーション終了通知を送信し、正常終了のメッセージを受けて、オペレーション端末１１５ａ、１１５ｂ、１１５ｎに対して、オペレーション終了要求の応答として、正常終了のメッセージの返却を行う（ステップ６１８、６１９）。
Next, the operation control table 202 is similarly searched on the condition of the
図７は、映像・音声通信システム１１０の映像・音声通信処理の概要を示すフローチャートである。
映像・音声通信システム１１０は、オペレーション制御システム１０２からのオペレーション開始通知を受信した場合、映像・音声格納領域１０７に、オペレータが操作するオペレーション端末からリアルタイムに送信される映像・音声データの格納領域としてオペレータ領域１０８、救護者が保持しているウェアラブル端末からリアルタイムに送信される映像・音声データの格納領域として救護者領域１０９を作成する（ステップ７０１、７０２、７０３）。
FIG. 7 is a flowchart showing an outline of video / audio communication processing of the video /
When receiving the operation start notification from the
次に映像・音声通信データベース１０６の映像・音声格納領域情報テーブル３０１に、オペレーションＩＤ３０２、オペレータ領域３０３の場所、救護者領域３０４の場所を登録する（ステップ７０４）。このとき登録するオペレータ領域３０３の場所、救護者領域３０４の場所とはデータを格納するディレクトリのパスとなる。
映像・音声格納領域情報テーブル３０１への登録後、オペレーション制御システム１０２へオペレーション開始要求の応答として、正常終了のメッセージを返却する（ステップ７０５）。
Next, the
After registration in the video / audio storage area information table 301, a normal end message is returned to the
映像・音声通信システム１１０は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎからのオペレータ映像・音声通信要求を受信した場合、要求に含まれるオペレーションＩＤ３０２を条件に映像・音声格納領域情報テーブル３０１の検索を行う（ステップ７０６、７０７）。検索で該当データがある場合、オペレーション端末１１５ａ、１１５ｂ、１１５ｎからの要求に対して、オペレーション端末１１５ａ、１１５ｂ、１１５ｎとの間にオペレータ映像・音声データ通信用の通信接続を確立する（ステップ７０８）。以降、この接続を利用して映像・音声通信システム１１０とオペレーション端末１１５ａ、１１５ｂ、１１５ｎとの間で、映像・音声データをリアルタイムに送受信する（ステップ７０９）。
When receiving the operator video / audio communication request from the
送信の際は、前述の映像・音声格納領域情報テーブル３０１の検索で取得した救護者領域３０３の格納場所をもとに救護者領域１０９に格納されている映像・音声データをオペレーション端末１１５ａ、１１５ｂ、１１５ｎへ送信する。
受信の際は、同じく映像・音声格納領域情報テーブル３０１の検索で取得したオペレータ領域３０３の格納場所をもとにオペレーション端末１１５ａ、１１５ｂ、１１５ｎから送信されてくる映像・音声データをオペレータ領域１０８に格納する。
At the time of transmission, the video / audio data stored in the
At the time of reception, the video / audio data transmitted from the
映像・音声通信システム１１０は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎからの救護者映像・音声通信要求を受信した場合、要求に含まれるオペレーションＩＤ３０２を条件に映像・音声格納領域情報テーブル３０１の検索を行う（ステップ７１０、７１１）。検索で該当データがある場合、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎからの要求に対して、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの間に救護者映像・音声データ通信用の通信接続を確立する（ステップ７１２）。以降、この接続を利用して映像・音声通信システム１１０とウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの間で、映像・音声データをリアルタイムに送受信する（ステップ７１３）。
When receiving the rescuer video / audio communication request from the
送信の際は、前述の映像・音声格納領域情報テーブル３０１の検索で取得したオペレータ領域３０３の格納場所をもとにオペレータ領域１０８に格納されている映像・音声データをウェアラブル端末１１７ａ、１１７ｂ、１１７ｎへ送信する。
受信の際は、同じく映像・音声格納領域情報テーブル３０１の検索で取得した救護者領域３０４の格納場所をもとにウェアラブル端末１１７ａ、１１７ｂ、１１７ｎから送信されてくる映像・音声データを救護者領域１０９に格納する。
前述の映像・音声データ通信用の通信接続は、例えば、ＷｅｂＳｏｃｋｅｔの様な双方向通信用の技術を用いて実現するものであり、映像・音声通信システム１１０とオペレーション端末間１１５ａ、１１５ｂ、１１５ｎと、映像・音声通信システム１１０とウェアラブル端末１１７ａ、１１７ｂ、１１７ｎ間の映像・音声データの送受信はこの接続を利用して双方向にリアルタイムで行われるものである。
At the time of transmission, the video / audio data stored in the
At the time of reception, the video / audio data transmitted from the
The above-described communication connection for video / audio data communication is realized by using a bidirectional communication technology such as WebSocket, for example, and between the video /
映像・音声通信システム１１０は、オペレーション制御システム１０２からオペレーション終了通知を受信した場合、要求に含まれるオペレーションＩＤ３０２を条件に映像・音声格納上情報テーブル３０１の検索を行い、検索で該当するデータがある場合は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎ、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの映像・音声通信用の通信接続を終了し、オペレーション制御システム１０２へオペレーション終了通知の応答として、正常メッセージを返却する（ステップ７１４〜７１８）。
When receiving the operation end notification from the
図８は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎにおける、オペレーション用アプリケーション４０２の処理概要を示すフローチャートである。
オペレーション用アプリケーション４０２は、アプリケーションの起動後、自端末に対するオペレーション要求があるかを定期的にオペレーション制御システム１０２へ問合せする（ステップ８０１、８０２）。問合せの応答として、オペレーション制御システム１０２から自端末への要求があることを意味するオペレーションＩＤの返却があった場合、このオペレーションＩＤを含めて、映像・音声通信システム１１０へオペレータ映像・音声通信要求を送信し、映像・音声通信システム１１０との間にオペレータ映像・音声データ通信用の通信接続を確立する（ステップ８０３〜８０５）。以降、この接続を利用して映像・音声通信システム１１０とオペレーション端末１１５ａ、１１５ｂ、１１５ｎとの間で、映像・音声データをリアルタイムに送受信する。
FIG. 8 is a flowchart showing an outline of processing of the
The
送信の際は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎの入力部（マイク）４０８を通して録音された音声データと、ファイル送信コマンドの入力により選択された救護参考ファイルの映像データとを映像・音声データ変換処理を通して通信用のデータに変換し、映像・音声通信システム１１０へ送信する（ステップ８０６、８０７、８１０、８１１）。
受信の際は、映像・音声通信システム１１０から送られてくる救護者側のウェアラブル端末１１７ａ、１１７ｂ、１１７ｎで撮影、録音された映像・音声データを映像・音声データ変換処理を通して映像データは表示部（ディスプレイ）４０１で表示可能な形式に、音声データは出力部（スピーカー）４０９で出力可能な形式に変換し、映像データは表示部（ディスプレイ）４０１で表示し、音声データは出力部（スピーカー）４０９で出力する（ステップ８０７〜８０９）。
When transmitting, the audio data recorded through the input unit (microphone) 408 of the
At the time of reception, the video data is displayed on the display unit through video / audio data conversion processing of the video / audio data photographed and recorded by the rescuer side
救護参考ファイルの選択は、オペレータがオペレーション端末１１５ａ、１１５ｂ、１１５ｎ内にある救護の参考となる映像ファイルを選択する機能であり、ここで選択したファイルを映像・音声通信システム１１０へ送信することで、救護者側のウェアラブル端末１１７ａ、１１７ｂ、１１７ｎでその映像を見ることができる様になるものである。
また、前述の映像・音声データ通信用の通信接続は、映像・音声通信システム１１０の説明でも記述した通り、双方向通信用の技術を用いたものであり、映像・音声通信システム１１０とオペレーション端末１１５ａ、１１５ｂ、１１５ｎ間の映像・音声データの送受信を双方向にリアルタイムで行えるものである。
The selection of the rescue reference file is a function in which the operator selects a video file that is a reference for rescue in the
Further, the communication connection for video / audio data communication described above uses the technology for bidirectional communication as described in the description of the video /
オペレーション端末１１５ａ、１１５ｂ、１１５ｎは、オペレーション終了コマンドの入力により、オペレーション制御システム１０２へオペレーション終了要求を送信する（ステップ８１２、８１３）。オペレーション制御システム１０２からオペレーション終了要求の応答として、正常メッセージが返却された場合、オペレーション用アプリケーション４０２は、オペレーション処理を終了させ、再度自端末へのオペレーション要求がないか、オペレーション制御システム１０２への問合せステップへ処理を移行する。
The
図９は、オペレーション用アプリケーション４０２で表示される画面例を示した画面構成図である。
オペレータは自端末への要求がある場合、開始ボタン９０４を押下することで、オペレーションを開始することができる。この開始ボタン９０４押下を受けて、救護状況表示エリア９０１へ救護者側のウェアラブル端末１１７ａ、１１７ｂ、１１７ｎで撮影された映像が表示される。オペレータはこの救護状況表示エリア９０１へ表示される映像を見ることで、救護者視点で救護状況を確認することが可能となる。
FIG. 9 is a screen configuration diagram showing an example of a screen displayed by the
When there is a request to the terminal, the operator can start the operation by pressing the
救護者へ救護参考映像を共有したい場合は、オペレーション端末１１５ａ、１１５ｂ、１１５ｎ内に保存されている救護参考ファイルを救護参考ファイルドラッグ＆ドロップエリア９０２へドラッグ＆ドロップして、送信ボタン９０３を押下することで、映像・音声通信システム１１０経由で救護者へ共有することが可能となる。
救護者に対するオペレーションが終了した場合は、終了ボタン９０５を押下することで、オペレーションを終了することができる。
When the rescue reference video is to be shared with the rescuer, the rescue reference file stored in the
When the operation for the rescuer is completed, the operation can be completed by pressing an
図１０は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎにおける処理の概要を示すフローチャートである。
ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎは、起動後、オペレーション制御システム１０２へオペレーション開始要求を送信する（ステップ１００１、１００２）。オペレーション開始要求の応答として、開始要求が正常に受付けられたことを意味するオペレーションＩＤの返却があった場合、このオペレーションＩＤを含めて、映像・音声通信システム１１０へ救護者映像・音声通信要求を送信し、映像・音声通信システム１１０との間に救護者映像・音声データ通信用の通信接続を確立する（ステップ１００３、１００４）。
以降、この接続を利用して映像・音声通信システム１１０とウェアラブル端末１１７ａ、１１７ｂ、１１７ｎとの間で、映像・音声データをリアルタイムに送受信する。
FIG. 10 is a flowchart showing an outline of processing in the
The
Thereafter, video / audio data is transmitted and received in real time between the video /
送信の際は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎの入力部（カメラ、マイク）５０６を通して撮影、録音された映像・音声データを映像・音声データ変換処理を通して通信用のデータに変換し、映像・音声通信システム１１０へ送信する（ステップ１００５、１００６）。
受信の際は、映像・音声通信システム１１０から送られてくるオペレータ側のオペレーション端末１１５ａ、１１５ｂ、１１５ｎで録音された音声データと、救護参考ファイルとして選択された映像データとを映像・音声データ変換処理を通して映像データは表示部（ディスプレイ）５０１で表示可能な形式に、音声データは出力部（スピーカー）５０７で出力可能な形式に変換し、映像データは表示部（ディスプレイ）５０１で表示し、音声データは出力部（スピーカー）５０７で出力する（ステップ１００６、１００７、１００８）。
At the time of transmission, the video / audio data shot and recorded through the input units (cameras, microphones) 506 of the
When receiving, the audio data recorded by the operator
また、前述の映像・音声データ通信用の通信接続は、映像・音声通信システム１１０の説明でも記述した通り、双方向通信用の技術を用いたものであり、映像・音声通信システム１１０とウェアラブル端末１１７ａ、１１７ｂ、１１７ｎ間の映像・音声データの送受信を双方向にリアルタイムで行えるものである。
The communication connection for the video / audio data communication described above uses a technology for bidirectional communication as described in the description of the video /
図１１は、ウェアラブル端末１１７ａ、１１７ｂ、１１７ｎで表示される画面例を示した画面構成図である。
救護者がウェアラブル端末１１７ａ、１１７ｂ、１１７ｎを装着すると、救護者の視界は基本的に目の前の救護状況となる。このときオペレータから救護支援で救護参考映像が送信されるとウェアラブル端末１１７ａ、１１７ｂ、１１７ｎでは救護参考映像表示エリア１１０１へ救護参考映像を透過して表示する。
救護者は、オペレータからの音声とあわせて、この救護参考映像表示エリア１１０１に表示される映像を見ながら救護支援を受けることが可能となる。
FIG. 11 is a screen configuration diagram illustrating a screen example displayed on the
When the rescuer wears the
The rescuer can receive rescue assistance while watching the video displayed in the rescue reference
１０１…オペレーション制御データベース
１０２…オペレーション制御システム
１０３…ＤＢ更新部（オペレーション制御システム）
１０４…検索処理部（オペレーション制御システム）
１０５…送受信部（オペレーション制御システム）
１０６…映像・音声通信データベース
１０７…映像・音声格納領域
１０８…オペレータ領域
１０９…救護者領域
１１０…映像・音声通信システム
１１１…ＤＢ更新部（映像・音声通信システム）
１１２…検索処理部（映像・音声通信システム）
１１３…送受信部（映像・音声通信システム）
１１４…オペレーションセンタ
１１５ａ、１１５ｂ、１１５ｎ…オペレーション端末
１１６…基地局
１１７ａ、１１７ｂ、１１７ｎ…ウェアラブル端末
１１８…インターネット（公衆回線網）
101 ...
104 ... Search processing unit (operation control system)
105 ... Transmitter / receiver (operation control system)
106: Video /
112 ... Search processing unit (video / audio communication system)
113 ... Transmitter / receiver (video / audio communication system)
114 ...
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014203648A JP2016067844A (en) | 2014-10-02 | 2014-10-02 | Aed operation supporting system using wearable terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014203648A JP2016067844A (en) | 2014-10-02 | 2014-10-02 | Aed operation supporting system using wearable terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016067844A true JP2016067844A (en) | 2016-05-09 |
Family
ID=55863488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014203648A Pending JP2016067844A (en) | 2014-10-02 | 2014-10-02 | Aed operation supporting system using wearable terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016067844A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017191791A1 (en) * | 2016-05-06 | 2017-11-09 | コニカミノルタ株式会社 | Device with communication function |
| WO2020156527A1 (en) * | 2019-02-02 | 2020-08-06 | 上海救要救信息科技有限公司 | Method and device for establishing rescue team |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014003947A2 (en) * | 2012-06-29 | 2014-01-03 | Zoll Medical Corporation | Rescue scene video transmission |
-
2014
- 2014-10-02 JP JP2014203648A patent/JP2016067844A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014003947A2 (en) * | 2012-06-29 | 2014-01-03 | Zoll Medical Corporation | Rescue scene video transmission |
Non-Patent Citations (1)
| Title |
|---|
| 藤本和久: "ウェアラブル端末を活用した救急救命支援システムの開発 −プロジェクトの進め方と救急隊員側におけるコミ", 筑波大学大学院博士課程システム情報工学研究科特定課題研究報告書, JPN6017041853, March 2011 (2011-03-01), pages ｐ．１−４１ * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017191791A1 (en) * | 2016-05-06 | 2017-11-09 | コニカミノルタ株式会社 | Device with communication function |
| WO2020156527A1 (en) * | 2019-02-02 | 2020-08-06 | 上海救要救信息科技有限公司 | Method and device for establishing rescue team |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10331323B2 (en) | Tele-presence system with a user interface that displays different communication links | |
| JP6382957B2 (en) | Wearable device positioning method and apparatus, program, and recording medium | |
| US20180226158A1 (en) | System and method for implementing augmented reality during telehealth sessions in a telehealth device | |
| US20160219147A1 (en) | Visual assistance systems and related methods | |
| US20180048750A1 (en) | Audio/video wearable computer system with integrated projector | |
| JP6284686B2 (en) | Self-balancing car management method, apparatus, program, and recording medium | |
| JP6770981B2 (en) | Cardiopulmonary resuscitation cooperation methods, computer program products and systems | |
| US20170293730A1 (en) | Remote controlled medical assistance device | |
| JP2017531977A (en) | Message transmission method, apparatus, terminal, router, program, and recording medium | |
| JP2018524894A (en) | Electronic device for controlling industrial communication device and industrial communication device | |
| EP3526775A1 (en) | Audio/video wearable computer system with integrated projector | |
| KR20160063456A (en) | A Service system and service method for guide blind person | |
| JP2016067844A (en) | Aed operation supporting system using wearable terminal | |
| TWI620156B (en) | Emergency help intercom system | |
| JP6535559B2 (en) | Nurse call system | |
| KR20130131511A (en) | Guide apparatus for blind person | |
| KR101547835B1 (en) | 2-way multi emergency signal calling system | |
| WO2019119022A1 (en) | Augmented visual assistance system for assisting a person working at a remote workplace, method and headwear for use therewith | |
| KR20160124483A (en) | Management system for old or feeble person, method for controlling the same, and management server for controlling the same | |
| JP6621144B2 (en) | Emergency call reception system, device, user terminal device, method, and program | |
| US20200221012A1 (en) | Terminal device, camera system, and control method | |
| WO2017187496A1 (en) | Emergency captured-image sharing system, emergency captured-image sharing method, and emergency captured-image sharing program | |
| KR20160126621A (en) | Emergency video-telephony system and method using outside camera apparatus | |
| JP2018067157A (en) | Communication device and control method thereof | |
| CN109274929A (en) | The control method of wearable device and wearable device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180508 |