JP2022153716A - 情報処理システム及び３次元データ生成方法 - Google Patents

Abstract

【課題】対象者に異常が発生したときの原因について対象者を中心に分析するのに適した３次元データを生成し対象者の動きを再現する。【解決手段】対象者に異常が発生したときの状況を再現する異常状況３次元データを生成する情報処理システムである。情報処理システムは、撮像装置と、状態推定装置と、情報処理装置と、を備え、情報処理装置は、第１の生成部と、第２の生成部と、統合部と、を含み、対象者の状態を推定する状態推定装置により対象者に異常が発生したことが検知されたとき、第１の生成部は、撮像装置により撮像された画像に基づいて、対象者の周囲の環境を示す環境３次元データを生成し、第２の生成部は、撮像装置により撮像された画像に基づいて、対象者の動作を示す動作３次元データを生成する。統合部は、環境３次元データと動作３次元データとを統合して異常状況３次元データを生成する。【選択図】図１

Description

本発明は、建設現場や工場などで作業を行う作業者や介護施設で生活する要介護者などの対象者に転倒などの異常が発生したときの状況を示す３次元データを生成する技術に関する。

対象者にけがや事故などに代表される異常が発生した際、その原因究明には異常が発生した現場の状況を人が直接見て判断するのが一般的である。

また、監視カメラが設置されていた場合でも、そのカメラで撮影された部分的映像記録のみを人が見て判断せざるを得ない。

しかしながら、対象者に発生した異常の原因は単純ではなく、様々な要因が絡み合って引き起こされることが多い。そのため、現場の状態を見ただけでは異常が発生した原因の推測または判断が難しい場合が多い。

また、対象者に異常が発生した現場の状況が保全されていないことも多いため、詳細な分析が困難なケースもある。

加えて、監視カメラの設置場所によっては、必ずしも事故発生時の様子を記録できるわけではなく、部分的な記録にとどまることが多い。

また、関連する技術として、特許文献１のように、任意の視点から見たときの異常発生状況動画を生成するものがある。

特開２００７－２２６５１５号公報

本発明の目的は、対象者に異常が発生した原因を調査することが難しかった。

本発明の一つの態様は、対象者に異常が発生したときの状況を再現する異常状況３次元データを生成する情報処理システムである。情報処理システムは、撮像装置と、状態推定装置と、情報処理装置と、を備え、情報処理装置は、第１の生成部と、第２の生成部と、統合部と、を含み、対象者の状態を推定する状態推定装置により対象者に異常が発生したことが検知されたとき、第１の生成部は、撮像装置により撮像された画像に基づいて、対象者の周囲の環境を示す環境３次元データを生成し、第２の生成部は、撮像装置により撮像された画像に基づいて、対象者の動作を示す動作３次元データを生成する。統合部は、環境３次元データと動作３次元データとを統合して異常状況３次元データを生成する。

本発明によれば、対象者に異常が発生したときの原因について対象者を中心に分析するのに適した３次元データを生成し再現することができる。

実施形態の情報処理システムの構成図である。 状態推定装置、撮像装置、環境３次元データ、動作３次元データ、及び異常状況３次元データの一例を示す図である。 状態推定装置の動作を示すフローチャートである。 撮像装置の動作を示すフローチャートである。 情報処理装置の動作を示すフローチャートである。 拡張現実データ及び仮想現実データの一例を示す図である。 情報処理装置を実現するためのコンピュータの一例を示す図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

図１は、実施形態の情報処理システムの構成図である。図１に示す情報処理システムは、状態推定装置１と、撮像装置２と、情報処理装置３と、表示装置４とを含む。

状態推定装置１は、建設現場や工場などで作業を行う作業者や介護施設で生活する要介護者などの対象者の体に取り付けられる。例えば、状態推定装置１は、図２（ａ）に示すように、対象者が被るヘルメットに搭載される。なお、状態推定装置１の取り付け位置は、後述するセンサ値を適正に取得することが可能であれば、特に限定されない。

また、図１に示す状態推定装置１は、ジャイロセンサや加速度センサなど、対象者に装着され動作に応じて変化するセンサ値を出力するセンサ１１と、メモリ１２（第１のメモリ）とを備える。センサ１１から出力されるセンサ値は、定期的にメモリ１２に記憶させることができる。

また、状態推定装置１は、センサ１１から出力されるセンサ値に基づいて、対象者の状態を推定する。例えば、状態推定装置１は、センサ１１から出力されるセンサ値が閾値以下である場合、対象者が正常状態（対象者が歩行している状態など）であると判断する。また、状態推定装置１は、センサ１１から出力されるセンサ値が閾値より大きくなると、対象者が異常状態（対象者が転倒している状態など）であると判断する。なお、センサ１１から出力されるセンサ値は、対象者に異常が発生したことを検知する場合に使用されるだけでなく、後述するように、対象者の動作（姿勢）を推定する場合にも使用されてもよい。

また、状態推定装置１は、対象者に異常が発生したことを検知すると、対象者に異常が発生した時刻を示す異常検知時間（検知時刻）を有線または無線により撮像装置２に送る。例えば、状態推定装置１は、２０２１年３月３１日１２時００分００秒において、対象者に異常が発生したことを検知すると、異常検知時間として「２０２１年３月３１日１２時００分００秒」を撮像装置２に送る。なお、状態推定装置１は、対象者に異常が発生したことを検知すると、異常検知時間を基準とする所定期間Ｔにおいてセンサ１１から出力されたセンサ値をメモリ１２から読み出し、その読み出したセンサ値を情報処理装置３に送信するように構成してもよい。例えば、状態推定装置１は、２０２１年３月３１日１２時００分００秒において、対象者に異常が発生したことを検知すると、２０２１年３月３１日１１時５９分３０秒から２０２１年３月３１日１２時００分３０秒までの１分間においてセンサ１１から出力された複数のセンサ値をメモリ１２から読み出し、その読み出した各センサ値を情報処理装置３に送信する。このように、所定期間Ｔは、異常検知時間の前後の任意の期間としてもよいし、異常検知時間より後の任意の期間としてもよいし、異常検知時間より前の任意の期間としてもよい。

ここで、図３は、状態推定装置１の動作の一例を示すフローチャートである。なお、図３のフローチャートが示す一連の動作は定期的に状態推定装置１により実行されるものとする。

まず、状態推定装置１は、センサ１１から出力されるセンサ値を取得する（ステップＳ１１）。

次に、状態推定装置１は、ステップＳ１１により取得されたセンサ値により、対象者が正常状態であると判断すると（ステップＳ１２：Ｎｏ）、今回の状態推定処理を終了する。

一方、状態推定装置１は、ステップＳ１１により取得されたセンサ値により、対象者に異常が発生したことを検知すると（ステップＳ１２：Ｙｅｓ）、異常検知時間を撮像装置２に送る（ステップＳ１３）。

図１に示す撮像装置２は、対象者の体に装着される。例えば、撮像装置２は、図２（ａ）に示すように、対象者が被るヘルメットに取り付けられる。なお、撮像装置２の取り付け位置は、後述する画像を適正に撮像することが可能であれば、特に限定されない。また、状態推定装置１、撮像装置２、及び表示装置４がそれぞれ有する機能のうちの少なくとも１つの機能が情報処理装置３に含まれるように構成してもよい。例えば、状態推定装置１と撮像装置２と情報処理装置３とを統合し実施形態の情報処理装置として構成してもよい。この場合、その統合された情報処理装置が対象者の体に取り付けられるものとする。また、撮像装置２が状態推定装置１に含まれることで、対象者は複数の装置を装着しなくてよくなり対象者の負担は軽減することができる。

また、図１に示す撮像装置２は、カメラ２１と、メモリ２２（第２のメモリ）とを備える。なお、カメラ２１は、単眼カメラや３６０度カメラなどであって、対象者の視界方向の画像（静止画像または動画像）または対象者の周囲の画像（静止画像または動画像）を定期的に撮像し、その撮像した画像をメモリ２２に記憶させる。

また、撮像装置２は、異常検知時間を状態推定装置１から受け取ると、異常検知時間を基準とする所定期間Ｔにおいてカメラ２１により撮像された画像をメモリ２２から読み出し、その読み出した画像を情報処理装置３に送信する。例えば、撮像装置２は、異常検知時間として「２０２１年３月３１日１２時００分００秒」を受け取ると、２０２１年３月３１日１１時５９分３０秒から２０２１年３月３１日１２時００分３０秒までの１分間においてカメラ２１により撮像された画像（１分間における複数の静止画像または１分間における動画像）をメモリ２２から読み出し、その読み出した画像を情報処理装置３に送信する。なお、カメラ２１により撮像された画像は、メモリカードなどの記録媒体を介して撮像装置２から情報処理装置３に移行されてもよい。

ここで、図４は、撮像装置２の動作の一例を示すフローチャートである。なお、撮像装置２は、カメラ２１により画像を繰り返し撮像させメモリ２２に記憶させているものとする。

まず、撮像装置２は、異常検知時間を受け取ったと判断し（ステップＳ２１：Ｙｅｓ）、かつ、少なくとも所定期間Ｔ分の画像（複数の静止画像または動画像）をメモリ２２に記憶させていると判断すると（ステップＳ２２：Ｙｅｓ）、その所定期間Ｔ分の画像をメモリ２２から読み出す（ステップＳ２３）。

次に、撮像装置２は、ステップＳ２３で読み出した画像を情報処理装置３に送信する（ステップＳ２４）。

図１に示す情報処理装置３は、第１の生成部３１と、第２の生成部３２と、統合部３３と、変換部３４とを備える。

第１の生成部３１は、撮像装置２からの画像に基づいて、対象者に異常が発生したときの対象者の周囲の環境を示す環境３次元データを生成する。例えば、対象者が転倒したときに一連の画像から対象者の周囲に存在する「床」、「柱」、「階段」、及び「パイプ」を、第１の生成部３１は、図２（ｂ）に示すように、任意の３次元空間において「床」、「柱」、「階段」、及び「パイプ」にそれぞれ対応する環境３次元データを生成する。なお、生成される環境３次元データは、所定期間Ｔにおける時系列に沿って生成することができる。

図１に示す第２の生成部３２は、撮像装置２からの画像に基づいて、対象者に異常が発生したときの対象者の動作（姿勢）を示す動作３次元データを生成する。例えば、対象者が転倒した場合、第２の生成部３２は、図２（ｃ）に示すように、任意の３次元空間において対象者が転倒しているときの対象者の骨格やその骨格の軌跡を示す動作３次元データを所定期間Ｔにおける時系列毎に生成する。なお、対象者の骨格やその骨格の軌跡を示す動作３次元データを作成するときに、状態推定装置で検出したセンサ値を用いるとより正確に動作３次元データを生成することができる。例えばジャイロセンサによって検出されるセンサ値を用いることで、対象者が単に転んだだけなのか、もしくは何かを避けようとして回転しながらひっくり返ったのかを判断することができる。さらに映像を加えることで、倒れたときの視線の動きなども検出することができる。対象者が正常な状態であれば、受け身を取ろうとするが、過労もしくは体調不良の場合は全体的に動きが緩慢になるため受け身を取るための視線の変化は少なくなる。

図１に示す統合部３３は、環境３次元データと動作３次元データとを統合して、異常状況３次元データを生成する。例えば、統合部３３は、図２（ｂ）に示す「床」、「柱」、「階段」、及び「パイプ」をそれぞれ示す環境３次元データと、図２（ｃ）に示す対象者の骨格や軌跡を示す動作３次元データとを統合して、図２（ｄ）に示すように、対象者の周囲に「床」、「柱」、「階段」、及び「パイプ」が存在する任意の３次元空間において対象者が転倒するまでの状況を再現する異常状況３次元データを生成する。

図１に示す変換部３４は、異常状況３次元データをＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて表示装置４に表示するための拡張現実データまたはＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いて表示装置４に表示するための仮想現実データに変換する。

図５は、情報処理装置３の動作の一例を示すフローチャートである。

まず、情報処理装置３の第１の生成部３１は、撮像装置２からの画像に基づいて、環境３次元データを生成する（ステップＳ３１）。例えば、第１の生成部３１は、所定期間Ｔにおける時系列毎に対応する各画像に対して、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）解析及びＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ）解析を行い、環境３次元データを生成する。すなわち、まず、第１の生成部３１は、ＳｆＭ解析として、画像内の特徴点に基づいて撮像装置２の位置を算出するとともに、三角測量の技術を用いて撮像装置２の位置と特徴点とから任意の３次元空間において低密度点群データを生成する。次に、第１の生成部３１は、ＭＶＳ解析として、低密度点群データから高密度点群データを生成した後、高密度点群データからテクスチャ付きのポリゴンモデル（環境３次元データ）を生成する。なお、環境３次元データの生成方法は、画像から環境３次元データを生成することが可能であれば、ＳｆＭ解析及びＭＶＳ解析を用いた方法に限定されない。また、第１の生成部３１は、建設現場や工場や介護施設などに設置されている固定の監視カメラなど、撮像装置２以外の撮像装置により撮像された画像をさらに用いて、環境３次元データを生成するように構成してもよい。

次に、情報処理装置３の第２の生成部３２は、撮像装置２からの画像に基づいて、動作３次元データを生成する（ステップＳ３２）。例えば、第２の生成部３２は、所定期間Ｔにおける時系列毎に対応する各画像に対して、ディープラーニングによる姿勢推定を行い、動作３次元データを生成する。

すなわち、第２の生成部３２は、ディープラーニングによる姿勢推定として、画像内の対象者の体の一部の動きと、画像内の対象者以外の景色の変化と、対象者の骨格と、対象者の骨格の軌跡との相関関係についての学習結果により、対象者の骨格や骨格の軌跡を推定する。なお、第２の生成部３２は、状態推定装置１のセンサ１１から出力されるセンサ値をさらに用いて、対象者の骨格や骨格の軌跡を推定してもよい。もしくは、第２の生成部３２は、ディープラーニングによる姿勢推定として、画像内の対象者の体の一部の動きと、画像内の対象者以外の景色の変化と、センサ値の変化と、対象者の骨格と、対象者の骨格の軌跡との相関関係についての学習結果により、対象者の骨格や骨格の軌跡を推定すると言い換えることができる。

このように対象者の骨格や骨格の軌跡を推定することにより、単なる転倒だけでなく、「転倒前に対象者が補強材などの障害物を避けていたこと」、「転倒前に対象者が手に持っていた物を落としていたこと」、「対象者が真後ろに転倒していたこと」、「対象者が受け身を取ろうとして回転しながら転倒していたこと」などを動作３次元データに反映することができる。なお、動作３次元データの生成方法は、画像やセンサ値から動作３次元データを生成することが可能であれば、ディープラーニングを用いた方法に限定されない。また、ステップＳ３１とステップＳ３２の順序を入れ替えてもよい。

次に、情報処理装置３の統合部３３は、ステップＳ３１で生成した環境３次元データと、ステップＳ３２で生成した動作３次元データとを統合して異常状況３次元データを生成する（ステップＳ３３）。

そして、情報処理装置３の変換部３４は、異常状況３次元データを拡張現実データまたは仮想現実データに変換する（ステップＳ３４）。

図１に示す表示装置４は、スマートフォンやタブレット端末などのモバイル機器またはパーソナルコンピュータまたはヘッドマウントディスプレイなどにより構成され、拡張現実データまたは仮想現実データを表示する。例えば、表示装置４としてのタブレット端末のディスプレイに拡張現実データを表示する場合、表示装置４は、図６（ａ）に示すように、表示装置４に搭載される不図示のカメラにより撮像される画像（異常発生後の現場の状況を示す画像）と、拡張現実データ（異常発生時の現場の状況を示す画像）とを重ね合わせてディスプレイに表示させる。例えば、異常発生後の現場の状況を示す画像では、図６（ａ）と異なり「パイプ」が示されていないものとする。また、異常発生時の現場の状況を再現する画像には、「パイプ」が示されている。これにより、「階段と床との隙間に対象者がつまずくことで転倒したのではなく、対象者が床に落ちていたパイプを踏んで転倒したこと」を再現することができる。なお、「異常発生時に階段に手摺が存在していれば転倒を防止できたかもしれないこと」など、異常の発生原因について対象者を中心に多角的または複合的に分析及び検証することができる。

パーソナルコンピュータのディスプレイを仮想現実データを表示する表示装置４とした場合、表示装置４は、図６（ｂ）に示すように、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｎ Ｍｏｄｅｌｉｎｇ）データ（異常発生前の現場の状況を示す画像）と、仮想現実データ（異常発生時の現場の状況を示す画像）とを重ね合わせて表示装置４に表示させることができる。図６（ｂ）に示す例では、異常発生前の現場の状況を示す画像に「手摺」が示され、「補強材」が示されていないものとする。また、異常発生時の現場の状況を示す画像には「補強材」が示されているものとする。これにより、「ＢＩＭデータに含まれていない補強材が異常発生時に存在しており、その補強材が作業動線を危険なものにしていたかもしれないこと」や「手摺が存在していれば転倒を防止できたかもしれないこと」など、異常の発生原因について対象者を中心に多角的または複合的に分析及び検証することができる。なお、表示装置４は、拡張現実データまたは仮想現実データを表示することが可能であれば、特に限定されない。

実施形態の情報処理装置３によれば、異常状況３次元データによって、異常発生時の対象者の周囲の環境や対象者の動きを再現することができる。これにより、異常状況３次元データを確認して異常原因を分析する場合、異常発生後の現場や異常発生時の記録動画を確認して異常原因を分析する場合に比べて、どのような環境において何が原因でどのような異常が発生したのかなどをより詳しく分析することができる。すなわち、実施形態の情報処理システムによれば、対象者に異常が発生したときの原因について対象者を中心に多角的に分析することに適した異常状況３次元データを生成することができる。

また、実施形態の情報処理装置３によれば、異常状況３次元データによって、異常発生時の対象者の周囲の環境を再現することができるため、異常発生後の現場の環境が保全されていない場合であっても、異常発生時の状況を詳細に分析することができる。

また、実施形態の情報処理装置３によれば、対象者の体に取り付けられた撮像装置２により撮像される画像に基づいて生成される異常状況３次元データにより異常発生時の状況を再現することができるため、監視カメラなど死角が生じやすい固定カメラにより撮像される画像により異常発生時の状況を確認する場合に比べて、部分的な記録画像により異常原因を分析することを回避することができ、異常発生時の状況を詳細に分析することができる。

図７は、情報処理装置３を実現するためのコンピュータの一例を示す図である。

図７に示すコンピュータ７０は、プロセッサ７１と、メモリ７２と、記憶装置７３と、読取装置７４と、通信インタフェース７５と、入出力インタフェース７６とを備える。なお、プロセッサ７１、メモリ７２、記憶装置７３、読取装置７４、通信インタフェース７５、及び入出力インタフェース７６は、バス７７を介して互いに接続されている。

プロセッサ７１は、シングルプロセッサまたはマルチプロセッサまたはマルチコアなどにより構成される。また、プロセッサ７１は、記憶装置７３に格納されているプログラムを読み出し、メモリ７２を利用して、図５に示すフローチャートの手順を記述したプログラムを実行することにより、第１の生成部３１、第２の生成部３２、統合部３３、及び変換部３４の一部または全部の機能を提供する。

メモリ７２は、半導体メモリなどであり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）領域およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）領域を含んでいてよい。

記憶装置７３は、ハードディスクやフラッシュメモリなどの半導体メモリ、または、外部記憶装置である。

読取装置７４は、プロセッサ７１の指示に従って着脱可能記憶媒体７８にアクセスする。着脱可能記憶媒体７８は、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどである。また、磁気的作用により情報が入出力される媒体は、磁気ディスクなどである。光学的作用により情報が入出力される媒体は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ（Ｂｌｕ－ｒａｙは登録商標）などである。

通信インタフェース７５は、プロセッサ７１の指示に従って、他の装置と通信する。例えば、情報処理装置３は、通信インタフェース７５を介して状態推定装置１及び撮像装置２から情報を収集する。

入出力インタフェース７６は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、対象者や拡張現実データまたは仮想現実データを確認する管理者からの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、ディスプレイなどの表示装置、または、スピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置３に提供される。
（１）記憶装置７３に予めインストールされている。
（２）着脱可能記憶媒体７８により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図７を参照して述べた情報処理装置３を実現するためのコンピュータ７０のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の情報処理装置３の一部または全部の機能がＦＰＧＡ、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、または、ＰＬＤなどによるハードウェアとして実装されてもよい。

以上において、実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

１ 状態推定装置
２ 撮像装置
３ 情報処理装置
４ 表示装置
１１ センサ
１２ メモリ
２１ カメラ
２２ メモリ
３１ 第１の生成部
３２ 第２の生成部
３３ 統合部
３４ 変換部

Claims (6)

1. 撮像装置と、状態推定装置と、情報処理装置と、を備え、
   前記情報処理装置は、第１の生成部と、第２の生成部と、統合部と、を含み、
   前記対象者の状態を推定する前記状態推定装置により前記対象者に異常が発生したことが検知されたとき、
   前記第１の生成部は、前記撮像装置により撮像された画像に基づいて、前記対象者の周囲の環境を示す環境３次元データを生成し、
   前記第２の生成部は、前記撮像装置により撮像された画像に基づいて、前記対象者の動作を示す動作３次元データを生成し、
   前記統合部は、前記環境３次元データと前記動作３次元データとを統合して前記異常状況３次元データを生成する
   情報処理システム。
2. 請求項１において、前記状態推定装置と、前記撮像装置は、前記対象者によって装着される情報処理システム。
3. 請求項１または請求項２において、
   前記状態推定装置は、センサと第１のメモリとを含み
   前記センサが検出するセンサ値を周期的に前記第１のメモリに記憶し、
   前記対象者の状態を推定する前記状態推定装置により前記対象者に異常が発生したことが検知されたとき、
   前記状態推定装置は、前記検知時刻を前記撮像装置に通知し、かつ前記検知時刻から設定された期間の前記センサ値を前記情報処理装置に送信する情報処理システム。
4. 請求項１乃至請求項３の何れか１項において、
   前記撮像装置は、カメラと第２のメモリとを含み
   前記カメラが撮像する画像を周期的に前記第２のメモリに記憶し、
   前記対象者の状態を推定する前記状態推定装置により前記対象者に異常が発生したことが検知されたとき、
   前記撮像装置は、前記状態推定装置によって通知された前記検知時刻から設定された期間の前記画像を前記情報処理装置に送信する情報処理システム。
5. 請求項１乃至請求項４の何れか１項において、
   前記情報処理システムは、表示装置を備え、
   前記情報処理装置は、さらに変換部を含み、
   前記変換部は、前記異常状況３次元データを拡張現実データまたは仮想現実データに変換し、
   前記表示装置は、変換された前記拡張現実データまたは前記仮想現実データを表示する
   情報処理システム。
6. 情報処理装置において、対象者に異常が発生したときの状況を再現する異常状況３次元データを生成する３次元データ生成方法であって、
   前記情報処理装置は、
   前記対象者の状態を推定する状態推定装置により前記対象者に異常が発生したことが検知されたとき、
   撮像装置により撮像された画像に基づいて、前記対象者の周囲の環境を示す環境３次元データを生成するステップと、
   前記撮像装置により撮像された画像に基づいて、前記対象者の動作を示す動作３次元データを生成するステップと、
   前記環境３次元データと前記動作３次元データとを統合して前記異常状況３次元データを生成するステップと、
   を有する３次元データ生成方法。

Images