JP2018037952A - 行動記録システム、端末装置及び行動記録方法 - Google Patents

Abstract

【課題】施設の利用者に対する施設職員の暴行行為を防止するとともに、万が一の事故発生時に職員の潔白の証明を可能とすることを目的とする。【解決手段】行動記録システムは、所定エリア１に設置された通信装置２と、人４に装着可能な端末装置５とを備える。端末装置５は、端末装置５の周囲を撮影する撮影部１２と、通信装置２と通信する通信部１３と、通信部１３と通信装置２との間の通信に基づいて、撮影部１２による撮影を制御する撮影制御部２２と、撮影部１２による撮影画像に写った人体を検出する人体検出部２４と、撮影部１２による撮影中における人体検出部２４による検出結果に基づいて端末装置５の装着状態の異常を判定する異常判定部２５と、を備える。【選択図】図３

Description

本発明は、行動記録システム、端末装置及び行動記録方法に関する。

所定の室内にいる人物の状態を監視する技術として、特許文献１に記載の介護システム、及び特許文献２に記載の監視装置が知られている。これらの特許文献１及び２は、監視対象者のプライバシーに配慮した監視技術を提案している。
特許文献１に記載の介護システムは、介護室内に設置されるカメラ装置と、被介護者の状態を表示可能なモニターを有する。カメラ装置で撮影した映像から被介護者の身体の特徴部が解析され、解析した特徴部と予め登録された特徴部との比較結果を、撮影した映像の代わりにモニターに表示する。
特許文献２に記載の監視装置は、病室に設置されたサーモグラフィーカメラにより撮影された画像から所定の温度以上の部分を抽出した人物画像と、無人の病室内を通常のカメラにて撮影した背景画像とを合成して監視画像を生成する。

特開２０１４−００７６８５号公報 特開２００７−０８９７２７号公報

近年、介護施設等において職員による被介護者への暴行行為が社会問題化している。このような暴力行為は、施設内に設けられた監視カメラの映像から確認されることもある。
しかしながら、例えば、上記のようにプライバシーに配慮した監視を行っていたり、暴行行為が監視カメラの死角で行われた場合には、暴行行為を確認できない虞がある。
本発明は、施設の利用者に対する施設職員の暴行行為を防止するとともに、万が一の事故発生時に職員の潔白の証明を可能とすることを目的とする。

本発明の一形態によれば、所定エリアに設置された通信装置と、人に装着可能な端末装置と、を備える行動記録システムが与えられる。
端末装置は、端末装置の周囲を撮影する撮影部と、通信装置と通信する通信部と、通信部と通信装置との間の通信に基づいて、撮影部による撮影を制御する撮影制御部と、撮影部による撮影画像に写った人体を検出する人体検出部と、撮影部による撮影中における人体検出部による検出結果に基づいて端末装置の装着状態の異常を判定する異常判定部とを備える。

異常判定部は、撮影部による撮影中に連続して人体検出部が人体を検出しない期間の長さに応じて端末装置の装着状態の異常を判定してよい。
異常判定部は、撮影部による撮影中における人体検出部による人体の検出頻度に応じて端末装置の装着状態の異常を判定してもよい。

人体検出部は、撮影部による撮影画像に写った人の顔の検出結果に基づき人体を検出してよい。
人体検出部は、撮影部による撮影画像に写った所定のマーカの検出結果に基づき人体を検出してもよい。
異常判定部は、人体検出部が人体を検出しても、異なる時刻に撮影部が撮影した撮像画像間の変化が所定量以下の場合に端末装置の装着状態が異常であると判定してもよい。

本発明の他の形態によれば、人に装着可能な端末装置が与えられる。端末装置は、端末装置の周囲を撮影する撮影部と、所定エリアに設置された通信装置と通信する通信部と、通信部と通信装置との間の通信に基づいて、撮影部による撮影を制御する撮影制御部と、撮影部による撮影画像に写った人体を検出する人体検出部と、撮影部による撮影中における人体検出部による検出結果に基づいて端末装置の装着状態の異常を判定する異常判定部とを備える。

本発明の他の形態によれば、行動記録方法が与えられる。行動記録方法において、人に装着可能な端末装置と、所定エリアに設置された通信装置と、の間で通信し、端末装置と通信装置との間の通信に基づき、端末装置が有する撮影部による端末装置の周囲の撮影を制御し、撮影部による撮影画像に写った人体を検出し、撮影部による撮影中における撮像画像に写った人体の検出結果に基づいて端末装置の装着状態の異常を判定する。

本発明によれば、施設の利用者に対する施設職員の暴行行為を防止するとともに、万が一の事故発生時に職員の潔白を証明できる。

実施形態の行動記録システムの全体を示す概略構成図である。 （ａ）〜（ｃ）は、それぞれ携帯端末装置の装着方法の例の説明図である。 実施形態の携帯端末装置の構成例を示す図である。 （ａ）は携帯端末装置のカメラで撮影した撮影画像の例を示す図であり、（ｂ）は撮影画像に施すモザイク処理の例を示す図である。 実施形態のサーバ装置の構成例を示す図である。 実施形態の行動記録方法の一例を示すフローチャートである。 装着状態判定処理の一例を示すフローチャートである。 音響検出状態判定処理の一例を示すフローチャートである。

以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（行動記録システムの全体構成）
図１を参照する。本明細書では、行動記録として介護施設にて介護サービスに従事する職員の行動を記録する場合について説明する。ただし、本発明の行動記録システムは、介護施設の職員の行動を記録するシステムに限定されるものではなく、所定エリアにて作業に携わる作業員の行動を記録するシステムに広く適用可能である。

行動記録システムは、所定エリアである介護施設の居室１に設置された通信装置２と、居室１にて介護サービスを受ける被介護者である入居者３を介護する介護施設の職員４に装着される携帯端末装置５を備える。また行動記録システムは、監視センタに設置され通信回線６を通じて携帯端末装置５に接続されるサーバ装置７を備える。
携帯端末装置５は、携帯端末装置５の周囲（例えば職員４の前方）を撮影するカメラと音響信号を検出する音響検出部を備える。行動記録システムは、職員４が居室１に入室している間の入居者３の映像及び会話を録画、録音することで職員４の行動を記録する。

このように、職員４が居室１に入室している期間に限定して監視することにより入居者３のプライバシーを保護するとともに、職員４の行動を記録することで入居者３に対する職員４の暴行行為を防止することができる。さらに、万が一の事故発生時に職員４の潔白を証明することができる。
また、職員４に装着される携帯端末装置５で入居者３の映像を撮影しているので、固定された監視カメラと違って、職員４が対応している入居者３がカメラの死角に入りにくい。このためカメラの死角で暴力行為が行われるのを防止することができる。

続いて、行動記録システムの構成要素の各々について説明する。
（通信装置）
通信装置２は、入居者３の居室１やその他共用ルーム等の所定エリア毎に、壁面や天井などに設置される。通信装置２は、ＢＬＥ（Bluetooth Low Energy）などの近距離無線通信規格に従って、通信装置２に固有の識別信号（ＩＤ信号）、例えばビーコン信号を、所定周期で通信装置２の周囲に送信する。通信装置２は、電源を有して定期的にビーコン信号を送信するアクティブ型のＲＦＩＤ（Radio Frequency IDentification）タグであってよい。このようなアクティブ型のＲＦＩＤタグには、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬＥに準拠するｉＢｅａｃｏｎ（商標）が含まれるが、これに限定されるものではない。また、居室等は通信装置２を設置したエリア外ではビーコン信号を受信できないよう電磁的に隔離されることが望ましい。以下、本明細書では、通信装置２がビーコン信号を送信する場合について説明する。

（携帯端末装置）
携帯端末装置５は、使用時に職員４の身体に装着され、携帯端末装置５が有するカメラで携帯端末装置５の周囲を撮影することにより、職員４の位置から見た入居者３を撮影するために使用される。例えば、携帯端末装置５は、カメラが職員４の前方を撮影するように（すなわち、カメラの視界が職員４の前方を含むように）職員４に装着される。これにより、職員４が対応している入居者３をカメラで撮影することができる。
図２の（ａ）に示すように、職員４は、その首から下げた紐に携帯端末装置５を装着してもよい。携帯端末装置５は、職員４に装着されるための装着器具を備えるか、またはそのような装着器具を有する専用ケースに収容可能であってよい。

または、職員４は、別の部位に携帯端末装置５を装着し、携帯端末装置５へ映像を送信するカメラユニットを首から下げた紐に装着してもよい。図２の（ｂ）に示すように、ヘッドセットカメラのような外付けのカメラ１２を頭部に装着してもよい。
または、図２の（ｃ）に示すように、職員４の制服等に、携帯端末装置５又は外付けのカメラを収容する装着スペースを設けてもよい。

図３を参照する。携帯端末装置５は、操作部１０と、表示部１１と、カメラ１２と、第１通信部１３と、第２通信部１４と、警報出力部１５と、音響検出部１６と、制御部１７と、記憶装置１８を備える。
操作部１０は、情報入力手段として機能し、入力ボタンや表示部１１の表示画面に設けられたタッチパネルなどを備えていてよい。操作部１０は、職員４による携帯端末装置５への情報入力及び操作入力を受け付けるために使用される。例えば、操作部１０は、カメラ１２による撮影を停止させる職員４の操作の入力を受け付ける。

表示部１１は、表示手段として機能し、制御部１７の制御によって各種の操作画面や情報の表示を行う。表示部１１には、例えばカメラ１２の操作画面が表示される。カメラ１２の操作画面には、例えばカメラ１２による撮影を開始させる撮影開始ボタンや、カメラ１２による撮影を停止させる撮影停止ボタン等が表示されてよい。
カメラ１２は、ＣＣＤ素子またはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器、エンコーダなどを含んで形成される公知の内蔵カメラ又は外部カメラであってよい。カメラ１２は、撮影画像を制御部１７へ出力する。

第１通信部１３は、例えばＢＬＥ（Bluetooth Low Energy）などの近距離無線通信規格に従った無線通信を行うためのインタフェース回路を備える。近距離無線の通信範囲は数ｍ〜数十ｍ程度であってよい。これにより、第１通信部１３は、通信装置２から送信されるビーコン信号を受信する。
第２通信部１４は、有線又は無線の通信インタフェースを備え、通信回線６を介してサーバ装置７との有線通信又は無線通信を行うための回路である。

警報出力部１５は、制御部１７の制御に従って視覚信号や音響信号による警報を出力する。警報出力部１５は、例えば音響信号を出力するブザーやスピーカであってよく、又は視覚信号を出力する表示装置やランプであってよい。
音響検出部１６は、携帯端末装置５の周辺の音響信号を検出する。音響検出部１６は、内蔵マイクや外付けマイクなどであってよい。音響検出部１６は、検出した音響信号を制御部１７へ出力する。

制御部１７は、携帯端末装置５の動作を制御するためのＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）等のプロセッサを含んでよい。汎用の半導体集積回路中に設定される機能的な論理回路で制御部１７を実現してもよい。例えば、制御部１７はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。

制御部１７は、通信処理部２０と、入室判定部２１と、撮影制御部２２と、警報制御部２３と、人体検出部２４と、異常判定部２５と、を備える。制御部１７は、記憶装置１８に記憶されたコンピュータプログラムを実行することにより、以下に説明する通信処理部２０、入室判定部２１、撮影制御部２２、警報制御部２３、人体検出部２４、異常判定部２５の処理を実施する。すなわちコンピュータプログラムは、通信処理部２０、入室判定部２１、撮影制御部２２、警報制御部２３、人体検出部２４、異常判定部２５の処理を制御部１７に実施させる命令を含む。

なお、制御部１７は、これら通信処理部２０、入室判定部２１、撮影制御部２２、警報制御部２３、人体検出部２４、異常判定部２５の機能の全てを備える必要はなく、サーバ装置７がこれらの機能の一部を備えてもよい。
記憶装置１８は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置１８は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。

通信処理部２０は、第２通信部１４を介してサーバ装置７との間の通信処理を行う。カメラ１２による撮影画像及び音響検出部１６により検出された音響信号が制御部１７に入力されると、これらの撮影画像及び音響信号は、携帯端末装置５に記憶されることなく通信処理部２０によりサーバ装置７へ送信される。
図４（ａ）に示すようにカメラ１２による撮影画像３０には、入居者３の映像３１が含まれることがある。同様に、音響検出部１６により検出された音響信号には入居者３の発言が含まれることがある。

撮影画像及び音響信号を携帯端末装置５に記憶させないことにより、これらの情報が携帯端末装置５から不正に取り出されて漏洩するのを防ぐことができる。これにより、入居者３のプライバシーが保護される。
なお、通信処理部２０は、プライバシー保護のため図４（ｂ）に示すように撮影画像３０の入居者３の映像３１の部分にモザイク処理を施してからサーバ装置７へ送信してもよい。音響検出部１６により検出された音響信号にも発声者が特定できないような処理を施してもよい。

図３を参照する。第１通信部１３が通信装置２から定期的に送信されるビーコン信号を受信すると、通信処理部２０は、ビーコン信号に含まれる通信装置２に固有の識別情報（ＩＤ情報）をサーバ装置７へ送信する。このとき、入室判定部２１は、第１通信部１３が通信装置２から定期的に送信されるビーコン信号を受信したか否かに応じて、携帯端末装置５を装着した職員４が居室１に入室したか否かを判断してよい。すなわち入室判定部２１は、第１通信部１３が通信装置２と通信可能となると職員４が居室１に入室したと判断してよい。通信処理部２０は、職員４が居室１に入室したと入室判定部２１が判断した場合に、通信装置２のＩＤ情報をサーバ装置７へ送信する。
通信処理部２０は、ＩＤ情報に応答してサーバ装置７から送信される撮影許可信号及び撮影停止禁止信号を受信する。

撮影制御部２２は、カメラ１２による撮影の開始及び停止を制御する。ビーコン信号の受信に基づき職員４が居室１に入室したと判断され、通信処理部２０がサーバ装置７から撮影許可信号を受信すると、撮影制御部２２は、カメラ１２による撮影と音響検出部１６による音響検出を開始する。すなわち撮影制御部２２は、第１通信部１３が通信装置２と通信可能になると、カメラ１２による撮影と音響検出部１６による音響検出を開始する。いいかえれば、撮影制御部２２は、第１通信部１３と通信装置２との間の通信に基づいて、カメラ１２による撮影と音響検出部１６による音響信号の検出を制御する。

また、ビーコン信号の受信に基づき職員４が居室１に入室したと判断され、通信処理部２０がサーバ装置７から撮影停止禁止信号を受信すると、撮影制御部２２はカメラ１２による撮影の停止を禁止する。すなわち撮影制御部２２は、第１通信部１３が通信装置２と通信可能になると、カメラ１２による撮影の停止を禁止する。いいかえれば、撮影制御部２２は、第１通信部１３と通信装置２との間の通信に基づいて、カメラ１２による撮影の停止を禁止する。

例えば、撮影制御部２２は、表示部１１に表示したカメラ１２の操作画面における撮影停止ボタンの操作を無効にしてよい。また例えば撮影制御部２２は、撮影停止ボタンの表示自体を禁止してよい。
居室１内で職員４が撮影を停止するのを禁止することにより、職員４の行動記録が不正に中断され、その間に職員４が入居者３に対して暴行行為に及ぶのを防ぐことができる。

職員４が居室１から退出し、第１通信部１３が通信装置２のビーコン信号を受信しなくなると、入室判定部２１は、職員４が居室１から退出したと判断する。すなわち入室判定部２１は、第１通信部１３が通信装置２と通信できなくなると職員４が居室１に退出したと判断する。
撮影制御部２２は、ビーコン信号の受信に基づき職員４が居室１から退出したと判断されると、カメラ１２による撮影を停止する。すなわち撮影制御部２２は、第１通信部１３が通信装置２と通信できなくなるとカメラ１２による撮影を停止する。撮影制御部２２は、第１通信部１３が通信装置２と通信できなくなるとカメラ１２による撮影を停止してよい。例えば、撮影制御部２２は、第１通信部１３が通信装置２と通信できなくなってから所定時間が経過した時点でカメラ１２による撮影を停止してよい。

また、撮影制御部２２は、ビーコン信号の受信に基づき職員４が居室１から退出したと判断されると、カメラ１２による撮影の停止禁止を解除する。
また、職員４が居室１外にいて、通信装置２からのビーコン信号を受信していない間、撮影制御部２２は、表示部１１に表示したカメラ１２の操作画面にて行われる操作に従ってカメラ１２による撮影を開始及び停止する。これにより、職員４が居室１外にいる間、職員４は手動でカメラ１２を操作することができる。

撮影制御部２２やカメラ１２の故障により、職員４の作業期間が終わって職員４が居室１から退出してもカメラ１２による撮影が自動的に停止しなくなる虞がある。職員４の作業期間が終わってもカメラ１２による撮影が停止しないと、職員４のプライバシーが侵害される虞がある。
このため警報制御部２３は、第１通信部１３が通信装置２と通信できなくなってから所定時間が経過してもカメラ１２による撮影が継続している場合に、所定の警報を生成する。例えば、警報制御部２３は、ブザーやスピーカである警報出力部１５から警報音や警報メッセージを出力してよい。警報制御部２３は、表示装置やランプである警報出力部１５により視覚的な警報表示を出力してよい。

携帯端末装置５が正常に装着されていないと、職員４が対応している入居者３を撮影できないため職員４の行動を記録することができなくなる。このため、異常判定部２５は、携帯端末装置５の装着状態の異常を判定する。携帯端末装置５の装着状態の異常には、携帯端末装置５自体の装着状態の異常のほか、カメラ１２として外付けカメラが使用される場合にはカメラ１２の装着状態の異常も含む。

このため、人体検出部２４はカメラ１２による撮影画像に写った人体を検出する。異常判定部２５は、職員４が居室１に入室したと入室判定部２１が判定しカメラ１２が撮影している間に、人体検出部２４が人体を検出したか否かに応じて、携帯端末装置５の装着状態の異常を判定する。
これは、職員４が居室１に入室しているにもかかわらず、職員４が入居者３を全く見ずにいる（すなわち職員４が入居者３の方を全く向かずにいる）ことは不自然であるという知見に基づく。

異常判定部２５は、職員４が居室１に入室したと入室判定部２１が判定しカメラ１２が撮影している状態において、連続して人体検出部２４が人体を検出しない期間の長さに応じて携帯端末装置５の装着状態の異常を判定してよい。例えば、異常判定部２５は、職員４が居室１に入室したと入室判定部２１が判定しカメラ１２が撮影している状態で、所定期間以上連続して人体検出部２４が人体を検出しない場合に、装着状態が異常であると判定してよい。
異常判定部２５は、通信処理部２０を介して携帯端末装置５の装着状態の異常をサーバ装置７へ通報する。

また、異常判定部２５は、職員４が居室１に入室したと入室判定部２１が判定しカメラ１２が撮影している状態において、人体検出部２４が人体を検出する頻度に応じて携帯端末装置５の装着状態の異常を判定してよい。例えば、異常判定部２５は、職員４が居室１に入室したと入室判定部２１が判定しカメラ１２が撮影している状態において、人体検出部２４による所定期間内の人体検出回数が閾値以下の場合に、装着状態が異常であると判定してよい。

人体検出部２４は、カメラ１２による撮影画像に写った人の顔の検出結果に基づき人体を検出してよい。
例えば人体検出部２４は、人の頭部形状に類似した楕円形状の参照パターンを用いて撮影画像のエッジ画像を走査することにより、人の頭部を顔として検出してよい。また、人体検出部２４は、人の顔が存在する画像と人の顔が存在しない画像とを用いて事前学習させた識別器に画像を入力し、その識別器により撮影画像に写った人の顔を検出してもよい。

また、人体検出部２４は、撮影画像の肌色領域を検出することにより人の顔を検出してよい。なお、図４の（ｂ）に示すように撮影画像にモザイク処理を施す際に、色情報が残るようにモザイク処理を行うことで、撮影画像に写った人の顔を肌色情報に基づいて検知することができる。
また、入居者３の服に所定形状や反射素材を備えたマーカを取り付けてもよい、人体検出部２４は、カメラ１２による撮影画像に写った所定のマーカの検出結果に基づき人体を検出してもよい。

なお、人体の検出による携帯端末装置５の装着判定ロジックを知っている職員４が、入居者３の顔が写る位置に携帯端末装置５を置き、職員４に携帯端末装置５が装着されていなくても異常を検出できないように画策することも考えられる。
そこで異常判定部２５は、人体検出部２４が人体を検出した場合であっても、時間的に連続する画像間で変化がない状態が所定期間以上継続する場合には、携帯端末装置５の装着状態が異常であると判定する。

例えば異常判定部２５は、異なる時刻にカメラ１２が撮影した撮像画像（すなわち「フレーム」）間の変化が所定量以下の場合に携帯端末装置５の装着状態が異常であると判定する。
この場合、カメラ１２の被写体の人物が多少動く場合にもフレーム間で変化が生じるが、携帯端末装置５が正常に装着されている場合には職員４が作業を行う過程で画像全体に変化が発生するので変化量がより大きい。このため、フレーム間で変化量に基づいて携帯端末装置５の装着状態が異常であるか否かを識別できる。

さらに、異常判定部２５は、音響検出部１６の故障や音響検出部１６に対する職員４の画策行為等の異常を判定する。
異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出しているにも関わらず音響検出部１６が音響信号を検出しない場合に、音響検出部１６の異常、すなわち音響検出部１６の故障や、音響検出部１６に対する何らかの不正行為を判定する。例えば、異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出しているにも関わらず音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しない場合に、音響検出部１６の異常と判定してよい。
異常判定部２５は、通信処理部２０を介して音響検出部１６の異常をサーバ装置７へ通報する。

ここで「不正行為」には、例えばカメラ１２による映像には正常な介護行為が記録されているが、職員４が入居者３を罵倒する発言などを行い、その際の音響信号の記録を職員４が妨害する行為を含む。
例えば、音響検出部１６が音響信号を検出しない場合として、職員４が音響検出部１６を何らかの素材で覆い、音響検出部１６に音が全く入力されない場合が想定される。この場合、異常判定部２５は、人体検出部２４が人体を検出した前後において音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しない場合に、音響検出部１６の異常と判定してよい。

なお、人体検出部２４による人体検出の時期と、音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部２４による人体検出時期を含む前後の所定期間内において、所定レベルＴｈ１以上の音響信号を検出しない場合に、音響検出部１６の異常と判定してよい。

また不正行為は、音響検出部１６に雑音を入力することにより、職員４の音声が識別できないようにする行為を含んでよい。例えば、音響検出部１６を連続的に叩いて雑音を入力することが考えられる。
この場合、異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出しているに期間に、所定レベルより大きい第２の所定レベルＴｈ２以上の音響信号を音響検出部１６が検出した場合に、音響検出部１６の異常と判定する。
人体検出部２４による人体検出の時期と、音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部２４による人体検出時期を含む前後の所定期間内において、第２の所定レベルＴｈ２以上の音響信号を検出した場合に、音響検出部１６の異常と判定してよい。

さらに、異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出した期間に、音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しても、検出した音響信号が母音成分を含まない場合には、音響検出部１６の異常と判定してよい。すなわち、検出した音響信号に母音が含まれるか否かを判定することで、人の音声が検出できているか否かを判定してもよい。
例えば、所定周期ごとに検出した音響信号の周波数特徴量を算出し、予め多数の話者から採取した音声データを元に学習した母音特徴量と、算出した周波数特徴量と、を比較することによって音響信号に母音が含まれるか否かを判定してよい。
なお、人体検出部２４による人体検出の時期と、母音成分を含む音響信号の検出時期とのタイミングは一致していなくてもよい。すなわち、人体検出部２４による人体検出時期を含む前後の所定期間内において、音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しても、音響信号が母音成分を含まない場合には、音響検出部１６の異常と判定してよい。

（サーバ装置）
図５を参照する。サーバ装置７は、携帯端末装置５から通信装置２のＩＤ情報を受信すると、通信装置２が設置された居室１における携帯端末装置５の撮影可否を判断する。
居室１における携帯端末装置５による撮影を許可する場合、サーバ装置７は撮影許可信号を携帯端末装置５へ送信する。
サーバ装置７は、携帯端末装置５から受信したカメラ１２の撮影画像と音響検出部１６による音響信号を、職員４の行動記録情報として所定の記憶装置４２にセキュアに記憶する。

またサーバ装置７は、現在時刻が居室１における職員４の作業予定期間（例えば介護スケジュール期間）内であるか否かを判定する。現在時刻が居室１における職員４の作業予定期間内である場合、サーバ装置７は、撮影停止禁止信号を携帯端末装置５へ送信する。現在時刻が居室１における職員４の作業予定期間外である場合に、撮影停止禁止信号を携帯端末装置５へ送信しない。この結果、携帯端末装置５の撮影制御部２２は、現在時刻が作業予定期間である場合にカメラ１２による撮影の停止を禁止し、現在時刻が作業予定期間外である場合にカメラ１２による撮影の停止を許可する。

このように、緊急対処等の作業予定期間外の作業においては、撮影を開始しても職員４が自ら撮影を停止できるようにしてよい。すなわち、このような緊急事態では、職員４が自らの行為を記録するか否かの判断が可能になる。これにより、例えば、緊急事態において撮影されていることで思い切った行動を躊躇したりすることを防ぎ、また逆に自らの行為を記録したい場合には撮影停止にしないという判断を行うことも可能になる。

サーバ装置７は、通信部４０と、制御部４１と、記憶装置４２を備える。
通信部４０は、有線又は無線の通信インタフェースを備え、通信回線６を介して携帯端末装置５との有線通信又は無線通信を行うための回路である。
制御部４１は、サーバ装置７の動作を制御するためのＣＰＵやＭＰＵ等のプロセッサを含んでよい。

制御部４１は、通信処理部５０と、撮影可否判定部５１と、作業期間照合部５２と、制御信号生成部５３と、行動記録部５４とを備える。制御部４１は、記憶装置４２に記憶されたコンピュータプログラムを実行することにより、以下に説明する通信処理部５０、撮影可否判定部５１、作業期間照合部５２、制御信号生成部５３、及び行動記録部５４の処理を実施する。すなわちコンピュータプログラムは、通信処理部５０、撮影可否判定部５１、作業期間照合部５２、制御信号生成部５３、及び行動記録部５４の処理を制御部４１に実施させる命令を含む。

記憶装置４２は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置４２は、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。記憶装置４２には、入居者情報６０と、スケジュール情報６１と、記録可否情報６２と、行動記録情報６３が記憶される。
入居者情報６０は、居室１の入居者３に関する情報であり、居室１に設置された通信装置２のＩＤ情報に関連付けて記憶される。
スケジュール情報６１は、居室１における職員４の作業予定期間すなわち介護スケジュール期間に関する情報であり、居室１に設置された通信装置２のＩＤ情報に関連付けて記憶される。

記録可否情報６２は、居室１における携帯端末装置５による撮影及び録音の可否に関する情報であり、居室１に設置された通信装置２のＩＤ情報に関連付けて記憶される。居室１の入居者３が撮影及び録音に同意している場合には、撮影及び録音を許可する旨の情報が記録可否情報６２として記憶される。居室１の入居者３が撮影及び録音に同意していない場合には、撮影及び録音を禁止する旨の情報が記録可否情報６２として記憶される。
行動記録情報６３は、携帯端末装置５から受信したカメラ１２の撮影画像と音響検出部１６による音響信号であり、居室１に設置された通信装置２のＩＤ情報と、入居者３の入居者情報６０に関連付けてセキュアに記憶される。

通信処理部５０は、通信部４０を介して携帯端末装置５との間の通信処理を行う。通信処理部５０は、携帯端末装置５から送信された通信装置２のＩＤ情報を受信する。
通信装置２のＩＤ情報が受信されると、撮影可否判定部５１は、通信装置２が設置された居室１における携帯端末装置５による撮影及び録音を許可するか否かを判定する。撮影可否判定部５１は、通信装置２のＩＤ情報と、このＩＤ情報に関連付けられた記録可否情報６２に基づいて撮影及び録音を許可するか否かを判定する。
居室１における撮影及び録音を許可する場合、制御信号生成部５３は、撮影許可信号を生成する。通信処理部５０は、通信部４０を介して撮影許可信号を携帯端末装置５へ送信する。

通信装置２のＩＤ情報が受信されると、作業期間照合部５２は、現在時刻が居室１における職員４の作業予定期間内であるか否かを判定する。
現在時刻が居室１における職員４の作業予定期間内である場合、制御信号生成部５３は、撮影停止禁止信号を生成する。通信処理部５０は、通信部４０を介して撮影停止禁止信号を携帯端末装置５へ送信する。
現在時刻が居室１における職員４の作業予定期間外である場合、制御信号生成部５３は、撮影停止禁止信号を生成しない。
行動記録部５４は、携帯端末装置５から受信したカメラ１２の撮影画像と音響検出部１６による音響信号を、職員４の行動記録情報６３として記憶装置４２に記憶する。

（動作）
続いて、行動記録システムの動作を説明する。図６を参照する。図６に示す動作は、所定周期（例えば０．１秒）で反復して実行される。
ステップＳ１において携帯端末装置５の入室判定部２１は、通信装置２からビーコン信号を受信したか否かを判定する。ビーコン信号を受信した場合（ステップＳ１：Ｙ）に、通信処理部２０は、ビーコン信号に含まれる通信装置２のＩＤ情報をサーバ装置７へ送信する。その後に処理はステップＳ２に進む。ビーコン信号を受信しない場合（ステップＳ１：Ｎ）に処理はステップＳ１１に進む。

ＩＤ情報に応答してサーバ装置７から送信される撮影許可信号を受信すると、ステップＳ２において撮影制御部２２は、カメラ１２による撮影中であるか否かを判定する。撮影中である場合（ステップＳ２：Ｙ）に処理はステップＳ６に進む。撮影中でない場合（ステップＳ２：Ｎ）に処理はステップＳ３に進む。
ステップＳ３においては、撮影制御部２２はカメラ１２による撮影を開始する。その後、処理はステップＳ４へ進む。

ステップＳ４においてサーバ装置７の作業期間照合部５２は、現在時刻が居室１における職員４の介護スケジュール期間内であるか否かを判定する。現在時刻が介護スケジュール期間内である場合（ステップＳ４：Ｙ）に制御信号生成部５３は撮影停止禁止信号を生成する。携帯端末装置５は撮影停止禁止信号を受信する。その後に処理はステップＳ５に進む。現在時刻が介護スケジュール期間外である場合（ステップＳ４：Ｎ）に処理はステップＳ６に進む。
撮影停止禁止信号を受信すると、ステップＳ５において撮影制御部２２は、カメラ１２による撮影の停止禁止を設定する。その後、処理はステップＳ６へ進む。

ステップＳ６において異常判定部２５は、装着状態判定処理を実行する。装着状態判定処理において異常判定部２５は、職員４への携帯端末装置５の装着状態を判定する。
装着状態が正常である場合（ステップＳ７：Ｙ）に処理はステップＳ８に進む。装着状態が異常でない場合（ステップＳ７：Ｎ）に処理はステップＳ１０に進む。

ステップＳ８において異常判定部２５は、音響検出状態判定処理を実行する。音響検出状態判定処理において異常判定部２５は、音響検出部１６が異常か否かを判定する。
音響検出部１６が異常である場合（ステップＳ９：Ｙ）に処理はステップＳ１０に進む。音響検出部１６が異常でない場合（ステップＳ９：Ｎ）に処理は終了する。
ステップＳ１０において異常判定部２５は、携帯端末装置５の装着状態又は音響検出部１６の異常をサーバ装置７へ送信する。その後に処理は終了する。

ステップＳ１１において撮影制御部２２は、カメラ１２による撮影中であるか否かを判定する。撮影中の場合（ステップＳ１１：Ｙ）に処理はステップＳ１２に進む。撮影中でない場合（ステップＳ１１：Ｎ）に処理は終了する。
ステップＳ１２において撮影制御部２２は、カメラ１２による撮影を停止する。
ステップＳ１３において撮影制御部２２は、カメラ１２による撮影の停止禁止を解除する。その後に処理は終了する。

図７を参照して、装着状態判定処理を説明する。
ステップＳ２０において異常判定部２５は、撮影画像に写った人体を人体検出部２４が検出したか否かを判定する。人体が検出された場合（ステップＳ２０：Ｙ）に処理はステップＳ２３に進む。人体が検出されない場合（ステップＳ２０：Ｎ）に処理はステップＳ２１に進む。

ステップＳ２１において異常判定部２５は、人体を検出しない期間を計時するカウンタの値が所定値を超えたか否か、すなわち人体を検出しない状態で所定期間が経過したか否かを判定する。所定期間が経過した場合（ステップＳ２１：Ｙ）に処理はステップＳ２２に進む。所定期間が経過しない場合（ステップＳ２１：Ｎ）に処理はステップＳ２４に進む。

ステップＳ２２において異常判定部２５は、携帯端末装置５の装着状態が異常であると判定する。その後、装着状態判定処理が終了する。
ステップＳ２３において異常判定部２５は、人体を検出しない期間を計時するカウンタをリセットする。その後に処理はステップＳ２４へ進む。
ステップＳ２４において異常判定部２５は、携帯端末装置５の装着状態が正常であると判定する。その後、装着状態判定処理が終了する。

図８を参照して、音響検出状態判定処理を説明する。
ステップＳ３０において異常判定部２５は、現在時刻の前後を含む所定期間内に撮影画像に写った人体を人体検出部２４が検出したか否かを判定する。人体が検出された場合（ステップＳ３０：Ｙ）に処理はステップＳ３１に進む。人体が検出されない場合（ステップＳ３０：Ｎ）に音響検出状態判定処理は終了する。

ステップＳ３１において異常判定部２５は、人体検出部２４による人体検出時期の前後を含む期間に検出した音響信号の音響レベルが、所定レベルＴｈ１未満であるか否かを判定する。すなわち、所定レベルＴｈ１以上の音響信号が検出されたか否かを判定する。音響レベルがＴｈ１未満である場合（ステップＳ３１：Ｙ）に処理はステップＳ３５に進む。音響レベルがＴｈ１未満でない場合（ステップＳ３１：Ｎ）に処理はステップＳ３２に進む。

ステップＳ３２において異常判定部２５は、人体検出部２４による人体検出時期の前後を含む期間に検出した音響信号の音響レベルが、第２の所定レベルＴｈ２以上である否かを判定する。音響レベルが第２の所定レベルＴｈ２以上である場合（ステップＳ３２：Ｙ）に処理はステップＳ３５に進む。音響レベルが第２の所定レベルＴｈ２以上でない場合（ステップＳ３２：Ｎ）に処理はステップＳ３３に進む。

ステップＳ３３において異常判定部２５は、検出した音響信号に母音成分が含まれる否かを判定する。音響信号が母音成分を含む場合（ステップＳ３３：Ｙ）に処理はステップＳ３４に進む。音響信号が母音成分を含まない場合（ステップＳ３３：Ｎ）に処理はステップＳ３５に進む。
ステップＳ３４において異常判定部２５は、音響検出部１６が異常でないと判断する。その後、音響検出状態判定処理が終了する。
ステップＳ３５において異常判定部２５は、音響検出部１６が異常であると判断する。その後、音響検出状態判定処理が終了する。

（実施形態の効果）
（１）行動記録システムは、所定エリアである居室１に設置された通信装置２と、職員４に装着可能な携帯端末装置５を備える。
携帯端末装置５は、携帯端末装置５の周囲を撮影するカメラ１２と、通信装置２と通信する第１通信部１３と、第１通信部１３と通信装置２との間の通信に基づいて、カメラ１２による撮影の停止を禁止する撮影制御部２２と、を備える。

これにより、職員４が居室１に入室している期間に限定して監視することで入居者３のプライバシーを保護するとともに、職員４の行動を記録することで入居者３に対する職員４の暴行行為を防止することができる。さらに、万が一の事故発生時に職員４の潔白を証明することができる。
また、職員４に装着される携帯端末装置５で入居者３の映像を撮影しているので、固定された監視カメラと違って、職員４が対応している入居者３がカメラの死角に入りにくい。このためカメラの死角で暴力行為が行われるのを防止することができる。
さらに、居室１内で職員４が撮影を停止するのを禁止することにより、職員４の行動記録が不正に中断され、その間に職員４が入居者３に対して暴行行為に及ぶのを防ぐことができる。

（２）撮影制御部２２は、第１通信部１３が通信装置２と通信可能となるとカメラ１２による撮影を開始し、第１通信部１３が通信装置２と通信できなくなるとカメラ１２による撮影を停止してよい。
これにより、職員４が居室１に入室した際に自動的に撮影を開始することができるので、撮影のし忘れにより職員４の行動記録に漏れが生じるのを防止できる。また職員４が居室１から退室した際に自動的に撮影が停止するので、作業時間外の職員４の行動が記録されることによる職員４のプライバシー侵害を回避できる。

（３）行動記録システムは、第１通信部１３が通信装置２と通信できなくなってから所定時間が経過しても、カメラ１２による撮影が継続している場合に、警報を生成する警報制御部２３を備えてよい。
これにより、撮影制御部２２やカメラ１２の故障により作業期間外の職員４の行動が記録されることによる職員４のプライバシー侵害を回避できる。

（４）行動記録システムは、居室１における作業予定期間を記憶する記憶装置４２を備えてよい。撮影制御部２２は、現在時刻が居室１における作業予定期間である場合にカメラ１２による撮影の停止を禁止し、現在時刻が居室１における作業予定期間外である場合にカメラ１２による撮影の停止を許可してよい。
これにより、緊急対処等の作業予定期間外の作業においては、撮影を開始しても職員４が自ら撮影を停止できるようになる。このため、例えば、緊急事態において撮影されていることで思い切った行動を躊躇したりすることを防ぎ、また逆に自らの行為を記録したい場合には撮影停止にしないという判断を行うことも可能になる。

（５）行動記録システムは、所定エリアである居室１に設置された通信装置２と、職員４に装着可能な携帯端末装置５を備える。
携帯端末装置５は、携帯端末装置５の周囲を撮影するカメラ１２と、通信装置２と通信する第１通信部１３と、第１通信部１３と通信装置２との間の通信に基づいて、カメラ１２による撮影を制御する撮影制御部２２と、カメラ１２による撮影画像に写った人体を検出する人体検出部２４と、カメラ１２による撮影中における人体検出部２４による検出結果に基づいて携帯端末装置５の装着状態の異常を判定する異常判定部２５と、を備える。

これにより、職員４が居室１に入室しているにもかかわらず、職員４が入居者３を全く見ずにいる（すなわち職員４が入居者３の方を全く向かずにいる）ような不自然な状態を検出して、携帯端末装置５の装着状態を判定できる。このため、職員４が携帯端末装置５を正常に装着せず、職員４の行動記録を妨害するのを回避できる。

（６）異常判定部２５は、カメラ１２による撮影中に連続して人体検出部２４が人体を検出しない期間の長さに応じて携帯端末装置５の装着状態の異常を判定してよい。このように検出期間に応じて判定することにより、一時的に撮影画像に人体が写らないことにより誤って装着状態の異常を検出するのを防止できる。
（７）異常判定部２５は、カメラ１２による撮影中における人体検出部２４による人体の検出頻度に応じて携帯端末装置５の装着状態の異常を判定してもよい。このように検出頻度に応じて判定することにより、一時的に撮影画像に人体が写らないことにより誤って装着状態の異常を検出するのを防止できる。

（８）人体検出部２４は、カメラ１２による撮影画像に写った人の顔の検出結果に基づき人体を検出してもよい。人体の特徴的部位である顔を検出することにより、精度良く人体を検出できる。
（９）人体検出部２４は、カメラ１２による撮影画像に写った所定のマーカの検出結果に基づき人体を検出してもよい。人の顔以外の物体を検出することにより、例えばプライバシー保護のため人の顔部分の画像にモザイク処理を施しても、精度良く人体を検出できる。

（１０）異常判定部２５は、人体検出部２４が人体を検出しても、異なる時刻にカメラ１２が撮影した撮像画像間の変化が所定量以下の場合に携帯端末装置５の装着状態が異常であると判定してよい。
これにより、人体の検出による携帯端末装置５が装着判定ロジックを知っている職員４が、入居者３の顔が写る位置に携帯端末装置５を置き、職員４に携帯端末装置５が装着されていなくても異常を検出できないように画策するのを防止できる。

（１１）行動記録システムは、所定エリアである居室１に設置された通信装置２と、職員４に装着可能な携帯端末装置５を備える。
携帯端末装置５は、携帯端末装置５の周囲を撮影するカメラ１２と、音響信号を検出する音響検出部１６と、通信装置２と通信する第１通信部１３と、第１通信部１３と通信装置２との間の通信に基づいて、カメラ１２による撮影と音響検出部１６による音響検出とを制御する撮影制御部２２と、カメラ１２による撮影画像に写った人体を検出する人体検出部２４と、カメラ１２による撮影中に人体検出部２４が人体を検出した前後を含む所定期間に、音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しない場合に、音響検出部１６の異常と判定する異常判定部２５を備える。

これにより、カメラ１２による映像には正常な介護行為の記録を残しつつ、職員４が入居者３を罵倒する発言などを行い、その際の音響信号の記録を職員４が妨害する行為を防止することができる。

（１２）異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出した前後を含む所定期間に、所定レベルＴｈ１より大きい第２の所定レベルＴｈ２以上の音響信号を音響検出部１６が検出した場合に、音響検出部１６の異常と判定してよい。
これにより、音響検出部１６に雑音を入力することにより、職員４の音声が識別できないようにする行為を防止することができる。

（１３）異常判定部２５は、カメラ１２による撮影中に人体検出部２４が人体を検出した前後を含む所定期間に、音響検出部１６が所定レベルＴｈ１以上の音響信号を検出しても、音響信号が母音成分を含まない場合に音響検出部１６の異常と判定してよい。
これにより、精度良く音響検出部１６の異常を検出できる。

（変形例）
（１）通信装置２は、ＩＣタグでもよい。ＩＣタグを携帯端末装置５に設けてもよい。例えば、行動記録システムは、携帯端末装置５を居室１内外の壁面等に設置したＩＣタグやリーダにかざすことで入室時の認証と退室管理を行う入出管理システムと連動してよい。例えば、認証に成功することによって入室を許可するとともに、カメラ１２による撮影を許可し、撮影停止を禁止してもよい。また、退室時に携帯端末装置５をＩＣタグやリーダにかざすことで、カメラ１２による撮影を停止してもよい。

（２）通信装置２のＩＤ情報、入居者情報６０、スケジュール情報６１、記録可否情報６２を、携帯端末装置５の記憶装置１８にダウンロードし、携帯端末装置５の撮影制御部２２は、サーバ装置７からの許可又は禁止信号によらず、記憶装置１８に格納された記録可否情報６２を参照して、入室判定部２１が居室１におけるカメラ１２の撮影を許可又は禁止し、退室により撮影停止を解除するようにしてもよい。
また撮影制御部２２は、記憶装置１８に格納されたスケジュール情報６１を参照して、現在時刻が、居室１における職員４の作業予定期間内であるか否かを判定してよい。撮影制御部２２は、現在時刻が居室１における作業予定期間である場合にカメラ１２による撮影の停止を禁止し、現在時刻が居室１における作業予定期間外である場合にカメラ１２による撮影の停止を許可してよい。

１…居室，２…通信装置，３…入居者，４…職員，５…携帯端末装置，６…通信回線，７…サーバ装置，１０…操作部，１１…表示部，１２…カメラ，１３…第１通信部，１４…第２通信部，１５…警報出力部，１６…音響検出部，１７…制御部，１８…記憶装置，２０…通信処理部，２１…入室判定部，２２…撮影制御部，２３…警報制御部，２４…人体検出部，２５…異常判定部，４０…通信部，４１…制御部，４２…記憶装置，５０…通信処理部，５１…撮影可否判定部，５２…作業期間照合部，５３…制御信号生成部，５４…行動記録部，６０…入居者情報，６１…スケジュール情報，６２…記録可否情報，６３…行動記録情報

Claims (8)

1. 所定エリアに設置された通信装置と、人に装着可能な端末装置と、を備える行動記録システムであって、
   前記端末装置は、
   前記端末装置の周囲を撮影する撮影部と、
   前記通信装置と通信する通信部と、
   前記通信部と前記通信装置との間の通信に基づいて、前記撮影部による撮影を制御する撮影制御部と、
   前記撮影部による撮影画像に写った人体を検出する人体検出部と、
   前記撮影部による撮影中における前記人体検出部による検出結果に基づいて前記端末装置の装着状態の異常を判定する異常判定部と、
   を備えることを特徴とする行動記録システム。
2. 前記異常判定部は、前記撮影部による撮影中に連続して前記人体検出部が人体を検出しない期間の長さに応じて前記端末装置の装着状態の異常を判定することを特徴とする請求項１に記載の行動記録システム。
3. 前記異常判定部は、前記撮影部による撮影中における前記人体検出部による人体の検出頻度に応じて前記端末装置の装着状態の異常を判定することを特徴とする請求項１に記載の行動記録システム。
4. 前記人体検出部は、前記撮影部による撮影画像に写った人の顔の検出結果に基づき人体を検出することを特徴とする請求項１〜３のいずれか一項に記載の行動記録システム。
5. 前記人体検出部は、前記撮影部による撮影画像に写った所定のマーカの検出結果に基づき人体を検出することを特徴とする請求項１〜３のいずれか一項に記載の行動記録システム。
6. 前記異常判定部は、前記人体検出部が人体を検出しても、異なる時刻に前記撮影部が撮影した撮像画像間の変化が所定量以下の場合に前記端末装置の装着状態が異常であると判定する請求項１〜５のいずれか一項に記載の行動記録システム。
7. 人に装着可能な端末装置であって、
   前記端末装置の周囲を撮影する撮影部と、
   所定エリアに設置された通信装置と通信する通信部と、
   前記通信部と前記通信装置との間の通信に基づいて、前記撮影部による撮影を制御する撮影制御部と、
   前記撮影部による撮影画像に写った人体を検出する人体検出部と、
   前記撮影部による撮影中における前記人体検出部による検出結果に基づいて前記端末装置の装着状態の異常を判定する異常判定部と、
   を備えることを特徴とする端末装置。
8. 人に装着可能な端末装置と、所定エリアに設置された通信装置と、の間で通信し、
   前記端末装置と前記通信装置との間の通信に基づき、前記端末装置が有する撮影部による前記端末装置の周囲の撮影を制御し、
   前記撮影部による撮影画像に写った人体を検出し、
   前記撮影部による撮影中における前記撮像画像に写った人体の検出結果に基づいて前記端末装置の装着状態の異常を判定する、
   ことを特徴とする行動記録方法。

Images