JP2019148925A - 行動分析システム - Google Patents

Abstract

【課題】被検者の行動を多面的に把握することのできる行動分析システムを提供すること及び複数の被検者が互いにどのような関係にあるかについて認識や分析を行うことのできる行動分析システムを提供する。【解決手段】行動分析システムは、ビデオカメラ１１、画像メモリ１２、マイクロホン１３及び音声メモリ１４を備えるカメラ付き帽子１と、心拍計２１、心拍メモリ２２、加速度計２３、加速度メモリ２４、体表温度計２５及び体表温メモリ２６を備える胸部バンド２と、各種分析装置１５、１６、２７〜２９と、各種分析装置の分析結果に基づいて被検者の行動及び状態を分析し、分析結果を表示する行状分析装置３を備える。【選択図】図１

Description

本発明は、被検者の情動行動の発達を定量分析するための行動分析システムに関するものである。

従来、特許文献１（特開２００４−２８０３７６号公報）に記載されるように、カメラを人等に装着し、カメラにより撮影された動画像によって人物行動の常時観察を可能にするとともに、その動画像を分析して人等の行動を認識する行動認識装置が提案されている。
また、特許文献２（特開２００４−８４７１号公報）に記載されるように、体温と外気温を測定する温度センサを装着した装着者の体温と外気温を測定時刻と共に記憶するとともに、記憶された体温と外気温に基づいて装着者の行動を推測することができる行動状況解析システムが提案されている。

そして、このような行動認識装置や行動状況解析システムによれば、被検者が屋内・屋外を問わずに移動する場合でも、被検者がどのような行動をしているかを認識することが可能となり、被検者の安全管理などを効率的に行うことができる。

しかし、特許文献１の行動認識装置はカメラを装着するだけであり、特許文献２の行動状況解析システムは体温と外気温を測定する温度センサを装着するだけであるため、多面的に人等の行動を把握することができなかった。
また、特許文献１、２共に、カメラや温度センサを装着した人等の行動を認識、分析又は推測するものであって、複数の被検者にカメラや温度センサを装着して、それらの被検者が互いにどのような関係にあるかについて、認識や分析を行うシステムではなかった。

特開２００４−２８０３７６号公報 特開２００４−８４７１号公報

本発明の第１の課題は、被検者の行動を多面的に把握することのできる行動分析システムを提供することである。
また、本発明の第２の課題は、複数の被検者が互いにどのような関係にあるかについて、認識や分析を行うことのできる行動分析システムを提供することである。

請求項１に係る発明の行動分析システムは、
被検者の頭部に装着されたビデオカメラ及びマイクロホンと、前記被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、前記マイクロホンで検知された音声を記録する音声メモリと、前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記被検者の視線を分析する視線分析装置と、前記音声メモリに記録された音声に基づいて前記被検者の言葉を分析する言語分析装置と、前記信号メモリに記録された計測データに基づいて前記被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記被検者の行動又は状態を分析する行状分析装置を備えることを特徴とする。

請求項２に係る発明の行動分析システムは、
複数の被検者の頭部に装着されたビデオカメラ及びマイクロホンと、前記複数の被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
前記ビデオカメラで撮影された動画像を記録する画像メモリと、前記マイクロホンで検知された音声を記録する音声メモリと、前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
前記画像メモリに記録された動画像に基づいて前記複数の被検者の視線を分析する視線分析装置と、前記音声メモリに記録された音声に基づいて前記複数の被検者の言葉を分析する言語分析装置と、前記信号メモリに記録された計測データに基づいて前記複数の被検者の生理を分析する生理分析装置と、
前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記複数の被検者の行動又は状態を分析する行状分析装置と、
前記分析結果に基づいて、前記複数の被検者の行動又は状態の相関関係を認識する行状相関認識装置を備えることを特徴とする。

請求項１に係る発明によれば、被検者にビデオカメラ及びマイクロホンだけでなく、心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つを装着し、動画像、音声並びに心拍データ、加速度データ及び体表温度データのうちの少なくともいずれか一つを記録し、記録された動画像、音声及び心拍データ等に基づいて被検者の視線、音声及び生理を分析し、その分析結果に基づいて被検者の行動又は状態を分析するので、被検者の行動を多面的に把握することができる。

請求項２に係る発明によれば、複数の被検者にビデオカメラ、マイクロホン並びに心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つを装着し、動画像、音声並びに心拍データ、加速度データ及び体表温度データのうちの少なくともいずれか一つを記録し、記録された動画像、音声及び心拍データ等に基づいて複数の被検者の視線、音声及び生理を分析し、その分析結果に基づいて複数の被検者の行動又は状態を分析でき、かつ、複数の被検者の行動又は状態の相関関係を認識することができるので、複数の被検者の行動を多面的に把握することができるとともに、それらの被検者が互いにどのような関係にあるかについて認識することができる。

実施例１の行動分析システムの基本構成を示す図。 被検者の頭部にビデオカメラ等を装着するためのカメラ付き帽子を示す図。 被検者の胸部に心拍計等を装着するための胸部バンドを示す図。 実施例２の行動分析システムの基本構成を示す図。 通常の帽子にクリップによりビデオカメラ等を装着した状態を示す図。 カメラ付き帽子の変形例を示す図。

以下、実施例によって本発明の実施形態を説明する。

実施例１の行動分析システムは、図１に示すとおり、カメラ付き帽子１と、胸部バンド２と、各種分析装置と、各種分析装置からの分析結果に基づいて、カメラ付き帽子１及び胸部バンド２を装着した被検者の行動及び状態を分析する行状分析装置３を備えている。
カメラ付き帽子１は、図１及び図２に示すように、ビデオカメラ１１と、ビデオカメラ１１で撮影された動画像を記録する画像メモリ１２と、マイクロホン１３と、マイクロホン１３で検知された音声を記録する音声メモリ１４を備えている。
胸部バンド２は、図１及び図３に示すように、心拍計２１と、心拍計２１で検出された被検者の心拍データを記録する心拍メモリ２２と、加速度計２３と、加速度計２３で検出された被検者の加速度データを記録する加速度メモリ２４と、体表温度計２５と、体表温度計２５で検出された被検者の体表温データを記録する体表温メモリ２６を備えている。
カメラ付き帽子１にはビデオカメラ１１やマイクロホン１３が被検者から見えない頭頂位置にセットされており、被検者のストレスを低く抑えることができ、かつ、被検者の見ている方向を確実に撮影することができるとともに、被検者や被検者と話している相手の言葉を確実に録音することができる。
また、胸部バンド２は、一本のベルト部分に心拍計２１、加速度計２３と及び体表温度計２５が配置されているので、被検者にストレスを与えることなく、被検者の鼓動、動き及び体表温度の変化を確実に検出することができる。

各種分析装置としては、図１に示すように、画像メモリ１２に記録された動画像に基づいて被検者の視線を分析する視線分析装置１５、音声メモリ１４に記録された音声に基づいて被検者の言葉や環境音を分析する音響分析装置１６、心拍メモリ２２に記録された心拍データに基づいて被検者の鼓動の状況を分析する心拍分析装置２７、加速度メモリ２４に記録された加速度データに基づいて被検者の動きを分析する加速度分析装置２８及び体表温メモリ２６に記録された体表温データに基づいて被検者の体表温の変化を分析する体表温分析装置２９がある。
また、行状分析装置３は、各種分析装置の分析結果に基づいて被検者の行動を分析する行動分析装置３１、行動分析装置３１の分析結果を表示する行動分析結果表示装置３２、各種分析装置の分析結果に基づいて被検者の状態を分析する状態分析装置３３及び状態分析装置３３の分析結果を表示する状態分析結果表示装置３４を備えている。
なお、各種分析装置及び行状分析装置３は、通常パーソナルコンピュータやタブレット端末等にアプリケーションソフトを組み込むことで実現し、各種メモリからパーソナルコンピュータやタブレット端末へのデータ送信は無線送信手段が用いられる。
ただし、各種メモリを着脱式メモリとし、着脱式メモリをパーソナルコンピュータやタブレット端末に接続して記録されたデータを読み込んでも良い。

行動分析装置３１は、各種分析装置の分析結果に基づいて、被検者がどのような場所でどのような会話をし、どのように動いたかを総合的に分析し、被検者がどのような行動をとったのかを推測して、行動分析結果表示装置３２に、行動パターン別の時間帯を表示し、その時間帯における動画像や音声を再生できるようにしている。
また、状態分析装置３３は、各種分析装置の分析結果に基づいて、被検者の身体の状態を把握し、心拍データ、加速度データ及び体表温データの変化の同期性を見出して、状態分析結果表示装置３４に、被検者の体調の良否とその根拠や同期性のある時間帯についての情報を表示し、同期性のある時間帯における動画像や音声を再生できるようにしている。

実施例１の行動分析システムは、上記のように構成されているので、検査者が被検者の行動を長時間監視したり、被検者の行動を記録した動画を長時間視聴したりすることなく、被検者の行動を容易かつ多面的に把握することができる。

実施例２の行動分析システムは、実施例１の行動分析システムを複数の被検者（図４では１４名の被検者ａ〜ｎ）に対して用意するとともに、図４に示すとおり、視線分析装置１５ａ〜１５ｎ、音響分析装置１６ａ〜１６ｎ、心拍分析装置２７ａ〜２７ｎ、加速度分析装置２８ａ〜２８ｎ、体表温分析装置２９ａ〜２９ｎ及び行状分析装置３ａ〜３ｎからの分析結果に基づいて、被検者ａ〜ｎの行動及び状態の相関関係を認識する行状相関認識装置４を備えることを特徴とする。
行状相関認識装置４は、各種分析装置及び行状分析装置３ａ〜３ｎの分析結果に基づいて、複数の被検者の行動の相関関係を認識する行動相関認識装置４１、行動相関認識装置４１の認識結果を表示する行動相関認識結果表示装置４２、各種分析装置及び行状分析装置３ａ〜３ｎの分析結果に基づいて、複数の被検者の状態の相関関係を認識する状態相関認識装置４３及び状態相関認識装置４３の認識結果を表示する状態相関認識結果表示装置４４を備えている。

行動相関認識装置４１は、各種分析装置及び行状分析装置３ａ〜３ｎの分析結果に基づいて、複数の被検者のうち、どの被検者群が同じ場所にいたか、どの被検者群が会話をしたか、どの被検者群が同様の動きをとったかを認識し、行動相関認識結果表示装置４２に、認識された被検者群が同じ場所にいた時間帯、会話した時間帯、同様の動きをとった時間帯を表示し、その時間帯における被検者群の動画像や音声を再生できるようにしている。
また、状態相関認識装置４３は、各種分析装置及び行状分析装置３ａ〜３ｎの分析結果に基づいて、複数の被検者の身体の状態を把握し、心拍データ、加速度データ及び体表温データの変化に相関性ある被検者群を認識して、状態相関認識結果表示装置４４に、認識された被検者群と、相関性が認められた時間帯についての情報を表示し、その時間帯における動画像や音声を再生できるようにしている。

実施例２の行動分析システムは、上記のように構成されているので、検査者が複数の被検者の行動を長時間監視したり、複数の被検者の行動を記録した動画を長時間視聴したりすることなく、複数の被検者の行動を容易かつ多面的に把握することができるとともに、複数の被検者が互いにどのような関係にあるかについて容易に認識することができる。
出願人らは、横浜市の幼稚園において、保護者の同意を得た上で、同幼稚園の園児（約３０名の５歳児）に対し、数時間の屋外遊びに際して実施例２の行動分析システムを適用して観察を行ったが、園児達は問題なく遊び行動を示した。
また、合わせて唾液中ストレス分子濃度の計測も行った結果、心理的なストレスを受けたのではないかと分析された園児の濃度は高い傾向にあることが確認された。
さらに、向社会行動頻度が高い園児は、時空間的な同期性行動を取り易い（複数の園児で同じ場所にいる時間帯、同様の動きをとる時間帯及び同様な心拍の状態をとる時間帯が長い）ことが確認された。
そして、行動分析システムを装着した園児が社会を構成する自分を含めた人数及び社会行動の毎秒変化を動画から計測した結果、対象集団のなかの個人の向社会行動の特性を診断することができ、男女の統計的比較による有意な差異を確認することができ、幼児教員や保護者が診断結果を手掛かりに、対象集団のなかで過度な非社会行動特性（短期、または、長期一人あそび）や、過度な注意欠陥や常同行動性（短期、または長期の単種あそび）を示す児を見出して、その問題を解決する教育介入を施すことができるようになった。
なお、この観察及び分析は、各児の行動状態を熟知する幼児教育教員により行われた。

実施例１及び２の変形例を列記する。
（１）実施例１及び２の行動分析システムは、ビデオカメラ１１、画像メモリ１２、マイクロホン１３、音声メモリ１４、心拍計２１、心拍メモリ２２、加速度計２３、加速度メモリ２４、体表温度計２５、体表温メモリ２６を被検者に装着するものであったが、画像メモリ１２、音声メモリ１４、心拍メモリ２２、加速度メモリ２４、体表温メモリ２６については、被検者に装着せずに、ビデオカメラ１１、マイクロホン１３、心拍計２１、加速度計２３、体表温度計２５から、それぞれの情報を無線送信して、受信装置を備えたメモリ装置で受信して記録するようにしても良く、視線分析装置１５、音響分析装置１６、心拍分析装置２７、加速度分析装置２８及び体表温分析装置２９に受信装置を設けて記録するようにしても良い。
（２）実施例１及び２の行状分析装置３、３ａ〜３ｎは、被検者の行動及び状態を分析するものであったが、被検者の行動又は状態を分析するもの、すなわち、被検者の行動及び状態のうち、少なくともいずれかを分析するものとしても良い。
また、実施例２の行状相関認識装置４は、複数の被検者の行動及び状態の相関関係を認識するものであったが、複数の被検者の行動又は状態の相関関係を分析するもの、すなわち、複数の被検者の行動の相関関係及び状態の相関関係のうち、少なくともいずれかを分析するものとしても良い。

（３）実施例１及び２のカメラ付き帽子１、１ａ〜１ｎは、ビデオカメラ１１、画像メモリ１２、マイクロホン１３及び音声メモリ１４を備えていたが、全地球位置計測システムであるＧＰＳ受信機等の位置定量装置及びその受信信号に基づいて被検者の位置情報を記録する位置情報メモリを追加しても良い。
（４）実施例１及び２のカメラ付き帽子１、１ａ〜１ｎは、ビデオカメラ１１等を帽子の頭頂部に設けるものであったが、図５に示すようなクリップ１７を利用して、帽子のつばにビデオカメラやマイクロホンを固定するようにしても良く、図６に示すような円形のアタッチメント１８を頭頂部に取り付けて、ビデオカメラ１１等を着脱自在に固定できるようにしても良い。
そうした場合、保持できる実施例１及び２のカメラ付き帽子１、１ａ〜１ｎは、ビデオカメラ１１、画像メモリ１２、マイクロホン１３、胸部バンド２、２ａ〜２ｎは、心拍計２１、加速度計２３及び体表温度計２５を備えていたが、心拍計２１、加速度計２３及び体表温度計２５を全て備える必要はなく、心拍計２１、加速度計２３及び体表温度計２５のうちの少なくともいずれか一つを備えていれば良い。

（５）実施例１及び２のカメラ付き帽子１、１ａ〜１ｎは、変形例（３）においても帽子を用いたが、帽子に代えてヘアバンド、はちまき、サンバイザー等を用いてビデオカメラ及びマイクロホンを固定しても良い。
（６）実施例１及び２の胸部バンド２、２ａ〜２ｎは、心拍計２１、加速度計２３及び体表温度計２５を備えていたが、心拍計２１、加速度計２３及び体表温度計２５を全て備える必要はなく、心拍計２１、加速度計２３及び体表温度計２５のうちの少なくともいずれか一つを備えていれば良い。

１ カメラ付き帽子 ２ 胸部バンド
３ 行状分析装置 ４ 行状相関認識装置
１１ ビデオカメラ １２ 画像メモリ １３ マイクロホン
１４ 音声メモリ １５ 視線分析装置 １６ 音響分析装置
１７ クリップ １８ アタッチメント ２１ 心拍計
２２ 心拍メモリ ２３ 加速度計 ２４ 加速度メモリ
２５ 体表温度計 ２６ 体表温メモリ
２７ 心拍分析装置 ２８ 加速度分析装置 ２９ 体表温分析装置
３１ 行動分析装置 ３２ 行動分析結果表示装置
３３ 状態分析装置 ３４ 状態分析結果表示装置
４１ 行動相関認識装置 ４２ 行動相関認識結果表示装置
４３ 状態相関認識装置 ４４ 状態相関認識結果表示装置

Claims (2)

1. 被検者の頭部に装着されたビデオカメラ及びマイクロホンと、
   前記被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
   前記ビデオカメラで撮影された動画像を記録する画像メモリと、
   前記マイクロホンで検知された音声を記録する音声メモリと、
   前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
   前記画像メモリに記録された動画像に基づいて前記被検者の視線を分析する視線分析装置と、
   前記音声メモリに記録された音声に基づいて前記被検者の言葉を分析する言語分析装置と、
   前記信号メモリに記録された計測データに基づいて前記被検者の生理を分析する生理分析装置と、
   前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記被検者の行動又は状態を分析する行状分析装置を備える
   ことを特徴とする行動分析システム。
2. 複数の被検者の頭部に装着されたビデオカメラ及びマイクロホンと、
   前記複数の被検者の胸部に装着された心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つと、
   前記ビデオカメラで撮影された動画像を記録する画像メモリと、
   前記マイクロホンで検知された音声を記録する音声メモリと、
   前記心拍計、加速度計及び体表温度計のうちの少なくともいずれか一つで検出された計測データを記録する信号メモリと、
   前記画像メモリに記録された動画像に基づいて前記複数の被検者の視線を分析する視線分析装置と、
   前記音声メモリに記録された音声に基づいて前記複数の被検者の言葉を分析する言語分析装置と、
   前記信号メモリに記録された計測データに基づいて前記複数の被検者の生理を分析する生理分析装置と、
   前記視線分析装置、前記言語分析装置及び前記生理分析装置の分析結果に基づいて、前記複数の被検者の行動又は状態を分析する行状分析装置と、
   前記分析結果に基づいて、前記複数の被検者の行動又は状態の相関関係を認識する行状相関認識装置を備える
   ことを特徴とする行動分析システム。