JP2014202636A - 行動解析装置 - Google Patents

Abstract

【課題】行動解析装置に関し、解析者の目視による判定精度を効果的に向上させる。【解決手段】被験者の顔を撮像した映像に基づいて被験者の視認行動を解析する行動解析装置であって、所定の視認行動を行う顔を撮像したレファレンス映像と、被験者の顔を解析対象として任意の時間撮像した解析対象映像と、画面上にレファレンス映像、解析対象映像の順に表示する液晶モニタ１１と、表示されるレファレンス映像及び解析対象映像に基づいて解析者が目視で判定した視認行動の判定結果を入力するための入力操作装置１２と、レファレンス映像に対して予め設定した判定基準値と、レファレンス映像に対して入力された判定結果との差に基づいて、判定結果の判定精度を解析する精度解析手段２０とを備える。【選択図】図１

Description

本発明は、行動解析装置に関し、特に、被験者の顔を撮像した映像に基づいて当該被験者の視認行動を解析する行動解析装置に関する。

ユーザビリティ分野における行動解析装置においては、被験者の行動を計測器等では計測しづらく、自動判定が困難なため、解析者による目視判定を用いる領域がある。このような行動解析装置として、実交通環境下における車両運転者の視認行動や操作制御行動を解析する装置が知られている。

例えば、特許文献１には、ＣＣＤカメラで撮像した車両運転者の顔画像と、センサ類で計測した車両検出データとをモニタに表示させて解析者に視認させることが可能な運転行動解析装置が開示されている。

特開２００５−１８８９９８号公報

ところで、視認行動等の評価対象行動を目視により判定するセミオート解析では、解析者が異なる場合、又は、同一の解析者であっても異なる日に解析を行った場合は、判定精度にバラツキが生じることがある。そのため、判定結果に一貫性が保てず、定量的な解析精度に問題が生じることで、時には判定のやり直しを余儀なくされていた。

解析精度を確保するためには、モニタに表示する被験者の映像をスロー再生やコマ送りすることが考えられる。しかしながら、係る手法では、時間効率を低下させる他、被験者の映像がスロー再生で不自然となるため、目視による判定がかえって困難になるといった課題もある。

本発明は、このような点に鑑みてなされたもので、その目的は、行動解析装置において、解析者の目視による判定精度を効果的に向上させることにある。

上記目的を達成するため、本発明の行動解析装置は、被験者の顔を撮像した映像に基づいて当該被験者の視認行動を解析する行動解析装置であって、所定の視認行動を行う顔を撮像したレファレンス映像と、被験者の顔を解析対象として任意の時間撮像した解析対象映像と、画面上に前記レファレンス映像、前記解析対象映像の順に表示する表示手段と、表示されるレファレンス映像及び解析対象映像に基づいて解析者が目視で判定した視認行動の判定結果を入力するための入力手段と、レファレンス映像に対して予め設定した判定基準値と、レファレンス映像に対して入力された解析者による判定結果との差に基づいて、当該判定結果の判定精度を解析すると共に、解析結果を前記表示手段に表示させる精度解析手段と、を備えることを特徴とする。

また、前記表示手段は、画面上にレファレンス映像、解析対象映像、レファレンス映像の順に表示し、前記精度解析手段は、最初に表示されたレファレンス映像に対して入力された判定結果と、後に表示されたレファレンス映像に対して入力された判定結果との差に基づいて、解析対象映像に対して入力された判定結果の判定精度を解析するものであってもよい。

また、前記レファレンス映像は、所定の視認行動を行う被験者の顔を予め撮像したものであってもよい。

また、前記表示手段は、前記解析対象映像が解析者の集中力を低下させる所定の上限時間を超える場合は、当該解析対象映像を少なくとも二以上の映像に分割して表示すると共に、分割された解析対象映像の間に前記レファレンス映像を表示するものであってもよい。

また、前記レファレンス映像及び前記解析対象映像は、車両の運転者の顔を撮像したものであって、前記入力手段は、レファレンス映像及び解析対象映像に基づいて解析者が目視判定した運転者の視認方向を入力するものであってもよい。

本発明の行動解析装置によれば、解析者の目視による判定精度を効果的に向上させることができる。

本発明の一実施形態に係る行動解析装置を示す模式的な全体構成図である。 本発明の一実施形態に係る行動解析装置において、液晶モニタに表示される映像の一例を示す模式的な図である。 本発明の一実施形態に係る行動解析装置において、入力操作装置の一例を示す模式的な図である。 本発明の一実施形態に係る行動解析装置において、レファレンス映像の判定基準値を示す図である。 本発明の一実施形態に係る行動解析装置において、レファレンス映像及び評価対象映像の再生順序を示す図である。 本発明の一実施形態に係る行動解析装置において、レファレンス映像及び評価対象映像の目視判定結果を示す図である。

以下、添付図面に基づいて、本発明の一実施形態に係る行動解析装置を説明する。同一の部品には同一の符号を付してあり、それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰返さない。

図１に示すように、本実施形態の行動解析装置１０は、トラック等の車両１を運転する運転者（以下、被験者という）の視認行動を解析するものである。このため、車両１には、被験者の顔を撮像するための撮像装置２が搭載されている。

撮像装置２は、ＣＣＤカメラ３と、映像記憶装置４とを備えている。ＣＣＤカメラ３は、被験者の顔を前方から撮像するビデオカメラであって、車室１ａ内の前方に設けられている。映像記憶装置４は、ＣＣＤカメラ３から入力される撮像映像を記憶するもので、例えばＨＤＤレコーダ等で構成されている。この映像記憶装置４は、記憶した撮像映像を行動解析装置１０に移転するためのリムーバブルディスク５を備えている。

行動解析装置１０は、映像表示手段としての液晶モニタ１１と、入力手段としての入力操作装置１２と、制御手段としての行動解析制御部２０とを備え構成されている。

液晶モニタ１１は、解析者の目視による判定を可能にするために、撮像装置２から行動解析制御部２０に移転された撮像映像を画面１１ａ上に表示させる。図２は、画面１１ａ上に表示される撮像映像の一例を示している。

入力操作装置１２は、キーボードやマウス等を備えており、解析者の目視による判定結果を入力操作できるように構成されている。本実施形態では、定義された被験者の視認方向が特定のキーに予め割り当てられている。例えば、図３に示すように、前方視は５番キー、右方視は６番キー、左方視は４番キー、下方視は２番キー、上方視は８番キーとして割り当てられている。解析者によって入力操作（キー押し操作）される判定結果は、ＰＣクロックを用いて時系列データとして行動解析制御部２０に入力される。なお、入力操作装置１２はキーボードに限定されず、タッチパネル等を用いることもできる。

行動解析制御部２０は、ＣＰＵ、ＭＰＵ、半導体メモリ等を有するパーソナルコンピュータであって、図１に示すように、レファレンス映像記憶部２１と、評価対象映像記憶部２２と、映像再生制御部２３と、目視判定結果記憶部２４と、判定精度解析部２５とを各機能要素として構成されている。これら各機能要素は一体のハードウェアに設けられているが、別体のハードウェアに設けることもできる。

レファレンス映像記憶部２１には、予め作成された解析者が目視判定を行う際に練習用に用いる映像（以下、レファレンス映像という）が記憶されている。レファレンス映像としては、例えば、被験者に所定の評価対象行動（左右のサイドミラー、前方向等を意図的に視認させる行動）を行わせて撮像した約１分間の映像が用いられる。

なお、レファレンス映像は、被験者と同一運転者の同日の映像であることが望ましいが、約１分間の映像中に評価対象行動が複数回含まれるものであれば、他の運転手の映像を用いることもできる。

さらに、レファレンス映像記憶部２１には、レファレンス映像に対して複数名の解析者によって行われた目視判定結果が判定基準値として記憶されている。この判定基準値は、図４に示すように、被験者の各視認方向の回数や積算時間、平均持続時間、偏差等で設定されている。なお、判定基準値の取得は、複数名の解析者で行う必要はなく、例えば、一名の解析者が複数回試行することで取得してもよい。

評価対象映像記憶部２２は、撮像装置２からリムーバブルディスク５により移転される撮像映像を解析者による目視判定の本番用の映像（以下、評価対象映像という）として記憶する。解析者が評価対象映像に基づいて目視判定を行う場合、集中力を持続できる継続時間は５分間程度と考えられる。そのため、本実施形態の評価対象映像記憶部２２は、評価対象映像が５分以上ある場合、一連の再生時間が上限時間の５分以内となるように、評価対象映像を複数回に分割して記憶する。例えば、撮像された映像が１０分の場合、評価対象映像は５分毎に二分割されて記憶される。また、撮像された映像が１５分の場合、評価対象映像は５分毎に三分割されて記憶される。

映像再生制御部２３は、液晶モニタ１１に表示するレファレンス映像及び評価対象映像の再生順序を制御する。評価対象映像が５分未満の場合、映像再生制御部２３は、図５（ａ）に示すように、最初に１分間のレファレンス映像を再生させた後、５分間の評価対象映像を再生し、さらに１分間のレファレンス映像を再生させる。

また、評価対象映像が５分以上であって複数回に分割して記憶されている場合、映像再生制御部２３は、図５（ｂ）に示すように、最初と最後に１分間のレファレンス映像をそれぞれ再生させる他、分割された評価対象映像間に１分間のレファレンス映像をさらに再生させる。

なお、レファレンス映像と評価対象映像とを複数回再生する場合であっても、これらレファレンス映像と評価対象映像とを含めた合計再生時間は、３０分以内に制限されるように構成されている。また、３０分連続して行うことは難しいため、レファレンス／評価対象の切り替わりタイミングで逐次、停止して休憩を取得できるようにすることが望ましい。また、評価対象映像の解析が５分経過する前に終了した場合であっても、次に開始する際は、必ずレファレンス映像を観てから評価対象映像を解析するようにしてもよい。これにより、再開時のウォーミングアップ効果を得ることができる。

目視判定結果記憶部２４は、液晶モニタ１１に表示されるレファレンス映像及び評価対象映像に基づいて行われる解析者の目視判定結果をそれぞれ記憶する。本実施形態において、目視による判定結果は、予め視認方向が割り当てられている入力操作装置１２のキーを解析者がキー押し操作することで入力できるようになっている。目視判定結果記憶部２４は、図６に示すように、解析者によるキー押し回数、キー押し継続時間を、対応する視認方向の回数、積算時間として記憶すると共に、これらの平均持続時間や偏差を演算して目視判定結果として記憶する。

判定精度解析部２５は、目視判定結果記憶部２４により記憶されたレファレンス映像及び評価対象映像に対する目視判定結果の判定精度を解析する。以下、より詳細な判定精度の解析手法を説明する。

最初のレファレンス映像に対して目視判定結果が入力されると（図５（ａ），（ｂ）のＡ参照）、判定精度解析部２５は、レファレンス映像の判定基準値と、レファレンス映像の目視判定結果とを相互に比較して判定精度を解析する。データ項目間差が全て一定範囲内（例えば、５％以内）にある場合、レファレンス映像に対する目視判定結果の精度は高いと解析される。一方、データ項目間差が一部でも一定範囲内（５％以内）にない場合、レファレンス映像に対する目視判定結果の精度は低いと解析される。

これら解析結果は、レファレンス映像の再生後、評価対象映像が再生されるよりも前に液晶モニタ１１に表示される。これにより、解析者は、本番として評価対象映像の目視判定を行う前に、自らの修正すべき判定ポイントを知ることができる。

さらに、評価対象映像後のレファレンス映像に対して目視判定結果が入力されると（図５（ａ），（ｂ）のＢ参照）、判定精度解析部２５は、評価対象映像の前後で再生された二つのレファレンス映像の目視判定結果を相互に比較することで、評価対象映像に対する判定精度を解析する。

データ項目間差が全て一定範囲内（５％以内）にある場合、評価対象映像に対する判定精度は高いと解析される。二つのレファレンス映像に対して判定にバラツキがないため、これらレファレンス映像間で再生された評価対象映像の目視判定も精度が高いと判断できるためである。

一方、データ項目間差が一部でも一定範囲内（５％以内）にない場合、評価対象映像に対する判定精度は低いと解析される。二つのレファレンス映像に対して判定にバラツキがあるため、これらレファレンス映像間で再生された評価対象映像の目視判定にもバラツキ等が存在すると判断できるためである。なお、解析結果は、後のレファレンス映像の再生が終了した時点で、液晶モニタ１１に表示される。

次に、本実施形態に係る行動解析装置１０による作用効果を説明する。

本実施形態の行動解析装置１０では、最初に再生されたレファレンス映像に対する目視判定結果は、判定基準値と比較することで、その判定精度が解析される。そして、解析されたレファレンス映像に対する判定精度は、評価対象映像の再生前に液晶モニタ１１に表示される。すなわち、解析者は、評価対象映像の目視判定を行う前に、自らが修正すべき判定ポイントを確実に知ることできるように構成されている。したがって、本実施形態の行動解析装置１０によれば、解析者の目視による評価対象映像の判定精度を効果的に向上することができる。

また、本実施形態の行動解析装置１０では、評価対象映像に対する目視判定結果は、前後に再生された二つのレファレンス映像の目視判定結果を比較することで、その判定精度が解析される。すなわち、前後二つのレファレンス映像に対する目視判定結果の比較結果から、評価対象映像に対する目視判定結果の信頼度が定量的に示されるように構成されている。したがって、本実施形態の行動解析装置１０によれば、評価対象映像に対してなされた目視判定結果の採否判断を容易にすることができる。

また、本実施形態の行動解析装置１０によれば、スロー再生やコマ送り等を行わないリアルタイム解析により、時間効率の低下を抑制することができると共に、解析精度や判定漏れ発生状況等を解析者にフィードバックすることで、解析者自身による判定作業の修正を図ることが可能になる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

例えば、レファレンス映像は、予め作成されるものとして説明したが、評価対象映像から任意の期間を取り出して設定することも可能である。また、被験者は車両の運転者に限定されず、特定の視認行動を行う者であれば、例えば製造ラインの作業者等であってもよい。さらに、視認行動に限られず、例えばハンドル操作方向の判定、クラッチ等のペダル操作行動等、定型的作業・行動の解析に応用することもできる。

１ 車両
２ 撮像装置
３ ＣＣＤカメラ
４ 映像記憶装置
１０ 行動解析装置
１１ 液晶モニタ
１２ 入力操作装置
２０ 行動解析制御部
２１ レファレンス映像記憶部
２２ 評価対象映像記憶部
２３ 映像再生制御部
２４ 目視判定結果記憶部
２５ 判定精度解析部

Claims (5)

1. 被験者の顔を撮像した映像に基づいて当該被験者の視認行動を解析する行動解析装置であって、
   所定の視認行動を行う顔を撮像したレファレンス映像と、
   被験者の顔を解析対象として任意の時間撮像した解析対象映像と、
   画面上に前記レファレンス映像、前記解析対象映像の順に表示する表示手段と、
   表示されるレファレンス映像及び解析対象映像に基づいて解析者が目視で判定した視認行動の判定結果を入力するための入力手段と、
   レファレンス映像に対して予め設定した判定基準値と、レファレンス映像に対して入力された解析者による判定結果との差に基づいて、当該判定結果の判定精度を解析すると共に、解析結果を前記表示手段に表示させる精度解析手段と、を備える
   ことを特徴とする行動解析装置。
2. 前記表示手段は、画面上にレファレンス映像、解析対象映像、レファレンス映像の順に表示し、
   前記精度解析手段は、最初に表示されたレファレンス映像に対して入力された判定結果と、後に表示されたレファレンス映像に対して入力された判定結果との差に基づいて、解析対象映像に対して入力された判定結果の判定精度を解析する
   ことを特徴とする請求項１に記載の行動解析装置。
3. 前記レファレンス映像は、所定の視認行動を行う被験者の顔を予め撮像したものである
   ことを特徴とする請求項１又は２に記載の行動解析装置。
4. 前記表示手段は、前記解析対象映像が解析者の集中力を低下させる所定の上限時間を超える場合は、当該解析対象映像を少なくとも二以上の映像に分割して表示すると共に、分割された解析対象映像の間に前記レファレンス映像を表示する
   ことを特徴とする請求項１から３の何れか一項に記載の行動解析装置。
5. 前記レファレンス映像及び前記解析対象映像は、車両の運転者の顔を撮像したものであって、
   前記入力手段は、レファレンス映像及び解析対象映像に基づいて解析者が目視判定した運転者の視認方向を入力するものである
   ことを特徴とする請求項１から４の何れか一項に記載の行動解析装置。

Images