JP2017140107A

JP2017140107A - 集中度の推定装置

Info

Publication number: JP2017140107A
Application number: JP2016022192A
Authority: JP
Inventors: 知伸吉野; Tomonobu Yoshino
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2016-02-08
Filing date: 2016-02-08
Publication date: 2017-08-17
Anticipated expiration: 2036-02-08
Also published as: JP6560137B2

Abstract

【課題】ＴＶ会議システムや映像の視聴者の集中度を推定する推定装置を提供する。【解決手段】推定装置は、前記人の脳血流における酸素化ヘモグロビン量を測定する測定手段と、前記人の視線方向を示す視線情報を取得する取得手段と、前記映像をブロックに分割し、所定期間に渡る各ブロックの画像の変化度合いを判定する判定手段と、前記視線情報に基づき、前記所定期間以上の判定期間において前記人が見ていたブロックを判定し、前記判定したブロックの前記変化度合いに基づき注視スコアを算出する第１算出手段と、前記判定期間における前記人の酸素化ヘモグロビン量に基づき賦活スコアを算出する第２算出手段と、前記注視スコア及び前記賦活スコアに基づき前記人の集中度を示す集中度スコアを算出する第３算出手段と、を備えていることを特徴とする。【選択図】図２

Description

本発明は、例えば、ＴＶ会議システムに参加している人の会議への集中度といった、映像を視聴している人の集中度を推定する技術に関する。

映像及び音声を遠隔地間で双方向に接続することでコミュニケーションを行うＴＶ会議は、スモール・オフィスや在宅勤務の増加により、利用の増加が見込まれている。しかしながら、ＴＶ会議においては、相手方の発話内容や感情を十分に理解することが難しい場合がある。相手方の発話内容や感情を十分に理解できないと、ＴＶ会議におけるコミュニケーションが阻害される。

特許文献１は、会議の参加者の視線情報を用いて、参加者の感情を推定する構成を開示している。また、特許文献２は、ＴＶ視聴者の脳情報をｆＭＲＩにより計測して視聴者の視聴状態を判定する構成を開示している。

特開２０１２−１８５７２７号公報特開２０１４−２３６３３２号公報

会議の参加者の視線情報により、当該参加者が、例えば、話者を見ていることは判定できるが、当該参加者が、単に、話者を眺めているのみなのか、話者の話す内容を理解し、その内容の是非を判定しようと努めているのかを判定することはできない。一方、参加者の脳情報をｆＭＲＩにより取得することで当該参加者が何らかの思考をおこなっていることを判定することができるが、会議の話者に対して何らかの思考をおこなっているのか、会議の内容とは無関係な内容の思考を行っているのかを判定することはできない。

本発明は、ＴＶ会議システムや映像の視聴者の集中度を推定する推定装置、推定方法及びプログラムを提供することを目的とする。

本発明の一側面によると、映像を視聴している人の集中度を推定する推定装置は、前記人の脳血流における酸素化ヘモグロビン量を測定する測定手段と、前記人の視線方向を示す視線情報を取得する取得手段と、前記映像をブロックに分割し、所定期間に渡る各ブロックの画像の変化度合いを判定する判定手段と、前記視線情報に基づき、前記所定期間以上の判定期間において前記人が見ていたブロックを判定し、前記判定したブロックの前記変化度合いに基づき注視スコアを算出する第１算出手段と、前記判定期間における前記人の酸素化ヘモグロビン量に基づき賦活スコアを算出する第２算出手段と、前記注視スコア及び前記賦活スコアに基づき前記人の集中度を示す集中度スコアを算出する第３算出手段と、を備えていることを特徴とする。

本発明によると、視聴者の集中度を推定することができる。

本発明を適用できる一実施形態を示す図。一実施形態による推定装置の構成図。一実施形態による推定部の構成図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態の一例を示す構成図である。図１において、本社３００と、スモール・オフィス１００とにＴＶ会議システムを設置し、ネットワーク２００を介してＴＶ会議が行える様になっている。本実施形態では、例えば、スモール・オフィス１００側でＴＶ会議に参加している参加者の会議への集中度を測定する。図２は、本実施形態による推定装置の構成図である。視線計測部１は、参加者の視線方向を測定し、視線方向を示す視線情報を推定部４に出力する。視線計測部１には、例えば、アイカメラといった任意の視線方向の測定機器を使用することができる。脳血流計測部２は、参加者の前頭前野における脳血流情報を取得し、血流情報を推定部４に出力する。本実施形態において、血流情報は、血液中の酸素化ヘモグロビン量を示す情報を含む。血流情報の測定には、近赤外分光法（ＮｅａｒＩｎｆｒａｒｅｄＳｐｅｃｔｒｏｓｃｏｐｙ）を使用することができる。つまり、血液中の酸素化ヘモグロビン量は、参加者の前頭前野に近赤外光を照射して、その反射光を受光することで得られる。映像検出部３は、本社３００のＴＶ会議システムから送信される映像及び音声情報を含む会議情報から、映像情報を取り出して推定部４に出力する。

図４は、推定部４の構成図である。脳賦活判定部４１は、所定の判定期間Ｌ毎に、血流情報の平均値を判定し、この平均値を第１閾値と比較する。そして、平均値が第１閾値以下であると、賦活スコアを１とし、平均値が第１閾値より大きいと賦活スコアを０とする。賦活スコアが１であることは、参加者が何らかの思考を行っている状態を示し、賦活スコアが０とは、参加者が思考を行っていない状態を示している。これは、通常、人間が何らかの思考を行うと、前頭前野における酸素化ヘモグロビン量が減少するからである。

視線追随性判定部４２は、映像情報が示す映像を所定サイズの複数のブロックに分割し、所定期間である算出間隔Ｔ毎に、各ブロックの時間周波数成分を得る。例えば、ブロックの縦及び横の画素数をそれぞれＭ及びＮとすると、１つのブロックについて、算出時間間隔Ｔ毎にＭ×Ｎ×Ｔ画素の３次元データを得ることができ、この３次元データに対してフーリエ変換等の直交変換を行って、時間周波数の振幅情報を得る。このブロックの振幅情報は、当該ブロックの算出間隔Ｔ内における画像の変化度合いを示している。具体的には、ブロックの時間周波数の振幅が大きいことは、算出間隔Ｔ内において、当該ブロック内の画像の変化が大きいことを示している。なお、本実施形態において、判定期間Ｌは、算出間隔Ｔの整数倍とする。つまり、１つの判定期間Ｌ内にｋ個（ｋは１以上の整数）の算出間隔Ｔが含まれるものとする。

そして、視線追随性判定部４２は、算出間隔Ｔ毎に参加者が見ていたブロックを視線情報に基づき判定し、判定期間Ｌに渡り参加者が見ていたブロックの時間周波数の振幅の合計値を求める。つまり、判定期間Ｌ内にｋ個の算出間隔Ｔがあるものとすると、参加者が判定期間内に見ていたｋ個のブロックの時間周波数の振幅の合計値を視線追随性判定部４２は求める。そして、視線追随性判定部４２は、求めた合計値を第２閾値と比較し、合計値が第２閾値より大きいと、注視スコアを１として、合計値が第２閾値以下であると注視スコアを０とする。注視スコアが１であることは、参加者が変化の大きいブロックを注視していたことを示し、注視スコアが０であることは、参加者が変化の大きいブロックを注視していなかったことを示す。通常、会議等において、変化の大きいブロックは、話者を含むブロックに対応するため、本実施形態においては、注視スコアが１であることは、参加者が話者を注視していたと判定し、注視スコアが０であることは、参加者が話者を注視していなかったと判定する。

算出部４３は、判定期間Ｌ毎に、参加者の賦活スコア及び注視スコアに基づき、参加者の集中度スコアを求める。例えば、賦活スコア及び注視スコアが共に１であると、集中度スコアを６とし、賦活スコアが０であり、かつ、注視スコアが１であると、集中度スコアを５とし、賦活スコアが１であり、かつ、注視スコアが０であると、集中度スコアを２．５とし、賦活スコア及び注視スコアが共に０であると、集中度スコアを１とする。そして、例えば、判定期間Ｌ毎に算出される集中度スコアの会議時間に渡る平均値又は合計値を、例えば、最終的な参加者の集中度スコアとする。なお、集中度スコアは、その値が高い程、参加者が会議に集中していたことを示す。

なお、上記実施形態では、賦活スコア及び注視スコアそれぞれを０又は１の２段階評価としていた。しかしながら、２つ以上の閾値と比較することで、賦活スコア及び／又は注視スコアを３段階以上の評価とすることもできる。具体的には、ｎ個の閾値（ｎは自然数）により（ｎ＋１）段階の賦活スコアを算出し、ｍ個の閾値（ｍは自然数）により（ｍ＋１）段階の注視スコアを算出する構成とすることができる。

なお、本発明による推定装置は会議の参加者の集中度のみならず、映像を視聴している人の映像への集中度の推定にも利用できる。また、本発明による推定装置は、コンピュータを上記推定装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

４１：脳賦活判定部、４２：視線追随性判定部、４３：算出部

Claims

映像を視聴している人の集中度を推定する推定装置であって、
前記人の脳血流における酸素化ヘモグロビン量を測定する測定手段と、
前記人の視線方向を示す視線情報を取得する取得手段と、
前記映像をブロックに分割し、所定期間に渡る各ブロックの画像の変化度合いを判定する判定手段と、
前記視線情報に基づき、前記所定期間以上の判定期間において前記人が見ていたブロックを判定し、前記判定したブロックの前記変化度合いに基づき注視スコアを算出する第１算出手段と、
前記判定期間における前記人の酸素化ヘモグロビン量に基づき賦活スコアを算出する第２算出手段と、
前記注視スコア及び前記賦活スコアに基づき前記人の集中度を示す集中度スコアを算出する第３算出手段と、
を備えていることを特徴とする推定装置。
前記第２算出手段は、前記人の酸素化ヘモグロビン量をｎ個の第１閾値（ｎは自然数）と比較することで（ｎ＋１）段階の前記賦活スコアを算出し、
前記人の酸素化ヘモグロビン量が少なくなる程、前記賦活スコアは高くなり、前記賦活スコアが高い程、前記集中度スコアは高くなることを特徴とする請求項１に記載の推定装置。
前記判定手段は、前記所定期間に渡る各ブロックの画像をフーリエ変換して得た振幅情報を前記変化度合いとすることを特徴とする請求項１又は２に記載の推定装置。
前記第１算出手段は、前記判定期間内の前記各所定期間において前記人が見ていたブロックを判定し、前記各所定期間において前記人が見ていたブロックの振幅情報の合計値に基づき前記注視スコアを算出することを特徴とする請求項３に記載の推定装置。
前記第１算出手段は、前記合計値をｍ個の第２閾値（ｍは自然数）と比較することで（ｍ＋１）段階の前記注視スコアを算出し、
前記合計値が大きくなる程、前記注視スコアは高くなり、前記注視スコアが高い程、前記集中度スコアは高くなることを特徴とする請求項４に記載の推定装置。
映像を視聴している人の集中度を推定する推定装置における推定方法であって、
前記人の脳血流における酸素化ヘモグロビン量を測定する測定ステップと、
前記人の視線方向を示す視線情報を取得する取得ステップと、
前記映像をブロックに分割し、所定期間に渡る各ブロックの画像の変化度合いを判定する判定ステップと、
前記視線情報に基づき、前記所定期間以上の判定期間において前記人が見ていたブロックを判定し、前記判定したブロックの前記変化度合いに基づき注視スコアを算出する第１算出ステップと、
前記判定期間における前記人の酸素化ヘモグロビン量に基づき賦活スコアを算出する第２算出ステップと、
前記注視スコア及び前記賦活スコアに基づき前記人の集中度を示す集中度スコアを算出する第３ステップと、
を含むことを特徴とする推定方法。
請求項１から６のいずれか１項に記載の推定装置としてコンピュータを機能させることを特徴とするプログラム。