JP2012146216A

JP2012146216A - 電子機器および電子機器の制御プログラム

Info

Publication number: JP2012146216A
Application number: JP2011005251A
Authority: JP
Inventors: Hiromi Tomii; 宏美冨井; Kazue Minagawa; 一惠皆川; Toshiaki Maeda; 敏彰前田; Motoyuki Kuboi; 基之久保井; Masaichi Sekiguchi; 政一関口
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-01-13
Filing date: 2011-01-13
Publication date: 2012-08-02

Abstract

【課題】生体情報のみによる制御機器では十分ではなく、他の情報との融合が望まれていた。
【解決手段】上記課題を解決するために、電子機器は、対象者の表情を検出する表情検出部と、対象者の生体に関する情報である生体情報を入力する生体情報入力部と、表情検出部の検出結果および生体情報に基づいて、被制御機器を制御する制御部とを備える。これにより、生体情報のみならず対象者の表情から対象者の意図を推定するので、より対象者の意図に即した制御機器を実現できる。
【選択図】図１

Description

本発明は、電子機器および電子機器の制御プログラムに関する。

近年、ユーザの生体情報を取得して、各種のサポートをすることが提案されており、ユーザが音楽に集中しているかどうかを検出して、音楽に集中していない場合には音量を低くする音響再生装置が提案されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００５−３４４８４号公報

しかしながら、生体情報のみによる制御機器では十分ではなく、他の情報との融合が望まれていた。

上記課題を解決するために、本発明の第１の態様における電子機器は、対象者の表情を検出する表情検出部と、対象者の生体に関する情報である生体情報を入力する生体情報入力部と、表情検出部の検出結果および生体情報に基づいて、被制御機器を制御する制御部とを備える。

上記課題を解決するために、本発明の第２の態様における電子機器の制御プログラムは、対象者の表情を検出する表情検出ステップと、対象者の生体に関する情報である生体情報を入力する生体情報入力ステップと、表情検出ステップの検出結果および生体情報に基づいて、被制御機器を制御する制御ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

第１実施形態に係る集中度検出システムの概要を示す図である。第１実施形態に係る集中度検出システムのブロック図である。第１実施形態に係る集中度検出システムの処理を示すフロー図である。第１実施形態の応用例としての、ユーザの手部の検出に関する処理を示すフロー図である。第１実施形態の応用例としての、ユーザの発話速度の検出に関する処理を示すフロー図である。第１実施形態の変形例を表すスマートフォンの概要を示す図である。第１実施形態の変形例に係る集中度検出システムのブロック図である。第２実施形態に係る集中度検出システムの概要を示す図である。第２実施形態に係る集中度検出システムのブロック図である。第２実施形態に係る集中度検出システムの処理を示すフロー図である。発表者が視認するディスプレイの表示例である。発表者が視認するディスプレイの表示例である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、第１実施形態に係る集中度検出システム１１０の概要を示す図である。図１に示すように、集中度検出システム１１０は、パーソナルコンピュータ（パソコン）２００とユーザに装着される生体センサ３３０を有している。パソコン２００は、ディスプレイ２０１、キーボード２０２、タッチパッド２０３といった、ユーザの入力操作部材を備える。また、パソコン２００には、マウス３００が接続されており、ユーザはマウス３００を操作することによっても、パソコン２００に指示を与えることができる。

パソコン２００は、内蔵カメラ２０４、超音波センサ２０５、スピーカ２０６、マイク２０７を更に備える。内蔵カメラ２０４は、撮影レンズおよび撮像素子を含む。撮像素子には、ＣＣＤセンサ、ＣＭＯＳセンサなどのイメージセンサが用いられる。内蔵カメラ２０４は、ディスプレイ２０１の上部に配設されており、ユーザの顔、手、腕を含む上半身と共に、キーボード２０２、タッチパッド２０３などの操作部材を同時に撮影できる画角を有する。なお、内蔵カメラ２０４に代えて、例えばクリップによりディスプレイ２０１の近傍に装着できる、カメラモジュールを採用しても良い。超音波センサ２０５は、内蔵カメラ２０４の近傍に設けられており、ディスプレイ２０１からユーザまでの距離を計測するための超音波の送受信を実行する。

キーボード２０２近傍の左右のパームレスト位置に対応して、温調部２０８がパソコン２００内に設けられている。温調部２０８は、例えばニクロム線、鉄クロム線などの電熱線を有し、電流が加えられることにより温度上昇を生じる。ユーザは、掌周りを通じて温度変化を感じることができる。

キーボード２０２の裏面には、個々のキーに対応して圧電センサ２０９が設けられている。圧電センサ２０９は、ピエゾ素子を有し、外部から与えられた力を圧電効果により電圧に変換することで、振動を電気的に検出する。これにより、圧電センサ２０９は、ユーザがキーを叩く強さ、繰り返し動作を検出することができる。

ユーザの足元には、床センサ３１０が設けられている。床センサ３１０は、圧電センサ２０９と同様にピエゾ素子等により構成され、ユーザの足踏み、貧乏ゆすりなど、足の動作を検出する。床センサ３１０は、パソコン２００と接続されており、検出した信号をパソコン２００へ送信する。

ユーザの頭上付近である天井部分には、天井カメラ３２０が設けられている。天井カメラ３２０は、撮影レンズおよび撮像素子を含み、ユーザの頭部を撮影できる画角に調整されている。天井カメラ３２０は、撮影した撮影画像信号を、例えば無線ＬＡＮによりパソコン２００へ送信される。一方、パソコン２００は、天井カメラ３２０に対して撮影の開始、撮影画像信号の要求などの制御信号を送信する。

生体センサ３３０は、例えばユーザの腕に巻きつけられて装着されている。生体センサ３３０は、ユーザの生体情報をセンシングして、その出力をパソコン２００へ送信する。具体的な構成については後述する。

パソコン２００には、双方向通信機器としての電話４００が接続されている。電話４００は、パソコンからの制御信号を受信して、その機能を制限および解除する。また、パソコン２００には、指標灯４１０が接続されている。指標灯４１０は、例えば発光色を変更できる高輝度ＬＥＤを備える。指標灯４１０は、パソコン２００が判断したユーザの集中状態を、例えば赤色で発光することにより周囲の人に認識させる。

図２は、第１実施形態に係る集中度検出システムのブロック図である。図示するように、パソコン２００は、全体の制御を司るパソコンＣＰＵ２１０を中心として、図１を用いて説明したディスプレイ２０１、キーボード２０２等の要素を備える。

タイマー２１１は、パソコンＣＰＵ２１０の開始の指示を受けて計時を開始し、終了の指示を受けてその時刻をパソコンＣＰＵ２１０へ返す。ＲＯＭ２１２は、例えばフラッシュメモリなどの不揮発性メモリであり、パソコン２００を制御するプログラム、各種パラメータなどを記憶する役割を担う。また、各種データ、ユーザのスケジュール、パソコン２００の使用状況、生体情報のデータ、床センサ３１０の出力等も記憶できる。

感情解析部２１３は、生体センサ３３０からの生体情報を受け取り、ユーザの感情を解析する。生体センサ３３０は、ユーザの生体情報を検出するセンサであり、例えば、ＬＥＤにより生体に向けて照射光を照射し、この照射光に対して生体から反射した光を受光することにより、脈拍を検出する脈拍センサを含む。その構成は、例えば、特開２００５−２７０５４３号（米国特許第７５３８８９０号）に開示されている。生体センサ３３０は、脈拍センサの他にも、複数の電極を配した発汗センサを設けることによりユーザの発汗量を検出することもできる。更には、体温を測る温度センサ、血圧を測る血圧センサを設けることもできる。

感情解析部２１３は、このような生体センサ３３０から生体情報を受け取って、ユーザの感情を判定する。例えば、高い心拍数および精神性発汗が検出されるときには、ユーザは「焦り」を感じていると判定できる。生体センサ３３０の出力と感情の対応関係は検証的に求められており、対応関係を示すテーブルをＲＯＭ２１２に記憶させておくことができる。そこで、感情解析部２１３は、取得された生体情報が、テーブルに記述された特定の感情パターンと一致するかにより感情を判定する。なお、生体センサ３３０はユーザの腕に巻きつけるような腕時計型に限らず、ユーザの手、指（指輪型生体センサ）など身体の一部と接触すれば様々な形態を採用し得る。なお、感情解析部２１３は、生体センサ３３０からの生体情報に加えて、圧電センサ２０９や床センサ３１０の検出結果を加味して感情を解析しても良く、後述する音声解析部２１４や画像解析部２１５の解析結果を加味して感情を解析しても良い。

音声解析部２１４は、マイク２０７から取り込まれる音声を解析する。音声解析部２１４は、音声認識辞書を有し、識別した音声をテキストデータに変換してディスプレイ２０１に表示することができる。また、最近のパソコンの一部には音声認識ソフトがインストールされているものもあり、このようなインストール済みのソフトを用いても良く、更には別途市販のソフトをインストールして用いても良い。

また、音声解析部２１４は、パソコンＣＰＵ２１０と協働して、電話４００での会話、周囲に居る同僚との会話等に対して、ユーザの会話の速度（発話速度）、声の大きさ、会話時間などを検出する。発話速度は、例えば単位時間当たりの出力音素数、あるいは単位時間当たりのモーラ数として検出される。モーラとは一定の時間的長さをもった音の分節単位のことである。

画像解析部２１５は、内蔵カメラ２０４により撮影された撮影画像信号、天井カメラ３２０により撮影された撮影画像信号を解析する。画像解析部２１５は、ユーザの顔認識、さらには表情認識を実行する。例えば、画像解析部２１５は、画像信号におけるユーザの顔領域から、眉間に皺がある表情、笑顔ではなく目を細めている表情を検出する。また、画像解析部２１５は、タイマー２１１の計時情報を取得して、例えば眉間に皺がある表情がどれくらい継続したかを検出する。また、目を細めている表情を検出する場合には、画像解析部２１５は、内蔵カメラ２０４による画像上の平均的な目の大きさについての情報をＲＯＭ２１２から読み出して、現に撮影された目の大きさと比較して検出する。眉間の皺の検出は、眉間に皺のある画像をリファレンス画像としてＲＯＭ２１２に記憶させてパターンマッチングにより検出しても良く、また、左目と右目との間の部分の陰影分布から検出しても良い。なお、眉間の皺の検出は例えば米国公開特許２００８−２９２１４８号にも開示がある。

内蔵カメラ２０４により撮影される像の大きさは、内蔵カメラ２０４とユーザとの距離に依存する。本実施形態においては、超音波センサ２０５により内蔵カメラ２０４とユーザとの距離を検出して、像の大きさを補正することにより距離依存を解消している。距離の計測は、超音波センサ２０５を設ける場合に限らず、例えば、レーザ距離センサ、赤外線センサ等を用いても良い。また、ユーザの特定部分の大きさ（例えば顔の大きさ）が分かっていれば、既知の顔の大きさと撮影した顔の大きさとのマッチングにより内蔵カメラ２０４とユーザの距離を算出できる。

また、画像解析部２１５は、天井カメラ３２０の画像信号を取り込んで、ユーザの頭の位置、移動量等を検出する。例えば、ユーザの頭部が絶え間なく揺れ動くことを画像解析部２１５が検出すれば、パソコンＣＰＵ２１０は、ユーザの集中力散漫、居眠り等を判断することができる。なお、超音波センサ２０５等により、ユーザの頭部の位置、移動量を検出できる場合は、天井カメラ３２０を省略しても良い。逆に、天井カメラ３２０により内蔵カメラ２０４とユーザの距離を検出できるのであれば、超音波センサ２０５を省略しても良い。

外部接続インターフェイス２１６は、外部機器と接続するためのインターフェイスである。インターフェイスとしては、無線／有線ＬＡＮ、ＵＳＢ、ＨＤＭＩ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの様々な接続規格を採用することができる。例えば、電話４００は、外部接続インターフェイス２１６を介してパソコン２００と接続されており、パソコンＣＰＵ２１０は、後述するように、ユーザの集中度が予め定められた閾値を超えたときに、通話拒否の制御信号を電話４００へ送信する。このとき、パソコンＣＰＵ２１０は並行して、集中状態を示す発光を行わせる制御信号を指標灯４１０へ送信する。また、一定時間の集中状態が継続したときは、パソコンＣＰＵ２１０は、例えばマウス３００に内蔵された温調部に温度上昇指令を与える。

図３は、第１実施形態に係る集中度検出システムの処理を示すフロー図である。本フローにおいては、パソコンＣＰＵ２１０の制御によるユーザの集中度、表情などの検出と、検出結果に応じた処理を実行する。なお、本フローにおいては、ユーザがパソコン２００を操作している状況を想定する。

パソコンＣＰＵ２１０は、ユーザの生体に関する情報を入力する（ステップＳ１０１）。具体的には、パソコンＣＰＵ２１０は、生体センサ３３０が検出したユーザの脈拍、体温、発汗といった生体情報、圧電センサ２０９が検出したユーザのキーボード２０２を叩く強さや速度、ユーザの貧乏揺すり、ユーザの発話速度や発話量などが挙げられる。なお、上記の通りここで言う生体に関する情報は、生体センサ３３０から取得される情報に限らない。また、パソコンＣＰＵ２１０は、これら全ての生体情報を入力しなくても良く、集中度を検出できるだけの生体情報を入力すれば良い。

パソコンＣＰＵ２１０は、入力したユーザの生体情報をＲＯＭ２１２に記憶させ、ユーザの生体情報のログを記録する。パソコンＣＰＵ２１０は、ＲＯＭ２１２に記憶させた生体情報により、後述するようにユーザの集中度を検出する。なお、パソコン２００を複数のユーザで共有して使用する場合が考えられる。このような場合、パソコンＣＰＵ２１０は、内蔵カメラ２０４によりユーザの顔認識を行い、ユーザ毎に生体情報のログを記録する。

次に、パソコンＣＰＵ２１０は、内蔵カメラ２０４および天井カメラ３２０による撮影、および画像解析部２１５による表情検出を行う（ステップＳ１０２）。

パソコンＣＰＵ２１０は、ユーザの眉間に皺がよっているか、目を細めているかどうかなどの分析を行う。このような表情である場合、ディスプレイ２０１の表示が見づらいと推定する。パソコンＣＰＵ２１０は、ユーザが目を細めている場合には、超音波センサ２０５を用いてディスプレイ２０１からユーザまでの距離を検出する。なお、パソコンＣＰＵ２１０は、目を細めている場合には集中度が高くなく、目を細めている以外の表情での変化が少ないときには集中度が高いと判断する。この分析を行なう場合には、表情の分析に加えて、ステップＳ１０１で取得した生体情報からユーザの感情（焦っている、イライラしている等）を加味することにより、分析精度を向上することができる。

また、画像解析部２１５は、天井カメラ３２０の画像信号から、ユーザの頭部の動き量を検出する。ユーザが集中している場合には頭の動き量が少ないのに対し、ユーザが集中していない場合には頭部の動き量が多くなる。なお、ステップＳ１０１とステップＳ１０２との順番は入れ替えても構わない。

パソコンＣＰＵ２１０は、ステップＳ１０３へ進み、ステップＳ１０１およびステップＳ１０２の結果を用いてユーザの集中度を検出する。一般的に人間は、集中しているときに脈拍数や体温が上昇する。また、急ぎの業務をしていているときは（すなわち、集中度が高くなるとき）、キーボード２０２を叩く強さや速度が速くなったり、貧乏揺すりを行なったりする場合もある。また、電話４００などで会話をしている場合には、早口になったり、声が大きくなったりする場合がある。更に、集中しているときには頭部が動くことが少ないのに対し、集中していない場合には、よそ見をしたり、場合によっては居眠りをしたりして頭部の動きが大きくなる。そこで本実施形態の集中度検出システム１１０では、パソコンＣＰＵ２１０がＲＯＭ２１２に記憶させたユーザの生体情報と、ステップＳ１０１で入力した生体情報とを比較することによりユーザの集中度を検出する。この場合、パソコンＣＰＵ２１０は、過去にユーザが集中したときの生体情報と、ステップＳ１０１で入力した生体情報とを比較してユーザの集中度を検出しても良く、また、ユーザの通常の状態よりも脈拍、キーボード２０２を叩く力量が１０％以上増加した場合に、ユーザが集中していると判断しても良い。

なお、貧乏揺すりは、集中しているときにする場合と、集中していないときにする場合とが考えられる。このような場合、パソコンＣＰＵ２１０は、ユーザ毎に他の生体情報から集中しているときに貧乏揺すりをするタイプかどうかを判別して、その後の集中度の判断に用いれば良い。

パソコンＣＰＵ２１０は、ステップＳ１０４へ進み、ステップＳ１０３で取得したユーザの集中度が予め定められた閾値を超えているか否かを判断する。本実施形態においては、閾値はユーザ毎に設定するものとし、ＲＯＭ２１２に記憶されたユーザの集中度データから設定する。例えば、パソコンＣＰＵ２１０は、上述のように過去の平常時における平均的な集中度を表す生体情報に対してプラス１０％を閾値とする。別の例としては、パソコンＣＰＵ２１０は、過去に集中していたときに電話が鳴ったり、話しかけられたりして、イライラの感情を示す生体情報が検出された状況における集中度を閾値とすることもできる。なお、パソコンＣＰＵ２１０は、感情解析部２１３を用いて、上述のように、イライラの感情を、心拍数、血圧等の値が、テーブルに記述されたイライラを示す感情パターンと一致するかにより判断する。

パソコンＣＰＵ２１０は、ユーザの集中度が平均的であると判断した場合はステップＳ１１４へ進み、ユーザの集中度が高いと判断した場合は、ステップＳ１０５へ進む。まず、集中度が閾値を超えていない場合について説明する。

パソコンＣＰＵ２１０は、ステップＳ１１４へ進み、ステップＳ１０１、Ｓ１０２の結果を用いてユーザがイライラしているか否かを判断する。なお、パソコンＣＰＵ２１０は、感情解析部２１３を用いて、イライラの感情を、心拍数、血圧等の値が、テーブルに記述されたイライラを示す感情パターンと一致するかにより判断する。また、パソコンＣＰＵ２１０は、より正確に判断すべく、画像解析部２１５が解析したユーザの表情、床センサ３１０が検出したユーザの貧乏ゆすり、音声解析部２１４が検出した発話音量等を判断に利用することもできる。特に、ユーザの表情について、眉間に皺を寄せる、笑顔ではなく目を細めているなどの不機嫌な表情であると判断されたり、発話音量が大きかったりする場合に、ユーザはイライラ状態であると判断する。

パソコンＣＰＵ２１０は、ユーザがイライラしていると判断した場合にステップＳ１１５へ進み、イライラしていないと判断した場合にステップＳ１０１へ戻る。ステップＳ１１５では、パソコンＣＰＵ２１０は、各種調節を実行する。

具体的には、パソコンＣＰＵ２１０は、キーボード２０２への入力に対する反応速度の設定を変更する。ここでは、イライラ感がキーボード２０２の反応速度の遅さに起因するものと推定して、反応速度が速くなるように設定を変更する。また、パソコンＣＰＵ２１０は、ユーザが目を細めていることを検出したら、それが表示の小ささに起因するものと推定して、ディスプレイ２０１で表示している文字、図、アイコン等の大きさ設定を、より大きく表示される設定に変更する。

ここで、パソコンＣＰＵ２１０は、キーボード２０２の反応速度を上げる場合に、ユーザがキーボード２０２による操作を実行しているときは、タッチパッド２０３の反応速度（感度）を落とすようにソフトウェアを用いて設定しても良い。このような設定により、ユーザの手部およびその近傍が偶発的にタッチパッド２０３に近づいた場合の誤動作を防止することができる。

また、パソコンＣＰＵ２１０は、ディスプレイ２０１の表示を大きくする場合には、超音波センサ２０５の検出結果に応じて大きさの設定を変更しても良い。なお、キーボード２０２の操作をしていないときでもユーザがイライラしている場合があり、このときにディスプレイ２０１の表示が意図せず省エネモードや、スクリーンセーバに変わると余計にイライラしてしまう。したがって、パソコンＣＰＵ２１０は、ユーザがイライラしている場合には、省エネモードや、スクリーンセーバへ移行する時間を長めにしたり、移行を禁止したりする設定に変更する。なお、ステップＳ１１５の調節は上記の全てを行う必要はなく、適宜選択して実行すれば良い。なお、ユーザがイライラしていたり、熟考していたりする場合の判定は、感情解析部２１３と画像解析部２１５など複数の解析部を用いることにより、その判定精度を向上することができる。

続いて、パソコンＣＰＵ２１０は、ステップＳ１１６へ進み、キーボード２０２による操作状況として、特定の繰り返し操作、連続操作があるか否かを判断する。パソコンＣＰＵ２１０は、"ＢａｃｋＳｐａｃｅ"キー、"Ｄｅｌｅｔｅ"キー等の同一のキーが繰り返し操作されている場合、あるいはキーに規則性が無くても連続して操作されている場合に、キーボード２０２による入力操作がうまくいっていないと判断する。パソコンＣＰＵ２１０は、入力操作がうまくいっていないと判断した場合は、ステップＳ１１７へ進み、そうでない場合にステップＳ１０１へ戻る。

パソコンＣＰＵ２１０は、ステップＳ１１７へ進むと、ユーザからの入力操作を、キーボード２０２から、マイク２０７を用いた音声入力に操作設定を変更する。そして、パソコンＣＰＵ２１０は、操作設定を変更した旨をディスプレイ２０１に表示する。もちろん、パソコンＣＰＵ２１０は、操作設定を変更する前に、ユーザに対して変更する旨の了解を得ても良い。

あるいは、繰り返し操作、連続操作が、例えば漢字変換における文字変換候補の順序にあると判断される場合には、順序を規定する定義ファイルの記述を書き換えて、ディスプレイ２０１に表示される順序を変更する。また、パソコンＣＰＵ２１０は、変換入力をローマ字入力からひらがな入力に変更しても良いし、英数文字の初期設定を大文字から小文字に変更しても良い。更には、パソコンＣＰＵ２１０は、繰り返し操作、連続操作がなされた期間の学習効果を無効とすることもできる。

パソコンＣＰＵ２１０は、感情解析部２１３を用いて、ステップＳ１１８へ進み、ユーザのイライラ感が継続しているか否かを判断する。パソコンＣＰＵ２１０は、イライラ感が継続していると判断した場合にはステップＳ１１９へ進み、イライラ感が解消したと判断した場合にはステップＳ１０１へ戻る。

パソコンＣＰＵ２１０は、ステップＳ１１９へ進むと、ユーザが電子メールなどの文章を作成しているか否かを判断し、文章を作成していると判断した場合にはステップＳ１２０へ進み、作成していないと判断した場合にはステップＳ１０１へ戻る。

ユーザがイライラしている状態で電子メールなどの文章を作成している場合には、表現がきつくなったり、人を傷つけるような危険語句を使用してしまったりして、後悔する場合がある。そこで、本実施形態においては、ＲＯＭ２１２に不適当な表現とともに、不適当な表現を修正した表現を記憶しておき、イライラした状態で不適当な表現が使われた場合にパソコンＣＰＵ２１０が修正した表現に変更する。

また、緊急性のない電子メールの場合には、すぐに電子メールを送信せずにユーザのイライラ状態が収まった時点で、ユーザに表現の適否を検討してもらうように調節している。これにより、人間関係が悪化するのを未然に防ぐことができる。

また、パソコンＣＰＵ２１０が不適当な表現を検出した場合には、その旨をディスプレイ２０１に表示する。ユーザがパソコン２００のテレビ電話機能により、映像を送受信しつつ会話を行っている場合には、パソコンＣＰＵ２１０は、映像の送信を中断したり、発話の周波数を変更して早口を是正したりすることもできる。映像を中断するのではなく、例えば送信画素数を下げるなどの画像処理を施しても良い。ステップＳ１２０で、各種調節の実行が終了したら、パソコンＣＰＵ２１０は再びステップＳ１０１へ戻る。

次に、ステップＳ１０４の判断で集中度が閾値を超えている場合について説明する。

パソコンＣＰＵ２１０は、ステップＳ１０５へ進むと、タイマー２１１に対して計時を開始させる。ステップＳ１０５で開始される計時により、パソコンＣＰＵ２１０は、ユーザの集中度が高い状態で継続する時間を取得する。この計時により、このユーザが高い集中力をどの程度保てるかというデータを抽出できる。また、本実施形態においては、例えば９０分間といった予め定められた時間を通して集中度が高い状態であった場合に、後述するように、ユーザに対して集中度の高い状態が長時間続いている旨の警告を行う。

続いて、パソコンＣＰＵ２１０は、ステップＳ１０６で、ユーザへのコンタクト制限を行う。特に、第三者がユーザに対してコンタクトを要求する双方向通信機器に対して、コンタクト要求を制限する制限信号を送信する。ここでは、双方向通信機器の例として電話４００を例に説明する。

パソコンＣＰＵ２１０は、電話４００が鳴るのを停止させ留守モードに設定する制御信号を電話４００へ送信する。電話４００は、当該制御信号を受信して、呼出音の音量を０にすると共に留守モードに設定する。電話４００は、留守モードにおいて第三者からコンタクトを受けた場合には、ユーザの状況と共に、メールによるコンタクト要求、あるいは、後ほど折り返しかけ直す旨等のメッセージを流す。また、相手に緊急度を尋ね、緊急の場合には例えば数字の１を押してもらい、その場合にのみ、ユーザに取り次ぐように設定することもできる。

双方向通信機器は、外部機器に限らない。パソコン２００が例えばテレビ電話機能を備える場合には、テレビ電話機能に対してコンタクト要求を制限する。また、パソコン２００がソフトウェアとして備えるメール機能に対しても、コンタクト要求を制限しても良い。例えば、通常時において、メールの受信と共にポップアップウィンドウを開いて受信を告知する設定になっている場合、ユーザの集中状態においては、ポップアップウィンドウが開くことを制限する。または、集中状態においてはメールの受信を行わないように設定することもできる。双方向通信機器のコンタクト要求を制限しているときには、ユーザが認識できるように、ディスプレイ２０１でその旨を報知しても良い。

また、双方向通信機器に限らず、様々な制御機器に対しても、ユーザへの接触を制限する制御信号を送信することができる。本実施形態においては、指標灯４１０に対する制御を説明する。

指標灯４１０は、上述のように、発光する色がユーザへのコンタクト許否を表現している。例えば、赤色発光はユーザへの接触禁止を意味し、青色発光は接触許可を意味することを周知させておく。そして、パソコンＣＰＵ２１０は、ステップＳ１０６において、指標灯４１０に対して赤色発光を実行する旨の制御信号を送信する。指標灯４１０は当該制御信号を受けて、赤色発光を実行する。これにより、周囲の人は、ユーザが集中状態であることを認識でき、接触禁止であることを理解する。

指標灯４１０以外にも、例えば、ユーザを取り囲む液晶制御可能なパーテションに対して制御信号を送信することができる。パソコンＣＰＵ２１０は、このようなパーテションに対して、ユーザの集中状態において非透過目隠し状態とし、通常時において透過状態に制御することができる。また、パソコンＣＰＵ２１０は、周辺環境からの雑音に対して逆位相の音波を発生させることにより雑音を除去する雑音除去装置に対して、雑音除去を開始させる制御信号を送ることもできる。更には、パソコンＣＰＵ２１０は、ユーザの居室の鍵をロック状態とする制御信号を、鍵制御装置に送ることもできる。

パソコンＣＰＵ２１０は、ステップＳ１０７へ進み、ユーザのスケジュールの確認を行ない、直近に会議等のデスクワーク以外の業務があるか否を確認する。そして、パソコンＣＰＵ２１０は、スケジュールがある場合に、このスケジュールが変更可能かどうかの判断を行う（ステップＳ１０８）。例えば会議の場合、パソコンＣＰＵ２１０は、会議の参加メンバーに上役がいるか否か、ユーザ自身が必須出席者であるか否か、緊急性の高い会議であるか否か等を考慮して判断する。パソコンＣＰＵ２１０は、必須出席者ではない場合、必須出席者であっても緊急性がなく、上役が参加しない場合等には、変更可能と判断する。一方、パソコンＣＰＵ２１０は、緊急性があったり、必須出席者で上役も出席したりする場合には変更不可と判断する。判断基準は、予め設定され、ルックアップテーブルとしてＲＯＭ２１２に記録されている。

パソコンＣＰＵ２１０は、ステップＳ１０８の判断がＹＥＳの場合にステップＳ１０９へ進み、ＮＯの場合にステップＳ１１０へ進む。ステップＳ１０９へ進むと、パソコンＣＰＵ２１０は、会議の開催者や参加者に対して電子メールを配信して、会議に参加できないことを自動的に通知する。また、パソコンＣＰＵ２１０は、ディスプレイ２０１に会議をキャンセルした旨の表示を行いユーザに認識させる。

続いて、パソコンＣＰＵ２１０は、ステップＳ１０５で計時を開始してから９０分が経過したか否かの判断を行う（ステップＳ１１１）。パソコンＣＰＵ２１０は、９０分に満たなければステップＳ１０１へ戻り、９０分に達していればステップＳ１１２へ進んで、ディスプレイ２０１に、長時間に亘って集中度が高い状態が続いている旨の警告表示を行う。

ステップＳ１１２で行う警告表示は、ステップＳ１０９で会議をキャンセルした場合の表示に比べて目立たせる必要がある。したがって、パソコンＣＰＵ２１０は、ステップＳ１０９で会議をキャンセルした場合の表示に比べて大きく表示したり、時間的に長く表示したり、点滅表示を実行したりする。

さらに、パソコンＣＰＵ２１０は、ステップＳ１１３へ進み、温調部２０８に電流を加えてユーザの掌周りを温め、ユーザに対して体感的に警告を認識させる。マウス３００を利用していることが検出されている場合は、マウス３００に内蔵された温調部に対して電流を加えても良い。また、パソコンＣＰＵ２１０は、空調装置に対して冷房指示の制御信号を送信して、周辺温度を下げるようにしても良い。

一方、パソコンＣＰＵ２１０は、ステップＳ１０８の判断がＮＯの場合にステップＳ１１０へ進み、例えば会議開始の５分前に当該会議開催の旨の表示をディスプレイ２０１に行い、ユーザの注意を喚起する。この場合の表示は、ステップＳ１０９で会議をキャンセルした場合の表示に比べて大きく表示したり、時間的に長く表示したり、点滅表示を実行したりする。さらにパソコンＣＰＵ２１０は、上述のステップＳ１１３へ進み、温調部２０８等を用いて、ユーザに対して体感的にスケジュール開催を認識させる。

以上の一連の処理を経て、ユーザが集中度の高い状態から抜け出したら、コンタクト制限を解除する等の処理を実行して、フローを終了する。なお、上記フローにおいては、コンタクト制限を実行する時間は、集中度が高い状態で維持されて警告を発すべき時間、あるいは、スケジュール開催までの時間が設定されているが、これに限らない。例えば、ユーザが予め集中したい時間を設定しても良い。このように構成すれば、ユーザは自らの意思により、外部との接触を遮断することができる。または、パソコンＣＰＵ２１０は、ユーザごとに継続し得る平均的な集中時間を過去のログから抽出して、これを設定することもできる。このような構成を採用すると、ユーザごとの特性に合せた制御を行うことができる。

上述の実施例においては、内蔵カメラ２０４によりユーザの顔を撮像して表情検出を行った。これに代えて、あるいは併用して、ユーザの手部の動きを判断材料とすることもできる。例えば、様々な動きに対応する手部のリファレンス画像を予め用意しておき、画像解析部２１５が内蔵カメラ２０４により撮像した画像とのパターンマッチング処理を行うことにより、手部の動きを認識する。

図４は、第１実施形態の応用例としての、ユーザの手部の検出に関する処理を示すフロー図である。具体的には、パソコンＣＰＵ２１０の制御によるユーザの手部の検出、および検出した手部の状況に応じた処理を示すフローチャートである。なお、ここで言う手部は、手そのもののみならず、手首、手首近傍の腕までを含む部位である。

ステップＳ２０１は、生体情報の入力処理であり、実質的には上記ステップＳ１０１の処理と同一である。ステップＳ２０２は、撮像結果の分析であり、実質的には上記ステップ１０２の処理と同一である。したがって、これらの処理の説明は省略する。

パソコンＣＰＵ２１０は、ステップＳ２０３で、画像解析部２１５の解析結果から、内蔵カメラ２０４が撮影した画像信号に、キーボード２０２とユーザの手部が含まれているか否かを判断する。具体的には、まず画像解析部２１５が、キーボード２０２の少なくとも一部とユーザの手部の少なくとも一部が重なっているか否かを解析する。さらに、画像解析部２１５は、重なっている手部が右手か左手か、マウス３００にも手部が重なっているか等を解析しても良い。画像解析部２１５は、解析結果として、キーボード２０２とユーザの手部の相対的な位置関係を含む位置情報を、パソコンＣＰＵ２１０へ引き渡す。パソコンＣＰＵ２１０は、画像解析部２１５から引き渡される位置情報により、ユーザがキーボード２０２等を実際に操作する前であっても、ユーザの操作を予測することができる。パソコンＣＰＵ２１０は、引き渡された位置情報から、キーボード２０２とユーザの手部が重なっていると判断すればステップＳ２０４へ進み、重なっていないと判断すればステップＳ２０４をスキップしてステップＳ２０５へ進む。

パソコンＣＰＵ２１０は、ステップＳ２０４で、操作部設定の調節を行う。具体的には、パソコンＣＰＵ２１０は、キーボード２０２とタッチパッド２０３の反応速度を変更する。なお、ここでの反応速度は、わずかに触れただけでも反応するのか、または、しっかり触れなければ反応しないのかといった、キータッチに対する感度の概念を含む。ここでは、キーボード２０２とユーザの手部が重なっており、ユーザの意思としてキーボード２０２を操作することが推測されるので、パソコンＣＰＵ２１０は、隣接する操作部であるタッチパッド２０３の反応速度（感度）を遅くする。すなわち、しっかり触れなければ反応しない設定にする。あるいは、パソコンＣＰＵ２１０は、タッチパッド２０３への入力操作を受け付けないように設定を変更しても良い。これにより、ユーザの手部およびその近傍が偶発的にタッチパッド２０３に近づいた場合の誤動作を防止することができる。いずれの設定に変更するかについて、パソコンＣＰＵ２１０は、右手左手の両手部がキーボード２０２と重なっているか否か等の条件を採用することができる。

さらに、設定変更の条件として、ステップＳ２０１で取得した生体情報を加味しても良い。例えば、感情解析部２１３によりユーザのイライラ状態が検出されたら、パソコンＣＰＵ２１０は、キーボード２０２への入力に対する反応速度が速くなるように設定を変更する。また、イライラ感の程度に応じて反応速度を変更しても良い。この場合、速さの段階として例えば２〜４段階の設定を予め用意しておく。パソコンＣＰＵ２１０は、操作部設定の調節が完了したらステップＳ２０５へ進む。

続いてステップＳ２０５では、パソコンＣＰＵ２１０は、画像解析部２１５の解析結果から、内蔵カメラ２０４が撮影した画像信号に、タッチパッド２０３とユーザの手部が含まれているか否かを判断する。パソコンＣＰＵ２１０は、画像解析部２１５から引き渡される位置情報により、ユーザがタッチパッド２０３等を実際に操作する前であっても、ユーザの操作を予測することができる。パソコンＣＰＵ２１０は、引き渡された位置情報から、タッチパッド２０３とユーザの手部が重なっていると判断すればステップＳ２０６へ進み、重なっていないと判断すればステップＳ２０６をスキップしてステップＳ２０７へ進む。

パソコンＣＰＵ２１０は、ステップＳ２０６で、操作部設定の調節を行う。具体的には、パソコンＣＰＵ２１０は、キーボード２０２とタッチパッド２０３の反応速度を変更する。具体的には、パソコンＣＰＵ２１０は、ステップＳ２０４の調節によりタッチパッド２０３の反応速度が遅くされていたり、受け付けない設定にされている場合には、元の設定に戻す。特に、キーボード２０２とユーザの手部が重なっていないと判断した場合に、パソコンＣＰＵ２１０は、元の設定に戻しても良い。さらには、タッチパッド２０３が連続的に操作された場合に、パソコンＣＰＵ２１０は、タッチパッド２０３の反応速度を上げても良い。また、設定変更の条件として、ステップＳ２０１で取得した生体情報を加味しても良い。例えば、生体情報を加味してキーボード２０２の反応速度を上げた場合は、キーボード２０２の設定を維持したまま、タッチパッド２０３の設定のみを変更することもできる。パソコンＣＰＵ２１０は、操作部設定の調節が完了したらステップＳ２０７へ進む。

パソコンＣＰＵ２１０は、ステップＳ２０７において、ユーザによる入力操作が終了したか否かを判断する。具体的には、キーボード２０２およびタッチパッド２０３への入力が予め定められた時間認められなかった場合に、入力操作が終了したと判断する。パソコンＣＰＵ２１０は、入力操作が継続していると判断した場合にはステップＳ２０１へ戻り、終了したと判断した場合には、一連の処理フローを終了する。

以上のフローにおいては、内蔵カメラ２０４によりユーザの手部、キーボード２０２およびタッチパッド２０３を撮影したが、天井カメラ３２０により撮影しても構わない。また、以上のフローにおいては、ユーザはタッチパッド２０３を操作することを前提に説明したが、代わりにマウス３００を操作している場合には、上記のタッチパッド２０３に対する設定をマウス３００の設定に置き換えて適用することができる。この場合、パソコンＣＰＵ２１０は、タッチパッド２０３の設定として、反応速度を遅くする、または、入力を受け付けない設定にすれば良い。

また、以上のフローにおいては、内蔵カメラ２０４によりユーザの手部、キーボード２０２およびタッチパッド２０３を撮影して位置情報を取得したが、画像信号を用いることなく、実際の入力操作を受け付けてから操作部設定を変更しても良い。実際の入力操作を検出してから操作部の設定を変更するので、若干のタイムラグは生じるが、画像解析部２１５の処理負荷を軽減することができる。特に、タッチパッド２０３の操作感度を変更する程度においては有効である。

次に、音声解析部２１４を用いた応用例について説明する。図５は、第１実施形態の応用例としての、ユーザの発話速度の検出に関する処理を示すフロー図である。ここでは、ユーザは、パソコン２００の機能としてのテレビ電話を利用している場合を想定する。

ステップＳ３０１は、生体情報の入力処理であり、実質的には上記ステップＳ１０１の処理と同一であるので、その説明を省略する。パソコンＣＰＵ２１０は、ステップＳ３０２で、内蔵カメラ２０４からの画像信号を画像解析部２１５で解析して、ユーザの表情を検出する。さらに、パソコンＣＰＵ２１０は、ユーザの表情からユーザの機嫌を判断する。

ステップＳ３０３へ進み、パソコンＣＰＵ２１０は、マイク２０７からの音声信号を音声解析部２１４で解析して、ユーザの発話速度を検出する。具体的には、音声解析部２１４は、単位時間当たりの出力音素数をカウントすることにより発話速度を算出する。

続いて、パソコンＣＰＵ２１０は、ステップＳ３０４で、発話速度が、予め定められた閾値を超えて増加しているか否かを判断する。すなわち、パソコンＣＰＵ２１０は、興奮の初期段階において発話速度が急激に増す生理的現象を利用して、ユーザの興奮開始を捕捉する。パソコンＣＰＵ２１０は、例えば、平常時における発話速度を継続的に監視してＲＯＭ２１２へ記録しておき、この記録された平常時における発話速度のプラス２０％を閾値として設定できる。なお、顔認識技術等により各ユーザを識別して、ユーザごとの閾値を設定することもできる。

また、パソコンＣＰＵ２１０は、判定の条件として、ステップＳ３０１およびステップＳ３０２の少なくとも一方の情報を加味することができる。例えば、パソコンＣＰＵ２１０は、閾値を超えて発話速度が上昇した場合であっても、表情検出により機嫌が良いと判断されている場合には、発話速度が上昇したと判断しない。または、パソコンＣＰＵ２１０は、発話速度が上昇したと判断する条件として、生体情報により「興奮」「イライラ」「焦り」等のネガティブな感情が検出されていることを追加することができる。これらの情報の組み合わせは、それぞれの検出結果に重み付けを行って、総合的に判断することもできる。

パソコンＣＰＵ２１０は、発話速度の増加量が閾値未満であると判断した場合にはステップＳ３０１へ戻り、閾値を超えていると判断した場合には、ステップＳ３０５へ進む。

パソコンＣＰＵ２１０は、ステップＳ３０５へ進むと、各種調整を実行する。まず、パソコンＣＰＵ２１０は、早口になっている事実、ひいては興奮状態に陥っている事実をユーザに認識させる。具体的には、パソコンＣＰＵ２１０は、ディスプレイ２０１の表示輝度を落として暗くする。あるいは直接的に、ディスプレイ２０１にその旨のメッセージをテキスト、図等により表示する。

また、外部機器に対して制御信号を送信して、外部機器によりユーザに認識させることもできる。具体的には、パソコンＣＰＵ２１０は、指標灯４１０に対して制御信号を送信して、ＬＥＤを点滅させる。また、ユーザの居室に設置された照明機器に制御信号を送信して、その輝度を変更させ、居室の明るさを変える。さらには、ユーザの周囲にあるテレビ、ミュージックプレーヤー等の出力音声を小さくすることもできる。

また、ユーザの興奮状態においては、パソコンＣＰＵ２１０がテレビ電話の通信状態を積極的に制限することにより、ユーザの人間関係悪化を未然に防ぐことも期待できる。具体的には、パソコンＣＰＵ２１０は、テレビ電話における相手方の映像を変更したり中断したりできる。また、送信するユーザの音声を加工することもできる。例えば、周波数を変更して穏やかに聞こえるように加工できる。あるいは、パソコンＣＰＵ２１０は、テレビ電話の通信状態を悪化させて、やがて通信を遮断しても良い。

パソコンＣＰＵ２１０は、ステップＳ３０６へ進み、内蔵カメラ２０４からの画像信号およびマイク２０７からの音声信号の少なくとも一方の記録を開始する。天井カメラ３２０からの画像信号を記録しても良い。このように、ユーザの興奮状態において、ユーザを含むユーザの周辺環境を記録することにより、ユーザの記憶を補って交信の記録を確実に残すことができる。また、ユーザは、平常状態に戻ったときに、客観的に自身の行動を振り返って認識することができる。

上述の第１実施形態においては、パソコン２００の操作を例に集中度検出システム１１０を説明したが、これに変えて、スマートフォンの操作に集中度検出システム１１０を適用しても良い。

図６は、第１実施形態の変形例であるスマートフォン２５０の概要を示す図である。図６に示すように、スマートフォン２５０は、縦長の矩形状をしており、ディスプレイ２５１と、このディスプレイ２５１に表面に設けられたタッチパネル２５２と、内蔵カメラ２５４と、マイク２５７と、生体センサ２６０とが設けられている。

タッチパネル２５２は、ディスプレイ２５１の表面をユーザがタッチすることにより、種々の指示を受け付けることができる。内蔵カメラ２５４は、タッチパネル２５２と同一面側に設けられており、撮影レンズと撮像素子とを含む。なお、この内蔵カメラ２５４に加えて、タッチパネル２５２と反対面側に内蔵カメラを設けても良い。

マイク２５７は、ユーザがスマートフォン２５０を保持したときにユーザの口と対向しやすいように下方に設けられている。生体センサ２６０は、ユーザがスマートフォン２５０を保持するときに、ユーザの手に触れるように長辺側の側面に設けられている。なお、生体センサ２６０は、スマートフォン２５０本体に設けてもよく、上述の第１実施形態のように腕時計型の生体センサ３３０を用いても良い。

図７は、第１実施形態の変形例に係る集中度検出システムのブロック図である。図６で説明した構成以外の構成は、図２のブロック図の構成をほぼ適用することができるので、図２と同じ符号を付してその説明を省略する。なお、スマートフォンＣＰＵ２７０は、スマートフォン２５０全体を制御する制御装置である。

本変形例においても、スマートフォンＣＰＵ２７０は、ユーザの生体情報に基づいてユーザが集中している場合には、ユーザへのコンタクトを制限する。この場合、スマートフォン２５０にかかってくる電話に加えて、ユーザが会社の座席にいる場合には、その座席の電話４００の機能を制限しても良い。また、ユーザが座席にいたり、動いているのは天井カメラ３２０を用いてもよく、内蔵カメラ２５４を広角レンズとしてユーザの表情に加えて、顔の動きを検出して、ユーザの感情や集中度を検出するようにしても良い。同様にユーザの手の動きは天井カメラ３２０により撮像しても、広角レンズを有した内蔵カメラ２５４により撮像しても良い。

また、スマートフォンＣＰＵ２７０は、タッチパネル２５２を操作する操作量が多い場合、圧電センサ２０９が検出したタッチパネル２５２を操作する力が大きい場合等においてタッチパネル２５２の感度を上げるようにソフトウェアを用いて設定を変更しても良い。上述した第１実施形態と、第１実施形態の変形例とは、適宜組み合わせたり、変形して利用することも可能である。

図８は、第２実施形態に係る集中度検出システム１２０の概要を示す図である。本実施形態における集中度検出システム１２０は、第１実施形態における集中度検出システム１１０に用いた各要素を適宜用いて構成されている。また、第２実施形態の集中度検出システム１２０は、以下に説明するとおり、第１実施形態の集中度検出システム１１０に対していくつかの要素が追加されている。特に、パソコン２００は、本実施形態においてもほぼ同様の構成を備え、第１実施形態に対して新たに追加される外部機器に対して送受信する機能が追加される。第１実施形態と共通の要素については同じ符番を付し、特に新たな機能を付与しない限り、その説明を省略する。

第２実施形態における集中度検出システム１２０は、プレゼンテーション、会議、講習会等における参加者の集中度を検出して参加者にフィードバックを行うシステムである。第１実施形態と異なり、複数人の参加者を対象者とし、対象者の集中度を同時あるいはシーケンシャルに検出する。特に、ここでは、発表者と複数の受講者が参加者として存在する講義の場合を例として説明する。

集中度検出システム１２０は、パソコン２００を中心として、天井カメラ３２０、発表者、複数人の受講者のそれぞれに装着された生体センサ３３０、壁面に設置された時計５００、発表者が発表に用いるスクリーンボード６００を有している。部屋の天井に設置されている天井カメラ３２０は、集中度検出システム１１０における天井カメラ３２０と同様の構成であるが、ここでは講義に参加する複数の受講者の頭部を撮影できるように、例えば広角レンズが用いられて、撮影画角が調整されている。

天井カメラ３２０の撮像素子から出力される画像信号において、画素の座標と講義場の位置は予め対応付けられており、撮影された参加者が、講義場のどの座席に位置しているのか把握できるように構成されている。すなわち、天井カメラ３２０は、参加者の位置を検出する位置センサの役割を担う。なお、講義場が広い場合には、天井カメラ３２０を複数設置しても良い。なお、講義場においては、受講者が椅子に座っていることを想定すると、頭部の高さは床から１２００ｍｍから１４００ｍｍ程度である。したがって、天井カメラ３２０は、この高さに対して焦点調節されていれば良い。

また、天井カメラ３２０は、受講者の手部を撮影することもできる。天井カメラ３２０からの撮影画像を取得するパソコン２００は、受講者が、講義中にテーブルに手部を載せてメモを取ったりノートパソコンを操作する様子を把握することができる。頭部と手部の天井からの距離差が天井カメラ３２０の被写界深度に収まらない場合は、天井カメラ３２０にフォーカスレンズを駆動する構成を採用しても良い。

講義場の壁面には時計５００とスクリーンボード６００が設置されている。スクリーンボード６００は、講義場の参加者テーブルに対して正面に設置されており、発表資料等の表示の利用に供される。時計５００は、参加者テーブルの正面ではなく、スクリーンボード６００の設置面とは異なる側壁面に設置されている。

時計５００は、時刻を表す時刻表示部５１０と少なくとも受講者を撮影する時計カメラ５２０を備える。時刻表示部５１０は、現在時刻を参加者に知らしめる時計であり、アナログ表示であってもデジタル表示であっても構わない。時計カメラ５２０は、時刻表示部５１０の近傍に設置され、講義に参加する受講者の全員を撮影できるように、撮影画角および設置高さが調整されている。また、時計カメラ５２０は、天井カメラ３２０と同様に、撮像素子から出力される画像信号において、画素の座標と講義場の位置は予め対応付けられており、撮影された参加者が、講義場のどの座席に位置しているのか把握できるように構成されている。

スクリーンボード６００は、スクリーン表示部６１０とスクリーンカメラ６２０を備える。スクリーン表示部６１０は、発表資料等を表示する表示部である。スクリーン表示部６１０は、液晶等の表示素子パネルで構成されていても良いし、プロジェクターと投影スクリーンの組み合わせにより構成されていても良い。また、電気的な表示装置でなくても、例えばホワイトボードなどの表示媒体であっても良い。ホワイトボードなどの非電気機器を利用する場合は、発表資料を表示するのではなく、発表者がマーカー等により板書する。

スクリーンカメラ６２０は、スクリーン表示部６１０の近傍に設置され、講義に参加する受講者の全員を撮影できるように、撮影画角および設置高さが調整されている。また、スクリーンカメラ６２０は、天井カメラ３２０と同様に、撮像素子から出力される画像信号において、画素の座標と講義場の位置は予め対応付けられており、撮影された参加者が、講義場のどの座席に位置しているのか把握できるように構成されている。

図９は、第２実施形態に係る集中度検出システムのブロック図である。パソコン２００には、例えば、ＨＤＤ、ＳＳＤから構成される大容量のデータを記録できる記録部２１７が追加されている。記録部２１７は、各カメラから送られてくる画像信号を記録し、解析された参加者のデータを記録する。

また、パソコンＣＰＵ２１０は、外部接続インターフェイス２１６を介して、参加者分の生体センサ３３０からの生体情報を、ＩＤ等で識別しつつ取得する。床センサ３１０からの情報も同様に取得する。

時計５００は、時計ＣＰＵ５３０を中心として、時刻表示部５１０、時計カメラ５２０、頻度検出部５４０、記録部５５０および外部接続インターフェイス５６０を備える。

時計ＣＰＵ５３０は、時計５００全体の制御を司る。頻度検出部５４０は、受講者が時計５００を見た頻度を検出する。具体的には、時計カメラ５２０が撮影した画像信号を受け取り、これを解析して、予め定められた単位時間内に時計５００を何回見たかを、受講者ごとに検出する。特に、時計５００は側壁面に設置されているので、受講者がスクリーン表示部６１０に視線を向けている場合には、時計カメラ５２０は、受講者の顔を正面から撮影することができない。そこで、頻度検出部５４０は、顔認識技術により、受講者の顔が時刻表示部５１０へ向けられたことを検出する。頻度検出部５４０は、受講者の顔が時刻表示部５１０へ正対したか否かを正確に認識すべく、例えば、受講者の両目が検出された場合に、時刻表示部５１０を見たと判断しても良い。

これにより、受講者の集中度を判断することができる。つまり、パソコンＣＰＵ２１０は、頻度検出部５４０で検出された頻度情報を時計ＣＰＵ５３０から受け取ることにより、受講者の集中度を判断することができる。頻度情報は、さまざまなバリエーションを取り得る。頻度検出部５４０は、受講者のそれぞれを区別して、受講者別に頻度情報を構築することもできるし、受講者のいずれかが時刻表示部５１０に顔を向けた場合に頻度検出の対象としてカウントすることにより、受講者を区別せずに頻度情報を構築することもできる。前者の頻度情報によれば、後述するように、座席位置と対応させることにより、集中度の低い受講者の分布を観察することができる。後者の頻度情報によれば、受講者全体の集中度を観察しやすい。

また、特定の受講者に対して、頻度検出のカウントを変更することもできる。例えば、受講者中に重要人物等の区別されるべき対象者が存在する場合、当該特定受講者の着席位置と対応させて、カウント値に重み付けを与える。例えば、１回のカウントを１．５回とカウントする。あるいは、他の受講者のカウントを取り止めて、特定受講者のみをカウントの対象としても良い。このような頻度情報を構築することにより、パソコンＣＰＵ２１０は、重要な人物の関心具合を把握することができる。なお、特定人物の着席位置は、予め定められている他、任意の座席に着席した場合であっても、スクリーンカメラ６２０によって撮影される撮影画像を用いた顔認識により特定することができる。

また、頻度情報には、受講者の顔が時刻表示部５１０に向けられたときの継続時間を加味することができる。頻度検出部５４０は、時刻表示部５１０に向けられた継続時間を検出し、長い時間に亘って時刻表示部５１０を見ていた場合には、カウント値に重み付けを与えて積算する。これにより、集中度をより正確に表すことができる。

なお、受講者の集中度の判断は、パソコンＣＰＵ２１０が行うのではなく、時計ＣＰＵ５３０が行っても良い。この場合、時計ＣＰＵ５３０が、受講者の集中度に応じて、外部機器を制御する制御信号を、外部接続インターフェイス５６０を介して外部機器に送信する。このとき、受講者の生体情報をパソコンＣＰＵ２１０から予め受け取って集中度判断の条件に利用するなど、制御信号の送信判断に活用しても良い。具体的な外部機器の制御については後述する。

スクリーンボード６００は、スクリーンＣＰＵ６３０を中心として、スクリーン表示部６１０、スクリーンカメラ６２０および外部接続インターフェイス６４０を備える。

スクリーンＣＰＵ６３０は、スクリーンボード６００全体の制御を司る。スクリーンカメラ６２０は、上述のように、講義に参加する受講者の全員を撮影できる。特に、スクリーン表示部６１０の近傍に設置されているので、受講者の顔がスクリーン表示部６１０に向けられているか否かを顔認識技術により検出することができる。ここでは、スクリーンＣＰＵ６３０が、スクリーンカメラ６２０により撮影された画像信号を、外部接続インターフェイス６４０を介して時計５００の頻度検出部５４０へ送信する。

頻度検出部５４０は、時計カメラ５２０からの画像信号に対する解析と同様に、予め定められた単位時間内にスクリーン表示部６１０を何回見たかを、受講者ごとに検出する。ここでは、何回見たかの頻度に代えて、特に継続時間を計測し、単位時間あたりの注視時間を検出しても良い。これにより、時計カメラ５２０が受講者を捉えた場合とは逆に、各受講者がどれだけ集中して講義を受けているかをリアルタイムで把握することができる。つまり、パソコンＣＰＵ２１０は、頻度検出部５４０で検出された頻度または注視時間を含む注視情報を時計ＣＰＵ５３０から受け取ることにより、受講者の集中度を判断することができる。

頻度検出部５４０における、スクリーンカメラ６２０から受信する画像信号に対するカウント処理は、時計カメラ５２０から取得する画像信号に対するカウント処理と同様である。例えば、受講者の両目が検出された場合に受講者がスクリーン表示部６１０に対して正対したと判断できるし、特定受講者の着席位置と対応させて、カウント値に重み付けを与えることもできる。なお、受講者ごとに人物を識別して認識する場合は、予め記録部２１７に記録されている人物画像のリファレンス画像と撮影された画像とのパターンマッチングにより人物認識が行われる。

また、時計カメラ５２０およびスクリーンカメラ６２０で撮影された画像信号は画像解析部２１５へ送信され、画像解析部は、当該画像信号を解析して、写っている受講者の表情を検出することができる。パソコンＣＰＵ２１０、時計ＣＰＵ５３０は、受講者の表情を参照して、各種判断の材料とすることができる。なお、パソコン２００に限らず、時計５００およびスクリーンボード６００がそれぞれ画像解析部を備えるように構成しても良い。

本実施形態においては、発表者および受講者の参加者がそれぞれ生体センサ３３０を装着する場合を想定しているが、例えば顧客など、相手によっては生体センサ３３０の装着依頼がためらわれる場合もある。そこで、装着タイプの生体センサ３３０に代えて、非接触タイプの生体センサを利用することもできる。例えば、サーモグラフィを利用することにより、参加者の体温変化を取得することができる。また、マイク２０７により収集した受講者の声からの生体情報を検出しても良い。この場合、マイク２０７はパソコン２００ではなく、参加者ごとに識別可能な指向性の高いマイクを講義場内に適宜設けても良い。また、床に埋め込んだ床センサ３１０を利用しても良い。

また、集中度検出システム１２０には、講義場に設置されている様々な制御機器と接続されている。例えば、明るさを調整する照明機器、雑音を除去する雑音除去装置、講義場の温度を調整する空調機器などが挙げられる。パソコンＣＰＵ２１０はこれらの機器に対して制御信号を送信することにより、制御することができる。以下にその制御処理について説明する。

図１０は、第２実施形態に係る集中度検出システム１２０の処理を示すフロー図である。フローは、例えば、発表者が発表を開始した時点から開始される。

パソコンＣＰＵ２１０は、ステップＳ４０１で、発表者に対する内蔵カメラ２０４、天井カメラ３２０の画像入力、マイク２０７からの音声入力、生体センサ３３０からの生体情報入力などを行ない、発表者の状態を確認する。具体的には、入力した情報を感情解析部２１３、音声解析部２１４、画像解析部２１５が解析し、パソコンＣＰＵ２１０は、発表者が緊張状態かリラックスした状態かを判断する。

また、パソコンＣＰＵ２１０は、ステップＳ４０２へ進み、受講者の状態を確認する。特にここでパソコンＣＰＵ２１０は、入力する各種情報から、受講者の集中度を確認する。天井カメラ３２０からの画像信号を受けて、受講者のうち頭部の動き量が大きい受講者がいるか否か、いる場合にはその座席位置はどこかを検出する。また、上述のように、時計カメラ５２０の取得画像から時刻表示部５１０を見る頻度情報、スクリーンカメラ６２０の取得画像からスクリーン表示部６１０を見る頻度情報を受講者ごとに取得する。

スクリーン表示部６１０に表示される発表者の発表資料映像は、パソコンＣＰＵ２１０から送信された画像信号に拠る。したがって、パソコンＣＰＵ２１０は、発表者がパソコン２００を操作することにより発表資料のページ送りを実行するタイミングに同期して、受講者が手元の紙資料をめくったか否かを天井カメラ３２０の受信画像信号から判断することができる。受講者が紙資料をタイミングよくめくった場合には、講義に集中していると判断することができる。逆に、テーブル上に受講者の手部が確認できず、または紙めくりが確認できない場合には、受講者は集中していない可能性が高い。パソコンＣＰＵ２１０は、発表者によるページ送りの時点から、例えば５秒以内に受講者が紙めくりを実行した場合に、集中していると判断する。また、パソコンＣＰＵ２１０は、発表者のページ送りに同期させるだけでなく、例えば、受講者の手部がテーブル上で動きがある場合にメモを取っていると判断する等により、受講者の集中度を定期的にチェックすることもできる。

受講者の集中度は、以上のように様々な情報が集約されて、総合的に判断される。例えば、パソコンＣＰＵ２１０は、収集した各種情報を、ＲＯＭ２１２に記憶されたルックアップテーブルに当てはめ、各情報に対する集中度評価値を取得し、これらの積算値が予め定められた閾値を超えた場合に集中していると判断することができる。また、閾値を下回る場合であっても、その積算値の多寡により集中していない度合いを把握することができる。

受講者の状態を確認したら、パソコンＣＰＵ２１０は、ステップＳ４０３へ進み、集中度の低い受講者がいるか否かを判断する。なお、ここでの閾値とする集中度は、上述のように、集中していない場合の度合いを設定することができる。例えば講義の終盤に差し掛かった時点においては、必然的に集中度が低下することを考慮して、閾値とする集中度合いを講義開始時に対して若干下げても良い。

集中度の低い受講者がいる場合には、パソコンＣＰＵ２１０は、ステップＳ４０６へ進む。ステップＳ４０６では、パソコンＣＰＵ２１０は、すでに、内蔵カメラ２０４等からの画像信号およびマイク２０７からの音声信号の少なくとも一方の記録を開始しているか否かを確認する。つまり、発表者の映像、音声が録音中であるか否かを確認する。このように講義状況を記録するのは、集中していなかった受講者が後に講義を再度確認できるようにフォローするためである。パソコンＣＰＵ２１０は、記録中でなければステップＳ４０７へ進んで、記録を開始してステップＳ４０８へ進む。記録中であればステップＳ４０７をスキップしてステップＳ４０８へ進む。

パソコンＣＰＵ２１０は、ステップＳ４０３で、集中度の低い受講者がいない場合には、ステップＳ４０４へ進む。ステップＳ４０４ではステップＳ４０６と同様に、パソコンＣＰＵ２１０は、記録中であるか否かを確認する。この場合、受講者は集中していると判断されおり、フォローのための講義の記録は必要ない。したがって、パソコンＣＰＵ２１０は、記録中であれば、ステップＳ４０５へ進み、記録を停止してからす４１１へ進む。記録中で無ければ、そのままステップＳ４１１へ進む。

ステップＳ４０８では、パソコンＣＰＵ２１０は、受講者の集中度が低いまま継続しているか否かを判断する。すなわち、前回の判断から一定の時間の経過後であっても、受講者の中に集中度の低い人物が存在するか否かを判断する。

パソコンＣＰＵ２１０は、初めて集中度が低いと判断された場合、または、一旦集中度が回復した後に再び集中度が低いと判断された場合は、ＮＯとしてステップＳ４０９へ進む。

ステップＳ４０９でパソコンＣＰＵ２１０は、集中度の低い受講者と、その座席位置の相関を検出する。相関関係は、図１１で示すように、例えばディスプレイ２０１に表示される管理ウィンドウ上において、集中度分布として受講者の着座位置とそのうちの集中度の低い受講者がグラフィカルに表示される。図において、白丸は集中度の高い受講者のグループを表し、黒丸は集中度の低い受講者のグループを表す。そして、画面上には、全体の受講者数に対する集中度の低い受講者数が、数字として示されている。図１１に示す状態は、集中度の低い受講者の着座位置に傾向は見られず、パソコンＣＰＵ２１０は、集中度の低い受講者間に相関関係は無いと判断する。

パソコンＣＰＵ２１０は、ステップＳ４１０へ進み、各種調節を実行する。例えば、着座位置に対する相関関係は無いと判断されても、講義場全体で集中度の低い受講者が閾値以上に多い場合は、パソコンＣＰＵ２１０は、空調機器に対して温度を下げる、または上げる制御信号を送信して、温度調整を実行する。例えば、講義場に対して廊下側の受講者の集中度が低いようであれば、パソコンＣＰＵ２１０は、廊下からの雑音を打ち消す雑音除去装置に対して、雑音の逆位相音波を出力させる制御信号を送信して、雑音を除去する。例えば、頭部の揺れが大きく、受講者の居眠りが疑われる場合には、パソコンＣＰＵ２１０は、照明機器に対して明るくする制御信号を送信して、講義場を明るくする。

パソコンＣＰＵ２１０は、ステップＳ４１１へ進み、講義が終了したか否かを判断する。終了していないと判断した場合はステップＳ４０１へ戻り、終了したと判断した場合は一連の処理を終了する。

ステップＳ４０８で、パソコンＣＰＵ２１０は、受講者の集中度が継続的に低いと判断した場合は、ＹＥＳとしてステップＳ４１２へ進む。ここで、継続的に集中度が低いとは、例えば、予め定められた複数人の特定の受講者が連続して集中度が低いと判断された場合を言う。または、特定の受講者が連続していなくても、重要度の高い受講者のいずれかが続けて集中度が低いと判断された場合でも良い。

ステップＳ４１２では、パソコンＣＰＵ２１０は、ステップＳ４１０のように、講義場の環境を変更する調整可能な機器があるか否かを判断する。まだあればステップＳ４０９へ進み、無ければステップＳ４１３へ進む。

ステップＳ４１３へ進んだ場合、受講者の集中度低下は、環境に起因するのではなく、発表者の発表動作に起因するものとして、発表者に対するリクエストを行う。まず、ステップＳ４１３では、ステップＳ４０９と同様に、パソコンＣＰＵ２１０は、集中度の低い受講者と、その座席位置の相関を検出する。なお、本実施の形態ではステップＳ４０８の判断後にステップＳ４０９およびステップＳ４１３の相関検出を行なったが、ステップＳ４０８の判断の前に相関検出を行なっても良い。

相関検出を行ったら、ステップＳ４１４へ進み、パソコンＣＰＵ２１０は、発表者に対して指示を行う。例えば、図１２に示すように、集中度の低い受講者が講義場の後方座席に集中するという相関関係が得られている場合には、パソコンＣＰＵ２１０は、ディスプレイ２０１に表示される管理ウィンドウ上において、「声を大きくして下さい」などのメッセージを表示する。または、パソコンＣＰＵ２１０は、スクリーン表示部６１０で表示する発表資料の大きさを拡大する制御信号を、スクリーンボード６００へ送信する。

また、このとき、ステップＳ４０１で確認した発表者の状態を活用することもできる。例えば、発表者が「緊張」を感じていると判断された場合、パソコンＣＰＵ２１０は、その事実を客観的に認識させるべく、その旨をディスプレイ２０１に表示する。もちろん、検出された表情に関する情報を表示しても良い。また、緊張を解くべく、発表資料の順序を変更して、雑談用の資料をスクリーン表示部６１０へ送信しても良い。また、アニメーション処理を変更したり、詳細資料を表示することもできる。

さらには、発話速度を検出して、閾値以上に早口になっていると判断された場合には、パソコンＣＰＵ２１０は、発表者に対して「もう少しゆっくり話してください」などのメッセージをディスプレイ２０１に表示させることができる。

パソコンＣＰＵ２１０は、ステップＳ４１４で発表者への指示が終了したら、ステップＳ４１１へ進み、講義終了を確認する。講義が終了したと判断したら一連の処理を終了する。なお、上述のステップＳ４１４は、ステップＳ４１０の各種調節の実行の後にも行なうようにしても良い。

以上の処理フローにおいては、その時の集中度の低い受講者を検出したが、集中度が低くなった受講者の増減を判断基準とすることもできる。すなわち、時間をおいて実行された２度の集中度検出において、集中度の低い受講者が急に増えたのか、さらには、その着座位置との相関はどうであるかを、判断基準とすることができる。

以上の処理フローにおいては、集中度の高い、低いによりグループを分別したが、生体情報から検出される受講者の感情状態によってグループを分別することもできる。例えば、「イライラ状態」の受講者の分布にしたがって、パソコンＣＰＵ２１０は、各種処理を実行しても良い。また、集中度と感情状態の両者を利用して各種処理を実行することもできる。

以上の処理フローにおいては、講義を想定して説明したが、集中度検出システム１２０の適用範囲はこれに限らない。例えば、職場に適用することにより、上司が部下の生体情報からストレス度を認識して業務の振分けを行ったり、声掛けを行ったりすることで職場の士気の低下を防ぐことができる。また、学校の授業に適用した場合は、生徒が理解できない部分を把握することができ、学習効率を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１１０集中度検出システム、１２０集中度検出システム、２００パソコン、２０１ディスプレイ、２０２キーボード、２０３タッチパッド、２０４内蔵カメラ、２０５超音波センサ、２０６スピーカ、２０７マイク、２０８温調部、２０９圧電センサ、２１０パソコンＣＰＵ、２１１タイマー、２１２ＲＯＭ、２１３感情解析部、２１４音声解析部、２１５画像解析部、２１６外部接続インターフェイス、２１７記録部、２５０スマートフォン、２５１ディスプレイ、２５２タッチパネル、２５４内蔵カメラ、２５７マイク、２６０生体センサ、２７０スマートフォンＣＰＵ、３００マウス、３１０床センサ、３２０天井カメラ、３３０生体センサ、４００電話、４１０指標灯、５００時計、５１０時刻表示部、５２０時計カメラ、５３０時計ＣＰＵ、５４０頻度検出部、５５０記録部、５６０外部接続インターフェイス、６００スクリーンボード、６１０スクリーン表示部、６２０スクリーンカメラ、６３０スクリーンＣＰＵ、６４０外部接続インターフェイス

Claims

対象者の表情を検出する表情検出部と、
前記対象者の生体に関する情報である生体情報を入力する生体情報入力部と、
前記表情検出部の検出結果および前記生体情報に基づいて、被制御機器を制御する制御部と
を備える電子機器。
前記対象者を撮像する撮像装置からの画像信号を入力する画像信号入力部を備え、
前記表情検出部は、前記画像信号を解析して前記表情を検出する請求項１に記載の電子機器。
前記制御部は、表示装置である前記被制御機器に対して、表示の大きさを制御する請求項１または２に記載の電子機器。
前記対象者までの距離を検出する距離検出部を備え、
前記制御部は、前記距離に基づいて、前記大きさを変更する請求項３に記載の電子機器。
前記制御部は、表示装置である前記被制御機器に対して、表示される映像の切り替えタイミングを制御する請求項１または２に記載の電子機器。
前記制御部は、表示装置である前記被制御機器に対して、前記表情検出部の検出結果および前記生体情報の少なくとも一方に関する表示を制御する請求項１または２に記載の電子機器。
前記制御部は、前記検出結果および前記生体情報に対するそれぞれの評価の少なくとも一方に重み付けを付与する請求項１から６のいずれか１項に記載の電子機器。
前記生体情報入力部は、前記対象者の動きを検出する検出センサからの検出情報を前記生体情報として入力する請求項１から７のいずれか１項に記載の電子機器。
前記検出情報は、前記対象者の手および足の少なくとも一方の動きを検出する圧電センサからの情報を含む請求項８に記載の電子機器。
前記検出情報は、前記対象者の頭部の動きを非接触で検出する非接触センサからの情報を含む請求項８または９に記載の電子機器。
対象者の表情を検出する表情検出ステップと、
前記対象者の生体に関する情報である生体情報を入力する生体情報入力ステップと、
前記表情検出ステップの検出結果および前記生体情報に基づいて、被制御機器を制御する制御ステップと
をコンピュータに実行させる電子機器の制御プログラム。