JP2014197373A - インターネットアンケートシステム、コンピュータプログラム - Google Patents

Abstract

【課題】アンケートへの回答精度を担保でき、かつモニター側での装備負担をほとんど要せず運用も容易なＷｅｂアンケートシステムを提供すること、またそのためのコンピュータプログラムを提示する。【解決手段】クライアント装置に画像入力部および画像入力制御手段を備え、画像入力制御手段により得られるアンケート回答者の顔画像により、回答者の顔の位置が適正かどうかを判定する姿勢判定手段と、アンケート回答者の表情を撮像した動画像に基づきアンケート回答者の覚醒度合いを示す覚醒度データを出力する覚醒度分析手段と、を備え、アンケート回答に回答者の覚醒度データを添えたデータをアンケート結果データとしてアンケートサーバー装置に送信するようクライアント装置を構成する。【選択図】図２

Description

本発明は、インターネット等の大規模なネットワークを介して効果的にアンケートを実施するためのシステム、クライアント装置に搭載するアプリケーションプログラムに関する。

マーケティングの分野では消費者の嗜好や新製品を設計するための参考情報を得るために、生活者・消費者をモニターとして協力してもらい、アンケート調査を行うことがしばしば行われている。新製品のモックアップや他社製品などの見本情報を与えてモニターに回答してもらうアンケート調査の場合には、モニターを一定のアンケート会場に集めてアンケートに回答してもらうというやり方が従来から行われていた。この方式では、モニターのリクルート、モニターに支払う交通費、アンケート会場の確保、アンケート実施要員の人件費などのコストがかかる。

そこで、最近では、インターネット上にアンケートを実施するためのＷｅｂサイトを開設してインターネットを通じて、モニターを募集し、アンケートを実施する方式も利用されている。例えば、特許文献１では、インターネットを介して効果的に広告を行うためのサーバーが開示されているが、このサーバーはクライアントに対してアンケート調査を実施し、その回答結果に基づきクライアントを分類し、分類に応じたバナー広告をクライアントに提供する。即ち、アンケート内容の電子化、サーバーに接続したクライアントにアンケートを表示する手段、クライアントによるアンケートに対する回答を受け入れる手段を備えたサーバーが開示されている。

このような、Ｗｅｂサイトを開設してインターネットを通じてアンケートを実施する方式・システムを、ここではＷｅｂアンケートシステムと呼ぶことにする。Ｗｅｂアンケートシステムは、モニターに提示しなければならない情報をすべて、モニターが扱うクライアントコンピュータ上で（多くの場合はＷｅｂブラウザ上で）提示できるのであれば実施可能であり、モニターのリクルート、アンケート会場の確保およびアンケート要員の人件費等に関する一切のコストを節約でき、メリットが大きい。そのためその利用は急速に拡大している。

しかしながら、モニターの一人一人はアンケート実施者からは目の届かない、各自の生活場所で、思い思いの時間帯にアンケートサイトにアクセスしてアンケートへの回答を行うため、質問内容を誤解して回答したり、よく理解しないままいい加減に回答したりする恐れがあるなど、回答データの精度、回答データの信頼性をどのように担保するかという新たな課題が生じている。そのため、本来のアンケート質問の中に、「一番右を選択してください」というような質問をきちんと読んでいるかどうかの確認を行うためのダミー質問を交えてアンケート質問を構成する等の工夫もされている。

この点で、例えば特許文献２は、被験者へアンケート質問を提示する際、被験者は質問提示の延期を伝えることができ、更に、システム側が提示の可否を自動的に判断して、提示不可の場合、所定時間アンケート質問の提示を自動的に延期することができるアンケート質問提示システムを開示している。このアンケート質問開示システムでは、回答延期指示は、例えば被験者が疲れているときやイライラしているとき、眠気を催しているときなどになされることが多いと考えられ、このような状況下で被験者が回答することを避けることができ、更に、アンケート質問を提示する前の生体情報が回答延期指示がなされたときの生体情報と類似する場合は、自動的にアンケート質問の提示を延期する。そのため、被験者に過度の負担を強いることなく、いい加減な回答、回答の空白といった回答精度を低下させるような回答を防止することができるとしている。

特開２００７−２９３４６２号公報 特開２０１１−０３９８８３号公報

特許文献２に開示されたアンケート質問開示システムは、単体で動作する装置である。心拍数、体温、呼吸数、血圧、脳波といった生体情報を取得する１種類または複数種類のセンサを備える必要があり、Ｗｅｂアンケートシステムに適用するには、それらの生体情報センサを各モニターに配布し正常動作を確認して初めてアンケート調査が実施可能となるものと考えられる。したがって実際的な運用負荷を考慮するとＷｅｂアンケートシステムに適用することは困難である。また、システムの側が自動的に次の質問提示を延期できるというのはアンケート調査に余計な時間がかかるというデメリットもある。
そこで、本願発明は、アンケートへの回答精度を担保でき、かつモニター側での装備負担をほとんど要せず運用も容易なＷｅｂアンケートシステムを提供すること、またそのためのコンピュータプログラムを提示することを課題とする。

課題を解決するための本願第１の発明は、
サーバー装置と、クライアント装置とがネットワーク接続されて構成されるＷｅｂアンケートシステムであって、
前記クライアント装置は、画像入力部を備えており、さらに、
アンケート実施のための準備作業の進行を制御する準備手段と、
すべての質問に対する回答が得られるまでアンケートの進行を制御する進行手段と、
アンケート質問を提示する表示手段と、
アンケート回答を受付ける入力手段と、
アンケート回答者を撮像する画像入力制御手段と、
前記画像入力制御手段により得られるアンケート回答者の顔画像に基づきアンケート回答者の顔の位置が適正かどうかを判定する姿勢判定手段と、
前記画像入力制御手段により得られるアンケート回答者の表情を撮像した動画像に基づきアンケート回答者の覚醒度合いを示す覚醒度データを出力する覚醒度分析手段と、
アンケート回答、および回答者の覚醒度データを一時記憶する記憶手段と、
アンケート回答に覚醒度データを添えたデータをアンケート結果データとして前記サーバー装置に送信するアンケート回答送信手段と、
を備えることを特徴とするものであること、
を要旨とするものである。
このようなＷｅｂアンケートシステムによれば、アンケート回答データに、回答者の回答時の覚醒度データが添付されるので、アンケート実施者はアンケート回答データと同時にその回答データへの信頼度を推定する情報を取得できるという効果を奏することができる。

第１の発明に係るＷｅｂアンケートシステムにおいて、前記クライアント装置の
前記覚醒度分析手段はアンケートの各設問ごとに、回答者の覚醒度データとしての覚醒度値を算出するものであり、前記アンケート回答送信手段は、アンケート設問ごとのアンケート回答と覚醒度値を対応付けたデータをアンケート結果データとしてサーバー装置に送信するよう構成してもよい。このように構成すれば、設問ごとのアンケート回答とその時の覚醒度データを対にした情報を得られるため、設問ごとの回答データの信頼度を取得できるという効果を奏することができる。
また、アンケートの連続する１つ以上の設問の組ごとに、回答者の覚醒度データとしての覚醒度値を算出し、これを前記設問の組を構成する各設問についての覚醒度値とするものであり、前記アンケート回答送信手段は、アンケート設問ごとのアンケート回答と覚醒度値を対応付けたデータをアンケート結果データとしてサーバー装置に送信するよう構成してもよい。このようにしても設問ごとのアンケート回答とその時の覚醒度データを対にした情報を作成できる。

また、前記クライアント装置の前記クライアント装置の前記覚醒度分析手段は、回答者がアンケートに回答する間の所定の時間区切りごとの覚醒度値を算出するものであり、前記アンケート回答送信手段は、アンケート設問ごとのアンケート回答と算出した覚醒度値を時系列に並べたデータとをアンケート結果データとしてサーバー装置に送信するよう構成してもよい。このように構成すれば、サーバー装置では、アンケート回答と並行してアンケート回答時の覚醒度値を時系列に並べたデータを取得できるので、アンケート回答データの信頼性を評価する上で有用である。

また、第１の発明に係るＷｅｂアンケートシステムにおいて、前記クライアント装置の前記覚醒度分析手段はアンケート実施直前の回答者の覚醒度データを算出して記憶手段に一時記憶し、前記アンケート回答送信手段は、アンケート実施直前の回答者の覚醒度データをアンケート結果データに含めてサーバー装置に送信するよう構成してもよい。このように構成すれば、アンケート回答実施直前の覚醒度データが得られるため、それのみによってアンケート回答データの信頼度を判断することが可能となるという効果を奏する。

前記クライアント装置の覚醒度分析手段は、アンケート回答者の１回の瞬き動作に要する時間に基づいて覚醒度合いの程度を判定するよう構成することが好ましい。

前記クライアント装置の前記覚醒度分析手段は、
アンケート回答者の心拍変動に基づいて覚醒度合いの程度を判定するよう構成してもよい。
あるいは、アンケート回答者の１回の瞬き動作に要する時間から算出した覚醒度値かまたは心拍変動に基づいて算出した覚醒度値のいずれかを所定の基準により選択してアンケート回答者の覚醒度合いの程度を判定するよう構成してもよい。このような構成によれば、１回の瞬き動作に要する時間に基づく覚醒度合いの程度の判定と心拍変動に基づいて算出した覚醒の度合いの判定との欠点を補いあったＷｅｂアンケートシステムを実現できる。

前記クライアント装置は、警告音または注意喚起メッセージを発する音声出力手段を備え、回答者の覚醒度が低下したと判断した時は警告音または注意喚起メッセージを発するよう構成することが好ましい。覚醒度が低下した回答者であっても、多くの場合は、注意喚起されることによりアンケート回答に必要な注意力は回復可能と考えられ、従来技術のようにアンケート実施を中断延期するやり方よりも時間の無駄が生じないという効果が期待できる。

前記クライアント装置は、警告音または注意喚起メッセージを発する音声出力手段を備え、回答者の姿勢が適正な位置にないと判断した時は警告音または注意喚起メッセージを発するよう構成することが好ましい。集中力や覚醒度が著しく低下すると姿勢がくずれるため、姿勢が崩れたことを検知して集中力や覚醒度の低下を検知できる。そして集中力や覚醒度の低下をした場合であっても、多くの場合は、注意喚起されることによりアンケート回答に必要な注意力は回復可能と考えられ、従来技術のようにアンケート実施を中断延期するやり方よりも時間の無駄が生じないという効果が期待できる。

前記クライアント装置は、前記覚醒度分析手段が出力した覚醒度データを回答者が認識可能な形態で表示出力する覚醒度表示手段をさらに備えていることがより好ましい。このような構成とすることにより何のためにカメラ撮影をしているかを回答者に知らせることができ撮影されることによる回答者の警戒感を軽減できる。

前記クライアント装置は、回答者の姿勢が適正な位置にないと判断した時は回答者の姿勢を正すための画像を回答者が認識可能な形態で表示出力する姿勢表示手段をさらに備えていることがより好ましい。このような構成とすることにより何のためにカメラ撮影をしているかを回答者に知らせることができ撮影されることによる回答者の警戒感を軽減できる。

課題を解決するための本願の第２の発明は、コンピュータを第１の発明に係るＷｅｂアンケートシステムを構成するクライアント装置として動作させる一連の命令を記述したコンピュータプログラムである。

本発明によれば、実施コストの面で有利であるが回答データの信頼性の点で難点があるＷｅｂアンケートシステムの回答データの信頼性をいかに確保するかの課題を解決する。したがって実施コスト面で有利であって回答データの信頼性も一定水準を維持したアンケートを実施することが可能となる。ユーザー側で必要となる設備も必要最小限なＷｅｂアンケートシステムを提供可能となる。

本発明の一実施形態に係るＷｅｂアンケートシステム１の全体概要図である。 Ｗｅｂアンケートシステム１の概略運用フロー図である。 Ｗｅｂアンケートシステム１の準備段階のフロー図である。 クライアント装置１００のハードウエア構成の概略を説明する図である。 サーバー装置２００のハードウエア構成の概略を説明する図である。 アンケートの進行を説明するフローチャートである。 動画解析処理の詳細を説明するフローチャートである。 設問提示画面の変形例を説明する図である。 アンケートの進行の変形実施形態を説明するフローチャートである。 アンケートの進行の別の実施形態を説明するフローチャートである。 動画解析処理の別の実施形態の詳細を説明するフローチャートである。 動画解析処理の別の実施形態の変形形態を説明するフローチャートである。 脈波のグラフの一例である。 心拍間隔のグラフの一例である。 心拍変動のグラフの一例である。

ここから、本発明の好適な実施形態を説明する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

（第１の実施形態）図１は本発明の第１の実施形態に係るＷｅｂアンケートシステム１の全体概要図である。このＷｅｂアンケートシステム１は、クライアント装置１００がネットワーク９を介してアンケートサイトを提供するサーバー装置２００に接続してアンケートを実施する。ネットワーク９は典型的にはインターネットである。以下の説明では、サーバー装置２００はＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバーとして動作するものとして、クライアント装置にはＷｅｂブラウザ、または同様な、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）リクエストを発し、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データを表示可能なアプリケーションプログラムが搭載されるシステムとして説明するが、これは実施形態の一つとして例示するのであって本発明はこれらの条件に限定されるものではない。また図１は概念的な説明を目的とするため、インターネット上にＷＷＷのアンケートサイトを開設する際に実際に必要となる付加的なネットワーク機器等は省略してある。

図２は、Ｗｅｂアンケートシステム１の概略運用フローを説明する図である。左側はアンケートに協力するモニター（以下ユーザーまたは回答者）が使用するクライアント装置１００の動作・処理を示す。右側はサーバー装置２００の動作・処理を示す。まず、ユーザーであるアンケート参加者はクライアント装置１００を通じてアンケートサイトにアクセスすることによりサーバー装置２００に接続する（Ｓ１００、Ｓ１０）。ここで既モニター登録済のユーザーはログイン処理を行うことにより、ユーザー認証される（Ｓ１０）。未登録のユーザーは所定の個人情報項目を入力する等の手続によりモニター登録される。認証ＯＫまたは登録完了の応答がクライアント装置１００に返され、同時にユーザーに対して同サイトが提供する情報やユーザーの所望の処理を要求するグラフィカルユーザーインターフェース（ＧＵＩ）を付したページが提示される（図示省略）。ここでユーザーは新たなアンケート活動が実施されていることを知り、モニタアンケートに参加する旨の申し出を発信することができる。そのようなオファーは表示ページ上のＧＵＩを操作することにより（新たな）アプリケーションリクエストとしてサーバー装置２００に送信される（図示省略）。サーバー装置２００はアンケートを実施するためのプログラム（これをアンケートアプリケーションと呼ぶ）をリクエストしたクライアント装置１００に返信する（Ｓ１２）。ユーザーの操作によりクライアント装置１００にアンケートアプリケーションがインストールされる（Ｓ１１０）。クライアント側での以後のステップはアンケートアプリケーションを起動して行われる。

ユーザーはクライアント装置１００上でアンケートアプリケーションを起動する。そしてまず、準備作業を行う（Ｓ２００）。準備作業の詳細は後述するが、カメラの位置、ユーザーの姿勢の調整等を行う。次に引き続きアンケートアプリケーションを動作させてアンケートを実施する（Ｓ３００）。アンケートアプリケーションは１回のアンケートを実施するための幾つかの設問を表示するためのデータを含んでいるものとする。ユーザーはアンケートアプリケーションがクライアント装置１００の表示部に提示するアンケート質問に答える形でアンケートが進行する。この時、後述するように、アンケート回答者の覚醒度に関するデータも収集される。

ユーザーは最後のアンケート質問に回答し終えると、確認画面等により確認した後でデータ送信ボタンを選択することにより、アンケート回答データをサーバー装置２００に送信する（Ｓ４００）。このアンケート回答データには、後述するように、アンケート設問に対する回答データの他、回答者ユーザーのアンケート実施中の覚醒度に関するデータも含まれる。サーバー装置２００はアンケート回答と覚醒度データを受信する（Ｓ２０）。受信したデータは後の分析のために所定のデータベース(後述のアンケート回答データベー
ス２４０)に蓄積保管される（Ｓ３０）。

図４はクライアント装置１００のハードウエア構成の概略を説明する図である。クライアント装置１００は、制御部１０１、表示部１０２、入力部１０３、画像入力部１０４、ネットワークアダプタ１０５、記憶部１０６を備え、バス１０９を介して各部は接続される。クライアント装置１００は、パーソナルコンピュータに必要なプログラムを搭載することにより実現可能である。制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部１０６、ＲＯＭ等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１０９を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。ＲＯＭは、不揮発性メモリであり、クライアント装置１００のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１０２、ＲＯＭ等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１０１が各種処理を行う為に使用するワークエリアを備える。

表示部１０２は、液晶パネル等のディスプレイ装置である。アンケートの設問は表示部１０２に提示される。入力部１０３は、データの入力を行い、例えば、タッチパネルやキーボード等の入力装置である。アンケートへの回答は入力部１０３を通して入力される。画像入力部１０４は、ＣＣＤ等の撮像素子によりデジタル動画データを撮像してコンピュータに入力する装置である。典型的にはＷｅｂカメラと呼ばれる撮像画像をＵＳＢ、ＩＥＥＥ１３９４により転送し実時間でコンピュタに保存できるものが好ましい。以後の説明では画像入力部１０４をＷｅｂカメラ１０４として説明する。

ネットワークアダプタ１０５は、ネットワーク９を介した通信を行うためのインターフェース基板である。バス１０９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

記憶部１０６は、ＨＤＤ（ハードディスクドライブ）であり、制御部１０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）１１０を構成する各種制御プログラムや、ＷＷＷブラウザのプログラムコード、アンケートアプリケーション１２０のプログラムコードが格納されている。これらのプログラムコードは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行されることにより後述する各種の手段として機能する。

特に、アンケートアプリケーション１２０は、１回のアンケートを実施するための幾つかの設問画面を表示するためのデータを設問画面データとして含む。また、制御部１０１のＣＰＵに解釈され実行され、クライアント装置１００のハードウエア資源を駆動制御することを通じて、後述するような、ユーザーのアンケート回答時の表情画像を静止画または動画データとして入力する機能、アンケートの設問を表示部１０２に提示出力する機能、入力部への入力をアンケート回答として受付ける機能、静止画または動画データからユーザーの姿勢を判定する機能、動画データからユーザーの覚醒度を分析する機能、回答データを作成してサーバー装置２００に送出する機能、上記各機能を用いて準備段階の手順を進行させる機能、上記各機能を用いて１回のアンケート実施を進行させる機能、等の各機能を発揮させる命令コード群を含む。そこで以後の記載では、このそれぞれの機能を発揮させる命令コード群を便宜的にそれぞれの機能を実現する手段として言い表すことにする。すなわち、アンケートアプリケーション１２０を搭載したクライアント装置１００は、ユーザーのアンケート回答時の表情画像を静止画または動画データとして入力する画像入力制御手段、アンケートの設問を表示部１０２に提示する表示手段、入力部への入力をアンケート回答として受付ける入力手段、静止画または動画データからユーザーの姿勢を判定する姿勢判定手段、動画データからユーザーの覚醒度を分析する覚醒度分析手段、回答データを作成してサーバー装置２００に送出するアンケート回答送信手段、アンケート実施のための準備作業の進行を制御する準備手段、すべての質問に対する回答が得られるまでアンケートの進行を制御する進行手段、を備えた装置とみなして説明することとする。

図５は、サーバー装置２００のハードウエア構成の概略を説明する図である。クライアント装置１００と同様に、制御部２０１、表示部２０２、入力部２０３、ネットワークアダプタ２０５、記憶部２０６を備え、バス２０９を介して各部は接続される。記憶部２０６は、ＨＤＤ（ハードディスクドライブ）であり、制御部２０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）２１０を構成する各種制御プログラムや、サーバー装置２００をＷＷＷサーバーとして動作させるためのＷＷＷサーバーソフトウェア２２０のプログラムコード、アンケートアプリケーション１２０のダウンロード用圧縮コード２５０、クライアント装置１００から届けられたアンケート回答をアンケート回答データベースに格納するためのデータベースプログラム２３０のプログラムコード等が格納されている。これらのプログラムコードは、制御部１０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行されることにより機能する。また、モニタ回答者からのアンケート回答を集約したアンケート回答データベース２４０は記憶部２０６に作成保持される。

次に、図２のＷｅｂアンケートシステム１の概略運用フローについてより詳細な説明を行う。図３は、Ｓ２００の準備作業の詳細な処理フローである。Ｓ２００の準備作業の詳細な処理は前記準備手段の制御のもとに進められる。アンケートアプリケーションは起動される（Ｓ２１０）と、準備手段の最初の命令が実行される。この命令は、ユーザーにＷｅｂカメラ１０４の動画保存フォルダの指定を訪ねる。ユーザーは保存フォルダを指定する（Ｓ２２０）。つぎに前記姿勢判定手段の制御により、Ｗｅｂカメラ１０４の撮影位置の調整のためユーザーの顔画像が撮像される。Ｗｅｂカメラ１０４はユーザーのほぼ正面に設置し、表示部１０２上の設問を読んで回答しようとするユーザーの顔画像を撮像する（Ｓ２３０）。撮像された顔画像は直ちに顔画像枠認識の処理が施される（Ｓ２４０）。人物の正面を撮像した静止画像（肖像）から人物の顔を特定する矩形領域（顔矩形）を認識させる画像処理手法は公知である。例えばHaar-like 特徴を用いる手法が公知でありOpenCV（登録商標）により利用できる。

顔画像枠のサイズが所定の適正サイズであるかどうかを判断する（Ｓ２５０）。表示部１０２に正しい姿勢で一定の距離に正対したユーザーの顔画像枠の傾き・サイズが所定の一定範囲に収まるかどうか検査する（Ｓ２５０）。後述する覚醒度分析では、ユーザーの正面顔画像の特に瞼周辺の画像を使用するため、顔画像枠はそのような処理を行うために適切なサイズである必要がある。ここでもし、所定の一定範囲に収まっていない場合は、姿勢を正してください。もっと表示画面によってください。表示画面から少し離れてください。などの指示を行った後、顔画像撮像（Ｓ２３０）を再度行う（この時Ｗｅｂカメラ１０４の位置や向きを調整する場合もあり得る）。ユーザーの位置姿勢チェックを終えた後は、その適正な位置姿勢の状態で数十秒から１分程度（数回の瞬きを録画できるのに十分な時間）ユーザーの顔画像動画を撮像する（Ｓ２６０）。覚醒度判定処理を行う（Ｓ２７０）。覚醒度判定処理については詳細は後述する。この時の覚醒度をアンケート実施直前の覚醒度として一時記録する（Ｓ２８０）。

次に、図２のＳ３００（アンケート回答）の詳細なフローを図６により説明する。Ｓ３００のアンケート進行の各処理は前記進行手段の制御のもとに進められる。進行手段は、まず、設問番号を１にセットして（Ｓ３１０）、設問番号で指定される設問の画面構成データを読み出し表示部１０２に提示する（Ｓ３１５）。進行手段の制御に基づき姿勢判定手段は、設問が表示された直後のユーザーの画像を撮像しその顔矩形から顔位置を判定する（Ｓ３１８）。顔位置が不適切なら警告メッセージを表示または音声で伝え（Ｓ３１９）判定をやり直す。顔位置が適切ならば、前記画像入力制御手段の作用によりユーザーの動画記録を開始する（Ｓ３２０）。回答入力があり（Ｓ３２５）、かつ動画記録開始から一定時間経過したら（Ｓ３３０）回答を一時記録し（Ｓ３３５），ユーザーの動画記録を終了する（Ｓ３３５）。本実施形態では、覚醒度の判定に１回の瞬きの間の閉眼時間を用いるので、Ｓ３２０からＳ３４０は最低１回の瞬きを含む時間間隔が必要である。次に覚醒度を判定するために動画解析を行う（Ｓ３４５）。動画解析処理は前記覚醒度分析手段の制御により実行される。動画解析処理の詳細は図７のフローチャートに示す。その説明は後述する。動画解析の結果得られるユーザーの直近の覚醒度を設問番号とともに記憶部に一時記録する。この時の覚醒度を表す値から覚醒状態かどうかを判定する（Ｓ３５５）。覚醒状態ではないと判断できる場合は（Ｓ３３５のＮｏの分岐）、警告音声等を発し（Ｓ３６０）、この設問に対する回答は無効として再度アンケート回答を得るためにＳ３１５に戻る。覚醒状態と判断できる場合は（Ｓ３３５のＹｅｓの分岐）、次の設問があれば、設問番号をインクリメントして（Ｓ３７０）、次の設問に進むためにＳ３１５に戻る。次の設問がない場合は、全回答データをまとめて回答データを作成して（Ｓ３８０）、アンケート回答ステップ（Ｓ３００）は終了する。Ｓ３８０のステップにより、各設問ごとのアンケート回答とその時の覚醒度データを対にした形でアンケート回答データが作成される。

図７は、動画解析処理の詳細を説明するためのフローチャートである。図７に沿って動画解析処理の詳細を説明する。

瞼の閉じている時間を瞼が閉じているフレームの連続数で測ることとする。したがってまずフレームカウンタをリセットする（Ｓ５００）。次に動画記録データから最初のフレーム画像を取出し、瞳の位置、瞼の位置を検出する（Ｓ５０４）。次に、直前のフレームの瞳の位置、瞼の位置と現在のフレームの瞳の位置、瞼の位置とを比較することにより、瞼の状態を決定する。瞼の状態を、閉状態（Ａ）、開状態（Ｂ）、開でも閉でもない中間の状態（Ｃ）、閉じている状態から中間の状態に変わった（Ｄ）の４通りの何れかとして判定する必要がある。判定精度を上げるために直前のフレームとの比較だけでなく直前の連続する数フレームの瞼の位置または瞼の状態との比較を加えて判定してもよい。そして、（Ａ）閉状態と判定した場合はフレームカウンタをインクリメントする（Ｓ５１６）。（Ｂ）の状態と判定した場合はなにもしない（Ｓ５２０のＹｅｓの分岐）、（Ｃ）の状態と判定した場合はなにもしない（Ｓ５２４のＮｏの分岐），（Ｄ）の状態と判定した場合（Ｓ５２４のＹｅｓの分岐）は、そのときのフレームカウンタの値が閉状態のフレーム数を示すので、このカウンタ値から１回の閉眼の継続時間Ｔｃを決定し、記憶部１０６に一時記憶する。動画データに次のフレームがあれば、Ｓ５０４に戻って処理を繰り返す。次のフレームがなければ（Ｓ５３６の下方の分岐）、一時記録された継続時間Ｔｃの平均をとるなどして覚醒度値を算出する（Ｓ５４０）。以上のようにして動画解析処理を行い、ユーザーが１回の設問に回答している間の覚醒度を算出する。

尚、顔画像から上瞼の位置や瞼の開度状態を検出する方法は公知であり、例えば、特開平８−２２５０２８号公報や特開２００１−５９５２号公報に開示された方法等を用いて実装できる。また、人物の覚醒度を判定する技術は、さまざまに開発されている。特表２００２−５０９３２１号公報では眠けが生じたときの瞬き時間を５００〜８００ミリ秒程度としているので、本実施形態ではこの知見を用いた。さらに、特開２０１１−４８５３１号公報では、瞼が閉じられたとき同時に顔の向きが変わった場合は、閉眼状態の継続時間を計測しないことにして覚醒度判定の精度を上げる発明が開示されており、このような判定ルールを加えて動画解析処理を行ってもよい。

図８は、Ｗｅｂアンケートシステム１の変形例を説明する図である。図８（ａ）（ｂ）は、動画解析結果にもとづく覚醒度をアンケート設問表示画面に組み込んで表示する場合を説明する図である。（ａ）は覚醒度が低下した場合の表示例であって、覚醒度が低下したことをユーザーに自覚させるために眠い状態をイメージさせる画像を表示している。（ｂ）は覚醒状態であることをイメージさせる画像が組み込まれて表示されている。これらの画像は、例えば動画解析処理の直後のＳ３５０で覚醒度を一時記憶する時のタイミングでその時の覚醒度に応じた画像を設問表示画面の所定エリアに表示させればよい。このような表示は、Ｗｅｂカメラ１０４の使用目的をユーザーに理解させ無用な誤解を生じさせないという効果もある。また、図８（ｃ）（ｄ）は、顔の位置判定によりＳ３１９位置調整のための警告を行う場合の画面例である。ユーザーの顔位置が適正でないことを知らせる画像が設問画面に組み込まれている。これらの画面は、Ｓ３１９で警告を発するタイミングで顔位置判定に応じた画像を設問表示画面の所定エリアに表示させればよい。このような表示は、ユーザーの顔位置調整を円滑に促すと同時に、Ｗｅｂカメラ１０４の使用目的をユーザーに理解させ無用な誤解を生じさせないという効果がある。

（第１の実施形態の変形形態）図９は、図６で説明したアンケート回答の進行フローの変形実施形態を説明するフローチャートである。図６のアンケート回答進行フローによれば、回答データには、各設問ごとのアンケート回答とその時の覚醒度データが対応づけられて記録されるが、この変形例では、各設問ごとの回答データに、回答者がアンケート回答を行っていた間の覚醒度を経過時間に応じて時系列的に表す時系列覚醒度データを含めたものを全回答データとして作成する。

図９のフローチャートには図６と同じ内容の処理ステップは図６と同じステップ番号で示してある。図６と異なる処理ステップだけ説明する。回答者(ユーザー)の映像記録は、最初の設問を回答者に提示する前に撮像開始される（Ｓ３２０）。回答者が回答中はずっと撮影する。そして回答者が全設問に回答し終えた時に撮影を停止する（Ｓ３４０）。アンケート進行を制御する進行手段は、記録された映像データを数十秒ごと(瞬きが１回以上記録される時間間隔)に映像データを分割して（Ｓ３４１）動画解析処理にかける（Ｓ３４５）。動画解析処理は分割された時間間隔ごとに覚醒度値を算出するので、これを順に(時系列に)覚醒度データとし一時記録する（Ｓ３５１）。アンケート進行を制御する進行手段はＳ３３５で設問ごとに記録された回答データと、Ｓ３５１で一時記録された覚醒度値を時系列にまとめた時系列覚醒度データとを併せて全回答データとする。

作成された全回答データは回答者がデータ送信ボタンを押すことにより（図２のＳ４００）サーバー装置２００に送信される。この変形実施形態では、全回答データを受け取ったサーバー装置は、回答者ごとのアンケート回答データを得るだけではなく、横軸が時間、縦軸が覚醒度となるグラフを出力することができる。このようなグラフはアンケート回答データの信頼性を評価する上で有用である。

アンケートアプリケーションは１回のアンケートの全設問データを含んだアプリケーションプログラムとして説明したが、本発明の趣旨はこれに限定されるわけではない。アンケートアプリケーションは設問データを含まず、Ｓ３１５の設問提示ステップにおいてその都度サーバー装置２００に設問表示のためのデータを要求するようにアンケートアプリケーションを構成することもできることは言うまでもない。

（第２の実施形態）第１の実施形態は覚醒状態か眠気を帯びた状態かの判定を被験者の瞬き動作を解析することによって行うものであるが、被験者の覚醒状態を判定する方法としては他の方法を用いてもよい。以下第２の実施形態としてアンケート回答中の回答者の心拍変動を用いる方法によりシステムを構成した実施形態を説明する。顔画像から心拍数等の生理パラメータを計測することはWO 2011/127487号国際公開公報 （発明の名称： METHOD AND SYSTEM FOR MEASUREMENT OF PHYSIOLOGICAL PARAMETERS）等により開示され当業者に公知である。

図１１は、心拍変動方式による動画解析処理を説明するフローチャートである。以下図１１のステップごとに説明する。この方式の前提として動画データはその記録時間Ｔが１分（６０秒）以上の長さをもつものとする。

まず、１フレーム画像について顔認識処理を行い顔領域を検出する。顔認識処理はどのような手法でも構わない。第１の実施形態で述べたようなHaar-like 特徴を用いる手法でもよい。以後各フレームごとに顔認識処理を行ってもよいが、顔の位置は１秒程度の時間経過で変動しないという前提で、例えば３０フレームごとに１回の顔認識処理を行い次の顔認識処理を行うまでの間は定めた顔領域を固定してもよい。（Ｓ６００）

次に各フレーム画像ごとに顔領域内の全画素のＲＧＢ各成分ごとの平均値を算出する。その結果ＲＧＢ各成分ごとの時間Ｔに渡るデータ系列が見出される。これを独立成分分析する。独立成分分析は、観測された多変量の信号を複数の加法的な元成分に分離するための計算手法である。各元成分は、ガウス的でない信号で相互に統計的独立なものを想定する。本実施形態の場合、元成分の１つとして心拍のリズムを表す脈波データが含まれるものと仮定して処理を行う。図１３は脈波のグラフの一例である。独立成分分析は確立された多変量解析の一手法であって、文献、教科書も多数存在することからここでは手法そのものの説明は割愛する。この結果分離された独立成分のデータ系列が所定の個数分（例えば３個）得られる。（Ｓ６０３）

次に、分離された独立成分のデータ系列から脈波によるデータ系列がどれであるかを特定する。そのために、得られたデータ系列をそれぞれ周波数解析（フーリエ変換）し、１ヘルツ前後に最大ピークをもつデータ系列を脈波によるデータ系列と特定する（Ｓ６０６）。

次に、特定された脈波とされたデータ系列の波形を解析して、心拍間隔データ系列を求める（Ｓ６１２）。これは脈波のデータ系列波形から波のピークを特定し、前後のピークとの時間間隔を特定し、これを各時間ごとにプロットしたものである。一般に心拍間隔（ＩＢＩ）あるいはＲＲ間隔などと呼ばれるものである。心拍の揺らぎを時間Ｔに渡って観測したデータである。このとき、心拍間隔を１秒と仮定すると標本数はＴ（秒）／心拍間隔（秒）＝Ｔ（個）となる。つまり秒で測った記録時間が心拍間隔データ系列の標本数となる。Ｔは６０秒以上が前提であるとしたのは、後段の覚醒度数量化を一定以上の信頼度で行うために心拍間隔データ系列の標本数を一定数以上確保するためである。図１４に心拍間隔データ系列の一例を示す。図１３の脈波データから得られたものである。

次に、得られた心拍間隔データ系列を周波数解析（フーリエ変換）して、心拍変動のパワースペクトルを作成する（Ｓ６１５）。図１５は図１４の心拍間隔データ系列から得られた心拍変動のパワースペクトルである。心拍変動のパワースペクトルは０．０５〜０．１５Ｈｚ付近、０．１５〜０．４０Ｈｚ付近の２か所にピークがあり、前者は血圧性変動を反映し、後者は呼吸性変動を反映するものであることが知られている（例えば、特開平８−２９９４４３号公報、特許第２５０５０７２号公報等）。前者の振幅をＬＦ、後者の振幅をＨＦで表すと、ＬＦが大きいほど交感神経の活動が活発で緊張状態にあり、ＨＦが大きいほど逆にリラックス状態であることを意味する。そこでＬＦをＨＦで除した「ＬＦ／ＨＦ」が個体（個人）に依存しにくく緊張度の推定に有用であることは当業者に公知である。そこで、一つの実施形態としては、心拍変動のパワースペクトルからＬＦ／ＨＦを求め、これを覚醒度値とする（Ｓ６１８）。ＬＦ／ＨＦの値が所定の高閾値以上であれば覚醒状態、同値が所定の低閾値より小さければ眠気を帯びた状態として判定することができる。覚醒度値としては、ＬＦ／ＨＦをそのまま用いてもよいが、ＬＦ／ＨＦに基づく所定の数式又は条件式により得られる指標値でもよい。

図１０は、脈波方式による動画解析処理を行う場合の図６に代わるアンケート回答（Ｓ３００）のフローである。図６と変わらない処理は同じステップ番号を付している。図６にない処理ステップのみ説明する。図１１のフローを説明する際述べたように、動画データの記録時間Ｔが１分以上の長さを維持するように撮影する必要があるため、設問に対する１回の回答に要する時間が６０秒要しなかった場合は、動画記録を止めずに、次の設問映像をつなげて撮影するようにする。図６と変わるのはこの処理を行うための処理だけである。すなわち、最初は「継続フラグ」をゼロに初期化しておく（Ｓ３０９）。設問を提示（Ｓ３１５）してから顔位置判定後（Ｓ３１８）、回答者映像の記録を開始するが、これは「継続フラグ」＝０の時に限定し、そうでない時は回答者の映像記録を開始しない（Ｓ３２１、もっとも、回答者映像の記録は進行中なので開始はできない）。回答の一時記録（Ｓ３３５）後、記録開始から１分経過したかどうかをチェックし、まだ１分経過していなければ、「継続フラグ」を１増加させてステップＳ３６５へ飛ぶ。次の質問があれば次の設問提示を行う（ｓ３７０、Ｓ３１５）。回答の一時記録（Ｓ３３５）後、記録開始から１分経過したかどうかをチェックし、１分以上経過している場合は回答者映像記録を停止し（Ｓ３４０）、動画解析し（Ｓ３４５）、覚醒度を一時記録した（Ｓ３５０）後、「継続フラグ」をリセットする。このように、「継続フラグ」を制御することにより必ず、１問又は連続する複数設問ごとに回答者の回答時の覚醒度データが得られる。

瞬き時間の解析方式による覚醒度判定方式（第１の実施形態）は、検出が比較的容易であるという利点がある一方で、眠気がかなり強くならなければ覚醒度が低下していることを検知できない。これに対して心拍変動に基づいて覚醒度を判定する方式（第２の実施形態）は、活動中の人体の眠気に抗する状態の度合いを示す生理指標を検知する方法なので、瞬き時間が長くなるような強い眠気ではないが眠気と戦っている状態のやや弱い眠気を帯びた状態を検知できるというメリットがある。一方で心拍変動に基づいて覚醒度を判定する方式は、被験者の体調によって心拍信号のピーク周波数が大きく変動する場合があることや、眠気以外の要因で心拍間隔が変動することを除去できないことから計測安定性にやや難があるといえる。

（第２の実施形態の変形１）次に第２の実施形態の変形例を示す。この変形例は覚醒度の算出をこれまで説明した二つの方式によりそれぞれ求めて、所定の条件によりいずれかの覚醒度を採用するというものである。図１２は、この実施形態の一例に係る動画解析処理のフローチャートである。被験者の回答時の顔画像を撮影した動画像データから瞬きを解析することにより算出した覚醒度（覚醒度Ａ）と心拍変動により算出した覚醒度（覚醒度Ｂ）をそれぞれ求めて、覚醒度Ｂが、予め定めたレンジ内（予め適当に定めた第１の閾値と第２の閾値とで決定される数値区間内）である場合は覚醒度Ｂを採用し、そうでない場合は覚醒度Ａを採用するとした場合を示すものである。通常は覚醒度Ｂを採用するので、心拍変動方式を優先している。これは、強い眠けが生じないと瞬き時間による解析で眠気をもよおしていることを感知できないという欠点を補いつつ、心拍変動による解析では、眠気以外の要因（アンケート回答中の物音などによるストレス）により心拍間隔が想定以上に変動する可能性があり覚醒度Ｂの算出が安定さに欠けるという欠点をも補うものである。

（第２の実施形態の変形２）第２の実施形態ではアンケート回答（Ｓ３００）のフローとして図１０のフローにより説明したが、第１の実施形態の変形形態で説明した図９のフローを用いることも可能である。図９のフローは第１の実施の変形形態の項でも説明したが、回答者(ユーザー)の映像記録は、最初の設問を回答者に提示する前に撮像開始される（Ｓ３２０）。回答者が回答中はずっと撮影する。そして回答者が全設問に回答し終えた時に撮影を停止する（Ｓ３４０）。動画解析処理（Ｓ３４５）は回答者が回答した全時間の顔画像動画を一まとめにして図１１のフローにより処理してもよいし、ステップＳ３４１により事前に１分以上の適当な長さに分割してから動画解析処理（Ｓ３４５）してもよい。前者の場合には、アンケート回答全体を通じての覚醒度が一つ得られる。後者の場合には動画を区切った時間間隔ごとの覚醒度が区切った数だけ得られる。ステップＳ３３５で回答を一時記録する際、設問番号ごとの記録時刻を併せて一時記録しておけば、この記録時刻をキーにして設問回答時の覚醒度をその記録時刻を時間間隔に含んだ動画により得られた覚醒度により定めることができる。また、動画解析の処理を図１１でなく図１２によるものに置き換えてもよい。

以上（第２の実施形態）として説明した心拍変動に基づいて覚醒度を判定する方式もアンケート回答者の回答中の顔画像の解析から心拍変動を得るため、アンケート回答者の側ではインターネットに接続するパソコンとＷｅｂカメラを用意すればよいので、回答者側の装備負担は最小限でよい。

１ Ｗｅｂアンケートシステム
９ インターネット
１００ クライアント装置
１０１ 制御部
１０２ 表示部
１０３ 入力部
１０４ Ｗｅｂカメラ
１０５ ネットワークアダプタ
１０６ 記憶部
１２０ アンケートアプリケーション
２００ サーバー装置
２０１ 制御部
２０２ 表示部
２０３ 入力部
２０５ ネットワークアダプタ
２０６ 記憶部

Claims (13)

1. サーバー装置と、クライアント装置とがネットワーク接続されて構成されるＷｅｂアンケートシステムであって、
   前記クライアント装置は、画像入力部を備えており、さらに、
   アンケート実施のための準備作業の進行を制御する準備手段と、
   すべての質問に対する回答が得られるまでアンケートの進行を制御する進行手段と、
   アンケート質問を呈示する表示手段と、
   アンケート回答を受付ける入力手段と、
   アンケート回答者を撮像する画像入力制御手段と、
   前記画像入力制御手段により得られるアンケート回答者の顔画像に基づきアンケート回答者の顔の位置が適正かどうかを判定する姿勢判定手段と、
   前記画像入力制御手段により得られるアンケート回答者の表情を撮像した動画像に基づきアンケート回答者の覚醒度合いを示す覚醒度データを出力する覚醒度分析手段と、
   アンケート回答、および回答者の覚醒度データを一時記憶する記憶手段と、
   アンケート回答に覚醒度データを添えたデータをアンケート結果データとして前記サーバー装置に送信するアンケート回答送信手段と、
   を備えることを特徴とするＷｅｂアンケートシステム。
2. 前記クライアント装置の前記覚醒度分析手段は、
   アンケートの各設問ごとに、回答者の覚醒度データとしての覚醒度値を算出するものであり、
   前記アンケート回答送信手段は、アンケート設問ごとのアンケート回答と覚醒度値を対応付けたデータをアンケート結果データとしてサーバー装置に送信するよう構成した請求項１に記載のＷｅｂアンケートシステム。
3. 前記クライアント装置の前記覚醒度分析手段は、
   アンケートの連続する１つ以上の設問の組ごとに、回答者の覚醒度データとしての覚醒度値を算出し、これを前記設問の組を構成する各設問についての覚醒度値とするものであり、前記アンケート回答送信手段は、
   アンケート設問ごとのアンケート回答と覚醒度値を対応付けたデータをアンケート結果データとしてサーバー装置に送信するよう構成した請求項１に記載のＷｅｂアンケートシステム。
4. 前記クライアント装置の前記覚醒度分析手段は、
   回答者がアンケートに回答する間の所定の時間区切りごとの覚醒度値を算出するものであり、
   前記アンケート回答送信手段は、
   アンケート設問ごとのアンケート回答と算出した覚醒度値を時系列に並べたデータとをアンケート結果データとしてサーバー装置に送信するよう構成した請求項１に記載のＷｅｂアンケートシステム。
5. 前記クライアント装置の前記覚醒度分析手段は、
   アンケート実施直前の回答者の覚醒度データを算出して記憶手段に一時記憶し、
   前記アンケート回答送信手段は、
   アンケート実施直前の回答者の覚醒度データをアンケート結果データに含めてサーバー装置に送信するよう構成した請求項１から請求項４の何れか一項に記載のＷｅｂアンケートシステム。
6. 前記クライアント装置の前記覚醒度分析手段は、
   アンケート回答者の１回の瞬き動作に要する時間に基づいて覚醒度合いの程度を判定するよう構成した請求項１から請求項５の何れか一項に記載のＷｅｂアンケートシステム。
7. 前記クライアント装置の前記覚醒度分析手段は、
   アンケート回答者の心拍変動に基づいて覚醒度合いの程度を判定するよう構成した請求項１から請求項５の何れか一項に記載のＷｅｂアンケートシステム。
8. 前記クライアント装置の前記覚醒度分析手段は、
   アンケート回答者の１回の瞬き動作に要する時間から算出した覚醒度値かまたは心拍変動に基づいて算出した覚醒度値のいずれかを所定の基準により選択してアンケート回答者の覚醒度合いの程度を判定するよう構成した請求項１から請求項５の何れか一項に記載のＷｅｂアンケートシステム。
9. 前記クライアント装置は、
   警告音または注意喚起メッセージを発する音声出力手段を備え、回答者の覚醒度が低下したと判断した時は警告音または注意喚起メッセージを発するよう構成した請求項１から請求項８の何れか一項に記載のＷｅｂアンケートシステム。
10. 前記クライアント装置は、
    警告音または注意喚起メッセージを発する音声出力手段を備え、回答者の姿勢が適正な位置にないと判断した時は警告音または注意喚起メッセージを発するよう構成した請求項１から請求項９の何れか一項に記載のＷｅｂアンケートシステム。
11. 前記クライアント装置は、
    前記覚醒度分析手段が出力した覚醒度データを回答者が認識可能な形態で表示出力する覚醒度表示手段をさらに備えていることを特徴とする請求項１から請求項９の何れか一項に記載のＷｅｂアンケートシステム。
12. 前記クライアント装置は、
    回答者の姿勢が適正な位置にないと判断した時は回答者の姿勢を正すための画像を回答者が認識可能な形態で表示出力する姿勢表示手段をさらに備えていることを特徴とする請求項１から請求項９の何れか一項に記載のＷｅｂアンケートシステム。
13. コンピュータを、請求項１から請求項１２の何れか一項に記載のＷｅｂアンケートシステムを構成するクライアント装置として動作させる一連の命令を記述したコンピュータプログラム。

Images