JP2022131735A - ユーザインターフェース装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】入力時に生じ得る撮像部の揺れに起因する影響を受けにくくすること。【解決手段】ユーザインターフェース装置１は、撮像部Ｃ１と、入力を受け付ける入力部５と、機能部Ｆ１と、制御部３１と、を備える。機能部Ｆ１は、入力部５への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。制御部３１は、撮像部Ｃ１の露光時間Ｔ１に関する調整をする。制御部３１は、機能部Ｆ１が第１状態の場合に露光時間Ｔ１を第１長さＴ１１で調整し、機能部Ｆ１が第２状態の場合に露光時間Ｔ１を第１長さＴ１１よりも短い第２長さＴ１２で調整する。【選択図】図１

Description

本開示は、一般に、ユーザインターフェース装置、制御方法、及びプログラムに関する。より詳細には本開示は、撮像部及び入力部を備えるユーザインターフェース装置、当該ユーザインターフェース装置の制御方法、及びプログラムに関する。

特許文献１には、学習者に対する指導要否を判定する情報処理装置が開示されている。情報処理装置は、ローカルネットワーク又はグローバルネットワークに接続可能な端末装置（例えば、スマートフォン、タブレット端末、パソコン、テレビジョン受像機等）に実装される。

情報処理装置は、例えば、カメラ等の撮像部から取得した画像から、学習者の顔情報を取得する顔情報取得部を備える。また情報処理装置は、顔情報取得部が抽出した顔情報に基づき、学習者の状態を検出する状態検出部を更に備える。また状態検出部は、学習者の視線、瞳孔の状態および瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動き及び顎の動きのうち少なくとも１つを検出することで、学習者の集中度を評価する。

特開２０２０－１２６２１４号公報

ところで、学習者（ユーザ）が端末装置（ユーザインターフェース装置）へ解答（入力）を行う際に、操作状況によっては撮像部自身に揺れが生じて、撮像部から取得する映像（画像）に、いわゆるカメラブレが発生することがある。そのようなブレの発生は、学習者の集中度を評価する際の信頼性が損なわれる可能性がある。

本開示は上記事由に鑑みてなされ、入力時に生じ得る撮像部の揺れに起因する影響を受けにくくする、ユーザインターフェース装置、制御方法、及びプログラムを提供することを目的とする。

本開示の一態様のユーザインターフェース装置は、撮像部と、入力を受け付ける入力部と、機能部と、制御部と、を備える。前記機能部は、前記入力部への前記入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する。前記制御部は、前記撮像部の露光時間に関する調整をする。前記制御部は、前記機能部が前記第１状態の場合に前記露光時間を第１長さで調整し、前記機能部が前記第２状態の場合に前記露光時間を前記第１長さよりも短い第２長さで調整する。

本開示の別の一態様のユーザインターフェース装置は、撮像部と、入力を受け付ける入力部と、機能部と、推定部と、を備える。前記機能部は、前記入力部への前記入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する。前記推定部は、前記撮像部で撮影した画像に基づき、前記画像に含まれる対象者の状態を推定する。前記推定部は、特定の条件を満たす場合、前記機能部が前記第２状態の場合に前記撮像部が撮像した特定の画像を除外して、前記対象者の状態を推定する。

本開示の一態様の制御方法は、撮像部及び入力部を備えるユーザインターフェース装置の制御方法である。前記制御方法は、機能ステップと、調整ステップと、を含む。前記機能ステップでは、前記入力部への入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する。前記調整ステップでは、前記撮像部の露光時間に関する調整をする。前記調整ステップでは、前記機能ステップが前記第１状態の場合に前記露光時間を第１長さで調整し、前記機能ステップが前記第２状態の場合に前記露光時間を前記第１長さよりも短い第２長さで調整する。

本開示の一態様のプログラムは、１以上のプロセッサに、上記の制御方法を実行させるためのプログラムである。

本開示によれば、入力時に生じ得る撮像部の揺れに起因する影響を受けにくくする、という利点がある。

図１は、一実施形態に係るユーザインターフェース装置を備える学習管理システムの概略構成図である。 図２は、同上のユーザインターフェース装置における動作を説明するための概念図である。 図３Ａ及び図３Ｂは、同上のユーザインターフェース装置における入力部と撮像部との位置関係を説明するための概念図である。 図４Ａ及び図４Ｂは、同上のユーザインターフェース装置における入力部と撮像部との位置関係を説明するための概念図である。 図５は、同上のユーザインターフェース装置における撮像部の露光時間の調整を説明するための図である。 図６は、比較例における撮像部で撮像された画像に発生するカメラブレを説明するための図である。 図７は、同上のユーザインターフェース装置における動作を説明するためのフローチャート図である。 図８は、同上のユーザインターフェース装置の第１変形例（特定の画像を除外）を説明するための図である。

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

本実施形態の一態様に係るユーザインターフェース装置１（図１参照）は、例えば、学問に関する対象者Ｍ１（図１参照：ユーザ）の習得訓練を支援するように構成される（学習支援）。したがって、対象者Ｍ１は、例えば、小学生、中学生、高校生、専門学校生、塾生、又は予備校生等の「学習者」に該当するが、年齢等は特に限定されず、国家試験を挑む大学生や社会人に該当してよい。また対象となる学問も特に限定されず、対象者Ｍ１が例えば中学生なら、国語、数学、英語、理科、社会、美術、又は音楽等でもよい。対象者Ｍ１は、「学習端末」であるユーザインターフェース装置１を用いてオンライン学習を実行することを想定する。またユーザインターフェース装置１の支援対象は「学問」だけでなく、オフィス業務、又は監視管理業務等の「仕事」でもよい。

本実施形態の「学習端末」は、図２に示す学習端末２以外にも、図３Ａ及び図３Ｂに示す学習端末２Ａ、及び図４Ａ及び図４Ｂに示す学習端末２Ｂも含み得る。以下では、特に断りの無い場合には、主に学習端末２に着目して説明する。

ユーザインターフェース装置１（学習端末２，２Ａ，２Ｂ）は、例えば、タッチパネル式のディスプレイ（画面Ｈ１）を備えるタブレット端末である。ユーザインターフェース装置１は、タブレット端末に限定されず、スマートフォン、ノートパソコン、又は据置型のパソコン等でもよい。学習端末２は、学習材料を画面Ｈ１から提示する。学習材料は、講師による学習指導の様子が撮像された映像情報、及び、演習問題Ｑ１（以下、単に「問題Ｑ１」とよぶ）等に関するテキスト情報等を含んだ教材である。

またユーザインターフェース装置１は、学習者である対象者Ｍ１を監視、管理するために、また教材の難易度の適性を評価するために、要するに、学習の効率性を高めるために、対象者Ｍ１の集中度を、学習中に撮像される映像から推定する機能（推定部３３）を有している。

ここでユーザインターフェース装置１は、図１に示すように、撮像部Ｃ１と、入力部５と、機能部Ｆ１と、制御部３１と、を備える。

撮像部Ｃ１は、対象者Ｍ１を撮像する。入力部５は、（外部からの）入力を受け付ける。ここでは入力部５は、図２に示すように、表示部２０の画面Ｈ１に表示される、入力機能を有したアイコンＧ１（画像領域）を含む。入力部５は、任意の文字の入力を受け付ける記入欄（画面領域）を含んでよい。

機能部Ｆ１は、入力部５への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。ここでは機能部Ｆ１は、表示部２０を含む。第２状態とは、入力を促す所定情報を画面表示する状態である。第１状態とは、所定情報を非表示とする状態である。制御部３１は、撮像部Ｃ１の露光時間Ｔ１に関する調整をする。

所定情報は、例えば、入力部５としての入力機能を有するアイコンＧ１（問題Ｑ１に対する解答となる選択肢）を含む。所定情報は、問題Ｑ１に関する情報を更に含んでよい。つまり、第２状態とは、入力部５への入力が催促されるプロンプトの提示状態である。

ところで、ユーザインターフェース装置１では、撮像部Ｃ１と入力部５（画面領域）を提示する表示部２０とが一体となって設けられている。つまり、ユーザインターフェース装置１の筐体１０が、撮像部Ｃ１と表示部２０とを保持している。対象者Ｍ１（ユーザ）がユーザインターフェース装置１へ解答（入力）を行う際に（ここでは画面Ｈ１へのタップ操作）、操作状況によっては筐体１０の揺れに連動して撮像部Ｃ１自身に揺れが生じ得る。

そこで本実施形態では、制御部３１は、機能部Ｆ１が第１状態の場合に露光時間Ｔ１を第１長さＴ１１で調整し、機能部Ｆ１が第２状態の場合に露光時間Ｔ１を第１長さＴ１１よりも短い第２長さＴ１２で調整する。

この構成によれば、機能部Ｆ１が入力を促している第２状態において、露光時間Ｔ１が、第１長さＴ１１よりも短い第２長さＴ１２で調整される。そのため、対象者Ｍ１（ユーザ）がユーザインターフェース装置１へ入力を行う際に、撮像部Ｃ１自身に揺れが生じても、画像ＩＭ１にブレ（カメラブレ）が発生しにくくなる。結果的に、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を受けにくくする、という利点がある。

特に本実施形態のユーザインターフェース装置１は、対象者Ｍ１の集中度を、学習中に撮像部Ｃ１で撮像される映像から推定するため、上記の露光時間Ｔ１の調整によって、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を集中度の推定結果が受けにくくなる。

なお、本実施形態では、撮像部Ｃ１は、撮像素子のレンズが露出する態様で筐体１０に内蔵されているものとする。しかし、撮像部Ｃ１は、後付けで筐体１０に取り付けられるものであってもよい。

また本実施形態に係る制御方法は、撮像部Ｃ１及び入力部５を備えるユーザインターフェース装置１の制御方法である。制御方法は、機能ステップと、調整ステップと、を含む。機能ステップでは、入力部５への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。調整ステップでは、撮像部Ｃ１の露光時間Ｔ１に関する調整をする。調整ステップでは、機能ステップが第１状態の場合に露光時間Ｔ１を第１長さＴ１１で調整し、機能ステップが第２状態の場合に露光時間Ｔ１を第１長さＴ１１よりも短い第２長さＴ１２で調整する。この構成によれば、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を受けにくくすることが可能な制御方法を提供できる。この制御方法は、コンピュータシステム（ユーザインターフェース装置１）上で用いられる。つまり、この制御方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、この制御方法を、１以上のプロセッサに実行させるためのプログラムである。

（２）詳細
以下、本実施形態に係るユーザインターフェース装置１、及びその周辺構成を含んだ全体のシステム（学習管理システム１００）について、図１を参照しながら詳しく説明する。なお、周辺構成の少なくとも一部が、ユーザインターフェース装置１の構成に含まれてもよい。

（２．１）全体構成
学習管理システム１００は、図１に示すように、１又は複数台のユーザインターフェース装置１である学習端末２（図１では１台のみ図示）と、サーバ２００とを備える。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。また複数台のサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。

学習端末２は、上述の通り、タッチパネル式のディスプレイ（画面Ｈ１）を備えるタブレット端末である。学習端末２は、学習者である対象者Ｍ１（ユーザ）がオンライン学習をするために利用する端末である。図１の例では、施設３００内の管理領域で、対象者Ｍ１が学習端末２を用いて学習する。例えば、施設３００は学習者である対象者Ｍ１の自宅であり、管理領域は対象者Ｍ１の自室であるとする。ただし、施設３００は、対象者Ｍ１の自宅に限定されず、対象者Ｍ１が通う学校又は塾でもよく、その場合、管理領域は教室でもよい。

対象者Ｍ１は、自身の指先、或いはペン型の操作部材（いわゆるタッチペン）を用いて、画面Ｈ１上にタッチ操作（タップ）又はスワイプ操作等を行って「教材」に取り組む。ここでは教材は、講師による学習指導の様子が撮像された指導映像の情報を含む。指導映像は、例えば事前に収録されたものであり、各科目の講師が、所定のカリキュラムに沿って黒板等を使って所定のテーマ（例えば数学であれば、「二次関数」等）に関する学習指導を行っている様子を示す。また教材は、１又は複数の問題Ｑ１に関するテキスト情報やグラフ等の図形情報等を更に含み、問題Ｑ１の内容は、指導映像の内容とセットになっていることが好ましい。例えば、対象者Ｍ１は、二次関数に関する学習指導の指導映像を視聴した後に、二次関数の問題Ｑ１を解くような流れとなるように、学習端末２から教材が提示されることが好ましい。

問題Ｑ１に対する解答が、予め用意された複数の選択肢から１つ又は複数を選択する選択方式であれば、対象者Ｍ１は複数の選択肢から正しいと思う解をタップ操作で選択する。また問題Ｑ１に対する解答が、記入欄へ直接記入する方式であれば、対象者Ｍ１は、自身の指先或いはタッチペンを用いて、画面Ｈ１上に表示されている記入欄の領域に解答を入力する。つまり、ユーザインターフェース装置１は、対象者Ｍ１が問題Ｑ１に対する解答（入力）を受け付ける入力部５を備え、本実施形態では、学習端末２のタッチパネル式のディスプレイ（表示部２０の画面Ｈ１）が、教材の提示（画面表示）の機能だけでなく入力に関する機能を兼ねている。

サーバ２００は、施設３００（対象者Ｍ１の自宅）の外部、例えば１又は複数の対象者Ｍ１の学習状況の管理を行う個人、団体、又は企業等の施設に設置される。施設３００が例えば学校又は塾であれば、サーバ２００は、施設３００の内部に設置されてもよい。

学習端末２は、施設３００内に設置されるルータ等を介して、インターネットを含む外部の広域ネットワークＮＴ１に接続されている。広域ネットワークＮＴ１には、サーバ２００も接続されている。学習端末２には、サーバ２００と通信するための専用のアプリケーションソフトが予めインストールされる。学習端末２とサーバ２００とは、広域ネットワークＮＴ１を介して、双方向に通信可能である。学習端末２及びサーバ２００の各々の詳細な構成については後述する。

（２．２）学習端末（ユーザインターフェース装置）
学習端末２は、図１に示すように、処理部３、機能部Ｆ１、入力部５、及び撮像部Ｃ１を備える。また学習端末２は、サーバ２００等と通信するための通信インタフェース、及び、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む記憶部２１を更に備える。記憶部２１は、処理部３のメモリでもよい。また学習端末２は、マウス、キーボード、及びポインティングデバイス等を更に備えてもよい。

入力部５は、外部（対象者Ｍ１）からの操作入力を受け付ける。ここでは上述の通り、表示部２０から表示されるアイコンＧ１（画像領域）が入力部５に相当する。

機能部Ｆ１は、入力部５への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する（機能ステップ）。ここでは機能部Ｆ１は、表示部２０を含む。表示部２０は、タッチパネル式のディスプレイ（画面Ｈ１）を含み、教材を提示（画面表示）する機能とタッチ操作等の入力操作を受け付ける機能とを兼ね備える。ディスプレイは、例えば液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイである。

第２状態とは、問題Ｑ１に対する解答の入力を促す所定情報を画面表示する状態である。所定情報は、入力部５としての入力機能を有するアイコンＧ１を含む。ここでは所定情報は、「ＹＥＳ」と「ＮＯ」をそれぞれ簡易的に表す「Ｙ」と「Ｎ」の２つの選択肢に対応するアイコンＧ１を含む。１画面に表示されるアイコンＧ１（選択肢）の数は特に限定されない。またここでは所定情報は、問題Ｑ１自体も含むものとする。つまり、表示部２０は、問題Ｑ１とアイコンＧ１を１画面に同時に出力する。しかし、問題Ｑ１とアイコンＧ１は、別々の画面でタイミングをずらして表示させてもよく、例えば、問題Ｑ１を表示する画面から遷移されて次の画面でアイコンＧ１が表示されてもよい。

第１状態とは、所定情報を非表示とする状態である。ここでは、第１状態は、例えば、定理、公式、計算方法、解法等の解説Ｐ１に関する情報を表示している状態、或いは、学習指導の指導映像を表示している状態とする。問題Ｑ１とアイコンＧ１とが別々の画面でタイミングをずらして表示される場合、第１状態は、問題Ｑ１を表示している状態（アイコンＧ１は非表示）でもよい。

以下、機能部Ｆ１が第１状態にある期間を第１状態期間Ｗ１と呼び、第２状態にある期間を第２状態期間Ｗ２と呼ぶことがある（図５参照）。第１状態期間Ｗ１は、対象者Ｍ１にとって、いわばパッシブな状態の期間である。一方、第２状態期間Ｗ２は、対象者Ｍ１にとって、いわばインタラクティブな状態の期間である。

撮像部Ｃ１は、撮像素子を有し、被写体を撮像するためのカメラである。本実施形態では、撮像部Ｃ１として、ＲＧＢカメラを採用する。撮像素子は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサである。また撮像部Ｃ１は、レンズ等の光学系を更に有し、被写体（ここでは対象者Ｍ１）からの光をその光学系によって撮像素子の撮像面（受光面）上に結像させ、撮像素子にて被写体からの光を電気信号に変換することで、画像を撮像する。

撮像部Ｃ１は、図２に示すように、例えば、学習端末２の正面（画面Ｈ１がある面）上における画面Ｈ１の上部における、左右方向の中央に取り付けられている。その結果、対象者Ｍ１が学習端末２を用いて学習を行っている最中には、撮像部Ｃ１の画角内に、対象者Ｍ１の少なくとも顔が入ることになる。撮像部Ｃ１は、対象者Ｍ１が学習中の間、後述する処理部３の制御下で対象者Ｍ１を撮影する。詳細な説明は後述するが、学習端末の種類によっては、撮像部Ｃ１は、画面Ｈ１の上部における、左右方向の右端寄りに配置されていることもあれば（図３Ａ及び図３Ｂ参照）、反対に左端寄りに配置されていることもある（図４Ａ及び図４Ｂ参照）。

処理部３は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部３として機能する。プログラムは、ここでは処理部３のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部３は、提示部３０、制御部３１、画像処理部３２、及び推定部３３（集中度推定部）を有する。つまり、処理部３は、制御部３１としての機能、画像処理部３２としての機能，及び推定部３３としての機能を有する。また処理部３は、サーバ２００との通信に関する制御処理を実行するように構成される。

提示部３０は、対象者Ｍ１が学習で使用する教材を提示するように構成される。提示部３０は、所定の学習プロセスに応じた教材を表示部２０に画面表示させる。処理部３は、サーバ２００から送信される教材のデータを受信して、記憶部２１に記憶（格納）する。教材のデータは、学習プロセスに割り当てられているプロセスＩＤと紐づけされて管理される。処理部３は、教材のデータを全て一括で受信してもよいし、解説Ｐ１や、問題Ｑ１、解答の選択肢（アイコンＧ１）を提示するタイミングでその都度それらに関するデータを受信してもよい。

制御部３１は、撮像部Ｃ１の撮像素子に関する制御を実行する。本実施形態では、制御部３１は、撮像部Ｃ１の露光時間Ｔ１（撮像素子に光を蓄積する期間）に関する調整をするように構成される。また制御部３１は、フレームレートに関する調整をする機能を有する。

また処理部３は、教材の対処を行う対象者Ｍ１を撮像する撮像部Ｃ１から画像データを取得する。制御部３１は、例えば、学習プロセスの開始と共に撮像部Ｃ１を制御して対象者Ｍ１の撮影を開始する。具体的には、学習プロセスは、例えば画面Ｈ１上に表示される「開始」の操作領域（画像領域）を対象者Ｍ１がタップ操作することで開始される。処理部３は、学習プロセスの開始に連動して、対応する教材を提示すると共に、撮像部Ｃ１による対象者Ｍ１の撮影を開始する。対象者Ｍ１の集中度は、画像データに基づき推定される。

学習プロセスは、対象者Ｍ１が教材中の最終の問題Ｑ１に対する解答を行って、例えば画面Ｈ１上に表示される「終了」の操作領域（画像領域）を対象者Ｍ１がタップ操作することで終了する。処理部３は、学習プロセスの終了に連動して、対応する教材の提示を終えると共に、撮像部Ｃ１による対象者Ｍ１の撮影を終了する。

処理部３は、学習プロセスで撮像された画像データを、学習プロセスのプロセスＩＤと紐づけして、記憶部２１に記憶（格納）する。画像データは、動画像データであることを想定する。本開示で言う「画像ＩＭ１」は、例えば、１コマ（フレーム）に相当するデータであり、動画像データは、時系列方向Ｂ１（図１参照）に並ぶ多数の画像ＩＭ１からなる。動画像データは、１コマ（フレーム）と１コマの間隔が比較的長い（コマ送り）ものも含む。画像データは、第１状態期間Ｗ１又は第２状態期間Ｗ２内における、対象者Ｍ１のある瞬間の１コマ、すなわち１枚の静止画像データでもよい。

ここで本実施形態では、制御部３１は、機能部Ｆ１が第１状態の場合に露光時間Ｔ１を第１長さＴ１１で調整する（図２及び図５参照）（調整ステップ）。また制御部３１は、機能部Ｆ１が第２状態の場合に露光時間Ｔ１を第１長さＴ１１よりも短い第２長さＴ１２で調整する（図２及び図５参照）（調整ステップ）。つまり、制御部３１は、解説Ｐ１に関するテキスト情報や図形情報、又は学習指導の指導映像が表示されている第１状態期間Ｗ１において、露光時間Ｔ１を第１長さＴ１１に設定する。一方、制御部３１は、問題Ｑ１とアイコンＧ１が表示されている第２状態期間Ｗ２において、露光時間Ｔ１を第２長さＴ１２に設定する。

図２及び図５は、撮像部Ｃ１の撮像素子を駆動するためのタイミングの基準となる垂直同期信号Ｖ１を示す。制御部３１は、垂直同期信号Ｖ１を生成し、撮像部Ｃ１の駆動回路に垂直同期信号Ｖ１を送信することで、撮像素子は、垂直同期信号Ｖ１に応じた露光時間Ｔ１で撮像を実行する。なお、図５に示す撮像間隔Ａ１は、１コマ（フレーム）分の間隔に相当する。本実施形態では、撮像間隔Ａ１は、第１状態期間Ｗ１と第２状態期間Ｗ２とで一定であり、垂直同期信号Ｖ１がＨｉｇｈレベルの時に撮像素子が露光している。

制御部３１は、現在の機能部Ｆ１の動作状態が、第１状態か第２状態かを監視し、動作状態が第１状態から第２状態へ、或いは第２状態から第１状態へ切り替わると、露光時間Ｔ１を変更する。ここでは制御部３１は、アイコンＧ１の表示が開始されると、露光時間Ｔ１を第２長さＴ１２に設定し、アイコンＧ１の表示が終了すると、露光時間Ｔ１を第１長さＴ１１に設定する。なお、撮像の開始時、制御部３１は、露光時間Ｔ１を第１長さＴ１１に設定する。

第１長さＴ１１は、例えば予め設定された固定長であるとする。第２長さＴ１２は、第１長さＴ１１よりも短いという前提で、状況に応じて変更されることを想定する。第２長さＴ１２は、第１長さＴ１１と同様に、予め設定された固定長でもよい。処理部３は、第１長さＴ１１及び第２長さＴ１２に関する情報を記憶部２１に記憶する。

本実施形態では、制御部３１は、入力部５と撮像部Ｃ１との位置関係に基づき、第２長さＴ１２を決定する。なお、第２長さＴ１２の決定についての詳細な説明は後述する。

画像処理部３２は、撮像部Ｃ１で撮像された画像ＩＭ１に対して、画像処理（拡大、縮小、回転、反転、補間、エッジ処理等の画像処理）を実行するように構成される。画像処理部３２は、画像処理を行ったデータを、推定部３３に出力する。

ここで本実施形態では、画像処理部３２は、第２状態において撮像部Ｃ１で撮影した時系列方向Ｂ１（図１参照）に並ぶ複数の画像ＩＭ１について位置合わせを行い、複数の画像ＩＭ１同士を合成するように構成される（合成処理）。図１の例では、画像処理部３２は、第２状態期間Ｗ２中に撮像された複数（図１では例示的に３枚）の画像ＩＭ１を用いて合成画像ＩＭ２を生成する。具体的には、画像処理部３２は、複数の画像ＩＭ１からそれぞれ顔、手指等を含む画像領域を抽出し、画像領域同士の画素位置を合わせ、画素の画素値（輝度値）を平均した合成画像ＩＭ２を生成する。画像処理部３２は、第２状態期間Ｗ２については、合成処理をした結果物である合成画像ＩＭ２を、推定部３３に出力する。なお、画像処理部３２は、第１状態期間Ｗ１に撮像された画像ＩＭ１については、上記の合成処理を施さずに推定部３３に出力してよい。

つまり、露光時間Ｔ１が第１状態期間Ｗ１よりも短い第２状態期間Ｗ２内に撮像された画像ＩＭ１は、Ｓ／Ｎ比が劣化している可能性があり、後続処理（集中度の推定処理）での信頼性も落ち得る。合成処理を行うことで、露光時間Ｔ１が短くなることに起因するＳ／Ｎ比の劣化による影響を抑えることができる。

推定部３３は、撮像部Ｃ１で撮影した画像データ（画像ＩＭ１）に基づき、画像ＩＭ１に含まれる対象者Ｍ１の状態を推定するように構成される。ここでは推定部３３は、画像処理部３２から出力される、画像処理が施された画像データ（合成画像ＩＭ２を含む）を用いて、教材の対処を行う対象者Ｍ１の集中度を推定（測定）する。

推定部３３は、例えば、画像データに対する画像解析を行い、対象者Ｍ１の顔、手指等の位置、及び大きさ等を検出する。そして、推定部３３は、対象者Ｍ１の顔、手指等に関する検知結果を基に、対象者Ｍ１の表情（瞬きや視線移動も含む）、顔の向き、姿勢、動作（手指等のジェスチャ）に関する生体情報を抽出し、対象者Ｍ１の集中度を推定する。対象者Ｍ１の生体情報は、ある瞬間の表情、顔の向き、姿勢、及び動作だけでなく、時間経過に伴う表情、顔の向き、及び動作の変化に関する情報を含み得る。「ある瞬間」とは、例えば問題Ｑ１が画面Ｈ１に提示された瞬間等である。学習端末２がマイクロホンを備える場合、マイクロホンを介して入力される対象者Ｍ１の音声データも、生体情報の１つとして、集中度の推定に用いてよい。

集中度は、例えば百分率（パーセント）で示される。集中度が１００％に近いほど、対象者Ｍ１は、集中して教材の取り組みを行っているといえる。推定部３３は、表情、顔の向き、姿勢、及び動作の、単位時間当たりの変化量が大きいほど、集中度が下がるような所定の演算式を用いて集中度を算出してもよい。推定部３３は、各解説Ｐ１の単位、及び各問題Ｑ１の単位で集中度を算出してもよい。解説Ｐ１及び問題Ｑ１にはそれぞれＩＤが割り当てられていて、推定部３３は、集中度と、対応する解説Ｐ１又は問題Ｑ１のＩＤとを紐づけしてもよい。推定部３３は、学習プロセスの実施期間中における集中度の推移を測定して、その平均値（又は最大値でも最小値でもよい）を算出してもよい。

推定部３３は、画像データを入力データとして、機械学習が完了した学習済みモデル（識別器）を用いて、集中度を推定してもよい。すなわち、識別器は、画像データ内における対象者Ｍ１の表情、顔の向き、姿勢、動作に関する特徴量を基に、集中度を識別結果として出力する。

処理部３は、推定部３３の推定結果（集中度データ）を、プロセスＩＤ、解説Ｐ１のＩＤ、問題Ｑ１のＩＤ、及び学習端末２の端末ＩＤ（対象者Ｍ１に割り当てられたユーザＩＤでもよい）と対応付けして、サーバ２００に送信する。

推定部３３の推定結果（集中度データ）のサーバ２００への送信タイミングは、特に限定されない。学習プロセスが終了したタイミングで送信されてもよいし、或いは１つの解説Ｐ１、又は問題Ｑ１が終了したタイミングで都度送信されてもよいし、定期的に送信されてもよいし、推定部３３の推定結果（集中度データ）が一定値を下回った場合に送信されてもよい。

（２．３）サーバ
サーバ２００は、図１に示すように、処理部４、及び格納部４３を備える。またサーバ２００は、１又は複数の学習端末２等と通信するための通信インタフェースを更に備える。

格納部４３は、ＥＥＰＲＯＭのような書き換え可能な不揮発性メモリを含む。格納部４３は、処理部４のメモリでもよい。格納部４３は、種々の科目に対応する大量の解説Ｐ１、問題Ｑ１、解答の選択肢、及び答え（正答）に関するデータを管理する問題データベースを格納する。問題データベースは、新しい解説Ｐ１や問題Ｑ１が作成されると、更新され得る。

処理部４は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部４として機能する。プログラムは、ここでは処理部４のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部４は、各学習端末２との通信に関する制御処理を実行するように構成される。処理部４は、格納部４３内の問題データベースから、対象者Ｍ１に最適な問題を抽出して、教材のデータを生成し、対応する学習端末２に送信する。

本実施形態では、処理部４は、取得処理、生成処理、正誤判定処理を実行する機能を有しており、図１に示すように、取得部４０、生成部４１、及び正誤判定部４２を有する。

取得部４０は、学習端末２との通信により、学習端末２から、学習プロセスに関するデータ（解答データ）を取得するように構成される。解答データは、学習端末２の端末ＩＤ（ユーザＩＤでもよい）、プロセスＩＤ、解説Ｐ１のＩＤ、問題Ｑ１のＩＤ、対象者Ｍ１の解答、及び集中度等に関するデータを含む。

生成部４１は、集中度に基づいて、例えば次に実施する学習プロセスに関する情報を生成する。具体的には、生成部４１は、推定された集中度と、後述する解答の正誤とに基づいて、次の学習プロセスで使用する教材の情報を生成する。つまり、生成部４１は、直近の学習プロセスで得られた解答データに基づいて、その学習プロセスで使用された教材の難易度がその対象者Ｍ１にとって適正だったか否かを判断する。サーバ２００は、対象者Ｍ１にとって難易度のより適正な教材を選択し、その教材の情報を学習端末２に送信して、次の学習プロセスの実施時に画面Ｈ１に提示させる。

正誤判定部４２は、取得した解答の正誤に関する判定を行うように構成される。正誤判定部４２は、着目する問題Ｑ１のＩＤを基に、格納部４３に格納される問題データベースを検索して、そのＩＤに対応付けされている基準解答を抽出する。正誤判定部４２は、抽出した基準解答と、対象者Ｍ１が入力した解答と比較して、「正答」か「誤答」かを判定する。例えば集中度が高く、誤答の割合が多ければ、生成部４１は、その教材の難易度が対象者Ｍ１にとって高すぎたと判断し、前回の教材よりも難易度の易しい教材を選択する。一方、例えば集中度が低く、正答の割合が多ければ、生成部４１は、その教材の難易度が対象者Ｍ１にとって易しすぎたと判断し、前回の教材よりも難易度の高い教材を選択する。

推定された集中度は、教材を選択する処理に用いることに限定されない。例えば、サーバ２００は、集中度と解答の正誤とに基づいて、教材に対する対象者Ｍ１の取り組みに関する通知情報を作成して、その通知情報を、学習端末２、又は対象者Ｍ１の親や教師等が携帯する情報端末に送信してもよい。またサーバ２００は、推定された集中度に基づいて、例えば施設３００に設置される空調機器等の機器を制御して集中度の増加を促進させてもよい。

［利点］
ここで本実施形態におけるユーザインターフェース装置１の利点について、図２、図５及び図６を参照しながら説明する。

図６は、比較例のユーザインターフェース装置１Ｘ（学習端末２Ｘ）を使用してオンライン学習を行っている対象者Ｍ１の様子を示す。比較例の学習端末２Ｘは、学習端末２と違って、第１状態にある第１状態期間Ｗ１と第２状態にある第２状態期間Ｗ２とで露光時間Ｔ１を変更する調整機能を有さない。そのため、学習端末２Ｘでは、問題に対する解答を行うために対象者Ｍ１が画面にタップ操作等をすると、学習端末２Ｘの筐体が揺れて撮像部自体も揺れて、その瞬間に撮像部で撮像された画像ＩＭ１は、図６に示すようにブレが発生し得る。ブレが生じた状態の画像ＩＭ１に基づき対象者Ｍ１の集中度を評価すると、適切な評価が行われない可能性がある。つまり、学習端末２Ｘの集中度推定部は、例えば対象者Ｍ１自身が学習中に集中が途切れて顔を動かしたと誤認し、結果的に対象者Ｍ１の集中度を低く評価する可能性がある。或いは、顔の表情が識別できないほどの大きなブレが発生する可能性もあり、その場合には、集中度の評価不能となる可能性がある。

これに対して本実施形態のユーザインターフェース装置１（学習端末２）では、第２状態期間Ｗ２において、露光時間Ｔ１が、第１状態期間Ｗ１における第１長さＴ１１よりも短い第２長さＴ１２で調整される（図２及び図５参照）。そのため、対象者Ｍ１（ユーザ）がユーザインターフェース装置１へ入力を行う際に、撮像部Ｃ１自身に揺れが生じても、画像ＩＭ１にブレが発生しにくくなる。結果的に、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を受けにくくする、という利点がある。

特に本実施形態のユーザインターフェース装置１は、対象者Ｍ１の集中度を、学習中に撮像部Ｃ１で撮像される映像から推定するため、上記の露光時間Ｔ１の調整によって、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を集中度の推定結果が受けにくくなる。

（２．４）露光時間の長さ決定
以下、ユーザインターフェース装置１（学習端末２，２Ａ，２Ｂ）における制御部３１が行う第２長さＴ１２の決定に関する処理について、使用例１及び使用例２に沿って説明する。本実施形態では、上述の通り、制御部３１は、入力部５と撮像部Ｃ１との位置関係に基づき、第２長さＴ１２を決定する。

また本実施形態では、制御部３１は、入力部５と撮像部Ｃ１の距離Ｌ１に基づき、第２長さＴ１２を決定する。なお、アイコンＧ１が入力部５としての機能を有するため、ここでは、制御部３１は、アイコンＧ１の表示位置と撮像部Ｃ１との位置関係に基づき、第２長さＴ１２を決定する。以下、図３Ａ～図４Ｂを参照して説明する。図３Ａ～図４Ｂでは一例として、２つのアイコンＧ１の画像領域全体での重心位置Ｘ１（画素位置）を、入力部５の位置としている。制御部３１は、重心位置Ｘ１を画面Ｈ１の画素のＸ－Ｙ座標で特定する。記憶部２１は、問題Ｑ１ごとのアイコンＧ１の重心位置Ｘ１と距離Ｌ１との対応関係を表すデータを予め記憶してよい。制御部３１は、対応関係のデータを参照して、表示されるアイコンＧ１の重心位置Ｘ１から、距離Ｌ１を特定する。

［使用例１］
図３Ａ及び図３Ｂの学習端末２Ａは、学習端末２と同様に、筐体１０を横長にした態様で使用されているタブレット端末を示す一方で、撮像部Ｃ１の位置が、学習端末２と相違する。図３Ａ及び図３Ｂの学習端末２Ａでは、撮像部Ｃ１が画面Ｈ１の上部における、左右方向の右端寄りに配置されている。

学習端末２，２Ａのようにユーザインターフェース装置１が、筐体１０を横長にした態様で使用されているタブレット端末では、対象者Ｍ１が例えば右利きであれば、左手で学習端末２を保持する位置（保持位置）が左下辺りとなり得る。対象者Ｍ１が右手で入力部５（ここではアイコンＧ１）をタップ操作すると、アイコンＧ１及び撮像部Ｃ１の距離Ｌ１の違いにより、撮像部Ｃ１の揺れ度合いが変わり得る。

図３Ａに示すように、２つのアイコンＧ１及び撮像部Ｃ１がいずれも右上に位置する場合、距離Ｌ１は比較的小さい。ここで対象者Ｍ１が右手で右上のいずれかのアイコンＧ１をタップ操作すると、保持位置を支点に、学習端末２の筐体１０が比較的大きく揺れ動く可能性がある。結果的に、右上に位置する撮像部Ｃ１も比較的大きく揺れ動く可能性がある。

図３Ｂに示すように、２つのアイコンＧ１が画面Ｈ１の左下に表示され、撮像部Ｃ１は右上に位置する場合、距離Ｌ１は比較的大きい。ここで対象者Ｍ１が右手で左下のいずれかのアイコンＧ１をタップ操作すると、保持位置を支点に、学習端末２の筐体１０が揺れ動くものの、図３Ａの場合に比べると揺れは十分に小さい可能性がある。結果的に、図３Ａの場合に比べると、撮像部Ｃ１は小さく揺れ動く可能性がある。

要するに、ユーザインターフェース装置１では、画面Ｈ１上での入力部５（ここではアイコンＧ１）の表示位置が、問題Ｑ１の種類等に応じて、変わることがある。その結果、教材の提示状況に応じて、アイコンＧ１及び撮像部Ｃ１の距離Ｌ１が変化することがある。

そこで、制御部３１は、入力部５と撮像部Ｃ１の距離Ｌ１が短いほど、第２長さＴ１２が短くなるように調整するように構成される（以下、この調整に関する処理を「第１調整処理」と呼ぶ）。逆に言えば、制御部３１は、入力部５と撮像部Ｃ１の距離Ｌ１が長いほど、第２長さＴ１２が長くなるように調整するように構成される。第２長さＴ１２は、距離Ｌ１を所定の演算式に代入して算出されてもよいし、記憶部２１が、距離Ｌ１と第２長さＴ１２との対応関係を表すデータ（例えばデータテーブル）を予め記憶してよい。

制御部３１が第１調整処理を行うことで、図３ＡのようにアイコンＧ１が撮像部Ｃ１に近い位置に表示された場合には、撮像部Ｃ１の比較的大きな揺れに備えて露光時間Ｔ１がより短くなる。一方、図３ＢのようにアイコンＧ１が撮像部Ｃ１から遠い位置に表示された場合には、撮像部Ｃ１の大きな揺れは起き難いことから、露光時間Ｔ１がより長くなる（ただし、第１長さＴ１１以上には調整されない）。したがって、ユーザインターフェース装置１を支える支点（保持位置）が、撮像部Ｃ１から離れている場合には、上記の調整によって、より画像ＩＭ１にブレが発生しにくくなる。

なお、ユーザインターフェース装置１が、人による保持ではなく、机等の什器の上に、起立した状態で載せ置くための固定台（スタンド）に保持された態様で使用される場合もある。この場合、保持位置は、例えば、筐体１０の下部になり、第１調整処理が実行されることが好ましい。

［使用例２］
図４Ａ及び図４Ｂの学習端末２Ｂは、学習端末２，２Ａと異なり、筐体１０を縦長にした態様で使用されているスマートフォンを示す。また学習端末２Ｂは、撮像部Ｃ１が画面Ｈ１の上部における、左右方向の左端寄りに配置されている。

学習端末２Ｂのようにユーザインターフェース装置１が、筐体１０を縦長にした態様で使用されているスマートフォンでは、対象者Ｍ１が例えば右利きであれば、左手で学習端末２を保持する位置（保持位置）が左中央又は左上辺りとなり得る。対象者Ｍ１が右手で入力部５（ここではアイコンＧ１）をタップ操作すると、アイコンＧ１及び撮像部Ｃ１の距離Ｌ１の違いにより、撮像部Ｃ１の揺れ度合いが変わり得る。

図４Ａに示すように、２つのアイコンＧ１が画面Ｈ１の左下に表示され、撮像部Ｃ１は左上に位置する場合、距離Ｌ１は比較的大きい。ここで対象者Ｍ１が右手で左下のいずれかのアイコンＧ１をタップ操作すると、保持位置を支点に、学習端末２の筐体１０が比較的大きく揺れ動く可能性がある。結果的に、左上に位置する撮像部Ｃ１も比較的大きく揺れ動く可能性がある。

図４Ｂに示すように、２つのアイコンＧ１が画面Ｈ１の右上に表示され、撮像部Ｃ１は左上に位置する場合、距離Ｌ１は比較的小さい。ここで対象者Ｍ１が右手で右上のいずれかのアイコンＧ１をタップ操作すると、保持位置を支点に、学習端末２の筐体１０が揺れ動くものの、図４Ａの場合に比べると揺れは十分に小さい可能性がある。結果的に、図４Ａの場合に比べると、撮像部Ｃ１は小さく揺れ動く可能性がある。

そこで、ユーザインターフェース装置１が、例えばスマートフォン（学習端末２Ｂ）のような場合には、制御部３１は、入力部５と撮像部Ｃ１の距離Ｌ１が長いほど、第２長さＴ１２が短くなるように調整してもよい（以下、この調整に関する処理を「第２調整処理」と呼ぶ）。逆に言えば、制御部３１は、入力部５と撮像部Ｃ１の距離Ｌ１が短いほど、第２長さＴ１２が長くなるように調整してもよい。第２長さＴ１２は、距離Ｌ１を所定の演算式に代入して算出されてもよいし、記憶部２１が、距離Ｌ１と第２長さＴ１２との対応関係を表すデータテーブルを予め記憶してよい。

制御部３１が第２調整処理を行うことで、図４ＡのようにアイコンＧ１が撮像部Ｃ１に遠い位置に表示された場合には、撮像部Ｃ１の比較的大きな揺れに備えて、露光時間Ｔ１がより短くなる（ただし、第１長さＴ１１以上には調整されない）。一方、図４ＢのようにアイコンＧ１が撮像部Ｃ１から近い位置に表示された場合には、撮像部Ｃ１の大きな揺れは起き難いことから、露光時間Ｔ１がより長くなる。したがって、ユーザインターフェース装置１を支える支点（保持位置）が、撮像部Ｃ１から近い場合には、上記の調整によって、より画像ＩＭ１にブレが発生しにくくなる。

［保持位置の判定］
上記の使用例１及び使用例２では、学習端末２，２Ａ，２Ｂの種類によって、第１調整処理又は第２調整処理のいずれか一方の機能が実装されることを想定した。すなわち、第１調整処理の機能は、タブレット端末（学習端末２，２Ａ）向けに実装され、第２調整処理の機能は、スマートフォン（学習端末２Ｂ）向けに実装されることを想定した。

しかし、例えば、保持位置を自動的に判定する機能を有していれば、第１調整処理及び第２調整処理の機能の両方が、１つの学習端末に実装されてもよい。例えば学習端末２は、ジャイロセンサを備え、ジャイロセンサにより検出される検出結果（筐体１０の角度変化）から保持位置を推定してもよい。学習端末２は、この推定結果に基づき、第１調整処理及び第２調整処理のいずれを実行するかを決定する。所定時間以上角度変化がなければ、学習端末２が固定台に設置されたと推定して、第１調整処理が実行されてもよい。

また学習端末２は、ジャイロセンサにより検出される検出結果から、保持位置だけではなく、筐体１０の向き（横長に向けた使用形態か縦長に向けた使用形態か）を推定してもよい。保持位置は、ジャイロセンサ以外にも感圧センサ等により判定されてもよい。

（２．５）動作
以下、ユーザインターフェース装置１に関する動作について図７を参照しながら説明する。以下の動作例における動作の順序は単なる一例であり、特に限定されない。

対象者Ｍ１は、ユーザインターフェース装置１を用いてオンライン学習を開始する（学習プロセスの開始：Ｓ１）。学習プロセスの開始に応じて、ユーザインターフェース装置１は、撮像部Ｃ１にて対象者Ｍ１の撮像を開始する（Ｓ２）。なお、撮像の開始時は、撮像部Ｃ１は、露光時間Ｔ１を第１長さＴ１１で撮像する。

ユーザインターフェース装置１は、撮像中、現在の機能部Ｆ１の動作状態が、第１状態か第２状態かを監視しつつ（Ｓ３）、画像データに基づき対象者Ｍ１の集中度の推定を実行する（Ｓ４）。ユーザインターフェース装置１は、集中度の推定結果のデータを所定の間隔でサーバ２００に送信する。

ユーザインターフェース装置１は、機能部Ｆ１が入力を促す第２状態、すなわちアイコンＧ１を表示中であれば（Ｓ５：Ｙｅｓ）、露光時間Ｔ１を第２長さＴ１２とする（Ｓ６）。ユーザインターフェース装置１は、機能部Ｆ１が入力を促していない第１状態、すなわち解説Ｐ１又は指導映像を表示中であれば（Ｓ５：Ｎｏ）、露光時間Ｔ１を第１長さＴ１１とする（Ｓ７）。

ユーザインターフェース装置１は、学習プロセスが終了すると（Ｓ８：Ｙｅｓ）、撮像を終える（Ｓ９）。ユーザインターフェース装置１は、学習プロセスが継続中である限り（Ｓ８：Ｎｏ）、撮像と機能部Ｆ１の動作状態の監視と集中度の推定を継続する（Ｓ３へ）。

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係るユーザインターフェース装置１と同様の機能は、制御方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

本開示におけるユーザインターフェース装置１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるユーザインターフェース装置１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、ユーザインターフェース装置１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、ユーザインターフェース装置１の構成要素は、複数のハウジングに分散して設けられていてもよい。

反対に、ユーザインターフェース装置１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、ユーザインターフェース装置１の少なくとも一部の機能、例えば、ユーザインターフェース装置１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

（３．１）第１変形例
以下、第１変形例のユーザインターフェース装置１について、基本例の幾つかの図面と図８とを参照しながら説明する。以下では、基本例のユーザインターフェース装置１と実質的に共通する構成要素については同一の参照符号を付して適宜にその説明を省略することがある。図８は、制御部３１から、撮像部Ｃ１の駆動回路に送信される垂直同期信号Ｖ１を示す。

本変形例に係るユーザインターフェース装置１は、撮像部Ｃ１と、入力を受け付ける入力部５と、機能部Ｆ１と、推定部３３と、を備える（図１参照）。機能部Ｆ１は、入力部５への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。推定部３３は、撮像部Ｃ１で撮影した画像ＩＭ１に基づき、画像ＩＭ１に含まれる対象者Ｍ１の状態を推定する。

本変形例に係るユーザインターフェース装置１は、制御部３１を更に備えるが、基本例とは違って、制御部３１は、機能部Ｆ１が第１状態でも第２状態でも、露光時間Ｔ１を第１長さＴ１１で固定している（図８参照）。つまり、第１状態期間Ｗ１の露光時間は、第２状態期間Ｗ２の露光時間と同じである。なお、本変形例でも、撮像間隔Ａ１は、第１状態期間Ｗ１と第２状態期間Ｗ２とで一定である。

また本変形例に係る推定部３３は、特定の条件を満たす場合、機能部Ｆ１が第２状態の場合に撮像部Ｃ１が撮像した特定の画像ＩＭ１を除外して、対象者Ｍ１の状態を推定する点で、基本例の推定部３３と相違する。つまり、推定部３３は、特定の条件を満たせば第２状態期間Ｗ２に撮像された特定の画像ＩＭ１（映像）を使用せずに、第１状態期間Ｗ１に撮像された画像ＩＭ１（映像）を使用して集中度の推定を行う。推定部３３は、撮影中にリアルタイムで集中度の推定処理を実行する場合、第２状態期間Ｗ２において特定の条件を満たせば、例えば、推定処理を一時的に停止してもよい。

ここでは「特定の条件」は、特定の画像ＩＭ１の撮像時点における入力部５と撮像部Ｃ１との位置関係に関する条件である。本変形例でも一例として、基本例と同様に、所定情報は、入力部５としての入力機能を有するアイコンＧ１を含む。そのため、特定の条件は、特定の画像ＩＭ１の撮像時点におけるアイコンＧ１と撮像部Ｃ１との位置関係に関する条件である。

基本例で説明した「使用例１」の場合、特定の条件は、特定の画像ＩＭ１の撮像時点において入力部５と撮像部Ｃ１の距離Ｌ１が所定の距離より短いことでもよい（図３Ａ参照）。この場合、例えば、ユーザインターフェース装置１を支える支点（保持位置）が、撮像部Ｃ１に離れている場合に、より推定部３３の推定結果の信頼性が低下することを抑制できる。なお、入力部５と撮像部Ｃ１の距離Ｌ１が所定の距離以上であれば（例えば図３Ｂ参照）、推定部３３は、第２状態期間Ｗ２において撮像された画像ＩＭ１（映像）であっても、それを使用して集中度の推定を行う。

また基本例で説明した「使用例２」の場合、特定の条件は、特定の画像ＩＭ１の撮像時点において入力部５と撮像部Ｃ１の距離Ｌ１が所定の距離より長いことでもよい（図４Ａ参照）。この場合、例えば、ユーザインターフェース装置１を支える支点（保持位置）が、撮像部Ｃ１に近い場合に、より推定部３３の推定結果の信頼性が低下することを抑制できる。なお、入力部５と撮像部Ｃ１の距離Ｌ１が所定の距離以下であれば（例えば図４Ｂ参照）、推定部３３は、第２状態期間Ｗ２において撮像された画像ＩＭ１（映像）であっても、それを使用して集中度の推定を行う。

本変形例の構成によれば、（特定の条件を満たせば）機能部Ｆ１が入力を促している第２状態に撮像された特定の画像ＩＭ１を除外して、対象者Ｍ１の状態が推定される。そのため、ユーザがユーザインターフェース装置１へ入力を行う際に、撮像部Ｃ１自身に揺れが生じて特定の画像ＩＭ１にカメラブレが発生しても、その特定の画像ＩＭ１が原因となって推定部３３の推定結果の信頼性が低下することを抑制できる。結果的に、入力時に生じ得る撮像部Ｃ１の揺れに起因する影響を受けにくくする。

なお、所定の距離は、ゼロ又はゼロに近い距離でもよい。この場合、実質的に距離Ｌ１に関わらず、推定部３３は、第２状態期間Ｗ２に撮像された特定の画像ＩＭ１を使用せずに、第１状態期間Ｗ１に撮像された画像ＩＭ１のみを使用して集中度の推定を行うことになる。

（３．２）その他の変形例
以下、その他の変形例について列記する。

基本例では、機能部Ｆ１は、表示部２０を含み、第２状態とは、入力を促す所定情報を画面表示する状態であり、第１状態とは、所定情報を非表示とする状態である。機能部Ｆ１は、表示部２０の代わりに（又は加えて）、音声出力部（例えばスピーカ）、光出力部（例えばＬＥＤ）、及び振動出力部（バイブレーション機能）の少なくとも１つを含んでよい。ただし、入力を促す所定情報が画面表示される方が、対象者Ｍ１（ユーザ）は第１状態と第２状態とを認識しやすくなる。

なお、機能部Ｆ１が音声出力部を含む場合、第２状態とは、例えば、入力を促す合成音声データを出力する状態であり、第１状態とは、当該合成音声データを非出力とする状態である。機能部Ｆ１が光出力部を含む場合、第２状態とは、例えば、入力を促す点灯状態であり、第１状態とは、消灯状態である。機能部Ｆ１が振動出力部を含む場合、第２状態とは、例えば、入力を促す振動を出力する状態（筐体１０を振動させる状態）であり、第１状態とは、当該振動を非出力とする状態である。

基本例では、撮像間隔Ａ１は、第１状態期間Ｗ１と第２状態期間Ｗ２とで一定である。制御部３１は、機能部Ｆ１が第２状態の場合に、撮像部Ｃ１における撮像間隔Ａ１を短く調整してもよい。つまり、制御部３１は、第２状態期間Ｗ２におけるフレームレートを、第１状態期間Ｗ１におけるフレームレートより上げてもよい。制御部３１は、第２状態期間Ｗ２においてフレームレートを上げた垂直同期信号Ｖ１を、撮像部Ｃ１の駆動回路に送信する。このように機能部Ｆ１が第２状態の場合にフレームレートを上げることで、露光時間Ｔ１が短くなることに起因するＳ／Ｎ比の劣化による影響を抑えることができる。

基本例では、撮像部Ｃ１の数は１つである。しかし、ユーザインターフェース装置１は、撮像部Ｃ１を複数備えてもよい。例えば複数の撮像部Ｃ１は、基本例のようにレンズを露出した態様で筐体１０に内蔵された撮像部Ｃ１と、後付けで筐体１０の周辺に取り付けられる撮像部Ｃ１とを含んでよい。

撮像部Ｃ１の数が複数の場合、ユーザインターフェース装置１は、必ずしも、全ての撮像部Ｃ１に対して、第２状態において常時、露光時間Ｔ１を第２長さＴ１２に調整する必要はない。例えば、対象者Ｍ１が学習中に移動して、画像処理部３２が、複数の撮像部Ｃ１のうち、ある撮像部Ｃ１で撮像された画像データ内に対象者Ｍ１の顔が存在しなくなれば、制御部３１は、当該撮像部Ｃ１について、露光時間Ｔ１を第１長さＴ１１に設定してもよい。

基本例では、入力部５は、画面Ｈ１に画面表示される、入力機能を有したアイコンＧ１（画面領域）であった。しかし、入力部５は、そのような画面領域の代わりに（又は加えて）、画面Ｈ１の近傍における筐体１０の外周縁等に配置される操作ボタン等のメカニカルな操作部位を含んでもよい。

（４）まとめ
以上説明したように、第１の態様に係るユーザインターフェース装置（１）は、撮像部（Ｃ１）と、入力を受け付ける入力部（５）と、機能部（Ｆ１）と、制御部（３１）と、を備える。機能部（Ｆ１）は、入力部（５）への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。制御部（３１）は、撮像部（Ｃ１）の露光時間（Ｔ１）に関する調整をする。制御部（３１）は、機能部（Ｆ１）が第１状態の場合に露光時間（Ｔ１）を第１長さ（Ｔ１１）で調整し、機能部（Ｆ１）が第２状態の場合に露光時間（Ｔ１）を第１長さ（Ｔ１１）よりも短い第２長さ（Ｔ１２）で調整する。

この態様によれば、機能部（Ｆ１）が入力を促している第２状態において、露光時間（Ｔ１）が、第１長さ（Ｔ１１）よりも短い第２長さ（Ｔ１２）で調整される。そのため、ユーザがユーザインターフェース装置（１）へ入力を行う際に、撮像部（Ｃ１）自身に揺れが生じても、画像（ＩＭ１）にブレが発生しにくくなる。結果的に、入力時に生じ得る撮像部（Ｃ１）の揺れに起因する影響を受けにくくする。

第２の態様に係るユーザインターフェース装置（１）に関して、第１の態様において、制御部（３１）は、入力部（５）と撮像部（Ｃ１）との位置関係に基づき、第２長さ（Ｔ１２）を決定する。

この態様によれば、より画像（ＩＭ１）にブレが発生しにくくなる。

第３の態様に係るユーザインターフェース装置（１）に関して、第１又は第２の態様において、制御部（３１）は、入力部（５）と撮像部（Ｃ１）の距離（Ｌ１）が短いほど、第２長さ（Ｔ１２）が短くなるように調整する。

この態様によれば、例えば、ユーザインターフェース装置（１）を支える支点が、撮像部（Ｃ１）から離れている場合に、より画像（ＩＭ１）にブレが発生しにくくなる。

第４の態様に係るユーザインターフェース装置（１）に関して、第１又は第２の態様において、制御部（３１）は、入力部（５）と撮像部（Ｃ１）の距離（Ｌ１）が長いほど、第２長さ（Ｔ１２）が短くなるように調整する。

この態様によれば、例えば、ユーザインターフェース装置（１）を支える支点が、撮像部（Ｃ１）に近い場合に、より画像（ＩＭ１）にブレが発生しにくくなる。

第５の態様に係るユーザインターフェース装置（１）に関して、第１～第４の態様のいずれか１つにおいて、さらに制御部（３１）は、機能部（Ｆ１）が第２状態の場合に、撮像部（Ｃ１）における撮像間隔（Ａ１）を短く調整する。

この態様によれば、機能部（Ｆ１）が第２状態の場合に、撮像間隔（Ａ１）を短く、つまりフレームレートを上げることで、露光時間（Ｔ１）が短くなることに起因するＳ／Ｎ比の劣化による影響を抑えることができる。

第６の態様に係るユーザインターフェース装置（１）は、第１～第５の態様のいずれか１つにおいて、第２状態において撮像部（Ｃ１）で撮影した時系列方向（Ｂ１）に並ぶ複数の画像（ＩＭ１）について位置合わせを行い、複数の画像（ＩＭ１）同士を合成する画像処理部（３２）を更に備える。

この態様によれば、露光時間（Ｔ１）が短くなることに起因するＳ／Ｎ比の劣化による影響を抑えることができる。

第７の態様に係るユーザインターフェース装置（１）に関して、第１～第６の態様のいずれか１つにおいて、機能部（Ｆ１）は、表示部（２０）を含む。第２状態とは、入力を促す所定情報を画面表示する状態である。第１状態とは、所定情報を非表示とする状態である。

この態様によれば、入力を促す所定情報が画面表示されるため、ユーザは第１状態と第２状態とを認識しやすくなる。

第８の態様に係るユーザインターフェース装置（１）に関して、第７の態様において、所定情報は、入力部（５）としての入力機能を有するアイコン（Ｇ１）を含む。制御部（３１）は、アイコン（Ｇ１）の表示位置と撮像部（Ｃ１）との位置関係に基づき、第２長さ（Ｔ１２）を決定する。

この態様によれば、より画像（ＩＭ１）にブレが発生しにくくなる。

第９の態様に係るユーザインターフェース装置（１）は、撮像部（Ｃ１）と、入力を受け付ける入力部（５）と、機能部（Ｆ１）と、推定部（３３）と、を備える。機能部（Ｆ１）は、入力部（５）への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。推定部（３３）は、撮像部（Ｃ１）で撮影した画像（ＩＭ１）に基づき、画像（ＩＭ１）に含まれる対象者（Ｍ１）の状態を推定する。推定部（３３）は、特定の条件を満たす場合、機能部（Ｆ１）が第２状態の場合に撮像部（Ｃ１）が撮像した特定の画像（ＩＭ１）を除外して、対象者（Ｍ１）の状態を推定する。

この態様によれば、機能部（Ｆ１）が入力を促している第２状態に撮像された特定の画像（ＩＭ１）を除外して、対象者（Ｍ１）の状態が推定される。そのため、ユーザがユーザインターフェース装置（１）へ入力を行う際に、撮像部（Ｃ１）自身に揺れが生じて特定の画像（ＩＭ１）にブレが発生しても、その特定の画像（ＩＭ１）が原因となって推定部（３３）の推定結果の信頼性が低下することを抑制できる。結果的に、入力時に生じ得る撮像部（Ｃ１）の揺れに起因する影響を受けにくくする。

第１０の態様に係るユーザインターフェース装置（１）に関して、第９の態様において、特定の条件は、特定の画像（ＩＭ１）の撮像時点における入力部（５）と撮像部（Ｃ１）との位置関係に関する条件である。

この態様によれば、より推定部（３３）の推定結果の信頼性が低下することを抑制できる。

第１１の態様に係るユーザインターフェース装置（１）に関して、第９又は第１０の態様において、特定の条件は、特定の画像（ＩＭ１）の撮像時点において入力部（５）と撮像部（Ｃ１）の距離（Ｌ１）が所定の距離より短いことである。

この態様によれば、例えば、ユーザインターフェース装置（１）を支える支点が、撮像部（Ｃ１）から離れている場合に、より推定部（３３）の推定結果の信頼性が低下することを抑制できる。

第１２の態様に係るユーザインターフェース装置（１）に関して、第９又は第１０の態様において、特定の条件は、特定の画像（ＩＭ１）の撮像時点において入力部（５）と撮像部（Ｃ１）の距離（Ｌ１）が所定の距離より長いことである。

この態様によれば、例えば、ユーザインターフェース装置（１）を支える支点が、撮像部（Ｃ１）に近い場合に、より推定部（３３）の推定結果の信頼性が低下することを抑制できる。

第１３の態様に係るユーザインターフェース装置（１）に関して、第９～第１２の態様のいずれか１つにおいて、機能部（Ｆ１）は、表示部を含む。第２状態とは、入力を促す所定情報を画面表示する状態である。第１状態とは、所定情報を非表示とする状態である。

この態様によれば、入力を促す所定情報が画面表示されるため、ユーザは第１状態と第２状態とを認識しやすくなる。

第１４の態様に係るユーザインターフェース装置（１）に関して、第１３の態様において、所定情報は、入力部（５）としての入力機能を有するアイコン（Ｇ１）を含む。特定の条件は、特定の画像（ＩＭ１）の撮像時点におけるアイコン（Ｇ１）と撮像部（Ｃ１）との位置関係に関する条件である。

この態様によれば、より画像（ＩＭ１）にブレが発生しにくくなる。

第１５の態様に係るユーザインターフェース装置（１）は、第１～第１４の態様のいずれか１つにおいて、撮像部（Ｃ１）で撮像した画像（ＩＭ１）に基づき、画像（ＩＭ１）に含まれる対象者（Ｍ１）の集中度を推定する集中度推定部（推定部３３）を更に備える。

この態様によれば、入力時に生じ得る撮像部（Ｃ１）の揺れに起因する影響を集中度の推定結果が受けにくくなる。

第１６の態様に係る制御方法は、撮像部（Ｃ１）及び入力部（５）を備えるユーザインターフェース装置（１）の制御方法である。制御方法は、機能ステップと、調整ステップと、を含む。機能ステップでは、入力部（５）への入力を促していない第１状態、及び入力を促している第２状態を、動作状態として有する。調整ステップでは、撮像部（Ｃ１）の露光時間（Ｔ１）に関する調整をする。調整ステップでは、機能ステップが第１状態の場合に露光時間（Ｔ１）を第１長さ（Ｔ１１）で調整し、機能ステップが第２状態の場合に露光時間（Ｔ１）を第１長さ（Ｔ１１）よりも短い第２長さ（Ｔ１２）で調整する。

この態様によれば、入力時に生じ得る撮像部（Ｃ１）の揺れに起因する影響を受けにくくすることが可能な制御方法を提供できる。

第１７の態様に係るプログラムは、１以上のプロセッサに、第１６の態様における制御方法を実行させるためのプログラムである。

この態様によれば、入力時に生じ得る撮像部（Ｃ１）の揺れに起因する影響を受けにくくすることが可能な機能を提供できる。

第２～８、１５の態様に係る構成については、第１の態様に係るユーザインターフェース装置（１）に必須の構成ではなく、適宜省略可能である。また第１０～１５の態様に係る構成については、第９の態様に係るユーザインターフェース装置（１）に必須の構成ではなく、適宜省略可能である。

１ ユーザインターフェース装置
２０ 表示部
３１ 制御部
３２ 画像処理部
３３ 推定部（集中度推定部）
５ 入力部
Ａ１ 撮像間隔
Ｂ１ 時系列方向
Ｃ１ 撮像部
Ｆ１ 機能部
Ｇ１ アイコン
ＩＭ１ 画像
Ｌ１ 距離
Ｍ１ 対象者
Ｔ１ 露光時間
Ｔ１１ 第１長さ
Ｔ１２ 第２長さ

Claims (17)

1. 撮像部と、
   入力を受け付ける入力部と、
   前記入力部への前記入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する機能部と、
   前記撮像部の露光時間に関する調整をする制御部と、
   を備え、
   前記制御部は、前記機能部が前記第１状態の場合に前記露光時間を第１長さで調整し、前記機能部が前記第２状態の場合に前記露光時間を前記第１長さよりも短い第２長さで調整する、
   ユーザインターフェース装置。
2. 前記制御部は、前記入力部と前記撮像部との位置関係に基づき、前記第２長さを決定する、
   請求項１に記載のユーザインターフェース装置。
3. 前記制御部は、前記入力部と前記撮像部の距離が短いほど、前記第２長さが短くなるように調整する、
   請求項１又は２に記載のユーザインターフェース装置。
4. 前記制御部は、前記入力部と前記撮像部の距離が長いほど、前記第２長さが短くなるように調整する、
   請求項１又は２に記載のユーザインターフェース装置。
5. さらに前記制御部は、前記機能部が前記第２状態の場合に、前記撮像部における撮像間隔を短く調整する、
   請求項１～４のいずれか１項に記載のユーザインターフェース装置。
6. 前記第２状態において前記撮像部で撮影した時系列方向に並ぶ複数の画像について位置合わせを行い、前記複数の画像同士を合成する画像処理部を更に備える、
   請求項１～５のいずれか１項に記載のユーザインターフェース装置。
7. 前記機能部は、表示部を含み、
   前記第２状態とは、前記入力を促す所定情報を画面表示する状態であり、
   前記第１状態とは、前記所定情報を非表示とする状態である、
   請求項１～６のいずれか１項に記載のユーザインターフェース装置。
8. 前記所定情報は、前記入力部としての入力機能を有するアイコンを含み、
   前記制御部は、前記アイコンの表示位置と前記撮像部との位置関係に基づき、前記第２長さを決定する、
   請求項７に記載のユーザインターフェース装置。
9. 撮像部と、
   入力を受け付ける入力部と、
   前記入力部への前記入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する機能部と、
   前記撮像部で撮影した画像に基づき、前記画像に含まれる対象者の状態を推定する推定部と、
   を備え、
   前記推定部は、特定の条件を満たす場合、前記機能部が前記第２状態の場合に前記撮像部が撮像した特定の画像を除外して、前記対象者の状態を推定する、
   ユーザインターフェース装置。
10. 前記特定の条件は、前記特定の画像の撮像時点における前記入力部と前記撮像部との位置関係に関する条件である、
    請求項９に記載のユーザインターフェース装置。
11. 前記特定の条件は、前記特定の画像の撮像時点において前記入力部と前記撮像部の距離が所定の距離より短いことである、
    請求項９又は１０に記載のユーザインターフェース装置。
12. 前記特定の条件は、前記特定の画像の撮像時点において前記入力部と前記撮像部の距離が所定の距離より長いことである、
    請求項９又は１０に記載のユーザインターフェース装置。
13. 前記機能部は、表示部を含み、
    前記第２状態とは、前記入力を促す所定情報を画面表示する状態であり、
    前記第１状態とは、前記所定情報を非表示とする状態である、
    請求項９～１２のいずれか１項に記載のユーザインターフェース装置。
14. 前記所定情報は、前記入力部としての入力機能を有するアイコンを含み、
    前記特定の条件は、前記特定の画像の撮像時点における前記アイコンと前記撮像部との位置関係に関する条件である、
    請求項１３に記載のユーザインターフェース装置。
15. 前記撮像部で撮像した画像に基づき、前記画像に含まれる対象者の集中度を推定する集中度推定部を更に備える、
    請求項１～１４のいずれか１項に記載のユーザインターフェース装置。
16. 撮像部及び入力部を備えるユーザインターフェース装置の制御方法であって、
    前記入力部への入力を促していない第１状態、及び前記入力を促している第２状態を、動作状態として有する機能ステップと、
    前記撮像部の露光時間に関する調整をする調整ステップと、
    を含み、
    前記調整ステップでは、前記機能ステップが前記第１状態の場合に前記露光時間を第１長さで調整し、前記機能ステップが前記第２状態の場合に前記露光時間を前記第１長さよりも短い第２長さで調整する、
    制御方法。
17. １以上のプロセッサに、請求項１６に記載の制御方法を実行させるためのプログラム。

Images