JP2012022720A - 情報機器、そのプログラムおよび方法 - Google Patents

Abstract

【課題】ユーザが、カメラを有する情報機器に向き合ったときに、そのユーザに送られたメッセージを自動的に表示することができ、そうでないときは、そのメッセージをスタックさせる情報機器、そのプログラムおよび方法を提供する。
【解決手段】同一の方向を向く表示画面およびカメラと、このカメラにより撮像した顔の画像データに含まれる顔を検出することで人を判別し、さらにこの人が上記表示画面の方向を向いているか否かを判別する判別手段を持つ。さらに、その判別の結果、上記人が表示画面の方向を向いていないと判別した場合に、受信したメッセージをスタックさせる出力制御手段を持つ。
【選択図】図５

Description

本発明の実施形態は、情報機器、そのプログラムおよび方法に関する。

現在、様々な情報機器が存在し、カメラ付き携帯電話機やカメラ付きＰＣ（パーソナルコンピュータ）など、（デジタル）カメラを備えた情報機器が普及している。こうした情報機器では、そのカメラを使って画像の取り込みが可能となっており、また、メールやその他のメッセージ等の送受信も行える。また、情報機器の一形態として、カメラを利用してユーザの在席状態を判断し、ユーザが在席していれば緊急のメールを通知したり、ユーザが不在であれば、ユーザに対する伝言を受け付けたりする情報機器も提案されている。

特開平１０−２６８９５９号公報

しかしながら、従来のカメラ付き情報機器では、カメラで撮像した画像をメールに貼り付けるといったことは可能であるが、カメラを用いた撮像機能とメールや各種メッセージを送受信する機能とを連動させた機能は乏しかった。

本発明は、上記に鑑みてなされたものであって、カメラを用いた撮像機能とメールや各種メッセージを送受信する機能とを連動させ、ユーザが、カメラを有する情報機器に向き合ったときに、そのユーザに送られたメッセージを自動的に表示させ、そうでないときはそのメッセージをスタックさせることによりユーザの利便性を向上させた情報機器、そのプログラムおよび方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態の情報機器は、同一の方向を向く表示画面およびカメラと、このカメラにより撮像した顔の画像データに含まれる顔を検出することで人を判別し、さらにこの人が上記表示画面の方向を向いているか否かを判別する判別手段を持つ。さらに、その判別の結果、上記人が表示画面の方向を向いていないと判別した場合に、受信したメッセージをスタックさせる出力制御手段を持つ。

図１は、一実施形態のカメラ付き情報端末の外観を示す図である。 図２は、カメラ付き情報端末のハードウェア構成を示す図である。 図３は、アカウント−顔対応テーブルの一例を示す図である。 図４は、アカウント−顔対応テーブルの生成を説明するフローチャートである。 図５は、メッセージ受信時のカメラ付き情報端末の動作を説明するフローチャートである。 図６は、メッセージスタック時のカメラ付き情報端末の動作を説明するフローチャートである。

以下に、本発明にかかる実施形態を図面に基づいて詳細に説明する。

（カメラ付き情報端末の概要）
まず、一実施形態のカメラ付き情報端末の概要について説明する。図１は、一実施形態のカメラ付き情報端末の外観を示す図である。

本実施形態のカメラ付き情報端末１００は、メールや各種メッセージ送受信する機能の他、情報端末として所定のサービスを提供する機能を有している。また、カメラ付き情報端末１００は、入力装置として、その正面に、デジタルカメラ１１（以下、カメラ１１と略す）と、ペンや指などの座標位置やその接触面の面積を検出するためのタッチパネルをその表面に有する表示装置１２を備えている。この表示装置１２は表示出力をする出力装置でもある。また、カメラ付き情報端末１００の本体内部には、下記の各種ハードウェアが内蔵されている。なお、本実施形態では、上記のように、カメラ１１と表示装置１２の表示画面は、カメラ付き情報端末１００の正面に、同一の向きを向くよう設けられる。

（ハードウェア構成）
続いて、カメラ付き情報端末１００のハードウェア構成について図２を用いて説明する。図２は、カメラ付き情報端末１００のハードウェア構成を示す図である。

カメラ付き情報端末１００は、図２に示すように、カメラ１１と、このカメラ１１を制御し、カメラ１１からの撮像画像を取り込み下記の制御部２６に渡すための画像Ｉ／Ｆ２１を有する。

さらに、カメラ付き情報端末１００は、データ入力装置としてタブレット型入力装置２２を備えている。このタブレット型入力装置２２は、タブレット（タッチパネル）２３と、このタブレット２３により検出されたペンや指などの座標位置やその接触面の面積を入力データに変換するためのタブレットコントローラ２４とからなる。

また、カメラ付き情報端末１００は、入出力制御部２５を有する。この入出力制御部２５は、画像Ｉ／Ｆ２１やタブレットコントローラ２４から入力されたデータを制御部２６に備わるマイクロプロセッサ（ＣＰＵ）に転送するとともに、このＣＰＵの制御に応じて表示装置１２の出力動作とＨＤＤやＳＳＤ（Solid State Drive）等の記憶装置２７の入出力動作を制御する。なお、制御部２６には、ＯＳや各種アプリケーションがロードされ、ワーク領域としても使用されるＲＡＭ等からなるシステムメモリや、ＢＩＯＳ ＲＯＭ等のメモリデバイスが含まれる。

また、入出力制御部２５に接続されている通信Ｉ／Ｆ２８は、公衆回線網やインターネットやＬＡＮ（Local Area Network）等の通信網に接続するためのインターフェースである。カメラ付き情報端末１００は、この通信Ｉ／Ｆ２８を介して外部の交換機やサーバ等と通信を行う。なお、本実施形態では、外部機器（例えば、メール・サーバ等）からカメラ付き情報端末１００のユーザ（複数）に対し、各種メッセージが送られるものとする。

（アカウント−顔対応テーブル）
本実施形態では、ユーザがもつ、メールやツイッター等のメッセージ送受信サービス、あるいは、クラウドサービス等による各種情報（例えば、電車の運行情報等）が提供される情報提供サービスを受けるためのアカウントとユーザとを関連付けるために、アカウント−顔対応テーブルを使用する。具体的には、ユーザがもつアカウントとユーザの顔認識情報とを対応付けたテーブルとなっている。図３に、このアカウント−顔対応テーブルの一例を示す。なお、本実施形態では、ユーザのアカウントを用いているが、ユーザのメールアドレス等を用いてもよい。

（アカウント−顔対応テーブルの生成）
次に、本実施形態におけるアカウント−顔対応テーブルの生成について、図３を用いて説明する。図４は、アカウント−顔対応テーブルの生成を説明するフローチャートである。

はじめに、ユーザが、タブレット型入力装置２２を用いた所定操作により、カメラ１１を使ってユーザの顔を撮像する（ステップＳ４０１）。このとき撮像されたユーザの顔の画像データは、画像Ｉ／Ｆ２１および入出力制御部２５を介して制御部２６に取り込まれる。

次に、制御部２６は、顔検出処理を行い、顔認識情報を生成する（ステップＳ４０２）。ここでの顔検出処理は、周知の技術を利用して行ってよく、例えば顔（目、鼻、口等）の特徴点を、本実施形態での顔認識情報として生成する。

次いで、ユーザは、タブレット型入力装置２２を使って、生成された顔認識情報と対応付ける、メール等のアカウントの設定入力をする（ステップＳ４０３）。

次に、制御部２６は、ステップＳ４０２で生成した顔認識情報とステップＳ４０３で設定入力されたアカウントとを対応付けたアカウント−顔対応テーブル（図３参照）を生成する（ステップＳ４０４）。

なお、ユーザが複数である場合、上記処理はユーザ毎に行われ、アカウントと対応する顔認識情報とがアカウント−顔対応テーブルに順次追加される。

（メッセージ受信時の動作）
次に、メッセージ受信時のカメラ付き情報端末１００の動作について、図５を用いて説明する。図５は、メッセージ受信時のカメラ付き情報端末１００の動作を説明するフローチャートである。以下の制御は、制御部２６によって行われる。

はじめに、ユーザへのメッセージを受信する（ステップＳ５０１）。

次いで、一定時間、カメラ１１で前方画像を取得し、顔検出処理を行う（ステップＳ５０２）。

次いで、ステップＳ５０２での顔検出処理の結果、誰かがカメラ付き情報端末１００の画面を見ているか否か判断する（ステップＳ５０３）。このときカメラ１１の前方に誰もいなかったり、誰かがいてもその人がカメラ１１に対向していなかった場合（すなわち、上記顔検出処理の結果、検出された顔認識情報から（例えば、目、鼻、口等の顔の特徴点の位置関係から）、横を向いているなど、カメラ付き情報端末１００の前にいる人がカメラ付き情報端末１００の表示画面に対向していないと判定される場合）、ユーザは画面を見ていないと判断し、そうでない場合、ユーザは画面を見ていると判断する。なお、このときのユーザは、アカウント−顔対応テーブルに登録されているユーザであるとは限らない。

ステップＳ５０３で、いずれかのユーザが画面を見ていると判定された場合（ステップＳ５０３でＹｅｓ）、さらに顔照合処理を行う（ステップＳ５０４）。ここでは、ステップＳ５０１で受信したメッセージに対応するユーザの顔認識情報をアカウント−顔対応テーブルから取得し、ステップＳ５０２で検出された顔認識情報と照合する。

ステップＳ５０４での顔照合処理の結果、顔認識情報が一致した場合（ステップＳ５０５でＹｅｓ）、下記のステップＳ５０７により既にスタックされているメッセージを含めて、ステップＳ５０１で受信したメッセージを表示画面に表示させる制御をする（ステップＳ５０６）。

一方、ステップＳ５０３で、ユーザが画面を見ていないと判定された場合（Ｎｏの判定）、および、ステップＳ５０５で、顔照合処理の結果一致しないと判定された場合（Ｎｏの判定）、ステップＳ５０１で受信したメッセージを記憶装置２７にスタックする（ステップＳ５０７）。

（メッセージスタック時の動作）
次に、メッセージスタック時（メッセージがスタックされているとき）のカメラ付き情報端末１００の動作について、図６を用いて説明する。図６は、メッセージスタック時のカメラ付き情報端末１００の動作を説明するフローチャートである。

はじめに、所定のタイミングで、一定時間、カメラ１１で前方画像を取得し、顔検出処理を行う（ステップＳ６０１）。なお、所定のタイミングは、カメラ付き情報端末１００に対し、何らかの操作が行われた場合などのタイミングであるとする。

次いで、ステップＳ６０１での顔検出処理の結果、誰かがカメラ付き情報端末１００の画面を見ているか否か判断する（ステップＳ６０２）。このときの判断は、前述のステップＳ５０３と同様である。

ステップＳ６０２で、いずれかのユーザが画面を見ていると判定された場合（Ｙｅｓの判定）、さらに顔照合処理を行う（ステップＳ６０３）。ここでは、ステップＳ６０１で検出された顔認識情報と、アカウント−顔対応テーブルに登録されている顔認識情報とを照合する。

次に、ステップＳ６０３での顔照合処理の結果を受けて、スタックされているメッセージの中に、画面を見ているユーザに対応するメッセージがあるか判断する（ステップＳ６０４）。ここでは、ステップＳ６０３での顔照合処理の結果、画面を見ているユーザの顔認識情報がアカウント−顔対応テーブルに登録されており、かつ、このユーザのアカウントに対応するメッセージが記憶装置２７にスタックされている場合に、Ｙｅｓと判定され、そうでない場合、Ｎｏと判定される。

ステップＳ６０４で、スタックされているメッセージの中に、画面を見ているユーザに対応するメッセージがあると判定された場合（Ｙｅｓの判定）、該当するメッセージを表示画面に表示させる制御をする（ステップＳ６０５）。

一方、ステップＳ６０２で、ユーザが画面を見ていないと判定された場合（Ｎｏの判定）、および、ステップＳ６０４で、スタックされているメッセージの中に、画面を見ているユーザに対応するメッセージがないと判定された場合（Ｎｏの判定）、そのまま処理を終了する。

なお、上記メッセージ受信時の動作およびメッセージスタック時の動作において、ステップＳ５０６およびステップＳ６０５でのメッセージの表示は、顔照合処理により照合されたユーザに対応するメッセージを表示するものであるが、複数のユーザが同時に照合され全員がアカウント−顔対応テーブルに登録された顔認識情報と一致した場合には、表示画面の領域を各ユーザ用に分割し領域の割り当てを行い、各ユーザに割り当てられた領域にユーザ毎のメッセージを同時に表示するようにしてもよい。例えば、該当のユーザが３人である場合、この３人、例えば、父、母、娘に対するメッセージを、父用、母用、および娘用に割り当てられる所定の領域（ここでは、表示画面を左右中央の３つの領域に分割し、３つの領域が各人用に割り当てられる）に同時に表示する。あるいは、顔照合処理の過程で照合された順に、各領域にまたは時系列に表示するようにしてもよい。

また、表示装置１２に表示される表示画面の各フレームと同期するシャッター機能を有するメガネ（例えば３Ｄテレビで使用される液晶シャッターメガネ等）を使用して、各ユーザ宛のメッセージを異なるフレームに割り当て、各メッセージを表示する際、表示装置１２に現に表示されるフレームに対応するユーザが使用しているメガネのシャッターのみを開いて、該当するユーザのみがそのメッセージを見ることができるようにしてもよい。

また、複数のユーザに共通のメッセージを受信した場合（またはスタックされている場合）、該当の全ユーザが同時に照合され登録された顔認識情報と一致した場合にのみ、この共通のメッセージを表示するようにしてもよい。

以上説明した実施形態によれば、顔検出処理および顔照合処理により、ユーザの顔がカメラ付き情報端末１００（カメラ付き情報機器）に対向し、かつ、そのユーザが登録されたユーザであると判定された場合に、そのユーザに送られたメッセージを自動的に表示することができる。これによって、カメラ付き情報端末１００等の情報機器において、ユーザの利便性を向上させることができる。

なお、本実施形態で説明したカメラ付き情報端末１００は、カメラを有する情報機器の一例であって、これに限るものではなく、カメラを有する情報機器には、カメラを備える、任意形態のパーソナルコンピュータや、携帯電話機、ＰＤＡ（Personal Digital Assistant）、テレビ等各種情報機器も含まれる。また、実施形態の情報機器を、表示装置を外部にもつ（すなわち、内蔵しない）情報機器として構成することもできる。その場合、外部の表示装置に対し前述の表示出力を行うことになる。

また、上述した処理フローのステップＳ５０２〜Ｓ５０４またはＳ６０１〜Ｓ６０３を実行する制御部２６は、カメラ付き情報端末１００において判別手段として機能し、ステップＳ５０５〜Ｓ５０７またはステップＳ６０４〜Ｓ６０５を実行する制御部２６は、カメラ付き情報端末１００において出力制御手段として機能する。また、前述のアカウント−顔対応テーブルおよびこのテーブルを生成する処理を実行する制御部２６は、カメラ付き情報端末１００において関連付け手段として機能する。

また、本実施形態において、アカウント−顔対応テーブルの生成や、メッセージ受信時またはメッセージスタック時の動作を行うプログラムは、ＲＯＭ等に予め組み込まれて提供されるか、あるいは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供される。さらに、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

１００…カメラ付き情報端末、１１…カメラ、１２…表示装置、２１…画像Ｉ／Ｆ、２２…タブレット型入力装置、２３…タブレット、２４…タブレットコントローラ、２５…入出力制御部、２６…制御部、２７…記憶装置、２８…通信Ｉ／Ｆ

Claims (8)

1. 同一方向を向く表示画面およびカメラと、
   前記カメラにより撮像した画像データに含まれる顔を検出することで人を判別し、さらに該人が前記表示画面の方向を向いているか否かを判別する判別手段と、
   前記判別の結果、前記人が前記表示画面の方向を向いていないと判別した場合に、受信したメッセージをスタックさせる出力制御手段と、
   を備えることを特徴とする情報機器。
2. 前記判別の結果、前記人が前記表示画面の方向を向いていると判別した場合に、前記出力制御手段は、前記受信したメッセージが前記人宛である場合に該メッセージの表示出力をさせ、そうでない場合、前記受信したメッセージをスタックさせることを特徴とする請求項１に記載の情報機器。
3. 表示画面とその向きを同一とするカメラを有する情報機器を、
   前記カメラにより撮像した画像データに含まれる顔を検出することで人を判別し、さらに該人が前記表示画面の方向を向いているか否かを判別する判別手段と、
   前記判別の結果、前記人が前記表示画面の方向を向いていないと判別した場合に、受信したメッセージをスタックさせる出力制御手段と
   して機能させるプログラム。
4. 表示画面とその向きを同一とするカメラを有する情報機器において実行される方法であって、
   判別手段が、前記カメラにより撮像した画像データに含まれる顔を検出することで人を判別し、さらに該人が前記表示画面の方向を向いているか否かを判別する判別ステップと、
   出力制御手段が、前記判別の結果、前記人が前記表示画面の方向を向いていないと判別した場合に、受信したメッセージをスタックさせる出力制御ステップと、
   を含むことを特徴とする方法。
5. 同一方向を向く表示画面およびカメラと、
   前記カメラにより撮像した顔の画像データから得られる顔認識情報と、受信したメッセージに関連付けられているユーザの登録済み顔認識情報とに基づき同一人物か否かを判別する判別手段と、
   前記画像データから得られた顔認識情報が、前記ユーザの登録済み顔認識情報と一致する場合に、当該ユーザ宛のメッセージの表示出力をさせ、そうでない場合、受信したメッセージをスタックさせる出力制御手段と、
   を備え、
   前記出力制御手段は、前記画像データから得られる複数の顔認識情報と、複数の登録済み顔認識情報とに基づき同一人物と判別された場合に、当該複数人のユーザ宛のメッセージを同時に表示させる
   ことを特徴とする情報機器。
6. 前記出力制御手段は、複数のユーザに共通のメッセージがある場合、該当の全ユーザが同時に照合され登録された顔認識情報の人物と判別した場合にのみ、前記共通のメッセージを表示出力させることを特徴とする請求項５に記載の情報機器。
7. 表示画面とその向きを同一とするカメラを有する情報機器を、
   前記カメラにより撮像した顔の画像データから得られる顔認識情報と受信したメッセージに関連付けられているユーザの登録済み顔認識情報とに基づき同一人物か否かを判別する判別手段と、
   前記画像データから得られた顔認識情報と、前記ユーザの登録済み顔認識情報とに基づき同一人物と判別する場合に、当該ユーザ宛のメッセージの表示出力をさせ、前記画像データから得られる複数の顔認識情報と、複数の登録済み顔認識情報とに基づき同一人物と判別する場合に、当該複数人のユーザ宛のメッセージを同時に表示させ、そうでない場合、受信したメッセージをスタックさせる出力制御手段と
   して機能させるプログラム。
8. 表示画面とその向きを同一とするカメラを有する情報機器において実行される方法であって、
   判別手段が、前記カメラにより撮像した顔の画像データから得られる顔認識情報と受信したメッセージに関連付けられているユーザの登録済み顔認識情報とに基づき同一人物か否かを判別する判別ステップと、
   出力制御手段が、前記画像データから得られた顔認識情報と、前記ユーザの登録済み顔認識情報とに基づき同一人物と判別する場合に、当該ユーザ宛のメッセージの表示出力をさせ、前記画像データから得られる複数の顔認識情報と、複数の登録済み顔認識情報とに基づき同一人物と判別する場合に、当該複数人のユーザ宛のメッセージを同時に表示させ、そうでない場合、受信したメッセージをスタックさせる出力制御ステップと、
   を含むことを特徴とする方法。

Images