JP2004511870A - 画像に基づく認識を介した装置制御 - Google Patents

Abstract

ビデオ装置が画像に基づいたユーザ認識機器を介して機器コントローラに結合される。提供された（一連の）画像中に特定のユーザの顔が認識されたら、コントローラが当該認識されたユーザに対応するユーザプロファイルを含むデータベースにアクセスする。このユーザプロファイルは、一日の内の特定の時間の特定の種類のエンターテインメントなど、ユーザに提示するマテリアルの好みを含む。ユーザプロファイルの情報に基づいて、コントローラはテレビセット又はステレオセットなどの一つ以上の装置を起動し、その時間においてユーザの要望に合う可能性の高いマテリアルを提示するため、マテリアルをユーザのために選択する。

Description

【０００１】
【発明の属する技術分野】
本発明は家電製品の分野に関し、特には、ビデオキャプチャ装置からの、制御される装置付近の画像に基づいた、装置の自動制御のシステム及び方法に関する。
【０００２】
【従来の技術】
顔認識が警備保障上の目的で使用されている。手動の警備保障システムにおいて、警備された場所又は警備された物品へのアクセスを制御するのに顔写真を含むセキュリティバッジが使用されている。自動システム及び準自動システムでは同様に、顔認識ソフトウェアが、例えばビデオカメラからの人の現在の画像を記憶された画像と突き合わせるのに用いられる。従来のシステムでは、ユーザが自分が誰かを明らかにし、顔認識ソフトウェアがこのビデオ画像を識別された人の一つ以上の記憶された画像と比較する。
【０００３】
本明細書に参考文献として組み込まれた、Ａｇｒａｈａｒａｍ他による１９９９年９月２１日に発行された米国特許第５，９５６，４８２号「マルチメディア情報サービスアクセス」で、ユーザが情報サービスへのアクセスを要求し、システムがユーザのビデオスナップ写真を撮り、当該スナップ写真が認定ユーザに対応したときのみアクセスを許可する警備保障技術が提示されている。本明細書に参考文献として組み込まれた、Ｌｏｂｏ他による１９９８年１１月１０日に発行された米国特許第５，８３５，６１６号「テンプレートを用いた顔検知」で、デジタル化された画像中で自動的に人間の顔を発見し、顔の特徴を調査することにより顔の存在を確認するという二段階処理が提示されている。Ｌｏｂｏ他のシステムは、ビューが典型的な顔のスナップ写真に対応していない場合でもカメラの視野内に一つ以上の顔を発見するのに特に適している。
【０００４】
【発明が解決しようとする課題】
家電製品の分野、また特には、放送、ケーブルテレビ及び衛星テレビの分野においては、ユーザは任意の時間に文字通り何百という選択肢へのアクセスが可能であり、ユーザの好みの特徴に基づいて視聴可能なコンテンツ材料をユーザに構成して提示するシステム及び方法が継続的に開発されている。この、ユーザ固有の構成及び提示を実行させるには、ユーザは典型的には制御システムにユーザの名前を提供するか、又は、識別装置を提示することにより、自分が誰かを明らかにする。ユーザ識別は、コンピュータ装置を使用している時や、オフィス環境などの特定の環境では一般的であるが、家庭などのより体系が整っていない環境では、問題が発生するかもしれない。例えばオフィス環境では、従業員が、ＩＤバッジを着用するか、又は、顔認識装置、網膜スキャナ、指紋スキャナなど、バイオメトリックスキャナに意図的に関与させられることが見込める。それに対して家庭環境では、エンターテインメント装置を起動し、又はそうでなければ制御するために、ＩＤシーケンスを入力し、ＩＤトークンを持ち歩き、又は意図的に認識装置に関与しなければならないことは、面倒なことか、又は少なくとも不便なことと考えられる可能性が高いであろう。
【０００５】
【課題を解決するための手段】
本発明の目的は、ホームオートメーションシステムでの制御を容易にする、面倒でないユーザ識別手段を提供することである。本発明の更なる目的は、ユーザ認識に基づいた、ユーザ固有の題材（マテリアル）の自動提示を提供することである。本発明の更なる目的は、ユーザの自動認識に基づいた、自動テレビ起動及び自動チャンネル選択を提供することである。本発明の更なる目的は、ユーザの自動認識に基づいた、機器の自動制御を提供することである。
【０００６】
これらの及び他の目的は、画像処理アプリケーションを介して機器のコントローラに結合されたビデオ装置を提供することにより達成される。特定のユーザが画像中で認識されると、コントローラは認識されたユーザに対応したユーザプロファイルを含むデータベースにアクセスする。このユーザプロファイルは、一日の内の特定の時間におけるエンターテインメントの特定のタイプの好みなど、提示するマテリアルに対するユーザの好みを含む。ユーザプロファイルの情報に基づいて、コントローラはテレビセット又はステレオセットなどの一つ以上の装置を起動し、その時間においてユーザの要望に合う可能性の高いマテリアルを提示するため、マテリアルをユーザのために選択し又は推薦する。
【０００７】
本発明は付随の図を参照して、更に詳細に例示によって説明される。
【０００８】
図を通して、同一の参照番号は類似した又は対応した特徴又は機能を示す。
【０００９】
【発明の実施の形態】
ホームオートメーション技術の出現と共に、特には家庭用エンターテインメントシステムにおいて、機器の制御を容易にするようにアプリケーションが開発し続けられている。この制御の簡便化は、例えば、自動的に装置を起動すること、多様な選択肢から選択するときに推薦を提供すること、指定のマテリアルへのアクセスを制限すること又は規制することなどを含む。
【００１０】
Ｊａｎ Ｈ． Ｅｌｅｎｂａａｓ、Ｔｏｍａｓ ＭｃＧｅｅ、Ｎｅｖｅｎｋａ Ｄｉｍｉｔｒｏｖａ及びＭａｒｋ Ｓｉｍｐｓｏｎ（代理人整理番号ＰＨＡ２３，５９０）による１９９８年１２月２３日に出願された同時係属出願の米国特許出願第０９／２２０，２７７号「個人用ニュース検索システム」で、情報のカテゴリ化及び検索を、ユーザの好み又は視聴習慣に基づいてカスタマイズする技術が提示されており、本明細書に参考文献として組み込まれている。この同時係属出願では、視聴の習慣に基づいて明らかになった好み又は暗示された好みに基づいて開発されたユーザプロファイルに基づいて、ユーザはニュースアイテム又は他のコンテンツ材料が提示される。
【００１１】
本明細書に参考文献として組み込まれた、Ｄｏｒｅｅｎ Ｙ． Ｃｈｅｎｇ（代理人整理番号ＰＨＡ２３，６０５）による１９９８年１２月２９日に出願された同時係属出願の米国特許出願第０９／２２０，２７７号「分散ネットワーク装置によるホーム制御システム」で、家庭の部屋などの特定の場所における人の存在に基づいてテレビ、ラジオなどの機器を制御する技術が提示されている。この同時係属出願では、各ユーザは各区域内にいるユーザの存在を一つ以上のコントローラに知らせる位置特定装置を装着する。各位置特定装置、つまり各ユーザと、関連した「プロファイル」に基づき、ホーム制御システムは識別されたユーザの推測される要求を満たすよう装置を起動及び停止させる。ユーザが最初に部屋に入ると、ユーザプロファイルに依存して、また、一日の内の時間及び他の要素に依存して、テレビ又はステレオが起動されることができる。特定のテレビチャンネル又は音楽もユーザプロファイル、時間及びその他の条件に基づいて選択される。ユーザが部屋から部屋へと行き来すると、ユーザが入った部屋のテレビが付いて、ユーザが前に居た部屋で見ていたチャンネルに合わせられ、前に居た部屋で他の位置特定装置が検知されなければ前に居た部屋のテレビが消される。
【００１２】
本明細書に参考文献として組み込まれた、Ｋａｒｅｎ Ｔｒａｖａｔｏ、Ｄａｎ Ｐｅｌｌｅｔｉｅｒ、Ｐａｕｌ Ｒａｎｋｉｎ及びＪａｃｑｕｅｌｙｎ Ｍａｒｔｉｎｏ （代理人整理番号ＰＨＡ２３，６４４）による１９９９年３月３１日に申請された同時係属出願の米国特許出願第０９／２８２，３１９号「ジャンルによるリモート制御プログラム選択」で、ジャンル、更に、特定の好まれるチャンネルについてのユーザプロファイルにも基づいてリモコンのチャンネル上下キーをプログラムする技術が提示されている。
【００１３】
これらの前述の発明のそれぞれにおいて、システムは、制御されている装置の一又は複数の現在のユーザのＩＤに基づいて制御又は推薦を提供する。上記のとおり、ユーザネーム又はコードを入力し、又はＩＤトークンを持ち歩くなどの、ユーザ識別の「能動的な」方法は、消費者の「便利」という視点とは一致しないかもしれない。本発明によると、このユーザ識別は、制御されている装置の付近にユーザが居ることの認識に基づく「受動的な」方法で提供される。ビデオカメラなどの画像キャプチャ装置が、制御されている装置の付近の光景の画像をキャプチャし、顔認識アプリケーションなどのユーザ認識アプリケーションがユーザを画像から識別する。
【００１４】
図１は本発明によるユーザ認識能力を持つ装置制御システム１００の例を図示する。参照を簡単にするため、ステレオシステム、インターネットアクセス装置など、ユーザが制御可能な他のいかなる装置でも制御される装置に成り得るが、ここではテレビシステム１３０が制御される装置として提示される。ビデオカメラなどの撮像装置１１０が、視野１１５内の物の画像をキャプチャし、この画像をユーザ識別器１２０に提供する。
【００１５】
好適な実施例では、ユーザ識別器１２０は多段顔認識装置であり、当該装置は画像中で、肌の色調の位置、並びに眉毛並びにあご及び鼻に対応する境界線に対応する肌以外の色調の位置等に基づき、顔の一般的な特徴を持つ画像の領域を探す （参考文献の米国特許第５，８３５，６１６号を参照のこと）。顔が検知されたら、当該顔は、顔認識器１２０に関連したデータベースに保存された参照の顔との比較のために特徴付けられる。このビデオ画像中の顔の特徴づけは、「光学的な」突き合わせではなく、好適には参照の顔の特徴づけに用いられた特徴づけプロセスと同一であり、特徴に基づいて顔を比較することを容易にし、これにより突き合わせを行うのに二つの全く同じ画像（現在の顔及び参照の顔）を持つ必要性がなくなる。好適な実施例では、参照の顔の数は比較的小さく、典型的には家庭又は小さな環境に居る人の数に制限されており、顔認識プロセスが速く実行されることを可能にする。
【００１６】
ユーザ認識器１２０が、ビデオ画像中の顔が特定のユーザに対応すると決定すると、ユーザのＩＤが装置コントローラ１４０に伝達される。図１の実施例では、制御される例示装置１３０としてテレビが図示されている。コントローラ１４０は、認識可能なユーザのそれぞれに対応する「プロファイル」を含み、当該プロファイルは好適には、時間依存の好みを含んだ装置１３０の操作におけるユーザの好みを含む。これらの好みは各ユーザにより明示して入力されることができ、又は以前の経験に基づくことができる。例えば、特定のユーザが常にテレビを午後６時に付け、８チャンネルのニュース番組を見るとしたら、プロファイルはこの「好み」を含むことになる。ここで用いられる「ユーザの好み」という表現は一般的な意味で用いられていることに注意する。例えば子供のプロファイルはこの子供の両親の好みに基づいているかもしれない。これらの好みは、特定の時間帯の教育番組のみへの「好み」、他の時間帯のアクセスの禁止、特定の種類のマテリアルへのアクセスの禁止、一日に見られるテレビの時間数の制限などを含むことができる。
【００１７】
当該技術分野で一般的な種々のマシンラーニング技術のいかなるものでも各ユーザと典型的な制御作業との間で相関関係を作るのに用いることができ、従って、これらの相関関係に基づいた制御作業の実行を模倣することができる。
【００１８】
特定のユーザが認識されると、コントローラ１４０はユーザの推測された又は明示した好みに対応した制御オプションを実行する。前述の例では、ユーザがテレビの付近で午後６時に検知されたら、コントローラ１４０はテレビ１３０を付け、８チャンネルに合わせる。一般的に、ユーザが部屋に入るたびにテレビを付け、午後６時になるまでその時点で合わせられているチャンネルのままにしておくのであれば、コントローラ１４０はこの挙動を模倣し、ユーザが検知されたときにテレビを付け、午後６時になったときにのみ８チャンネルに合わせる。これらの及び他の、特定のユーザの認識に基づいて装置の操作を制御する技術は、特に前述の同時係属出願との結合により当業者にとって明らかである。参照及び理解を簡単にするため、ここで用いられる「制御」という表現は、いかなる及び全ての、装置の制御を容易にする技術を含み、前述の選択肢の推薦又は優先順位付け、選択肢の自動起動及び準自動起動などを含むことに注意する。
【００１９】
当業者にとって明らかなように、ユーザ認識の他の方法を、上の顔認識技術の代わりに又は付加的に使用することができる。例えば、画像中の人の動きに基づいて人を識別するのに歩調認識装置を使用することができる。より複雑性の低い認識装置はユーザの大きさに基づくことができる。例えば、制御の一部又は全てがユーザが大人か子供かということに基づくとき、ユーザの大きさに基づいてユーザプロファイルは「大人」及び「子供」のプロファイルに分割され得る。高度でない実施例では、認識は、例えば赤外画像コレクタを介した検知を用いた、ユーザの最も好きな椅子など特定の場所にいる人の存在のみであり得る。色分布、エッジ分布及びこれらに類似した、他の画像に基づいた技術も、ユーザの識別を容易にするのに使用することができる。これらの及び他の実施例も、ビデオ画像からの速い識別を容易にするのに画像情報を「前処理」するのに使用することができる。本明細書に参考文献として組み込まれた、Ｍｉｃｈａｅｌ Ｂａｋｈｍｕｔｓｋｙ （代理人整理番号ＵＳ０００１５８）による２０００年８月８日に出願された同時係属出願の米国特許出願第０９／６３４，６８２号「最適化されたビデオ通信への二次センサの使用」で、ビデオ画像と対応する、低価格で低解像度の赤外画像に基づいた画像の特定の一部の符号化を最適化するための、人間などの暖かい物をビデオ画像中に発見する技術が提示されている。この同一の原理を予備的なユーザ識別を提供するのに使用することができ、これは更に、ビデオ画像の更なる処理に基づいて修正又は確認される。
【００２０】
図２は、本発明による、ユーザ認識付きの装置制御システムの流れ図の例を図示する。図２では、理解を容易にするため、画像に基づいたユーザ認識のパラダイムとして顔認識が用いられている。２１０では、（図１の撮像装置１１０からの）ビデオ画像が、画像中の顔の存在を決定するためにスキャンされる。このスキャニングは、連続的、周期的、イベント駆動式又はその他の方法により開始される。例えばスキャニングは、認識された顔が検知されるまでは連続的で、その後は例えば通常の「プログラム変更」周期に対応する間隔（米国ではプログラムは通常３０分又は１時間の境で変更する）で周期的にスキャンされることができる。他には、スキャニングはテレビに連結され、各コマーシャル時間の最初に起動することができる。
【００２１】
２１５において顔が画像中で検知されたら、２２０で検知された顔の特徴が決定される。ユーザが前の画像スキャンを介して識別されていたら、検知された顔の特徴は前記識別されたユーザの特徴と２２５で比較される。検知された顔が識別されたユーザに対応せず、又は、その時点では識別されたユーザが居ないのであれば、２３０で、検知された顔と同一の特徴をもつユーザの顔がユーザの顔のデータベース２０１中でサーチされる。２３５で検知された顔に対応するユーザが識別されたら、「現在の」ユーザのＩＤが２４０でセットされ、装置は２６０でこの現在のユーザのＩＤに対応して制御される。
【００２２】
２３５で前記顔に対応するユーザが識別されなければ、現在のユーザのＩＤは消去される。他には、図示されていないが、新しいユーザの顔の特徴をユーザの顔のデータベース２０１に加え、新しいユーザプロファイルを作成することができる。好適には、新しいユーザプロファイルは装置制御システムの「システム管理者」によって作成されることが可能なデフォルトプロファイルに基づく。当業者には明らかなように、２３５におけるこのユーザＩＤの欠如は、ユーザの顔のデータベース２０１を作成したり、又はデータベース２０１に存在する識別されたユーザの別の画像を提供したりするのにも使用することができる。また他には、２３５で前記顔に対応するユーザが識別されなければ、コントローラは規定の「ゲスト」ユーザプロファイルをデフォルトで設定することができる。
【００２３】
２１５で顔が画像中に検知されなければ、「現在の」ユーザのＩＤは２５０で消去され、２６０で装置は現在のユーザＩＤがないことに対応して制御される。
【００２４】
ユーザが複数居る環境では、「現在の」ユーザのＩＤは現在のユーザのそれぞれに対応するＩＤの組を有し、各画像中で検知された顔又は検知されなかった顔のそれぞれについてプロセス２１０−２６０は反復される。これはつまり、例えば決定ブロック２１５では画像中の顔のそれぞれに対して「イエス」の決定が行われ、画像中に他に顔がなければ「ノー」の決定が行われるということである。ブロック２５０はこの「ノー」の決定を受け取り、現在のユーザの組から現在の画像中に識別されなかったユーザのＩＤのいずれも消去する。
【００２５】
上で説明したとおり、２６０での装置の制御はユーザプロファイルのデータベース２０２に依存する。一人のユーザが識別されたら、装置の制御は決定されたユーザプロファイルに直接対応する。本発明の単純な実施例では、もし複数のユーザが識別されたら、全員が一致した好みのみが実行される。これはつまり、例えば各ユーザが通常テレビを付け、又は元のままの状態（オン／オフ）にしておくのであれば、ユーザが部屋に入ると、制御ブロック２６０は通常最初にテレビを付けるユーザが部屋に入ったときにテレビを付けるよう設定される。しかし、通常テレビを消す別のユーザがその後に入ってきたら、制御ブロック２６０は他のユーザが部屋からいなくなるまで何もアクションを起こさないよう設定される。同様に、もし現在識別されたユーザの組がチャンネル又はジャンル選択に関して異なった好みを持っていたら、制御ブロック２６０は好みの一致が起こるまでアクションを起こさない。より高度な実施例では、データベース２０２は、ユーザＡ及びＢが居り、Ｃが居ないときに通常見られるチャンネルなどの複数のユーザプロファイルを含む。
【００２６】
当業者にとって明らかなとおり、制御ブロック２６０及びユーザプロファイル２０２は状態に依存する規則を用いて動作することができる。例えば、特定のユーザが通常何度も部屋から出入りするのであれば、２５０において、当該ユーザのＩＤを現在の組から消去する前に「待ち期間」を行使するよう規則を構成することができる。
【００２７】
前記は本発明の原理を説明するのみである。よって当業者は、ここには明記されてはいないが本発明の原理を取り入れ、よって本発明の精神及び範囲内に入る種々の変形例を考案することができる、ということがわかるであろう。例えば、制御システム１００は他の制御システムと共に動作するか、他の制御システムアーキテクチャ中で動作するようにも設定することができる。例えば、装置１１０−１４０はホームオートメーションネットワーク及び制御プロトコルを介して接続されることができる。ホームオートメーション規格はＩＥＥＥ １３９４、Ｘ−１０、ＨＡＶｉ、ＨｏｍｅＡＰＩ、Ｊｉｎｉ及びこれらに類似したものを含む。ＩＥＥＥ１３９４及びＸ−１０は通信プロトコルで、ＨＡＶｉはＩＥＥＥ１３９４を用いるソフトウェアアーキテクチャで、ＨｏｍｅＡＰＩは、ソフトウェアアプリケーションが家庭用装置を監視し制御できるようにする、ソフトウェアサービス及びアプリケーションプログラムインターフェースの標準セットを規定するオープンな工業規格で、Ｊｉｎｉはクライアントが装置及びサービスを物として見る分散ソフトウェアアーキテクチャ（ネットワーク）である。テレビコントローラ１４０は、例えば、ＨＡＶｉ準拠の衛星テレビ受信部に対するＩＥＥＥ １３９４インターフェース付きのパソコンを含むことが可能であり、顔認識器１２０もパソコン内に位置したソフトウェアアプリケーションである。当業者には明らかなように、装置の制御は、ケーブル又は衛星受信システム、ＶＣＲチューナ及びこれらに類似したものを制御することによりテレビで見られているチャンネルを制御するなど、補助装置の制御を介することができる。これらの及び他のシステム構成及びシステム最適化の特徴は、本開示を鑑みれば当業者には明らかであり、本発明の請求の範囲に含まれる。
【図面の簡単な説明】
【図１】本発明による、顔認識可能なテレビコントローラの例。
【図２】本発明による、顔認識付きの機器コントローラの流れ図の例。

Claims (17)

1. 撮像装置であって、当該撮像装置の視野内の画像を収集するよう構成された撮像装置と、
   ユーザを、前記画像中の当該ユーザの特徴の認識に基づいて識別するように構成されたユーザ認識器と、
   前記ユーザに関連した好みのプロファイルに基づいて装置の制御を容易にするよう構成された装置コントローラと、
   を有する装置制御システム。
2. 複数の参照特徴を含むよう構成されたデータベースであって、
   前記ユーザ認識器が前記画像中の特徴と前記複数の参照特徴との比較に基づいて前期ユーザを識別するデータベースを更に含む
   請求項１に記載のシステム。
3. 前記データベースが、前記複数の参照特徴と関連した複数の好みのプロファイルを含むようにも構成されている請求項２に記載のシステム。
4. 前記複数の参照特徴が、複数の顔の特徴と、複数の歩調の特徴と、複数の赤外の特徴と、複数の色の特徴と、複数の大きさの特徴と、
   の内少なくとも一つを含む請求項２に記載のシステム。
5. 前記好みのプロファイルが時間依存の好みを含む請求項１に記載のシステム。
6. 前記装置コントローラがホームオートメーションネットワークを介して前記装置の前記制御を実行させる請求項１に記載のシステム。
7. 前記装置がテレビ受信機であって、
   前記好みのプロファイルが特定の時間において好まれるチャンネルを含む、
   請求項１に記載のシステム。
8. 前記装置の前記制御が、前記装置の起動と前記装置のチューニングと
   の内少なくとも一つを含む請求項１に記載のシステム。
9. 前記ユーザ認識器が更に、少なくとももう一人の別のユーザを、前記画像中の前記少なくとももう一人の別のユーザの特徴の認識に基づいて識別するように構成され、
   前記装置コントローラが更に、前記少なくとももう一人の別のユーザに関連した好みに基づいて前記装置の前記制御を実行させるよう構成されている
   請求項１に記載のシステム。
10. 画像中の特徴を認識し、
    前記特徴と複数のユーザの特徴との比較に基づいてユーザを識別し、
    前記ユーザに関連した一つ以上の好みに基づいて前記装置の制御を容易にする装置を制御する方法。
11. 前記ユーザに関連した前記一つ以上の好みを、前期複数のユーザの特徴に対応する複数の好みから選ぶことを更に含む請求項１０に記載の方法。
12. 前記装置がテレビ受信機で、
    前記一つ以上の好みが特定の時間における好まれるチャンネルを含む
    請求項１１に記載の方法。
13. 前記装置の制御を容易にすることが、
    前記装置を起動することと、
    前記装置の一つ以上の制御のセッティングを推薦することと、
    前記装置の制御装置に制御のセッティングをあらかじめ設定しておくことと、
    前記装置をチューニングすることと、
    の内少なくとも一つを含む請求項１０に記載の方法。
14. 前記画像中の他の特徴を認識することと、
    前記他の特徴と前記複数のユーザの特徴との比較に基づいてもう一人の別のユーザを識別することと、
    前記ユーザと前記別のユーザの両方に関連した一つ以上の好みに基づいて前記装置の制御を更に容易にすることと、
    を更に含む請求項１０に記載の方法。
15. 画像を提供するビデオカメラと、
    前記画像に基づいてユーザを識別する、前記ビデオカメラと操作できるように結合された顔認識装置と、
    前期顔認識装置と操作できるように結合されたテレビコントローラであって、前記ユーザと関連した好みに基づいて前記テレビの制御を容易にするテレビコントローラと、
    を有するテレビ制御システム。
16. 前記テレビの前記制御が
    前記テレビを起動することと、
    前記テレビの一つ以上のセッティングを推薦することと、
    前記テレビの選択肢を提示することと、
    前記テレビで提示するマテリアルのソースを選択することと、
    の内少なくとも一つを含む請求項１５に記載のテレビ制御システム。
17. 前記ユーザ認識装置が更に、前記画像に基づいて複数のユーザを認識するよう構成され、
    前記テレビコントローラが更に、前記複数のユーザと関連した好みに基づいて前記テレビの前記制御を実行させるよう構成されている
    請求項１５に記載のテレビ制御システム。

Images