JP2017517780A - 電子デバイス間の接続を確立するための方法および装置 - Google Patents

Abstract

対象デバイスに接続するための、電子デバイスにおいて実行される方法が開示される。方法は、対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするステップと、対象人物の指標を認識するステップとを含む。対象人物の指標は、ポインティングオブジェクト、音声コマンド、および/または任意の適切な入力コマンドであり得る。指標に基づいて、画像内の対象人物の顔が検出され、画像内の顔の少なくとも1つの顔の特徴が抽出される。少なくとも1つの顔の特徴に基づいて、電子デバイスが対象デバイスに接続される。

Description

優先権の主張
本出願は、その内容全体が参照により組み込まれる、「METHOD AND APPARATUS FOR ESTABLISHING CONNECTION BETWEEN ELECTRONIC DEVICES」と題する2014年3月19日に出願された米国出願第14/219,894号の優先権を主張する。

本開示は、電子デバイス間の通信に関し、より詳細には、電子デバイスと対象デバイスとの間の接続を確立することに関する。

近年、スマートグラス、スマートフォンおよびタブレットコンピュータなどの電子デバイスの使用は、急速に増加している。そのような電子デバイスは、しばしば、他の電子デバイス、通信ネットワーク、サーバなどとの通信を可能にするワイヤレス通信機能を含む。たとえば、従来の電子デバイスは、Wi-Fi、CDMA(符号分割多元接続)、GSM(登録商標)(モバイル通信用グローバルシステム)、GSM2000、LTE(ロングタームエボリューション)、LTEアドバンストなどの様々なワイヤレス通信技術を使用して通信し得る。さらに、そのような電子デバイスはまた、Bluetooth(登録商標)、Wi-Fi Direct、LTE Direct、NFC(近距離無線通信)などの様々な短距離ワイヤレス通信技術を使用して別のデバイスと通信し得る。

別の電子デバイスとの通信の場合、従来の電子デバイスは、しばしば、別の電子デバイスとのペアリングプロセスを実行して、両方のデバイスに共通の通信プロトコルに従った接続を確立する。たとえば、電子デバイスのペアは、Bluetooth(登録商標)ペアリング方式を使用して互いとペアリングされて接続を確立し、次いで、Bluetooth(登録商標)通信技術を使用して互いと通信し得る。しかしながら、従来のペアリング方法は一般に、電子デバイス間の接続を確立するためのいくつかのステップを必要とする。

別の電子デバイスとの接続を確立するためにいくつかのステップを実行することは、電子デバイスのユーザにとって不便である場合がある。たとえば、電子デバイスのユーザは、接続に利用可能である電子デバイスのリストから電子デバイスを選択するよう求められる場合がある。しかしながら、リストは、他の電子デバイスを一意に識別するのに十分な情報を提供しない場合があり、ユーザは、リスト内の所望の電子デバイスを識別するために、より多くの情報を取得することを必要とする場合がある。所望の電子デバイスが識別された後、電子デバイスのユーザは、別のデバイスに接続するためにPIN(個人識別番号(Personal Identification Number))、パスワードなどの識別コードを入力するよう求められる場合もある。したがって、従来の電子デバイスのユーザは、そのようなペアリングステップを通じて他のデバイスと通信する気がなくなる場合がある。

本開示は、電子デバイスと対象デバイスとの間の接続を確立することに関する。

本開示の一態様によれば、対象デバイスに接続するための、電子デバイスにおいて実行される方法が開示される。方法は、対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするステップと、対象人物の指標を認識するステップとを含む。指標に基づいて、画像内の対象人物の顔が検出され、画像内の顔の少なくとも1つの顔の特徴が抽出される。電子デバイスは、少なくとも1つの顔の特徴に基づいて対象デバイスに接続される。本開示は、本方法に関する装置、デバイス、手段の組合せ、およびコンピュータ可読媒体についても説明する。

本開示の別の態様によれば、対象デバイスに接続するための電子デバイスが開示される。電子デバイスは、対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするように構成された画像センサーと、対象人物の指標を認識し、指標に基づいて画像内の対象人物の顔を検出することによって、画像内の顔の少なくとも1つの顔の特徴を抽出するように構成された対象識別ユニットとを含む。電子デバイスは、少なくとも1つの顔の特徴に基づいて対象デバイスへの接続を確立するように構成された接続コントローラも含む。

本開示の発明的態様の実施形態は、以下の詳細な説明を参照しながら、添付の図面とともに読めば理解されよう。

本開示の一実施形態による、ユーザのポインティングジェスチャーに基づいて対象人物の対象デバイスに接続するように構成された、ユーザの電子デバイスを示す図である。 本開示の一実施形態による、対象人物を示すポインティングオブジェクトに基づいて画像内の対象人物の顔を検出するように構成された電子デバイスを示す図である。 本開示の一実施形態による、ユーザの音声コマンドに基づいて対象人物の対象デバイスに接続するように構成された、ユーザの電子デバイスを示す図である。 本開示の一実施形態による、対象人物を識別する音声コマンドに基づいて画像内の対象人物の顔を検出するように構成された電子デバイスを示す図である。 本開示の一実施形態による、ポインティングオブジェクトおよびユーザの音声コマンドに基づいて対象人物の対象デバイスに接続するように構成された、ユーザの電子デバイスを示す図である。 本開示の一実施形態による、対象人物を示すポインティングオブジェクトおよび音声コマンドに基づいて画像内の対象人物の顔を検出するように構成された電子デバイスを示す図である。 本開示の一実施形態による、接続要求を送信することによって別の電子デバイスに接続するように構成された電子デバイスのブロック図である。 本開示の一実施形態による、対象人物の指標に基づいて画像内の対象人物の顔を検出するように構成された、電子デバイス内の対象識別ユニットのより詳細なブロック図である。 本開示の一実施形態による、応答メッセージを送信することによって別の電子デバイスと接続するように構成された電子デバイスのブロック図である。 本開示の一実施形態による、対象人物の指標に基づいて対象人物の対象デバイスとの接続を確立するための、電子デバイスにおいて実行される方法のフローチャートである。 本開示の一実施形態による、追加の指標を要求することによって対象人物の顔を検出するための、電子デバイスにおいて実行される詳細な方法のフローチャートである。 本開示の一実施形態による、対象デバイスに接続するための方法および装置が組み込まれる例示的な電子デバイスのブロック図である。

次に、添付の図面にその例が示されている、様々な実施形態を詳細に参照する。以下の詳細な説明では、本開示の発明的態様の完全な理解を与えるために多数の具体的な詳細が記載される。しかしながら、本開示の発明的態様がこれらの具体的な詳細なしに実践され得ることは当業者に明らかであろう。他の事例では、様々な実施形態の態様を不必要に不明瞭にしないように、よく知られている方法、手順、システム、および構成要素については詳細に説明していない。

図1は、本開示の一実施形態による、ユーザ110のポインティングジェスチャーに基づいて複数の電子デバイス122、132、142、および152のうちのいずれかに接続するように構成された、ユーザ110の電子デバイス112を示す。本明細書で使用する「ジェスチャー」という用語は、人物の指、手、腕、もしくは体の任意の動きもしくは位置、または人物の指、手、腕、もしくは体に関連付けられたオブジェクトであり得る。図示のように、複数の人物120、130、140、および150は、スマートグラスとして示されている電子デバイス112の視野内に位置している。人物120、130、140、および150はそれぞれ、電子デバイス122、132、142、および152を身につけており、これらの電子デバイスはそれぞれ、スマートグラス、モバイルフォン、タブレットコンピュータ、およびスマートウォッチとして示されている。電子デバイス112、122、132、142、および152について上記のように説明したが、これらの電子デバイスは、音および画像のキャプチャ機能および処理機能を備えた任意の適切な電子デバイスであってもよく、人物が身につけるか、持ち運ぶか、または使用することができる。

図示の実施形態では、ユーザ110は、人物120、130、140、および150のうちのいずれかを、電子デバイス112と電子デバイス122、132、142、および152との間の接続を確立するための対象人物として選択してもよい。たとえば、ユーザ110は、人物120を対象人物として示すために自分の手をポインティングオブジェクト114として使用してポインティングジェスチャーを行うことができ、電子デバイス112は、ポインティングオブジェクト114としてのユーザの手と、人物120、130、140、および150の中の少なくとも対象人物120とを含むポインティングジェスチャーの画像をキャプチャすることができる。本明細書で使用する「ポインティングオブジェクト」という用語は、対象を指すために使用され得る任意のオブジェクトであり、人物の指、手、腕、もしくは体、または人物の指、手、腕、もしくは体に関連付けられたオブジェクトを含み得る。

キャプチャされた画像から、電子デバイス112は、ユーザの手のポインティングオブジェクト114を対象人物120の指標として認識し得る。本明細書で使用する「指標」という用語は、対象を示す、識別する、または記述するポインティングオブジェクト、音声コマンド、入力コマンドなどの任意の情報またはデータ表現を指す。対象人物120の顔は、任意の適切なオブジェクト検出方法を使用して、指標に基づいて、キャプチャされた画像において検出され得る。たとえば、オブジェクト検出方法は、ホリスティックな検出(holistic detection)、部分ベースの検出、パッチベースの検出、決定木(decision tree)、ブースティング、ニューラルネットワーク、サポートベクターマシンなどを使用してもよい。加えて、対象人物120の顔の特徴のセットは、任意の適切な特徴抽出方法を使用して、画像内の検出された顔から抽出され得る。たとえば、特徴抽出方法は、ニューラルネットワーク、視覚語のバッグ(bag of visual words)、SIFT(スケール不変特徴変換(scale-invariant feature transform))、SURF(高速化ロバスト特徴(speeded-up robust features))、配向勾配ヒストグラム(histogram of oriented gradients)などを使用してもよい。本明細書で使用する「セット」という用語は、1つまたは複数のデータまたは項目を指し、そのようなデータまたは項目のベクトル表現を含み得る。

電子デバイス112、122、132、142、および152は、Bluetooth(登録商標)、Wi-Fi Direct、LTE Direct、NFC(近距離無線通信)、IR(赤外線)通信技術などの任意の適切なワイヤレス通信技術を使用してワイヤレス通信するように構成される。図示の実施形態では、電子デバイス112は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、接続要求を電子デバイス122、132、142、および152に送信し得る。接続要求は、対象人物120の顔の特徴の抽出されたセットと、製品識別番号、MACアドレス、IPアドレスなどの電子デバイス112の識別情報とを含み得る。

電子デバイス122、132、142、および152はそれぞれ、電子デバイス112から接続要求を受信し、顔の特徴の受信されたセットが関連する人物120、130、140、および150を示すかどうかを確認するように構成され得る。顔の特徴の受信されたセットを確認するために、電子デバイス122、132、142、および152はそれぞれ、人物120、130、140、および150についての顔の特徴のセットを記憶し得る。接続要求を受信すると、電子デバイス122、132、142、および152の各々は、顔の特徴の受信されたセットを顔の特徴の記憶されたセットと比較することによって、その電子デバイスが接続要求の予定受信者(すなわち、対象デバイス)であるかどうかを確認し得る。

図示の実施形態では、対象人物120の電子デバイス122(すなわち、この実施形態における対象デバイス)は、顔の特徴の受信されたセットが対象人物120を示すと判断し、応答メッセージを電子デバイス112に送信することによって、接続要求に応答し得る。一実施形態では、応答メッセージは、電子デバイス122が接続要求を受け入れることを示し得る。応答メッセージは、製品識別番号、MACアドレス、IPアドレスなどの電子デバイス122の識別情報を含み得る。加えて、電子デバイス122は、電子デバイス112の受信された識別情報を応答メッセージにおける宛先アドレスとして使用し得る。電子デバイス112が接続要求を受け入れる応答メッセージを受信すると、電子デバイス112と122との間の通信接続は、限定はしないが、ペアリングを含む任意の適切なワイヤレス接続プロセスによって確立され得る。

図2は、本開示の一実施形態による、対象人物120を示すポインティングオブジェクト114に基づいて画像210内の対象人物120の顔212を検出するように構成された電子デバイス112を示す。図示のように、電子デバイス112は、画像センサー220、音センサー230、および光学レンズ240を備えたスマートグラスとして示されている。いくつかの実施形態では、スマートグラスは、光学レンズ240なしで実装され得る。画像センサー220および音センサー230はそれぞれ、画像および音をキャプチャするように構成される。スマートグラスは、画像センサー220によって検出された画像および他の情報をユーザ110に対して表示または投影するように構成されたディスプレイユニット(図示せず)も含み得る。

図示の実施形態では、電子デバイス112のユーザ110は、人物120、130、140、および150を見て、ポインティングオブジェクト114(たとえば、ユーザ110の手)を使用することによって対象人物120を示すためにポインティングジェスチャーを行うことができる。ポインティングオブジェクト114が対象人物120を指している間、電子デバイス112は、画像センサー220を介して人物120、130、140、および150を含む画像210をキャプチャし得る。いくつかの実施形態では、電子デバイス112は、ポインティングオブジェクト114を検出したことまたはユーザ110からの入力コマンドを受信したことに応答して、画像210をキャプチャするように構成され得る。

画像210から、電子デバイス112は、上記で説明したような任意の適切なオブジェクト検出方法を実行することによって、画像210内のポインティングオブジェクト114を検出し得る。画像210内の検出されたポインティングオブジェクト114は、対象人物120の指標として認識される。電子デバイス112は、指標に基づいて画像210内の対象人物120の顔212を検出する。

一実施形態では、対象人物120の顔212を検出するために、ポインティングオブジェクト114が指している方向が判断される。電子デバイス112は、ポインティングオブジェクト114が対象人物120に向けられていると判断し、対象人物120の顔212を検出し得る。別の実施形態では、電子デバイス112は、画像210内のポインティングオブジェクト114の場所に基づいて対象人物120の顔212を検出し得る。たとえば、画像210内のポインティングオブジェクト114に最も近い顔が対象人物120の顔212であると判断される。

対象人物120の顔212を検出すると、電子デバイス112は、上記で説明したような任意の適切な特徴抽出方法を使用して、画像210内の検出された顔212から対象人物120の顔の特徴のセットを抽出し得る。電子デバイス112は、対象人物120の顔の特徴の抽出されたセットと電子デバイス112の識別情報とを含む接続要求を生成し得る。接続要求は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、電子デバイス122、132、142、および152に送信される。

図3は、本開示の一実施形態による、ユーザ110の音声コマンド310に基づいて複数の電子デバイス122、132、142、および152のうちのいずれかに接続するように構成された、ユーザ110の電子デバイス112を示す。図3に示す電子デバイス112、122、132、142、および152は、図1のユニットと同じまたは同様のユニットであり得る。本明細書で使用する「音声コマンド」という用語は、人物などのオブジェクトを示す、識別する、または記述する、話者から発せられた1つまたは複数の語の任意のアナログまたはデジタル表現を指す。さらに、音声コマンドは、オブジェクトを示す、識別する、または記述するための1つまたは複数の名詞、代名詞、形容詞などを含み得る。

本開示の一実施形態では、対象人物を識別するための音声コマンドは、対象人物の外見を記述する1つまたは複数の記述、たとえば、「男の子(BOY)」、「女の子(GIRL)」、「男性(MAN)」、「女性(WOMAN)」、「彼(HIM)」、および「彼女(HER)」などの性別の記述、「キャップ(CAP)」、「メガネ(GLASSES)」、「スカート(SKIRT)」、「シャツ(SHIRT)」、「ネクタイ(TIE)」などの衣類の物品の記述、「青色の服を着ている(IN BLUE)」、「赤色の服を着ている(WEARING RED CLOTHES)」などの色の記述を含み得る。別の実施形態では、音声コマンドは、対象人物の名前(たとえば、「ジョン(JOHN)」、「アン(ANN)」、「ボブ(BOB)」など)または話者の視野内の対象人物の場所(たとえば、「左(LEFT)」、「右(RIGHT)」、「前(FRONT)」、「後ろ(BACK)」など)を含み得る。

図3の図示の実施形態では、ユーザ110は、人物120、130、140、および150のうちのいずれかを、電子デバイス112と電子デバイス122、132、142、および152との間の接続を確立するための対象人物として選択し、対象人物を識別する音声コマンドを話してもよい。たとえば、ユーザ110は、人物140を対象人物として識別する音声コマンド310として「左側のあの女の子に接続して(CONNECT TO THAT GIRL ON THE LEFT)」と話してもよい。電子デバイス112は、ユーザ110からの対象人物140を識別する音声コマンド310を含む入力音を受信し得る。加えて、電子デバイス112は、人物120、130、140、および150の中から少なくとも対象人物140の画像をキャプチャし得る。

受信された入力音から、電子デバイス112は、任意の適切な音声認識方法を使用して、音声コマンド310(すなわち、「左側のあの女の子に接続して(CONNECT TO THAT GIRL ON THE LEFT)」)を対象人物140の指標として認識し得る。対象人物140の顔は、上記で説明したような適切なオブジェクト検出方法を使用して、指標に基づいて、キャプチャされた画像において検出され得、対象人物140の顔の特徴のセットは、上記で説明したような適切な特徴抽出方法を使用して、画像内の検出された顔から抽出され得る。次いで、電子デバイス112は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、接続要求を電子デバイス122、132、142、および152に送信し得る。接続要求は、対象人物140の顔の特徴の抽出されたセットと電子デバイス112の識別情報とを含み得る。

接続要求を受信すると、電子デバイス122、132、142および152の各々は、顔の特徴の受信されたセットを顔の特徴の記憶されたセットと比較することによって、その電子デバイスが接続要求の予定受信者(すなわち、この実施形態における対象デバイス)であるかどうかを確認し得る。図示の実施形態では、対象人物140に関連付けられた電子デバイス142は、顔の特徴の受信されたセットを顔の特徴の記憶されたセットと比較することによって、顔の特徴の受信されたセットが対象人物140を示すことを確認し、応答メッセージを電子デバイス112に送信することによって、接続要求に応答し得る。応答メッセージは、電子デバイス142の識別情報を含み得る。電子デバイス112が接続要求を受け入れる応答メッセージを受信すると、電子デバイス112と142との間の通信接続が確立され得る。

図4は、本開示の一実施形態による、対象人物140を識別する音声コマンド310に基づいて画像410内の対象人物140の顔412を検出するように構成された電子デバイス112を示す。上記で図2を参照しながら説明したように、電子デバイス112は、画像センサー220、音センサー230、および光学レンズ240を備えたスマートグラスとして示されている。図示の実施形態では、電子デバイス112のユーザ110は、人物120、130、140、および150を見て、対象人物140を識別するための音声コマンド310(たとえば、「左側のあの女の子に接続して(CONNECT TO THAT GIRL ON THE LEFT)」)を話すことができる。

音センサー230を介してユーザ110からの音声コマンド310を含む入力音を受信すると、電子デバイス112は、任意の適切な音声認識方法を使用して、入力音からの音声コマンド310を対象人物140の指標として認識し得る。たとえば、電子デバイス112は、1つまたは複数の音特徴(たとえば、オーディオフィンガープリント、MFCC(メル周波数ケプストラム係数)ベクトルなど)を抽出し得る。抽出された音特徴は、音声コマンド310を認識するために、GMM(ガウス混合モデル)、HMM(隠れマルコフモデル)、SMM(セミマルコフモデル)などに基づいた適切な音声認識方法を使用して解析される。加えて、電子デバイス112は、入力音からの音声コマンド310を認識したことまたはユーザ110からの入力コマンドを受信したことに応答して、画像410をキャプチャするように構成され得る。

認識された音声コマンド310に基づいて、電子デバイス112は、画像410内の対象人物140の顔412を検出し得る。いくつかの実施形態では、電子デバイス112は、画像410内の人物120、130、140、および150の顔オブジェクトまたは人物オブジェクトなどの候補オブジェクトを検出し得る。そのような候補オブジェクトが判断されると、対象人物140の顔412は、たとえば、対象人物140の外見、性別、色、名前、場所などを記述する音声コマンド310内の記述に基づいて、候補オブジェクトから検出され得る。

図示の実施形態では、音声コマンド310が「左側のあの女の子に接続して(CONNECT TO THAT GIRL ON THE LEFT)」として認識されるとき、電子デバイス112は、「女の子(GIRL)」および「左(LEFT)」など、音声コマンド310内の対象人物140についての記述に基づいた顔および場所の特性を用いて、画像410内の候補オブジェクト(たとえば、人物120、130、140、および150の顔オブジェクトまたは人物オブジェクト)を調べることができる。この場合、記述「女の子(GIRL)」は女性を示すので、電子デバイス112は、任意の適切な顔認識方法を使用して、人物120、130、140、および150の候補オブジェクトの各々について性別を識別し、画像410が2人の女性の人物、すなわち、人物140および150を含むと判断し得る。たとえば、顔認識方法は、限定はしないが、ホリスティックな検出、部分ベースの検出、パッチベースの検出、決定木、ブースティング、ニューラルネットワーク、サポートベクターマシンなどを含み得る。

2人の女性の人物140および150が判断されると、電子デバイス112は、音声コマンド310内の記述「左(LEFT)」に基づいて、2人の女性の人物140および150のうちの1人を対象人物として識別し得る。この場合、記述「左(LEFT)」は画像410内の対象人物の相対的な場所を示し得るので、電子デバイス112は、人物150に対して左側に位置している人物140を対象人物として識別し得る。上記で説明したような方法で、キャプチャされた画像が複数の人物を含むとき、電子デバイス112は、対象人物の指標としての音声コマンド内の1つまたは複数の記述に基づいて、複数の人物の中から対象人物を識別し得る。

対象人物140を識別すると、電子デバイス112は、画像410内の対象人物140の顔412を検出し、検出された顔412から対象人物140の顔の特徴のセットを抽出し得る。電子デバイス112は、対象人物140の顔の特徴の抽出されたセットと電子デバイス112の識別情報とを含む接続要求を生成し得る。接続要求は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、電子デバイス122、132、142、および152に送信される。

図5は、本開示の一実施形態による、ユーザ110のポインティングジェスチャーおよび音声コマンド520に基づいて複数の電子デバイス122、132、142、および152のうちのいずれかに接続するように構成された、ユーザ110の電子デバイス112を示す。図5に示す電子デバイス112、122、132、142、および152は、図1のユニットと同じまたは同様のユニットであり得る。図示の実施形態では、ユーザ110は、人物120、130、140、および150のうちのいずれかを、電子デバイス112と電子デバイス122、132、142、および152との間の接続を確立するための対象人物として選択してもよい。たとえば、ユーザ110は、自分の手をポインティングオブジェクト510として使用してポインティングジェスチャーを行い、人物130を対象人物として示す音声コマンド520(たとえば、「キャップをかぶったあの人に接続して(CONNECT TO THAT PERSON WITH A CAP)」)を話すことができる。

電子デバイス112は、ポインティングオブジェクト510としてのユーザの手と、人物120、130、140、150の中の少なくとも対象人物130とを含む画像をキャプチャし得る。加えて、電子デバイス112は、ユーザ110からの対象人物130を識別する音声コマンド520を含む入力音を受信し得る。一実施形態では、ポインティングオブジェクト510を含む画像がキャプチャされ得、音声コマンド520を含む入力音が同時に受信される。別の実施形態では、音声コマンド520を含む入力音が受信される前にポインティングオブジェクト510を含む画像がキャプチャされ得るか、またはポインティングオブジェクト510を含む画像がキャプチャされる前に音声コマンド520を含む入力音が受信され得る。代替的に、音声コマンド520を含む入力音が受信される間にポインティングオブジェクト510を含む画像がキャプチャされ得るか、またはポインティングオブジェクト510を含む画像がキャプチャされる間に音声コマンド520を含む入力音が受信され得る。

キャプチャされた画像から、電子デバイス112は、ユーザの手のポインティングオブジェクト510を対象人物130の第1の指標であるものとして認識し得る。加えて、受信された入力音から、電子デバイス112は、音声コマンド520(すなわち、「キャップをかぶったあの人に接続して(CONNECT TO THAT PERSON WITH A CAP)」)を対象人物130の第2の指標として認識し得る。対象人物130の顔は、任意の適切なオブジェクト検出方法を使用して、第1および第2の指標に基づいて、キャプチャされた画像において検出され得る。

いくつかの実施形態では、最初に認識された1つまたは複数の指標に基づいて、キャプチャされた画像において対象人物の顔を検出することができないとき、電子デバイス112は、ポインティングオブジェクト、音声コマンド、および任意の他の適切な入力コマンドなどの、対象人物を識別するための追加の指標を提供するようユーザ110に要求し得る。たとえば、電子デバイス112は、1つまたは複数の初期の指標に基づいて、キャプチャされた画像において複数の顔または人物を検出し得る。この場合、電子デバイス112は、対象人物を識別する追加の指標を求める要求を出力し得る。それに応答して、ユーザ110は、たとえば、ポインティングオブジェクトを用いてポインティングジェスチャーを行うか、または音声コマンドを話すことによって、対象人物を識別し得る。電子デバイス112は、たとえば、ポインティングオブジェクトを含む画像をキャプチャするか、または音声コマンドを含む入力音を受信することによって、対象人物の追加の指標を認識し得る。対象人物は、追加の指標に基づいて複数の顔または人物の中から識別され得、対象人物の顔は、画像内の識別された対象人物から検出され得る。

図5の実施形態では、キャプチャされた画像において対象人物130の顔が検出されると、電子デバイス112は、任意の適切な特徴抽出方法を使用して、キャプチャされた画像から対象人物130の検出された顔の特徴のセットを抽出し得る。次いで、電子デバイス112は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、接続要求を電子デバイス122、132、142、および152に送信し得る。接続要求は、対象人物130の顔の特徴の抽出されたセットと電子デバイス112の識別情報とを含み得る。

電子デバイス122、132、142、および152が電子デバイス112から接続要求を受信すると、対象人物130に関連付けられた電子デバイス132は、顔の特徴の受信されたセットを顔の特徴の記憶されたセットと比較することによって、電子デバイス132が接続要求の予定受信者(すなわち、この実施形態における対象デバイス)であることを確認し得る。確認されると、対象デバイス132は、応答メッセージを電子デバイス112に送信することによって、接続要求に応答し得る。電子デバイス112が対象デバイス132から応答メッセージを受信すると、電子デバイス112と132との間の通信接続が確立され得る。

図6は、本開示の一実施形態による、対象人物130を示すポインティングオブジェクト510および音声コマンド520に基づいて画像610内の対象人物130の顔612を検出するように構成された電子デバイス112を示す。上記で図2を参照しながら説明したように、電子デバイス112は、画像センサー220、音センサー230、および光学レンズ240を備えたスマートグラスとして示されている。図示の実施形態では、人物120、130、140、および150を見ている間に、電子デバイス112のユーザ110は、自分の手をポインティングオブジェクト510として使用することによってポインティングジェスチャーを行い、対象人物130を示すための音声コマンド520(たとえば、「キャップをかぶったあの人に接続して(CONNECT TO THAT PERSON WITH A CAP)」)を話すことができる。

電子デバイス112は、画像センサー220を介して、ポインティングオブジェクト510と人物120、130、140、および150とを含む画像610をキャプチャし得る。画像610から、電子デバイス112によってポインティングオブジェクト510が検出され、対象人物130の第1の指標として認識される。しかしながら、図6に示すように、ポインティングオブジェクト510は、画像610内の人物120と130との間の中間の場所を指しており、電子デバイス112は、第1の指標(すなわち、ポインティングオブジェクト510)のみに基づいて、人物130を対象人物として識別しない場合がある。この場合、人物120および130は、第1の指標に基づいて、候補オブジェクトとして検出され得る。

この実施形態では、電子デバイス112はまた、音センサー230を介して、ユーザ110からの音声コマンド520を含む入力音を受信し、入力音からの音声コマンド520を対象人物130の第2の指標として認識し得る。第2の指標(すなわち、音声コマンド520)に基づいて、電子デバイス112は、画像610内の対象人物130の顔612を検出し得る。たとえば、電子デバイス112は、「キャップ(CAP)」など、音声コマンド520内の対象人物130についての記述に基づいた衣服の特性を用いて、画像610内の候補オブジェクト(すなわち、人物120および130)を調べることができる。この場合、電子デバイス112は、記述「キャップ(CAP)」に基づいて人物130のキャップ614を検出し、次いで、候補オブジェクトの中から人物130を対象人物として識別し得る。対象人物130から、顔612が検出され得る。

第1および第2の指標に基づいて対象人物130の顔612が検出されると、電子デバイス112は、検出された顔612から対象人物の顔の特徴のセットを抽出し得る。電子デバイス112は、対象人物130の顔の特徴の抽出されたセットと電子デバイス112の識別情報とを含む接続要求を生成し得る。接続要求は、たとえば、接続要求をブロードキャストまたはマルチキャストすることによって、電子デバイス122、132、142、および152に送信される。

図7は、本開示の一実施形態による、接続要求を送信することによって、対象人物に関連付けられた別の電子デバイス(すなわち、対象デバイス)に接続するように構成された電子デバイス700のブロック図を示す。電子デバイス700は、画像センサー710と、音センサー720と、I/O(入力/出力)ユニット730と、対象識別ユニット740と、接続コントローラ750と、通信ユニット760と、ストレージユニット770とを含み得る。電子デバイス700は、セルラーフォン、スマートフォン、スマートウォッチ、スマートグラス、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートテレビジョン、ゲームデバイス、マルチメディアプレーヤなどの音キャプチャおよび処理機能を備えた任意の適切なデバイスであり得る。さらに、図1から図6を参照しながら上記で説明したような電子デバイス112はまた、図7に示すような電子デバイス700の構成要素を用いて構成され得る。

画像センサー710は、ポインティングオブジェクトを検出したこと、音声コマンドを認識したこと、またはI/Oユニット730を介して電子デバイス700のユーザからの入力コマンドを受信したことに応答して、画像センサー710の視野内の画像をキャプチャするように構成され得る。別の実施形態では、画像センサー710は、その視野内の1つまたは複数の画像またはビデオを連続してまたは周期的にキャプチャし得る。画像は、ポインティングオブジェクトおよび/または人物の顔を含み得る。画像センサー710によってキャプチャされた画像は、電子デバイス700のストレージユニット770に永続的に(たとえば、電子ファイルの形態で)または一時的に記憶され得る。画像センサー710は、1つまたは複数の画像を検知するための任意の適切な数のカメラ、画像センサー、またはビデオカメラを含み得る。画像センサー710によってキャプチャされた画像は、対象識別ユニット740に提供され得、対象識別ユニット740は、画像がポインティングオブジェクトおよび/または人物の顔を含むかどうかを判断するように構成され得る。

音センサー720は、画像センサー710によってキャプチャされた画像内の対象人物を識別する、ユーザからの音声コマンドを含む入力音を受信する(たとえば、キャプチャする)ように構成され得る。一実施形態では、画像は、対象人物を識別する音声コマンドを受信(または認識)したことに応答してキャプチャされ得る。別の実施形態では、画像は、そのような音声コマンドを受信(もしくは認識)する前に、または受信(もしくは認識)する際にキャプチャされ得る。

音センサー720は、音声コマンドを含む入力音を入力音データに変換し得、入力音データは、キャプチャされた画像内の対象人物の顔を検出するために、対象識別ユニット740に提供され得る。音センサー720は、1つまたは複数のマイクロフォン、あるいは入力音を受信する、キャプチャする、検知する、および/または検出するために使用され得る任意の他のタイプの音センサーを含み得る。加えて、音センサー720は、そのような機能を実行するための任意の適切なソフトウェアおよび/またはハードウェアを利用し得る。

I/Oユニット730は、ユーザからの入力コマンドを受信するおよび/またはユーザのために情報を出力するように構成され得る。I/Oユニット730は、タッチスクリーン、タッチパッド、タッチセンサー、ボタン、キーなど、入力コマンドを受信するおよび/または情報を出力することが可能な任意の適切なデバイスであり得る。I/Oユニット730としてのタッチスクリーンの場合、タッチスクリーンは、画像センサー710によってキャプチャされた人物(たとえば、図1に示すような人物120、130、140、および150)の画像を表示し得、電子デバイス700のユーザは、対象人物が表示されている、表示された画像内の場所において、タッチスクリーンをタッチし得る。タッチ入力は、対象人物を示す入力コマンドとして受信され得る。入力コマンドは、キャプチャされた画像内の対象人物の顔を検出するために、対象識別ユニット740に提供され得る。

一実施形態では、電子デバイス700は画像キャプチャモードで動作し得、画像キャプチャモードでは、画像センサー710は、対象人物を含む画像を連続してキャプチャしている場合があり、I/Oユニット730は、画像を連続して表示している場合がある。この場合、I/Oユニット730は、表示された画像の上に囲み枠、十字形、点、円などのマーカーを表示し得る。マーカーが対象人物の顔の上に表示されたとき、電子デバイス700のユーザは、画像内の対象人物を選択するためにI/Oユニット730を介してコマンドを入力し得る。

ストレージユニット770は、画像内の顔オブジェクト、ポインティングオブジェクト、識別オブジェクト(たとえば、キャップ、眼鏡、スカート、シャツ、ネクタイなど)などのオブジェクトを検出するためのオブジェクトデータベースを記憶し得る。オブジェクトデータベースは、オブジェクトの1つまたは複数の基準の特徴および/または基準の形状を含み得る。たとえば、オブジェクトデータベースは、人物の目、まゆ毛、鼻、唇、耳などの顔オブジェクト、人物の指、手、腕、体などのポインティングオブジェクト、および人物のキャップ、眼鏡、スカート、シャツ、ネクタイなどの識別オブジェクトを示す、1つまたは複数の特徴および/または形状を記憶し得る。

ストレージユニット770はまた、入力音データから対象人物を示す音声コマンドを認識するのに使用するための「接続して(CONNECT)」、「人(PERSON)」、「彼(HIM)」、「彼女(HER)」、「男性(MAN)」、「女性(WOMAN)」、「右(RIGHT)」、「左(LEFT)」などの複数の音声コマンドまたはキーワードを記憶し得る。加えて、GMM、HMM、SMMなど、音声コマンドまたはキーワードを認識するための1つまたは複数の音声モデルは、ストレージユニット770に記憶され得る。いくつかの実施形態では、音特徴のセットは、入力音データ内の音声コマンドを認識するために、入力音データから抽出され、記憶された音声モデルに基づいて解析され得る。

ストレージユニット770はまた、人物の顔を認識するための基準の顔の特徴データベースを含み得る。基準の顔の特徴データベースは、1人または複数の人物(たとえば、友人、家族、ユーザなど)についての1つまたは複数の基準の顔の特徴および識別情報(たとえば、名前、電話番号、住所、電子メールアドレスなど)を含み得る。基準の顔の特徴は、人物の顔を含む画像から抽出され得る。対象識別ユニット740は、対象人物の指標を認識し、キャプチャされた画像内の対象人物の顔を指標に基づいて検出するために、ストレージユニット770にアクセスし得る。ストレージユニット770は、様々なタイプの情報およびデータを記憶するために、限定はしないが、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、EEPROM(電気的消去可能プログラマブル読取り専用メモリ)、またはフラッシュメモリを含む、任意の適切なタイプのメモリデバイスを使用して実装され得る。

対象識別ユニット740は、画像センサー710によってキャプチャされた、対象人物を含む画像を受信するように構成され得る。加えて、対象識別ユニット740は、音センサー720から画像内の対象人物を識別する音声コマンドを含む入力音データを受信し得る。いくつかの実施形態では、画像内の対象人物を示すI/Oユニット730からの入力コマンドは、対象識別ユニット740によって受信され得る。

対象識別ユニット740は、画像内の対象人物の指標を認識するように構成され得る。たとえば、対象識別ユニット740は、画像内のポインティングオブジェクトを対象人物の指標として検出し得る。追加または代替として、音声コマンドは、入力音データから対象人物の指標として認識され得る。いくつかの実施形態では、I/Oユニット730からの入力コマンドは、対象人物の指標として認識され得る。

対象人物の指標に基づいて、対象識別ユニット740は、キャプチャされた画像内の対象人物の顔を検出し得る。対象人物の顔が検出されると、対象人物の顔の特徴のセットは、上記で説明したような任意の適切な特徴抽出方法を使用して、画像内の検出された顔から抽出され得る。顔の特徴の抽出されたセットは、通信ユニット760を介して、対象人物に関連付けられた電子デバイス(すなわち、対象デバイス)との接続を確立するのに使用するために、接続コントローラ750に提供され得る。

いくつかの実施形態では、対象識別ユニット740は、ポインティングオブジェクトまたは音声コマンドなどの対象人物の指標に基づいて、キャプチャされた画像内の2つ以上の顔を検出し得る。この場合、対象識別ユニット740は、画像内の対象人物を識別するための追加の指標を要求し得る。対象人物の追加の指標に基づいて、対象識別ユニット740は、対象人物の顔を検出し得る。たとえば、対象識別ユニット740が最初に、画像内で検出されたポインティングオブジェクトに基づいて対象人物の顔を検出することができないとき(たとえば、画像内で2つ以上の顔が検出されたとき)、対象識別ユニット740は、対象人物の追加の指標として音声コマンド(たとえば、画像内の対象人物を識別する名前、性別、場所など)を提供するよう電子デバイス700のユーザに要求し得る。対象人物を識別する音声コマンドに基づいて、対象識別ユニット740は、検出された顔のうちの1つを対象人物の顔として判断し得る。

接続コントローラ750は、対象識別ユニット740から対象人物の顔の特徴の抽出されたセットを受信し、対象人物の対象デバイスを含む、電子デバイス700に極めて近接して配置された他の電子デバイスに送信するための接続要求を生成するように構成され得る。接続要求は、対象デバイスとの接続を確立するための要求であり得る。接続要求は、対象人物の顔の特徴の抽出されたセットと、製品識別番号、MACアドレス、IPアドレスなどの電子デバイス700の識別情報とを含み得る。接続コントローラ750は、接続要求を通信ユニット760に提供し得、通信ユニット760は、接続要求を他の電子デバイスに送信し得る。いくつかの実施形態では、対象識別ユニット740および接続コントローラ750は、電子デバイス700のための命令を実行するかまたは動作を実行することができる、中央処理ユニット(CPU)、アプリケーションプロセッサ(AP)、マイクロプロセッサユニット(MPU)などの任意の適切な処理ユニットを使用して実装され得る。対象識別ユニット740および接続コントローラ750はまた、電子デバイス700に実装されたハードウェアサブシステムであり得る。

通信ユニット760は、接続要求をブロードキャストまたはマルチキャストすることによって、接続要求を送信し得る。接続要求に応答して、対象デバイスは接続要求を確認し、確認されると、接続要求を受け入れる応答メッセージを電子デバイス700に送信し得る。接続コントローラ750は、通信ユニット760を介して対象デバイスから応答メッセージを受信し、通信ユニット760を介して対象デバイスとの接続を確立し得る。

通信ユニット760は、比較的短い通信距離を有するBluetooth(登録商標)、Wi-Fi Directなどを含む任意の適切な短距離通信プロトコルを実装し得る。別の実施形態では、通信ユニット760は、比較的短い通信距離を有する超音波信号などの不可聴ビーコン音信号を使用して、他の電子デバイスと通信し得る。そのような音信号を使用することによって、電子デバイス700は、電子デバイス700の短距離内に配置された他の電子デバイスとの通信を制御することができる。したがって、短い通信距離は、通信距離の外に配置された電子デバイスが電子デバイス700の通信信号を受信するのを防ぐことができる。いくつかの実施形態では、電子デバイス700の通信距離は、通信信号の出力電力レベルを制御することによって調整され得る。

いくつかの実施形態では、接続コントローラ750は、電子デバイス700が対象デバイスに極めて近接しているかどうかを対象デバイスが確認するのを可能にするセキュリティ情報を含む接続要求を生成し得る。たとえば、音センサー720は、電子デバイス700のユーザまたは他の人物の声、人混みのざわめき、バックグラウンドミュージックなどの環境音をキャプチャし得る。電子デバイス700が極めて近接していると対象デバイスが判断するのを可能にするために、接続コントローラ750は、通信ユニット760を介して、環境音から抽出された音特徴のセットを含む接続要求を送信し得る。

接続要求を受信したことに応答して、対象デバイスは、接続要求内の音特徴の受信されたセットに時間的に近い環境音をキャプチャし、キャプチャされた環境音から音特徴のセットを抽出し得る。音特徴の受信されたセットと音特徴の抽出されたセットを比較することによって、対象デバイスは、音特徴が類似していると判断し、電子デバイス700が対象デバイスに極めて近接して配置されているかどうかを確認し得る。たとえば、音特徴の受信されたセットと音特徴の抽出されたセットとの間の類似度が所定のしきい値を超える場合、対象デバイスは、接続を確立するために、接続要求を受け入れる応答メッセージを電子デバイス700に送信し得る。

一実施形態によれば、対象デバイスからの応答メッセージは、対象デバイスの環境音から抽出された音特徴のセットなどのセキュリティ情報を含み得る。そのような応答メッセージを受信すると、電子デバイス700は、音センサー720を通じて環境音をキャプチャし、キャプチャされた環境音から音特徴のセットを抽出し得る。接続コントローラ750は、音特徴の受信されたセットと音特徴の抽出されたセットを比較することによって、対象デバイスが電子デバイス700に極めて近接して配置されていることを確認し得る。確認されると、接続コントローラ750は、対象デバイスとの接続を確立し得る。

別の実施形態によれば、接続コントローラ750は、接続要求を送信(たとえば、ブロードキャストまたはマルチキャスト)したことに応答して複数の応答メッセージが複数の電子デバイスから受信されたときに接続を確立するために、対象デバイスへの通信を終了するように構成され得る。この場合、接続コントローラ750は、複数の応答メッセージが、1つまたは複数の非対象電子デバイスが電子デバイス700との接続を確立しようとしていることを示すと判断し得る。たとえば、複数の応答メッセージは、接続要求を送信した後または複数の応答メッセージの中から第1の応答メッセージを受信した後の所定の時間期間(たとえば、1秒)内に受信され得る。そのような場合、接続コントローラ750は、対象デバイスを確認することができないと判断し、対象デバイスとの接続を確立することなしに通信を終了し得る。別の実施形態では、通信を終了した後、接続コントローラ750は、指定された時間期間の後にまたはユーザ入力に応答して対象デバイスとの接続を確立するために、接続要求を再送信し得る。

図8は、本開示の一実施形態による、対象人物の指標に基づいて画像内の対象人物の顔を検出するように構成された対象識別ユニット740のより詳細なブロック図を示す。図示のように、対象識別ユニット740は、オブジェクト判断ユニット810と、顔検出ユニット820と、コマンド認識ユニット830と、顔照合ユニット840とを含み得る。対象人物の指標は、画像センサー710からのキャプチャされた画像内のポインティングオブジェクト、音センサー720からの音データ内の音声コマンド、および/またはI/Oユニット730からの入力コマンドであり得る。

対象識別ユニット740内では、オブジェクト判断ユニット810は、画像センサー710からのキャプチャされた画像を受信し、画像が対象人物の指標としてのポインティングオブジェクトを含むかどうかを判断するために画像に対してオブジェクト解析(たとえば、検出、セグメント化、認識など)を実行し得る。ポインティングオブジェクトは、対象人物を示すために使用され得る任意のオブジェクトであり、人物の指、手、腕、もしくは体、または人物の指、手、腕、もしくは体に関連付けられたオブジェクトを含み得る。いくつかの実施形態では、オブジェクト判断ユニット810は、特徴ベースの方法、エッジ照合、グレースケール照合、勾配照合などを使用して、オブジェクト解析を実行し得る。

一実施形態では、オブジェクト判断ユニット810は、画像内のポインティングオブジェクトを検出するのに使用するために、ストレージユニット770内のオブジェクトデータベースに記憶されたポインティングオブジェクトの複数の基準特徴にアクセスし得る。オブジェクト判断ユニット810は、画像内のオブジェクトの特徴を抽出し、オブジェクトの1つまたは複数の抽出された特徴がオブジェクトデータベース内のポインティングオブジェクトの1つまたは複数の基準特徴に類似しているかどうかを判断し得る。画像内のオブジェクトの抽出された特徴とポインティングオブジェクトの基準特徴との間の類似度が所定のしきい値を超えると判断された場合、抽出された特徴に関するオブジェクトは、ポインティングオブジェクトとして判断され、対象人物の指標として認識される。対象人物の指標としてのポインティングオブジェクトは、対象人物の顔を検出するために、顔検出ユニット820に提供され得る。

コマンド認識ユニット830は、音センサー720から入力音データを受信し、入力音データ内の音声コマンドを画像内の対象人物の指標として認識するように構成され得る。たとえば、1つまたは複数の音特徴(たとえば、オーディオフィンガープリント、MFCCベクトルなど)は、入力音データから抽出され得る。コマンド認識ユニット830は、GMM、HMM、SMMなどに基づいた任意の適切な音声認識方法を使用して、抽出された音特徴からの音声コマンドを認識し得る。

音声コマンドは、対象人物の名前など、対象人物を識別し得る任意の記述を含み得る。一実施形態では、音声コマンドは、画像内の対象人物の外見(たとえば、性別、衣類品、色の記述など)を記述し得る。別の実施形態では、音声コマンドは、画像内の対象人物の場所(たとえば、左、右、前、後ろなど)を示し得る。認識された音声コマンドは、画像センサー710からの画像内の対象人物の顔を検出するための対象人物の指標として、顔検出ユニット820に提供され得る。

顔検出ユニット820は、画像センサー710から画像を受信し、オブジェクト判断ユニット810およびコマンド認識ユニット830のうちの少なくとも1つから対象人物の1つまたは複数の指標を受信するように構成され得る。加えて、I/Oユニット730は、画像内の対象人物を示す入力コマンドを受信し、対象人物の指標として入力コマンドを顔検出ユニット820に提供し得る。画像から、顔検出ユニット820は、ポインティングオブジェクト、音声コマンド、および入力コマンドなどの少なくとも1つの指標に基づいて対象人物の顔を検出し得る。対象人物の顔が検出されると、接続要求を生成するために、検出された顔から対象人物の顔の特徴のセットが抽出され得る。

一実施形態では、対象人物の顔は、ポインティングオブジェクトに基づいて検出され得る。この場合、顔検出ユニット820は、ポインティングオブジェクトが画像内の対象人物を示すと判断し、対象人物の顔を検出し得る。たとえば、顔検出ユニット820は、画像内のポインティングオブジェクトに最も近い顔を対象人物の顔として検出し得る。代替的に、ポインティングオブジェクトに最も近い人物が対象人物として検出され得、その最も近い人物の顔が対象人物の顔として検出され得る。別の実施形態では、対象人物は、ポインティングオブジェクトが指している画像内の人物を判断することによって、検出され得る。

別の実施形態によれば、対象人物の顔は、コマンド認識ユニット830からの音声コマンドに基づいて検出され得る。音声コマンドに基づいて、顔検出ユニット820は、画像内の少なくとも1つの顔を検出し、対象人物を認識し得る。たとえば、顔検出ユニット820は、対象人物の外見および/または場所を記述する音声コマンド内の1つまたは複数の記述に基づいて、対象人物の顔を検出し得る。

対象人物の顔は、画像内の対象人物の顔がポインティングオブジェクトまたは音声コマンドのいずれかのみに基づいて検出されなかったとき、ポインティングオブジェクトと音声コマンドの両方に基づいて検出され得る。この場合、対象識別ユニット740は、追加のポインティングオブジェクトまたは音声コマンドなどの対象人物の追加の指標を提供するよう電子デバイス700のユーザに要求するメッセージを出力し得る。ユーザからの追加の指標に基づいて、顔検出ユニット820は、画像内の対象人物の顔を検出し、対象人物の顔の特徴のセットを抽出し得る。

いくつかの実施形態では、画像内の対象人物の顔は、I/Oユニット730からの入力コマンドに基づいて判断され得る。たとえば、I/Oユニット730が画像を表示するタッチスクリーンであるとき、I/Oユニット730は、入力コマンド、たとえば、対象人物が表示されている画像内の場所に対するタッチ入力を受信し得る。顔検出ユニット820は、画像内のタッチされた場所(たとえば、画像内のタッチ入力の座標)を含む、I/Oユニット730からの入力コマンドを対象人物の指標として受信し得る。指標に基づいて、顔検出ユニット820は、タッチされた場所に最も近い人物を対象人物として判断し、画像内の対象人物の顔を検出し得る。対象人物の顔の特徴のセットは、対象人物の検出された顔から抽出され得る。

画像内の対象人物の顔はまた、音声コマンド(たとえば、「ジョンに接続して(CONNECT TO JOHN)」)に含まれる対象人物の名前(たとえば、「ジョン(JOHN)」)に基づいて検出され得る。この場合、音センサー720は、対象人物の名前を含む、ユーザからの入力音をキャプチャし、音声コマンドとしての対象人物の名前を含む音データをコマンド認識ユニット830に出力し得る。コマンド認識ユニット830は、音声コマンドを対象人物の名前を識別するものとして認識し、音声コマンドを顔検出ユニット820に出力し得る。対象人物の名前を識別する音声コマンドを受信すると、顔検出ユニット820は、画像センサー710からの画像内の1つまたは複数の顔を検出し、検出された顔についての顔の特徴の1つまたは複数のセットを抽出し得る。顔の特徴の抽出されたセットは、顔照合ユニット840に提供される。

顔照合ユニット840は、コマンド認識ユニット830(または顔検出ユニット820)から音声コマンド内の名前を受信し、顔検出ユニット820から顔の特徴の抽出されたセットを受信するように構成され得る。顔照合ユニット840は、対象人物の名前に関連付けられた基準の顔の特徴のセットを取り出すために、ストレージユニット770にアクセスし得る。画像内の人物の顔の特徴の抽出されたセットから、対象人物の名前についての基準の顔の特徴と一致する顔の特徴のセットが対象人物についての顔の特徴のセットとして選択される。

接続コントローラ750は、顔検出ユニット820または顔照合ユニット840から対象人物の顔の特徴のセットを受信し、顔の特徴のセットおよび電子デバイス700の識別情報を含む接続要求を生成するように構成される。接続要求は、通信ユニット760を介して対象人物の対象デバイスに送信(たとえば、ブロードキャストまたはマルチキャスト)され得る。接続要求に応答して、対象デバイスは、接続要求を受け入れる応答メッセージを送信し得る。通信ユニット760を介して応答メッセージを受信すると、電子デバイス700は対象デバイスとの接続を確立し得る。

いくつかの実施形態では、対象デバイスからの応答メッセージは、対象デバイスが電子デバイス700に極めて近接していることを電子デバイス700が確認するのを可能にするセキュリティ情報を含み得る。たとえば、セキュリティ情報は、電子デバイス700のユーザの顔の特徴のセットを含み得る。この場合、対象デバイスは、ユーザを含む画像をキャプチャし、ユーザの顔の特徴のセットを抽出し得る。対象デバイスは、ユーザの顔の特徴の抽出されたセットを含む応答メッセージを電子デバイス700に送信し得る。

電子デバイス700が応答メッセージを受信すると、電子デバイス700内の接続コントローラ750は、応答メッセージ内の顔の特徴の受信されたセットを顔照合ユニット840に提供し得る。顔照合ユニット840は、ストレージユニット770にアクセスすることによって、電子デバイス700のユーザの基準の顔の特徴のセットを取り出し得る。顔の特徴の受信されたセットが基準の顔の特徴の取り出されたセットを示す場合、顔照合ユニット840は、対象デバイスが電子デバイス700に極めて近接していることを確認し、対象デバイスとの接続を確立するよう接続コントローラ750に命令する。

図9は、本開示の一実施形態による、応答メッセージを送信することによって別の電子デバイスと接続するように構成された電子デバイス900のブロック図を示す。電子デバイス900は、画像センサー910と、音センサー920と、ストレージユニット930と、照合ユニット940と、接続コントローラ950と、通信ユニット960とを含み得る。画像センサー910、音センサー920、ストレージユニット930、および通信ユニット960は、図7の構成要素と同じまたは同様の構成要素である。さらに、対象人物に関連付けられた対象デバイスとして選択され得る図1から図6の電子デバイス122、132、142、および152は、図9に示す電子デバイス900の構成要素で構成され得る。

画像センサー910は、別の電子デバイスからの接続要求を受信したことまたは電子デバイス900のユーザからの入力コマンドを受信したことに応答して、画像センサー910の視野内の画像をキャプチャするように構成され得る。別の実施形態では、画像センサー910は、その視野内の1つまたは複数の画像またはビデオを連続してまたは周期的にキャプチャし得る。キャプチャされた画像は、ストレージユニット930に永続的に(たとえば、電子ファイルの形態で)または一時的に記憶され得る。画像センサー910は、1つまたは複数の画像を検知するための任意の適切な数のカメラ、画像センサー、またはビデオカメラを含み得る。

音センサー920は、環境音を入力音としてキャプチャし、キャプチャされた環境音を入力音データに変換するように構成され得る。環境音は、ユーザまたは他の人物の声、人混みのざわめき、バックグラウンドミュージックなどを含み得る。入力音データは、接続要求を送信する他の電子デバイスが電子デバイス900に極めて近接して配置されているかどうかを確認するために、照合ユニット940に提供され得、これについては以下で詳細に説明する。音センサー920は、1つまたは複数のマイクロフォン、あるいは入力音を受信する、キャプチャする、検知する、および/または検出するために使用され得る任意の他のタイプの音センサーを含み得る。加えて、音センサー920は、そのような機能を実行するための任意の適切なソフトウェアおよび/またはハードウェアを利用し得る。

ストレージユニット930は、電子デバイス900のユーザについての基準の顔の特徴データベースを含み得る。基準の顔の特徴データベースは、ユーザの顔を含む画像から抽出され得る、ユーザの基準の顔の特徴のセットを含み得る。ストレージユニット930は、様々なタイプの情報およびデータを記憶するために、限定はしないが、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、EEPROM(電気的消去可能プログラマブル読取り専用メモリ)、またはフラッシュメモリを含む、任意の適切なタイプのメモリデバイスを使用して実装され得る。

照合ユニット940は、電子デバイス900が受信される接続要求の予定受信者(すなわち、対象デバイス)であるかどうかを確認するように構成され得る。別の電子デバイス(たとえば、図7の電子デバイス700)からの接続要求は、通信ユニット960によって受信され得る。接続要求は、他の電子デバイスによってキャプチャされた画像から抽出される対象人物の顔の特徴のセットを含み得る。接続要求はまた、製品識別番号、MACアドレス、IPアドレスなどの他の電子デバイスの識別情報を含み得る。顔の特徴の受信されたセットは、照合ユニット940に提供され得る。

対象人物の顔の特徴のセットを受信したことに応答して、照合ユニット940は、ストレージユニット930にアクセスすることによって、電子デバイス900のユーザについての基準の顔の特徴のセットを取り出し得る。対象ユーザの顔の特徴の受信されたセットがユーザの基準の顔の特徴の取り出されたセットを示す場合、照合ユニット940は、電子デバイス900のユーザが対象人物であり、電子デバイス900が予定受信者、すなわち、対象デバイスであることを確認する。この場合、照合ユニット940は、接続要求を受け入れるよう接続コントローラ950に命令し得る。

一実施形態では、照合ユニット940は、環境音に基づいて、接続要求を送信する他の電子デバイスが電子デバイス900に極めて近接しているかどうかを確認するように構成され得る。この場合、接続要求は、他の電子デバイスによってキャプチャされた環境音から抽出された音特徴のセットなどのセキュリティ情報を含み得る。音特徴のセットを受信すると、環境音は音センサー920によってキャプチャされ得、音特徴のセットは環境音から抽出される。音特徴のセットは、接続コントローラ950または別個の特徴抽出ユニット(図示せず)において抽出され得る。音特徴の抽出されたセットは、照合ユニット940に提供される。

音特徴の受信されたセットと音特徴の抽出されたセットを比較することによって、照合ユニット940は、音特徴が類似していると判断し、電子デバイス900および他の電子デバイスが極めて近接していることを確認し得る。たとえば、音特徴の受信されたセットと音特徴の抽出されたセットとの間の類似度が所定のしきい値を超える場合、他の電子デバイスは電子デバイス900に極めて近接していると確認される。この場合、照合ユニット940はまた、接続要求を受け入れるよう接続コントローラ950に命令し得る。

照合ユニット940からの命令に応答して、接続コントローラ950は、他の電子デバイスに送信するための応答メッセージを生成し得る。応答メッセージは、電子デバイス900と他の電子デバイスとの間の接続を確立するための受入れメッセージであり、製品識別情報、MACアドレス、IPアドレスなどの電子デバイス900の識別情報を含み得る。応答メッセージは、他の電子デバイスの受信された識別情報を宛先アドレスとして使用して、通信ユニット960を介して送信され得る。他の電子デバイスが応答メッセージを受信すると、他の電子デバイスは対象デバイスとしての電子デバイス900との接続を確立し得る。いくつかの実施形態では、照合ユニット940および接続コントローラ950は、電子デバイス900のための命令を実行するかまたは動作を実行することができる、中央処理ユニット(CPU)、アプリケーションプロセッサ(AP)、マイクロプロセッサユニット(MPU)などの任意の適切な処理ユニットを使用して実装され得る。照合ユニット940および接続コントローラ950はまた、電子デバイス900に実装されたハードウェアサブシステムであり得る。

図7の電子デバイス700と同様に、通信ユニット960は、比較的短い通信距離を有するBluetooth(登録商標)、Wi-Fi Directなどを含む任意の適切な短距離通信プロトコルを実装し得る。さらに、比較的短い通信距離を有する超音波信号などの不可聴ビーコン音信号が使用され得る。いくつかの実施形態では、電子デバイス900の通信距離は、通信信号の出力電力に基づいて調整され得る。

一実施形態によれば、接続コントローラ950は、対象デバイスとしての電子デバイス900が他の電子デバイスに極めて近接しているかどうかを他の電子デバイスが確認するのを可能にするセキュリティ情報を含む応答メッセージを生成し得る。たとえば、音センサー920は、環境音をキャプチャし得、接続コントローラ950は、環境音から抽出された音特徴のセットを含む応答メッセージを生成し得る。応答メッセージは、電子デバイス900が他の電子デバイスに極めて近接しているかどうかを他の電子デバイスが確認するのを可能にするために、通信ユニット960を介して他の電子デバイスに送信され得る。

電子デバイス900から応答メッセージを受信したことに応答して、他の電子デバイスは、環境音をキャプチャし、キャプチャされた環境音から音特徴のセットを抽出し得る。音特徴の受信されたセットと音特徴の抽出されたセットを比較することによって、他の電子デバイスは、電子デバイス900が極めて近接して配置されているかどうかを確認し得る。電子デバイス900が確認された場合、電子デバイス間の接続が確立され得る。

別の実施形態では、接続コントローラ950は、接続要求を送信する他の電子デバイスのユーザの顔の特徴のセットなどのセキュリティ情報を含む応答メッセージを生成し得る。セキュリティ情報は、電子デバイス900が他の電子デバイスに極めて近接しているかどうかを他の電子デバイスが確認するのを可能にする。この実施形態では、他の電子デバイスのユーザの画像がキャプチャされ得、ユーザの顔の特徴のセットが抽出され得る。

接続コントローラ950は、顔の特徴の抽出されたセットを受信し、セキュリティ情報として顔の特徴のセットを含む応答メッセージを生成し得る。応答メッセージは、通信ユニット960を介して他の電子デバイスに送信される。電子デバイス900から応答メッセージを受信すると、他の電子デバイスは、顔の特徴の受信されたセットとそのユーザについての基準の顔の特徴の記憶されたセットを比較し得る。顔の特徴の受信されたセットが基準の顔の特徴の記憶されたセットを示す場合、他の電子デバイスは、電子デバイス900が他の電子デバイスに極めて近接していることを確認し、電子デバイス900との接続を確立し得る。

図10は、本開示の一実施形態による、対象人物の指標に基づいて対象人物の対象デバイスとの接続を確立するための、電子デバイスにおいて実行される方法1000のフローチャートを示す。1010において、電子デバイス(たとえば、図7の電子デバイス700)は、電子デバイスのユーザによって対象人物として選択された人物を含む画像をキャプチャし得る。対象人物を示すために、ユーザは、ポインティングオブジェクトを使用してポインティングジェスチャーを行い、音声コマンドを話し、かつ/または電子デバイスのI/Oユニットを介してコマンドを入力することができる。ポインティングジェスチャーを行う場合、電子デバイスは、画像内のポインティングオブジェクトを使用してポインティングジェスチャーをキャプチャし得る。追加または代替として、電子デバイスは、ユーザからの音声コマンドを含む入力音を受信し得る。

1020において、電子デバイスは、対象人物の指標を認識する。一実施形態では、画像内のポインティングオブジェクトは、対象人物の指標として認識され得る。追加または代替として、音声コマンドは、受信された入力音からの対象人物の指標として認識され得る。加えて、入力コマンドは、対象人物の指標として認識され得る。したがって、電子デバイスは、対象人物の1つまたは複数の指標を認識し得る。

1030において、対象人物の顔は、指標に基づいて、キャプチャされた画像において検出される。この動作では、1つまたは複数の指標は、対象人物の顔を検出するために使用され得る。たとえば、指標としてのポインティングオブジェクトと音声コマンドの両方は、対象人物の顔を検出するために使用され得る。1040において、対象人物の顔の特徴のセットは、画像内の検出された顔から抽出される。

1050において、電子デバイスは、対象人物の顔の特徴の抽出されたセットを含む接続要求を、対象デバイスを含む他の電子デバイスに、接続要求をブロードキャストまたはマルチキャストすることによって、送信し得る。接続要求はまた、製品識別番号、MACアドレス、IPアドレスなどの電子デバイスの識別情報を含み得る。電子デバイスからの接続要求を受信すると、対象デバイスは、顔の特徴の受信されたセットが対象デバイスのユーザ(すなわち、対象人物)を示すかどうかを確認し、確認された場合、応答メッセージを電子デバイスに送信することによって、接続要求に応答する。電子デバイスは、1060において、対象デバイスからの接続要求を受け入れる応答メッセージを受信し得、1070において、対象デバイスとの接続を確立する。

図11は、本開示の一実施形態による、追加の指標を要求することによって対象人物の顔を検出するための、電子デバイスにおいて実行される詳細な方法1030のフローチャートを示す。1020において、電子デバイスは、図10に関して上記で説明したように、対象人物の少なくとも1つの指標を認識し得る。対象人物の少なくとも1つの指標に基づいて、1110において、電子デバイスは、キャプチャされた画像において1つまたは複数の顔(または人物)を認識し得る。

1120において、電子デバイスは、画像において2つ以上の顔が検出されるかどうかを判断し得る。1つの顔が検出された場合(すなわち、1120においてNO)、1130において、電子デバイスは検出された顔を対象人物の顔として識別し得、方法1030は、対象人物の顔から顔の特徴のセットを抽出するために1040に進む。一方、2つ以上の顔が検出された場合(すなわち、1120においてYES)、1140において、電子デバイスは、たとえば、要求を電子デバイスのユーザに出力することによって、対象人物を識別するための追加の指標を受信し得る。追加の指標は、ポインティングオブジェクト、音声コマンド、および/または任意の他の適切な入力コマンドを含み得る。追加の指標を受信したことに応答して、1150において、電子デバイスは追加の指標を認識し得、方法1030は、認識された追加の指標に基づいて画像内の1つまたは複数の顔を検出するために1110に進む。

図12は、本開示の一実施形態による、対象デバイスに接続するための方法および装置が実装され得る例示的な電子デバイス1200のブロック図である。電子デバイス1200の構成は、図1から図11に関して説明した上記の実施形態による電子デバイスにおいて実装され得る。電子デバイス1200は、セルラーフォン、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、端末、ハンドセット、携帯情報端末(PDA)、ワイヤレスモデム、コードレスフォン、眼鏡などであり得る。ワイヤレス通信システムは、符号分割多元接続(CDMA)システム、モバイル通信用グローバルシステム(GSM)システム、広帯域CDMA(WCDMA(登録商標))システム、ロングタームエボリューション(LTE)システム、LTEアドバンストシステムなどであり得る。さらに、電子デバイス1200は、たとえば、Wi-Fi DirectまたはBluetooth(登録商標)を使用して、別のモバイルデバイスと直接通信し得る。

電子デバイス1200は、受信経路および送信経路を介して双方向通信を提供することが可能である。受信経路上で、基地局によって送信された信号は、アンテナ1212によって受信され、受信機(RCVR)1214に与えられる。受信機1214は、受信された信号を調整およびデジタル化し、調整およびデジタル化されたデジタル信号などのサンプルを、さらなる処理のためにデジタルセクションに与える。送信経路上で、送信機(TMTR)1216は、送信されるべきデータをデジタルセクション1220から受信し、データを処理および調整し、被変調信号を生成し、被変調信号は、アンテナ1212を介して基地局に送信される。受信機1214および送信機1216は、CDMA、GSM、LTE、LTEアドバンストなどをサポートし得るトランシーバの一部であり得る。

デジタルセクション1220は、たとえば、モデムプロセッサ1222、縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1224、コントローラ/プロセッサ1226、内部メモリ1228、一般化オーディオエンコーダ1232、一般化オーディオデコーダ1234、グラフィックス/ディスプレイプロセッサ1236、および外部バスインターフェース(EBI)1238などの様々な処理ユニット、インターフェースユニット、およびメモリユニットを含む。モデムプロセッサ1222は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行し得る。RISC/DSP1224は、電子デバイス1200のための一般的処理および特殊処理を実行し得る。コントローラ/プロセッサ1226は、デジタルセクション1220内の様々な処理ユニットおよびインターフェースユニットの動作を実行し得る。内部メモリ1228は、デジタルセクション1220内の様々なユニットのためのデータおよび/または命令を記憶し得る。

一般化オーディオエンコーダ1232は、オーディオソース1242、マイクロフォン1243などからの入力信号に対して符号化を実行し得る。一般化オーディオデコーダ1234は、コード化オーディオデータに対して復号を実行し得、出力信号を機能判断エンジン1244に与え得る。グラフィックス/ディスプレイプロセッサ1236は、ディスプレイユニット1246に提示され得るグラフィックス、ビデオ、画像、およびテキストに対して処理を実行し得る。EBI1238は、デジタルセクション1220とメインメモリ1248との間のデータの転送を容易にし得る。

デジタルセクション1220は、1つまたは複数のプロセッサ、DSP、マイクロプロセッサ、RISCなどを用いて実装され得る。デジタルセクション1220はまた、1つまたは複数の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上に製作され得る。

一般に、本明細書で説明する任意のデバイスは、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部モデムまたは内部モデム、ワイヤレスチャネルを通じて通信するデバイスなどの様々なタイプのデバイスを表し得る。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、モバイルフォン、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなどの様々な名前を有し得る。本明細書で説明する任意のデバイスは、命令およびデータを記憶するためのメモリ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを有し得る。

本明細書で説明する技法は、様々な手段によって実装され得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者はさらに諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。

ハードウェア実装では、技法を実行するために使用される処理ユニットは、1つまたは複数のASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装され得る。

したがって、本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAもしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行される。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。

ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。さらに、任意の接続が適切にコンピュータ可読媒体と呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はレーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

本開示の前述の説明は、いかなる当業者も本開示を作製または使用できるようにするために提供される。本開示の様々な修正は当業者に容易に明らかになり、本明細書で定義する一般原理は、本開示の趣旨または範囲を逸脱することなく、他の変形形態に適用される。したがって、本開示は本明細書で説明する例に限定されるものではなく、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。

例示的な実装形態は、現在開示される主題の態様を1つまたは複数のスタンドアロンコンピュータシステムのコンテキストにおいて利用することに言及されるが、主題はそのように限定されず、むしろネットワークまたは分散コンピューティング環境などの任意のコンピューティング環境とともに実装され得る。またさらに、現在開示される主題の態様は、複数の処理チップもしくはデバイスにおいて、または複数の処理チップもしくはデバイスにわたって実装され得、ストレージは複数のデバイスにわたって同様に割り当てられ得る。そのようなデバイスは、PC、ネットワークサーバ、およびハンドヘルドデバイスを含み得る。

構造的な特徴および/または方法論的な動作に特有の言葉で主題について説明してきたが、添付の特許請求の範囲で定義する主題は必ずしも上記で説明した特定の特徴または動作に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および動作は、特許請求の範囲を実装する例示的な形態として開示される。

110 ユーザ
112 電子デバイス
114 ポインティングオブジェクト
120 人物
122 電子デバイス
130 人物
132 電子デバイス、対象デバイス
140 人物
142 電子デバイス
150 人物
152 電子デバイス
210 画像
212 顔
220 画像センサー
230 音センサー
240 光学レンズ
310 音声コマンド
410 画像
412 顔
510 ポインティングオブジェクト
520 音声コマンド
610 画像
612 顔
614 キャップ
700 電子デバイス
710 画像センサー
720 音センサー
730 I/O(入力/出力)ユニット
740 対象識別ユニット
750 接続コントローラ
760 通信ユニット
770 ストレージユニット
810 オブジェクト判断ユニット
820 顔検出ユニット
830 コマンド認識ユニット
840 顔照合ユニット
900 電子デバイス
910 画像センサー
920 音センサー
930 ストレージユニット
940 照合ユニット
950 接続コントローラ
960 通信ユニット
1000 方法
1030 方法
1200 電子デバイス
1212 アンテナ
1214 受信機(RCVR)
1216 送信機(TMTR)
1220 デジタルセクション
1222 モデムプロセッサ
1224 縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)
1226 コントローラ/プロセッサ
1228 内部メモリ
1232 一般化オーディオエンコーダ
1234 一般化オーディオデコーダ
1236 グラフィックス/ディスプレイプロセッサ
1238 外部バスインターフェース(EBI)
1242 オーディオソース
1243 マイクロフォン
1244 機能判断エンジン
1246 ディスプレイユニット
1248 メインメモリ

Claims (30)

1. 対象デバイスに接続するための、電子デバイスにおいて実行される方法であって、
   前記対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするステップと、
   前記対象人物の指標を認識するステップと、
   前記指標に基づいて前記画像内の前記対象人物の前記顔を検出するステップと、
   前記画像内の前記顔の少なくとも1つの顔の特徴を抽出するステップと、
   前記少なくとも1つの顔の特徴に基づいて前記対象デバイスに接続するステップと
   を含む方法。
2. 前記指標を認識するステップが、前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するステップを含む、請求項1に記載の方法。
3. 前記指標を認識するステップが、
   入力音を受信するステップと、
   前記入力音からの音声コマンドを前記対象人物の前記指標として認識するステップと
   を含む、請求項1に記載の方法。
4. 前記指標を認識するステップが、入力コマンドを前記対象人物の前記指標として受信するステップを含む、請求項1に記載の方法。
5. 前記指標を認識するステップが、
   前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するステップと、
   入力音からの音声コマンドを前記対象人物の前記指標として認識するステップと
   を含む、請求項1に記載の方法。
6. 前記対象人物の前記顔を検出するステップが、
   前記画像において複数の顔が検出された場合、前記対象人物を識別する追加の指標を受信するステップと、
   前記追加の指標に基づいて前記対象人物の前記顔を検出するステップと
   を含む、請求項1に記載の方法。
7. 前記対象デバイスに接続するステップが、
   前記少なくとも1つの顔の特徴を含む接続要求を送信するステップと、
   前記対象デバイスから、前記電子デバイスに接続するための応答メッセージを受信するステップと、
   前記応答メッセージに基づいて前記対象デバイスとの前記接続を確立するステップと
   を含む、請求項1に記載の方法。
8. 前記応答メッセージが、前記対象デバイスを確認するためのセキュリティ情報を含み、
   前記対象デバイスとの前記接続を確立するステップが、前記セキュリティ情報に基づいて前記応答メッセージを確認するステップを含む、
   請求項7に記載の方法。
9. 前記セキュリティ情報が、前記対象デバイスによってキャプチャされた環境音データおよび前記電子デバイスのユーザの顔の特徴データのうちの少なくとも1つを含む、請求項8に記載の方法。
10. 前記対象デバイスに接続するステップが、
    前記少なくとも1つの顔の特徴を含む接続要求を送信するステップと、
    前記電子デバイスに接続するための複数の応答メッセージが受信されたかどうかに基づいて前記対象デバイスとの前記接続を確立するステップと
    を含む、請求項1に記載の方法。
11. 対象デバイスに接続するための電子デバイスであって、
    前記対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするように構成された画像センサーと、
    前記対象人物の指標を認識し、前記指標に基づいて前記画像内の前記対象人物の前記顔を検出することによって、前記画像内の前記顔の少なくとも1つの顔の特徴を抽出するように構成された対象識別ユニットと、
    前記少なくとも1つの顔の特徴に基づいて前記対象デバイスへの接続を確立するように構成された接続コントローラと
    を備える電子デバイス。
12. 前記対象識別ユニットが、前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するように構成されたオブジェクト判断ユニットを備える、請求項11に記載の電子デバイス。
13. 前記対象識別ユニットが、入力音からの音声コマンドを前記対象人物の前記指標として認識するように構成されたコマンド認識ユニットを備える、請求項11に記載の電子デバイス。
14. 入力コマンドを前記対象人物の前記指標として受信するように構成された入力ユニットをさらに備える、請求項11に記載の電子デバイス。
15. 前記対象識別ユニットが、
    前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するように構成されたオブジェクト判断ユニットと、
    入力音からの音声コマンドを前記対象人物の前記指標として認識するように構成されたコマンド認識ユニットと
    を備える、請求項11に記載の電子デバイス。
16. 前記対象識別ユニットが、
    前記画像において複数の顔が検出された場合、前記対象人物を識別する追加の指標を受信し、
    前記追加の指標に基づいて前記対象人物の前記顔を検出する
    ようにさらに構成される、請求項11に記載の電子デバイス。
17. 前記接続コントローラが、
    前記少なくとも1つの顔の特徴を含む接続要求を送信し、
    前記対象デバイスから、前記電子デバイスに接続するための応答メッセージを受信し、
    前記応答メッセージに基づいて前記対象デバイスとの前記接続を確立する
    ようにさらに構成される、請求項11に記載の電子デバイス。
18. 前記応答メッセージが、前記対象デバイスを確認するためのセキュリティ情報を含み、
    前記接続コントローラが、前記セキュリティ情報に基づいて前記応答メッセージを確認するようにさらに構成される、
    請求項17に記載の電子デバイス。
19. 前記セキュリティ情報が、前記対象デバイスによってキャプチャされた環境音データおよび前記電子デバイスのユーザの顔の特徴データのうちの少なくとも1つを含む、請求項18に記載の電子デバイス。
20. 前記接続コントローラが、
    前記少なくとも1つの顔の特徴を含む接続要求を送信し、
    前記電子デバイスに接続するための複数の応答メッセージが受信されたかどうかに基づいて前記対象デバイスとの前記接続を確立する
    ようにさらに構成される、請求項11に記載の電子デバイス。
21. 対象デバイスに接続するための命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、電子デバイスのプロセッサに、
    前記対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャする動作と、
    前記対象人物の指標を認識する動作と、
    前記指標に基づいて前記画像内の前記対象人物の前記顔を検出する動作と、
    前記画像内の前記顔の少なくとも1つの顔の特徴を抽出する動作と、
    前記少なくとも1つの顔の特徴に基づいて前記対象デバイスに接続する動作と
    を実行させる、非一時的コンピュータ可読記憶媒体。
22. 前記指標を認識することが、前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するステップことを含む、請求項21に記載の媒体。
23. 前記指標を認識することが、
    入力音を受信することと、
    前記入力音からの音声コマンドを前記対象人物の前記指標として認識することと
    を含む、請求項21に記載の媒体。
24. 前記対象デバイスに接続することが、
    前記少なくとも1つの顔の特徴を含む接続要求を送信することと、
    前記対象デバイスから、前記電子デバイスに接続するための応答メッセージを受信することと、
    前記応答メッセージに基づいて前記対象デバイスとの前記接続を確立することと
    を含む、請求項21に記載の媒体。
25. 前記応答メッセージが、前記対象デバイスを確認するためのセキュリティ情報を含み、
    前記対象デバイスとの前記接続を確立することが、前記セキュリティ情報に基づいて前記応答メッセージを確認することを含む、
    請求項24に記載の媒体。
26. 対象デバイスに接続するための電子デバイスであって、
    前記対象デバイスに関連付けられた対象人物の顔を含む画像をキャプチャするための手段と、
    前記対象人物の指標を認識し、前記指標に基づいて前記画像内の前記対象人物の前記顔を検出することによって、前記画像内の前記顔の少なくとも1つの顔の特徴を抽出するための手段と、
    前記少なくとも1つの顔の特徴に基づいて前記対象デバイスへの接続を確立するための手段と
    を備える電子デバイス。
27. 前記顔の前記少なくとも1つの顔の特徴を前記抽出するための手段が、前記画像内のポインティングオブジェクトを前記対象人物の前記指標として検出するための手段を備える、請求項26に記載の電子デバイス。
28. 前記顔の前記少なくとも1つの顔の特徴を前記抽出するための手段が、入力音からの音声コマンドを前記対象人物の前記指標として認識するための手段を備える、請求項26に記載の電子デバイス。
29. 前記対象デバイスへの前記接続を確立するための前記手段が、
    前記少なくとも1つの顔の特徴を含む接続要求を送信し、
    前記対象デバイスから、前記電子デバイスに接続するための応答メッセージを受信し、
    前記応答メッセージに基づいて前記対象デバイスとの前記接続を確立する
    ように構成される、請求項26に記載の電子デバイス。
30. 前記応答メッセージが、前記対象デバイスを確認するためのセキュリティ情報を含み、
    前記対象デバイスへの前記接続を確立するための前記手段が、前記セキュリティ情報に基づいて前記応答メッセージを確認するようにさらに構成される、
    請求項29に記載の電子デバイス。

Images