JP2014525613A - 写真を自動的に共有するためのスマートカメラ - Google Patents

Abstract

本発明の実施形態は、イベントまたは行事における注目するオブジェクトの写真を撮影し、共有するための方法、装置、システム、およびコンピュータ可読媒体を開示する。本発明の実施形態を実装するデバイスにより、ユーザは、デバイスに結合された表示ユニットによって表示される画像（view：写真）から注目するオブジェクトを選択することができる可能性がある。本デバイスは、デバイスが検出するオブジェクトを含む、事前プログラムされたオブジェクトを有することもできる。加えて、本デバイスは、Facebook(登録商標)およびLinkedIn(登録商標)などのソーシャルネットワークから画像を取り出すことにより、ユーザのソーシャルネットワークを使用して人々を検出することができる。

Description

関連出願の相互参照
本特許出願は、全体が参照により本明細書に組み込まれる、「Smart Camera Automatically Take and Share Great Shots」という名称の、2011年8月18日に出願した米国仮特許出願第61/525,148号の利益を主張する。

本開示の態様は、コンピューティング技術に関する。具体的には、本開示の態様は、画像を取得および共有するためのシステム、方法、装置、およびコンピュータ可読媒体などのモバイルコンピューティングデバイス技術に関する。

過去、写真を撮影することは、いつも、バースデーパーティ、家族の再会、およびエキゾチックな目的地への旅行などの特別な行事に、または趣味として用意された儀礼的なイベントであった。しかしながら、カメラは、スマートフォンへのその統合によってユビキタス性を帯びてきており、人々は、昔よりも多くの写真を撮影している。写真を撮影し、共有することは、社会機構の新しい基準になってきた。より若い世代は、出先で瞬時に写真を撮影し、共有したがる。

写真をキャプチャし、管理し、ソーシャルネットワークにアップロードすることは、依然として煩雑な作業である。多くの場合、ユーザは、写真を撮影した後、通常、写真をコンピュータにダウンロードし、写真全体を分類し、最良のショットを保存し、残りを削除する。写真が分類および編集されると、ユーザは、写真をソーシャルネットワークにアップロードする。ユーザは、写真の主題に応じて、特定のソーシャルネットワークまたはサークルに写真をロードする。たとえば、ユーザは、オフィスにおける同僚の写真をLinkedIn(登録商標)などの専門のソーシャルネットワークにロードすることができる一方で、ユーザは、友人との再会の写真を、Facebook(登録商標)などのソーシャルネットワーク、またはGoogle Plus(登録商標)などのソーシャルネットワーク内の友人専用のサークルにロードすることができる。

現在の使用モデルでは、ユーザが適正な写真をソーシャルネットワーク上にロードし、共有することができる以前に、ユーザを巻き込む、あまりにも多くのステップが存在する。このプロセスは、時間の浪費と煩雑さの両方を有する。

本発明の実施形態は、この問題および他の問題を解決するのを助ける。

イベントまたは行事における注目するオブジェクトの写真を撮影し、共有するための技法が提供される。本発明の実施形態は、イベントまたは行事における注目するオブジェクトの写真を撮影し、共有するための方法、装置、システム、およびコンピュータ可読媒体を開示する。本発明の実施形態を実装するデバイスにより、ユーザは、デバイスに結合された表示ユニットによって表示される画像（view：写真）から注目するオブジェクトを選択することができる可能性がある。本デバイスは、デバイスが検出するオブジェクトを含む、事前プログラムされたオブジェクトを有することもできる。加えて、本デバイスは、Facebook(登録商標)およびLinkedIn(登録商標)などのソーシャルネットワークから画像を取り出すことにより、ユーザのソーシャルネットワークを使用して人々を検出することができる。

デバイスを使用して写真を共有するための例示的な方法は、画像に関する画像データにアクセスするステップと、画像に関する画像データを処理することにより得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、画像内の少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、画像を共有属性に自動的に関連付けるステップと、共有属性に基づいて画像を共有するための情報を生成するステップとを含む。

一実施形態では、少なくとも1つのオブジェクトを識別することは、画像データの一部またはすべてを使用して少なくとも1つのオブジェクトに関連する画像の少なくとも一部の第1の画像表現を生成するステップと、第1の画像表現を、データベースに記憶された基準オブジェクトの第2の画像表現と比較するステップとを含む。一態様では、データベースは、写真を共有するために使用されるデバイスに格納される内部データベース、またはネットワークリソースに属する外部データベースのうちの1つである。

別の実施形態では、少なくとも1つのオブジェクトを識別することは、少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスするステップと、少なくとも1つのオブジェクトに関連する少なくとも1つの特性に基づいて少なくとも1つのオブジェクトの識別情報を決定するステップとを含む。一態様では、オブジェクトは人物であり、顔認識が、人物の顔を含む少なくとも1つのオブジェクトに関連する画像の一部を識別する際に使用され得る。

一態様では、オブジェクトの識別は、オブジェクトの低解像度の画像表現を使用して行われる。本方法は、画像の共有属性に基づいて、画像をソーシャルネットワークまたはソーシャルネットワーク内のオブジェクトのグルーピング（grouping：分類、集団、系列）に関連付けるステップを含むこともできる。共有属性は、画像がキャプチャされた場所、画像がキャプチャされた時刻、識別された少なくとも1つのオブジェクトに関する同様のオブジェクトへの関連付けの履歴、画像内の少なくとも1つのオブジェクトおよび人々の顔認識の特性、デバイスのユーザとソーシャルネットワーク内のオブジェクトのグルーピングとの関係、ならびにデバイスのユーザとソーシャルネットワーク内のオブジェクトのグルーピングとの間のデジタルトラスト（digital trust：デジタル信用）のうちの1つまたは複数を使用して得られ得る。

いくつかの実施形態では、識別されたオブジェクトは人物である。人物は、ネットワークリソースを使用して画像内の識別された第1の人物へのアクセス権が付与され得る。本方法は、第1の人物と本デバイスのユーザとの間の第1の信頼関係、および第2の人物と本デバイスのユーザとの間の第2の信頼関係を使用して、第1の人物と第2の人物との間で確立された推移的な信頼に基づいて、ネットワークリソースを使用して第2の人物に画像へのアクセス権を自動的に付与するステップをさらに含むことができる。他の実装形態では、本方法は、第1の人物の人々のグループとの関連付けに基づいてネットワークリソースを使用して人々のグループに画像へのアクセス権を自動的に付与することができる。

写真を共有するために本発明の実施形態によって実行される方法は、サーバにおいてネットワークリソースを使用して本デバイスからの画像に関する画像データを受け取るステップと、サーバから、共有属性に基づいて画像を共有するための情報を送るステップとをさらに含むことができる。

一実施形態では、写真を共有するための方法は、デバイスの表示ユニット上に表示された少なくとも1つのオブジェクトをハイライトするように構成されたユーザインターフェースをユーザに提供するステップを含むこともできる。本方法は、ハイライトされたオブジェクトの選択、処分、または変更のうちの1つまたは複数を実行するために、ユーザインターフェースを使用して入力を受け取るステップをさらに含むことができる。本方法は、少なくとも1つのオブジェクトに関する識別可能な情報を、ハイライトされたオブジェクトにタグ付けすることができる。別の態様は、共有属性に基づいて、少なくとも1つの関連付けを含むリストをユーザに提供するステップを含むことができる。別の態様は、画像の共有属性に基づいて、ネットワークリソースを使用して画像をオブジェクトの他のグルーピングに関連付ける、画像を共有するためのユーザインターフェースをユーザに提供するステップを含むことができる。

本システムを実装する例示的なデバイスは、プロセッサ、プロセッサに結合された入力感知ユニット、プロセッサに結合された表示ユニット、およびプロセッサに結合された非一時的コンピュータ可読記憶媒体を含むことができるが、非一時的コンピュータ可読記憶媒体は、画像に関する画像データの処理によって得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、画像内の少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、画像を共有属性に自動的に関連付けるステップと、共有属性に基づいて画像を共有するための情報を生成するステップとを含む、プロセッサによって実行可能なコードを含むことができる。

一実施形態では、本デバイスは、画像データの一部またはすべてを使用して少なくとも1つのオブジェクトに関連する画像の少なくとも一部の第1の画像表現を生成し、第1の画像表現を、データベースに記憶された基準オブジェクトの第2の画像表現と比較することにより、少なくとも1つのオブジェクトを識別する。一態様では、データベースは、写真を共有するために使用されるデバイスに格納される内部データベース、またはネットワークリソースに属する外部データベースのうちの1つである可能性がある。

別の実施形態では、本デバイスは、少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスし、少なくとも1つのオブジェクトに関連する少なくとも1つの特性に基づいて少なくとも1つのオブジェクトの識別情報を決定することにより、少なくとも1つのオブジェクトを識別する。一態様では、オブジェクトは人物であり、顔認識が、人物の顔を含む少なくとも1つのオブジェクトに関連する画像の一部を識別する際に使用され得る。

一態様では、オブジェクトの識別は、オブジェクトの低解像度の画像表現を使用して行われる。本デバイスは、画像の共有属性に基づいて、画像をソーシャルネットワークまたはソーシャルネットワーク内のオブジェクトのグルーピングに関連付けるステップを含むこともできる。共有属性は、画像がキャプチャされた場所、画像がキャプチャされた時刻、識別された少なくとも1つのオブジェクトに関する同様のオブジェクトへの関連付けの履歴、画像内の少なくとも1つのオブジェクトおよび人々の顔認識の特性、デバイスのユーザとソーシャルネットワーク内のオブジェクトのグルーピングとの関係、ならびにデバイスのユーザとソーシャルネットワーク内のオブジェクトのグルーピングとの間のデジタルトラストのうちの1つまたは複数を使用して得られ得る。

いくつかの実施形態では、識別されたオブジェクトは(第1の)人物である。人物は、ネットワークリソースを使用して画像内の識別された第1の人物へのアクセス権が付与され得る。本デバイスは、第1の人物と本デバイスのユーザとの間の第1の信頼関係、および第2の人物と本デバイスのユーザとの間の第2の信頼関係を使用して、第1の人物と第2の人物との間で確立された推移的な信頼に基づいて、ネットワークリソースを使用して第2の人物に画像へのアクセス権を自動的に付与することができる。他の実装形態では、本デバイスは、第1の人物の人々のグループとの関連付けに基づいてネットワークリソースを使用して人々のグループに画像へのアクセス権を自動的に付与することができる。

本デバイスは、サーバにおいてネットワークリソースを使用して本デバイスからの画像に関する画像データを受け取り、サーバから、共有属性に基づいて画像を共有するための情報を送るための構成要素をさらに含むことができる。

一実施形態では、写真を共有するためのデバイスは、デバイスの表示ユニット上に表示された少なくとも1つのオブジェクトをハイライトするように構成されたユーザインターフェースをユーザに提供するステップを含むこともできる。本デバイスは、ハイライトされたオブジェクトの選択、処分、または変更のうちの1つまたは複数を実行するために、ユーザインターフェースを使用して入力を受け取るステップをさらに含むことができる。本デバイスは、少なくとも1つのオブジェクトに関する識別可能な情報を、ハイライトされたオブジェクトにタグ付けすることができる。別の態様は、共有属性に基づいて、少なくとも1つの関連付けを含むリストをユーザに提供するステップを含むことができる。別の態様は、画像の共有属性に基づいて、ネットワークリソースを使用して画像をオブジェクトの他のグルーピングに関連付ける、画像を共有するためのユーザインターフェースをユーザに提供するステップを含むことができる。

プロセッサに結合された例示的な非一時的コンピュータ可読記憶媒体は、画像に関する画像データにアクセスするステップと、画像に関する画像データを処理することにより得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、画像内の少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、画像を共有属性に自動的に関連付けるステップと、共有属性に基づいて画像を共有するための情報を生成するステップとをプロセッサによって実行可能なコンピュータプログラムを含む。

画像を共有するための例示的な装置は、画像に関する画像データにアクセスするための手段と、画像に関する画像データを処理することにより得られる少なくとも1つのオブジェクトの識別情報にアクセスするための手段と、画像内の少なくとも1つのオブジェクトに関連する共有属性にアクセスするための手段と、画像を共有属性に自動的に関連付けるための手段と、共有属性に基づいて画像を共有するための情報を生成するための手段とを含む。

上記は、続く詳細な説明をよりよく理解できるように、本開示による例の特徴および技術的利点をかなり広く概説した。さらなる特徴および利点は、下記で説明される。本開示の同じ目的を実施するために他の構造を修正または設計する際の基礎として、開示される概念および特定の実施例が容易に利用され得る。そのような等価な構造は、添付の特許請求の範囲の趣旨および範囲から逸脱しない。構成と動作方法の両方に関する、本明細書で開示される概念の特徴であると考えられる特徴は、関連する利点とともに、添付の図面とともに検討すると下記の説明からよりよく理解されよう。しかし、図面の各々は例示および説明のみのために与えられ、特許請求の範囲の限定範囲を定めるために与えられるものではない。

下記の説明は、全体を通して同様の参照番号が同様の要素を指すのに使用される図面を参照しながら与えられる。1つまたは複数の技法の様々な詳細を本明細書で説明するが、他の技法も考えられる。場合によっては、様々な技法の説明を容易にするために、既知の構造およびデバイスがブロック図の形式で示されている。

明細書の残りの部分および図面を参照することによって、本開示によって与えられる実施例の性質および利点をさらに理解することができ、同様の参照番号が、同様の構成要素を指すために、いくつかの図面全体で用いられる。いくつかの場合には、複数の同様の構成要素の1つを指すために、サブラベルが参照番号と関連付けられる。

本開示の1つまたは複数の態様が実装され得る例示的なデバイスを示す図である。 イベントのある時間期間にわたって、ある人物を追跡するための本デバイスの構成要素によって実行される例示的な実施形態を示す図である。 イベントのある時間期間にわたって、ある人物を追跡するための本デバイスの構成要素によって実行される例示的な実施形態を示す図である。 オブジェクトを追跡し、視野からの画像データを取得するための例示的な方法300を示す簡略流れ図である。 デバイスとネットワークとの間の簡単なトポロジーを示す図である。 ユーザインターフェースの例示的な実施形態を示す図である。 ユーザインターフェースの例示的な実施形態を示す図である。 本デバイスにおけるユーザにユーザインターフェースを提供するための例示的な方法600を示す簡略流れ図である。 高解像度画像から所望のコンテンツを取得するための例示的な方法700を示す簡略流れ図である。 所望の画像を保持するための例示的な方法800を示す簡略流れ図である。 画像を取得するために低解像度から高解像度に切り替えるための例示的な方法900を示す簡略流れ図である。 画像を共有するための本デバイスの構成要素によって実行される例示的な実施形態を示す図である。 ネットワークを介して画像を共有するための例示的な方法1100を示す簡略流れ図である。 ネットワークを介して画像を共有するための例示的な方法1200を示す別の簡略流れ図である。

ここで、いくつかの例示的な実施形態が、この一部を形成する添付の図面に関して説明される。本開示の1つまたは複数の態様が実装され得る特定の実施形態を下記で説明するが、本開示の範囲、または添付の特許請求の範囲の趣旨を逸脱することなく、他の実施形態を使用することができ、様々な変更を行うことができる。

本技法は、画像の取得、および取得画像を共有することに関する。カメラがますます多くのデバイス上で利用可能になり、様々な異なる社会機構にわたって画像が共有されるが、画像を共有するためのプロセスは、比較的変化していない。一般に、ユーザは、画像を取得し、画像を共有するためのソーシャルメディアおよびコンテキストを手作業で選択する。画像を取得し、写真を管理し、体系化し、編集し、ソーシャルネットワークにアップロードするプロセスは、煩雑な作業である。ユーザは、写真を撮影した後、写真をコンピュータにダウンロードし、写真全体を分類し、最良のショットを保存し、写真をソーシャルネットワークにアップロードすることに圧倒される。ユーザは、写真の主題に応じて、特定のソーシャルネットワークまたはサークルに写真をロードする。たとえば、ユーザは、オフィスにおける同僚の写真をLinkedIn(登録商標)などの専門のソーシャルネットワークにロードすることができる一方で、ユーザは、友人との再会の写真を、Facebook(登録商標)などのソーシャルネットワーク、またはGoogle Plus(登録商標)などのソーシャルネットワーク内の友人専用のサークルにロードすることができる。

対照的に、本開示は、よりスマートな方法で画像を共有することを可能にする技法を提供する。いくつかの実施形態では、カメラの視野からの1つまたは複数のオブジェクトが識別される。画像に関連する様々な共有属性は、下記でさらに詳細に説明されるように、ユーザのソーシャルネットワークおよび様々な他の適切な技法からの情報を使用して得られ得る。本デバイスは、共有属性に基づいて、取得画像を共有するための示唆をユーザに自動的に提供するか、またはユーザの介入なしに画像を自動的に共有することができる。

図1は、本発明の実施形態を実施する際に使用されるデバイスの一部を組み込んだ例示的なデバイスを示す。図1に示す例示的なデバイスは、下記に説明されるコンピュータ化されたデバイスの一部として組み込まれる可能性がある。たとえば、デバイス100は、モバイルデバイスの構成要素のうちのいくつかを表すことができる。モバイルデバイスは、カメラおよび表示ユニットなどの入力センサユニットを有する任意のコンピューティングデバイスである可能性がある。モバイルデバイスの例には、限定はしないが、ビデオゲーム機、タブレット、スマートフォン、カメラデバイス、および本発明の実施形態を実行するのに適した任意の他のハンドヘルドデバイスが含まれる。図1は、本明細書で説明されるように、様々な他の実施形態によって提供される方法を実行することができ、ならびに/またはホストデバイス、リモートキオスク/ターミナル、販売時点デバイス、モバイルデバイス、セットトップボックスおよび/もしくはデバイスとして機能することができるデバイス100の一実施形態の概略図を提供する。図1は、様々な構成要素の一般化された図を提供することだけを意図されており、これらの構成要素のいずれかまたはすべてを適宜利用することができる。したがって、図1は、個々のシステム要素が、比較的別々に、または比較的より一体的に、どのように実装され得るかを広く示す。図1は、図1を参照して説明される構成要素を使用することができる例示的なハンドヘルドカメラデバイスまたはモバイルデバイスである。一実施形態では、図1で説明される構成要素の一部のみが、実装され、本発明の実施形態を実行することが可能になる。たとえば、カメラデバイスは、図1で説明される他の構成要素とともに、1つまたは複数のカメラ、記憶装置、または処理構成要素を有することができる。

デバイス100は、バス105を介して電気的に結合され得る(または場合によっては適宜、通信している可能性がある)ハードウェア要素を含むように示される。ハードウェア要素は、限定はしないが、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックアクセラレーションプロセッサなど)を含む1つまたは複数のプロセッサ110と、限定はしないが、カメラ、センサ(慣性センサを含む)、マウス、キーボードなどを含む可能性がある1つまたは複数の入力デバイス115と、限定はしないが、表示ユニット、プリンタなどを含む可能性がある1つまたは複数の出力デバイス120とを含むことができる。加えて、ハードウェア要素は、下記でさらに詳細に説明されるように、画像コンテンツを取得するための、図1に示す1つまたは複数のカメラ150を含むこともできる。

デバイス100は、限定はしないが、ローカルおよび/またはネットワークのアクセス可能な記憶装置を含む可能性がある、1つまたは複数の非一時的記憶デバイス125をさらに含む(および/またはこれらと通信している)可能性があり、ならびに/または、限定はしないが、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラム可能である可能性があるランダムアクセスメモリ(「RAM」)および/もしくはリードオンリーメモリ(「ROM」)などの固体記憶デバイス、アップデート可能なフラッシュなどを含む可能性がある。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む任意の適切なデータ記憶装置を実装するように構成され得る。

デバイス100は、限定はしないが、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、ワイヤレス通信デバイス、および/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含む可能性がある通信サブシステム130を含むこともできる。通信サブシステム130により、データをネットワーク(一例を挙げると、下記で説明されるネットワークなど)、他のデバイス、および/または本明細書で説明する任意の他のデバイスと交換することが可能になる可能性がある。多くの実施形態では、デバイス100は、上述のように、RAMまたはROMデバイスを含む可能性がある非一時的作業メモリ135をさらに含む。

また、デバイス100は、オペレーティングシステム140、デバイスドライバ、実行可能なライブラリ、および/もしくは様々な実施形態によって与えられるコンピュータプログラムを含む可能性がある1つもしくは複数のアプリケーションプログラム145などの他のコードを含む作業メモリ135内に位置するものとしてここでは示されるソフトウェア要素を含むことができ、ならびに/または、本明細書で説明されるように、他の実施形態によって与えられる方法を実装するよう、および/もしくはシステムを構成するように設計され得る。単に例として、上述の方法(複数可)に関して説明される1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装することができ、その場合、一態様では、そのようなコードおよび/または命令は、説明される方法による1つまたは複数の動作を実行するのに、汎用コンピュータ(または他のデバイス)を構成するため、および/または適応させるために使用され得る。

これらの命令および/またはコードの組は、上述の記憶デバイス(複数可)125などのコンピュータ可読記憶媒体に記憶され得る。場合によっては、記憶媒体は、デバイス100などのデバイス内に組み込まれ得る。他の実施形態では、記憶媒体は、記憶された命令/コードを有する汎用コンピュータをプログラムし、構成し、および/または適応させるために記憶媒体を使用することができるように、デバイスから分離することができ(たとえば、コンパクトディスクなどの取外し可能媒体)、および/またはインストールパッケージ内に設けることができる。これらの命令は、デバイス100によって実行可能である実行可能コードの形態をとることができ、ならびに/または、(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのうちのいずれかを使用して)コンパイルし、および/もしくはデバイス100にインストールすると、実行可能コードの形態をとるソースおよび/もしくはインストール可能なコードの形態をとることができる。

固有の要件に応じて、かなりの変形が行われ得る。たとえば、カスタマイズされたハードウェアを使用することもでき、および/またはハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、もしくはその両方に特定の要素を実装することができる。さらに、ネットワーク入出力デバイスなどの他のコンピューティングデバイスへの接続を使用することができる。

いくつかの実施形態は、本開示による方法を実行するためのデバイス(デバイス100など)を使用することができる。たとえば、説明される方法の手順のうちの一部またはすべては、作業メモリ135に含まれる(オペレーティングシステム140、および/またはアプリケーションプログラム145などの他のコードに組み込まれ得る)1つまたは複数の命令の1つもしくは複数のシーケンスを実行するプロセッサ110に応答して、デバイス100によって実行され得る。そのような命令は、記憶デバイス(複数可)125のうちの1つまたは複数などの別のコンピュータ可読媒体から作業メモリ135に読み込まれ得る。単に例として、作業メモリ135に含まれる命令のシーケンスの実行により、プロセッサ(複数可)110は、本明細書で説明される方法の1つまたは複数の手順を実行することができる可能性がある。

本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を固有の方式で動作させるデータを提供することに関与する任意の製造品または媒体を指す可能性がある。デバイス100を使用して実装される実施形態では、様々なコンピュータ可読媒体は、実行するために命令/コードをプロセッサ(複数可)110に与えることに関わる可能性があり、ならびに/または、そのような命令/コードを記憶し、それらを(たとえば、信号として)搬送するために使用される可能性がある。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとることができる。不揮発性媒体には、たとえば、記憶デバイス(複数可)125などの、光ディスクおよび/または磁気ディスクが含まれる。揮発性媒体には、限定はしないが、作業メモリ135などのダイナミックメモリが含まれる。「コンピュータ可読媒体」、「記憶媒体」、および本明細書で使用する他の用語は、一時的な伝播信号に言及しない。物理的および/または有形のコンピュータ可読媒体の一般的な形態には、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、ホールパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、または任意の他のメモリチップもしくはカートリッジが含まれる。

様々な形態のコンピュータ可読媒体は、実行するために、1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ(複数可)110に搬送することに関わる可能性がある。単に例として、命令は、最初に、リモートコンピュータの磁気ディスクおよび/または光ディスクに搬送され得る。

通信サブシステム130(および/またはその構成要素)が、通常、信号を受信し、次いで、バス105が、信号(および/または、信号によって搬送されるデータ、命令など)を作業メモリ135に搬送することができるが、プロセッサ(複数可)110は、作業メモリ135から命令を取り出し、実行する。作業メモリ135によって受信された命令は、場合によっては、プロセッサ(複数可)110によって実行される前または後のいずれかに非一時的記憶デバイス125に記憶され得る。

上述の方法、システム、およびデバイスは、例である。様々な実施形態は、様々な手順または構成要素を、適宜、省略し、置換し、または加えることができる。たとえば、代替構成では、説明される方法は、説明される順序とは異なる順序で実行することができ、ならびに/または、様々なステージを加え、省略し、および/もしくは組み合わせることができる。また、いくつかの実施形態に関して説明される特徴は、様々な他の実施形態と組み合わせることができる。実施形態の様々な態様および要素を同様に組み合わせることができる。また、技術が発展し、したがって、要素の多くは、本開示の範囲を特定の例に限定しない例である。

実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられる。しかしながら、実施形態は、これらの具体的な詳細なしに実施することができる。たとえば、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不要な詳細なしに示してきた。この説明は、例示的な実施形態のみを与え、本発明の範囲、適用可能性、または構成を限定することを意図されない。むしろ、これらの実施形態の上述の説明は、本発明の実施形態を実装可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

また、いくつかの実施形態は、流れ図またはブロック図として示されるプロセスとして説明される。各々は動作を逐次プロセスとして説明し得るが、動作の多くは並行してまたは同時に実行され得る。加えて、動作の順序は並び替えられ得る。プロセスは、図に含まれていない追加のステップを有することができる。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連のタスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは関連のタスクを実行し得る。

いくつかの実施形態について説明してきたが、様々な変更、代替構造、および均等物は、本開示の趣旨から逸脱することなく使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素にすぎない可能性があり、他のルールは、本発明のアプリケーションよりも優先するか、または場合によっては本発明のアプリケーションを変更することができる。また、上記の要素が考慮される前、間、または後に、いくつかのステップを行うことができる。したがって、上記の説明は、本開示の範囲を限定しない。

イベントにおける人々を含むオブジェクトの多くの写真を撮影するための技法が提供される。本発明の実施形態で説明される技法は、1つまたは複数のオブジェクトを追跡し、イベント中に注目するオブジェクトの写真を自動的に撮影するのに特に有用である。ユーザは、イベント中のモバイルデバイスに対する写真撮影負担のいくつかを委任することが可能になるイベントモードにモバイルデバイスを切り替えることができる。

図2は、イベントのある時間期間にわたって、特定の人物を追跡するための、図1のデバイス100などのデバイスの構成要素によって実行される例示的な実施形態である。図2は、イベントモードにおいてモバイルデバイスによって撮影された、パーティにおける友人のグループの2つの画像を示す。図2Aにおいて図1のプロセッサ110を使用して識別される注目するオブジェクトは、(パーティで踊っているところが示される)特定の女性202である。モバイルデバイス100は、パーティにおいてこの女性を追跡し、彼女が部屋を動き回るとき、この女性の写真を取得する。図2Bでは、デバイス100に結合されたカメラ150は、パーティにおいて新しい場所で踊る同じ女性204の別の写真を取得する。デバイス100は、自動的に、またはイベントモードが図2Aおよび図2Bの女性などの被写体を識別および追跡するのを有効にするユーザによって、イベントモードに配置され得る。

図3は、オブジェクトを追跡し、視野からの画像データを取得するための方法300を示す簡略流れ図である。方法300は、本発明の実施形態を説明する間は「イベントモード」と呼ぶことができ、本発明の態様に任意の形で限定する形で解釈されるべきでない。方法300は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法300は、図1のデバイス100によって実行される。

図3を参照すると、ブロック302では、本デバイスは、視野に存在する1つまたは複数のオブジェクトを識別するために、本デバイスに結合されたカメラ150の視野からのデータを取得する。いくつかの実装形態では、データは、カメラレンズが視認できる視野全体(たとえば、図2A)の画像表現、または本デバイスに結合されたカメラのカメラレンズが視認できる視野の一部(たとえば、人物202および周囲の領域)の画像表現である可能性がある。

ブロック304では、本デバイスは、図2Aの特定の人物202などの少なくとも1つのオブジェクトの識別情報にアクセスする。画像に関する識別情報は、ブロック302で取得されたデータの処理によって得られる。いくつかの実装形態では、オブジェクトの識別は、オブジェクトの低解像度の画像表現を使用して行われる。データからの1つまたは複数のオブジェクトを識別するためのデータの処理は、デバイスにおいて局所的に、またはリモートサーバなどのネットワークリソースを使用してリモートで実行され得る。オブジェクトの識別がリモートサーバにおいて生じる場合、本デバイスは、1つまたは複数のオブジェクトを識別するためにデータを処理するために、データをリモートサーバに伝送するが、追跡し、所望のコンテンツを決定し、画像データを取得するためにオブジェクトの識別情報を受け取る。さらに、本デバイスは、オブジェクトを識別するために、本デバイスに格納されたローカルデータベースまたはリモートデータベースからの局所的に記憶されたデータを使用することができる。一実施形態では、図1のデバイスは、少なくとも1つのオブジェクトを識別するためにネットワークリソースに属する外部データベースにアクセスする前に、本デバイスに格納された内部データベースにアクセスする。他の実施形態では、内部データベースは、外部データベースの部分集合である。たとえば、内部データベースは、直近にアクセスされた情報を記憶するキャッシュとして実装され得る。キャッシュは、ハードウェアキャッシュ、作業メモリ135、または記憶デバイス(複数可)125を使用して実装され得る。

イベントモードでは、本デバイスは、カメラが視認できるイベントにおける注目する1つまたは複数のオブジェクトに関する識別情報にアクセスする。一態様では、少なくとも1つのオブジェクトの識別は、カメラが視認できるデータの一部またはすべてを使用してオブジェクトに関連する画像の一部の画像表現を生成するステップと、画像の一部の画像表現を、データベースに記憶された基準オブジェクトの画像表現と比較するステップとを含むことができる。場合によっては、注目するオブジェクトは人物であり、顔認識技法が、人物の顔を含む少なくとも1つのオブジェクトに関連する画像の一部を識別する際に使用される。図2Aでは、人物202は、顔認識技法を使用して識別され得る。主成分分析、線形識別分析、エラスティック・バンチ・グラフ・マッチング（Elastic Bunch Graph Matching：EBGM）法、または任意の他の適切な技法などの既知の顔認識技法を顔認識のために使用することができる。

視野内の人々の顔は、デバイスに局所的に記憶された顔の参照画像と比較され得る。加えて、本デバイスは、WiFi、Wimax、LTE、CDMA、GSM(登録商標)接続、または任意の他の適切な手段などのワイヤレス接続を使用してネットワークリソースに接続され得る。場合によっては、本デバイスは、ワイヤード接続を介してネットワークリソースに接続することもできる。本デバイスは、ネットワークリソースを使用するソーシャルネットワークを使用して、カメラの視野内の識別情報にアクセスすることができる。本デバイスは、ユーザの関係、または/および、ユーザのソーシャルネットワークを介して確立されたアクセス可能なデジタルトラスト（digital trust：デジタル信用）を使用することができる。たとえば、本デバイスは、ユーザのソーシャルネットワークにアクセスし、取得された画像を、Facebook(登録商標)およびLinkedIn(登録商標)などのソーシャルネットワークからの画像とマッチングすることを、容易にすることができる。顔認識は、人々に限定されない可能性があり、動物の顔認識を含むことができる。たとえば、ソーシャルネットワーキングウェブサイトは、ペット専用のアカウントを有する。したがって、顔認識のために顔の特徴を識別することは、動物の顔の特徴および他の特徴を含むことができる。

前述のように、本デバイスは、カメラレンズの視野内のオブジェクトを、記憶された画像と対照して効率的に識別するための階層型システムを使用することができる。たとえば、ユーザの兄弟が視野に入る場合、モバイルデバイスは、局所的な記憶媒体、キャッシュ、またはメモリのいずれかに、ユーザの兄弟の記憶された画像を有することができる。本デバイスは、本デバイスのユーザが注目する最も関連のあるオブジェクトをロードされ得る。他方、Facebookを介してユーザに接続されるだけの、高校からの訪問頻度が低い友人が、カメラレンズの前に現れる状況が存在する可能性がある。そのようなシナリオでは、本デバイスは、局所的な記憶装置、キャッシュ、およびメモリを探索する可能性があり、ローカルリソースを使用して人物を識別しない可能性がある。モバイルデバイスは、ユーザのソーシャルネットワークと対照して顔を識別するために、ネットワークリソースを使用してソーシャルネットワークに接続することができる。この場合、本デバイスは、Facebook(登録商標)内でのユーザのつながりを介してユーザの友人を見つけることを容易にする。

ソーシャルネットワークまたはソーシャルグループは、オンラインサービス、プラットフォーム、または、たとえば、興味、活動、バックグラウンド、もしくは実生活のつながりを共有する人々の間でのソーシャルネットワークもしくは社会的関係の構築を容易にすることに焦点を合わせるサイトと定義され得る。ソーシャルネットワークサービスは、各ユーザの画像表現(しばしば、プロファイル)、ユーザのソーシャルリンク、および様々な追加サービスから構成される可能性がある。大部分のソーシャルネットワークサービスは、ウェブベースであり、電子メールおよびインスタントメッセージングなどのインターネットを介してユーザが対話する手段を提供する。

一時的に、前述のように、かなり単純化した例示的な図4を参照すると、デバイス402(図1のデバイス100)は、ネットワークリソースに接続され得る。ネットワークリソースは、限定はしないが、ネットワーク接続性、処理能力、記憶容量、およびソフトウェアインフラストラクチャを含むことができる。いくつかの実装形態では、ネットワークリソースのすべてまたは一部を「クラウド」と呼ぶことができる。リモートデータベース(複数可)406、サーバ(複数可)410、およびソーシャルネットワーク(複数可)408は、ネットワーク404の一部として存在する可能性がある。ソーシャルネットワークは、Facebook(登録商標)、Twitter(登録商標)、Four-Square(登録商標)、Google Plus(登録商標)などのソーシャル接続ネットワークおよびソーシャルメディアネットワークを含むことができる。デバイス402は、ワイヤレスまたはワイヤードの接続を介して様々なネットワークリソースに接続することができる。

別の実施形態では、オブジェクトの識別は、少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスするステップと、少なくとも1つのオブジェクトに関連する少なくとも1つの特性に基づいて少なくとも1つのオブジェクトの識別情報を決定するステップとを含むことができる。たとえば、サッカーの試合中、モバイルデバイスは、サッカーボールの寸法および特性に基づいて、または/およびサッカーボールを記憶された画像と部分的にマッチングすることにより、サッカーボールを識別し、フィールド上のサッカーボールを追跡することができる可能性がある。

1つまたは複数のオブジェクトがカメラレンズの視野内で識別されると、本デバイスは、識別されたオブジェクトを選択するか、または処分するか、または変更するために、ユーザにユーザインターフェースを提供することができる。ユーザインターフェースは、モバイルデバイスに結合された表示ユニットを使用してインターフェースをユーザに提供することを含む可能性がある。表示ユニットは、「タッチスクリーン」などの容量性の感知入力部である可能性がある。一実施形態では、モバイルデバイスは、描画ボックスもしくは識別されたオブジェクトの周りの円によって、または任意の他の適切な手段によって識別されたオブジェクトをハイライトすることができる。一実装形態では、オブジェクトをただ識別する以外に、モバイルデバイスは、カメラの視野内のオブジェクトにタグ付けすることもできる。一実装形態では、表示ユニットは、レンズが視認できる全領域の画像表現を表示することができる。本デバイスは、カメラが画像またはビデオとして記憶する領域を含む画像を表示するディスプレイ上のボックスを描くことができる。加えて、本デバイスは、ボックス形の領域内でユーザが注目するオブジェクトをハイライトすることができる。たとえば、ユーザは、注目するオブジェクトの周りにボックスもしくは任意の適切な形状を描くか、または、識別された、もしくは/およびタグ付けされたオブジェクトをただ単に選択することができる。いくつかの実施形態では、ユーザは、オブジェクトを口頭で選択することもできる。たとえば、ユーザは、「トムを選択する」ために、モバイルデバイスに口頭指示を与えることができ、トムは、表示ユニット上に表示されるタグ付けされたオブジェクトのタグのうちの1つである。

一時的に、図5Aおよび図5Bを参照すると、上述のイベントモードなどのイベントモードの例示的な実施形態が示される。男性502としてここで指定された特定の人物が、イベントモードの起動中または異なる時刻のいずれかに選択された。男性502の選択は、たとえば、男性502をハイライトするか、または男性502の周りを円508で囲むことにより、視覚的に示され得る。図5Aは、カメラ150が視認でき、第1の時刻において本デバイスの表示ユニット512上に表示される例示的な視野を示す。本デバイスは、図1のデバイス100に関して説明された構成要素と同様の構成要素を使用することができる。たとえば、表示ユニットは、出力デバイス120である可能性があり、カメラ150の視野内の男性502および他のオブジェクトの識別は、プロセッサ110、および作業メモリ135からの命令を使用して実行され得る。図5Aでは、2人の男性(502および504)およびボール506が、本デバイスの表示ユニット上に示される。本デバイスは、人物502を識別し、長時間にわたって人物502を追跡する。本デバイスは、表示ユニット上で、図5Aに円で示されるように人物502をハイライトすることができる(多くの様々な技法が使用され得るが)。加えて、本デバイスは、画像が取得される場合に本デバイスによって取得され得る特定のコンテンツをユーザに示すために、ボックス510を視覚的に表示することができる。ユーザインターフェースにより、ユーザは、識別されたオブジェクトを選択し、処分し、または変更することができる可能性がある。たとえば、ユーザは、タッチスクリーンを使用して、1人の人物502の選択を取り消し、別の人物504を選択することができる可能性がある。

図5Bは、カメラが視認でき、第2の時刻において本デバイスの表示ユニット512上に表示される例示的な視野を示す。両人(502および504)は、第1の時刻(図5Aに示す)と第2の時刻(図5Bに示す)との間の視野において動く。本デバイスは、視野内に存在する人物502を追跡し、人物502、および現在時刻に取得された画像内にあるであろう人物502の周りの特定のコンテンツをハイライトし続ける。1つの設定では、本デバイスは、画像データを取得するために、トリガイベントとして人物502のボール506への近接度を考慮することができる。

再び図3の例示的な流れ図を参照すると、ブロック306では、本デバイスは、ある時間期間にわたって視野内に存在する識別されたオブジェクトの追跡を自動的に開始する。本デバイスは、イベントモードが有効である持続時間の間、およびオブジェクトが本デバイスのカメラレンズの視野内にあるかぎり、オブジェクトを追跡することができる。本デバイスは、注目する領域において、オプティカルフロー追跡および興味深い特徴点の正規化相互相関、または任意の他の適切な方法などの既知の方法を使用して、オブジェクトを追跡することができる。カメラは、広角レンズ、カメラのズーミング機能、レンズを枢動させる機械式レンズ、枢動する三脚上に配置されたデバイス、高解像度の画像、または本デバイスが意図された画像/ビデオのサイズよりも大きい領域にわたってオブジェクトを追跡することを可能にする任意の他の適切な手段のうちの1つまたは複数を使用して、少なくとも1つのオブジェクトを追跡することができる。高解像度レンズは、注目するオブジェクトを含む低解像度の写真を切り出すのを可能にすることができる。

一実施形態では、イベントモード持続時間は、設定可能な持続時間である可能性がある。別の実施形態では、オブジェクトは、カメラの視野内の動きを検出すると、本デバイスによりカメラの視野内で識別および追跡される。イベントモードの持続時間は、本デバイスに結合されたカメラレンズの視野内での動き、またはモバイルデバイスの近傍の音に基づいている可能性がある。さらに別の実施形態では、本デバイスは、イベント監視モードのままであることができ、本デバイスは、トリガイベントを監視するか、または低解像度で注目するオブジェクトを識別する。一態様では、注目するオブジェクトが識別される際、本デバイスは、オブジェクトのより高い解像度のビデオまたは写真を撮影するために、解像度を増加させる。本デバイスは、カメラの視野内の動きを検出すると、より高い解像度のモードに切り替わる可能性がある。また、本デバイスは、本デバイスの環境における、あらかじめ定義された非アクティビティ期間を検出した後、スリープモードに切り替わる可能性がある。

一実施形態では、広角レンズを使用して、画像が取得される。広角レンズは、所与のフィルム面におけるノーマルレンズの焦点距離よりも大幅に小さい焦点距離を有するレンズを指す。このタイプのレンズにより、シーンのより多くを写真に含めることが可能になる。広角ショットを使用して取得された画像は、通常、ゆがんでいる。取得された画像は、追跡するために画像を処理する前、最初に、ゆがみを除去される可能性がある。画像のゆがみを除去するプロセスは、カメラの逆較正(inverse of calibration)を画像に適用するステップを含む可能性がある。画像のゆがみが除去されると、画像内の注目する領域は、本発明の実施形態に従って追跡され、切り取られる。

別の実施形態では、本デバイスは、より大きい領域をカバーする高解像度の写真を撮影することができるレンズを使用することができる。これにより、より大きい領域にわたってオブジェクトを追跡することが可能になる。識別されたオブジェクトを取り囲み含む領域を、より低いが許容可能な解像度で取得することができる。一実装形態では、識別および追跡のために、注目するオブジェクトを含む画像全体の小部分のサンプルのみが取得される。画像の小部分をサンプリングすることは有利である可能性があるが、それは、このことが、より良好なメモリバンド幅管理と、より小さい記憶域の要件とを可能にするからである。別の実装形態では、後に、完全な画像が取得および処理される。

加えて、本デバイスは、追加情報を取得するための複数のカメラ、レンズ、および/またはセンサを備えることができる。追加のカメラ/センサは、より大きい領域にわたるオブジェクトのより良好な識別および追跡、またはオブジェクトもしくはイベントを識別するためのより良好な感知機能を可能にすることができる。

ブロック308では、本デバイスは、オブジェクトの識別および追跡に基づいて、視野からの画像の特定のコンテンツを決定する。本デバイスは、取得された画像の一部としてオブジェクトをより良好にフレーム化するための技法を使用することができる。たとえば、本デバイスは、画像の中心の注目するオブジェクトをフレーム化するか、または「三分割法」技法を使用することができる。他の画像では、たとえば、有名なランドマークなどの背景に建築物があり、画像の前景に人物がいる場合、本デバイスは、ランドマークと人物の両方が適切に配置されるように、画像をフレーム化することができる。前述のように、画像内のオブジェクトの適切なフレーム化は、画像の所望のコンテンツを取得するために、画像処理特性および/またはカメラ特性を変化させることにより達成され得る。

ブロック310では、画像の所望のコンテンツが決定されると、本デバイスは、所望のコンテンツを含む画像データを取得する。一実施形態では、所望のコンテンツは、視野からキャプチャされる。別の実施形態では、所望のコンテンツが、すでにキャプチャされた高解像度の画像から切り出される。注目するオブジェクトが識別され、オブジェクトの追跡が開始されると、本デバイスは、所望のコンテンツを認識することに加えて、ユーザが注目する、カメラレンズの視野内のいくつかのトリガイベントを識別することができる。本デバイスは、そのようなトリガイベントを検出するのに応答して、所望のコンテンツの画像データを取得することができる。注目するトリガイベントは、マイクロフォン、カメラ、およびタッチスクリーンなどの、モバイルデバイスに結合された様々な入力デバイスからの感知入力を分析することによって決定され得る。画像データを取得するためのトリガイベントは、すでに識別されたオブジェクトまたは/および視野内の任意のオブジェクトに関連するトリガイベントとして特徴づけることができる。たとえば、トリガイベントは、限定はしないが、注目するオブジェクトの識別、注目するオブジェクトの動き、識別された人物の笑顔、識別された人物の踊り、本デバイスの近傍のノイズ、およびグループにいる複数のグループメンバーの検出を含むことができる。たとえば、視野が提供する人々の50パーセント超がユーザの拡張家族（extended family）に属している場合、本デバイスは、この出来事をトリガイベントと見なす。別の実施形態では、トリガイベントは、視野内の動きまたは変化に関連付けることもできる。たとえば、ゴールポストに向かうサッカーボールの動きは、トリガイベントである可能性がある。他方、カメラの視野内で爆発する花火またはカメラの環境内の大きい音も、本デバイスによりトリガイベントとして識別される可能性がある。

一実施形態では、本デバイスは、オブジェクトを追跡し、連続する写真を撮影する。本デバイスは、トリガイベントまたは所望のコンテンツの検出に基づいて、複数の画像を取得することができる。本デバイスは、ロットから最も望ましい写真のみを保存する一方で、残りを処分するために画像を後処理することができるが、画像の望ましい状況は、照明条件、少なくとも1つのオブジェクトのフレーム化、画像内の少なくとも1人の人物の笑顔、およびグループの画像内にいる複数のグループメンバーの検出、または任意の他のそのような特性のうちの1つまたは複数に基づいている可能性がある。さらに、同じオブジェクトおよび背景の複数の写真が存在する場合、本デバイスは、笑顔が最も多い写真、または他の写真よりも保持するのにより良好な候補としてオブジェクトを十分にキャプチャする写真を分類することができる。別の実施形態では、本デバイスは、モバイルデバイスの視野または近傍のトリガイベントの検出に基づいて持続時間を通してオブジェクトの写真を日和見的に撮影し、後に、最も望ましい写真を分類し、ランク付けし、保存することができる。

一実施形態では、本デバイスは、ある時間期間にわたって少なくとも1つのオブジェクトを含む画像データを連続的に取得することにより、ビデオを取得する。本デバイスは、すばやく相次いで複数の画像をキャプチャし、連続する画像からビデオを生成することができる。

本発明の一実施形態によれば、図3に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図3に示される個々のステップは、個々のステップに対して様々なシーケンスで適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法300の多くの変形、修正、および代替を認識し、諒解するであろう。

図6は、本デバイスにおけるユーザにユーザインターフェースを提供するための方法600を示す簡略流れ図である。方法600は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法600は、図1のデバイス100によって実行される。

図6を参照すると、ブロック602では、本デバイスは、本デバイスの表示ユニット上のカメラの視野からの可視部分を表示する。本表示ユニットは、図1のデバイス100に関して説明された出力ユニット120である可能性がある。ブロック604では、本デバイスは、画像の所望のコンテンツをハイライトする。所望のコンテンツには、識別されたオブジェクトが含まれる可能性がある。所望のコンテンツは、点線付きの矩形、または所望のコンテンツをハイライトするための任意の他の適切な手段を使用してハイライトされ得る。ブロック606では、本デバイスは、識別されたオブジェクトをハイライトする。識別されたオブジェクトは、その周りの円もしくは楕円を使用して、または任意の他の適切な手段を使用してハイライトされ得る。場合によっては、ブロック608で、本デバイスは、ハイライトされた領域の選択、処分、または変更のうちの1つを実行するために情報を受け取る。たとえば、ユーザは、本デバイスがユーザが望むものと異なるオブジェクトを選択していることに気付く可能性がある。ユーザは、表示ユニット上の異なるオブジェクトにタッチすることができる。表示ユニットは、入力を感知する。本デバイスは、表示ユニットから入力を受け取り、ユーザによって示されたオブジェクトを選択する。ハイライトされたオブジェクトとともに、所望のコンテンツを含む画像は、また、ユーザが画像の焦点としてそのオブジェクトを選択したとき、改善された構図を有する写真を表示するように変化する。また、場合によっては、ブロック610において、本デバイスは、ユーザが人物を容易に識別できるように、ハイライトされたオブジェクトに、ユーザ名などのオブジェクトに関する識別可能な情報をタグ付けする。

本発明の一実施形態によれば、図6に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図6に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法600の多くの変形、修正、および代替を認識し、諒解するであろう。

図7は、高解像度画像から所望のコンテンツを取得するための方法700を示す簡略流れ図である。方法700は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法700は、図1のデバイス100によって実行される。

図7を参照すると、ブロック702では、本デバイスは、イベントモードの少なくとも一部の間に高解像度カメラレンズを使用してオブジェクトを追跡することができる。高解像度カメラを使用することにより、本デバイスは、意図された画像/ビデオのサイズよりも大きい領域にわたってオブジェクトを追跡することが可能になる。ブロック704では、本デバイスは、高解像度の画像を取得することができる。ブロック706では、本デバイスは、高解像度の画像から所望のコンテンツを切り出す。高解像度レンズは、注目するオブジェクトを含んでいる所望のコンテンツを含む低解像度の写真を切り出すのを可能にすることができる。写真を切り出すプロセスでは、本デバイスの構成要素は、画像内の他のオブジェクトに対する、追跡されているオブジェクトの比率を調整することができる。

本発明の一実施形態によれば、図7に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図7に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法700の多くの変形、修正、および代替を認識し、諒解するであろう。

図8は、所望の画像を保持するための方法800を示す簡略流れ図である。方法800は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法800は、図1のデバイス100によって実行される。

一実施形態では、本デバイスの構成要素は、オブジェクトを追跡し、連続する写真を取得する。図8の例示的な流れ図を参照すると、ブロック802では、本デバイスの構成要素は、トリガイベントまたは所望のコンテンツの検出に基づいて複数の画像を取得する。ブロック804では、本デバイスは、取得された各画像に関連する、望ましい状況の特徴を検出する。ブロック806では、本デバイスの構成要素は、各画像に関連する望ましい状況の特徴に基づいて各画像をランク付けすることができるが、画像の望ましい状況は、照明条件、少なくとも1つのオブジェクトのフレーム化、画像内の少なくとも1人の人物の笑顔、およびグループの画像内にいる複数のグループメンバーの検出、または任意の他のそのような特性のうちの1つまたは複数に基づいている可能性がある。ブロック808では、本デバイスの構成要素は、ロットから最も望ましい写真のみを保存する一方で、残りを処分するために画像を後処理することができる。さらに、同じオブジェクトおよび背景の複数の写真が存在する場合、本デバイスは、笑顔が最も多い写真、または他の写真よりも保持するのにより良好な候補としてオブジェクトを十分にキャプチャする写真を分類することができる。別の実施形態では、本デバイスは、モバイルデバイスの視野または近傍のトリガイベントの検出に基づいて持続時間を通してオブジェクトの写真を日和見的に撮影し、後に、最も望ましい写真を分類し、ランク付けし、保持することができる。

本発明の一実施形態によれば、図8に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図8に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法800の多くの変形、修正、および代替を認識し、諒解するであろう。

図9は、画像を取得するために低解像度から高解像度に切り替えるための方法900を示す簡略流れ図である。方法900は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法900は、図1のデバイス100によって実行される。

一実施形態では、モバイルデバイスは、イベント監視モードに置くことができ、本デバイスは、トリガイベントを監視するか、または低解像度で注目するオブジェクトを識別する。本デバイスは、カメラの視野内の動きを検出すると、高解像度モードに切り替わる可能性がある。図9の例示的な流れ図を参照すると、ブロック902では、本デバイスの構成要素は、低解像度で視野内のオブジェクトを監視することができる。ブロック904では、本デバイスの構成要素は、低解像度の画像を使用して、トリガイベントまたはカメラの視野内の注目するオブジェクトを識別することができる。ブロック906では、本デバイスに結合されたカメラは、カメラの視野内に注目するオブジェクトを検出すると、高解像度に切り替わる。ブロック908では、本デバイスの構成要素は、高解像度モードでカメラの視野内のトリガイベントにおけるオブジェクトの画像を取得する。また、いくつかの実施形態では、本デバイスは、本デバイスの環境における、あらかじめ定義された非アクティビティ期間を検出した後、スリープモードに切り替わる可能性がある。スリープモードは、本デバイスの一部をオフにするステップ、または低電力状態で本デバイスの多数の構成要素を切り替えるステップを含むことができる。たとえば、本デバイスは、非アクティビティ期間後、デバイス表示ユニットをオフにすることができる。

本発明の一実施形態によれば、図9に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図9に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法900の多くの変形、修正、および代替を認識し、諒解するであろう。

図10は、図1で説明されたデバイス100などのデバイスの使用によって、写真を取得および共有するための例示的な実施形態を示す。ユーザが写真を取得した直後、本デバイスは、写真に注釈を付け、写真を共有することを推奨する。本デバイスによって与えられる推奨は、本デバイスの場所、写真内の人々、ならびに/または写真内のオブジェクトおよび画像自体の他の共有属性を検出することに基づいている可能性がある。たとえば、本デバイスは、画像内のオブジェクトを認識することにより、その場所を検出することができる。背景にエンパイアステートビルがある場合、本デバイスは、相当な量の確信をもって、本デバイスの場所がニューヨーク市であることを知る。いくつかの実装形態では、本発明の実施形態は、画像内の複数のオブジェクトを認識することにより、その場所を検出することができる。たとえば、スターバックス（登録商標）、マクドナルド（登録商標）、および「旅行客への笑顔」の広告掲示板がある場合、その場所は、フランスのCDG空港の到着ゲートである。本デバイスは、画像の背景を認識することに加えて、またはそれと併せて、サービスタワーに対するモバイルデバイスの信号強度に基づいて、またはGPSシステムを使用することにより、その場所を特定することもできる。本デバイスは、画像内の様々なオブジェクトを識別し、共有属性を差し引いた後、ネットワークを介して情報を共有することによりユーザを支援する情報をユーザに与えることができる。図10では、本デバイスは、ユーザのために画像に注釈を付け、ユーザに関する写真または他の情報をユーザが共有したいかどうかを尋ねる。ユーザが賛成する場合、本デバイスは、ユーザに関する情報を共有することができる。たとえば、本デバイスは、Four-Square(登録商標)などのソーシャルネットワークに、エンパイアステートビルなどの場所でユーザを「チェックイン」させることができる。

図11は、画像データにアクセスし、それを共有するための方法1100を示す簡略流れ図である。方法1100は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法1100は、図1のデバイス100によって実行される。

図11の例示的な流れ図を参照すると、ブロック1102では、本デバイスは、本デバイスの視野に存在する1つまたは複数のオブジェクトを識別するために、本デバイスに結合されたカメラの視野からの画像内の画像データにアクセスする。一実施形態では、本デバイスは、モバイルデバイスである。いくつかの実装形態では、データは、カメラレンズが視認できる視野全体の画像表現、または本デバイスに結合されたカメラのカメラレンズが視認できる視野の一部の画像表現である可能性がある。

ブロック1104では、本デバイスは、少なくとも1つのオブジェクトの識別情報にアクセスする。本デバイスは、局所的な記憶装置からのオブジェクトの識別情報にアクセスすることができる。画像のオブジェクトに関する識別情報は、ブロック1102でアクセスされたデータの処理によって得られる。いくつかの実装形態では、オブジェクトの識別は、オブジェクトの低解像度の画像表現を使用して行われる。データからの1つまたは複数のオブジェクトを識別するためのデータの処理は、リモートサーバなどのネットワークリソースを使用して、デバイスにおいて局所的に、またはリモートで実行され得る。オブジェクトの識別がリモートサーバにおいて生じる場合、本デバイスは、1つまたは複数のオブジェクトを識別するためにデータを処理するために、データをリモートサーバに伝送し、画像データを共有するための、オブジェクトの識別情報を受け取る。サーバを使用して画像データを処理する詳細は、図12にさらに説明される。そうでない場合、本デバイスは、オブジェクトを識別するために、ローカルデータベースからの局所的に記憶されたデータを使用することができる。一実施形態では、本デバイスは、少なくとも1つのオブジェクトを識別するためにネットワークリソースに属する外部データベースにアクセスする前に、本デバイスに格納された内部データベースにアクセスする。他の実施形態では、内部データベースは、外部データベースの部分集合である。たとえば、内部データベースは、直近にアクセスされた情報を記憶するキャッシュとして実装され得る。

本デバイスは、カメラが視認できる、注目する1つまたは複数のオブジェクトに関する識別情報にアクセスする。一態様では、少なくとも1つのオブジェクトの識別は、カメラが視認できるデータの一部またはすべてを使用してオブジェクトに関連する画像の一部の画像表現を生成するステップと、画像の一部の画像表現を、データベースに記憶された基準オブジェクトの画像表現と比較するステップとを含むことができる。場合によっては、注目するオブジェクトは人物であり、顔認識技法が、人物の顔を含む少なくとも1つのオブジェクトに関連する画像の一部を識別する際に使用される。主成分分析、線形識別分析、Elastic Bunch Graph Matching、または任意の他の適切な技法などの既知の顔認識技法を顔認識のために使用することができる。

視野内の人々の顔は、デバイスに局所的に記憶された画像の顔と比較され得る。加えて、本デバイスは、WiFi、Wimax、LTE、CDMA、GSM(登録商標)接続、または任意の他の適切な手段などのワイヤレス接続を使用してネットワークリソースに接続され得る。場合によっては、本デバイスは、ワイヤード接続を介してネットワークリソースに接続することもできる。本デバイスは、ネットワークリソースを介してアクセス可能なソーシャルネットワークを使用して、カメラの視野内の識別情報にアクセスすることができる。本デバイスは、ユーザの関係、または/および、ユーザのソーシャルネットワークを介して確立されたアクセス可能なデジタルトラストを使用することができる。たとえば、本デバイスは、ユーザのソーシャルネットワークにアクセスし、取得された画像の画像表現を、Facebook(登録商標)およびLinkedIn(登録商標)などのソーシャルネットワークからの参照画像の画像表現とマッチングすることを、容易にすることができる。

ソーシャルネットワークまたはソーシャルグループは、オンラインサービス、プラットフォーム、または、たとえば、興味、活動、バックグラウンド、もしくは実生活のつながりを共有する人々の間でのソーシャルネットワークもしくは社会的関係の構築を容易にすることに焦点を合わせるサイトと定義され得る。ソーシャルネットワークサービスは、各ユーザの画像表現(しばしば、プロファイル)、ユーザのソーシャルリンク、および様々な追加サービスから構成される可能性がある。大部分のソーシャルネットワークサービスは、ウェブベースであり、電子メールおよびインスタントメッセージングなどのインターネットを介してユーザが対話する手段を提供する。

オブジェクトを識別するためにリモートサーバを使用する態様は、図12を参照して、さらに説明される。顔認識は、人々に限定されない可能性があり、動物の顔認識を含むことができる。たとえば、ソーシャルネットワーキングウェブサイトは、ペット専用のアカウントを有する。したがって、顔認識のために顔の特徴を識別することは、動物の顔の特徴および他の特徴を含むことができる。

前述のように、本デバイスは、カメラレンズの視野内のオブジェクトを、記憶された画像と対照して効率的に識別するための階層型システムを使用することができる。たとえば、ユーザの兄弟が視野に入る場合、モバイルデバイスは、局所的な記憶媒体、キャッシュ、またはメモリのいずれかに、ユーザの兄弟の記憶された画像を有することができる。本デバイスは、本デバイスのユーザが注目する最も関連のあるオブジェクトをロードされ得る。他方、Facebook(登録商標)を介してユーザに接続されるだけの、高校からの訪問頻度が低い友人がカメラレンズの前に現れる状況が存在する可能性がある。そのようなシナリオでは、本デバイスは、局所的な記憶装置、キャッシュ、およびメモリを探索する可能性があり、ローカルリソースを使用して人物を識別しない可能性がある。モバイルデバイスは、ユーザのソーシャルネットワークと対照して顔を識別するためにネットワークリソースを使用してソーシャルネットワークに接続することができる。この場合、本デバイスは、Facebook(登録商標)内でのユーザのつながりを介してユーザの友人を見つけることを容易にする。

別の実施形態では、オブジェクトの識別は、少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスするステップと、少なくとも1つのオブジェクトに関連する少なくとも1つの特性に基づいて少なくとも1つのオブジェクトの識別情報を決定するステップとを含むことができる。たとえば、サッカーの試合中、モバイルデバイスは、サッカーボールの寸法および特性に基づいて、または/およびサッカーボールを記憶された画像と部分的にマッチングすることにより、サッカーボールを識別し、フィールド上のサッカーボールを追跡することができる可能性がある。

1つまたは複数のオブジェクトがカメラレンズの視野内で識別されると、本デバイスは、識別されたオブジェクトを選択し、処分し、または変更するために、ユーザにユーザインターフェースを提供することができる。ユーザインターフェースは、モバイルデバイスに結合された表示ユニットを使用してインターフェースをユーザに提供することを含む可能性がある。表示ユニットは、「タッチスクリーン」などの容量性の感知入力部である可能性がある。一実施形態では、モバイルデバイスは、描画ボックスもしくは識別されたオブジェクトの周りの円によって、または任意の他の適切な手段によって識別されたオブジェクトをハイライトすることができる。一実装形態では、オブジェクトをただ識別する以外に、モバイルデバイスは、カメラの視野内のオブジェクトにタグ付けすることもできる。一実装形態では、表示ユニットは、レンズが視認できる全領域の画像表現を表示することができる。加えて、本デバイスは、ボックス形の領域内でユーザが注目するオブジェクトをハイライトすることができる。たとえば、ユーザは、注目するオブジェクトの周りにボックスもしくは任意の適切な形状を描くか、または、識別された、もしくは/およびタグ付けされたオブジェクトをただ単に選択することができる。オブジェクトがタグ付けされた場合、ユーザは、タグを口頭で選択することもできる。たとえば、ユーザは、「トムを選択する」ために、モバイルデバイスに口頭指示を与えることができ、トムは、表示ユニット上に表示されるタグ付けされたオブジェクトのタグのうちの1つである。

図11の例示的な流れ図を再び参照すると、ブロック1106では、本デバイスは、画像内の識別された少なくとも1つオブジェクトに関連する共有属性にアクセスする。共有属性は、ネットワークリソースをリモートで使用して、デバイスリソースを局所的に使用して、またはそれらの任意の組合せで得られ得る。共有属性は、オブジェクトの1つまたは複数の特定を使用して得られ得る。たとえば、建築構造物を有する画像には、「アーキテクチャ」または「建築物」の共有属性をタグ付けすることができ、花を有する画像には、「花」の共有属性をタグ付けすることができる。共有属性は、様々な粒度であり、ユーザによって構成可能であり得る。たとえば、ユーザは、石ベースの建築物とは対照的に、れんがベースの建築物をさらに明らかにするために建築物の共有属性を微調整する機能を有することができる。さらに、画像は、いくつかのオブジェクトを有することができ、各オブジェクトは、いくつかの属性を有することができる。

いくつかの実施形態では、共有属性は、画像内に存在する人々に基づいてオブジェクトに割り当てられる。上述のオブジェクトは、被写体/人物である可能性がある。ブロック1104では、人物の顔が、顔認識を使用して認識され得る。一例として、母親の写真を有する画像では、オブジェクトは、「家族」および「母親」などの共有属性を有することができる。同様に、友人は、識別され、「友人」という共有属性に関連付けられ得る。共有属性は、識別されたオブジェクトに関する同様のオブジェクトへの関連付けの履歴を使用して得ることもできる。たとえば、ユーザが常に極めて近い友人を彼らの家族と関連付ける/グループ分けすることを本デバイスが検出する場合、本デバイスは、その友人を「家族」という共有属性を有するものとして関連付け始める可能性がある。

ブロック1108では、共有属性は、自動的に画像に関連付けられる。一実施形態では、ブロック1106において、共有属性は、個別に、オブジェクトに関連付けられ、他のオブジェクトの共有属性または画像自体の属性と相互に関連付けられない可能性がある。一実施形態では、様々なオブジェクトおよび画像の属性からの多数の共有属性は、より少ない数の共有属性を生成するために組み合わせられ得る。いくつかの実施形態では、画像に関連する共有属性は、ユーザによってFacebook(登録商標)、Twitter(登録商標)、およびGoogle Plus(登録商標)などのアカウント用に作成された写真のグルーピングと、より厳密に整合される。

本発明の実施形態は、画像に関する共有属性を洗練させるために、様々なオブジェクト間の関係および画像の属性を使用することができる。これは、共有属性を決定する際に写真のコンテキストを考慮に入れることを含むことができる。たとえば、2012年7月4日のウィークエンドにパリにおいて撮影されたカップルに関するすべての写真の場合、モバイルデバイスまたはサーバは、「2012年7月4日のウィークエンド、パリ」を表す共有属性を、複数の画像と自動的に関連付けることができる。画像に関する共有属性は、画像がキャプチャされた日付、時刻、および場所を考慮に入れることから得ることができる。加えて、カップルの顔認識および背景のエッフェル塔などの画像内のオブジェクトを使用することができる。場所は、背景のエッフェル塔などのオブジェクトの場所を推測することにより、またはGPS衛星もしくは局所的なセルタワーからの位置インジケータ(location indicator)を使用して検出され得る。

共有属性は、画像内で識別された各オブジェクトに関連する共通のポリシーおよび好みを含むこともできる。たとえば、画像内で人物が識別される場合、その人物は、画像がソーシャルネットワークまたはそれ以外の一部としてネットワークにアップロードされる際、画像にアクセスするためのアクセス権または許可が自動的に付与され得る。他方、ユーザは共通のポリシーを有することもできるが、共通のポリシーにおいて、画像が内部に母親を有する場合、ユーザは、その写真が友人とグルーピング内で共有されないように制限することができる。

実施形態は、共有属性を形成する際、ユーザの関係、または/および、ユーザのソーシャルグループもしくはソーシャルネットワークを介して確立されたアクセス可能なデジタルトラストを使用することもできる。いくつかの実装形態では、信頼は、推移的であり、第1の人物と本デバイスのユーザとの間の第1の信頼関係、および第2の人物と本デバイスのユーザとの間の第2の信頼関係を使用して、第1の人物と第2の人物との間で確立された推移的な信頼に基づいて画像へのアクセス権を第2の人物に自動的に付与することを含む。たとえば、画像内の識別された人物がデバイスユーザの父親である場合、画像の実施形態は、デバイスユーザの祖父に画像へのアクセス権を付与することができる。

同様に、本発明の実施形態は、画像へのアクセス権を付与するためにグループメンバーシップを使用することができる。たとえば、画像内の識別された一定数よりも多い人々がソーシャルネットワーク408の特定のグループに属する場合、本発明の実施形態は、同じグループに属する他のメンバーに画像へのアクセス権を付与することができる。たとえば、ユーザが家族メンバーのためのGoogleサークルを有し、画像内の識別された人々の大部分が家族メンバーである場合、本デバイスの実施形態は、画像へのアクセス権を共有し、または家族Googleサークルのすべてのメンバーに付与することができる。

ブロック1110では、共有属性に基づいて画像を共有するための情報が生成される。一実施形態では、画像の共有属性に基づいて、画像を1つまたは複数のソーシャルネットワーク408のグループまたはサークルに関連付ける情報が生成される。別の実施形態では、画像を、ネットワーク404の一部として、局所的に、またはサーバ上に記憶されたオブジェクトのグルーピングに関連付ける情報が生成される。画像情報は、ブロック1104からの識別情報、ならびにブロック1106および1108からの共有属性を含むこともできる。

いくつかの実装形態では、画像に関する識別情報および共有属性は、メタデータとして画像とともに記憶され得る。ブロック1112では、デバイスにおいて、生成された情報は、図1の出力デバイス120の表示ユニット上でユーザに表示され得る。たとえば、画像は、オブジェクトまたは画像に関する識別情報および共有属性を含む注釈とともに、全体として表示され得る。さらに、本デバイスは、1つまたは複数のソーシャルネットワーク408またはグルーピングオンラインに画像をアップロードすることの推奨をユーザに与えることができる。たとえば、オフィスパーティでの同僚との写真の場合、本デバイスは、写真をLinkedIn(登録商標)などの専門のソーシャルネットワーク408にロードすることを推奨することができる。一方、高校の同窓会パーティの写真の場合、本デバイスは、Facebook(登録商標)などのソーシャルネットワーク408、またはGoogle Plus(登録商標)などのソーシャルネットワーク408内の高校の友人専用のサークルに写真をアップロードすることを推奨することができる。

本発明の一実施形態によれば、図11に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図11に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法1100の多くの変形、修正、および代替を認識し、諒解するであろう。

図12は、画像データにアクセスし、それを共有するための方法1200を示す簡略流れ図である。方法1200は、ハードウェア(回路、専用論理など)、(たとえば、汎用コンピューティングシステムまたは専用マシン上で動作する)ソフトウェア、ファームウェア(組込み型ソフトウェア)、またはそれらの任意の組合せを含む処理論理によって実行される。一実施形態では、方法1200は、図4のサーバ410を表す、図1のデバイス100によって実行される。

かなり単純化した例示的な図4を再び参照すると、サーバ410は、ネットワークリソースを介してネットワーク404にアクセスすることにより、モバイルデバイス、カメラデバイス、または任意の他のデバイスなどのデバイス402(図1のデバイス100でもある)によってアクセス可能である可能性がある。図11を参照して説明されたデバイスは、そのようなデバイス402を表す可能性がある。ネットワークリソースは、「クラウド」と呼ぶこともできる。

一実装形態では、ブロック1202において、サーバは、デバイス402から画像データを受け取り、それを局所的に記憶し、その後、ブロック1204に進む前に(図1のプロセッサ110を使用して)画像データを処理することができる。画像データは、レンズが視認できる完全画像、画像の一部、または共有するための最終的な画像を受け取る前の識別用のはるかに低い解像度およびファイルサイズを有する画像の画像表現である可能性がある。最終的な画像よりも小さいサイズを有する画像の画像表現を使用することは、より小さいバンド幅を使用して写真内の個人を検出するプロセスを高速化する可能性があるという利点を有する。場合によっては、カメラ150は、さらに処理するために画像データをサーバに送る前にファイルサイズを低減するために画像を切り取ることもできる。一実施形態では、画像は、ファイルサイズを低減するために、写真内のオブジェクトまたは人々の顔の周りの領域のほとんどすべてのピクセル情報を切り出すことにより切り取られる。別の実施形態では、各オブジェクトまたは顔が検出され、顔を表すファイルのトータルサイズをさらに低減するために切り出され、別個の画像ファイルになる。そのような実装形態では、サーバは、識別(ブロック1206)、共有属性の生成(1208および1210)、および低解像度の写真または部分的な画像表現を含む画像データを使用した共有情報の生成(ブロック1212)を実行することができる。しかしながら、画像の実際の共有(ブロック1214)は、デバイス402から得られた、より高い解像度の写真を有する最終的な画像を使用して生じる可能性がある。サーバは、写真を取得するデバイス402から直接、またはコンピュータ、データベース、もしくは任意の他のソースなどの別のデバイスを介して、画像データを受け取ることができる。

ブロック1204では、サーバは、サーバにおける画像の画像データにアクセスすることができる。サーバは、カメラ150を使用してデバイス402/100によって取得された画像データを受け取った後、作業メモリで、またはデータにアクセスしデータをサーバによって処理するための記憶デバイスで一時的に画像データを記憶することができる。ブロック1206では、サーバは、画像の画像データを処理することにより得られる1つまたは複数のオブジェクトの識別情報にアクセスすることができる。サーバは、オブジェクトを識別するために、ローカルデータベースまたは1つもしくは複数のリモートデータベース(複数可)406にアクセスすることができる。サーバは、データベースに加えて、Facebook(登録商標)、LinkedIn(登録商標)、Google Plus(登録商標)、およびユーザに関する画像などの情報を記憶することができる任意の他のウェブサイトなどのウェブサイトにおけるユーザのアカウントにアクセスすることができる。一実装形態では、サーバは、画像のオブジェクトの画像表現を、データベースに記憶された基準オブジェクトの画像表現と比較することにより、画像のオブジェクトを識別することができる。別の実装形態では、サーバは、オブジェクトに関連する特性にアクセスし、オブジェクトの特性に基づいてオブジェクトの識別情報を決定することができる。オブジェクトは、人物である可能性があり、顔認識技法が、人物を識別するために使用され得る。前に簡単に説明したように、オブジェクトの識別は、オブジェクトの低解像度の画像表現を使用して行われ得る。いくつかの実施形態では、サーバの構成要素は、図1と同様の構成要素を使用して実装される。

ブロック1208では、サーバは、画像のオブジェクトに関する共有属性を生成し、それにアクセスすることができる。1106に関して説明したように、サーバは、同様のオブジェクトへの関連付けの履歴、オブジェクトの特性、および画像内の人々の顔認識に基づいて共有属性を生成することができる。ブロック1210では、サーバは、画像を共有属性に自動的に関連付けることができる。サーバは、画像がキャプチャされた日付、時刻、および場所などの、画像に関する他のコンテキスト情報を使用することにより、共有属性をさらに洗練させることもできる。

ブロック1212では、サーバは、共有属性に基づいて画像を共有するための情報を生成することができる。一例では、サーバは、画像に関連する共有属性を使用し、共有属性を、ユーザを関連付けることができる複数の様々なグルーピングと比較することができる。たとえば、ユーザは、Twitter(登録商標)、Google(登録商標)、LinkedIn(登録商標)、Facebook(登録商標)およびMySpace(登録商標)、flicker(登録商標)、ならびにユーザに関する写真および他の情報を記憶し、それらの共有を可能にする多くの他のアカウントを有することができる。各アカウントは、ユーザの様々な個人的興味に関連する可能性がある。たとえば、ユーザは、専門のコンタクト用のLinkedIn(登録商標)、音楽仲間用のMySpace(登録商標)、および高校の友人用のFacebook(登録商標)を使用することができる。いくつかのグルーピングは、アルバム、サークルなどのサブカテゴリをさらに有することができる。サーバは、写真に関連付けられたユーザへの最も適切な推奨を見つけるためにユーザの代わりに、これらのグルーピングまたはソーシャルメディアネットワークにアクセスする許可を有することができる。サーバは、生成された情報に画像に関する識別属性および共有属性を含むことができる。ブロック1214では、サーバは、生成された情報に基づいた、1つまたは複数のグルーピングと画像を共有することができる。

一実施形態では、サーバは、ブロック1202において、カメラ150がデバイス402に結合されたデバイス402(図1の100でもある)からの画像または画像データを受け取る。サーバは、図12に関して説明するように、本発明の実施形態を実行する。サーバは、画像を関連付ける様々なグルーピング、識別属性、および共有属性を含むことができる情報を生成する。サーバは、画像に関するメタデータとして、この情報を含むことができる。サーバは、画像およびメタデータなどの画像に関連する情報を、ユーザによって使用されるデバイスに送ることができる。デバイス402は、識別情報および共有属性を有する画像を表示し、注釈を付けることができる。本デバイスは、画像をユーザに関連付ける様々なグルーピング推奨を表示することもできる。ユーザは、提供された推奨のうちの1つを確認し、画像を関連付ける新しいグルーピングを選択することができる。デバイス402は、サーバまで、または画像を共有するグルーピングをホスティングするネットワークまで直接、ユーザの決定を中継することができる。一実施形態では、ブロック1214において、サーバは、ユーザからのさらなる認証なしに、画像を適切なグルーピングと直接共有することができる。

別の実施形態では、デバイス402は、図1のプロセッサ110を使用して画像の実際のキャプチャをする前に、識別プロセスを開始させる。これは、写真内の個人を検出するプロセスを高速化する可能性があるという利点を有する。デバイス402は、デバイス402のレンズの視野のフレーム内の1つまたは複数の顔を検出する。デバイス402は、画像のフレームを取得する。一実施形態では、実際の画像のフレームは、画像の部分的な画像表現である。画像の部分的な画像表現は、実際の写真が撮影される前に識別プロセスを開始させるのに十分なピクセル情報を有する。場合によっては、デバイス402は、さらに処理するために画像をクラウドに送る前にファイルサイズを低減するために画像を切り取ることもできる。一実施形態では、画像は、ファイルサイズを低減するために、写真内の人々の顔の周りの領域のほとんどすべてのピクセル情報を切り出すことにより切り取られる。別の実施形態では、各顔が検出され、顔を表すファイルのトータルサイズをさらに低減するために切り出され、別個の画像ファイルになる。

ファイルが準備されると、デバイス402は、顔画像を含むファイルをクラウド内のサーバに送る。サーバは、顔を識別し、結果をデバイスに返す。任意の新しい顔がカメラの視野に入る場合、本デバイスは、その新しい人物の顔のみを識別する手順を反復する。人々が視野を出入りするとき、カメラは、また、画像および関連する注釈データの一時的なデータベースを構築する。たとえば、人物が視野を離れ、デバイスのレンズの視野に再び入る場合、本デバイスは、クラウドからの顔の認識を照会する必要がない。代わりに、本デバイスは、画像に注釈を付けるためにそのローカルデータベースを使用する。いくつかの実施形態では、本デバイスは、第三者ネットワークに照会する前に、最も照会された顔を有する、固定のローカルまたはリモートのデータベースを構築することもできる。これにより、近しい家族および友人などの頻繁に撮影される個人の顔のカメラによる迅速な認識が可能になる可能性がある。顔を識別するためのこれらの実施形態は、前に説明した追跡などの他のモードと併せて使用することができるローカルおよびリモートのデータベースを使用する。顔が識別されると、キャプチャされた写真は、注釈とともにユーザに表示され得る。

本発明の一実施形態によれば、図12に示される固有のステップは、動作モード間を切り替える特定の方法を提供することを諒解されたい。代替的な実施形態において、ステップの他のシーケンスも、それに応じて実行され得る。たとえば、本発明の代替的な実施形態は、異なる順序で、上で概説されたステップを実行することができる。たとえば、ユーザは、第3の動作モードから第1の動作モードに、第4のモードから第2のモードに、またはそれらの間の任意の組合せで変化させることを選択することができる。その上、図12に示される個々のステップは、個々のステップに対して様々な順序で適宜実行され得る、複数のサブステップを含み得る。さらに、追加のステップが、具体的な用途に応じて、追加または削除され得る。当業者は、方法1200の多くの変形、修正、および代替を認識し、諒解するであろう。

本デバイスの構成要素によって実行される本発明の実施形態は、本明細書で説明した様々な流れ図において説明した特徴を組み合わせることができる。たとえば、例示的な一実装形態では、本デバイスは、図3で説明したオブジェクトを追跡し、図11もしくは図12の特徴、またはそれらの任意の組合せを使用して、オブジェクトを含む画像データを共有することができる。

100 デバイス
105 バス
110 プロセッサ
115 入力デバイス
120 出力デバイス
125 記憶デバイス
130 通信サブシステム
135 作業メモリ
140 オペレーティングシステム
145 アプリケーション
150 カメラ
202 女性
204 202と同じ女性
402 デバイス
404 ネットワーク
406 リモートデータベース
408 ソーシャルネットワーク
410 サーバ
502 男性
504 男性
506 ボール
508 囲むための円
510 ボックス
512 表示ユニット

Claims (42)

1. デバイスを使用して写真を共有するための方法であって、
   画像に関する画像データにアクセスするステップと、
   前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、
   前記画像内の前記少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、
   前記画像を共有属性に自動的に関連付けるステップと、
   前記共有属性に基づいて前記画像を共有するための情報を生成するステップと
   含む、方法。
2. 前記少なくとも1つのオブジェクトを識別するステップは、
   前記画像データの一部またはすべてを使用して前記少なくとも1つのオブジェクトに関連する前記画像の少なくとも一部の第1の画像表現を生成するステップと、
   前記第1の画像表現を、データベースに記憶された基準オブジェクトの第2の画像表現と比較するステップと
   を含む、請求項1に記載の方法。
3. 前記少なくとも1つのオブジェクトを識別するステップは、
   前記少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスするステップと、
   前記少なくとも1つのオブジェクトに関連する前記少なくとも1つの特性に基づいて前記少なくとも1つのオブジェクトの前記識別情報を決定するステップと
   を含む、請求項1に記載の方法。
4. 前記少なくとも1つのオブジェクトは人物であり、顔認識が、前記人物の顔を含む前記少なくとも1つのオブジェクトに関連する前記画像の前記一部を識別する際に使用される、請求項2に記載の方法。
5. 前記データベースは、写真を共有するために使用される前記デバイスに格納される内部データベース、またはネットワークリソースに属する外部データベースのうちの1つである、請求項2に記載の方法。
6. オブジェクトの識別は、前記オブジェクトの低解像度の画像表現を使用して行われる、請求項1に記載の方法。
7. 前記画像の前記共有属性に基づいて、前記画像をソーシャルネットワークに関連付けるステップをさらに含む、請求項1に記載の方法。
8. 前記画像の前記共有属性に基づいて、前記画像をソーシャルネットワーク内のオブジェクトのグルーピングに関連付けるステップをさらに含む、請求項1に記載の方法。
9. 前記共有属性は、前記画像がキャプチャされた場所、前記画像がキャプチャされた時刻、識別された前記少なくとも1つのオブジェクトに関する同様のオブジェクトへの関連付けの履歴、前記画像内の前記少なくとも1つのオブジェクトおよび人々の顔認識の特性、前記デバイスのユーザとソーシャルネットワーク内のオブジェクトのグルーピングとの関係、ならびに前記デバイスの前記ユーザと前記ソーシャルネットワーク内のオブジェクトの前記グルーピングとの間のデジタルトラストのうちの1つまたは複数を使用して得られる、請求項1に記載の方法。
10. 前記少なくとも1つのオブジェクトは第1の人物である、請求項1に記載の方法。
11. ネットワークリソースを使用して前記画像内の識別された前記第1の人物へのアクセス権を自動的に付与するステップをさらに含む、請求項10に記載の方法。
12. 前記第1の人物と前記デバイスのユーザとの間の第1の信頼関係、および第2の人物と前記デバイスの前記ユーザとの間の第2の信頼関係を使用して、前記第1の人物と前記第2の人物との間で確立された推移的な信頼に基づいて、前記ネットワークリソースを使用して前記第2の人物に前記画像へのアクセス権を自動的に付与するステップをさらに含む、請求項10に記載の方法。
13. 前記第1の人物の人々のグループとの関連付けに基づいて前記ネットワークリソースを使用して人々の前記グループに前記画像へのアクセス権を自動的に付与するステップをさらに含む、請求項10に記載の方法。
14. 前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報が前記デバイスにおいて生じる、請求項1に記載の方法。
15. 写真を共有するステップは、
    サーバにおいてネットワークリソースを使用して前記デバイスから前記画像に関する前記画像データを受け取るステップと、
    前記サーバから、前記共有属性に基づいて前記画像を共有するための情報を送るステップと
    さらに含む、請求項1に記載の方法。
16. 前記デバイスの表示ユニット上に表示された前記少なくとも1つのオブジェクトをハイライトするように構成されたユーザインターフェースをユーザに提供するステップをさらに含む、請求項1に記載の方法。
17. 前記ハイライトされたオブジェクトの選択、処分、または変更のうちの1つまたは複数を実行するために、前記ユーザインターフェースを使用して入力を受け取るステップをさらに含む、請求項16に記載の方法。
18. 前記少なくとも1つのオブジェクトに関する識別可能な情報を、前記ハイライトされたオブジェクトにタグ付けするステップをさらに含む、請求項16に記載の方法。
19. 前記共有属性に基づいて、少なくとも1つの関連付けを含むリストを前記ユーザに提供するステップをさらに含む、請求項16に記載の方法。
20. 前記画像の前記共有属性に基づいて、ネットワークリソースを使用して前記画像をオブジェクトの他のグルーピングに関連付ける、前記画像を共有するための前記ユーザインターフェースを前記ユーザに提供するステップをさらに含む、請求項16に記載の方法。
21. プロセッサと、
    前記プロセッサに結合されたカメラと、
    前記プロセッサに結合された表示ユニットと、
    ある方法を実装するために前記プロセッサによって実行可能なコードを含む、前記プロセッサに結合された非一時的コンピュータ可読記憶媒体と
    を含む、デバイスであって、前記方法は、
    画像に関する画像データにアクセスするステップと、
    前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、
    前記画像内の前記少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、
    前記画像を共有属性に自動的に関連付けるステップと、
    前記共有属性に基づいて前記画像を共有するための情報を生成するステップと
    含む、デバイス。
22. 前記少なくとも1つのオブジェクトを識別するステップは、
    前記画像データの一部またはすべてを使用して前記少なくとも1つのオブジェクトに関連する前記画像の少なくとも一部の第1の画像表現を生成するステップと、
    前記第1の画像表現を、データベースに記憶された基準オブジェクトの第2の画像表現と比較するステップと
    を含む、請求項21に記載のデバイス。
23. 前記少なくとも1つのオブジェクトを識別するステップは、
    前記少なくとも1つのオブジェクトに関連する少なくとも1つの特性にアクセスするステップと、
    前記少なくとも1つのオブジェクトに関連する前記少なくとも1つの特性に基づいて前記少なくとも1つのオブジェクトの前記識別情報を決定するステップと
    を含む、請求項21に記載のデバイス。
24. 前記少なくとも1つのオブジェクトは人物であり、顔認識が、前記人物の顔を含む前記少なくとも1つのオブジェクトに関連する前記画像の前記一部を識別する際に使用される、請求項22に記載のデバイス。
25. 前記データベースは、写真を共有するために使用される前記デバイスに格納される内部データベース、またはネットワークリソースに属する外部データベースのうちの1つである、請求項22に記載のデバイス。
26. オブジェクトの識別は、前記オブジェクトの低解像度の画像表現を使用して行われる、請求項21に記載のデバイス。
27. 前記画像の前記共有属性に基づいて、前記画像をソーシャルネットワークに関連付けるステップをさらに含む、請求項21に記載のデバイス。
28. 前記画像の前記共有属性に基づいて、前記画像をソーシャルネットワーク内のオブジェクトのグルーピングに関連付けるステップをさらに含む、請求項21に記載のデバイス。
29. 前記共有属性は、前記画像がキャプチャされた場所、前記画像がキャプチャされた時刻、識別された前記少なくとも1つのオブジェクトに関する同様のオブジェクトへの関連付けの履歴、前記画像内の前記少なくとも1つのオブジェクトおよび人々の顔認識の特性のうちの1つまたは複数を使用して得られる、請求項21に記載のデバイス。
30. 前記少なくとも1つのオブジェクトは人物である、請求項21に記載のデバイス。
31. ネットワークリソースを使用して前記画像内の識別された少なくとも1人の人物へのアクセス権を自動的に付与するステップをさらに含む、請求項30に記載のデバイス。
32. 前記第1の人物と前記デバイスのユーザとの間の第1の信頼関係、および第2の人物と前記デバイスの前記ユーザとの間の第2の信頼関係を使用して、前記第1の人物と前記第2の人物との間で確立された推移的な信頼に基づいて、前記ネットワークリソースを使用して前記第2の人物に前記画像へのアクセス権を自動的に付与するステップをさらに含む、請求項30に記載のデバイス。
33. 前記第1の人物の人々のグループとの関連付けに基づいて前記ネットワークリソースを使用して人々の前記グループに前記画像へのアクセス権を自動的に付与するステップをさらに含む、請求項30に記載のデバイス。
34. 前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報が前記デバイスにおいて生じる、請求項21に記載のデバイス。
35. 写真を共有するステップは、
    サーバにおいてネットワークリソースを使用して前記デバイスから前記画像に関する前記画像データを受け取るステップと、
    前記サーバから、前記共有属性に基づいて前記画像を共有するための情報を送るステップと
    をさらに含む、請求項21に記載のデバイス。
36. 前記デバイスの前記表示ユニット上に表示された前記少なくとも1つのオブジェクトをハイライトするように構成されたユーザインターフェースをユーザに提供するステップをさらに含む、請求項21に記載のデバイス。
37. 前記ハイライトされたオブジェクトの選択、処分、または変更のうちの1つまたは複数を実行するために、前記ユーザインターフェースを使用して入力を受け取るステップをさらに含む、請求項36に記載のデバイス。
38. 前記少なくとも1つのオブジェクトに関する識別可能な情報を、前記ハイライトされたオブジェクトにタグ付けするステップをさらに含む、請求項36に記載のデバイス。
39. 前記共有属性に基づいて、少なくとも1つの関連付けを含むリストを前記ユーザに提供するステップをさらに含む、請求項36に記載のデバイス。
40. 前記画像の前記共有属性に基づいて、ネットワークリソースを使用して前記画像をオブジェクトの他のグルーピングに関連付ける、前記画像を共有するための前記ユーザインターフェースを前記ユーザに提供するステップをさらに含む、請求項36に記載のデバイス。
41. プロセッサに結合された非一時的コンピュータ可読記憶媒体であって、
    画像に関する画像データにアクセスするステップと、
    前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報にアクセスするステップと、
    前記画像内の前記少なくとも1つのオブジェクトに関連する共有属性にアクセスするステップと、
    前記画像を共有属性に自動的に関連付けるステップと、
    前記共有属性に基づいて前記画像を共有するための情報を生成するステップと
    を前記プロセッサによって実行可能なコンピュータプログラムを含む、非一時的コンピュータ可読記憶媒体。
42. 画像を共有するための装置であって、
    画像に関する画像データにアクセスするための手段と、
    前記画像に関する前記画像データを処理することによって得られる少なくとも1つのオブジェクトの識別情報にアクセスするための手段と、
    前記画像内の前記少なくとも1つのオブジェクトに関連する共有属性にアクセスするための手段と、
    前記画像を共有属性に自動的に関連付けるための手段と、
    前記共有属性に基づいて前記画像を共有するための情報を生成するための手段と
    を含む、装置。

Images