JP2015510622A - アクションを開始および実行するための写真の使用 - Google Patents

アクションを開始および実行するための写真の使用 Download PDF

Info

Publication number
JP2015510622A
JP2015510622A JP2014549102A JP2014549102A JP2015510622A JP 2015510622 A JP2015510622 A JP 2015510622A JP 2014549102 A JP2014549102 A JP 2014549102A JP 2014549102 A JP2014549102 A JP 2014549102A JP 2015510622 A JP2015510622 A JP 2015510622A
Authority
JP
Japan
Prior art keywords
user
photo
candidates
candidate
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014549102A
Other languages
English (en)
Inventor
ブッフミュラー，ダニエル
アクバルザデ，アミール
クレプフル，マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2015510622A publication Critical patent/JP2015510622A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

新たなつながりをソーシャル・グラフに追加するというようなアクションを、写真撮影を通じて実行することができる。写真における顔を、識別のために、ソーシャル・ネットワークに送ることができる。ソーシャル・ネットワークは、当該ソーシャル・ネットワークの写真データベースおよびそのソーシャル・グラフを含む種々のリソースを用いて、顔を識別することができる。写真における人が識別されると、ユーザーは、この識別された人に関して実行されるアクション（例えば、ソーシャル・ネットワークにおいて「友達として追加する」）を指示することができる。ユーザーによって申請されたアクションは、次いで、識別された人に関して実行することができる。【選択図】図１

Description

ソーシャル・ネットワークは、通例、フェースブックにおける友達関係、またはツイッタにおける「フォロー」関係(following relationship)の場合のように、他の人々に対する彼らの関係を識別することを可能にする。これらの関係を識別するために、ユーザーは、通例、彼または彼女が関係を形成することを望む人を名前で検索することによって、またはその名前がユーザーに示されたときにその名前を認識することによって、その人を名前で識別する。しかしながら、ユーザーが名前を知らない人々に会う場合もある。例えば、パーティまたは他の催しにおいて、ある人に会ってもその人の名前が分からないこともあり得る。
加えて、ソーシャル・ネットワークは、通例、タグ付けされた写真(tagged photograph)の大きなデータベースを有する。顔検出を用いると、顔の画像を受信し、その画像に示される人の可能性がある個人情報(identity)を、その顔をタグ付けされた写真と比較することによって判断することができる。しかしながら、ソーシャル・ネットワークにおいて、通常、このような顔照合技法を用いるのは、主に新たな写真における顔に可能なタグを提案するため、またはその写真に自動的にタグ付けするためである。
人は、友達申請、メッセージ、招待等というようなアクションの目標を識別するために写真を用いることによってソーシャル・ネットワークに参加することができる。人は、カメラが装備されたワイヤレス電話機のようなデバイスを用いて、人々の写真を撮る。写真は、当該写真における顔を識別するために分析することもできる。デバイスは、写真内に示される人に関してユーザーが何らかのアクションを行うことを、ユーザーに可能にするインターフェースを提示することができる。例えば、このインターフェースは、ユーザーが写真内に示された人と「友達になる」ことを可能にするのでもよい。
ユーザーが写真に示される人に関してあるアクションを行うことを申請する前に、顔（または顔の表現）を含む写真をソーシャル・ネットワーク・サーバー（または１つ以上のソーシャル・ネットワーク・サービスに問い合わせる仲介サービス）にアップロードする。このサーバーは、ソーシャル・グラフ（例えば、フェースブック・サービスにおけるユーザーのグラフであり、グラフにおけるエッジが友達関係を表す）を維持し、ソーシャル・グラフにおけるユーザーの写真を有することができる。また、ソーシャル・ネットワーク・サーバーは、種々のタイプの推論を用いて、ソーシャル・グラフにおける人の１つ以上の候補個人情報(candidate identity)を選択するソフトウェアを有することもできる。例えば、このソフトウェアは、写真における顔と候補との間における類似性、候補（１人または複数）と写真をアップロードした人との間におけるソーシャルな距離(distance)、写真が撮られた時刻および場所、候補の職場および年齢、写真内に現れる他の人々の個人情報、ソーシャル・ネットワークにおいて登録された同じ催しに出席する人々の個人情報、あるいは他の何らかのしかるべき要因に基づいて候補個人情報を選択することができる。この推論に基づいて、ソフトウェアは１人以上の候補の顔を識別することができる。１人の候補の顔が十分に高い確度で識別された場合、ユーザーの申請を実行することができる。例えば、ユーザーから候補者に友達申請を行うことができる。２人以上の候補の顔がある場合、候補の名前によってまたは彼らの公開プロファイル写真（例えば、候補者のプライバシー設定が、彼らの公開プロファイル写真を使用することは許可するが、彼らの名前を使用することを許可しない場合）によって、候補の中から選択するようにユーザーに求めることができる。次いで、ユーザーは、識別されたユーザーに関して行われるアクションを選択することができ、または実行されるアクションのメニューから選択することができる。次いで、申請されたアクションを、選択された候補のために実行することができる。
この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために用いられることを意図するのでもない。
図１はユーザーが写真を用いてアクションを行うシナリオ例のブロック図である。 図２は、ソーシャル・ネットワーク・サーバーの詳細のブロック図である。 図３は、ユーザーがある人の写真を用いてその人に関するアクションを開始および／または実行することができるプロセス例の流れ図である。 図４は、本明細書において説明する主題の実現と結び付けて用いることができるコンポーネント例のブロック図である。
ソーシャル・ネットワークは、ユーザーが他のユーザーに対する彼らの関係を指定することを可能にする。例えば、フェースブックの「友達」関係は、人々の間の双方向関係の例である。他の例として、ツイッタの「フォロー」(following)関係は、人々の間の一方向関係の例である。人々の間の関係についてより豊富な情報を収集することができる。例えば、フェースブックにおいて、２人のユーザー間における基本的な関係は「友達」関係であるが、人々は、彼らが互いに親戚(relative)であることを指定することができる。更に、フェースブックは非ユーザー・エンティティ（例えば、政党、テレビジョン・ショー、音楽グループ等）も有し、これらは「友達になることはできない」が、ユーザーはこれらのエンティティを「いいね」する(liking)ことによって、彼らの密接な関係(affinity)を示すことができる。誰が誰と友達であるか、誰がどのエンティティをいいねするか、誰が誰と親戚か、誰が誰をフォローしているか等についての情報は、複雑なソーシャル・グラフを形成し、世界における人々およびエンティティ間の関係について詳細な情報を提供する。
ソーシャル・ネットワーク・サービスが通例収集する情報の一種に写真がある。人々は、写真を共有する方法として、これらの写真をソーシャル・ネットワークにアップロードすることをしばしば選択し、写真における人々にタグを付けることもできる。タグ付けされた写真は、特定の人々がどのように見えるかについて大量の情報を提供する。この情報は、顔検出アルゴリズムと共に用いて、新たな写真における顔を、以前にタグ付けした写真からの既知の顔と比較することによって、タグ付けされていない写真における顔を識別することができる。
ソーシャル・ネットワーキング・サイトには、顔検出に基づいて、ある種のタグ付けされたサービスを提供するところもある。例えば、ユーザーが新たなタグなし写真を提出またはアップロードすると、サイトはこの写真を調べて、この写真における顔が、このユーザーの写真、またはこのユーザーの友達の写真等において既にタグ付けされた顔とどの位類似するか判定する。次いで、サイトは、その写真における顔を識別したという十分なレベルの信頼性を有する場合、新たな写真に自動的にタグ付けすることができる。また、サイトが１人以上の候補を識別したが、いずれの特定の候補においても十分に高いレベルの信頼性を有していない場合、サイトは、写真に示された人の１つ以上の可能な個人情報を示唆し、ユーザーにこれらの候補から個人情報を確認または選択するように求めることもできる。しかしながら、このようなサイトは多くの場合少なくとも２つの欠点が生ずる。第一に、これらのサイトは、ユーザーが写真にタグ付けするのを助けるための顔検出の使用を制限することが多い。第二に、これらのサイトは、新たな写真がユーザーの写真に既に現れたことがある人を含むときには役に立つことが多いが、ユーザーにとって知らない人を識別するにはさほど訳に立たない。
本明細書において説明する主題は、アクションの目標を識別する方法として写真を用いる。ユーザーは、人々を含む写真を撮るまたはアップロードすることによって、本プロセスを開始することができる。次いで、この写真を分析し、写真における顔を識別することができる。写真における各顔に関して、ユーザーに関する何らかのアクションを行う機会を、このユーザーに提供することができる。例えば、写真における人を友達として追加する、この人にメッセージを送る、この人のプロファイルを見る（しかるべき許可によって、申請元ユーザーにプロファイルを見ることがされる場合）、またはこの人に招待を送る、フェースブック型「ポーク」(poke)をこのユーザーに送る、他の何らかのしかるべきアクションを行う機会をユーザーに提供することもできる。
以上の行為(happen)を行うために、写真（または、顔を含む写真の領域、または容貌を表すクライアント定義(client defines)に対して計算されたメタデータというような写真の一部）をソーシャル・ネットワーク・サーバーにアップロードすることができる（「ソーシャル・ネットワーク・サービスにアップロードする」は、情報を1つ以上のソーシャル・ネットワークに転送することによって、または１つ以上のソーシャル・ネットワークのソーシャル・グラフを露出することによって、１つ以上のソーシャル・ネットワークに対して仲介として作用するサービスにアップロードする動作(act)を含む）。ソーシャル・ネットワーキング・サーバーは、あるタイプの情報を維持することができ、この情報によってユーザーの申請を補助することが可能になる。例えば、ソーシャル・ネットワーク・サーバーは、ユーザー間の関係を示す、そのユーザーのソーシャル・グラフを維持することができる。加えて、ソーシャル・ネットワーキング・サイトは、１組のタグ付けされた写真を維持することができ、顔照合プロセスのための範例(exemplar)として役割を果たすことができる１組の識別された顔を提供する。（ユーザーの興味を秘密に保つために、ユーザーには、ユーザーが顔照合の目的で彼の顔の写真を使用させる気があるか否か決定する機会を与えることができる。）写真の中に現れる人々の個人情報と写真を結び付けることに加えて、写真には、その写真が撮られた時刻および／または場所というような情報も結び付けられていてもよい。更に、ソーシャル・ネットワーキング・サイトは、ユーザーの年齢、居住都市、職場、交友関係(affiliation)、興味、または他のあらゆる適した情報というような、そのユーザーについての情報を維持することもできる。（以上で述べた情報の一部は、ユーザーにとって個人的であると考えられるので、ソーシャル・ネットワーキング・サイトは、この情報をユーザーから得られたしかるべき許可にしたがって維持することができる。加えて、ユーザーのプライバシーを保護するために、このような情報をどのように使用するとよいかについて制御手段(controls)があるとよい。）ソーシャル・ネットワーキング・サイトは、ソーシャル・グラフおよび写真データベースに収容された情報を用いて申請の目標を識別するコンポーネントを有することができる。このコンポーネントは、ソーシャル・グラフおよび写真データベースにおける情報を種々の方法で使用することができる。この方法については、図２と関連付けて以下で詳しく論ずる。
一旦人が識別されたなら、ソーシャル・ネットワーク・サーバーは１人以上の候補の個人情報をユーザーのデバイスに戻すことができる。顔毎に十分に高いレベルの信頼性で識別された候補の個人情報が１つしかない場合、ユーザーのコンピューターまたは他のデバイスにおけるソフトウェアは単にこの個人情報を受け入れ、ユーザーに、この人に関するアクションを行う機会を提供することができる。一方、ソーシャル・ネットワーク・サーバーが、十分に高いレベルの信頼性では人を全く識別できない場合、１人以上の候補のリストをユーザーのデバイスに戻しても良く、ユーザーのデバイスがユーザーにこの選択を確認するように、または可能な選択肢から選択するように求めるのでもよい。一旦ユーザーが確認または選択を行ったなら、この人が申請の目標になることができる。次いで、ユーザーは申請したアクションに進むことが許可されればよく、またはメニューから１組の可能なアクションが提供されてもよい。一旦ユーザーがアクションを指示したなら、申請されたアクションが、目標の人に関して行われる。以上のプロセスのために人の個人情報が用いられる方法は、その人のプライバシー設定によって制限することもできる。例えば、ある人は、写真によってその人を識別する申請の目標に敢えてなることに消極的な場合もあり、あるいは彼の友達ではない何者かに彼の名前またはプロファイル写真が知られることを許可しない場合もあり、あるいは彼の公開プロファイル写真だけを使用することを許可する（が彼の名前は許可しない）場合もある。例えば、ある人が彼のプロファイル写真だけは使用を許可するが彼の名前を使用することは許可しない場合、明確化要求(disambiguation request)においてその人を識別するためにプロファイル写真が用いられる（しかし、名前は用いられない）。また、ある人に関して実行可能であってもよい１組のアクションが、写真において誰がその人として識別されるかに基づいて制限されるのでもよいことも注記しておく。例えば、２人の候補ＡおよびＢがいて、彼らは写真におけるある人の可能な個人情報(identity)になるとする。Ａは、識別された写真に基づいて、彼自身が友達になることを許可するが、Ｂは許可しないとする。ユーザーがＡを選択することによってこの選択を明確にすると、友達申請が一選択肢として提供されることが可能になるが、ユーザーがＢを選択したことによって明確化する場合、友達申請は一選択肢として提供されない。
尚、写真にタグを自動的に与える（または提案タグ）システムは、人と写真によって識別された目標との間におけるソーシャル・グラフにおいてつながりを作るシステムとは異なり、後者のシステムを考慮しても自明ではないことを注記しておく。前者の場合は単なる顔認識であり、一方後者の場合は顔の個人情報を用いてソーシャル・グラフを拡張する。更に、テキストの形態で目標の名前を入力することによってユーザーに友達申請の目標を指定させるシステムは、その目標の写真を用いることによってユーザーに目標を指定させるシステムとは同一でなく、後者のシステムを考慮しても自明でないことも注記しておく。
これより図面に移ると、図１は、ユーザーが写真を用いてアクションを行うシナリオ例を示す。図示する例では、ユーザー１０２はデバイス１０４を有する。デバイス１０４は、ワイヤレス電話機、ハンドヘルド・コンピューター、音楽プレーヤー、タブレット、または他のいずれのタイプのデバイスであってもよい。デバイス１０４にはカメラ１０６が装備されているとよく、カメラ１０６はユーザー１０２にデバイス１０４によって写真を撮らせる。（一例では、デバイス１０４が単体カメラであってもよい。）ユーザー１０２は、人々１０８の写真を撮る。ユーザー１０２が人々１０８の内の１人であってもよく、または代わりに、人々１０８が、ユーザー１０２を含まない人々のグループであってもよい。撮られた写真１１０は、デバイス１０４の画面１１２上に現れることができる。デバイス１０４上のコンポーネント（例えば、ソフトウェア・コンポーネント）が、写真１１０に現れる顔１１４を検出することができる。（ソフトウェアが画像を分析し、その写真のどの部分に顔があるか判断する技法は、一般に知られている。）
次いで、デバイス１０４は写真１１０をソーシャル・ネットワーク・サーバー１１８にアップロードすることができる（または、顔を含む抽出された矩形、または顔認識を容易にするために容貌を定量化し表現するデータ）。（先に注記したように、「ソーシャル・ネットワーク・サーバーにアップロードする」動作は、一例として、仲介サーバーにアップロードする動作を含み、情報をソーシャル・ネットワークに転送するか、またはソーシャル・ネットワーク・サーバーによって維持されるソーシャル・グラフを露出する）。アップロードされる情報は、写真１１０、１つ以上の顔画像１２０（または顔画像を表すメタデータ）の全てを含むことができ、ユーザー１０２の個人情報１２１も含むことができる。
ソーシャル・ネットワーク・サーバー１１８は、ソーシャル・ネットワーキング・システムを実現するソフトウェアおよび／またはハードウェアを含むことができる。例えば、フェースブック・ソーシャル・ネットワーキング・サーバーを動作させる１組のマシンおよびソフトウェアは、ソーシャル・ネットワーク・サーバー１１８の一例である。（「ソーシャル・ネットワーク・サーバー」という用語は単数であるが、この用語は、複数のサーバー、または複数のコンポーネントのあらゆる組み合わせによって実現されるシステムを指すことができる。）ソーシャル・ネットワーク・サーバー１１８は、ソーシャル・グラフ１２２を維持することができる。ソーシャル・グラフ１２２は、人々の間における関係、例えば、誰が誰と友達であるか、誰が誰をフォローするか等を示す。加えて、ソーシャル・ネットワーク・サーバーは、写真データベース１２４も維持することができる。写真データベース１２４は、ソーシャル・ネットワークのユーザーによってアップロードされた写真を収容する。加えて、写真データベース１２４は、写真についての種々のメタデータも収容する。このメタデータは、写真に適用されたタグ１２７（写真の中に誰または何があるか示す）、写真が撮られた場所および時刻を示す日付け／時刻／場所情報１２８、または写真についての他のあらゆる情報を含むことができる。また、ソーシャル・ネットワーク・サーバー１１８は、選択コンポーネント１３０も有することができる。選択コンポーネント１３０は、ユーザー１０２の申請の目標になるかもしれない１人以上の候補を識別するソフトウェアおよび／またはハードウェアを含む。選択コンポーネント１３０は、この識別を種々の方法で行うことができる。例えば、または申請側ユーザー１０２に対するソーシャル距離が短い人々を探すことによって、申請元ユーザー１０２と年齢が類似する人々を探すことによって、ユーザー１０２と同じ場所で働く人々を探すことによって、申請側ユーザーの写真が撮られた場所に写真が撮られた時刻にいたことが分かった人々を探すことによって、または他の何らかの適したメカニズムによって、申請の目標に似ている既知のユーザーの写真を探す。
選択コンポーネントが１人以上の候補の個人情報を識別したとき、写真に現れる人々の内１人以上について、候補のリスト１３２がデバイス１０４に供給される。すると、ユーザー１０２は、彼がアクションを実行することを望む相手となる人を示すことができるであろう。例えば、画面１１２はタッチ・スクリーンであってもよく、ユーザーは顔の上でタップして、その顔が属する人に関してあるアクションを実行したいことを示すことができる。その顔に対して１人の候補者の個人情報しかない場合、ユーザー１０２は、そのユーザーに対して行われるアクションに移ることができ、または可能なアクションのメニューが示されるのでもよい。（先に注記したように、メニュー上のアクションは、ユーザーのプライバシー設定によって影響を受ける場合がある。例えば、ユーザーは、顔認識に基づいて、あるアクションを実行することは許可するが、他のアクションを実行することは許可しない場合もある。）１つの顔に対して２人以上の候補がいる場合、ユーザー１０２に、これらの候補の中から選択するように求めることもできる（候補は、この場合も目標の人のプライバシー設定に応じて、彼らの名前および／または公開プロファイル写真によって示される場合もある）。一変形態様では、選択コンポーネント１３０は、２人以上の候補を識別するが、選択の内１つに高いレベルの信頼性を有する。この場合、ユーザー１０２には、信頼性が高い方の候補が「予め選択された」選択肢(choice)を提示してもよいが、この事前選択を確認すること、または他の候補の一人に対する選択に変更することをユーザーに求める。デバイス１０４は、相互作用コンポーネント１３４を有することができる。相互作用コンポーネント１３４は、ユーザーのジェスチャーまたは他の行為を、ユーザーが写真の中にある顔の１つに関して申請を行いたいことの指示として解釈し、関連情報をソーシャル・ネットワーク・サーバー１１８に送り、該当する場合には数人の可能な候補の中から選択するようにユーザーに求め、写真のユーザーに関係するデバイス１０４上のいずれかの他のアクションを実行して、アクションを開始および／または実行する。例えば、ユーザーが画面１１２上に示される顔の１つの上でタップすると、相互作用コンポーネント１３４が、図１に示した「友達として追加」メッセージを表示することができる。次いで、ユーザーが申請したどのようなアクション１３６でも、ソーシャル・ネットワーク・サーバー１１８に送ることができる。（先に注記したように、仲介を通して行うこともできる）。
図２は、ソーシャル・ネットワーク・サーバー１１８の一例の詳細を示す。図１に関して先に説明したように、ソーシャル・ネットワーク・サーバー１１８は、ソーシャル・グラフ１２２、写真データベース１２４、および選択コンポーネント１３０を維持することができる。選択コンポーネント１３０は、目標申請に対して１人以上の候補を識別することができ、種々の要因に基づいてこれを行うことができる。これらの要因の適用は、ソーシャル・グラフ１２２および／または写真データベース１２４に収容された情報に基づいて行うことができる。写真データベース１２４は、前述のように、写真およびメタデータを収容することができる。
ソーシャル・グラフ１２２は、人々の間の関係を示すデータを収容することができる。単純な例として、図２は、５人の人々２５１，２５２，２５３，２５４，２５５を有するソーシャル・グラフ１２２を示す。これらの人々は、グラフにおけるノードとして示される。ノード間のエッジ（円を接続する矢印として示される）は、ノード間の関係を示す。各矢印は、「友達」関係、「フォロー」関係、「親戚」関係、共通「いいね」関係（例えば、フェースブックにおける同じページをいいねした２人の人々）、または認識することができる他のあらゆる種類の関係として解釈することもできる。このようなグラフを想定すると、２人の人々の間においてソーシャル近接度および／または距離を定めることができる。例えば、人２５５は人２５２から２の距離を有する。何故なら、人２５５から人２５２には、２つのエッジを横断することによって（人２５１を通過することによって）到達できるからである。この事実は、人２５２が人２５５の「友達の友達」であること（また、おそらく、エッジがどのように解釈されるかに応じて、「フォロワーのフォロワー」）を示すこともできる。エッジの方向は、関係の距離および／または存在を判定するときに、考慮に入れてもまたは無視してもよい。例えば、人２５２が人２５５から２の距離を有するが、エッジの方向を考慮すると、人２５２は人２５５に対して関係がない。何故なら、人２５２から人２５５に到達することは不可能であるからである。（言い換えると、方向が考慮されるとき、ＢがＡとの関係を有さなくても、ＡがＢと関係を有することが可能である。）エッジの方向を無視する場合、人２５５および人２５２は、互いに度数２の関係を有する。
選択コンポーネント１３０によって考慮することができる要因の例を図２において、選択コンポーネント１３０内部のボックスに示す。
考慮するとよい要因の一例は、申請の目標である人と写真データベース１２４における人々との間の視覚類似性（ブロック２０２）である。ユーザーが目標に関してアクションを実行することを申請するとき、目標の顔の画像を選択コンポーネント１３０に供給することができる。（その顔を含むソース写真を供給することによって、顔を含む領域を抽出しその領域を供給することによって、または容貌を定量化するデータを抽出することによって、選択コンポーネント１３０に顔を供給することができる。）申請の目標の顔を写真データベース１２４において顔が現れる人々と比較するために、顔照合アルゴリズムを用いることができる。写真データベース１２４における人々の実際の個人情報は、これらの写真に以前に適用されたタグを通じて知ることができる。２つの顔の間の視覚類似性は、これらの顔が同じ人のものであることの比較的強い指示となることができる。
考慮するとよい要因の他の例は、ソーシャル・グラフにおける近接度（ブロック２０４）である。例えば、申請を提出するユーザーは、ソーシャル・グラフにおいて彼または彼女に近い人々、例えば、既存の友達、友達の友達、友達の友達の友達、同じページを好きになったある者等を知っている可能性が高い。ある者がこのユーザーとは関係がないか、または遠い関係だけがある場合、ユーザーに近いある者よりも、申請の目標になる可能性は低いであろう。以上の例は、申請側ユーザーに対するソーシャルな近接度を考慮するが、他の何らかの基準点からのソーシャル近接度を考慮することもできる。例えば、人Ａが写真を撮り、人Ｂがその写真を用いて、人Ｂが行っている申請の目標を識別するかもしれない。この場合、ソーシャル距離は、写真を撮った人からまたは申請を行っている人からのいずれから測定してもよい。人は、撮影者に対して短いソーシャル距離を有するある者の写真を撮る方が可能性が高いので、候補の検索は、申請者に対して短いソーシャル距離を有する人々、または撮影者に対して短いソーシャル距離を有する人々に的を絞るとよい。（「申請者」という用語は、本明細書では、ユーザーが写真によって識別したある者に関してアクションを実行することを申請しているユーザー、例えば、図１に示すように「友達として追加」申請を行うために顔をタップするユーザーを指すために用いられる。）
考慮するとよい他の要因は、撮影者または申請者のいずれかに対する物理的近接度である（ブロック２０６）。申請者は、あるタイプの申請（例えば、友達申請、招待等）を、この申請者の近くに住む人々に提出する方が可能性が高いであろう。加えて、撮影者は、この撮影者の近くに住むある者の写真を撮る方が可能性が高いであろう。申請者または撮影者に対して候補が物理的に近くにいることは、その候補者に有利に働く傾向があると考えられるが、減殺する(countervailing)考慮事項(consideration)もある。例えば、申請者および／または撮影者が休暇中であるかもしれない。更に、多くのアクション（例えば、広く広がるソーシャル・ネットワーク上で友達を追加する、電子メール・メッセージを送る等）は、地理的に制限される活動(activity)でないと考えられる。特定の候補が写真に示される人であることを顔照合が非常に強く示唆する場合、候補者が申請者または撮影者から離れて住んでいるという事実は、顔照合に基づく発見を無効にするには十分ではない場合もある。つまり、本明細書において説明する要因の全てと同様、物理的近接度は、他の考慮事項によって無視される可能性がある１つの考慮事項に過ぎない。
考慮するとよい要因の他の例は、同じ写真の中にいる他の人々（ブロック２０８）である。アクションを実行する申請を開始するために用いられる写真の中に、数名の人々がいる場合がある。これらの人々の内１人がアクションの目標となり、他の者はならないかもしれない。人々は、彼らが知っている他者と写真に現れる方が可能性が高いと考えられる。つまり、顔照合が特定の人を申請目標であると識別したが、その人が写真における誰とも既知のつながりを有していない場合（ソーシャル・グラフ１２２にしたがって）、この事実は、顔照合が間違った人を識別したことを示唆する可能性もある。しかしながら、人が、自分の知らない他者と一緒に写真に現れる可能性もあるので、本明細書において説明する他の要因と同様、同じ写真の中にいる他者とのつながり（またはその欠如）は、候補を識別するときに用いられる考慮事項の１つに過ぎない。加えて、ブロック２０２〜２１６において述べる情報のいずれも、例えば、ソーシャル・グラフにおけるこれらの人々の位置、彼らの興味、彼らの職場等も、写真における他者に対して考慮することができるが、人についての情報は、その人が識別される人からどれだけ離れているかに応じて、識別プロセスに対する影響は小さくなると考えられることを注記しておく。例えば、識別される人の職場の交友関係は、その人を識別することに強い影響を有する可能性があり、その人とともに写真に現れる人々の職場の交友関係は、何らかの影響を有するかもしれないが、目標の人の職場の交友関係よりも影響は少ないであろう。
考慮するとよい要因の他の例は、写真が撮られた時刻および場所（ブロック２１０）、ならびに人々がいたことが分かっている時間および場所である。ある人が、写真が撮られた場所以外のどこかに、写真が撮られた時刻にいたことが分かっている場合、この事実から、その人が実際に写真に現れることはあり得なくなる。つまり、写真におけるある人が顔照合によって識別されたが、その人が、写真が撮られた時刻に写真の場所にいなかったと判断された場合、その人を候補から除去することができる。人がどこにいたか、および彼または彼女がいつそこにいたかについての情報は、ソーシャル・グラフ１２２および／または写真データベース１２４に収容された情報から判定することができる。例えば、写真が撮られたときおよび場所を示すメタデータを、その写真が有することができる。所与の人の素行(whereabouts)は、種々の情報から、例えば、自己報告（複数のユーザーが前もって彼らが同じイベントに参加することを示すときというように）、その人のポストに関連付けられた時刻および場所、その人が撮られた写真に関連付けられたメタデータ等から判断することができる（人の興味を秘密に保つために、人の素行についての情報は、その人から得られるしかるべき許可にしたがって用いられるとよい）。
考慮するとよい他の要因は、職場（ブロック２１２）、興味（ブロック２１４）、および年齢（ブロック２１６）であろう。同じ場所で働く人々、同じ興味を有する人々、または同年代の人々の方が、互いの申請の目標になることの可能性は高いと考えられる。本明細書において説明した他の要因と同様、これらの考慮事項には減殺する関係(interests)が生ずる。例えば、ユーザーが仕事の会議において遙かに高齢の人に会うかもしれず、それでもその人に友達申請または電子メール・メッセージを送ることを望むこともあり得る。しかしながら、職場、共通の興味、および年齢は、写真の中の誰が申請の目標になるか判断するときに考慮に入れるとよい要因である。職場、興味、および年齢についての情報は、ソーシャル・グラフ１２２において入手できるであろう。年齢に関して、未成年に対しては、成人とは異なる扱いがなされるとよいことを注記しておく。例えば、未成年者を可能な顔照合結果に用いることは、完全に禁止される場合があり、または他の未成年者によって開始された顔照合に制限される場合もある。また、他の例では、未成年者は、彼らが知らない人々を識別するために顔照合を用いることを制限されてもよい。
以上で注記した考慮事項に加えて、しかるべき情報であれば他のいずれでも、考慮事項として用いることができる。例えば、ユーザーが、音楽の趣味が同じか否か、同じ食べ物を好きか否か、またはソーシャル・グラフ内の人々の間で共通性（または相違）を示唆する他のいずれの情報でも用いることができる。一般に、他の全ての要因が等しいとすると、互いに共通の項目を有するユーザーが一緒に写真に現れることの方が可能性が高いと考えられる。更に、他の全てのものが等しいとすると、ユーザーは、このユーザーと共通するものが何もない者よりも、このユーザーと共通する何かを有する者の写真を撮るまたはアップロードする方が可能性が高いと考えられる。
図３は、ユーザーがある人の写真を用いて、その人に関するアクションを開始および／または実行するプロセス例を示す。図３の説明に移る前に、図３の流れ図について、一例として図１および図２に示したコンポーネントを参照して説明するが、図３のプロセスはいずれのシステムにおいても実行でき、図１および図２に示したシナリオに限定されるのではないことを注記しておく。加えて、図３の流れ図は、プロセスの段階が、ブロックを接続する線によって示されるように、特定の順序で実行される例を示すが、この図に示す種々の段階は、いずれの順序でも、あるいはいずれのコンビネーションまたはサブコンビネーションでも実行することができる。
３０２において、ユーザーは写真をキャプチャーする(capture)ことができる。例えば、ユーザーは、カメラが装備されたワイヤレス電話機を携行するのでもよく、このカメラによって写真を撮ることができる。３０４において、写真における人々を検出する。例えば、顔検出アルゴリズムをこの写真に適用し、この写真のどの領域に人々の顔が含まれるか検出することができる。尚、この段階における顔の「検出」は、写真に現れる顔が誰なのかという知識を暗示しないことを注記しておく。むしろ、３０４において実行される動作における顔の検出は、顔を含む写真の領域を、顔を含まない写真の領域と区別する動作を指す。（顔の検出は、クライアントまたはサーバー上のいずれかで実行することができる。）。更に、顔検出が適用される写真は、ユーザーのカメラによってキャプチャーされた写真であってもよいが、異なる時点、および／または異なる場所、および／または異なる人によってキャプチャーされた異なる写真でも可能であることを注記しておく。例えば、ユーザーがワイヤレス電話機を携行するが、写真を取り込む(acquire)（例えば、マルチメディア・メッセージング・サービス（ＭＭＳ）によって、ＷｉＦｉアップロードによって等）のでもよく、そしてこの写真がユーザーによって撮られたかのように、図３において説明するプロセスにおいてこの写真を使用してもよい。本明細書における主題は、ユーザーが彼または彼女自身のデバイスで写真を撮り、次いでこのデバイスを用いてアクションを実行するというシナリオに限定されるのではなく、逆に、写真はどこからでも得ることができる。
３１８において、写真における人々の顔の表現をソーシャル・ネットワーク・サーバーに送る。一例では、写真全体がソーシャル・ネットワークに（写真におけるどの顔が申請の目標であるかの何らかの指示と共に）送られてもよい。他の例では、写真から顔を抽出してもよく、別々に送ってもよい。更に他の例では、容貌を表すメトリックを計算してもよく、これらのメトリックを送ってもよい。
３２２において、候補の顔を選択する。候補の顔を選択するプロセスは、選択コンポーネント１３０（図１および図２において先に説明した）によって実行することができ、図２に関連して先に説明した種々のタイプの選択要因を用いて実行することができる。この選択プロセスは、顔毎に、１人の候補を生成するのでもよく、または複数の候補を生成するのでもよい。候補（１人または複数）は、ユーザーが申請を開始したデバイスに送ることができる。候補が１人よりも多い場合（３２４において判断する）、３２６において明確化プロセスを実行することができる。例えば、ユーザーにインターフェース３２８を提示することができ、このインターフェース３２８によって、ユーザーがラジオ・ボタン３３０を用いて候補の内１人を選択することによって、２人の候補の個人情報（図３における例では、ジョーおよびトム）の間で選別する(pick)ことができる。図示する例では、ユーザーには候補の名前が示されるが、先に注記したように、候補のプライバシー設定に基づいて、ユーザーには、候補の公開プロファイル写真が彼の名前の代わりに示されることもある。
一旦候補の選択が明確化されたなら（または、３２４において１人の候補しかいないと判断された場合）、申請されたアクションをユーザーから受けることができる（３２６において）。ユーザーは、申請するアクションを入力することができ、またはメニューからそのアクションを選択することもできる。申請することができるアクションの例（デフォルトによって、または複数のアクションからユーザーが選択した結果として）には、人を友達として追加する（ブロック３０８）、メッセージをその人に送る（ブロック３１０）、その人をイベントに招待する（ブロック３１２）、またはその人のプロファイルを、プロファイルを維持するサービス（フェースブックのような）において見る（ブロック３１４）、あるいはフェースブックの「ポーク」(poke)アクションのようなアクションを用いてその人に「挨拶する」（ブロック１１５）がある。あるいは、他のいずれのアクションでも申請することができる（ブロック３１６）。申請されたアクションは、次いで、目標ユーザーに関して実行することができる（３２２において）。例えば、ユーザーが写真に示された特定のユーザーを友達として追加したいことを示した場合、友達申請をそのユーザーに送ることができる。
図４は、本明細書において説明した主題の態様を展開することができる環境例を示す。
コンピューター４００は、１つ以上のプロセッサー４０２と、１つ以上のデータ記憶コンポーネント４０４とを含む。プロセッサー（１つまたは複数）４０２は、通例、パーソナル・コンピューター、デスクトップ・コンピューター、またはラップトップ・コンピューター、サーバー、ハンドヘルド・コンピューター、または他の種類の計算デバイスにおいて見られるような、マイクロプロセッサーである。データ記憶コンポーネント（１つまたは複数）４０４は、短期間または長期間データを格納することができるコンポーネントである。データ記憶コンポーネント（１つまたは複数）４０４の例には、ハード・ディスク、リムーバブル・ディスク（光ディスクおよび磁気ディスクを含む）、揮発性および不揮発性ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、フラッシュ・メモリ、磁気テープ等が含まれる。データ記憶コンポーネント（１つまたは複数）は、コンピューター読み取り可能記憶媒体の例である。コンピューター４００は、ディスプレイ４１２を含むか、またはこれと関連付けられるのでもよい。ディスプレイ４１２は、陰極線管（ＣＲＴ）モニター、液晶表示（ＬＣＤ）モニター、または他のあらゆるタイプのモニターでもよい。
データ記憶コンポーネント（１つまたは複数）４０４にはソフトウェアを格納することができ、１つ以上のプロセッサー（１つまたは複数）４０２上で実行することができる。このようなソフトウェアの例は、写真ベース・アクション・ソフトウェア４０６であり、図１から図３に関して以上で説明した機能性の一部または全部を実行することができるが、いずれのタイプのソフトウェアでも用いることができる。ソフトウェア４０６は、例えば、１つ以上のコンポーネントによって実現することができ、これらのコンポーネントは、分散型システム、別々のファイル、別々の機能、別々のオブジェクト、別々のコード・ライン等におけるコンポーネントであってもよい。プログラムがハード・ディスクに格納され、ＲＡＭにロードされ、コンピューターのプロセッサー（１つまたは複数）上で実行されるコンピューター（例えば、パーソナル・コンピューター、サーバー・コンピューター、ハンドヘルド・コンピューター等）は、図４に示すシナリオを代表するが、本明細書において説明する主題は、この例に限定されるのではない。
本明細書において説明する主題は、データ記憶コンポーネント（１つまたは複数）４０４の内１つ以上に格納されプロセッサー（１つまたは複数）４０２の内１つ以上で実行するソフトウェアとして実現することができる。他の例として、本主題は、１つ以上のコンピューター読み取り可能媒体上に格納される命令として実現することができる。このような命令は、コンピューターまたは他のマシンによって実行されると、そのコンピューターまたは他のマシンに、方法の１つ以上の動作を実行させることができる。動作を実行する命令は、１つの媒体上に格納することができるが、複数の媒体に跨がって広げることもでき、これらの命令の全てが偶然同じ媒体上にあるか(happen to)否かには関係なく、これらの命令が１つ以上のコンピューター読み取り可能媒体上に集合的に現れるのであればよい。「コンピューター読み取り可能媒体」という用語は、信号自体を含まず、伝搬信号としてのみ存在する情報も含まない。尚、本明細書における請求項が、伝搬信号の形態でのみ情報を搬送する媒体に言及し、いずれのタイプの持続可能なストレージではない場合、このような請求項は「一時的」または「揮発性」(ephemeral)という用語を用いることは理解されよう（例えば、一時的コンピューター読み取り可能媒体」または「揮発性コンピューター読み取り可能媒体」）。請求項が明示的に媒体を「一時的」または「揮発性」と記述しない限り、このような請求項は、伝搬信号としてのみ存在するまたは信号自体としてのみ存在する情報を記述すると理解してはならない。加えて、「ハードウェア媒体」また「有形媒体」は、ＲＡＭ、ＲＯＭ、フラッシュ・メモリ、ならびに物理的有形形態で存在するディスクというようなデバイスを含むことを注記しておく。このような「ハードウェア媒体」または「有形媒体」は、信号自体ではない。更に、「記憶媒体」とは情報を格納する媒体である。「記憶」という用語は、データの持続可能な保持を意味するために用いられる。本明細書における主題に限って言うと、伝搬信号の形態のみで存在する情報は、「持続可能に」保持されるとは見なされない。したがって、「記憶媒体」は、ディスク、ＲＡＭ、ＲＯＭ等を含むが、伝搬信号の形態のみで存在する情報を含まない。何故なら、このような情報は「格納」されないからである。
加えて、本明細書において説明したいずれの動作も（図に示されたか否かには関係なく）、プロセッサー（例えば、プロセッサー４０２の内１つ以上）によって、方法の一部として実行することができる。即ち、動作Ａ、Ｂ、およびＣを本明細書において説明する場合、Ａ、Ｂ、Ｃの動作を含む方法を実行することができる。更に、Ａ、Ｂ、およびＣの動作を本明細書において説明する場合、Ａ、Ｂ、およびＣの動作を実行するためにプロセッサーを用いることを含む方法を実行するのでもよい。
一環境例では、コンピューター４００がネットワーク４０８を通じて１つ以上の他のデバイスに通信可能に接続されてもよい。コンピューター４１０は、コンピューター４００と構造が同様であってもよく、コンピューター４００に接続することができるデバイスの一例であるが、他のタイプのデバイスをそのように接続してもよい。
以上、構造的特徴および／または方法論的動作に特定的な文言で主題について説明したが、添付する特許請求の範囲において定められる主題が、以上で説明した特定的な特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定的な特徴や動作は、特許請求の範囲を実現する形態例として開示されたまでである。

Claims (10)

  1. 写真を用いてアクションを開始する方法であって、
    ユーザーから、写真における顔の指示を受けるステップと、
    前記顔を現す情報を、前記ソーシャル・ネットワークを運営するサーバーに送るステップであって、前記サーバーが前記顔の１つ以上の候補を識別するステップと、
    前記サーバーから、前記１つ以上の候補のリストを受け取るステップと、
    前記候補のリストに基づいて、前記ユーザーから、ソーシャル・ネットワークにおけるつながりとして、前記顔と関連付けられた人を追加する申請を受けるステップと、
    前記１人以上の候補から、第１候補を前記ソーシャル・ネットワークにおける前記ユーザーのつながりとして追加するステップと、
    を含む、方法。
  2. 請求項１記載の方法において、前記サーバーが、当該サーバーにおいて格納された写真データベースを用いて、前記顔の前記写真データベースに格納された顔に対する視覚類似性に基づいて、前記候補を識別する、方法。
  3. 請求項１記載の方法において、前記サーバーが、前記ソーシャル・ネットワークのユーザー間の関係のソーシャル・グラフを維持し、前記ソーシャル・グラフが、前記ソーシャル・ネットワークのユーザーの各々について職場、興味、および年齢を示し、前記サーバーが、前記候補の職場、興味、および年齢の、前記ソーシャル・グラフにおけるユーザーの職場、興味、および年齢との比較に基づいて前記候補を識別する、方法。
  4. 請求項１記載の方法であって、更に、
    前記候補から前記第１候補が前記サーバーによって前記候補の内１人として識別されたことに基づいて、前記候補の内前記第１候補に電子メールを送るステップを含む、方法。
  5. 請求項１記載の方法であって、更に、
    前記候補から前記第１候補が前記サーバーによって前記候補の内１人として識別されたことに基づいて、前記候補の内前記第１候補をイベントに招待するステップを含む、方法。
  6. 請求項１から５までのいずれか１項記載の方法を実行するためにコンピューター実行可能命令を有するコンピューター読み取り可能媒体。
  7. 写真に基づいて申請の目標を識別するシステムであって、
    メモリと、
    プロセッサーと、
    ソーシャル・ネットワークにおける人々の間の関係を定めるソーシャル・グラフと、
    写真と、前記写真に関するメタデータとを格納する写真データベースと、
    前記メモリに格納され前記プロセッサー上で実行するコンポーネントであって、第１の顔と１つ以上の第２の顔とを含む写真を受け取り、前記第１の顔、前記ソーシャル・グラフ、および前記写真データベースを用いて、前記ソーシャル・グラフにおける１人以上の候補を、前記目標の人であると識別し、前記候補のリストをユーザーのデバイスに供給し、前記ユーザーから、前記ユーザーと前記目標の人との間の関係を前記ソーシャル・グラフに追加する申請を受け、前記第1の顔に基づいて、前記候補から第１候補が前記候補の内１人であると識別されたという事実に基づいて、更に前記ユーザーがテキストを用いて前記候補から前記第１候補を識別したことに基づかずに、前記候補の内前記第１候補と前記ユーザーとの間のつながりを前記ソーシャル・グラフに追加する、コンポーネントと、
    を含む、システム。
  8. 請求項７記載のシステムにおいて、前記コンポーネントが、前記第１の顔に関連付けられた個人情報と前記１つ以上の第２の顔に関連付けられた個人情報との間の関係に基づいて、前記１人以上の候補を識別する、システム。
  9. 請求項７記載のシステムにおいて、前記コンポーネントが、前記候補と前記ユーザーとの間のソーシャル距離、または前記１人以上の候補と、前記写真を撮った撮影者との間のソーシャル距離に基づいて、前記１人以上の候補を識別する、システム。
  10. 請求項７記載のシステムにおいて、前記ソーシャル・グラフが、当該ソーシャル・グラフにおける人々の物理的場所についてのデータを維持し、前記写真が、前記写真が撮られた場所および時刻を示すメタデータと関連付けられ、前記コンポーネントが、前記候補が前記場所に前記時刻にいたか否かに基づいて、前記１人以上の候補を識別する、システム。
JP2014549102A 2011-12-19 2012-12-11 アクションを開始および実行するための写真の使用 Pending JP2015510622A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/329,327 2011-12-19
US13/329,327 US20130156274A1 (en) 2011-12-19 2011-12-19 Using photograph to initiate and perform action
PCT/US2012/068840 WO2013095977A1 (en) 2011-12-19 2012-12-11 Using photograph to initiate and perform action

Publications (1)

Publication Number Publication Date
JP2015510622A true JP2015510622A (ja) 2015-04-09

Family

ID=48062161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014549102A Pending JP2015510622A (ja) 2011-12-19 2012-12-11 アクションを開始および実行するための写真の使用

Country Status (7)

Country Link
US (1) US20130156274A1 (ja)
EP (1) EP2795570A4 (ja)
JP (1) JP2015510622A (ja)
KR (1) KR20140105478A (ja)
CN (1) CN103049520A (ja)
TW (1) TW201337795A (ja)
WO (1) WO2013095977A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058460A1 (ja) * 2017-09-20 2019-03-28 日産自動車株式会社 走行支援方法及び走行支援装置

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457366B2 (en) * 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
US8798401B1 (en) * 2012-06-15 2014-08-05 Shutterfly, Inc. Image sharing with facial recognition models
US20140032659A1 (en) * 2012-07-27 2014-01-30 BranchOut, Inc. Facilitating communications between users of multiple social networks
US20140105466A1 (en) * 2012-10-16 2014-04-17 Ocean Images UK Ltd. Interactive photography system and method employing facial recognition
US9361626B2 (en) * 2012-10-16 2016-06-07 Google Inc. Social gathering-based group sharing
US20140108530A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Person of Interest in Augmented Reality
US10032233B2 (en) * 2012-10-17 2018-07-24 Facebook, Inc. Social context in augmented reality
US20140108501A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Presence Granularity with Augmented Reality
US20140108529A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Person Filtering in Augmented Reality
US9330301B1 (en) * 2012-11-21 2016-05-03 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9336435B1 (en) * 2012-11-21 2016-05-10 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9600598B2 (en) * 2013-03-14 2017-03-21 Samsung Electronics Co., Ltd. Computing system with social interaction mechanism and method of operation thereof
US9282138B2 (en) * 2013-03-15 2016-03-08 Facebook, Inc. Enabling photoset recommendations
WO2014172827A1 (en) * 2013-04-22 2014-10-30 Nokia Corporation A method and apparatus for acquaintance management and privacy protection
US20150006669A1 (en) * 2013-07-01 2015-01-01 Google Inc. Systems and methods for directing information flow
CN103347032A (zh) * 2013-08-01 2013-10-09 赵频 一种交友的方法和系统
CN103412953A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 基于增强现实的社交方法
US20150074206A1 (en) * 2013-09-12 2015-03-12 At&T Intellectual Property I, L.P. Method and apparatus for providing participant based image and video sharing
CN104572732A (zh) * 2013-10-22 2015-04-29 腾讯科技（深圳）有限公司 查询用户标识的方法及装置、获取用户标识的方法及装置
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
US9972324B2 (en) * 2014-01-10 2018-05-15 Verizon Patent And Licensing Inc. Personal assistant application
CN104202426B (zh) * 2014-09-23 2019-01-29 上海合合信息科技发展有限公司 网络帐户建立连接的方法及其网络终端设备、云端设备
US10375004B2 (en) * 2014-09-30 2019-08-06 Microsoft Technology Licensing, Llc Facilitating social network service connections based on mobile device validated calendar data
US9491258B2 (en) 2014-11-12 2016-11-08 Sorenson Communications, Inc. Systems, communication endpoints, and related methods for distributing images corresponding to communication endpoints
US10102225B2 (en) * 2014-12-04 2018-10-16 Facebook, Inc. Systems and methods for time-based association of content and profile information
CN105847523A (zh) * 2015-01-14 2016-08-10 白云杰 添加联系人的方法和系统
CN106202071A (zh) * 2015-04-29 2016-12-07 腾讯科技（深圳）有限公司 账户信息获取的方法、终端、服务器和系统
EP3091725B1 (de) * 2015-05-07 2018-08-29 Deutsche Telekom AG Verfahren zum zugriff eines nutzers auf die visuellen aufnahmen einer öffentlichen kamera
WO2017044910A1 (en) 2015-09-10 2017-03-16 I'm In It, Llc Methods, devices, and systems for determining a subset for autonomous sharing of digital media
CN105354746A (zh) * 2015-09-25 2016-02-24 天脉聚源（北京）教育科技有限公司 一种信息传输方法及装置
KR102278017B1 (ko) * 2015-11-19 2021-07-15 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법
KR102071661B1 (ko) * 2015-11-19 2020-01-30 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US9934397B2 (en) * 2015-12-15 2018-04-03 International Business Machines Corporation Controlling privacy in a face recognition application
US10558815B2 (en) 2016-05-13 2020-02-11 Wayfair Llc Contextual evaluation for multimedia item posting
US10552625B2 (en) 2016-06-01 2020-02-04 International Business Machines Corporation Contextual tagging of a multimedia item
CN105897570B (zh) * 2016-06-29 2020-06-02 北京小米移动软件有限公司 推送方法及装置
US9986152B2 (en) 2016-08-02 2018-05-29 International Business Machines Corporation Intelligently capturing digital images based on user preferences
JP2018025855A (ja) * 2016-08-08 2018-02-15 ソニーモバイルコミュニケーションズ株式会社 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム
US9906610B1 (en) * 2016-09-01 2018-02-27 Fotoccasion, Inc Event-based media sharing
US10218898B2 (en) 2016-09-09 2019-02-26 International Business Machines Corporation Automated group photograph composition
CN108108012B (zh) * 2016-11-25 2019-12-06 腾讯科技（深圳）有限公司 信息交互方法和装置
TW201824172A (zh) * 2016-12-22 2018-07-01 創意點子數位股份有限公司（Ｂ．Ｖ．Ｉ） 標籤式社交方法及其系統
WO2018123714A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 カメラ、カメラの処理方法、サーバ、サーバの処理方法および情報処理装置
US10248847B2 (en) 2017-02-10 2019-04-02 Accenture Global Solutions Limited Profile information identification
CN106991615A (zh) * 2017-03-09 2017-07-28 厦门盈趣科技股份有限公司 一种通过射击获得纸条的随机交友方法及系统
US10474899B2 (en) * 2017-04-03 2019-11-12 Facebook, Inc. Social engagement based on image resemblance
US10372234B2 (en) * 2017-05-09 2019-08-06 Lenovo (Singapore) Pte Ltd Calculating a social zone distance
CN107222388A (zh) * 2017-05-19 2017-09-29 努比亚技术有限公司 一种终端互动方法、终端及计算机可读存储介质
CN108307102B (zh) * 2017-06-16 2019-11-15 腾讯科技（深圳）有限公司 信息显示方法、装置及系统
CN107302492A (zh) * 2017-06-28 2017-10-27 歌尔科技有限公司 社交软件的交友请求方法、服务器、客户端装置和系统
CN109508523A (zh) * 2017-09-11 2019-03-22 金德奎 一种基于人脸识别的社交方法
US10511763B1 (en) * 2018-06-19 2019-12-17 Microsoft Technology Licensing, Llc Starting electronic communication based on captured image
CN109388722B (zh) * 2018-09-30 2022-10-11 上海碳蓝网络科技有限公司 一种用于添加或查找社交联系人的方法与设备
CN111435278A (zh) * 2019-01-14 2020-07-21 金德奎 一种基于车牌识别的信息交互系统及信息交互方法
KR102402472B1 (ko) * 2020-01-10 2022-05-26 주식회사 웹웨어 사진기반의 소셜네트워킹 서비스방법
US20210248562A1 (en) * 2020-02-10 2021-08-12 The Boeing Company Method and system for communicating social network scheduling between devices

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1871602A (zh) * 2003-10-20 2006-11-29 罗吉加利斯公司 与使用启动远程函数调用的图像或音频的服务器一起使用的方法、系统、设备和机器可读媒体
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
KR20070031720A (ko) * 2005-09-15 2007-03-20 에스케이 텔레콤주식회사 지인 네트워크를 이용한 개인화 정보 서비스 방법 및시스템
US20090060289A1 (en) * 2005-09-28 2009-03-05 Alex Shah Digital Image Search System And Method
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
KR101157597B1 (ko) * 2010-01-28 2012-06-19 주식회사 팬택 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019058460A1 (ja) * 2017-09-20 2019-03-28 日産自動車株式会社 走行支援方法及び走行支援装置

Also Published As

Publication number Publication date
US20130156274A1 (en) 2013-06-20
EP2795570A1 (en) 2014-10-29
EP2795570A4 (en) 2015-08-05
TW201337795A (zh) 2013-09-16
CN103049520A (zh) 2013-04-17
WO2013095977A1 (en) 2013-06-27
KR20140105478A (ko) 2014-09-01

Similar Documents

Publication Publication Date Title
JP2015510622A (ja) アクションを開始および実行するための写真の使用
US10019136B1 (en) Image sharing device, apparatus, and method
US11528305B2 (en) Information exchange method and terminal
US10582037B2 (en) Two-way permission-based directory of contacts
US10027727B1 (en) Facial recognition device, apparatus, and method
US10027726B1 (en) Device, apparatus, and method for facial recognition
US9338242B1 (en) Processes for generating content sharing recommendations
US20230334173A1 (en) Data compliance management in recording calls
US9923899B2 (en) Content access control in a social network
US9361626B2 (en) Social gathering-based group sharing
US10139917B1 (en) Gesture-initiated actions in videoconferences
KR101686830B1 (ko) 온라인 소셜 네트워크 상의 이미지를 위한 태그 제안
US20120269185A1 (en) System and method for computer based collaboration initiated via a voice call
US9294426B2 (en) Inner-circle social sourcing
US8843573B2 (en) Lightweight messaging with location between users of a social networking system
US20140129505A1 (en) Social event recommendation system
US9552421B2 (en) Simplified collaborative searching through pattern recognition
TWI713327B (zh) 訊息發送方法及裝置和電子設備
EP3272127B1 (en) Video-based social interaction system
WO2015061696A1 (en) Social event system
CN116401467A (zh) 交友匹配模型构建、好友推荐、用户匹配方法、电子设备
KR20240057083A (ko) 메신저에서의 영상 추천 방법, 컴퓨터 프로그램 및 컴퓨팅 디바이스
EP4318292A1 (en) Screenshot prevention

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151211