JP2021518072A - ユーザ関与に基づくオーディオ選択 - Google Patents

ユーザ関与に基づくオーディオ選択 Download PDF

Info

Publication number
JP2021518072A
JP2021518072A JP2020547375A JP2020547375A JP2021518072A JP 2021518072 A JP2021518072 A JP 2021518072A JP 2020547375 A JP2020547375 A JP 2020547375A JP 2020547375 A JP2020547375 A JP 2020547375A JP 2021518072 A JP2021518072 A JP 2021518072A
Authority
JP
Japan
Prior art keywords
sound source
involvement
metric
user
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020547375A
Other languages
English (en)
Inventor
ジェイソン フランシス ハリソン,
ジェイソン フランシス ハリソン,
シャヒード ラザック,
シャヒード ラザック,
エリック ダブリュ. ファン,
エリック ダブリュ. ファン,
Original Assignee
フェイスブック,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェイスブック,インク. filed Critical フェイスブック,インク.
Publication of JP2021518072A publication Critical patent/JP2021518072A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

一実施形態では、方法が、少なくとも2つのマイクロフォンのマイクロフォンアレイからオーディオ入力データを受信することを含む。オーディオ入力データは、第1のロケーションにおける第1の音源と、第2のロケーションにおける第2の音源とによって生成される。本方法は、第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算することをも含む。第1の関与メトリックは、第1の音源についての受信ユーザの興味レベルに近似し、第2の関与メトリックは、第2の音源についての受信ユーザからの興味レベルに近似する。本方法は、第1の関与メトリックが第2の関与メトリックよりも大きいと決定することと、オーディオ出力信号を生成するためにオーディオ入力データを処理することとをも含む。オーディオ出力信号は、第2の音源に対して、第1の音源によって生成された音を増幅し得る。【選択図】図5

Description

本開示は、一般に、オーディオ操作に関する。
ソーシャルネットワーキングウェブサイトを含み得る、ソーシャルネットワーキングシステムは、そのユーザ(個人または法人など)が、ソーシャルネットワーキングシステムと対話し、ソーシャルネットワーキングシステムを通して互いと対話することを可能にし得る。ソーシャルネットワーキングシステムは、ユーザからの入力を用いて、ユーザに関連付けられたユーザプロファイルを作成し、ソーシャルネットワーキングシステムに記憶し得る。ユーザプロファイルは、人口統計学的情報、通信チャネル情報、およびユーザの個人的な興味に関する情報を含み得る。ソーシャルネットワーキングシステムはまた、ユーザからの入力を用いて、ソーシャルネットワーキングシステムの他のユーザとのユーザの関係のレコードを作成し、記憶し、ならびに、サービス(たとえば、ウォールポスト、写真共有、イベント編成、メッセージング、ゲーム、または広告)を提供して、ユーザ間のソーシャルな対話を円滑にし得る。
ソーシャルネットワーキングシステムは、1つまたは複数のネットワークを介して、そのサービスに関係するコンテンツまたはメッセージを、ユーザのモバイルまたは他のコンピューティングデバイスに送信し得る。ユーザはまた、ユーザのモバイルまたは他のコンピューティングデバイス上に、ユーザのユーザプロファイルおよびソーシャルネットワーキングシステム内の他のデータにアクセスするためのソフトウェアアプリケーションをインストールし得る。ソーシャルネットワーキングシステムは、ユーザにつながっている他のユーザの集約されたストーリーのニュースフィードなど、ユーザに表示するためのコンテンツオブジェクトの個人化されたセットを生成し得る。
スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、または専用オーディオ/ビデオ通信インターフェースなど、スマート通信デバイスは、GPS受信機、コンパス、ジャイロスコープ、または加速度計など、そのデバイスのロケーション、方向、または向きを決定するための機能性を含み得る。そのようなデバイスは、BLUETOOTH通信、ニアフィールド通信(NFC)、あるいは赤外線(IR)通信、あるいはワイヤレスローカルエリアネットワーク(WLAN)またはセルラー電話ネットワークとの通信など、ワイヤレス通信のための機能性をも含み得る。そのようなデバイスは、1つまたは複数のカメラ、スキャナ、タッチスクリーン、マイクロフォン、またはスピーカーをも含み得る。モバイルコンピューティングデバイスは、ゲーム、ウェブブラウザ、またはソーシャルネットワーキングアプリケーションなど、ソフトウェアアプリケーションをも実行し得る。ソーシャルネットワーキングアプリケーションを用いると、ユーザは、自身のソーシャルネットワーク内の他のユーザとつながり、通信し、情報を共有し得る。
ライブまたはビデオチャットあるいはあらかじめ記録されたオーディオ/ビジュアル提示など、オーディオ/ビジュアル通信のために、インテリジェント通信デバイスが使用され得る。インテリジェント通信デバイスは、「スマートオーディオ」構成要素を有し得る。スマートオーディオ構成要素は、2つまたはそれ以上の音源を区別し、どの音源を他の音源よりも増幅すべきかをインテリジェントに選択することが可能であり得る。たとえば、オーディオビデオ通信セッション中に、人が、その人のリビングルームにおいてしゃべっている(talk)ことがあり、テレビ受像機もオンにされ、音を発していることがある。スマートオーディオ構成要素は、その人の音声(voice)を人間の音声として認識することが可能であり得、人間の音声をTV雑音よりも増幅することが可能であり得る。そのような区別は、人対TVの状況に限定されないことがある。限定としてではなく一例として、スマートオーディオ構成要素は、(1)同じ部屋において同時に行われている2つまたはそれ以上の異なる会話を区別すること、(2)各会話についての関与メトリック(engagement metric)を計算することによって、どの会話が1人または複数の受信ユーザ(たとえば、オーディオビジュアル通信セッションのリモート参加者)により興味をもたせているかを判定すること、および(3)受信ユーザにとって、その部屋における他の会話よりも、最も興味深い会話(たとえば、最高関与メトリックをもつ会話)を相対的に増幅することが可能であり得る。特定の実施形態では、スマートオーディオ構成要素は、関与メトリックを計算しないことがあるが、代わりに、どの音源を相対的に増幅するべきかまたは弱めるべきかを決定するための他のルールに従い得る。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、およびシステムを対象とする添付の特許請求の範囲で開示され、1つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システム、記憶媒体、またはコンピュータプログラム製品においても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照(特に複数の従属関係)から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれかは、別個の請求項において、ならびに/あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。
本発明による一実施形態では、特に、コンピュータ実装方法は、
オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算することであって、
第1の関与メトリックが、第1の音源についての受信ユーザの興味レベル(interest level)に近似し、
第2の関与メトリックが、第2の音源についての受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
第1の関与メトリックが第2の関与メトリックよりも大きいと決定することと、
オーディオ出力信号を生成するためにオーディオ入力データを処理することであって、オーディオ出力信号が、第1の音源によって生成された音を増幅し、第2の音源によって生成された音を減衰させる、オーディオ入力データを処理することと、
オーディオ出力信号を、受信ユーザに関連付けられたコンピューティングデバイスに送信することと
を含み得る。
本発明による一実施形態では、方法は、第1の音源についての第1の分類と第2の音源についての第2の分類とを決定することであって、第1の関与メトリックが第1の分類に基づき、第2の関与メトリックが第2の分類に基づく、第1の分類と第2の分類とを決定することを含み得る。
第1の音源についての第1の分類は人間の音声であり得、第2の音源についての第2の分類は人間以外の音であり得る。
第1の分類と第2の分類とを決定することは、オーディオビデオ通信セッションについての記述的モデル(descriptive model)から受信された情報に基づき得、記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性(descriptive characteristic)を備える。
オーディオ入力データを処理することは、第1の源によって生成された第1のオーディオ入力信号と、第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み得、音響的ビームフォーミングは、第1の音源が増幅され、第2の音源が減衰されるように、第2のオーディオ入力信号を時間遅延させることを含み得る。
第1の関与メトリックと第2の関与メトリックとは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を備える、オーディオビデオ通信セッションについての記述的モデルに基づいて計算され得る。
本発明による一実施形態では、方法は、
複数のノードと、ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
第1のノードが受信ユーザに対応し、
第2のノードが、第1の音源に関連付けられたエンティティに対応し、
第1のノードと第2のノードとの間のエッジが、受信ユーザとエンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
第1のノードと第2のノードとの間のエッジに基づいて第1の関与メトリックを増加させることと
を含み得る。
第1の関与は、第1の音源によって話される(speak)ワードのカウント、第1の音源とマイクロフォンアレイとの間の距離、または第1の音源が現在のオーディオビジュアル通信セッション中に環境中に存在していた時間の量に少なくとも部分的に基づいて計算され得、
第2の関与は、第2の音源によって話されるワードのカウント、第2の音源とマイクロフォンアレイとの間の距離、または第2の音源が現在のオーディオビジュアル通信セッション中に環境中に存在していた時間の量に少なくとも部分的に基づいて計算され得る。
本発明による一実施形態では、1つまたは複数のコンピュータ可読非一時的記憶媒体がソフトウェアを具現し得、ソフトウェアは、実行されたとき、
オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算することであって、
第1の関与メトリックが、第1の音源についての受信ユーザの興味レベルに近似し、
第2の関与メトリックが、第2の音源についての受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
第1の関与メトリックが第2の関与メトリックよりも大きいと決定することと、
オーディオ出力信号を生成するためにオーディオ入力データを処理することであって、オーディオ出力信号が、第1の音源によって生成された音を増幅し、第2の音源によって生成された音を減衰させる、オーディオ入力データを処理することと、
オーディオ出力信号を、受信ユーザに関連付けられたコンピューティングデバイスに送信することと
を行うように動作可能である。
ソフトウェアは、実行されたとき、第1の音源についての第1の分類と第2の音源についての第2の分類とを決定することであって、第1の関与メトリックが第1の分類に基づき得、第2の関与メトリックが第2の分類に基づき得る、第1の分類と第2の分類とを決定することを行うように動作可能であり得る。
第1の音源についての第1の分類は人間の音声であり得、第2の音源についての第2の分類は人間以外の音であり得る。
第1の分類と第2の分類とを決定することは、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき得、記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を備える。
オーディオ入力データを処理することは、第1の源によって生成された第1のオーディオ入力信号と、第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み得、音響的ビームフォーミングは、第1の音源が増幅され、第2の音源が減衰されるように、第2のオーディオ入力信号を時間遅延させることを含み得る。
第1の関与メトリックと第2の関与メトリックとは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を備える、オーディオビデオ通信セッションについての記述的モデルに基づいて計算され得る。
ソフトウェアは、実行されたとき、
複数のノードと、ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
第1のノードが受信ユーザに対応し、
第2のノードが、第1の音源に関連付けられたエンティティに対応し、
第1のノードと第2のノードとの間のエッジが、受信ユーザとエンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
第1のノードと第2のノードとの間のエッジに基づいて第1の関与メトリックを増加させることと
を行うように動作可能であり得る。
第1の関与は、第1の音源によって話されるワードのカウント、第1の音源とマイクロフォンアレイとの間の距離、または第1の音源が現在のオーディオビジュアル通信セッション中に環境中に存在していた時間の量に少なくとも部分的に基づいて計算され得、
第2の関与は、第2の音源によって話されるワードのカウント、第2の音源とマイクロフォンアレイとの間の距離、または第2の音源が現在のオーディオビジュアル通信セッション中に環境中に存在していた時間の量に少なくとも部分的に基づいて計算され得る。
本発明による一実施形態では、システムは、
1つまたは複数のプロセッサと、
プロセッサのうちの1つまたは複数に結合され、命令を備える、1つまたは複数のコンピュータ可読非一時的記憶媒体とを備え得、命令は、プロセッサのうちの1つまたは複数によって実行されたとき、システムに、
オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算することであって、
第1の関与メトリックが、第1の音源についての受信ユーザの興味レベルに近似し、
第2の関与メトリックが、第2の音源についての受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
第1の関与メトリックが第2の関与メトリックよりも大きいと決定することと、
オーディオ出力信号を生成するためにオーディオ入力データを処理することであって、オーディオ出力信号が、第1の音源によって生成された音を増幅し、第2の音源によって生成された音を減衰させる、オーディオ入力データを処理することと、
オーディオ出力信号を、受信ユーザに関連付けられたコンピューティングデバイスに送信することと
を行わせるように動作可能である。
プロセッサは、命令を実行したとき、第1の音源についての第1の分類と第2の音源についての第2の分類とを決定することであって、第1の関与メトリックが第1の分類に基づき、第2の関与メトリックが第2の分類に基づく、第1の分類と第2の分類とを決定することを行うように動作可能であり得る。
第1の音源についての第1の分類は人間の音声であり得、第2の音源についての第2の分類は人間以外の音であり得る。
第1の分類と第2の分類とを決定することは、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき得、記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を備える。
本発明による一実施形態では、1つまたは複数のコンピュータ可読非一時的記憶媒体は、実行されたとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能であるソフトウェアを具現し得る。
本発明による一実施形態では、システムは、1つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによって実行可能な命令を備える少なくとも1つのメモリとを備え得、プロセッサは、命令を実行するとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能である。
本発明による一実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品は、データ処理システム上で実行されたとき、本発明による方法または上述の実施形態のいずれかを実施するように動作可能であり得る。
例示的なリビングルーム設定における例示的なインテリジェント通信デバイスを示す図である。 例示的な構成要素をもつ例示的なインテリジェント通信デバイスを示す図である。 例示的な音ロケーション(sound location)図である。 音ロケーションおよび選択のための例示的な視覚化を示す図である。 特定の音源を選択および増幅するための例示的な方法を示す図である。 ソーシャルネットワーキングシステムに関連付けられた例示的なネットワーク環境を示す図である。 例示的なソーシャルグラフを示す図である。 例示的なコンピュータシステムを示す図である。
ライブまたはビデオチャットあるいはあらかじめ記録されたオーディオ/ビジュアル提示など、オーディオ/ビジュアル通信のために、インテリジェント通信デバイスが使用され得る。インテリジェント通信デバイスは、「スマートオーディオ」構成要素を有し得る。スマートオーディオ構成要素は、2つまたはそれ以上の音源を区別し、どの音源を他の音源よりも増幅すべきかをインテリジェントに選択することが可能であり得る。たとえば、オーディオビデオ通信セッション中に、人が、その人のリビングルームにおいてしゃべっていることがあり、テレビ受像機もオンにされ、音を発していることがある。スマートオーディオ構成要素は、その人の音声を人間の音声として認識することが可能であり得、人間の音声をTV雑音よりも増幅することが可能であり得る。そのような区別は、人対TVの状況に限定されないことがある。限定としてではなく一例として、スマートオーディオ構成要素は、(1)同じ部屋において同時に行われている2つまたはそれ以上の異なる会話を区別すること、(2)各会話についての関与メトリックを計算することによって、どの会話が1人または複数の受信ユーザ(たとえば、オーディオビジュアル通信セッションのリモート参加者)により興味をもたせているかを判定すること、および(3)受信ユーザにとって、その部屋における他の会話よりも、最も興味深い会話(たとえば、最高関与メトリックをもつ会話)を相対的に増幅することが可能であり得る。特定の実施形態では、スマートオーディオ構成要素は、関与メトリックを計算しないことがあるが、代わりに、どの音源を相対的に増幅するべきかまたは弱めるべきかを決定するための他のルールに従い得る。限定としてではなく一例として、スマートオーディオ構成要素は、インテリジェント通信デバイスに最も近い音源から発せられる音を単に相対的に増幅するルールを有し得る。別のルールは、最大の移動を生じている対象(たとえば、人またはオブジェクト)に関連付けられた音を相対的に増幅することであり得る。たとえば、自身の最新の玩具コレクションを披露している子供は、環境中の他の対象よりも多く移動していることがあり、したがって、スマートオーディオ構成要素が、環境中の他の音に対してその子供の音声を増幅し得る。上記の例を達成するために、スマートコンピューティングデバイスは、(1)オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信するステップであって、オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信するステップと、(2)第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算するステップであって、第1の関与メトリックが、第1の音源についての受信ユーザからの興味レベルに近似し、第2の関与メトリックが、第2の音源についての受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算するステップと、(3)第1の関与メトリックが第2の関与メトリックよりも大きいと決定するステップと、(4)オーディオ出力信号を生成するためにオーディオ入力データを処理するステップであって、オーディオ出力信号が、第1の音源によって生成された音を相対的に増幅し、第2の音源によって生成された音を相対的に減衰させる、オーディオ入力データを処理するステップと、(5)オーディオ出力信号を、受信ユーザに関連付けられたコンピューティングデバイスに送信するステップとを実施し得る。
図1は、例示的な環境100における例示的なインテリジェント通信デバイス130を示す。インテリジェント通信システム130は、本明細書では、クライアントシステム130と呼ばれることもあり、これらの用語は、本開示全体にわたって互換的に使用され得ることに留意されたい。図1は、リビングルーム設定として例示的な環境を示しているが、これは、インテリジェント通信デバイスが位置し得るところの一例にすぎない。インテリジェント通信デバイス130は、キッチン、ベッドルーム、廊下、裏庭、公園、ビーチ、または任意の他の環境を含む、屋内または屋外の任意の好適な設定に位置し得ることが企図される。環境100は、インテリジェント通信デバイス130と、人々120、テレビジョン110など、1つまたは複数の音生成源とを含み得る。他の音を作り出す要素は、無線機、ペット、電気掃除機、ブレンダ、およびごみ処理機などの家庭用器具を含む。音を作り出す要素は、緊急車両サイレン、ごみ収集トラック、および他のそのようなオブジェクトなど、環境内にないまたは環境の近くにない源をも含み得る。上記の例は、点音源と考えられ、すなわち、ある点からの発信であり得る。音源はまた、拡散しているかまたは周囲にあり、すなわち、すべての方向から来ることがあり、たとえば、カフェテリアにおける一般的な周囲音、またはデバイスが屋外に置かれた場合の都市の音であり得る。特定の実施形態では、インテリジェント通信デバイス130上の1つまたは複数のコンピューティング構成要素は、オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイから、オーディオ入力データを受信し得る。オーディオ入力データは、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成され得る。限定としてではなく一例として、第1の音源は、インテリジェント通信デバイス130の前に位置する人120であり得る。第2の音源は、インテリジェント通信デバイスの右側に位置するテレビジョン110であり得る。本開示は、音源として、人およびテレビジョンの例を使用するが、本開示は、同時に互いにしゃべっている複数の人々、人および無線機、人および子供、電気掃除機およびテレビジョン、犬および人など、任意の好適な音源および音源の組合せ、または任意の他の音源ならびにそれらの組合せを企図する。
図2は、例示的な構成要素をもつ例示的なインテリジェント通信デバイス130を示す。例示的な構成要素は、スマートオーディオ構成要素131と、スマートビデオ構成要素132と、ソーシャルネットワーキングインターフェース133と、ディレクタエンジン134とを含む。構成要素の各々は、本開示で説明される機能を実施するために必要な処理および記憶ユニットを有するかまたは使用する。スマートオーディオ構成要素131は、それ自体、4つのモジュール、すなわち、音ロケータ1311と、音分類器1312と、音選択器1313と、ビームフォーミングモジュール1314とを備え得る。これらのモジュールの各々は、受信ユーザのために増幅すべき音をインテリジェントに選択するために一緒に動作し得る。このプロセスにおけるステップとして、特定の実施形態では、インテリジェント通信デバイスに関連付けられた1つまたは複数のプロセッサは、環境中の各音源についての関与メトリックを計算し得る。関与メトリックは、関連付けられた音源についての受信ユーザの興味レベルを近似し得る。所与の音源iについての受信ユーザの関与メトリックIは、式I=Ax+By+・・・Czを使用することによって計算され得、ここで、A、B、...Cは、音源に関連付けられた特徴であり、x、y、...zは、各それぞれの特徴に割り当てられ得る重みである。限定としてではなく一例として、特徴Aは、音分類器1312によって決定されるような音のタイプであり得る。音が人間の音声である場合、Aは1の特徴値を割り当てられ得る。音が人間以外の雑音である場合、Aは0の値を割り当てられ得る。Aに割り当てられた重みxは、任意の好適な重みであり得る。たとえば、重みは、0と1との間の何らかの値であり得る。一般的なルールとして、特徴が重要であればあるほど、重みは高くなり得る。受信ユーザは、ほとんど常に、人間以外の雑音(たとえば、ごみ処理機、電気掃除機、無線機、テレビジョン)よりも、人間の音声を聴くことに興味があり得るので、音のタイプが重要な特徴であり得る可能性があり、したがって、xは、他の重みに対して重い重みを割り当てられ得る。たとえば、xは、0.75の重みを割り当てられ得る。
特定の実施形態では、音のタイプについての第3の分類は、音が強化するもの(reinforcing)であるか否かであり得る。強化する音(reinforcing sound)は、環境の雰囲気を高め、受信ユーザの全体的な楽しみを増加させる音であり得る。限定としてではなく一例として、アリーおよびその母親ベッツィが、ライブビデオチャットに参加していることがあり、アリーには、生れたばかりの赤ん坊がいることがある。赤ん坊は、むずかっているかまたは泣いていることがある。アリーの母親、ベッツィは、たいてい、会話中に自分の孫のむずかりおよび泣き声の少なくとも一部を聞くことを希望するであろう。したがって、赤ん坊によって発せられた音は、その音がビデオチャットのエクスペリエンスを高めるので、強化するものであり得る。別の例は、単一のユーザがビデオチャットの一端におり、人々のグループが他端にいる、ビデオチャットであり得る。たとえば、アリーは、自分の友達および家族とともに誕生日パーティを行っていることがあるが、ベッツィは、そのパーティに出席するにはあまりに遠くに住んでいることがあるか、またはベッツィは、病気であり、出席することができないことがある。パーティにおいて、パーティゲストからの多くの背景雑音があり得、背景音楽があり得、誕生日パーティに関連付けられた他のタイプの雑音(たとえば、笑い声、歌声、叫び声)があり得る。ベッツィは、おそらく、これらの背景音のすべてが誕生日パーティの雰囲気を高めるので、これらの背景音のすべてを聞くことに興味があり得る。したがって、スマートオーディオ構成要素131がこれらの雑音のすべてを完全に弱めることは、それが、ビデオチャットの周囲の価値を減じることになるので、望ましくないことがある。音を、強化する音としてまたは不要な雑音として分類することは、コンテキストの手がかり(contextual clue)または履歴情報を用いて達成され得る。コンテキストの手がかりは、音が発せられたときの受信ユーザの関与である(たとえば、赤ん坊が泣き、受信ユーザが赤ん坊を見下ろし、ほほえむとき、それは、泣いている赤ん坊が、強化する音であると決定するために使用され得る)か、ユーザのソーシャルグラフからの情報である(たとえば、ユーザのソーシャルグラフは、その日がユーザの誕生日であることを指示し、したがって、システムは、パーティが催され得ることを予測し得、人々が笑い、音楽が再生されている、強化する音を予期し得る)か、または他の好適なコンテキストの手がかりであり得る。
特定の実施形態では、関与メトリック計算における唯一の特徴は、音のタイプであり得る。したがって、特定の実施形態では、関与メトリックを計算するためにスマートオーディオ構成要素によって使用される式は、I=Axであり得る。限定としてではなく一例として、ユーザ、アリーは、インテリジェント通信デバイスを使用して、自分の母親、ベッツィとビデオチャットをしていることがある。アリーは送信ユーザであり得、ベッツィは受信ユーザであり得る。(オーディオビデオ通信セッション中に情報の送信と受信の両方が行われるので)、両方のユーザが送信ユーザと受信ユーザの両方であるが、この説明の目的のために、アリーは送信ユーザであり得、ベッツィは受信ユーザであり得ることに留意されたい。アリーの環境において、2つの音源、すなわち、アリー自身と、オンにされたテレビジョンとがあり得る。スマートオーディオ構成要素131は、(1)アリーの音声と(2)テレビジョンから発せられる音とに対してベッツィが有するであろう関与メトリックを決定し得る。決定を行うために、スマートオーディオ構成要素131は、最初に、音分類器1312を使用して各音を分類し得る。音分類器1312は、アリーの音声を人間の音声として分類し得、テレビジョンの音を、人間以外の雑音であり強化するものでないとして分類し得る。音分類器1312は、各音の波形の特性をあらかじめ知られている波形特性と比較すること(たとえば、アリーの音声の特定の非識別特性が、あらかじめ知られている人間の音声特性と照合され得る)によって、または深層学習手法を含む、音分類の分野の当業者によって知られている任意の他の好適な方法によって分類を行い得る。スマートオーディオ構成要素131は、人間の音声に高い重み(たとえば、0.75)を割り当て、人間以外の雑音のための重み(たとえば、0.10)を割り当てるようにスマートオーディオ構成要素131に命令するルールを伴ってプログラムされ得る。したがって、アリーの音声についての関与メトリックは0.75であり得、テレビジョンの音についての関与メトリックは0.10であり得る。
特定の実施形態では、他の特徴は、インテリジェント通信デバイス130と音源との間の距離(より小さい距離がより大きい特徴値を割り当てられる)と、インテリジェント通信デバイス130に対する音源のロケーション(デバイス130の前に位置する音がより大きい重みを割り当てられる)と、ビデオチャットの両端のユーザ間のソーシャルグラフ距離(より小さいソーシャルグラフ距離がより大きい重みを割り当てられる)と、人がオーディオビデオ通信セッション中に環境中に存在していた時間の量と、オーディオビデオ通信セッション中に人が話したワードの量と、コンテキストの手がかりとを含み得る。コンテキストの手がかりは、複数の人々が見ている方向など、スマートビデオ構成要素132から、またはディレクタエンジン134から取得された情報であり得る。たとえば、部屋中の人々の大部分が部屋の右側のほうを見ている場合、それは、部屋のその部分において興味深い何かが起こっていることを指示し得る。部屋のその部分に音源がある場合、その音源も興味深いことがある。したがって、関与メトリックは、それに応じて、その音源について調整され得る。この点について質問すべき2値の質問は、「環境中の少なくとも1/2の人々の視線は、音源のほうに向けられているか?」であり得る。答えがはいである場合、スマートオーディオ構成要素131はその特徴に1を割り当て得る。コンテキストの手がかりの別の例は、特定の音源が音を発している間の受信ユーザの顔の表情であり得る。限定としてではなく一例として、2人のユーザ、アリーおよびベッツィは、インテリジェント通信デバイス130を用いてビデオチャットをしている。アリーは送信ユーザであり得、ベッツィは受信ユーザであり得る。スマートビデオ構成要素132は、様々な音が、アリーの環境から発せられる間、ベッツィの顔の表情を登録し得る。たとえば、アリーとベッツィとは会話していることがあり、アリーの夫がその環境に入り、アリーに質問をするために会話を中断し得る。アリーの夫が話している間、ベッツィは、自分のフォンをチェックするかまたは何らかの他のタスクに向かうために、インテリジェント通信デバイス130から目をそらし得る。この、目をそらすことは、ベッツィが、特には、アリーの夫が言わなければならないことに興味がないことを指示し得る。したがって、これは、アリーの夫が会話に実際に参加していない限り、アリーの夫から来るオーディオを弱めるようにとのシステムへの指示であり得る。以下は、上記の特徴の表の概要である。
Figure 2021518072
特定の実施形態では、音分類器1312またはスマートオーディオ構成要素131は、オーディオビデオ通信セッションについての記述的モデルにアクセスし得る。記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)環境内の1人または複数の人々、または(3)現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する記述的特性を含み得る。音分類器1312は、音源をより良く分類するために記述的モデルにおける情報を使用し得る。限定としてではなく一例として、音を発しているテレビジョンは、音が人間の音声のものである(たとえば、ニュースレポータがテレビジョン上でしゃべっていることがある)場合でも、人間以外の音として分類されるべきである。環境中に存在し、しゃべっている実際の人間と、人間がしゃべっている音を発しているテレビジョンとを区別することは困難であり得る。しかしながら、記述的モデルは、部屋中の人々に関する情報を含み得る。情報は、それらの人々の識別情報と、環境中のそれらの人々のロケーションと、様々な他のソーシャルネットワーキング情報とを含み得る。音分類器1312は、音源が人間の音声であるか否かを決定するためにこの情報を随意に使用し得る。限定としてではなく一例として、テレビジョンは、環境の1つのセクタに位置し得、テレビジョンは、しゃべっている人間を再生していることがある。オーディオデータのみを使用して、この音が人間の音声であるのかテレビジョンの音であるのかを決定することは困難であり得る。しかしながら、記述的モデルにおいてキャプチャされるビデオデータを使用すると、人がテレビジョンと同じセクタ中に立っていないことは、容易に明らかであり得る。したがって、分類を助けるために、音分類器1312は、この情報にアクセスし、テレビジョンが音源と同じセクタに位置し、またそのセクタに人が位置しないので、音源が人間の音声でないという決定を行い得る。
図3は、例示的な音ロケーション図を示す。インテリジェント通信デバイス130は、マイクロフォン/スピーカーセクション135を含み得る。マイクロフォン/スピーカーセクションは、2つまたはそれ以上のマイクロフォン136ならびに好適な数のスピーカー(図3に図示せず)を含み得る。図3は、台形構成において配置された4つのマイクロフォン136を示す。この構成は、音源の水平方向と垂直方向の両方を決定するためのものであり得る。音源の方向を決定することは、音が第1のマイクロフォンに達する時間と、同じ源からの同じ音が第2のマイクロフォンに達する時間との間の差を測定することによって達成され得る。この時間差から、音ロケータモジュール1311は、ジオメトリを使用して音源の方向を位置特定することが可能であり得る。図3の例では、音ロケータモジュール1311は、着信音信号に基づいて、各着信音源の角度、および最終的に人320の方向を計算するために、到着時間T1と到着時間T2との間の差を使用することによって人320の方向を決定することが可能であり得る。
図4は、音ロケーションおよび選択のための例示的な視覚化を示す。特定の実施形態では、(随意にスマートオーディオ構成要素131を介した)インテリジェント通信デバイス130は、その環境をいくつかの「音スライス」に分割し得る。示された例では、8つの音スライスA〜Hがあるが、本開示は、任意の好適な数の音スライスを企図する。スマートオーディオ構成要素131は、各オーディオ源がどの音スライスから来ているかを決定するために音ロケータ1311を使用し得る。限定としてではなく一例として、2人の人々420が音スライスBにおいて会話していることがあり、テレビ受像機410が音スライスHにおいて再生していることがある。人々420の各々とテレビジョン410とは、同時に音を発していることがある。スマートオーディオ構成要素131は、これらの音源の両方を識別し、それらの音源が現在どのスライスに位置するかを決定し得る。特定の実施形態では、音源は、2つ以上の音スライスを占有し得る。たとえば、人は、スライスCとスライスDとにまたがっていることがある。この場合、スマートオーディオ構成要素は、音およびビジュアルオブジェクト(たとえば、人)がスライスCとスライスDとのエッジに位置し得ると決定することが可能であり得る。
スマートオーディオ構成要素131はまた、2人の人々420に関連付けられた第1の音源についての第1の関与メトリックを計算し得る。スマートオーディオ構成要素131は、テレビジョン410に関連付けられた第2の音源についての第2の関与メトリックをも計算し得る。関与メトリック計算は、3つの特徴、すなわち、(1)人間の音声、(2)ソーシャルグラフ距離、および(3)インテリジェント通信デバイス130に対する音源のロケーションを考慮し得る。上記の特徴は、それぞれ、0.75、0.50および0.25の重み付けされ得る。この例示的な計算の目的のために、(1)2人の人々のうちの1人は、ソーシャルグラフにおける受信ユーザとの高親和性係数を有し(親和性係数については、図7を参照しながら以下で説明される)、(2)テレビジョンが、オハイオ州立とミシガンとの間のNCAAバスケットボールゲームを再生しており、受信ユーザのソーシャルグラフが、その受信ユーザがカレッジのためにミシガンに通っていたことを指示し、(3)テレビジョン410が、(図4に示されているように)インテリジェント通信デバイス130に対して人々420よりも端にある角度に位置することを仮定する。スライスBにおける会話についての関与メトリックは、I=Ax+By+Czとして表され得、スライスHにおけるテレビジョンの音についての関与メトリックは、I=Ax+By+Czであり得る。会話については、I=(1)(0.75)+(1)(0.50)+(1)(0.25)=1.5である。これは、音分類器1312が会話を人間の音声であると分類していることがあり、スマートオーディオ構成要素は、それに応じて特徴「A」に1のスコアを割り当てていることがあるからであり得、人々420のうちの1人は、受信ユーザへの第1の程度のつながり(connection)であり、したがって、「B」も1のスコアを受信し得る。また、スライスBは、テレビジョン410よりもインテリジェント通信デバイス130の前に位置し、したがって、「C」も1のスコアを受信し得る。テレビ受像機について、関与メトリックは、I=(0)(0.75)+(1)(0.50)+(0)(0.25)=0.5として計算され得る。これは、テレビジョンの音が人間として分類されないからであり得、したがって、Aは「0」を割り当てられ得る。ベッキーがミシガン大学に通っていたので、ベッキーは、ミシガンバスケットボールについて(たとえば、しきい値親和性を上回る)強い親和性を有し得る。また、ミシガンのゲームがテレビジョン上で再生しているので、Bは「1」を割り当てられ得る。インテリジェントディレクタは、画像/オーディオ認識を通して、またはオンラインテレビジョンガイドにアクセスすることによってのいずれかで、ミシガンバスケットボールゲームがテレビジョン上で再生していたと決定していることがある。最後に、テレビジョンがインテリジェント通信デバイス130に対して極めて端にある角度に位置するので、Cは「0」を割り当てられ得る。スライスBにおける会話がより高い関与メトリックを有するので、スマートオーディオ構成要素131は、人々420間の会話を増幅し、テレビジョン410から来る音を弱めると決定し得る。
特定の実施形態では、スマートオーディオ構成要素131は、受信ユーザに関連付けられたソーシャルグラフ中に含まれる情報に基づいて所与の音源についての関与メトリックを増加させ得る。以下で説明されるように、ソーシャルグラフは、ノードと、ノードを接続するエッジとを含み得る。2つのノードを接続する各エッジは、2つのノード間の関係を表し得る。たとえば、第1のユーザ、アレックスがベイラー大学においてカレッジに通っていた場合、ソーシャルグラフは、アレックスに(またはオンラインソーシャルネットワーク上のアレックスのプロファイルに)対応する第1のノードを有し、ベイラー大学に(またはベイラー大学についてのオンラインリソースに)対応する第2のノードを有し得る。ソーシャルグラフは、第1のノードと第2のノードとの間のエッジ接続(connection)をさらに有し得る。エッジ接続は、エッジタイプを有し得る。エッジタイプは、「通っていた」であり得る。さらに、アレックスがベイラー大学に関してオンラインソーシャルネットワーク上で他のアクションを実施した場合、アレックスのノードとベイラー大学についてのノードとの間に他のエッジがあり得る。たとえば、アレックスは、オンラインソーシャルネットワーク上のベイラー大学エンティティページに対して、いいね!を表明していることがある。これは、第1のノードと第2のノードとの間の「いいね!」のエッジタイプをもつ別のエッジ接続を生成していることがある。ベイラー大学に関連付けられたビデオを観ること、コメントすること、グループに加入すること、および他の同様のアクションは、すべて、アレックスのノードとベイラー大学についてのノードとの間のエッジ接続を追加し得る。これらのアクションはまた、以下で説明されるように、アレックスとベイラー大学との間の親和性係数を増加させるように働き得る。スマートオーディオ構成要素131は、ソーシャルグラフにアクセスし得、ユーザと所与のエンティティとの間の親和性またはエッジに基づいて関与メトリックを増加させ得る。上記の例を続けるために、アレックスは、図4の人々420などの別のユーザとのビデオチャットに参加していることがある。テレビジョン410は、ベイラーフットボールゲームを再生していることがある。スマートオーディオ構成要素131は、音を認識する(たとえば、TVは、「再びベイラーフットボールへようこそ」というワードを再生することがある)ことによって、またはテレビジョンガイドおよびテレビジョンの現在のチャネルにアクセスすることによって、または任意の他の好適な手段によって、ベイラーフットボールゲームがテレビジョン410上で再生していると決定することがある。スマートオーディオ構成要素131は、アレックスについてのソーシャルグラフにアクセスし得、高親和性係数がアレックスとベイラー大学との間に、詳細には、ベイラーフットボールについて存在すると決定し得る。この決定に基づいて、スマートオーディオ構成要素131は、アレックスがフットボールゲームを観ることに興味がある可能性がより高いので、テレビジョン410の音源についての関与メトリックを増加させ得る。
特定の実施形態では、受信ユーザは、(インテリジェント通信デバイス130であり得るか、あるいはスマートフォン、タブレット、またはラップトップコンピュータなどの異なるモバイルコンピューティングデバイスであり得る)受信デバイスのスクリーン上でタップすることによって、スマートオーディオ構成要素131によって行われた決定をオーバーライドすることが可能であり得る。たとえば、図4に関する上記の例における受信ユーザは、オハイオ州立大学とミシガン大学との間のバスケットボールゲームを観て、聞くことに非常に興味があり得る。スライスBにおける会話よりもスライスHにおけるテレビジョンの音を増幅するために、ユーザは、自分の(この説明の目的のための受信デバイスであり得る)インテリジェント通信デバイス130上で、テレビ受像機410上をタップし得る。スマートオーディオ構成要素131は、このタイプのユーザ入力に合わせ、テレビジョン410の音を増幅し、人々420間の会話の音を弱めることが可能であり得る。特定の実施形態では、源上でタップするユーザアクションは、記録され、インテリジェントコンピューティングデバイス上にローカルに記憶されるか、またはリモートサーバ上のユーザのソーシャルグラフに関連して記憶されるかのいずれかであり得る。たとえば、アクションは、ユーザと音源との間の親和性を強く得る。スマートオーディオ構成要素は、将来の通信セッションにおいてこの情報にアクセスし得、他の音源に対してどの音源を増幅すべきかを判断するためにこの情報を使用し得る。
特定の実施形態では、ビデオ構成要素とオーディオ構成要素とは、緊密に結合される必要がない。インテリジェント通信デバイス130は、ビデオからオーディオを分離し得る。これは、受信ユーザが1つのオブジェクトを閲覧し、異なる音源を聴くことを可能にし得る。限定としてではなく一例として、上記の例における受信ユーザは、スライスBにおいて起こっている会話を聴くことが可能であり得るが、スライスHにおけるテレビジョン410上のゲームを観ることが可能であり得る。ユーザは、音声コマンドを含む任意の好適なユーザ設定構成を通して、これを閲覧するように選択することが可能であり得る。インテリジェント通信デバイス130はまた、1つのオブジェクトを閲覧し、異なる音源を聴くというユーザの要望を推論することが可能であり得る。これは、ユーザ選好設定を含む、任意の好適な手段を使用して達成され得る。たとえば、ビデオのためのアイコンとオーディオのためのアイコンとが提供され得る。ユーザは、ビデオを選択し、ビデオターゲットであるべき対象上でタップし得る。ユーザは、次いで、オーディオを選択し、オーディオターゲットであるべき異なる対象上でタップし得る。これは、特定の対象(たとえば、生れたばかりの赤ん坊)を閲覧するが、異なる対象(たとえば、生れたばかりの赤ん坊の親)にしゃべることを希望するユーザの場合、うまく機能し得る。
特定の実施形態では、スマートオーディオ構成要素131は、受信ユーザのためにオーディオを個人化するように構成され得る。スマートオーディオ構成要素131は、受信ユーザのソーシャルグラフにアクセスし、受信ユーザについて個人化されたオーディオ判断を行うためにそのデータを使用し得る。スマートオーディオ構成要素131は、概して、ユーザが高い親和性を有するエンティティまたはオブジェクトに関連付けられた音を増幅し得る。限定としてではなく一例として、ベッツィが自分の娘アリーおよびアリーの子供(ベッツィの孫)とビデオチャットをする例を考える。スマートオーディオ構成要素131は、アリーよりも、別の水平セクタまたは垂直セクタに位置し得る、アリーの子供から来る音を検出し得る。通常ビデオチャットセッションでは、幼い子供から来る音は、それらの音がおそらく受信閲覧者にとって興味深くないので、減衰され得る。しかし、ベッツィが、((たとえば、ベッツィが自分の孫の写真を好み、その写真に関してコメントすることによって)ベッツィのソーシャルグラフから決定され得る)ベッツィの孫についての強い親和性を有し得るので、孫から来る音は、減衰されないことがある。孫から来る音は、スマートオーディオ構成要素131が、ベッツィが、所与の時間においてアリーの声を聞くことよりも孫の声を聞くことに興味があることを推論する場合、アリーから来る音よりもさらに増幅され得る。特定の実施形態では、ユーザは、ユーザ自身を含む参加者をミュートすることを選定し得る。たとえば、ベッツィが孫のうちの1人にしゃべっている場合、アリーは、アリーが自分のセルフォン上で別の友達にしゃべる間にアリー自身をミュートすることを選定し得る。アリーは、インテリジェント通信デバイス130上で適切な選択を行うことによって、これを行い得る。
特定の実施形態では、インテリジェント通信デバイス130に関連付けられた1つまたは複数のプロセッサは、オーディオ出力信号を生成するためにオーディオ入力データを処理し得る。オーディオ出力信号は、より高い関与メトリックを有する音源によって生成された音を増幅し得る。これは、ビームフォーミングモジュール1314によって達成され得る。音響的ビームフォーミングは、強め合う干渉、弱め合う干渉、またはその両方のいずれかを生成するために2つまたはそれ以上のオーディオ信号を時間遅延させることを指し得る。位相外れオーディオ信号は、互いを消去する。同相信号は、合計され、増幅される。スマートオーディオ構成要素131は、いくつかの音を増幅し、他の音を減衰させるために、マイクロフォンからのオーディオ信号をビームフォーミングすることによって、雑音の多い環境中で所望のスピーチ(speech)信号を抽出するために、(たとえば、マイクロフォン136によって形成されるマイクロフォンアレイなどの)マイクロフォンアレイを使用し得る。たとえば、音響的ビームフォーミングは、みな同時にしゃべっている人々でいっぱいの雑音の多い部屋において単一の人の音声の音を増幅するために使用され得る。特定の実施形態では、音響的ビームフォーミングは、時間遅延ビームフォーマ、フロスト(Frost)ビームフォーマ、あるいは任意の他の好適なビームフォーマまたはビームフォーミング技法を使用して達成され得る。限定としてではなく一例として、図4を参照すると、スマートオーディオ構成要素131は、スライスBにおける人々420によって発せられた音がスライスHにおけるテレビジョン410によって発せられた音よりも高い関与メトリックを有すると決定し得る。各マイクロフォン136は、マイクロフォン136自体のオーディオ信号を生成し得る。図4のスライスBから発せられた音を増幅するために、スマートオーディオ構成要素131は、適切な音源が他の音源に対して増幅されるように、出力オーディオ信号のために各マイクロフォン136からのオーディオ信号を選択的に重複させるかまたは時間遅延させ得る。第2の音に対して第1の音を増幅することは、第1の音のボリュームを維持し、第2の音のボリュームを低下させることによって達成され得、他の音源が弱められることに留意されたい。本開示は、1つの音源を増幅すること、および1つの音源を弱めることについて説明するが、本開示は、任意の数の音源を増幅すること、ならびに任意の数の音源を弱めることを企図する。特定の実施形態では、音信号が生成されると、音信号は、受信ユーザのために再生されるために受信ユニットに送信され得る。本開示は、増幅/弱める処理(または関与メトリック計算などの任意の他の処理)が、送信ユニット(たとえば、送信ユーザのインテリジェント通信デバイス131)、受信ユニット(たとえば、受信ユーザのインテリジェント通信デバイス131、あるいはスマートフォンまたはタブレットなど、受信ユーザの異なる好適なモバイルデバイス)上で、ソーシャルネットワーキングシステムに関連付けられたリモートサーバ(たとえば、ソーシャルネットワーキングシステム660のサーバ662)、または任意の他の好適なロケーション上で行われ得ることを企図する。
特定の実施形態では、スマートオーディオ構成要素131は、受信ユーザ端でデバイス130から発せられた音を「音バイアス」し得る。この音バイアスは、送信デバイスが位置する環境のより現実的な音ランドスケープを作成するという目的を有し得る。オーディオを音バイアスするために、スマートオーディオ構成要素131は、マイクロフォンにおいて集められた音を模倣するように、インテリジェント通信デバイス130のスピーカーから発せられた音を選択的に向け得る。限定としてではなく一例として、送信インテリジェント通信デバイス130が、テキサス州フォートワースにおける送信ユーザのリビングルーム中に配置され得る。さらに、受信インテリジェント通信デバイス130が、カリフォルニア州ロサンゼルスにおける受信ユーザのリビングルーム中に配置され得る。(両方のデバイス130がビデオチャット中にデータを送信および受信し得、したがって、両方のデバイスが、適切に、送信とも受信とも呼ばれることがあるが、この説明の目的のために、一方のデバイスが送信デバイスであり、他方のデバイスが受信デバイスであることが仮定されることに留意されたい)。例を続けると、人が、送信ユーザのリビングルームに向かってインテリジェント通信デバイスの左側から話すかまたは叫び得、したがって、インテリジェント通信デバイス130は、その音をインテリジェント通信デバイス130の左側から生成されるものとしてピックアップする。その音が受信側のリビングルームにおいて受信デバイス端で発せられたとき、音信号は、音信号が受信デバイス130の左側に生成されたかのように思われるように向けられ得る。これは、ユーザのエクスペリエンスを向上させ得る。
特定の実施形態では、スマートオーディオ構成要素は、環境中の音に1つまたは複数の効果を提供するように構成され得る。効果は、音のうちの1つに適用される音改変(altering)アルゴリズムであり得る。限定としてではなく一例として、人の音声は、その人がちょうどヘリウムを吸入したように聞こえるように改変され得る(たとえば、ピッチの高い「チップマンク(chipmunk)」効果)。参加者の音声に効果を適用するために、参加者は、インテリジェント通信デバイスのディスプレイスクリーン上で適切な音声改変アイコンをタップし得る。特定の実施形態では、第1のユーザは、ディスプレイスクリーン上の第2のユーザの表現上でタップし、次いで、適切な音声改変アイコンを選択することによって、音声改変効果を第2のユーザの音声に適用することが可能であり得る。その結果、選択されたユーザの音声のみが改変され得る。随意に、すべてのユーザが、ユーザの音声に適用される異なる音声改変効果を有し得る。システムは、ソーシャル対話のいくつかのタイプに適用されるべきオーディオ効果についてユーザ選好を保存し得る(たとえば、叔父は、常に自分の姪についてヘリウム効果を有することを希望し得、対話している2人が検出されるたびにオーディオ効果を呼び出し得る)。
図5は、特定の音源を選択および増幅するための例示的な方法500を示す。本方法は、ステップ510において始まり得、コンピューティングデバイスが、オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信し得、オーディオ入力データは、環境内の第1のロケーションにおける第1の音源と、環境内の第2のロケーションにおける第2の音源とによって生成される。ステップ520において、コンピューティングデバイスは、第1の音源についての第1の関与メトリックと、第2の音源についての第2の関与メトリックとを計算し得、第1の関与メトリックは、第1の音源についての受信ユーザの興味レベルに近似し、第2の関与メトリックは、第2の音源についての受信ユーザからの興味レベルに近似する。ステップ530において、コンピューティングデバイスは、第1の関与メトリックが第2の関与メトリックよりも大きいと決定し得る。ステップ540において、コンピューティングデバイスは、オーディオ出力信号を生成するためにオーディオ入力データを処理し得、オーディオ出力信号は、第1の音源によって生成された音を増幅し、第2の音源によって生成された音を減衰させる。ステップ550において、コンピューティングデバイスは、オーディオ出力信号を、受信ユーザに関連付けられたコンピューティングデバイスに送信し得る。特定の実施形態は、適切な場合、図5の方法の1つまたは複数のステップを繰り返し得る。本開示は、図5の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図5の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図5の方法の特定のステップを含む、特定の音源を選択および増幅するための例示的な方法を説明し、示すが、本開示は、適切な場合、図5の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、特定の音源を選択および増幅するための任意の好適な方法を企図する。さらに、本開示は、図5の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図5の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。
図6は、ソーシャルネットワーキングシステムに関連付けられた例示的なネットワーク環境600を示す。ネットワーク環境600は、ネットワーク610によって互いに接続された、クライアントシステム130と、ソーシャルネットワーキングシステム660と、サードパーティシステム670とを含む。クライアントシステム130は、インテリジェント通信デバイス130と同じであり得、これらの用語は、本開示全体にわたって互換的に使用され得ることに留意されたい。図6は、クライアントシステム130、ソーシャルネットワーキングシステム660、サードパーティシステム670、およびネットワーク610の特定の構成を示すが、本開示は、クライアントシステム130、ソーシャルネットワーキングシステム660、サードパーティシステム670、およびネットワーク610の任意の好適な構成を企図する。限定としてではなく一例として、クライアントシステム130、ソーシャルネットワーキングシステム660、およびサードパーティシステム670のうちの2つまたはそれ以上が、ネットワーク610をバイパスして、直接互いに接続され得る。別の例として、クライアントシステム130、ソーシャルネットワーキングシステム660、およびサードパーティシステム670のうちの2つまたはそれ以上が、全体的にまたは部分的に、物理的にまたは論理的に互いとコロケートされ得る。その上、図6は、特定の数のクライアントシステム630、ソーシャルネットワーキングシステム660、サードパーティシステム670、およびネットワーク610を示すが、本開示は、任意の好適な数のクライアントシステム630、ソーシャルネットワーキングシステム660、サードパーティシステム670、およびネットワーク610を企図する。限定としてではなく一例として、ネットワーク環境600は、複数のクライアントシステム130と、ソーシャルネットワーキングシステム660と、サードパーティシステム670と、ネットワーク610とを含み得る。
本開示は、任意の好適なネットワーク610を企図する。限定としてではなく一例として、ネットワーク610の1つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、ワイヤレスLAN(WLAN)、ワイドエリアネットワーク(WAN)、ワイヤレスWAN(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネットの一部分、公衆交換電話網(PSTN)の一部分、セルラー電話ネットワーク、またはこれらのうちの2つまたはそれ以上の組合せを含み得る。ネットワーク610は、1つまたは複数のネットワーク610を含み得る。
リンク650は、クライアントシステム130と、ソーシャルネットワーキングシステム660と、サードパーティシステム670とを、通信ネットワーク610にまたは互いに接続し得る。本開示は、任意の好適なリンク650を企図する。特定の実施形態では、1つまたは複数のリンク650は、1つまたは複数の、(たとえば、デジタル加入者回線(DSL)またはデータオーバーケーブルサービスインターフェース仕様(DOCSIS)などの)ワイヤラインリンク、(たとえば、Wi−Fiまたはワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)などの)ワイヤレスリンク、または(たとえば、同期光ネットワーク(SONET)または同期デジタルハイアラーキ(SDH)などの)光リンクを含む。特定の実施形態では、1つまたは複数のリンク650は、各々、アドホックネットワーク、イントラネット、エクストラネット、VPN、LAN、WLAN、WAN、WWAN、MAN、インターネットの一部分、PSTNの一部分、セルラー技術ベースネットワーク、衛星通信技術ベースネットワーク、別のリンク650、または2つまたはそれ以上のそのようなリンク650の組合せを含む。リンク650は、ネットワーク環境600の全体にわたって必ずしも同じである必要はない。1つまたは複数の第1のリンク650は、1つまたは複数の第2のリンク650とは1つまたは複数の点で異なり得る。
特定の実施形態では、クライアントシステム130は、ハードウェア、ソフトウェア、または埋込み論理構成要素、または2つまたはそれ以上のそのような構成要素の組合せを含み、クライアントシステム130によって実装またはサポートされる適切な機能性を行うことが可能な、電子デバイスであり得る。限定としてではなく一例として、クライアントシステム130は、デスクトップコンピュータ、ノートブックまたはラップトップコンピュータ、ネットブック、タブレットコンピュータ、電子ブックリーダー、GPSデバイス、カメラ、携帯情報端末(PDA)、ハンドヘルド電子デバイス、セルラー電話、スマートフォン、拡張/仮想現実デバイス、他の好適な電子デバイス、あるいはそれらの任意の好適な組合せなど、コンピュータシステムを含み得る。本開示は、任意の好適なクライアントシステム630を企図する。クライアントシステム130は、クライアントシステム130におけるネットワークユーザが、ネットワーク610にアクセスすることを可能にし得る。クライアントシステム130は、クライアントシステム130のユーザが、他のクライアントシステム630における他のユーザと通信することを可能にし得る。
特定の実施形態では、クライアントシステム130は、MICROSOFT INTERNET EXPLORER、GOOGLE CHROMEまたはMOZILLA FIREFOXなど、ウェブブラウザ632を含み得、1つまたは複数のアドオン、プラグイン、あるいは、TOOLBARまたはYAHOO TOOLBARなど、他の拡張を有し得る。クライアントシステム130におけるユーザは、ウェブブラウザ632を(サーバ662、またはサードパーティシステム670に関連付けられたサーバなどの)特定のサーバに向けるユニフォームリソースロケータ(URL)または他のアドレスを入力し得、ウェブブラウザ632は、ハイパーテキスト転送プロトコル(HTTP)要求を生成し、HTTP要求をサーバに通信し得る。サーバは、HTTP要求を受け入れ、HTTP要求に応答する1つまたは複数のハイパーテキストマークアップ言語(HTML)ファイルをクライアントシステム130に通信し得る。クライアントシステム130は、ユーザへの提示のためにサーバからのHTMLファイルに基づいてウェブページをレンダリングし得る。本開示は、任意の好適なウェブページファイルを企図する。限定としてではなく一例として、ウェブページは、特定の必要に応じて、HTMLファイル、拡張可能ハイパーテキストマークアップ言語(XHTML)ファイル、または拡張可能マークアップ言語(XML)ファイルから、レンダリングし得る。そのようなページは、たとえば、限定はしないが、JAVASCRIPT、JAVA、MICROSOFT SILVERLIGHTで書かれたものなどのスクリプト、AJAX(非同期JAVASCRIPTおよびXML)などのマークアップ言語とスクリプトとの組合せなどをも実行し得る。本明細書では、ウェブページへの言及は、適切な場合、(ブラウザがウェブページをレンダリングするために使用し得る)1つまたは複数の対応するウェブページファイルを包含し、その逆も同様である。
特定の実施形態では、ソーシャルネットワーキングシステム660は、オンラインソーシャルネットワークをホストすることができるネットワークアドレス指定可能なコンピューティングシステムであり得る。ソーシャルネットワーキングシステム660は、たとえば、ユーザプロファイルデータ、概念プロファイルデータ、ソーシャルグラフ情報、またはオンラインソーシャルネットワークに関係する他の好適なデータなど、ソーシャルネットワーキングデータを生成し、記憶し、受信し、送信し得る。ソーシャルネットワーキングシステム660は、直接的にまたはネットワーク610を介してのいずれかで、ネットワーク環境600の他の構成要素によってアクセスされ得る。限定としてではなく一例として、クライアントシステム130は、直接的にまたはネットワーク610を介してのいずれかで、ウェブブラウザ632、またはソーシャルネットワーキングシステム660に関連付けられたネイティブアプリケーション(たとえば、モバイルソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、別の好適なアプリケーション、またはそれらの任意の組合せ)を使用して、ソーシャルネットワーキングシステム660にアクセスし得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、1つまたは複数のサーバ662を含み得る。各サーバ662は、単一サーバ、あるいは複数のコンピュータまたは複数のデータセンターにわたる分散型サーバであり得る。サーバ662は、たとえば、限定はしないが、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書で説明される機能またはプロセスを実施するのに好適な別のサーバ、あるいはそれらの任意の組合せなど、様々なタイプのものであり得る。特定の実施形態では、各サーバ662は、サーバ662によって実装またはサポートされる適切な機能性を行うための、ハードウェア、ソフトウェア、または埋込み論理構成要素、または2つまたはそれ以上のそのような構成要素の組合せを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、1つまたは複数のデータストア664を含み得る。データストア664は、様々なタイプの情報を記憶するために使用され得る。特定の実施形態では、データストア664に記憶された情報は、固有のデータ構造に従って編成され得る。特定の実施形態では、各データストア664は、リレーショナルデータベース、列指向データベース、相関データベース、または他の好適なデータベースであり得る。本開示は、特定のタイプのデータベースを説明するかまたは示すが、本開示は任意の好適なタイプのデータベースを企図する。特定の実施形態は、クライアントシステム130、ソーシャルネットワーキングシステム660、またはサードパーティシステム670が、データストア664に記憶された情報を管理する、取り出す、修正する、追加する、または削除することを可能にするインターフェースを提供し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、1つまたは複数のデータストア664に、1つまたは複数のソーシャルグラフを記憶し得る。特定の実施形態では、ソーシャルグラフは、(各々特定のユーザに対応する)複数のユーザノードまたは(各々特定の概念に対応する)複数の概念ノードを含み得る、複数のノードと、ノードを接続する複数のエッジとを含み得る。ソーシャルネットワーキングシステム660は、オンラインソーシャルネットワークのユーザに、他のユーザと通信および対話する能力を提供し得る。特定の実施形態では、ユーザは、ソーシャルネットワーキングシステム660を介してオンラインソーシャルネットワークに加わり、次いで、ユーザがつなげられることを希望するソーシャルネットワーキングシステム660の何人かの他のユーザへのつながり(たとえば、関係)を追加し得る。本明細書では、「友達」という用語は、ソーシャルネットワーキングシステム660を介してユーザがつながり、関連付け、または関係を形成したソーシャルネットワーキングシステム660の任意の他のユーザを指し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、ソーシャルネットワーキングシステム660によってサポートされる様々なタイプのアイテムまたはオブジェクトに関するアクションをとる能力をユーザに提供し得る。限定としてではなく一例として、アイテムおよびオブジェクトは、ソーシャルネットワーキングシステム660のユーザが属し得るグループまたはソーシャルネットワーク、ユーザが興味があり得るイベントまたはカレンダーエントリ、ユーザが使用し得るコンピュータベースアプリケーション、ユーザがサービスを介してアイテムを購入または販売することを可能にするトランザクション、ユーザが実施し得る広告との対話、あるいは他の好適なアイテムまたはオブジェクトを含み得る。ユーザは、ソーシャルネットワーキングシステム660において、またはソーシャルネットワーキングシステム660とは別個であり、ネットワーク610を介してソーシャルネットワーキングシステム660に結合された、サードパーティシステム670の外部システムによって、表されることが可能であるものと対話し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、様々なエンティティをリンクすることが可能であり得る。限定としてではなく一例として、ソーシャルネットワーキングシステム660は、ユーザが、互いと対話し、ならびにサードパーティシステム670または他のエンティティからコンテンツを受信することを可能にするか、あるいは、ユーザが、アプリケーションプログラミングインターフェース(API)または他の通信チャネルを通して、これらのエンティティと対話することを可能にし得る。
特定の実施形態では、サードパーティシステム670は、1つまたは複数のタイプのサーバ、1つまたは複数のデータストア、限定はしないがAPIを含む1つまたは複数のインターフェース、1つまたは複数のウェブサービス、1つまたは複数のコンテンツソース、1つまたは複数のネットワーク、またはたとえばサーバが通信し得る任意の他の好適な構成要素を含み得る。サードパーティシステム670は、ソーシャルネットワーキングシステム660を動作させるエンティティとは異なるエンティティによって動作させられ得る。しかしながら、特定の実施形態では、ソーシャルネットワーキングシステム660とサードパーティシステム670とは、互いと連携して動作して、ソーシャルネットワーキングシステム660またはサードパーティシステム670のユーザにソーシャルネットワーキングサービスを提供し得る。この意味で、ソーシャルネットワーキングシステム660は、サードパーティシステム670などの他のシステムが、インターネット上でユーザにソーシャルネットワーキングサービスおよび機能性を提供するために使用し得る、プラットフォームまたはバックボーンを提供し得る。
特定の実施形態では、サードパーティシステム670は、サードパーティコンテンツオブジェクトプロバイダを含み得る。サードパーティコンテンツオブジェクトプロバイダは、クライアントシステム130に通信され得る、コンテンツオブジェクトの1つまたは複数のソースを含み得る。限定としてではなく一例として、コンテンツオブジェクトは、たとえば、映画の上映時間、映画のレビュー、レストランのレビュー、レストランのメニュー、製品情報およびレビュー、または他の好適な情報など、ユーザにとって興味のある物またはアクティビティに関する情報を含み得る。限定としてではなく別の例として、コンテンツオブジェクトは、クーポン、ディスカウントチケット、ギフト券、または他の好適なインセンティブオブジェクトなど、インセンティブコンテンツオブジェクトを含み得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、ソーシャルネットワーキングシステム660とのユーザの対話を向上させ得る、ユーザ生成されたコンテンツオブジェクトをも含む。ユーザ生成されたコンテンツは、ユーザがソーシャルネットワーキングシステム660に追加するか、アップロードするか、送信するか、または「投稿する(post)」ことができるものを含み得る。限定としてではなく一例として、ユーザは、クライアントシステム130からソーシャルネットワーキングシステム660に投稿を通信する。投稿は、ステータス更新または他のテキストデータ、ロケーション情報、写真、ビデオ、リンク、音楽あるいは他の同様のデータまたはメディアなど、データを含み得る。コンテンツはまた、ニュースフィードまたはストリームなどの「通信チャネル」を通して、サードパーティによってソーシャルネットワーキングシステム660に追加され得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、様々なサーバ、サブシステム、プログラム、モジュール、ログ、およびデータストアを含み得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、ウェブサーバ、アクションロガー、API要求サーバ、関連性およびランキングエンジン、コンテンツオブジェクト分類子、通知コントローラ、アクションログ、サードパーティコンテンツオブジェクト露出ログ、推測モジュール、認可/プライバシーサーバ、検索モジュール、広告ターゲッティングモジュール、ユーザインターフェースモジュール、ユーザプロファイルストア、つながりストア、サードパーティコンテンツストア、またはロケーションストアのうちの1つまたは複数を含み得る。ソーシャルネットワーキングシステム660は、ネットワークインターフェース、セキュリティ機構、ロードバランサ、フェイルオーバサーバ、管理およびネットワーク運用コンソール、他の好適な構成要素、またはそれらの任意の好適な組合せなど、好適な構成要素をも含み得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、ユーザプロファイルを記憶するための1つまたは複数のユーザプロファイルストアを含み得る。ユーザプロファイルは、たとえば、経歴情報、人口統計学的情報、行動情報、ソーシャル情報、あるいは、職歴、学歴、趣味もしくは選好、興味、親和性、またはロケーションなど、他のタイプの記述的情報を含み得る。興味情報は、1つまたは複数のカテゴリーに関係する興味を含み得る。カテゴリーは一般的であるかまたは固有のものであり得る。限定としてではなく一例として、ユーザが、靴のブランドに関する記事に対して「いいね!」を表明した場合、カテゴリーは、ブランド、あるいは「靴」または「衣類」の一般的なカテゴリーであり得る。つながりストアは、ユーザに関するつながり情報を記憶するために使用され得る。つながり情報は、同様のまたは共通の職歴、グループメンバーシップ、趣味、学歴を有するか、あるいはいかなる形でも関係するか、または共通属性を共有する、ユーザを指示し得る。つながり情報は、(内部と外部の両方の)異なるユーザとコンテンツとの間のユーザ定義されたつながりをも含み得る。ウェブサーバは、ネットワーク610を介して、ソーシャルネットワーキングシステム660を、1つまたは複数のクライアントシステム630または1つまたは複数のサードパーティシステム670にリンクするために使用され得る。ウェブサーバは、ソーシャルネットワーキングシステム660と1つまたは複数のクライアントシステム630との間でメッセージを受信およびルーティングするためのメールサーバまたは他のメッセージング機能性を含み得る。API要求サーバは、サードパーティシステム670が、1つまたは複数のAPIを呼び出すことによってソーシャルネットワーキングシステム660からの情報にアクセスすることを可能にし得る。アクションロガーは、ソーシャルネットワーキングシステム660上の、またはソーシャルネットワーキングシステム660から離れた、ユーザのアクションに関するウェブサーバからの通信を受信するために使用され得る。アクションログと併せて、サードパーティコンテンツオブジェクトへのユーザ露出についてのサードパーティコンテンツオブジェクトログが維持され得る。通知コントローラは、クライアントシステム130にコンテンツオブジェクトに関する情報を提供し得る。情報は、通知としてクライアントシステム130にプッシュされ得るか、または、情報は、クライアントシステム130から受信された要求に応答してクライアントシステム130からプルされ得る。認可サーバは、ソーシャルネットワーキングシステム660のユーザの1つまたは複数のプライバシー設定を施行するために使用され得る。ユーザのプライバシー設定は、ユーザに関連付けられた特定の情報がどのように共有され得るかを決定する。認可サーバは、ユーザが、たとえば、適切なプライバシー設定をセットすることなどによって、そのユーザのアクションがソーシャルネットワーキングシステム660によってロギングされるか、または他のシステム(たとえば、サードパーティシステム670)と共有されることをオプトインまたはオプトアウトすることを可能にし得る。サードパーティコンテンツオブジェクトストアは、サードパーティシステム670など、サードパーティから受信されたコンテンツオブジェクトを記憶するために使用され得る。ロケーションストアは、ユーザに関連付けられたクライアントシステム630から受信されたロケーション情報を記憶するために使用され得る。広告価格設定モジュールは、ソーシャル情報、現在時間、ロケーション情報、または他の好適な情報を組み合わせて、関連する広告を通知の形態でユーザに提供し得る。
図7は、例示的なソーシャルグラフ700を示す。特定の実施形態では、ソーシャルネットワーキングシステム660は、1つまたは複数のソーシャルグラフ700を1つまたは複数のデータストアに記憶し得る。特定の実施形態では、ソーシャルグラフ700は、複数のユーザノード702または複数の概念ノード704を含み得る、複数のノードと、それらのノードを接続する複数のエッジ706とを含み得る。説明のために、2次元ビジュアルマップ表現において、図7に示されている例示的なソーシャルグラフ700が示される。特定の実施形態では、ソーシャルネットワーキングシステム660、クライアントシステム130、またはサードパーティシステム670は、好適な適用例のためにソーシャルグラフ700および関係するソーシャルグラフ情報にアクセスし得る。ソーシャルグラフ700のノードおよびエッジは、たとえば(ソーシャルグラフデータベースなどの)データストアに、データオブジェクトとして記憶され得る。そのようなデータストアは、ソーシャルグラフ700のノードまたはエッジの1つまたは複数の検索可能またはクエリ可能なインデックスを含み得る。
特定の実施形態では、ユーザノード702は、ソーシャルネットワーキングシステム660のユーザに対応し得る。限定としてではなく一例として、ユーザは、ソーシャルネットワーキングシステム660と、またはソーシャルネットワーキングシステム660上で、対話または通信する個人(人間のユーザ)、エンティティ(たとえば、企業、ビジネス、またはサードパーティアプリケーション)、または(たとえば、個人またはエンティティの)グループであり得る。特定の実施形態では、ソーシャルネットワーキングシステム660にユーザがアカウントを登録すると、ソーシャルネットワーキングシステム660は、ユーザに対応するユーザノード702を作成し、1つまたは複数のデータストアにユーザノード702を記憶し得る。本明細書で説明されるユーザおよびユーザノード702は、適切な場合、登録済みユーザおよび登録済みユーザに関連付けられたユーザノード702を指し得る。さらに、または代替として、本明細書で説明されるユーザおよびユーザノード702は、適切な場合、ソーシャルネットワーキングシステム660に登録されていないユーザを指し得る。特定の実施形態では、ユーザノード702は、ユーザによって提供された情報、またはソーシャルネットワーキングシステム660を含む様々なシステムによって集められた情報に関連付けられ得る。限定としてではなく一例として、ユーザは、自分の名前、プロファイルピクチャ、連絡先情報、生年月日、性、配偶者の有無、家族状況、勤務先、学歴、選好、興味、または他の人口統計学的情報を提供し得る。特定の実施形態では、ユーザノード702は、ユーザに関連付けられた情報に対応する1つまたは複数のデータオブジェクトに関連付けられ得る。特定の実施形態では、ユーザノード702は、1つまたは複数のウェブページに対応し得る。
特定の実施形態では、概念ノード704は、概念に対応し得る。限定としてではなく一例として、概念は、(たとえば、映画館、レストラン、ランドマーク、または都市などの)場所、(たとえば、ソーシャルネットワークシステム660に関連付けられたウェブサイト、またはウェブアプリケーションサーバに関連付けられたサードパーティウェブサイトなどの)ウェブサイト、(たとえば、人、ビジネス、グループ、スポーツチーム、または有名人などの)エンティティ、ソーシャルネットワーキングシステム660内に、またはウェブアプリケーションサーバなどの外部サーバ上に置かれ得る(たとえば、オーディオファイル、ビデオファイル、デジタル写真、テキストファイル、構造化文書、またはアプリケーションなどの)リソース、(たとえば、彫刻、絵画、映画、ゲーム、歌、アイデア、写真、または書かれた作品などの)物的財産または知的財産、ゲーム、アクティビティ、アイデアまたは理論、拡張/仮想現実環境におけるオブジェクト、別の好適な概念、あるいは2つまたはそれ以上のそのような概念に対応し得る。概念ノード704は、ユーザによって提供された概念の情報、またはソーシャルネットワーキングシステム660を含む様々なシステムによって集められた情報に関連付けられ得る。限定としてではなく一例として、概念の情報は、名前またはタイトル、1つまたは複数の画像(たとえば、本のカバーページの画像)、ロケーション(たとえば、住所または地理的ロケーション)、(URLに関連付けられ得る)ウェブサイト、連絡先情報(たとえば、電話番号または電子メールアドレス)、他の好適な概念情報、あるいはそのような情報の任意の好適な組合せを含み得る。特定の実施形態では、概念ノード704は、概念ノード704に関連付けられた情報に対応する1つまたは複数のデータオブジェクトに関連付けられ得る。特定の実施形態では、概念ノード704は、1つまたは複数のウェブページに対応し得る。
特定の実施形態では、ソーシャルグラフ700内のノードは、(「プロファイルページ」と呼ばれることがある)ウェブページを表すか、またはウェブページによって表され得る。プロファイルページは、ソーシャルネットワーキングシステム660によってホストされるか、またはソーシャルネットワーキングシステム660にとってアクセス可能であり得る。プロファイルページはまた、サードパーティシステム670に関連付けられたサードパーティウェブサイト上でホストされ得る。限定としてではなく一例として、特定の外部ウェブページに対応するプロファイルページは、特定の外部ウェブページであり得、プロファイルページは、特定の概念ノード704に対応し得る。プロファイルページは、他のユーザのすべてまたは選択されたサブセットによって閲覧可能であり得る。限定としてではなく一例として、ユーザノード702は、対応するユーザが、コンテンツを追加するか、発表するか、または場合によっては自分自身を表現し得る、対応するユーザプロファイルページを有し得る。限定としてではなく別の例として、概念ノード704は、特に、概念ノード704に対応する概念に関連して、1人または複数のユーザがコンテンツを追加するか、発表するか、または自分自身を表現し得る、対応する概念プロファイルページを有し得る。
特定の実施形態では、概念ノード704は、サードパーティシステム670によってホストされるサードパーティウェブページまたはリソースを表し得る。サードパーティウェブページまたはリソースは、他の要素の中でも、コンテンツ、選択可能なまたは他のアイコン、あるいは、アクションまたはアクティビティを表す(たとえば、JavaScript、AJAX、またはPHPコードにおいて実装され得る)他の対話可能オブジェクトを含み得る。限定としてではなく一例として、サードパーティウェブページは、「いいね!」、「チェックイン」、「食べる」、「推奨」、あるいは別の好適なアクションまたはアクティビティなど、選択可能なアイコンを含み得る。サードパーティウェブページを閲覧しているユーザは、アイコンのうちの1つ(たとえば「チェックイン」)を選択することによってアクションを実施し、クライアントシステム130が、ユーザのアクションを指示するメッセージをソーシャルネットワーキングシステム660に送信することを引き起こし得る。メッセージに応答して、ソーシャルネットワーキングシステム660は、ユーザに対応するユーザノード702と、サードパーティウェブページまたはリソースに対応する概念ノード704との間のエッジ(たとえば、チェックインタイプのエッジ)を作成し、1つまたは複数のデータストアにエッジ706を記憶し得る。
特定の実施形態では、ソーシャルグラフ700内のノードのペアが、1つまたは複数のエッジ706によって互いに接続され得る。ノードのペアを接続するエッジ706は、ノードのペア間の関係を表し得る。特定の実施形態では、エッジ706は、ノードのペア間の関係に対応する1つまたは複数のデータオブジェクトまたは属性を含むか、または表し得る。限定としてではなく一例として、第1のユーザは、第2のユーザが第1のユーザの「友達」であることを指示し得る。この指示に応答して、ソーシャルネットワーキングシステム660は、「友達要求」を第2のユーザに送信し得る。第2のユーザが「友達要求」を承認した場合、ソーシャルネットワーキングシステム660は、ソーシャルグラフ700内で、第1のユーザのユーザノード702を第2のユーザのユーザノード702に接続するエッジ706を作成し、データストア664の1つまたは複数にソーシャルグラフ情報としてエッジ706を記憶し得る。図7の例では、ソーシャルグラフ700は、ユーザ「A」のユーザノード702とユーザ「B」のユーザノード702との間の友達関係を指示するエッジ706と、ユーザ「C」のユーザノード702とユーザ「B」のユーザノード702との間の友達関係を指示するエッジとを含む。本開示は、特定のユーザノード702を接続する特定の属性をもつ特定のエッジ706を説明するかまたは示すが、本開示は、ユーザノード702を接続する任意の適切な属性をもつ任意の適切なエッジ706を企図する。限定としてではなく一例として、エッジ706は、友人関係、家族関係、ビジネスまたは雇用関係、(たとえば、いいね!を表明することなどを含む)ファン関係、フォロワー関係、(たとえば、アクセスすること、閲覧すること、チェックインすること、共有することなどを含む)ビジター関係、加入者関係、上下関係、互恵関係、非互恵関係、別の好適なタイプの関係、あるいは2つまたはそれ以上のそのような関係を表し得る。その上、本開示は一般に、ノードを、接続されているものとして説明しているが、本開示は、ユーザまたは概念も、接続されているものとして説明する。本明細書では、接続されているユーザまたは概念への言及は、適切な場合、1つまたは複数のエッジ706によってソーシャルグラフ700内で接続されているそれらのユーザまたは概念に対応するノードを指し得る。それぞれ2つのノードによって表される2つのオブジェクト間の分離の程度は、ソーシャルグラフ700内の2つのノードを接続する最短経路におけるエッジのカウントである。限定としてではなく一例として、ソーシャルグラフ700内では、ユーザ「C」のユーザノード702は、たとえば、ユーザ「B」のユーザノード702を直接通過する第1の経路と、会社「Acme」の概念ノード704およびユーザ「D」のユーザノード702を通過する第2の経路と、学校「スタンフォード」、ユーザ「G」、会社「Acme」、およびユーザ「D」を表すユーザノード702および概念ノード704を通過する第3の経路とを含む、複数の経路を介してユーザ「A」のユーザノード702に接続される。ユーザ「C」およびユーザ「A」は、それらの対応するノードを接続する最短経路(すなわち、第1の経路)が2つのエッジ706を含むので、2の分離の程度を有する。
特定の実施形態では、ユーザノード702と概念ノード704との間のエッジ706は、概念ノード704に関連付けられた概念に向かってユーザノード702に関連付けられたユーザによって実施された特定のアクションまたはアクティビティを表し得る。限定としてではなく一例として、図7に示されているように、ユーザは、概念に対して「いいね!」を表明する、「通っていた」、「プレイした」、「聴いた」、「料理した」、「勤務した」、または「観た」可能性があり、これらの各々が、エッジのタイプまたはサブタイプに対応し得る。概念ノード704に対応する概念プロファイルページは、たとえば、(たとえば、クリック可能な「チェックイン」アイコンなどの)選択可能な「チェックイン」アイコン、または選択可能な「お気に入りに追加」アイコンを含み得る。同様に、ユーザがこれらのアイコンをクリックした後、ソーシャルネットワーキングシステム660は、それぞれのアクションに対応するユーザのアクションに応答して、「お気に入り」エッジ、または「チェックイン」エッジを作成し得る。限定としてではなく別の例として、ユーザ(ユーザ「C」)は、特定のアプリケーション(オンラインミュージックアプリケーションであるSPOTIFY)を使用して、特定の歌(「イマジン」)を聴き得る。この場合、ソーシャルネットワーキングシステム660は、ユーザに対応するユーザノード702と、歌およびアプリケーションに対応する概念ノード704との間に(図7に示されているような)「聴いた」エッジ706および「使用した」エッジを作成し、ユーザが歌を聴き、アプリケーションを使用したことを指示し得る。その上、ソーシャルネットワーキングシステム660は、歌に対応する概念ノード704と、アプリケーションに対応する概念ノード704との間に(図7に示されているような)「プレイした」エッジ706を作成し、特定の歌が特定のアプリケーションによってプレイされたことを指示し得る。この場合、「プレイした」エッジ706は、外部オーディオファイル(歌「イマジン」)に対して外部アプリケーション(SPOTIFY)によって実施されたアクションに対応する。本開示は、特定の属性をもつ特定のエッジ706が、ユーザノード702と概念ノード704とを接続することについて説明するが、本開示は、任意の好適な属性をもつ任意の好適なエッジ706が、ユーザノード702と概念ノード704とを接続することを企図する。その上、本開示は、ユーザノード702と概念ノード704との間のエッジが、単一の関係を表すことについて説明するが、本開示は、ユーザノード702と概念ノード704との間のエッジが、1つまたは複数の関係を表すことを企図する。限定としてではなく一例として、エッジ706は、ユーザが、特定の概念に対して、いいね!を表明することと、特定の概念において使用したことの両方を表し得る。代替的に、別のエッジ706は、(図7において、ユーザ「E」のためのユーザノード702と「SPOTIFY」のための概念ノード704との間に示されているような)ユーザノード702と概念ノード704との間の関係(または単一の関係の倍数)の各タイプを表し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、ソーシャルグラフ700内にユーザノード702と概念ノード704との間にエッジ706を作成し得る。限定としてではなく一例として、(たとえば、ウェブブラウザ、またはユーザのクライアントシステム130によってホストされる専用アプリケーションを使用することなどによって)概念プロファイルページを閲覧するユーザは、「いいね!」アイコンをクリックまたは選択することによって、概念ノード704によって表される概念に対して自分が、いいね!を表明したことを指示し得、これにより、ユーザのクライアントシステム130に、概念プロファイルページに関連付けられた概念に対してユーザが、いいね!を表明したことを指示するメッセージをソーシャルネットワーキングシステム660に送信させ得る。メッセージに応答して、ソーシャルネットワーキングシステム660は、ユーザと概念ノード704との間の「いいね!」エッジ706によって示されているように、ユーザに関連付けられたユーザノード702と、概念ノード704との間にエッジ706を作成し得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、1つまたは複数のデータストアにエッジ706を記憶し得る。特定の実施形態では、エッジ706は、特定のユーザアクションに応答して、ソーシャルネットワーキングシステム660によって自動的に形成され得る。限定としてではなく一例として、第1のユーザがピクチャをアップロードするか、映画を観るか、または歌を聴く場合、エッジ706は、第1のユーザに対応するユーザノード702とそれらの概念に対応する概念ノード704との間に形成され得る。本開示は、特定の様式で特定のエッジ706を形成することについて説明するが、本開示は、任意の好適な様式で任意の好適なエッジ706を形成することを企図する。
特定の実施形態では、ソーシャルネットワーキングシステム660は、互いについての様々なソーシャルグラフエンティティの(本明細書では「親和性」と呼ばれることがある)ソーシャルグラフ親和性を決定し得る。親和性は、ユーザ、概念、コンテンツ、アクション、広告、オンラインソーシャルネットワークに関連付けられた他のオブジェクト、またはそれらの任意の好適な組合せなど、オンラインソーシャルネットワークに関連付けられた特定のオブジェクト間の関係の強度または興味のレベルを表し得る。親和性はまた、サードパーティシステム670または他の好適なシステムに関連付けられたオブジェクトに関して決定され得る。各ユーザ、主題、またはコンテンツのタイプについて、ソーシャルグラフエンティティについての全体的親和性が確立され得る。全体的親和性は、ソーシャルグラフエンティティに関連付けられたアクションまたは関係の継続的監視に基づいて変化し得る。本開示は、特定の様式で特定の親和性を決定することについて説明するが、本開示は、任意の好適な様式で任意の好適な親和性を決定することを企図する。
特定の実施形態では、ソーシャルネットワーキングシステム660は、(本明細書では「係数」と呼ばれることがある)親和性係数を使用してソーシャルグラフ親和性を測定または定量化し得る。係数は、オンラインソーシャルネットワークに関連付けられた特定のオブジェクト間の関係の強度を表すかまたは定量化し得る。係数は、特定のアクションへのユーザの興味に基づいてユーザがそのアクションを実施することになる確率、または実施することになる予測された確率を測定する関数をも表し得る。このようにして、ユーザの将来のアクションは、ユーザの前のアクションに基づいて予測され得、ここで、係数は、ユーザのアクションの履歴に少なくとも部分的に基づいて計算され得る。係数は、オンラインソーシャルネットワーク内にまたはその外部にあり得る、任意の数のアクションを予測するために使用され得る。限定としてではなく一例として、これらのアクションは、メッセージを送信すること、コンテンツを投稿すること、またはコンテンツに関してコメントすることなど、様々なタイプの通信、プロファイルページ、メディア、または他の好適なコンテンツにアクセスするかまたはそれらを閲覧することなど、様々なタイプの観測アクション、同じグループ中にあること、同じ写真においてタグ付けされること、同じロケーションにおいてチェックインされること、または同じイベントに参加したことなど、2つまたはそれ以上のソーシャルグラフエンティティに関する様々なタイプのコインシデンス(coincidence)情報、あるいは他の好適なアクションを含み得る。本開示は、特定の様式で親和性を測定することについて説明するが、本開示は、任意の好適な様式で親和性を測定することを企図する。
特定の実施形態では、ソーシャルネットワーキングシステム660は、係数を計算するために様々なファクタを使用し得る。これらのファクタは、たとえば、ユーザアクション、オブジェクト間の関係のタイプ、ロケーション情報、他の好適なファクタ、またはそれらの任意の組合せを含み得る。特定の実施形態では、係数を計算するときに異なるファクタが異なって重み付けされ得る。各ファクタについての重みは静的であり得るか、または重みは、たとえば、ユーザ、関係のタイプ、アクションのタイプ、ユーザのロケーションなどに従って変化し得る。ユーザについての全体的係数を決定するために、ファクタについてのレーティングが、ファクタの重みに従って組み合わせられ得る。限定としてではなく一例として、特定のユーザアクションは、レーティングと重みの両方を割り当てられ得るが、特定のユーザアクションに関連付けられた関係は、レーティングおよび相関する重みを割り当てられる(たとえば、したがって、重みは合計で100%になる)。特定のオブジェクトに対するユーザの係数を計算するために、ユーザのアクションに割り当てられたレーティングは、たとえば、全体的係数の60%を備え得るが、ユーザとオブジェクトとの間の関係は、全体的係数の40%を備え得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、係数を計算するために使用される様々なファクタについての重みを決定するとき、たとえば、情報がアクセスされてからの時間、減衰係数(decay factor)、アクセスの頻度、情報との関係、または情報がアクセスされたオブジェクトとの関係、オブジェクトに接続されたソーシャルグラフエンティティとの関係、ユーザアクションの短期または長期平均、ユーザフィードバック、他の好適な変数、あるいはそれらの任意の組合せなど、様々な変数を考慮し得る。限定としてではなく一例として、係数は、係数を計算するときにより最近のアクションがより関連するように、特定のアクションによって提供される信号の強度が時間とともに衰えることを引き起こす、減衰係数を含み得る。レーティングおよび重みは、係数が基づくアクションの継続的追跡に基づいて、継続的に更新され得る。各ファクタについてのレーティングとファクタに割り当てられる重みとを割り当てること、組み合わせること、平均化することなどのために、任意のタイプのプロセスまたはアルゴリズムが採用され得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、履歴アクションおよび過去のユーザ応答に関してトレーニングされた機械学習アルゴリズムを使用して、または様々なオプションにユーザを露出し、応答を測定することによってユーザから得られたデータを使用して、係数を決定し得る。本開示は、特定の様式で係数を計算することについて説明するが、本開示は、任意の好適な様式で係数を計算することを企図する。
特定の実施形態では、ソーシャルネットワーキングシステム660は、ユーザのアクションに基づいて係数を計算し得る。ソーシャルネットワーキングシステム660は、そのようなアクションを、オンラインソーシャルネットワーク上で、サードパーティシステム670上で、他の好適なシステム上で、またはそれらの任意の組合せ上で監視し得る。任意の好適なタイプのユーザアクションが、追跡または監視され得る。一般的なユーザアクションは、プロファイルページを閲覧することと、コンテンツを作成または投稿することと、コンテンツと対話することと、画像をタグ付けすることまたは画像においてタグ付けされることと、グループに加わることと、イベントへの参加を列挙し、確認することと、ロケーションにおいてチェックインすることと、特定のページに対して、いいね!を表明することと、ページを作成することと、ソーシャルアクションを円滑にする他のタスクを実施することとを含む。特定の実施形態では、ソーシャルネットワーキングシステム660は、特定のタイプのコンテンツを伴うユーザのアクションに基づいて、係数を計算し得る。コンテンツは、オンラインソーシャルネットワーク、サードパーティシステム670、または別の好適なシステムに関連付けられ得る。コンテンツは、ユーザ、プロファイルページ、投稿、ニュース記事、見出し、インスタントメッセージ、チャットルームの会話、電子メール、広告、ピクチャ、ビデオ、音楽、他の好適なオブジェクト、またはそれらの任意の組合せを含み得る。ソーシャルネットワーキングシステム660は、アクションのうちの1つまたは複数が主題、コンテンツ、他のユーザなどについての親和性を指示するかどうかを決定するために、ユーザのアクションを分析し得る。限定としてではなく一例として、ユーザが、「コーヒー」に関係するコンテンツまたはその変形態を頻繁に投稿する場合、ソーシャルネットワーキングシステム660は、ユーザが「コーヒー」という概念に関して高い係数を有すると決定し得る。特定のアクションまたはアクションのタイプは、他のアクションよりも高い重みおよび/またはレーティングを割り当てられ得、これは、全体的な計算された係数に影響を及ぼし得る。限定としてではなく一例として、第1のユーザが第2のユーザに電子メールを送る場合、そのアクションについての重みまたはレーティングは、第1のユーザが単に第2のユーザについてのユーザプロファイルページを閲覧する場合よりも高くなり得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、特定のオブジェクト間の関係のタイプに基づいて係数を計算し得る。ソーシャルグラフ700を参照して、ソーシャルネットワーキングシステム660は、係数を計算するときに特定のユーザノード702と概念ノード704とを接続するエッジ706の数および/またはタイプを分析し得る。限定としてではなく一例として、(2人のユーザが結婚していることを表す)配偶者タイプエッジによって接続されたユーザノード702は、友達タイプエッジによって接続されたユーザノード702よりも高い係数を割り当てられ得る。言い換えれば、特定のユーザについてのアクションおよび関係に割り当てられた重みに応じて、全体的親和性は、ユーザの友達に関するコンテンツについてよりもユーザの配偶者に関するコンテンツについて高くなると決定され得る。特定の実施形態では、ユーザが有する、別のオブジェクトとの関係は、そのオブジェクトについての係数を計算することに関して、ユーザのアクションの重みおよび/またはレーティングに影響を及ぼし得る。限定としてではなく一例として、ユーザが第1の写真においてタグ付けされるが、単に第2の写真に対していいね!を表明した場合、ソーシャルネットワーキングシステム660は、コンテンツとのタグ付けタイプ関係を有することが、コンテンツとのいいね!タイプ関係を有することよりも高い重みおよび/またはレーティングを割り当てられ得るので、ユーザが、第2の写真よりも第1の写真に関して高い係数を有すると決定し得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、1人または複数の第2のユーザが有する、特定のオブジェクトとの関係に基づいて、第1のユーザについての係数を計算し得る。言い換えれば、他のユーザが有する、オブジェクトとの接続および係数は、そのオブジェクトについての第1のユーザの係数に影響を及ぼし得る。限定としてではなく一例として、第1のユーザが1人または複数の第2のユーザに接続されるか、またはそれらの第2のユーザについての高い係数を有し、それらの第2のユーザが、特定のオブジェクトに接続されるかまたは特定のオブジェクトについての高い係数を有する場合、ソーシャルネットワーキングシステム660は、第1のユーザも特定のオブジェクトについての比較的高い係数を有するべきであると決定し得る。特定の実施形態では、係数は、特定のオブジェクト間の分離の程度に基づき得る。より低い係数は、第1のユーザが、ソーシャルグラフ700において第1のユーザに間接的に接続されたユーザのコンテンツオブジェクトへの興味を共有することになる、可能性の減少を表し得る。限定としてではなく一例として、ソーシャルグラフ700においてより近いソーシャルグラフエンティティ(すなわち、分離のより少ない程度)は、ソーシャルグラフ700においてさらに離れたエンティティよりも高い係数を有し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、ロケーション情報に基づいて係数を計算し得る。地理的に互いにより近いオブジェクトは、より遠くのオブジェクトよりも、互いに関係するかまたは興味があると見なされ得る。特定の実施形態では、特定のオブジェクトに対するユーザの係数は、ユーザ(またはユーザのクライアントシステム130のロケーション)に関連付けられた現在ロケーションへの、オブジェクトのロケーションの近接度に基づき得る。第1のユーザは、第1のユーザにより近い他のユーザまたは概念により興味があり得る。限定としてではなく一例として、ユーザが、空港から1マイル、およびガソリンスタンドから2マイルのところにいる場合、ソーシャルネットワーキングシステム660は、ユーザへの空港の近接度に基づいて、ユーザがガソリンスタンドよりも空港についてより高い係数を有すると決定し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、係数情報に基づいてユーザに関して特定のアクションを実施し得る。係数は、アクションへのユーザの興味に基づいてユーザが特定のアクションを実施することになるかどうかを予測するために使用され得る。係数は、広告、検索結果、ニュース記事、メディア、メッセージ、通知、または他の好適なオブジェクトなど、任意のタイプのオブジェクトをユーザに生成または提示するときに使用され得る。係数は、適宜に、そのようなオブジェクトをランク付けし、順序付けるためにも利用され得る。このようにして、ソーシャルネットワーキングシステム660は、ユーザの興味および現在の状況に関連する情報を提供し、ユーザが興味があるそのような情報を見つけることになる可能性を増加させ得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、係数情報に基づいてコンテンツを生成し得る。コンテンツオブジェクトは、ユーザに固有の係数に基づいて提供または選択され得る。限定としてではなく一例として、係数は、ユーザのためのメディアを生成するために使用され得、ここで、ユーザは、ユーザがメディアオブジェクトに関して高い全体的係数を有するメディアを提示され得る。限定としてではなく別の例として、係数は、ユーザのための広告を生成するために使用され得、ここで、ユーザは、ユーザが広告オブジェクトに関して高い全体的係数を有する広告を提示され得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、係数情報に基づいて検索結果を生成し得る。特定のユーザのための検索結果は、問い合わせているユーザに関して検索結果に関連付けられた係数に基づいてスコアリングまたはランク付けされ得る。限定としてではなく一例として、より高い係数をもつオブジェクトに対応する検索結果は、検索結果ページ上で、より低い係数を有するオブジェクトに対応する結果よりも高くランク付けされ得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、特定のシステムまたはプロセスからの係数についての要求に応答して係数を計算し得る。所与の状況においてユーザがとり得る(または対象であり得る)可能性があるアクションを予測するために、任意のプロセスが、ユーザについての計算された係数を要求し得る。要求は、係数を計算するために使用される様々なファクタについて使用すべき重みのセットをも含み得る。この要求は、オンラインソーシャルネットワーク上で実行しているプロセスから、(たとえば、APIまたは他の通信チャネルを介して)サードパーティシステム670から、または別の好適なシステムから来得る。要求に応答して、ソーシャルネットワーキングシステム660は、係数を計算し(または係数が前に計算および記憶されていた場合、係数情報にアクセスし)得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、特定のプロセスに関する親和性を測定し得る。異なるプロセス(オンラインソーシャルネットワークの内部と外部の両方)は、特定のオブジェクトまたはオブジェクトのセットについての係数を要求し得る。ソーシャルネットワーキングシステム660は、親和性の測度を要求した特定のプロセスに関連する親和性の測度を提供し得る。このようにして、各プロセスは、プロセスが親和性の測度を使用することになる異なるコンテキストについて調整された親和性の測度を受信する。
ソーシャルグラフ親和性および親和性係数に関して、特定の実施形態は、その各々が参照により組み込まれる、2006年8月11日に出願された米国特許出願第11/503093号、2010年12月22日に出願された米国特許出願第12/977027号、2010年12月23日に出願された米国特許出願第12/978265号、および2012年10月1日に出願された米国特許出願第13/632869号において開示される、1つまたは複数のシステム、構成要素、要素、機能、方法、動作、またはステップを利用し得る。
プライバシー
特定の実施形態では、コンピューティングシステムの1つまたは複数のオブジェクト(たとえば、コンテンツまたは他のタイプのオブジェクト)は、1つまたは複数のプライバシー設定に関連付けられ得る。1つまたは複数のオブジェクトは、たとえば、ソーシャルネットワーキングシステム660、クライアントシステム630、サードパーティシステム670、ソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、写真共有アプリケーション、あるいは任意の他の好適なコンピューティングシステムまたはアプリケーションなど、任意の好適なコンピューティングシステムまたはアプリケーションに記憶されるか、または場合によっては関連付けられ得る。本明細書で説明される例はオンラインソーシャルネットワークのコンテキストにおけるものであるが、これらのプライバシー設定は、任意の他の好適なコンピューティングシステムに適用され得る。オブジェクトについてのプライバシー設定(または「アクセス設定」)は、たとえば、オブジェクトに関連して、認可サーバ上のインデックス中で、別の好適な様式で、またはそれらの任意の好適な組合せなど、任意の好適な様式で記憶され得る。オブジェクトについてのプライバシー設定は、オブジェクト(またはオブジェクトに関連付けられた特定の情報)がオンラインソーシャルネットワーク内でどのようにアクセスされ、記憶され、または場合によっては使用され(たとえば、閲覧、共有、修正、コピー、実行、表面化、または識別され)得るかを指定し得る。オブジェクトについてのプライバシー設定が、特定のユーザまたは他のエンティティがそのオブジェクトにアクセスすることを可能にするとき、オブジェクトは、そのユーザまたは他のエンティティに関して「可視」であるものとして説明され得る。限定としてではなく一例として、オンラインソーシャルネットワークのユーザは、ユーザプロファイルページに関する職歴情報にアクセスし得るユーザのセットを識別するユーザプロファイルページについてのプライバシー設定を指定し、したがって、他のユーザがその情報にアクセスすることを除外し得る。
特定の実施形態では、オブジェクトについてのプライバシー設定は、オブジェクトに関連付けられたある情報にアクセスすることを可能にされるべきでないユーザまたは他のエンティティの「ブロックリスト(blocked list)」を指定し得る。特定の実施形態では、ブロックリストは、サードパーティエンティティを含み得る。ブロックリストは、オブジェクトが可視でない1つまたは複数のユーザまたはエンティティを指定し得る。限定としてではなく一例として、ユーザは、ユーザに関連付けられた写真アルバムにアクセスしてはいけないユーザのセットを指定し、したがって、それらのユーザが写真アルバムにアクセスすることを除外し得る(また、場合によってはユーザの指定されたセット内にない何人かのユーザが写真アルバムにアクセスすることを可能にする)。特定の実施形態では、プライバシー設定は、特定のソーシャルグラフ要素に関連付けられ得る。ノードまたはエッジなど、ソーシャルグラフ要素のプライバシー設定は、ソーシャルグラフ要素、ソーシャルグラフ要素に関連付けられた情報、またはソーシャルグラフ要素に関連付けられたオブジェクトが、どのようにオンラインソーシャルネットワークを使用してアクセスされ得るかを指定し得る。限定としてではなく一例として、特定の写真に対応する特定の概念ノード704は、写真が、写真においてタグ付けされたユーザと写真においてタグ付けされたユーザの友達とによってのみアクセスされ得ることを指定するプライバシー設定を有し得る。特定の実施形態では、プライバシー設定は、ユーザが、そのユーザのコンテンツ、情報、またはアクションがソーシャルネットワーキングシステム660によって記憶/ロギングされるか、または他のシステム(たとえば、サードパーティシステム670)と共有されることをオプトインまたはオプトアウトすることを可能にし得る。本開示は、特定の様式で特定のプライバシー設定を使用することについて説明するが、本開示は、任意の好適な様式で任意の好適なプライバシー設定を使用することを企図する。
特定の実施形態では、プライバシー設定は、ソーシャルグラフ700の1つまたは複数のノードまたはエッジに基づき得る。プライバシー設定は、ソーシャルグラフ700の1つまたは複数のエッジ706またはエッジタイプについて、あるいはソーシャルグラフ700の1つまたは複数のノード702、704またはノードタイプに関して指定され得る。2つのノードを接続する特定のエッジ706に適用されるプライバシー設定は、ノードに対応する2つのエンティティ間の関係がオンラインソーシャルネットワークの他のユーザに可視であるかどうかを制御し得る。同様に、特定のノードに適用されるプライバシー設定は、ノードに対応するユーザまたは概念がオンラインソーシャルネットワークの他のユーザに可視であるかどうかを制御し得る。限定としてではなく一例として、第1のユーザは、ソーシャルネットワーキングシステム660に対してオブジェクトを共有し得る。オブジェクトは、エッジ706によって第1のユーザのユーザノード702に接続された概念ノード704に関連付けられ得る。第1のユーザは、オブジェクトの概念ノード704に接続する特定のエッジ706に適用されるプライバシー設定を指定し得るか、または概念ノード704に接続するすべてのエッジ706に適用されるプライバシー設定を指定し得る。限定としてではなく別の例として、第1のユーザは、特定のオブジェクトタイプのオブジェクトのセット(たとえば、画像のセット)を共有し得る。第1のユーザは、特定のプライバシー設定を有するものとして、その特定のオブジェクトタイプの第1のユーザに関連付けられたすべてのオブジェクトに関してプライバシー設定を指定し得る(たとえば、第1のユーザによって投稿されたすべての画像が、第1のユーザの友達、および/または画像においてタグ付けされたユーザにのみ可視であることを指定する)。
特定の実施形態では、ソーシャルネットワーキングシステム660は、第1のユーザが1つまたは複数のプライバシー設定を指定するのを支援するために、第1のユーザに(たとえば、ウェブページ、モジュール、1つまたは複数のダイアログボックス、または任意の他の好適なインターフェース内に)「プライバシーウィザード」を提示し得る。プライバシーウィザードは、命令、好適なプライバシー関係情報、現在のプライバシー設定、プライバシー設定の変更または確認を指定する、第1のユーザからの1つまたは複数の入力を受け付けるための1つまたは複数の入力フィールド、あるいはそれらの任意の好適な組合せを表示し得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、第1のユーザの現在のプライバシー設定を第1のユーザに表示し得る「ダッシュボード」機能性を第1のユーザにオファーし得る。ダッシュボード機能性は、任意の適切な時間において(たとえば、ダッシュボード機能性を召喚する第1のユーザからの入力に続いて、特定のイベントまたはトリガアクションの発生に続いて)第1のユーザに表示され得る。ダッシュボード機能性は、第1のユーザが、任意の時間において、任意の好適な様式(たとえば、第1のユーザをプライバシーウィザードにリダイレクトすること)で第1のユーザの現在のプライバシー設定のうちの1つまたは複数を修正することを可能にし得る。
オブジェクトに関連付けられたプライバシー設定は、許可されるアクセスまたはアクセスの拒否の任意の好適なグラニュラリティを指定し得る。限定としてではなく一例として、アクセスまたはアクセスの拒否は、特定のユーザ(たとえば、私のみ、私のルームメート、私の上司)、特定の分離の程度内のユーザ(たとえば、友達、友達の友達)、ユーザグループ(たとえば、ゲームクラブ、私の家族)、ユーザネットワーク(たとえば、特定の雇用主の従業員、特定の大学の学生または卒業生)、すべてのユーザ(「公開」)、ユーザなし(「プライベート」)、サードパーティシステム670のユーザ、特定のアプリケーション(たとえば、サードパーティアプリケーション、外部ウェブサイト)、他の好適なエンティティ、あるいはそれらの任意の好適な組合せについて指定され得る。本開示は、許可されるアクセスまたはアクセスの拒否の特定のグラニュラリティについて説明するが、本開示は、許可されるアクセスまたはアクセスの拒否の任意の好適なグラニュラリティを企図する。
特定の実施形態では、1つまたは複数のサーバ662は、プライバシー設定を施行するための認可/プライバシーサーバであり得る。データストア664に記憶された特定のオブジェクトについてのユーザ(または他のエンティティ)からの要求に応答して、ソーシャルネットワーキングシステム660は、オブジェクトについての要求をデータストア664に送信し得る。要求は、要求に関連付けられたユーザを識別し得、オブジェクトは、オブジェクトに関連付けられたプライバシー設定に基づいてユーザがオブジェクトにアクセスすることを認可されると認可サーバが決定した場合、ユーザ(またはユーザのクライアントシステム630)に送信されるにすぎないことがある。要求元ユーザがオブジェクトにアクセスすることを認可されない場合、認可サーバは、要求されたオブジェクトがデータストア664から取り出されることを防ぎ得るか、または要求されたオブジェクトがユーザに送信されることを防ぎ得る。検索クエリコンテキストでは、問い合わせているユーザがオブジェクトにアクセスすることを認可された場合のみ、たとえば、オブジェクトについてのプライバシー設定が、そのオブジェクトが、問い合わせているユーザに対して表面化されるか、そのユーザによって発見されるか、または場合によってはそのユーザに可視であることを可能にする場合、オブジェクトが検索結果として提供され得る。特定の実施形態では、オブジェクトは、ユーザのニュースフィードを通してユーザに可視であるコンテンツを表し得る。限定としてではなく一例として、1つまたは複数のオブジェクトは、ユーザの「トレンディング」ページに可視であり得る。特定の実施形態では、オブジェクトは、特定のユーザに対応し得る。オブジェクトは、特定のユーザに関連付けられたコンテンツであり得るか、あるいはソーシャルネットワーキングシステム660、または他のコンピューティングシステムに記憶された特定のユーザのアカウントまたは情報であり得る。限定としてではなく一例として、第1のユーザは、オンラインソーシャルネットワークの「知り合いかも(People You May Know)」機能を通して、または第1のユーザの友達のリストを閲覧することによって、オンラインソーシャルネットワークの1人または複数の第2のユーザを閲覧し得る。限定としてではなく一例として、第1のユーザは、第1のユーザが、第1のユーザのニュースフィードまたは友達リスト中の特定の第2のユーザに関連付けられたオブジェクトを参照することを望まないことを指定し得る。オブジェクトについてのプライバシー設定が、オブジェクトが、ユーザに対して表面化されるか、ユーザによって発見されるか、またはユーザに可視であることを可能にしない場合、オブジェクトは、検索結果から除外され得る。本開示は、特定の様式でプライバシー設定を施行することについて説明するが、本開示は、任意の好適な様式でプライバシー設定を施行することを企図する。
特定の実施形態では、ユーザに関連付けられた同じタイプの異なるオブジェクトは、異なるプライバシー設定を有し得る。ユーザに関連付けられた異なるタイプのオブジェクトは、異なるタイプのプライバシー設定を有し得る。限定としてではなく一例として、第1のユーザは、第1のユーザのステータス更新が公開であるが、第1のユーザによって共有される画像がオンラインソーシャルネットワーク上の第1のユーザの友達にのみ可視であることを指定し得る。限定としてではなく別の例として、ユーザは、個人ユーザ、友達の友達、フォロワー、ユーザグループ、または企業エンティティなど、異なるタイプのエンティティについて異なるプライバシー設定を指定し得る。限定としてではなく別の例として、第1のユーザは、第1のユーザによって投稿されたビデオが第1のユーザの雇用主に可視でないようにしながら、それらのビデオを閲覧し得るユーザのグループを指定し得る。特定の実施形態では、異なるユーザグループまたはユーザ層について異なるプライバシー設定が提供され得る。限定としてではなく一例として、第1のユーザは、第1のユーザと同じ大学に通っている他のユーザが、第1のユーザのピクチャを閲覧し得ることを指定するが、第1のユーザの家族である他のユーザが、それらの同じピクチャを閲覧することができないことを指定し得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、特定のオブジェクトタイプの各オブジェクトについての1つまたは複数のデフォルトプライバシー設定を提供し得る。デフォルト値に設定されたオブジェクトについてのプライバシー設定は、そのオブジェクトに関連付けられたユーザによって変更され得る。限定としてではなく一例として、第1のユーザによって投稿されるすべての画像は、第1のユーザの友達にのみ可視であるというデフォルトプライバシー設定を有し得、特定の画像について、第1のユーザは、画像が友達および友達の友達に可視であるようにプライバシー設定を変更し得る。
特定の実施形態では、プライバシー設定は、第1のユーザがソーシャルネットワーキングシステム660が任意の目的のためにユーザに関連付けられた特定のオブジェクトまたは情報を受信、収集、ロギング、または記憶し得るかどうかを指定することを(たとえば、オプトアウトすることによって、オプトインしないことによって)可能にし得る。特定の実施形態では、プライバシー設定は、第1のユーザが特定のアプリケーションまたはプロセスがユーザに関連付けられた特定のオブジェクトまたは情報にアクセスするか、それらのオブジェクトまたは情報を記憶するか、または使用し得るかどうかを指定することを可能にし得る。プライバシー設定は、第1のユーザが、固有のアプリケーションまたはプロセスによって、オブジェクトまたは情報がアクセス、記憶、または使用されることをオプトインまたはオプトアウトすることを可能にし得る。ソーシャルネットワーキングシステム660は第1のユーザに特定の機能またはサービスを提供するためにそのような情報にアクセスし、ソーシャルネットワーキングシステム660は任意の他の目的のためにその情報へのアクセスを有しないことがある。そのようなオブジェクトまたは情報にアクセスするか、それらのオブジェクトまたは情報を記憶するか、または使用する前に、ソーシャルネットワーキングシステム660は、どのアプリケーションまたはプロセスが、もしあれば、任意のそのようなアクションを可能にする前に、オブジェクトまたは情報にアクセスするか、それらのオブジェクトまたは情報を記憶するか、または使用し得るかを指定するプライバシー設定を提供するようにユーザにプロンプトし得る。限定としてではなく一例として、第1のユーザは、オンラインソーシャルネットワークに関係するアプリケーション(たとえば、メッセージングアプリ)を介して第2のユーザにメッセージを伝送し得、そのようなメッセージがソーシャルネットワーキングシステム660によって記憶されるべきでないというプライバシー設定を指定し得る。
特定の実施形態では、ユーザは、第1のユーザに関連付けられたオブジェクトまたは情報の特定のタイプがソーシャルネットワーキングシステム660によってアクセス、記憶、または使用され得るかどうかを指定し得る。限定としてではなく一例として、第1のユーザは、ソーシャルネットワーキングシステム660を通して第1のユーザによって送信された画像が、ソーシャルネットワーキングシステム660によって記憶され得ないことを指定し得る。限定としてではなく別の例として、第1のユーザは、第1のユーザから特定の第2のユーザに送信されたメッセージが、ソーシャルネットワーキングシステム660によって記憶され得ないことを指定し得る。限定としてではなくさらに別の例として、第1のユーザは、特定のアプリケーションを介して送信されたすべてのオブジェクトがソーシャルネットワーキングシステム660によって保存され得ることを指定し得る。
特定の実施形態では、プライバシー設定は、第1のユーザが、第1のユーザに関連付けられた特定のオブジェクトまたは情報が特定のクライアントシステム630またはサードパーティシステム670からアクセスされ得るかどうかを指定することを可能にし得る。プライバシー設定は、第1のユーザが、特定のデバイス(たとえば、ユーザのスマートフォン上の電話帳)から、特定のアプリケーション(たとえば、メッセージングアプリ)から、または特定のシステム(たとえば、電子メールサーバ)から、オブジェクトまたは情報がアクセスされることをオプトインまたはオプトアウトすることを可能にし得る。ソーシャルネットワーキングシステム660は、各デバイス、システム、またはアプリケーションに関してデフォルトプライバシー設定を提供し得、および/または第1のユーザは、各コンテキストについての特定のプライバシー設定を指定するようにプロンプトされ得る。限定としてではなく一例として、第1のユーザは、ユーザに近接しているレストランまたは他の場所についての推奨を提供するために、ソーシャルネットワーキングシステム660のロケーションサービス特徴を利用し得る。第1のユーザのデフォルトプライバシー設定は、ソーシャルネットワーキングシステム660が、ロケーションベースサービスを提供するために、第1のユーザのクライアントデバイス630から提供されたロケーション情報を使用し得ることを指定するが、ソーシャルネットワーキングシステム660が、第1のユーザのロケーション情報を記憶しないか、または任意のサードパーティシステム670にそのロケーション情報を提供し得ないことを指定し得る。第1のユーザは、次いで、写真にジオタグを付けるために、ロケーション情報がサードパーティ画像共有アプリケーションによって使用されることを可能にするように、プライバシー設定を更新し得る。
気分または感情情報についてのプライバシー設定
特定の実施形態では、プライバシー設定は、ユーザがユーザに関連付けられた気分または感情情報が決定され得るかどうか、および特定のアプリケーションまたはプロセスがそのような情報にアクセスするか、そのような情報を記憶するか、または使用し得るかどうかを指定することを可能にし得る。プライバシー設定は、ユーザが、固有のアプリケーションまたはプロセスによって、気分または感情情報がアクセス、記憶、または使用されることをオプトインまたはオプトアウトすることを可能にし得る。ソーシャルネットワーキングシステム660は、たとえば、ユーザによって閲覧されるページまたはコンテンツ、ユーザによってアップロードされる投稿または他のコンテンツ、およびオンラインソーシャルネットワークの他のコンテンツとの対話など、ユーザによって提供される入力、および特定のオブジェクトとの対話に基づいて、ユーザに関連付けられた気分または感情を予測または決定し得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、当面の気分または感情を決定するために、ユーザの前のアクティビティと計算された気分または感情とを使用し得る。この機能性を可能にすることを望むユーザは、ユーザが、ソーシャルネットワーキングシステム660が気分または感情を決定するのに必要な入力を受信することをオプトインすることをユーザのプライバシー設定において指示し得る。限定としてではなく一例として、ソーシャルネットワーキングシステム660は、デフォルトプライバシー設定が、ソーシャルネットワーキングシステム660が気分または感情を決定するために必要な情報を受信し得るという、ユーザからの明示的な指示があるまで、その情報を受信しないことであると決定し得る。対照的に、ユーザが、ソーシャルネットワーキングシステム660がこれらの入力を受信することにオプトインしない(またはソーシャルネットワーキングシステム660がこれらの入力を受信することから断定的にオプトアウトする)場合、ソーシャルネットワーキングシステム660は、これらの入力またはこれらの入力に関連付けられた任意の情報を受信、収集、ロギング、または記憶するのを妨げられ得る。特定の実施形態では、ソーシャルネットワーキングシステム660は、ユーザに推奨または広告を提供するために、予測された気分または感情を使用し得る。特定の実施形態では、ユーザが固有の目的または適用例のためにこの機能を利用することを望む場合、固有の目的または適用例のために気分または感情情報を使用することをオプトインするために、ユーザによって追加のプライバシー設定が指定され得る。限定としてではなく一例として、ソーシャルネットワーキングシステム660は、ユーザにニュースフィードアイテム、ページ、友達または広告を提供するためにユーザの気分または感情を使用し得る。ユーザは、ユーザのプライバシー設定において、ソーシャルネットワーキングシステム660がユーザの気分または感情を決定し得ることを指定し得る。ユーザは、次いで、ユーザの気分または感情が使用され得る目的を指示するために追加のプライバシー設定を提供するように依頼され得る。ユーザは、ソーシャルネットワーキングシステム660が、友達または広告を推奨するためにではなく、ニュースフィードコンテンツを提供し、ページを推奨するために自分の気分または感情を使用し得ることを指示し得る。ソーシャルネットワーキングシステム660は、その場合、ユーザの気分または感情に基づいてニュースフィードコンテンツまたはページを提供し得るにすぎず、プライバシー設定によって明確に禁止されない場合でも、任意の他の目的のためにその情報を使用することができない。
ユーザ認証およびエクスペリエンス個人化情報についてのプライバシー設定
特定の実施形態では、ソーシャルネットワーキングシステム660は、ユーザ認証またはエクスペリエンス個人化目的のために、ユーザのパーソナル情報または生体情報を入力として使用し得る機能性を有し得る。ユーザは、オンラインソーシャルネットワーク上のユーザのエクスペリエンスを向上させるためにこれらの機能性を利用することを選び得る。限定としてではなく一例として、ユーザは、ソーシャルネットワーキングシステム660にパーソナル情報または生体情報を提供し得る。ユーザのプライバシー設定は、そのような情報が認証などの特定のプロセスのためにのみ使用され得ることを指定し、そのような情報が、任意のサードパーティシステム670と共有されないか、またはソーシャルネットワーキングシステム660に関連付けられた他のプロセスまたはアプリケーションのために使用され得ないことをさらに指定し得る。限定としてではなく別の例として、ソーシャルネットワーキングシステム660は、ユーザがオンラインソーシャルネットワークに声紋記録を提供するための機能性を提供し得る。限定としてではなく一例として、ユーザが、オンラインソーシャルネットワークのこの機能を利用することを望む場合、ユーザは、オンラインソーシャルネットワーク上でステータス更新を行うために自分自身の音声の音声記録を提供し得る。音声入力の記録は、どんなワードがユーザによって話されたかを決定するために、ユーザの声紋と比較され得る。ユーザのプライバシー設定は、そのような音声記録が音声入力目的のために(たとえば、ユーザを認証するために、音声メッセージを送信するために、オンラインソーシャルネットワークの音声操作式特徴を使用するために音声認識を改善するために)のみ使用され得ることを指定し、そのような音声記録が、任意のサードパーティシステム670と共有されないか、またはソーシャルネットワーキングシステム660に関連付けられた他のプロセスまたはアプリケーションによって使用され得ないことをさらに指定し得る。限定としてではなく別の例として、ソーシャルネットワーキングシステム660は、ユーザがオンラインソーシャルネットワークに参照画像(たとえば、顔プロファイル、網膜スキャン)を提供するための機能性を提供し得る。オンラインソーシャルネットワークは、(たとえば、ユーザを認証するために、写真においてユーザをタグ付けするために)参照画像を、後で受信された画像入力と比較し得る。ユーザのプライバシー設定は、そのような音声記録が限られた目的(たとえば、認証、写真においてユーザをタグ付けすること)のためにのみ使用され得ることを指定し、そのような音声記録が、任意のサードパーティシステム670と共有されないか、またはソーシャルネットワーキングシステム660に関連付けられた他のプロセスまたはアプリケーションによって使用され得ないことをさらに指定し得る。
プライバシー設定に対するユーザ主導型変更
特定の実施形態では、プライバシー設定に対する変更は、遡及的に効果を生じ、変更より前に共有されたオブジェクトおよびコンテンツの可視性に影響を及ぼし得る。限定としてではなく一例として、第1のユーザは、第1の画像を共有し、第1の画像がすべての他のユーザに公開になるべきであることを指定し得る。後で、第1のユーザは、第1のユーザによって共有された画像が第1のユーザグループにのみ可視にされるべきであることを指定し得る。ソーシャルネットワーキングシステム660は、このプライバシー設定が第1の画像にも適用されると決定し、第1の画像を第1のユーザグループにのみ可視にし得る。特定の実施形態では、プライバシー設定の変更は、将来にのみ効果を生じ得る。上記の例を続けると、第1のユーザがプライバシー設定を変更し、次いで、第2の画像を共有する場合、第2の画像は、第1のユーザグループにのみ可視であり得るが、第1の画像は、すべてのユーザに可視のままであり得る。特定の実施形態では、プライバシー設定を変更するためのユーザアクションに応答して、ソーシャルネットワーキングシステム660は、さらに、ユーザが変更をプライバシー設定に遡及的に適用することを希望するかどうかを指示するようにユーザにプロンプトし得る。特定の実施形態では、プライバシー設定に対するユーザ変更は、1つのオブジェクトに固有の1回限りの変更であり得る。特定の実施形態では、プライバシーに対するユーザ変更は、ユーザに関連付けられたすべてのオブジェクトについてのグローバル変更であり得る。
特定の実施形態では、ソーシャルネットワーキングシステム660は、第1のユーザが、第1のユーザに関連付けられたトリガアクションに応答して1つまたは複数のプライバシー設定を変更することを希望し得ると決定し得る。トリガアクションは、オンラインソーシャルネットワーク上の任意の好適なアクションであり得る。限定としてではなく一例として、トリガアクションは、オンラインソーシャルネットワークの第1のユーザと第2のユーザとの間の関係の変更(たとえば、ユーザを「友達承認しない(un−friending)」とすること、ユーザ間の関係ステータスを変更すること)であり得る。特定の実施形態では、トリガアクションが行われたと決定すると、ソーシャルネットワーキングシステム660は、第1のユーザに関連付けられたオブジェクトの可視性に関するプライバシー設定を変更するように第1のユーザにプロンプトし得る。このプロンプトは、第1のユーザを、トリガアクションに関連付けられた1つまたは複数のエンティティに関してプライバシー設定を編集するためのワークフロープロセスにリダイレクトし得る。第1のユーザに関連付けられたプライバシー設定は、第1のユーザからの明示的入力に応答してのみ変更され得、第1のユーザの承認なしに変更され得ない。限定としてではなく一例として、ワークフロープロセスは、第2のユーザまたはユーザのグループに関する現在のプライバシー設定(たとえば、特定のオブジェクトから第1のユーザまたは第2のユーザをタグ付けしないこと、第2のユーザまたはユーザのグループに関して特定のオブジェクトの可視性を変更すること)を第1のユーザに提供することと、第1のユーザから、本明細書で説明される方法のいずれかに基づいてプライバシー設定を変更するための、または既存のプライバシー設定を保つための指示を受信することとを含み得る。
特定の実施形態では、ユーザは、ユーザがオンラインソーシャルネットワーク上で特定のアクションを実施することを可能にする前にプライバシー設定の検証を行うか、または特定のプライバシー設定を変更する前に検証を行う必要があり得る。特定のアクションを実施するかまたは特定のプライバシー設定を変更するとき、自分の現在のプライバシー設定をユーザに思い出させるために、および特定のアクションに関してプライバシー設定を検証するようにユーザに依頼するために、プロンプトがユーザに提示され得る。さらに、ユーザは、特定のアクションを進める前に確認、二重の確認、認証、または他の好適なタイプの検証を行う必要があり得、アクションは、そのような検証が行われるまで完了しないことがある。限定としてではなく一例として、ユーザのデフォルトプライバシー設定は、ある人の関係ステータスがすべてのユーザに可視であること(すなわち、「公開」)を指示し得る。しかしながら、ユーザが自分の関係ステータスを変更する場合、ソーシャルネットワーキングシステム660は、そのようなアクションが慎重な扱いを要し得ると決定し得、進める前に、自分の関係ステータスが公開のままであるべきであることを確認するようにユーザにプロンプトし得る。限定としてではなく別の例として、ユーザのプライバシー設定は、ユーザの投稿がユーザの友達にのみ可視であることを指定し得る。しかしながら、ユーザが、自分の投稿が公開になるようにプライバシー設定を変更した場合、ソーシャルネットワーキングシステム660は、投稿のユーザの現在のプライバシー設定が友達にのみ可視であることのリマインダと、この変更がユーザの過去の投稿のすべてを公衆に可視にすることになるという警告とともにユーザにプロンプトし得る。ユーザは、次いで、プライバシー設定の変更を進める前に、第2の検証を行うか、認証証明を入力するか、または他のタイプの検証を行うことを必要とされ得る。特定の実施形態では、ユーザは、周期的にプライバシー設定の検証を行う必要があり得る。プロンプトまたはリマインダは、経過した時間またはユーザアクションの数のいずれかに基づいて周期的にユーザに送信され得る。限定としてではなく一例として、ソーシャルネットワーキングシステム660は、6カ月ごとに、またはあらゆる10回の写真の投稿の後に自分のプライバシー設定を確認するためのリマインダをユーザに送信し得る。特定の実施形態では、プライバシー設定はまた、ユーザが要求ごとにオブジェクトまたは情報へのアクセスを制御することを可能にし得る。限定としてではなく一例として、ソーシャルネットワーキングシステム660は、サードパーティシステム670が、ユーザに関連付けられた情報にアクセスすることを試みるときはいつでも、ユーザに通知し、進める前に、アクセスが可能にされるべきであるという検証をユーザが行うことを必要とし得る。
図8は、例示的なコンピュータシステム800を示す。特定の実施形態では、1つまたは複数のコンピュータシステム800は、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施する。特定の実施形態では、1つまたは複数のコンピュータシステム800は、本明細書で説明または示される機能性を提供する。特定の実施形態では、1つまたは複数のコンピュータシステム800上で稼働しているソフトウェアは、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、1つまたは複数のコンピュータシステム800の1つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、1つまたは複数のコンピュータシステムを包含し得る。
本開示は、任意の好適な数のコンピュータシステム800を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム800を企図する。限定としてではなく例として、コンピュータシステム800は、組込み型コンピュータシステム、システムオンチップ(SOC)、(たとえば、コンピュータオンモジュール(COM)またはシステムオンモジュール(SOM)などの)シングルボードコンピュータシステム(SBC)、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実デバイス、あるいはこれらのうちの2つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム800は、1つまたは複数のコンピュータシステム800を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは1つまたは複数のネットワーク中の1つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、1つまたは複数のコンピュータシステム800は、実質的な空間的または時間的制限なしに、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。限定としてではなく一例として、1つまたは複数のコンピュータシステム800は、リアルタイムでまたはバッチモードで、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。1つまたは複数のコンピュータシステム800は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。
特定の実施形態では、コンピュータシステム800は、プロセッサ802と、メモリ804と、ストレージ806と、入出力(I/O)インターフェース808と、通信インターフェース810と、バス812とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
特定の実施形態では、プロセッサ802は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ802は、内部レジスタ、内部キャッシュ、メモリ804、またはストレージ806から命令を取り出し(またはフェッチし)、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ804、またはストレージ806に1つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ802は、データ、命令、またはアドレスのための1つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ802を企図する。限定としてではなく一例として、プロセッサ802は、1つまたは複数の命令キャッシュと、1つまたは複数のデータキャッシュと、1つまたは複数のトランスレーションルックアサイドバッファ(TLB)とを含み得る。命令キャッシュ中の命令は、メモリ804またはストレージ806中の命令のコピーであり得、命令キャッシュは、プロセッサ802によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ802において実行する命令が動作する対象のメモリ804またはストレージ806中のデータのコピー、プロセッサ802において実行する後続の命令によるアクセスのための、またはメモリ804もしくはストレージ806に書き込むための、プロセッサ802において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ802による読取りまたは書込み動作を高速化し得る。TLBは、プロセッサ802のための仮想アドレストランスレーション(virtual−address translation)を高速化し得る。特定の実施形態では、プロセッサ802は、データ、命令、またはアドレスのための1つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ802を企図する。適切な場合、プロセッサ802は、1つまたは複数の算術論理ユニット(ALU)を含むか、マルチコアプロセッサであるか、または1つまたは複数のプロセッサ802を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
特定の実施形態では、メモリ804は、プロセッサ802が実行するための命令、またはプロセッサ802が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム800は、ストレージ806または(たとえば、別のコンピュータシステム800などの)別のソースからメモリ804に命令をロードし得る。プロセッサ802は、次いで、メモリ804から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ802は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ802は、(中間結果または最終結果であり得る)1つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ802は、次いで、メモリ804にそれらの結果のうちの1つまたは複数を書き込み得る。特定の実施形態では、プロセッサ802は、1つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは(ストレージ806または他の場所とは対照的な)メモリ804中の命令のみを実行し、1つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは(ストレージ806または他の場所とは対照的な)メモリ804中のデータのみに対して動作する。(アドレスバスおよびデータバスを各々含み得る)1つまたは複数のメモリバスが、プロセッサ802をメモリ804に結合し得る。バス812は、以下で説明されるように、1つまたは複数のメモリバスを含み得る。特定の実施形態では、1つまたは複数のメモリ管理ユニット(MMU)が、プロセッサ802とメモリ804との間に常駐し、プロセッサ802によって要求されるメモリ804へのアクセスを可能にする。特定の実施形態では、メモリ804は、ランダムアクセスメモリ(RAM)を含む。このRAMは、適切な場合、揮発性メモリであり得る。適切な場合、このRAMは、ダイナミックRAM(DRAM)またはスタティックRAM(SRAM)であり得る。その上、適切な場合、このRAMは、シングルポートまたはマルチポートRAMであり得る。本開示は任意の好適なRAMを企図する。メモリ804は、適切な場合、1つまたは複数のメモリ804を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
特定の実施形態では、ストレージ806は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ806は、ハードディスクドライブ(HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス(USB)ドライブ、あるいはこれらのうちの2つまたはそれ以上の組合せを含み得る。ストレージ806は、適切な場合、リムーバブルまたは非リムーバブル(または固定)媒体を含み得る。ストレージ806は、適切な場合、コンピュータシステム800の内部または外部にあり得る。特定の実施形態では、ストレージ806は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ806は、読取り専用メモリ(ROM)を含む。適切な場合、このROMは、マスクプログラムROM、プログラマブルROM(PROM)、消去可能PROM(EPROM)、電気的消去可能PROM(EEPROM)、電気的書き換え可能ROM(EAROM)、またはフラッシュメモリ、あるいはこれらのうちの2つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ806を企図する。ストレージ806は、適切な場合、プロセッサ802とストレージ806との間の通信を可能にする1つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ806は、1つまたは複数のストレージ806を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
特定の実施形態では、I/Oインターフェース808は、コンピュータシステム800と1つまたは複数のI/Oデバイスとの間の通信のための1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム800は、適切な場合、これらのI/Oデバイスのうちの1つまたは複数を含み得る。これらのI/Oデバイスのうちの1つまたは複数は、人とコンピュータシステム800との間の通信を可能にし得る。限定としてではなく一例として、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なI/Oデバイス、またはこれらのうちの2つまたはそれ以上の組合せを含み得る。I/Oデバイスは1つまたは複数のセンサーを含み得る。本開示は、任意の好適なI/Oデバイスと、それらのI/Oデバイスのための任意の好適なI/Oインターフェース808とを企図する。適切な場合、I/Oインターフェース808は、プロセッサ802がこれらのI/Oデバイスのうちの1つまたは複数を駆動することを可能にする1つまたは複数のデバイスまたはソフトウェアドライバを含み得る。I/Oインターフェース808は、適切な場合、1つまたは複数のI/Oインターフェース808を含み得る。本開示は、特定のI/Oインターフェースを説明し、示すが、本開示は任意の好適なI/Oインターフェースを企図する。
特定の実施形態では、通信インターフェース810は、コンピュータシステム800と、1つまたは複数の他のコンピュータシステム800または1つまたは複数のネットワークとの間の(たとえば、パケットベース通信などの)通信のための1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース810は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ(NIC)またはネットワークアダプタ、あるいはWI−FIネットワークなどのワイヤレスネットワークと通信するためのワイヤレスNIC(WNIC)またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース810とを企図する。限定としてではなく一例として、コンピュータシステム800は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、またはインターネットの1つまたは複数の部分、あるいはこれらのうちの2つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの1つまたは複数の1つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム800は、(たとえば、BLUETOOTH WPANなどの)ワイヤレスPAN(WPAN)、WI−FIネットワーク、WI−MAXネットワーク、(たとえば、モバイル通信用グローバルシステム(GSM)ネットワークなどの)セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの2つまたはそれ以上の組合せと通信し得る。コンピュータシステム800は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース810を含み得る。通信インターフェース810は、適切な場合、1つまたは複数の通信インターフェース810を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。
特定の実施形態では、バス812は、コンピュータシステム800の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス812は、アクセラレーテッドグラフィックスポート(AGP)または他のグラフィックスバス、拡張業界標準アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、HYPERTRANSPORT(HT)相互接続、業界標準アーキテクチャ(ISA)バス、INFINIBAND相互接続、ローピンカウント(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、周辺構成要素相互接続(PCI)バス、PCI−Express(PCIe)バス、シリアルアドバンストテクノロジーアタッチメント(SATA)バス、ビデオエレクトロニクス規格協会ローカル(VLB)バス、または別の好適なバス、あるいはこれらのうちの2つまたはそれ以上の組合せを含み得る。バス812は、適切な場合、1つまたは複数のバス812を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。
本明細書では、1つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、(たとえば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向けIC(ASIC)などの)1つまたは複数の半導体ベースまたは他の集積回路(IC)、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAMドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの2つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。
本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「AまたはB」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「A、B、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「AおよびB」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、AおよびB」を意味する。
本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、構成されるか、実施することが可能であるか、実施するように設定されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、構成されるか、可能であるか、設定されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (34)

  1. オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を含む、方法。
  2. 前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することをさらに含む、請求項1に記載の方法。
  3. 前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音である、請求項2に記載の方法。
  4. 前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、請求項2に記載の方法。
  5. 前記オーディオ入力データを前記処理することが、前記第1の源によって生成された第1のオーディオ入力信号と、前記第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み、前記音響的にビームフォーミングすることは、前記第1の音源が増幅され、前記第2の音源が減衰されるように、前記第2のオーディオ入力信号を時間遅延させることを含む、請求項1に記載の方法。
  6. 前記第1の関与メトリックと前記第2の関与メトリックとが、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、前記オーディオビデオ通信セッションについての記述的モデルに基づいて計算される、請求項1に記載の方法。
  7. 複数のノードと、前記ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
    第1のノードが前記受信ユーザに対応し、
    第2のノードが、前記第1の音源に関連付けられたエンティティに対応し、
    前記第1のノードと前記第2のノードとの間のエッジが、前記受信ユーザと前記エンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
    前記第1のノードと前記第2のノードとの間の前記エッジに基づいて前記第1の関与メトリックを増加させることと
    をさらに含む、請求項1に記載の方法。
  8. 前記第1の関与が、前記第1の音源によって話されるワードのカウント、前記第1の音源と前記マイクロフォンアレイとの間の距離、または前記第1の音源が現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算され、
    前記第2の関与が、前記第2の音源によって話されるワードのカウント、前記第2の音源と前記マイクロフォンアレイとの間の距離、または前記第2の音源が前記現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算される、請求項1に記載の方法。
  9. ソフトウェアを具現する1つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されたとき、
    オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を行うように動作可能である、1つまたは複数のコンピュータ可読非一時的記憶媒体。
  10. 前記ソフトウェアは、実行されたとき、前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することを行うようにさらに動作可能である、請求項9に記載の媒体。
  11. 前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音である、請求項10に記載の媒体。
  12. 前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、請求項10に記載の媒体。
  13. 前記オーディオ入力データを前記処理することが、前記第1の源によって生成された第1のオーディオ入力信号と、前記第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み、前記音響的にビームフォーミングすることは、前記第1の音源が増幅され、前記第2の音源が減衰されるように、前記第2のオーディオ入力信号を時間遅延させることを含む、請求項9に記載の媒体。
  14. 前記第1の関与メトリックと前記第2の関与メトリックとが、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む
    、前記オーディオビデオ通信セッションについての記述的モデルに基づいて計算される、請求項9に記載の媒体。
  15. 前記ソフトウェアは、実行されたとき、
    複数のノードと、前記ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
    第1のノードが前記受信ユーザに対応し、
    第2のノードが、前記第1の音源に関連付けられたエンティティに対応し、
    前記第1のノードと前記第2のノードとの間のエッジが、前記受信ユーザと前記エンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
    前記第1のノードと前記第2のノードとの間の前記エッジに基づいて前記第1の関与メトリックを増加させることと
    を行うようにさらに動作可能である、請求項9に記載の媒体。
  16. 前記第1の関与が、前記第1の音源によって話されるワードのカウント、前記第1の音源と前記マイクロフォンアレイとの間の距離、または前記第1の音源が現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算され、
    前記第2の関与が、前記第2の音源によって話されるワードのカウント、前記第2の音源と前記マイクロフォンアレイとの間の距離、または前記第2の音源が前記現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算される、請求項9に記載の媒体。
  17. 1つまたは複数のプロセッサと、
    前記プロセッサのうちの1つまたは複数に結合され、命令を備える、1つまたは複数のコンピュータ可読非一時的記憶媒体と
    を備えるシステムであって、前記命令は、前記プロセッサのうちの1つまたは複数によって実行されたとき、前記システムに、
    オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を行わせるように動作可能である、システム。
  18. 前記プロセッサは、前記命令を実行したとき、前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することを行うようにさらに動作可能である、請求項17に記載のシステム。
  19. 前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音である、請求項18に記載のシステム。
  20. 前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、請求項18に記載のシステム。
  21. オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を含む、方法。
  22. 前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することをさらに含み、
    随意に、前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音であり、および/あるいは
    随意に、前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、請求項21に記載の方法。
  23. 前記オーディオ入力データを前記処理することが、前記第1の源によって生成された第1のオーディオ入力信号と、前記第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み、前記音響的にビームフォーミングすることは、前記第1の音源が増幅され、前記第2の音源が減衰されるように、前記第2のオーディオ入力信号を時間遅延させることを含む、請求項21または22に記載の方法。
  24. 前記第1の関与メトリックと前記第2の関与メトリックとが、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、前記オーディオビデオ通信セッションについての記述的モデルに基づいて計算される、請求項21から23のいずれか一項に記載の方法。
  25. 複数のノードと、前記ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
    第1のノードが前記受信ユーザに対応し、
    第2のノードが、前記第1の音源に関連付けられたエンティティに対応し、
    前記第1のノードと前記第2のノードとの間のエッジが、前記受信ユーザと前記エンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
    前記第1のノードと前記第2のノードとの間の前記エッジに基づいて前記第1の関与メトリックを増加させることと
    をさらに含む、請求項21から24のいずれか一項に記載の方法。
  26. 前記第1の関与が、前記第1の音源によって話されるワードのカウント、前記第1の音源と前記マイクロフォンアレイとの間の距離、または前記第1の音源が現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算され、
    前記第2の関与が、前記第2の音源によって話されるワードのカウント、前記第2の音源と前記マイクロフォンアレイとの間の距離、または前記第2の音源が前記現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算される、請求項21から25のいずれか一項に記載の方法。
  27. ソフトウェアを具現する1つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されたとき、
    オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を行うように動作可能である、1つまたは複数のコンピュータ可読非一時的記憶媒体。
  28. 前記ソフトウェアは、実行されたとき、前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することを行うようにさらに動作可能であり、
    随意に、前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音であり、および/あるいは
    随意に、前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、請求項27に記載の媒体。
  29. 前記オーディオ入力データを前記処理することが、前記第1の源によって生成された第1のオーディオ入力信号と、前記第2の源によって生成された第2のオーディオ入力信号とを音響的にビームフォーミングすることを含み、前記音響的にビームフォーミングすることは、前記第1の音源が増幅され、前記第2の音源が減衰されるように、前記第2のオーディオ入力信号を時間遅延させることを含む、請求項27または28に記載の媒体。
  30. 前記第1の関与メトリックと前記第2の関与メトリックとが、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を含む、前記オーディオビデオ通信セッションについての記述的モデルに基づいて計算される、請求項27から29のいずれか一項に記載の媒体。
  31. 前記ソフトウェアは、実行されたとき、
    複数のノードと、前記ノードを接続する複数のエッジとを備えるソーシャルグラフにアクセスすることであって、
    第1のノードが前記受信ユーザに対応し、
    第2のノードが、前記第1の音源に関連付けられたエンティティに対応し、
    前記第1のノードと前記第2のノードとの間のエッジが、前記受信ユーザと前記エンティティとの間の関係を表す、ソーシャルグラフにアクセスすることと、
    前記第1のノードと前記第2のノードとの間の前記エッジに基づいて前記第1の関与メトリックを増加させることと
    を行うようにさらに動作可能である、請求項27から30のいずれか一項に記載の媒体。
  32. 前記第1の関与が、前記第1の音源によって話されるワードのカウント、前記第1の音源と前記マイクロフォンアレイとの間の距離、または前記第1の音源が現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算され、
    前記第2の関与が、前記第2の音源によって話されるワードのカウント、前記第2の音源と前記マイクロフォンアレイとの間の距離、または前記第2の音源が前記現在のオーディオビジュアル通信セッション中に前記環境中に存在していた時間の量に少なくとも部分的に基づいて計算される、請求項27から31のいずれか一項に記載の媒体。
  33. 1つまたは複数のプロセッサと、
    前記プロセッサのうちの1つまたは複数に結合され、命令を備える、1つまたは複数のコンピュータ可読非一時的記憶媒体と
    を備えるシステムであって、前記命令は、前記プロセッサのうちの1つまたは複数によって実行されたとき、前記システムに、
    オーディオビジュアル通信セッション中に、少なくとも2つのマイクロフォンを備えるマイクロフォンアレイからオーディオ入力データを受信することであって、前記オーディオ入力データが、環境内の第1のロケーションにおける第1の音源と、前記環境内の第2のロケーションにおける第2の音源とによって生成される、オーディオ入力データを受信することと、
    前記第1の音源についての第1の関与メトリックと、前記第2の音源についての第2の関与メトリックとを計算することであって、
    前記第1の関与メトリックが、前記第1の音源についての受信ユーザの興味レベルに近似し、
    前記第2の関与メトリックが、前記第2の音源についての前記受信ユーザからの興味レベルに近似する、第1の関与メトリックと第2の関与メトリックとを計算することと、
    前記第1の関与メトリックが前記第2の関与メトリックよりも大きいと決定することと、
    オーディオ出力信号を生成するために前記オーディオ入力データを処理することであって、前記オーディオ出力信号が、前記第1の音源によって生成された音を増幅し、前記第2の音源によって生成された音を減衰させる、前記オーディオ入力データを処理することと、
    前記オーディオ出力信号を、前記受信ユーザに関連付けられたコンピューティングデバイスに送信することと
    を行わせるように動作可能である、システム。
  34. 前記プロセッサは、前記命令を実行したとき、前記第1の音源についての第1の分類と前記第2の音源についての第2の分類とを決定することであって、前記第1の関与メトリックが前記第1の分類に基づき、前記第2の関与メトリックが前記第2の分類に基づく、第1の分類と第2の分類とを決定することを行うようにさらに動作可能であり、
    随意に、前記第1の音源についての前記第1の分類が人間の音声であり、前記第2の音源についての前記第2の分類が人間以外の音であり、および/あるいは
    随意に、前記第1の分類と前記第2の分類とを前記決定することが、オーディオビデオ通信セッションについての記述的モデルから受信された情報に基づき、前記記述的モデルは、(1)現在のオーディオビデオ通信セッションに関連付けられた環境、(2)前記環境内の1人または複数の人々、または(3)前記現在のオーディオビデオ通信セッションに関連付けられた1つまたは複数のコンテキスト要素に関する、1つまたは複数の記述的特性を備える、請求項33に記載のシステム。
JP2020547375A 2018-04-09 2019-04-04 ユーザ関与に基づくオーディオ選択 Ceased JP2021518072A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/949,011 US10462422B1 (en) 2018-04-09 2018-04-09 Audio selection based on user engagement
US15/949,011 2018-04-09
PCT/US2019/025768 WO2019199565A1 (en) 2018-04-09 2019-04-04 Audio selection based on user engagement

Publications (1)

Publication Number Publication Date
JP2021518072A true JP2021518072A (ja) 2021-07-29

Family

ID=66440126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547375A Ceased JP2021518072A (ja) 2018-04-09 2019-04-04 ユーザ関与に基づくオーディオ選択

Country Status (6)

Country Link
US (2) US10462422B1 (ja)
EP (1) EP3776170A1 (ja)
JP (1) JP2021518072A (ja)
KR (1) KR20200140375A (ja)
CN (1) CN112262367A (ja)
WO (1) WO2019199565A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11458724B2 (en) 2016-09-13 2022-10-04 Advanced Vision Technology (A.V.T.) Ltd. System and method for controlling color characteristics of a printed image
US10958609B2 (en) * 2017-12-08 2021-03-23 Verizon Media Inc. Controlling a graphical user interface based upon a prediction of a messaging action of a messaging account
US10462422B1 (en) * 2018-04-09 2019-10-29 Facebook, Inc. Audio selection based on user engagement
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11010566B2 (en) * 2018-05-22 2021-05-18 International Business Machines Corporation Inferring confidence and need for natural language processing of input data
US11361168B2 (en) * 2018-10-16 2022-06-14 Rovi Guides, Inc. Systems and methods for replaying content dialogue in an alternate language
US11227588B2 (en) * 2018-12-07 2022-01-18 Nuance Communications, Inc. System and method for feature based beam steering
CN114270870A (zh) * 2019-08-14 2022-04-01 三星电子株式会社 沉浸式显示系统及其方法
US11861674B1 (en) 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
US11567788B1 (en) 2019-10-18 2023-01-31 Meta Platforms, Inc. Generating proactive reminders for assistant systems
EP4009322A3 (en) * 2020-09-17 2022-06-15 Orcam Technologies Ltd. Systems and methods for selectively attenuating a voice
US11563706B2 (en) 2020-12-29 2023-01-24 Meta Platforms, Inc. Generating context-aware rendering of media contents for assistant systems
US11809480B1 (en) 2020-12-31 2023-11-07 Meta Platforms, Inc. Generating dynamic knowledge graph of media contents for assistant systems
US11477570B2 (en) * 2021-02-04 2022-10-18 Dell Products L.P. Controlling audio of an information handling system
EP4220628A4 (en) 2021-02-19 2024-05-22 Samsung Electronics Co Ltd ELECTRONIC SERVICE SUPPORT DEVICE FOR ARTIFICIAL INTELLIGENCE (AI) AGENT TALKING WITH USER
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11983329B1 (en) 2022-12-05 2024-05-14 Meta Platforms, Inc. Detecting head gestures using inertial measurement unit signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275533A (ja) * 1996-04-08 1997-10-21 Sony Corp 信号処理装置
JP2010193017A (ja) * 2009-02-16 2010-09-02 Panasonic Corp 映像通信装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
US6563532B1 (en) * 1999-01-05 2003-05-13 Internal Research Corporation Low attention recording unit for use by vigorously active recorder
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7559026B2 (en) * 2003-06-20 2009-07-07 Apple Inc. Video conferencing system having focus control
US7446601B2 (en) * 2003-06-23 2008-11-04 Astronix Research, Llc Electron beam RF amplifier and emitter
WO2007056373A2 (en) * 2005-11-04 2007-05-18 Eyetracking, Inc. Characterizing dynamic regions of digital media data
WO2007128003A2 (en) * 2006-03-28 2007-11-08 Motionbox, Inc. System and method for enabling social browsing of networked time-based media
US9002839B1 (en) * 2007-09-28 2015-04-07 Amazon Technologies, Inc. Personalizing content for users
US20090164408A1 (en) * 2007-12-21 2009-06-25 Ilya Grigorik Method, System and Computer Program for Managing Delivery of Online Content
US9319357B2 (en) * 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US20100257234A1 (en) * 2009-04-03 2010-10-07 Caughey David Method and apparatus for providing content to mobile recipients
WO2012083989A1 (en) 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
US9258665B2 (en) * 2011-01-14 2016-02-09 Echostar Technologies L.L.C. Apparatus, systems and methods for controllable sound regions in a media room
US8660581B2 (en) * 2011-02-23 2014-02-25 Digimarc Corporation Mobile device indoor navigation
US9098576B1 (en) * 2011-10-17 2015-08-04 Google Inc. Ensemble interest point detection for audio matching
WO2013115748A1 (en) * 2012-01-30 2013-08-08 Echostar Ukraine, L.L.C. Apparatus, systems and methods for adjusting output audio volume based on user location
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
US20140028917A1 (en) * 2012-07-30 2014-01-30 General Instrument Corporation Displaying multimedia
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US10055491B2 (en) * 2012-12-04 2018-08-21 Sonos, Inc. Media content search based on metadata
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US9521486B1 (en) * 2013-02-04 2016-12-13 Amazon Technologies, Inc. Frequency based beamforming
US10447826B2 (en) * 2013-03-14 2019-10-15 Google Llc Detecting user interest in presented media items by observing volume change events
US10229206B2 (en) * 2013-08-02 2019-03-12 Microsoft Technology Licensing, Llc Social snippet augmenting
US9755605B1 (en) * 2013-09-19 2017-09-05 Amazon Technologies, Inc. Volume control
CN103731768B (zh) * 2013-12-25 2018-11-16 深圳Tcl新技术有限公司 一种声音拾取方法及装置
JP6135880B2 (ja) * 2014-04-25 2017-05-31 パナソニックIpマネジメント株式会社 音声処理方法、音声処理システム、及び記憶媒体
US20150356836A1 (en) * 2014-06-05 2015-12-10 Microsoft Corporation Conversation cues within audio conversations
US9615170B2 (en) * 2014-06-09 2017-04-04 Harman International Industries, Inc. Approach for partially preserving music in the presence of intelligible speech
US20150365725A1 (en) * 2014-06-11 2015-12-17 Rawllin International Inc. Extract partition segments of personalized video channel
US9838759B2 (en) * 2014-06-20 2017-12-05 Google Inc. Displaying information related to content playing on a device
US9805125B2 (en) * 2014-06-20 2017-10-31 Google Inc. Displaying a summary of media content items
US9693009B2 (en) * 2014-09-12 2017-06-27 International Business Machines Corporation Sound source selection for aural interest
US20160080874A1 (en) 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US20160379261A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Targeted content using a digital sign
US9691413B2 (en) * 2015-10-06 2017-06-27 Microsoft Technology Licensing, Llc Identifying sound from a source of interest based on multiple audio feeds
US10542315B2 (en) * 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US20170214954A1 (en) * 2016-01-25 2017-07-27 Google Inc. Media Program Moments Guide
US9905244B2 (en) 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US9858927B2 (en) * 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US9898250B1 (en) * 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
US10579493B2 (en) * 2016-08-22 2020-03-03 Oath Inc. Systems and methods for determining user engagement with electronic devices
US9843768B1 (en) * 2016-09-23 2017-12-12 Intel Corporation Audience engagement feedback systems and techniques
US10996741B2 (en) * 2017-09-12 2021-05-04 International Business Machines Corporation Augmented reality conversation feedback
US11562243B2 (en) * 2017-11-17 2023-01-24 Meta Platforms, Inc. Machine-learning models based on non-local neural networks
US10462422B1 (en) * 2018-04-09 2019-10-29 Facebook, Inc. Audio selection based on user engagement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275533A (ja) * 1996-04-08 1997-10-21 Sony Corp 信号処理装置
JP2010193017A (ja) * 2009-02-16 2010-09-02 Panasonic Corp 映像通信装置

Also Published As

Publication number Publication date
US20200050420A1 (en) 2020-02-13
CN112262367A (zh) 2021-01-22
KR20200140375A (ko) 2020-12-15
US10838689B2 (en) 2020-11-17
EP3776170A1 (en) 2021-02-17
WO2019199565A1 (en) 2019-10-17
US10462422B1 (en) 2019-10-29
US20190313054A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
US10838689B2 (en) Audio selection based on user engagement
KR102630902B1 (ko) 서술적 모델들에 기초한 자동화된 결정들
US11257170B2 (en) Using three-dimensional virtual object models to guide users in virtual environments
JP6069594B2 (ja) 対話履歴に基づくユーザ体験インターフェースまたはユーザ・インターフェース
US10419381B2 (en) Prompt ranking
US10432468B2 (en) Notification policies
US10645460B2 (en) Real-time script for live broadcast
US10924808B2 (en) Automatic speech recognition for live video comments
US10681169B2 (en) Social plugin reordering on applications
US10425579B2 (en) Social camera for auto group selfies
US10157307B2 (en) Accessibility system
US10348856B2 (en) Wi-Fi location determination
US10924565B2 (en) Tracking event attendance
US11647147B2 (en) User-specific customization of video conferences using multimodal biometric characterization
US11406896B1 (en) Augmented reality storytelling: audience-side
US20220345537A1 (en) Systems and Methods for Providing User Experiences on AR/VR Systems
AU2014391255A1 (en) Eliciting user sharing of content
US20180287980A1 (en) Systems and Methods for Blocking Content Redistribution
CN112513911A (zh) 位置预测
CN112486929A (zh) 与教育群组管理相关的系统、方法和计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20231219