JP2019537307A - キャプションテキストにおける間違いを訂正するためのシステムおよび方法 - Google Patents

キャプションテキストにおける間違いを訂正するためのシステムおよび方法 Download PDF

Info

Publication number
JP2019537307A
JP2019537307A JP2019517092A JP2019517092A JP2019537307A JP 2019537307 A JP2019537307 A JP 2019537307A JP 2019517092 A JP2019517092 A JP 2019517092A JP 2019517092 A JP2019517092 A JP 2019517092A JP 2019537307 A JP2019537307 A JP 2019537307A
Authority
JP
Japan
Prior art keywords
term
text segment
text
knowledge graph
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019517092A
Other languages
English (en)
Other versions
JP6936318B2 (ja
Inventor
アジャイ クマール グプタ,
アジャイ クマール グプタ,
アビジット サッチダナンド サバーカー,
アビジット サッチダナンド サバーカー,
Original Assignee
ロヴィ ガイズ, インコーポレイテッド
ロヴィ ガイズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロヴィ ガイズ, インコーポレイテッド, ロヴィ ガイズ, インコーポレイテッド filed Critical ロヴィ ガイズ, インコーポレイテッド
Publication of JP2019537307A publication Critical patent/JP2019537307A/ja
Application granted granted Critical
Publication of JP6936318B2 publication Critical patent/JP6936318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/232Orthographic correction, e.g. spell checking or vowelisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Studio Devices (AREA)

Abstract

システムおよび方法が、メディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正することによって、従来のシステムにおける短所に対処するために説明される。いくつかの側面では、本システムおよび方法は、画面上のキャプションテキストのテキストセグメントの中の誤った用語を識別し、テキストセグメントに対応するメディアアセットの1つ以上のビデオフレームを識別する。本システムおよび方法はさらに、1つ以上のビデオフレームから、誤った用語に関連する文脈用語を識別する。ナレッジグラフにアクセスすることによって、本システムおよび方法は、文脈用語およびテキストセグメントの一部に基づいて、候補訂正を識別する。最後に、本システムおよび方法は、誤った用語を候補訂正と置換する。

Description

従来のメディアシステムは、ニュース番組からの発話情報を、字幕またはクローズドキャプションの形態の画面上のキャプションテキストに変換することができる。伝統的に、本プロセスは、人間の速記者によって取り扱われる。より近年では、メディアシステムは、発話情報を解析し、発話自体と実質的に同時に画面上のキャプションテキストとしてそれを表示するために、発話認識技法を使用し始めている。しかしながら、これらのメディアシステムは、それらの辞書サイズによって、または人間の速記者によって限定され、多くの場合、ある専門用語、新たに作成された決まり文句、外国語の名前、または他の言葉および語句を認識することができない。自動発話認識(ASR)を使用するメディアシステムはまた、異形同音異義語(発音が似ている言葉)を処理するときに不利である。間違いに満ちたニュースおよびスポーツ番組のための画面上のキャプションテキストを見ることは珍しくない。いくつかの従来のシステムでは、これらの間違いは、経験豊富な人間の速記者によって手動で訂正されなければならない。しかしながら、人間の速記者でさえも、タイピングの瞬間に全てのための正しい言葉またはスペルを把握しない場合があり、誤植を生じることの影響を受けやすくあり得る。
システムおよび方法が、メディアアセットのための画面上のキャプションテキストの中の間違いを自動的に訂正することによって、従来のシステムにおける短所に対処するために説明される。いくつかの実施形態では、メディアガイドアプリケーションは、メディアアセット自体から導出される情報に基づくナレッジグラフにアクセスし、ナレッジグラフ内から間違いのための候補置換または訂正を探すことによって、間違いを訂正する。いくつかの実施形態では、ナレッジグラフにアクセスするために使用されるメディアアセットから導出される情報は、間違いを取り囲むメディアアセットの1つ以上のビデオフレームの中に出現し、光学式文字認識(OCR)アルゴリズムを使用することによって等、ビデオフレームにテキストまたは画像認識を実施することによって識別され得る、テキストまたは画像であってもよい。ナレッジグラフにアクセスするために使用される情報はまた、画面上のキャプションテキストの中の部分的に認識された文中のキーワード等の画面上のキャプションテキスト自体の正しく認識された部分から導出されてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフにアクセスすることによって、間違いのための1つ以上の潜在的訂正を決定し、最高加重を有する候補訂正を選択するために、間違いへのそれらの音声類似性に基づいて、これらの潜在的訂正を比較検討してもよい。いくつかの実施形態では、メディアガイドアプリケーションはまた、潜在的訂正が最新である程度を示す、それらの個別のタイムスタンプに基づいて、それらを比較検討してもよい。メディアガイドアプリケーションは、次いで、間違いを候補訂正と置換し、間違いのない画面上のキャプションテキストを視聴者に提示してもよい。
例えば、メディアガイドアプリケーションは、以下の文、すなわち、「The meeting between President Obama and President Xi Jinping underscored…」の中で、放送されるニュース上に出現する画面上のキャプションテキストに関して、中国国家主席の名前Xi Jinpingを書き写す際に間違え得る。メディアガイドアプリケーションのASRシステムは、名前「Xi Jinping」を認識することができず、代わりに、上記の文を「The meeting between President Obama and President She−−Jumping underscored…」として書き写し得る。第1のステップとして、メディアガイドアプリケーションは、1つ以上の自然言語処理(NLP)規則を書き写された文に適用し、1つ以上の文法規則を順守することができないため、「She−−Jumping」が誤った用語であることを決定してもよい。誤った用語を訂正するために、メディアガイドアプリケーションは、画面上のキャプションテキストの正しく認識された部分から「President」等のキーワードを抽出し、用語に基づくナレッジグラフにアクセスしてもよい。メディアガイドアプリケーションはまた、誤った用語を取り囲むビデオフレームにOCRを実施し、ビデオフレームから「China」および「State Visit」等の文脈用語を認識してもよい。メディアガイドアプリケーションは、画面上のキャプションテキストからの抽出されたキーワードに加えて、これらの文脈用語に基づくナレッジグラフにアクセスしてもよい。ナレッジグラフの中のこれらの用語と関連付けられる節点およびプロパティを分析することによって、メディアガイドアプリケーションは、「Xi Jinping」および「Hu Jintao」等の「President」、「China」、および「State Visit」に関連するいくつかの潜在的訂正を識別してもよい。メディアガイドアプリケーションは、次いで、部分的に、2つの言葉が音声的に類似するため、元の書き写された文の中の「She−−Jumping」を「Xi Jinping」と置換してもよい。本開示のこれらおよび他の側面は、特に図1−4に関連して、下記でさらに詳細に議論される。
いくつかの側面では、説明される本システムおよび方法は、メディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正することを提供する。メディアガイドアプリケーションは、メディアアセットのオーディオストリームを分析し、画面上のキャプションテキストの第1のテキストセグメントを決定してもよい。例えば、メディアガイドアプリケーションは、スポーツニュース解説のオーディオストリームを分析し、それを画面上のキャプションテキストに自動的に書き写してもよい。メディアガイドアプリケーションは、画面上のキャプションテキストの第1のテキストセグメントを「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」であると決定してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別してもよい。例えば、メディアガイドアプリケーションは、「div plate date」が第1のテキストセグメントの中の誤った用語であることを識別してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して第1のテキストセグメントを比較することによって、誤った用語を識別してもよい。例えば、メディアガイドアプリケーションは、(例えば、「NCAA div one」のように)言葉「div」の後に数字が続くことを要求する文法規則に対して上記の文を比較し、文法規則と対立するため、「div plate date」が誤った用語であることを決定してもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、第1のテキストセグメントに対応するメディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出してもよい。例えば、メディアガイドアプリケーションは、上記の文がオーディオストリームの中で出現した時間に対応するビデオフレームをメディアアセットから抽出してもよい。ビデオストリームは、インタビューにオーバーレイするバナーの中に以下の文、すなわち、「News of the Hour: Patriots quarterback serves NFL suspension」を表示する、いくつかのビデオフレームを含む、Tom Bradyのニュースインタビューであってもよい。メディアガイドアプリケーションは、文「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」がニュースでアナウンスされるのと実質的に同一の時間に対応するため、これらのビデオフレームを抽出してもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、誤った用語と関連付けられる文脈用語を決定してもよい。例えば、メディアガイドアプリケーションは、バナーオーバーレイを伴うビデオフレームを分析し、バナーからの文脈用語「Patriots」および「NFL suspension」が誤った用語「div plate date」と関連付けられることを決定してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフにアクセスし、文脈用語および第1のテキストセグメントの一部に基づいて、誤った用語のための候補訂正を識別してもよい。例えば、メディアガイドアプリケーションは、文脈用語「NFL suspension」および書き写された文「It will be interesting to see how Tom Brady performs despite being in the news for」の一部(「Tom Brady」)に基づくナレッジグラフにアクセスしてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、第1のテキストセグメントの一部からキーワードを抽出してもよい。例えば、誤った用語「div plate date」を含有しない第1のテキストセグメントの一部から、メディアガイドアプリケーションは、キーワード「Tom Brady」を抽出してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、文脈用語およびキーワードに対応する節点に関して、ナレッジグラフの中で検索してもよい。上記からの実施例を続けると、メディアガイドアプリケーションは、ナレッジグラフの中の文脈用語「NFL suspension」およびキーワード「Tom Brady」に対応する節点を検索してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、文脈用語およびキーワードと関連付けられるプロパティに関して、節点を分析してもよい。例えば、メディアガイドアプリケーションは、「Tom Brady」節点を分析し、生年月日(「Aug. 3, 1977」)、身長(「6ft. 4in.」)、40ヤードダッシュ時間(「5.28s」)、およびチーム(「New England Patriots」)等のプロパティを見出し、名前(「Odell Beckham Jr.」、「Tom Brady」、「Josh Brown」…)、長さ(「1」、「4」、「1」…)および理由(「Collision」、「Deflategate」、「Personal Conduct」…)を含有する、「NFL suspension」節点を分析してもよい。いくつかの実施形態では、プロパティはそれぞれ、ナレッジグラフの中の1つ以上の明確に異なる節点に対応し得る。例えば、「Personal Conduct」および「Deflategate」はそれぞれ、節点および別の節点のプロパティであり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、文脈用語およびキーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定してもよく、少なくとも1つの他の節点は、候補訂正に対応する。例えば、メディアガイドアプリケーションは、「Tom Brady」および「NFL suspension」の前述のプロパティに基づいて、「Deflategate」節点が誤った用語のための候補訂正であると決定してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を候補訂正と置換してもよい。例えば、メディアガイドアプリケーションは、第1のテキストセグメントがここで、「It will be interesting to see how Tom Brady performs despite being in the news for Deflategate」と読めるように、誤った用語「div plate date」を候補訂正「Deflategate」と置換してもよい。
いくつかの実施形態では、画面上のキャプションテキストの第1のテキストセグメントは、タイムスタンプ付きであり、第1のビデオフレームは、タイムスタンプ付きの第1のテキストセグメントの位置に対応する、メディアアセットの位置において抽出される。例えば、メディアガイドアプリケーションは、画面上のキャプションテキストにタイムスタンプを付け、第1のテキストセグメントに、文が話された絶対時間と同等であるタイムスタンプを与えてもよい。文「It will be interesting…」がアナウンスされるのと同時またはほぼ同時に、メディアガイドアプリケーションは、メディアアセットから、上記の実施例で使用されるようなバナーオーバーレイ「News of the Hour: Patriots quarterback serves NFL suspension」を伴うビデオフレーム等の表示されている1つ以上のビデオフレームを抽出してもよい。いくつかのさらなる実施形態では、メディアガイドアプリケーションは、タイムスタンプ付きの第1のテキストセグメントの中の誤った用語の位置と実質的に同時に、1つ以上のビデオフレームを抽出さえしてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキストの第2のテキストセグメントの中の誤った用語を識別してもよい。例えば、メディアガイドアプリケーションは、第1のテキストセグメントの直後にアナウンスされる、画面上のキャプションテキスト「Federal investigation into div plate date is ongoing」の第2のテキストセグメントの中の誤った用語に遭遇し得る。これは、前の訂正を改善または更新する機会を提供し得る。いくつかの実施形態では、メディアガイドアプリケーションは、誤った用語と関連付けられる第2の文脈用語を決定するために、第2のテキストセグメントに対応する第2のビデオフレームを分析してもよい。例えば、メディアガイドアプリケーションは、New England Patriots対Indianapolis Coltsの試合を伴うビデオフレーム等の第2のテキストセグメントに対応する第2のビデオフレームを分析してもよく、ビデオフレーム上に表示されるような「Colts」が誤った用語「div plate date」と関連付けられる第2の文脈用語であることを決定する。
いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフにアクセスし、第1の文脈用語、第2の文脈用語、第1のテキストセグメントの一部、および第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別してもよい。これは、例えば、第1の文脈用語および第1のテキストセグメントの一部が誤った用語のための置換の正確な決定につながらなかったため、元の候補訂正が不正確である場合に有用であり得る。例えば、メディアガイドアプリケーションが、候補訂正が「Deflategate」ではなく「Detroit Game」であると前もって決定し、それに応じて、誤った用語「div plate date」を置換したと仮定すると、メディアガイドアプリケーションは、続いて、ナレッジグラフにアクセスし、メディアアセットから導出されるさらなる情報、例えば、「NFL suspension」(すなわち、第1の文脈用語)、「Colts」(すなわち、第2の文脈用語)、「Tom Brady」(すなわち、第1のテキストセグメントの一部)、および「Federal investigation」(すなわち、第2のテキストセグメントの一部)に基づいて、更新された候補訂正「Deflategate」を識別してもよい。概して、メディアガイドアプリケーションは、ナレッジグラフに適用するためのさらなる情報または手掛かりがあるときに、誤った用語のための候補訂正をより正確に決定することが可能であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキストの第2のテキストセグメントの中の誤った用語を更新された候補訂正と置換してもよい。例えば、メディアガイドアプリケーションは、第2のテキストセグメント「Federal investigation into div plate date is ongoing」の中の誤った用語「div plate date」を、今回は「Deflategate」として正しく識別される、更新された候補訂正と置換し、訂正された第2のテキストセグメントを生成してもよい。いくつかの実施形態では、メディアガイドアプリケーションはさらに、第1のテキストセグメントの中の候補訂正を更新された候補訂正と置換してもよい。例えば、メディアガイドアプリケーションは、古い候補訂正「Detroit Game」が「Deflategate」を支持して拒否されたと仮定すると、「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」の中の誤った用語を置換し、普遍的訂正を行うことに再び取り掛かってもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフから、誤った用語のための複数の潜在的訂正を決定し、決定に基づいて、加重を複数の潜在的訂正のうちの各潜在的訂正に割り当てることによって、ナレッジグラフにアクセスし、誤った用語のための候補訂正を識別してもよい。例えば、上記の実施例において誤った用語のための候補訂正「Deflategate」を識別するために、メディアガイドアプリケーションは、最初に、「Quarterback」、「Detroit Game」、および「Deflategate」等の複数の潜在的訂正を決定し、加重を各潜在的訂正に割り当ててもよい。いくつかの実施形態では、メディアガイドアプリケーションは、複数の潜在的訂正のうちのより最近の潜在的訂正のためのより高い加重を割り当ててもよい。例えば、上記で列挙される3つの潜在的訂正のうち、「Deflategate」は、より最近のタイムスタンプと関連付けられてもよい、またはより最近に更新されてもよく、したがって、より高い加重を割り当てられてもよい。いくつかの他の実施形態では、メディアガイドアプリケーションは、複数の潜在的訂正のうちのより「トレンドになっている」潜在的訂正のためのより高い加重を割り当ててもよい。「トレンドになっている」潜在的訂正は、絶対数の観点から、または検索の頻度の観点からのいずれかで、最近の検索において急激に人気を獲得しているキーワードであってもよい。例えば、用語「Deflategate」は、言葉のユニーク検索の数が、過去2週間における最近のイベントまでゼロに近いままであり、その後、「Deflategate」に関するユニーク検索の数が指数関数的に上昇したため、「トレンドになっている」キーワードであってもよい。別の実施例として、用語「Deflategate」に関するユニーク検索の頻度は、最近のイベントまで比較的一定のままになっている場合があり、頻度は、過去2週間にわたって指数関数的に上昇し、用語「Deflategate」を「トレンドになっている」キーワードにした。いくつかのさらなる実施形態では、メディアガイドアプリケーションは、音声アルゴリズムに基づいて、潜在的候補訂正と誤った用語との間の音声類似性スコア(時として、音声距離の逆数として定義されることもある)を決定し、より高い音声類似性スコアを伴う潜在的候補訂正により高い加重を割り当ててもよい。メディアガイドアプリケーションは、発話セグメントを一連のアトミックセグメントに分割し、アトミックセグメント毎に挿入コストおよび削除コストを計算し、挿入コストおよび削除コストを合計して音声距離に到達することによって、音声距離を計算してもよい。例えば、メディアガイドアプリケーションは、標準音声アルゴリズムを3つの潜在的訂正に適用し、潜在的訂正毎に音声類似性スコアを決定し、「div plate date」へのそのより高い音声類似性に基づいて、「Deflategate」により高いスコアを割り当ててもよい。本実施例では、メディアガイドアプリケーションは、「Deflategate」を「div plate date」に変更するために、2つの削除(「f」および「g」)および3つの挿入(「v」、「p」、および「d」)を要求することを計算してもよい。したがって、メディアガイドアプリケーションは、「Deflategate」のための音声距離が5であると決定してもよい。当業者によって容易に理解されることができるように、他の潜在的訂正、すなわち、「Quarterback」および「Detroit Game」のための音声距離は、それぞれ、23および17である。その結果として、メディアガイドアプリケーションは、「Deflategate」が(音声距離の逆数として)最高音声類似性スコアを有することを計算してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、候補訂正として最高加重を割り当てられる、潜在的訂正を識別してもよい。例えば、メディアガイドアプリケーションは、上記に従って計算されるように、最高加重を割り当てられているため、3つの潜在的訂正のうちの「Deflategate」を候補訂正として識別してもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフの既存の節点を更新することによって、ナレッジグラフにアクセスして候補訂正を識別してもよい。例えば、メディアガイドアプリケーションは、ナレッジグラフから候補訂正を識別することに先立って、ナレッジグラフの中の既存の節点の一部または全てを更新し、それらが最新の情報を含有することを確実にしてもよい。いくつかの実施形態では、既存の節点への各更新は、特定の節点が最後に更新されたときを示すように、タイムスタンプと関連付けられてもよい。例えば、ナレッジグラフの節点A、B、C、D、およびEのうち、メディアガイドアプリケーションは、所与の時間においてナレッジグラフへのアクセス中に既存の節点A、B、およびDを更新してもよいが、節点Cがすでに最新の情報を含有しているため、節点Cを更新せず、時間的制約により、節点Eを更新することができない。ここで、ナレッジグラフの既存の節点A、B、およびDは、現在の時間でタイムスタンプを付けられるであろう一方で、節点CおよびEのタイムスタンプは、更新されず、依然として、それらの個別の直近の更新を反映するであろう。このようにして、メディアガイドアプリケーションは、ナレッジグラフを維持し、候補訂正を決定するために有用であるために、最新の情報を含有することを確実にしてもよい。
上記で説明されるシステム、方法、装置、および/または側面は、本開示に説明される他のシステム、方法、装置、および/または側面に適用される、またはそれに従って使用され得ることに留意されたい。
本開示の上記および他の目的および利点は、類似参照文字が全体を通して類似部品を指す、添付図面と併せて解釈される、以下の詳細な説明を考慮することによって明白となるであろう。
図1は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面の例証的実施例を示す。 図2は、本開示のいくつかの実施形態による、テキストセグメントと関連付けられるナレッジグラフの一部の例証的実施形態を示す。 図3は、本開示のいくつかの実施形態による、テキストセグメントと関連付けられるナレッジグラフの一部の別の例証的実施形態を示す。 図4は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面の別の例証的実施例を示す。 図5は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面のさらに別の例証的実施例を示す。 図6は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面のさらに別の例証的実施例を示す。 図7は、本開示のいくつかの実施形態による、例証的ユーザ機器デバイスのブロック図である。 図8は、本開示のいくつかの実施形態による、例証的メディアシステムのブロック図である。 図9は、本開示のいくつかの実施形態による、メディアガイドアプリケーションを使用して表示されるメディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正するための例証的プロセスのフローチャートである。 図10は、本開示のいくつかの実施形態による、ナレッジグラフを使用して、メディアアセットのための画面上のキャプションテキストの中の誤った用語を識別および置換するための例証的プロセスのフローチャートである。
システムおよび方法が、メディアアセットのオーディオ転写の画面上のキャプションテキストの中の間違いを自動的に訂正することによって、従来のメディアシステムにおける欠点に対処するために説明される。本システムおよび方法は、ユーザデバイス(例えば、ユーザ機器デバイス700(図7))、遠隔サーバ(例えば、メディアコンテンツソース816またはメディアガイドデータソース818(図8))、または別の好適なデバイス上で起動するメディアガイドアプリケーショを介して、実装されてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、メディアアセット自体から導出される情報に基づくナレッジグラフにアクセスすることによって、間違いを訂正し、ナレッジグラフ内から間違いのための候補置換または訂正を探す。メディアガイドアプリケーションは、メディアガイドアプリケーションのいくつかの部分が1つのデバイス上で実行され、その一方でメディアガイドアプリケーションの他の部分が別のデバイス上で実行されるように、複数のデバイス上で部分的に実装されてもよい。ナレッジグラフは、メディアコンテンツソース816またはメディアガイドデータソース818等のサーバ上にあってもよい、または維持され、メディアガイドアプリケーションからアクセス可能である任意の他のサーバまたはデータベース上にあってもよい。いくつかの実施形態では、メディアアセットから導出される情報は、間違いを取り囲むメディアアセットのビデオフレームの中に出現し、ビデオフレームにテキストまたは画像認識を実施することによって識別され得る、テキストまたは画像であってもよい。テキストまたは画像認識は、種々の光学式文字認識アルゴリズム、画像認識アルゴリズム、および他の機械学習技法等のいくつかの技法のうちのいずれかを使用して、メディアガイドアプリケーションによって実施されてもよい。加えて、情報はまた、画面上のキャプションテキスト自体の正しく認識された部分から導出されてもよい。ここで、メディアガイドアプリケーションは、すでに正しく認識されている画面上のキャプションテキストの部分に、1つ以上のテキスト解析およびキーワード抽出アルゴリズムを適用してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキストの一部が自然言語処理(NLP)プロセッサを通過し、NLPプロセッサによって規定される文法規則に従って文法の間違いを返さない場合、該一部を正しく認識されていると見なしてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、ナレッジグラフにアクセスすることによって、間違いのための1つ以上の潜在的訂正を決定してもよい。ナレッジグラフは、リンクされたデータ形式で配列される節点およびリンクを備えてもよく、それによって、節点は、概念エンティティを示し、リンクは、2つ以上の節点の間の関係を表す。ナレッジグラフは、メディアガイドアプリケーションによって、経時的に収集されるデータを事前投入されてもよく、ナレッジグラフの既存の節点に関連する情報を反映する、新しい節点およびリンクを含むように周期的に更新されてもよい。いくつかの実施形態では、ナレッジグラフは、第三者ナレッジデータベース等の第三者サービスによって維持されてもよく、それによって、メディアガイドアプリケーションは、第三者サービスによって提供されるアプリケーションプログラミングインターフェース(API)を介して、ナレッジグラフにアクセスすることが可能である。本実装では、第三者サービスは、ナレッジグラフを構築、維持、および更新する責任がある。いくつかの実施形態では、ナレッジグラフは、一般的であり得、任意の時間におけるあらゆることについての情報を含み得る。いくつかの他の実施形態では、メディアガイドアプリケーションは、特定の対象地域、特定の時間周期、および同等物の専用である文脈ナレッジグラフを維持してもよい。これらは、サブナレッジグラフまたは文脈ナレッジグラフと称され得る。本開示のいくつかの実施形態に従って使用され得る、2つの例示的ナレッジグラフが、下記の図2−3に関連して提示および議論される。
間違いのための1つ以上の潜在的訂正を決定するために、メディアガイドアプリケーションは、好適なナレッジグラフにアクセスし、メディアアセットから導出される情報を表す1つ以上の節点を検索してもよい。前述で議論されたように、メディアアセットから導出される情報は、ビデオフレームから決定される1つ以上の文脈用語と、画面上のキャプションテキストから抽出される1つ以上のキーワードとを含んでもよい。いくつかの実施形態では、メディアガイドアプリケーションは、そのような情報を表す1つ以上の節点のうちの少なくとも1つにリンクされる、ナレッジグラフの中の全ての他の節点を調査し、随意に、1つ以上の節点およびそれらの直接隣接する節点とともに内蔵されるサブナレッジグラフを構築してもよい。これらの節点はそれぞれ、間違いのための潜在的訂正を表してもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、最高加重を有する候補訂正を選択するために、間違いへのそれらの音声類似性に基づいて、上記で決定される1つ以上の潜在的訂正を比較検討してもよい。音声類似性以外に、メディアガイドアプリケーションは、それらの対応する節点が最新である程度を示す、それらのタイムスタンプによって等、任意の数の他の基準に基づいて潜在的訂正を比較検討してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、次いで、間違いを候補訂正と置換し、間違いのない画面上のキャプションテキストを視聴者に提示してもよい。
図1は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面100の例証的実施例を示す。表示画面100では、メディアガイドアプリケーションは、ニュース放送中に画面上のキャプションテキスト106の中で、現在の中国国家主席の名前「Xi Jinping」を書き写す際に間違え得る。理解可能な文を表示するのではなく、メディアガイドアプリケーションは、画面上のキャプションテキスト106「The meeting between President Obama and President She−−Jumping underscored…」を表示する。本例証的実施例は、伝統的な自動転写サービスを実装する既存の画面上のキャプションテキストシステム、または問題になっている特定の用語(この場合、現在の中国国家主席の名前)を認識していない人間の速記者を採用するシステムの失敗を実証する。しかしながら、本開示によると、システム800で実装されるメディアガイドアプリケーションは、1つ以上のNLP規則を画面上のキャプションテキスト106に適用し、1つ以上の文法規則を順守することができないため、「She−−Jumping」108が誤った用語であることを決定してもよい。
誤った用語を訂正するために、メディアガイドアプリケーションは、画面上のキャプションテキスト106の正しく認識された部分から「President」等のキーワードを抽出し、用語に基づくナレッジグラフにアクセスしてもよい。メディアガイドアプリケーションはまた、メディアアセットの中の画面上のキャプションテキスト106の位置と同等である、メディアアセットの中の位置に対応する、ビデオフレーム110のOCRを実施してもよい。例えば、メディアガイドアプリケーションは、画面上のキャプションテキスト106がニュース放送のオーディオストリームの中でアナウンスされるのと実質的に同時に、表示するためにビデオフレーム110をディスプレイ712上に生成してもよい。ビデオフレーム110のOCRに基づいて、メディアガイドアプリケーションは、情報パネル102から「China」および「State Visit」等の文脈用語を認識してもよい。代替として、またはビデオフレーム110のOCR等のテキスト認識を実施することに加えて、メディアガイドアプリケーションは、ビデオフレーム110に示される文字の画像認識を実施し、誤った用語と関連付けられる文脈用語をさらに識別してもよい。例えば、ビデオフレーム110の中の中国国家主席が接近カメラショットを受ける場合、メディアガイドアプリケーションは、彼の身元に画像認識を実施し、誤った用語「She−−Jumping」の本物の身元に偶然対応する、文脈用語「Xi Jinping」に到達してもよい。
メディアガイドアプリケーションは、画面上のキャプションテキスト106から抽出されるキーワードに加えて、これらの文脈用語に基づくナレッジグラフにアクセスしてもよい。ナレッジグラフの中のこれらの用語と関連付けられる節点およびプロパティを分析することによって、メディアガイドアプリケーションは、「Xi Jinping」および「Hu Jintao」等の「President」、「China」、および「State Visit」に関連するいくつかの潜在的訂正を識別してもよい(President Xi Jinping and former President Hu Jintao have each hosted President Obama’s state visits to China on separate occasions)。メディアガイドアプリケーションは、次いで、元のテキストセグメントの中の「She−−Jumping」を「Xi Jinping」と置換してもよい。
図2は、本開示のいくつかの実施形態による、テキストセグメントと関連付けられるナレッジグラフの一部の例証的実施形態を示す。いくつかの実施形態では、図2に示されるナレッジグラフの例証的部分は、任意の情報または概念を含み得る、一般的なナレッジグラフの一部であってもよい。ナレッジグラフに示される節点210、212、214…270は、1つ以上のプロパティをそれぞれ含有する概念に対応する。例えば、節点212「Barack Obama」は、生年月日、身長、職業、教育、および同等物を含む、いくつかのフィールドまたはプロパティを含んでもよい。節点対の間の接続は、節点が有し得る種々の関係を示す、リンクを表す。例えば、節点212は、「Barack Obama」が「President」であるため、節点210にリンクされてもよい。節点212はまた、「Barack Obama」が以前に「Chicago」に住んで教えていたため、節点220にリンクされてもよい。いくつかの実施形態では、節点は、それらの下層データ構造に基づいて、さらに区別またはグループ化されてもよい。例えば、図2のナレッジグラフの例証的部分では、円形の節点212、214、242、および252が、人間の個人を表すために使用される一方で、長方形の節点210、220、230、240、250、260、および270は、人間の個人に結び付けられないエンティティまたは概念を表すために使用される。異なる節点の本特定の表現(すなわち、円形対長方形の節点)は、例証的にすぎず、決して基本的概念を限定していないことを理解されたい。
図2に示されるように、ナレッジグラフの例証的部分またはサブナレッジグラフにアクセスするために、メディアガイドアプリケーションは、上記で解説されるように、開始節点としてメディアアセットから導出される情報を提供してもよい。例えば、メディアガイドアプリケーションは、「Barack Obama」および「Chinese President」等の用語を提供することによって、サブナレッジグラフにアクセスしてもよい。「Barack Obama」212および「Chinese President」250自体が節点である一方で、メディアガイドアプリケーションは、誤った用語のための潜在的訂正として、全ての他の関連節点(「Barack Obama」212または「Chinese President」250への少なくとも1つのリンクを共有する節点)を提起し、評価してもよい。図1に関連して前述で図示されたように、メディアガイドアプリケーションは、音声アルゴリズムに基づいて、より高い加重を誤った用語に音声的に類似する節点に割り当ててもよい。この場合、図2からの「She−−Jumping」に最も近い節点は、「Xi Jinping」252である。その結果として、メディアガイドアプリケーションは、候補訂正として「Xi Jinping」を選定し、誤った用語「She−−Jumping」を置換してもよい。
図3は、本開示のいくつかの実施形態による、テキストセグメントと関連付けられるナレッジグラフの一部の別の例証的実施形態を示す。図3のナレッジグラフまたはサブナレッジグラフの一部は、いくつかの実施形態では、図2のサブナレッジグラフの文脈特有のバージョンであってもよい。特に、図3のサブナレッジグラフの中の節点は全て、第1のテキストセグメントからの文脈用語およびキーワードによって設定されるように、文脈「China」および「President」に関連してもよい。効果的に、メディアガイドアプリケーションは、図3のサブナレッジグラフを生成するために、文脈用語またはキーワードに基づく大型の一般的なナレッジグラフをフィルタ処理してもよい。
図3のサブナレッジグラフの節点310、312、350、および352は、それぞれ、図2のサブナレッジグラフの節点210、212、250、および252に実質的に対応してもよい。付加的節点「George W. Bush」316および「George H. W. Bush」318は、「President」または「China」、または両方の概念に関連するため、図3のサブナレッジグラフの中に出現する。例えば、節点「George H. W. Bush」318は、George H. W. Bush大統領が以前に中国への米国特使としての役割を果たしたため、節点「China」360とリンクを共有してもよい。
以前に議論されたように、節点およびプロパティの概念は、いくつかの実施形態では交換可能である。例えば、節点「Michelle Obama」314は、家族の一員(すなわち、節点「Barack Obama」312のプロパティ)として節点「Barack Obama」312の下に同時に登録されてもよく、同時に、それ自体が別個の節点であってもよい。同様に、節点「Xi Jinping」は、家族の一員として節点「Peng Liyuan」354の下に登録され、同時に、ナレッジグラフの中の他の既存の節点にリンクする独立した節点であってもよい。いくつかの実施形態では、メディアガイドアプリケーションは、潜在的訂正として、ナレッジグラフの中の文脈用語およびキーワードと関連付けられる全ての節点およびプロパティを返し、それらを個別に評価して、誤った用語のための候補訂正を決定してもよい。例えば、図3のサブナレッジグラフに基づいて、メディアガイドアプリケーションは、上記で使用される実施例において、誤った用語「She−−Jumping」のための潜在的訂正として、「Michelle Obama」314、「George W. Bush」316、「George H. W. Bush」318、「Xi Jinping」352、「Peng Liyuan」354、および「Hu Jintao」356を識別してもよい。これらの潜在的訂正から、メディアガイドアプリケーションは、種々の比較検討機構を適用し、「Xi Jinping」が候補訂正であると決定してもよい。
図3および4の例証的なもの等のナレッジグラフは、周期的に維持および更新されてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、問い合わせの時点で問い合わせの節点に直接リンクされる、節点およびプロパティを更新してもよい。例えば、メディアガイドアプリケーションは、節点「President」310に対応する用語「President」に基づくナレッジグラフにアクセスしてもよい。本問い合わせでは、メディアガイドアプリケーションは、「Barack Obama」312、「George W. Bush」316、および「George H. W. Bush」318等の「President」310にリンクされる節点を読み出し、それらの節点およびプロパティ情報を更新してもよい。いくつかの実施形態では、そのような更新は、読み出された節点310、312、316、および318、および節点310、312、316、および318にリンクされる第2級節点を更新する等、リンクされたデータの第2または後続の層を通して実施されてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、固定された間隔で信頼できるソースをプルおよび調査することによって、ナレッジグラフの全節点を周期的に更新してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、グループ別に節点およびプロパティを更新してもよい。いくつかのさらなる実施形態では、メディアガイドアプリケーションは、節点を信頼できるソースのAPIサービスに直接リンクすることによって等、リアルタイムで更新を実施してもよい。例えば、メディアガイドアプリケーションは、リアルタイム更新を受信するために、オンライン百科事典、ニュースサービス、またはホワイトハウス公式ニュースポータルのAPIに節点「Barack Obama」312をリンクすることによって、それのための自動更新を実装することができる。特定の節点のためのリアルタイム更新を受信することに応じて、メディアガイドアプリケーションは、節点のための新しいプロパティを入力する、既存のプロパティを更新する、プロパティを削除する、新しいリンクを既存または新しい接点に追加する、または特定の節点にリンクされる新しい節点を作成してもよい。
図4は、本開示のいくつかの実施形態による、メディアガイドアプリケーションによって生成される表示画面の別の例証的実施例を示す。表示画面400上で、メディアガイドアプリケーションは、候補訂正408を適用し、画面上のキャプションテキスト106の中の誤った用語108を置換している。表示画面400上の他の全ては、表示画面100と同一のままであってもよい。いくつかの実施形態では、メディアガイドアプリケーションは、視聴者が正しい画面上のキャプションのみを見るであろうように、画面上のキャプションテキスト106を表示することにさえ先立って、誤った用語108を候補訂正408と置換してもよい。いくつかの実施形態では、メディアガイドアプリケーションは、画面上のキャプションテキスト106を表示するのと実質的に同時であるが、画面上のキャプションテキスト106が視聴者に表示するために生成された後に、置換を実施してもよい。置換は、殆どの視聴者が気付き得ないように、シームレスかつ瞬間的であり得る。実際に、そのような実装では、メディアガイドアプリケーションは、置換に視聴者の注目を集めることを所望しない場合がある。いくつかの他の実装では、メディアガイドアプリケーションは、訂正された用語に視聴者の注目を集めるために、ハイライトの短いバーストを用いた置換を実施して候補訂正408を強調してもよく、これにより、視聴者は、訂正が行われたことを実感せず、誤った用語の意味について困惑させられない。いくつかのさらなる実施形態では、メディアガイドアプリケーションは、誤った用語108を置換するために以前に使用された候補訂正が正しくなかったため、画面上のキャプションテキストの中の次のいくつかの文に移行した後に、戻って誤った用語108を置換してもよい。そのような実施形態では、メディアガイドアプリケーションは、ハイライトの短いバーストまたは任意の他の強調の手段を使用し、更新された訂正が数文前の画面上のキャプション文に行われたことを視聴者に示してもよい。画面上キャプショニングシステムにおいて訂正された誤った用語を表示する、これらおよび他の手段は、本質的に例証的であり、本開示を本明細書で議論される具体的実施形態に限定しない。
任意の所与のコンテンツ配信システムでユーザに利用可能なコンテンツの量が、膨大であり得る。その結果、多くのユーザは、ユーザがコンテンツの選択を効率的にナビゲートし、所望し得るコンテンツを容易に識別することを可能にする、インターフェースを通したメディアガイドの形態を所望している。そのようなガイドを提供するアプリケーションは、本明細書では、双方向メディアガイドアプリケーションと称されるが、時として、メディアガイドアプリケーションまたはガイドアプリケーションと称されることもある。
本明細書で参照されるように、「双方向メディアガイドアプリケーション」、または「メディアガイドアプリケーション」、または時として、「ガイドアプリケーション」は、ユーザが、コンテンツを消費する、および/またはそれにナビゲートすることを可能にする、アプリケーションである。いくつかの実施形態では、メディアガイドアプリケーションは、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)として、またはサーバまたはユーザデバイス上の独立型アプリケーションとして、提供されてもよい。いくつかの実施形態では、種々のデバイスおよびプラットフォーム上にインストールされる制御回路は、下記でより詳細に説明されるように、メディアガイドアプリケーションを実行してもよい。いくつかの実施形態では、メディアガイドアプリケーションおよび/または本明細書で議論される実施形態のうちのいずれかを実施するための任意の命令は、機械可読媒体上にエンコードされてもよい。機械可読媒体は、データを記憶することが可能な任意の媒体を含む。機械可読媒体は、限定ではないが、電気または電磁信号の伝搬を含む、一過性であり得る、または限定ではないが、ハードディスク、フロッピー(登録商標)ディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリまたは記憶デバイスを含む、非一過性であり得る。
双方向メディアガイドアプリケーションは、ガイドを提供するコンテンツに応じて、種々の形態をとってもよい。1つの典型的なタイプのメディアガイドアプリケーションは、双方向テレビ番組ガイドである。双方向テレビ番組ガイド(時として、電子番組ガイドと称される)は、とりわけ、ユーザが、多くのタイプのコンテンツまたはメディアアセット間をナビゲートし、それを特定することを可能にする、周知のガイドアプリケーションである。双方向メディアガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを特定および選択することを可能にする、グラフィカルユーザインターフェース画面を生成してもよい。本明細書で参照されるように、用語「メディアアセット」および「コンテンツ」は、例えば、テレビ番組、および有料番組、オンデマンド番組(ビデオオンデマンド(VOD)システムにおけるような)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャスト等)、ビデオクリップ、オーディオ、コンテンツ情報、写真、回転画像、ドキュメント、再生一覧、ウェブサイト、記事、書籍、電子書籍、ブログ、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム、および/または任意の他のメディアまたはマルチメディア、および/またはそれらの組み合わせ等の電子的に消費可能なユーザアセットを意味すると理解されたい。ガイドアプリケーションはまた、ユーザが、コンテンツ間をナビゲートし、それを特定することを可能にする。本明細書で参照されるように、用語「マルチメディア」とは、上記で説明される少なくとも2つの異なるコンテンツ形態、例えば、テキスト、オーディオ、画像、ビデオ、または双方向コンテンツ形態を利用する、コンテンツを意味すると理解されたい。コンテンツは、ユーザ機器デバイスによって、録画、再生、表示、またはアクセスされてもよいが、また、ライブパーフォーマンスの一部であることもできる。
本明細書で議論される実施形態のいずれかを実施するためのメディアガイドアプリケーションおよび/または任意の命令は、機械可読媒体上にエンコードされてもよい。機械可読媒体は、データを記憶することが可能な任意の媒体を含む。機械可読媒体は、限定ではないが、電気または電磁信号の伝搬を含む、一過性であり得る、または限定ではないが、ハードディスク、フロッピー(登録商標)ディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリまたは記憶デバイスを含む、非一過性であり得る。
インターネット、モバイルコンピューティング、および高速無線ネットワークの出現に伴って、ユーザは、従来は使用しなかったユーザ機器デバイス上でメディアにアクセスするようになっている。本明細書で参照されるように、語句「ユーザ機器デバイス」、「ユーザ機器」、「ユーザデバイス」、「電子デバイス」、「電子機器」、「メディア機器デバイス」、または「メディアデバイス」は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU−RAY(登録商標)プレーヤ、BLU−RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、携帯電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、または無線デバイス、および/またはそれらの組み合わせ等の上記で説明されるコンテンツにアクセスするための任意のデバイスを意味すると理解されたい。いくつかの実施形態では、ユーザ機器デバイスは、正面画面および裏面画面、複数の正面画面、または複数の角度付き画面を有してもよい。いくつかの実施形態では、ユーザ機器デバイスは、正面カメラおよび/または裏面カメラを有してもよい。これらのユーザ機器デバイス上で、ユーザは、テレビを通して利用可能な同一のコンテンツ間をナビゲートし、それを特定することが可能であり得る。その結果として、メディアガイドは、これらのデバイス上でも利用可能であり得る。提供されるガイドは、テレビのみを通して利用可能なコンテンツ、他のタイプのユーザ機器デバイスのうちの1つ以上のもののみを通して利用可能なコンテンツ、またはテレビおよび他のタイプのユーザ機器デバイスのうちの1つ以上のものの両方を通して利用可能なコンテンツのためのものであってもよい。メディアガイドアプリケーションは、ユーザ機器デバイス上で、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)として、または独立型アプリケーションまたはクライアントとして提供されてもよい。メディアガイドアプリケーションを実装し得る、種々のデバイスおよびプラットフォームは、下記でより詳細に説明される。
メディアガイドアプリケーションの機能のうちの1つは、メディアガイドデータをユーザに提供することである。本明細書で参照されるように、語句「メディアガイドデータ」または「ガイドデータ」は、コンテンツに関連する任意のデータ、またはガイドアプリケーションを動作させる際に使用されるデータを意味すると理解されたい。例えば、ガイドデータは、番組情報、ガイドアプリケーション設定、ユーザ選好、ユーザプロファイル情報、メディア一覧、メディア関連情報(例えば、放送時間、放送チャネル、タイトル、内容、評価情報(例えば、ペアレンタルコントロール評価、批評家の評価等)、ジャンルまたはカテゴリ情報、俳優情報、放送会社またはプロバイダのロゴのロゴデータ等)、メディア形式(例えば、標準解像度、高解像度、3D等)、オンデマンド情報、ブログ、ウェブサイト、およびユーザが所望のコンテンツ選択間をナビゲートし、それを特定するために役立つ、任意の他のタイプのガイドデータを含んでもよい。
図5−6は、メディアガイドデータを提供するために使用され得る、例証的表示画面を示す。図5−6に示される表示画面は、任意の好適なユーザ機器デバイスまたはプラットフォーム上に実装されてもよい。図5−6の表示は、フル画面表示として図示されているが、それらはまた、表示されているコンテンツ上に完全または部分的にオーバーレイされてもよい。ユーザは、表示画面に提供された選択可能なオプション(例えば、メニューオプション、一覧オプション、アイコン、ハイパーリンク等)を選択することによって、またはリモートコントロールまたは他のユーザ入力インターフェースまたはデバイス上の専用ボタン(例えば、「ガイド」ボタン)を押下することによって、コンテンツ情報にアクセスする要望を示してもよい。ユーザのインジケーションに応答して、メディアガイドアプリケーションは、グリッド内の時間およびチャネル別、時間別、チャネル別、ソース別、コンテンツタイプ別、カテゴリ別(例えば、映画、スポーツ、ニュース、子供向け、または他の番組カテゴリ)、または他の所定、ユーザ定義、または他の編成基準等のいくつかの方法のうちの1つにおいて編成されたメディアガイドデータを表示画面に提供してもよい。
図5は、単一表示内の異なるタイプのコンテンツへのアクセスも可能にする、時間およびチャネル別に配列された番組一覧表示500の例証的グリッドを示す。表示500は、以下、すなわち、(1)各チャネル/コンテンツタイプ識別子(列内のセル)が利用可能な異なるチャネルまたはコンテンツのタイプを識別する、チャネル/コンテンツタイプ識別子の列504、および(2)各時間識別子(行内のセル)が番組の時間帯を識別する、時間識別子の行506を伴うグリッド502を含んでもよい。グリッド502はまた、番組一覧508等の番組一覧のセルも含み、各一覧は、一覧の関連チャネルおよび時間の上に提供される、番組のタイトルを提供する。ユーザ入力デバイスを用いて、ユーザは、ハイライト領域510を移動させることによって、番組一覧を選択することができる。ハイライト領域510によって選択される番組一覧に関する情報が、番組情報領域512内に提供されてもよい。領域512は、例えば、番組タイトル、番組内容、番組が提供される時間(該当する場合)、番組が放送されるチャネル(該当する場合)、番組の評価、および他の所望の情報を含んでもよい。
線形番組(例えば、所定の時間に複数のユーザ機器デバイスに伝送されるようにスケジュールされ、スケジュールに従って提供されるコンテンツ)にアクセスを提供することに加えて、メディアガイドアプリケーションはまた、非線形番組(例えば、任意の時間においてユーザ機器デバイスにアクセス可能であって、スケジュールに従って提供されないコンテンツ)へのアクセスも提供する。非線形番組は、オンデマンドコンテンツ(例えば、VOD)、インターネットコンテンツ(例えば、ストリーミングメディア、ダウンロード可能メディア等)、ローカルで記憶されたコンテンツ(例えば、上記で説明される任意のユーザ機器デバイスまたは他の記憶デバイス上に記憶されたコンテンツ)、または時間的制約のない他のコンテンツを含む、異なるコンテンツソースからのコンテンツを含んでもよい。オンデマンドコンテンツは、映画または特定のコンテンツプロバイダ(例えば、「The Sopranos」や「Curb Your Enthusiasm」を提供するHBO On Demand)によって提供される映画または任意の他のコンテンツを含んでもよい。HBO ON DEMANDは、Time Warner Company L.P.らによって所有されるサービスマークであり、THE SOPRANOSおよびCURB YOUR ENTHUSIASMは、Home Box Office, Inc.によって所有される商標である。インターネットコンテンツは、チャットセッションまたはウェブキャスト等のウェブイベント、またはインターネットウェブサイトまたは他のインターネットアクセス(例えば、FTP)を通して、ストリーミングコンテンツまたはダウンロード可能なコンテンツとしてオンデマンドで利用可能なコンテンツを含んでもよい。
グリッド502は、オンデマンド一覧514、録画コンテンツ一覧516、およびインターネットコンテンツ一覧518を含む、非線形番組のメディアガイドデータを提供してもよい。異なるタイプのコンテンツソースからのコンテンツのためのメディアガイドデータを組み合わせる表示は、時として、「混合メディア」表示と称されることもある。表示500とは異なる、表示され得るメディアガイドデータのタイプの種々の順列は、ユーザ選択またはガイドアプリケーション定義に基づいてもよい(例えば、録画および放送一覧のみの表示、オンデマンドおよび放送一覧のみの表示等)。例証されるように、一覧514、516、および518は、これらの一覧の選択が、それぞれ、オンデマンド一覧、録画一覧、またはインターネット一覧専用の表示へのアクセスを提供し得ることを示すように、グリッド502内に表示される時間帯全体に及ぶものとして示されている。いくつかの実施形態では、これらのコンテンツタイプの一覧は、グリッド502に直接含まれてもよい。ユーザがナビゲーションアイコン520のうちの1つを選択することに応答して、付加的メディアガイドデータが表示されてもよい(ユーザ入力デバイス上の矢印キーを押下することによって、ナビゲーションアイコン520を選択することと同様に表示に影響を及ぼし得る)。
表示500はまた、ビデオ領域522と、オプション領域526とを含んでもよい。ビデオ領域522は、ユーザが、ユーザに現在利用可能である、今後利用可能となる、または利用可能であった番組を視聴および/またはプレビューすることを可能にしてもよい。ビデオ領域522のコンテンツは、グリッド502内に表示される一覧のうちの1つに対応する、またはそれから独立し得る。ビデオ領域を含むグリッド表示は、時として、ピクチャインガイド(PIG)表示と称されることもある。PIG表示およびそれらの機能性は、2003年5月13日発行のSatterfield et al.の米国特許第6,564,378号、および2001年5月29日発行のYuen et al.の米国特許第6,239,794号(それらの全体として参照することによって本明細書に組み込まれる)でさらに詳細に説明されている。PIG表示は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれてもよい。
オプション領域526は、ユーザが、異なるタイプのコンテンツ、メディアガイドアプリケーション表示、および/またはメディアガイドアプリケーション特徴にアクセスすることを可能にしてもよい。オプション領域526は、表示500(および本明細書に説明される他の表示画面)の一部であってもよい、または画面上のオプションを選択すること、またはユーザ入力デバイス上の専用または割当可能ボタンを押下することによって、ユーザによって呼び出されてもよい。オプション領域526内の選択可能オプションは、グリッド502内の番組一覧に関連する特徴に関してもよい、またはメインメニュー表示から利用可能なオプションを含んでもよい。番組一覧に関連する特徴は、他の放送時間または番組の受信方法の検索、番組の録画、番組の連続録画の有効化、番組および/またはチャネルをお気に入りとして設定、番組の購入、または他の特徴を含んでもよい。メインメニュー表示から利用可能なオプションは、検索オプション、VODオプション、ペアレンタルコントロールオプション、インターネットオプション、クラウドベースのオプション、デバイス同期オプション、第2の画面デバイスオプション、種々のタイプのメディアガイドデータ表示にアクセスするオプション、プレミアムサービスにサブスクライブするオプション、ユーザのプロファイルを編集するオプション、ブラウザオーバーレイにアクセスするオプション、または他のオプションを含んでもよい。
メディアガイドアプリケーションは、ユーザの選好に基づいて個人化されてもよい。個人化されたメディアガイドアプリケーションは、ユーザが、メディアガイドアプリケーションを用いて個人化された「体験」を生成するように、表示および特徴をカスタマイズすることを可能にする。この個人化された体験は、ユーザがこれらのカスタマイズを入力することを可能にすることによって、および/または種々のユーザ選好を決定するようにメディアガイドアプリケーションがユーザアクティビティを監視することによって、生成されてもよい。ユーザは、ログインすることによって、または別様にガイドアプリケーションに対して自らを識別することによって、それらの個人化されたガイドアプリケーションにアクセスしてもよい。メディアガイドアプリケーションのカスタマイズは、ユーザプロファイルに従って作成されてもよい。カスタマイズは、提示方式(例えば、表示の色方式、テキストのフォントサイズ等)、表示されるコンテンツ一覧の側面(例えば、HDTV番組のみまたは3D番組のみ、お気に入りチャネル選択に基づいたユーザ指定の放送チャネル、チャネルの表示の並び替え、推奨コンテンツ等)、所望の録画特徴(例えば、特定のユーザに対する録画または連続録画、録画品質等)、ペアレンタルコントロール設定、インターネットコンテンツのカスタマイズされた提示(例えば、ソーシャルメディアコンテンツ、電子メール、電子的に配信された記事等の提示)、および他の所望のカスタマイズを変更させるステップを含んでもよい。
メディアガイドアプリケーションは、ユーザが、ユーザプロファイル情報を提供することを可能にしてもよい、またはユーザプロファイル情報を自動的にコンパイルしてもよい。メディアガイドアプリケーションは、例えば、ユーザがアクセスするコンテンツ、および/またはユーザがガイドアプリケーションと行い得る他の相互作用を監視してもよい。加えて、メディアガイドアプリケーションは、特定のユーザに関連する他のユーザプロファイルの全体または一部を取得し(例えば、www.allrovi.com等のユーザがアクセスするインターネット上の他のウェブサイトから、ユーザがアクセスする他のメディアガイドアプリケーションから、ユーザがアクセスする他の双方向アプリケーションから、ユーザの別のユーザ機器デバイスから等)、および/またはメディアガイドアプリケーションがアクセスし得る他のソースから、ユーザについての情報を取得してもよい。結果として、ユーザは、ユーザの異なるユーザ機器デバイスにわたって、統一されたガイドアプリケーション体験を提供することができる。本タイプのユーザ体験は、図8に関連して、下記でより詳細に説明される。付加的な個人化されたメディアガイドアプリケーション特徴は、2005年7月11日出願のEllis et al.の米国特許出願公開第2005/0251827号、2007年1月16日発行のBoyer et al.の米国特許第7,165,098号、および2002年2月21日出願のEllis et al.の米国特許出願公開第2002/0174430号(それらの全体として参照することによって本明細書に組み込まれる)でさらに詳細に説明されている。
メディアガイドを提供するための別の表示配列が、図6に示されている。ビデオモザイク表示600は、コンテンツのタイプ、ジャンル、および/または他の編成基準に基づいて編成されたコンテンツ情報のための選択可能オプション602を含む。表示600では、テレビ一覧オプション604が、選択され、したがって、一覧606、608、610、および612を放送番組一覧として提供する。表示600では、一覧は、カバーアート、コンテンツからの静止画像、ビデオクリップのプレビュー、コンテンツからのライブビデオ、または一覧中のメディアガイドデータによって記述されているコンテンツをユーザに示す他のタイプのコンテンツを含む、グラフィック画像を提供してもよい。グラフィック一覧はまた、それぞれ、一覧と関連付けられるコンテンツに関するさらなる情報を提供するように、テキストを伴ってもよい。例えば、一覧608は、メディア部分614およびテキスト部分616を含む、1つを上回る部分を含んでもよい。メディア部分614および/またはテキスト部分616は、コンテンツをフル画面で視聴するように、またはメディア部分614内に表示されるコンテンツに関連する情報を閲覧するように(例えば、ビデオが表示されるチャネルの一覧を閲覧するように)、選択可能であり得る。
表示600中の一覧は、異なるサイズである(すなわち、一覧606は、一覧608、610、および612より大きい)が、所望に応じて、全ての一覧が、同一のサイズであってもよい。一覧は、コンテンツプロバイダの所望に応じて、またはユーザ選好に基づいて、ユーザの関心の程度を示すように、またはあるコンテンツを強調するように、異なるサイズであるか、またはグラフィック的に強調されてもよい。コンテンツ一覧をグラフィック的に強調するための種々のシステムおよび方法は、例えば、2009年11月12日に出願されたYatesの米国特許出願公開第2010/0153885号(その全体として参照することによって本明細書に組み込まれる)で議論されている。
ユーザは、そのユーザ機器デバイスのうちの1つ以上のものから、コンテンツおよびメディアガイドアプリケーション(および上記および下記で説明されるその表示画面)にアクセスしてもよい。図7は、例証的ユーザ機器デバイス700の一般化された実施形態を示す。ユーザ機器デバイスのより具体的な実装は、図8に関連して下記で議論される。ユーザ機器デバイス700は、入出力(以下「I/O」)パス702を介して、コンテンツおよびデータを受信してもよい。I/Oパス702は、処理回路706および記憶装置708を含む制御回路704に、コンテンツ(例えば、放送番組、オンデマンド番組、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)およびデータを提供してもよい。制御回路704は、I/Oパス702を使用して、コマンド、要求、および他の好適なデータを送受信するために使用されてもよい。I/Oパス702は、制御回路704(具体的には、処理回路706)を1つ以上の通信パス(下記で説明される)に接続してもよい。I/O機能は、これらの通信パスのうちの1つ以上のものによって提供されてもよいが、図面が複雑になり過ぎることを回避するため、図7では単一パスとして示されている。
制御回路704は、処理回路706等の任意の好適な処理回路に基づいてもよい。本明細書で参照されるように、処理回路は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味すると理解され、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散されてもよい。いくつかの実施形態では、制御回路704は、メモリ(すなわち、記憶装置708)に記憶されたメディアガイドアプリケーションに対する命令を実行する。具体的には、制御回路704は、メディアガイドアプリケーションによって、上記および下記で議論される機能を果たすように命令されてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、メディアガイド表示を生成するための命令を提供してもよい。いくつかの実装では、制御回路704によって実施される任意のアクションは、メディアガイドアプリケーションから受信される命令に基づいてもよい。
クライアントサーバベースの実施形態では、制御回路704は、ガイドアプリケーションサーバまたは他のネットワークまたはサーバと通信するための好適な通信回路を含んでもよい。上記に述べられる機能性を実施するための命令は、ガイドアプリケーションサーバ上に記憶されてもよい。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信用の無線モデム、または任意の他の好適な通信回路を含んでもよい。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークまたはパスを伴ってもよい(図8に関連してさらに詳細に説明される)。加えて、通信回路は、ユーザ機器デバイスのピアツーピア通信、または相互から遠隔の場所にあるユーザ機器デバイスの通信を可能にする回路を含んでもよい(下記でさらに詳細に説明される)。
メモリは、制御回路704の一部である、記憶装置708として提供される、電子記憶デバイスであってもよい。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」とは、ランダムアクセスメモリ、読取専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU−RAY(登録商標)ディスク(BD)レコーダ、BLU−RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、または時として、パーソナルビデオレコーダ(PVR)と呼ばれる場合もある)、ソリッドステートデバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、または任意の他の好適な固定またはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味すると理解されたい。記憶装置708は、本明細書に説明される種々のタイプのコンテンツ、および上記で説明されるメディアガイドデータを記憶するために使用されてもよい。不揮発性メモリもまた、(例えば、ブートアップルーチンおよび他の命令を起動するために)使用されてもよい。図8に関連して説明される、クラウドベースの記憶装置が、記憶装置708を補完するために使用される、または記憶装置708の代わりに使用されてもよい。
制御回路704は、1つ以上のアナログチューナ、1つ以上のMPEG−2デコーダ、または他のデジタルデコード回路、高解像度チューナ、または任意の他の好適な同調またはビデオ回路、またはそのような回路の組み合わせ等のビデオ生成回路および同調回路を含んでもよい。(例えば、記憶するために、無線、アナログ、またはデジタル信号をMPEG信号に変換するための)エンコード回路もまた、提供されてもよい。制御回路704はまた、コンテンツをユーザ機器700の好ましい出力形式に上方変換および下方変換するためのスケーリング回路を含んでもよい。回路704はまた、デジタル信号とアナログ信号との間で変換するためのデジタル/アナログ変換回路およびアナログ/デジタル変換回路を含んでもよい。同調およびエンコード回路は、コンテンツを受信して表示する、再生する、または録画するために、ユーザ機器デバイスによって使用されてもよい。同調およびエンコード回路はまた、ガイドデータを受信するために使用されてもよい。例えば、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、およびアナログ/デジタル回路を含む、本明細書に説明される回路は、1つ以上の汎用または特殊プロセッサ上で起動するソフトウェアを使用して実装されてもよい。複数のチューナが、同時同調機能(例えば、視聴および録画機能、ピクチャインピクチャ(PIP)機能、多重チューナ録画機能等)に対処するように提供されてもよい。記憶装置708が、ユーザ機器700とは別のデバイスとして提供される場合、同調およびエンコード回路(複数のチューナを含む)は、記憶装置708と関連付けられてもよい。
ユーザは、ユーザ入力インターフェース710を使用して、命令を制御回路704に送信してもよい。ユーザ入力インターフェース710は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであってもよい。ディスプレイ712は、独立型デバイスとして提供される、またはユーザ機器デバイス700の他の要素と統合されてもよい。例えば、ディスプレイ712は、タッチスクリーンまたはタッチセンサ式ディスプレイであってもよい。そのような状況では、ユーザ入力インターフェース710は、ディスプレイ712と統合される、または組み合わせられてもよい。ディスプレイ712は、モニタ、テレビ、モバイルデバイス用液晶ディスプレイ(LCD)、非晶質シリコンディスプレイ、低温ポリシリコンディスプレイ、電子インクディスプレイ、電気泳動ディスプレイ、アクティブマトリクスディスプレイ、エレクトロウェッティングディスプレイ、電気流体ディスプレイ、ブラウン管ディスプレイ、発光ダイオードディスプレイ、エレクトロルミネセントディスプレイ、プラズマディスプレイパネル、高性能アドレッシングディスプレイ、薄膜トランジスタディスプレイ、有機発光ダイオードディスプレイ、表面伝導型電子放出素子ディスプレイ(SED)、レーザテレビ、カーボンナノチューブ、量子ドットディスプレイ、干渉変調器ディスプレイ、または視覚的画像を表示するための任意の他の好適な機器のうちの1つ以上のものであってもよい。いくつかの実施形態では、ディスプレイ712は、HDTV対応型であり得る。いくつかの実施形態では、ディスプレイ712は、3Dディスプレイであってもよく、双方向メディアガイドアプリケーションおよび任意の好適なコンテンツは、3Dで表示されてもよい。ビデオカードまたはグラフィックカードは、ディスプレイ712への出力を生成してもよい。ビデオカードは、3Dシーンおよび2Dグラフィックのレンダリング加速、MPEG−2/MPEG−4デコード、TV出力、または複数のモニタを接続する能力等の種々の機能を提供し得る。ビデオカードは、制御回路704に関連する上記で説明される任意の処理回路であってもよい。ビデオカードは、制御回路704と統合されてもよい。スピーカ714は、ユーザ機器デバイス700の他の要素と統合されたものとして提供されてもよい、または独立型ユニットであってもよい。ディスプレイ712上に表示されるビデオおよび他のコンテンツのオーディオコンポーネントは、スピーカ714を通して再生されてもよい。いくつかの実施形態では、オーディオは、スピーカ714を介して音声を処理および出力する、受信機(図示せず)に配布されてもよい。
ガイドアプリケーションは、任意の好適なアーキテクチャを使用して実装されてもよい。例えば、これは、ユーザ機器デバイス700上で完全に実装される、独立型アプリケーションであってもよい。そのようなアプローチでは、アプリケーションの命令は、ローカルで(例えば、記憶装置708内に)記憶され、アプリケーションによって使用するためのデータは、周期的にダウンロードされる(例えば、帯域外フィードから、インターネットリソースから、または別の好適なアプローチを使用して)。制御回路704は、記憶装置708からアプリケーションの命令を読み出し、本明細書で議論される表示のうちのいずれかを生成するための命令を処理してもよい。処理された命令に基づいて、制御回路704は、入力が入力インターフェース710から受信されるときに実施するアクションを決定してもよい。例えば、表示上のカーソルの上/下への移動は、入力インターフェース710が上/下ボタンが選択されたことを示すとき、処理された命令によって示されてもよい。
いくつかの実施形態では、メディアガイドアプリケーションは、クライアントサーバベースのアプリケーションである。ユーザ機器デバイス700上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザ機器デバイス700の遠隔にあるサーバに要求を発行することによって、オンデマンドで読み出される。クライアントサーバベースのガイドアプリケーションの一実施例では、制御回路704は、遠隔サーバによって提供されるウェブページを解釈する、ウェブブラウザを起動する。例えば、遠隔サーバは、記憶デバイス内にアプリケーションのための命令を記憶してもよい。遠隔サーバは、回路(例えば、制御回路704)を使用して、記憶された命令を処理し、上記および下記で議論される表示を生成してもよい。クライアントデバイスは、遠隔サーバによって生成される表示を受信してもよく、表示のコンテンツを機器デバイス700上でローカルで表示してもよい。このように、命令の処理が、サーバによって遠隔で実施される一方、結果として生じる表示は、機器デバイス700上にローカルで提供される。機器デバイス700は、入力インターフェース710を介して、ユーザからの入力を受信し、対応する表示を処理および生成するために、それらの入力を遠隔サーバに伝送してもよい。例えば、機器デバイス700は、上/下ボタンが入力インターフェース710を介して選択されたことを示す通信を遠隔サーバに伝送してもよい。遠隔サーバは、その入力に従って命令を処理し、入力に対応するアプリケーションの表示を生成してもよい(例えば、カーソルを上/下に移動させる表示)。生成された表示は、次いで、ユーザへの提示のために、機器デバイス700に伝送される。
いくつかの実施形態では、メディアガイドアプリケーションは、インタープリタまたは仮想マシン(制御回路704によって起動される)によって、ダウンロードされ、解釈または別様に起動される。いくつかの実施形態では、ガイドアプリケーションは、ETVバイナリ交換形式(ETV Binary Interchange Format/EBIF)でエンコードされ、好適なフィードの一部として制御回路704によって受信され、制御回路704上で起動するユーザエージェントによって解釈されてもよい。例えば、ガイドアプリケーションは、EBIFアプリケーションであってもよい。いくつかの実施形態では、ガイドアプリケーションは、制御回路704によって実行されるローカル仮想マシンまたは他の好適なミドルウェアによって受信および起動される、一連のJAVA(登録商標)ベースのファイルによって定義されてもよい。そのような実施形態のうちのいくつか(例えば、MPEG−2または他のデジタルメディアエンコードスキームを採用するもの)では、ガイドアプリケーションは、例えば、番組のMPEGオーディオおよびビデオパケットを用いたMPEG−2オブジェクトカルーセルにおいてエンコードおよび伝送されてもよい。
図7のユーザ機器デバイス700は、ユーザテレビ機器802、ユーザコンピュータ機器804、無線ユーザ通信デバイス806、または非携帯用ゲーム機等のコンテンツにアクセスするために好適な任意の他のタイプのユーザ機器として、図8のシステム800に実装されることができる。簡単にするために、これらのデバイスは、本明細書では総称して、ユーザ機器またはユーザ機器デバイスと称されてもよく、上記で説明されるユーザ機器デバイスに実質的に類似し得る。メディアガイドアプリケーションが実装され得る、ユーザ機器デバイスは、独立型デバイスとして機能してもよい、またはデバイスのネットワークの一部であってもよい。デバイスの種々のネットワーク構成が実装されてもよく、下記でさらに詳細に議論される。
図7に関連して上記で説明されるシステム特徴のうちの少なくともいくつかを利用する、ユーザ機器デバイスは、単に、ユーザテレビ機器802、ユーザコンピュータ機器804、または無線ユーザ通信デバイス806として分類されなくてもよい。例えば、ユーザテレビ機器802は、いくつかのユーザコンピュータ機器804のように、インターネットコンテンツへのアクセスを可能にするインターネット対応型であり得る一方で、ユーザコンピュータ機器804は、あるテレビ機器802のように、テレビ番組へのアクセスを可能にするチューナを含んでもよい。メディアガイドアプリケーションはまた、種々の異なるタイプのユーザ機器上で同一のレイアウトを有してもよい、またはユーザ機器の表示能力に合わせられてもよい。例えば、ユーザコンピュータ機器804上では、ガイドアプリケーションは、ウェブブラウザによってアクセスされるウェブサイトとして提供されてもよい。別の実施例では、ガイドアプリケーションは、無線ユーザ通信デバイス806用に縮小されてもよい。
システム800では、典型的には、各タイプのユーザ機器デバイスが1つを上回って存在するが、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが図8に示されている。加えて、各ユーザは、1つを上回るタイプのユーザ機器デバイスと、また、各タイプのユーザ機器デバイスのうちの1つを上回るものとを利用してもよい。
いくつかの実施形態では、ユーザ機器デバイス(例えば、ユーザテレビ機器802、ユーザコンピュータ機器804、無線ユーザ通信デバイス806)は、「第2の画面デバイス」と称されてもよい。例えば、第2の画面デバイスは、第1のユーザ機器デバイス上に提示されるコンテンツを補完してもよい。第2の画面デバイス上に提示されるコンテンツは、第1のデバイス上に提示されるコンテンツを補完する、任意の好適なコンテンツであってもよい。いくつかの実施形態では、第2の画面デバイスは、第1のデバイスの設定および表示選好を調節するためのインターフェースを提供する。いくつかの実施形態では、第2の画面デバイスは、他の第2の画面デバイスと相互作用する、またはソーシャルネットワークと相互作用するために構成される。第2の画面デバイスは、第1のデバイスと同一の部屋内に、第1のデバイスと異なる部屋であるが、同一の家または建物内に、または第1のデバイスと異なる建物内に位置することができる。
ユーザはまた、家庭内デバイスおよび遠隔デバイスにわたって一貫したメディアガイドアプリケーション設定を維持するように、種々の設定を設定してもよい。設定は、本明細書に説明されるもの、およびお気に入りのチャネルおよび番組、番組を推奨するためにガイドアプリケーションが利用する番組選好、表示選好、および他の望ましいガイド設定を含む。例えば、ユーザが、オフィスのパーソナルコンピュータ上で、例えば、ウェブサイトwww.allrovi.comの上で、チャネルをお気に入りとして設定した場合、同一のチャネルが、ユーザの家庭内デバイス(例えば、ユーザテレビ機器およびユーザコンピュータ機器)上で、および所望に応じて、ユーザのモバイルデバイス上でお気に入りとして表示されるであろう。したがって、同一タイプのユーザ機器デバイスであるかまたは異なるタイプのユーザ機器デバイスであるかにかかわらず、1つのユーザ機器デバイス上で行われる変更は、別のユーザ機器デバイス上のガイド体験を変更することができる。加えて、行われる変更は、ユーザによって入力される設定、およびガイドアプリケーションによって監視されるユーザアクティビティに基づいてもよい。
ユーザ機器デバイスは、通信ネットワーク814に結合されてもよい。すなわち、ユーザテレビ機器802、ユーザコンピュータ機器804、および無線ユーザ通信デバイス806は、それぞれ、通信パス808、810、および812を介して、通信ネットワーク814に結合される。通信ネットワーク814は、インターネット、携帯電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、または通信ネットワークの組み合わせを含む、1つ以上のネットワークであってもよい。パス808、810、および812は、別個または一緒に、衛星パス、光ファイバパス、ケーブルパス、インターネット通信をサポートするパス(例えば、IPTV)、フリースペース接続(例えば、放送または他の無線信号用)、または任意の他の好適な有線または無線通信パス、またはそのようなパスの組み合わせ等の1つ以上の通信パスを含んでもよい。パス812は、図8に示される例示的実施形態では、無線パスであることを示すように破線で描かれ、パス808および810は、有線パスであることを示すように実線として描かれている(しかし、これらのパスは、所望に応じて、無線パスであってもよい)。ユーザ機器デバイスとの通信は、これらの通信パスのうちの1つ以上のものによって提供されてもよいが、図8では、図面が複雑になり過ぎることを回避するように、単一パスとして示されている。
通信パスは、ユーザ機器デバイスの間には描かれていないが、これらのデバイスは、パス808、810、および812に関連して上記で説明されるもの、およびUSBケーブル、IEEE 1394ケーブル、無線パス(例えば、Bluetooth(登録商標)、赤外線、IEEE 802−11x等)等の他の短距離ポイントツーポイント通信パス、または有線または無線パスを介した他の短距離通信等の通信パス等を介して、相互に直接通信してもよい。BLUETOOTH(登録商標)は、Bluetooth(登録商標) SIG, INC.によって所有される認証マークである。ユーザ機器デバイスはまた、通信ネットワーク814を介した間接パスを通して、相互に直接通信してもよい。
システム800は、それぞれ、通信パス820および822を介して、通信ネットワーク814に結合される、コンテンツソース816およびメディアガイドデータソース818を含む。パス820および822は、パス808、810、および812に関連して上記で説明される通信パスのうちのいずれかを含んでもよい。コンテンツソース816およびメディアガイドデータソース818との通信は、1つ以上の通信パスを介して交信されてもよいが、図8では、図面が複雑になり過ぎることを回避するように、単一パスとして示される。加えて、コンテンツソース816およびメディアガイドデータソース818のそれぞれが1つを上回って存在し得るが、図8では、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが示されている。(異なるタイプのこれらのソースのそれぞれが以下で議論される)。所望に応じて、コンテンツソース816およびメディアガイドデータソース818は、1つのソースデバイスとして統合されてもよい。ソース816および818と、ユーザ機器デバイス802、804、および806との間の通信は、通信ネットワーク814を通したものとして示されるが、いくつかの実施形態では、ソース816および818は、パス808、810、および812に関連して上記で説明されるもの等の通信パス(図示せず)を介して、ユーザ機器デバイス802、804、および806と直接通信してもよい。
コンテンツソース816は、テレビ配信施設、ケーブルシステムヘッドエンド、衛星配信施設、番組ソース(例えば、NBC、ABC、HBO等のテレビ放送会社)、中間配信施設および/またはサーバ、インターネットプロバイダ、オンデマンドメディアサーバ、および他のコンテンツプロバイダを含む、1つ以上のタイプのコンテンツ配信機器を含んでもよい。NBCは、National Broadcasting Company, Inc.によって所有される商標であり、ABCは、American Broadcasting Company, INC.によって所有される商標であり、HBOは、Home Box Office, Inc.によって所有される商標である。コンテンツソース816は、コンテンツの発信元であってもよい(例えば、テレビ放送会社、ウェブキャストプロバイダ等)、またはコンテンツの発信元でなくてもよい(例えば、オンデマンドコンテンツプロバイダ、ダウンロード用放送番組のコンテンツのインターネットプロバイダ等)。コンテンツソース816は、ケーブルソース、衛星プロバイダ、オンデマンドプロバイダ、インターネットプロバイダ、オーバーザトップコンテンツプロバイダ、または他のコンテンツのプロバイダを含んでもよい。コンテンツソース816はまた、ユーザ機器デバイスのうちのいずれかから遠隔の場所にある、異なるタイプのコンテンツ(ユーザによって選択されるビデオコンテンツを含む)を記憶するために使用される、遠隔メディアサーバを含んでもよい。コンテンツの遠隔記憶のため、および遠隔に記憶されたコンテンツをユーザ機器に提供するためのシステムおよび方法は、2010年7月20日発行のEllis et al.の米国特許第7,761,892号(その全体として参照することによって本明細書に組み込まれる)に関連して、さらに詳細に議論されている。
メディアガイドデータソース818は、上記で説明されるメディアガイドデータ等のメディアガイドデータを提供してもよい。メディアガイドデータは、任意の好適なアプローチを使用して、ユーザ機器デバイスに提供されてもよい。いくつかの実施形態では、ガイドアプリケーションは、データフィード(例えば、継続フィードまたはトリクルフィード)を介して、番組ガイドデータを受信する、独立型双方向テレビ番組ガイドであってもよい。番組スケジュールデータおよび他のガイドデータは、テレビチャネルのサイドバンド上で、帯域内デジタル信号を使用して、帯域外デジタル信号を使用して、または任意の他の好適なデータ伝送技術によって、ユーザ機器に提供されてもよい。番組スケジュールデータおよび他のメディアガイドデータは、複数のアナログまたはデジタルテレビチャネル上でユーザ機器に提供されてもよい。
いくつかの実施形態では、メディアガイドデータソース818からのガイドデータは、クライアントサーバアプローチを使用して、ユーザの機器に提供されてもよい。例えば、ユーザ機器デバイスは、メディアガイドデータをサーバからプルしてもよい、またはサーバは、メディアガイドデータをユーザ機器デバイスにプッシュしてもよい。いくつかの実施形態では、ユーザの機器上に常駐するガイドアプリケーションクライアントは、必要に応じて、例えば、ガイドデータが古くなっているとき、またはユーザ機器デバイスがデータを受信する要求をユーザから受信するとき、ソース818とセッションを開始し、ガイドデータを取得してもよい。メディアガイドは、任意の好適な頻度で(例えば、継続的に、毎日、ユーザ規定期間で、システム規定期間で、ユーザ機器からの要求に応答して等)ユーザ機器に提供されてもよい。メディアガイドデータソース818は、ユーザ機器デバイス802、804、および806に、メディアガイドアプリケーション自体、またはメディアガイドアプリケーションのソフトウェア更新を提供してもよい。
いくつかの実施形態では、メディアガイドデータは、視聴者データを含んでもよい。例えば、視聴者データは、現在および/または履歴ユーザアクティビティ情報(例えば、ユーザが典型的に鑑賞するコンテンツ、ユーザがコンテンツを鑑賞する時刻、ユーザがソーシャルネットワークと相互作用するかどうか、ユーザがソーシャルネットワークと相互作用し、情報をポストする時間、ユーザが典型的に鑑賞するコンテンツのタイプ(例えば、有料TVまたは無料TV)、気分、脳の活動情報等)を含んでもよい。メディアガイドデータはまた、サブスクリプションデータを含んでもよい。例えば、サブスクリプションデータは、所与のユーザがサブスクライブするソースまたはサービスおよび/または所与のユーザが以前にサブスクライブしていたが、後にアクセスを打ち切ったソースもしくサービス(例えば、ユーザがプレミアムチャネルにサブスクライブしているかどうか、ユーザがプレミアムレベルのサービスを追加したかどうか、ユーザがインターネット速度を加速させたかどうか)を識別してもよい。いくつかの実施形態では、視聴者データおよび/またはサブスクリプションデータは、1年を上回る周期の間の所与のユーザのパターンを識別してもよい。メディアガイドデータは、所与のユーザがサービス/ソースへのアクセスを打ち切るであろう可能性を示すスコアを生成するために使用される、モデル(例えば、残存者モデル)を含んでもよい。例えば、メディアガイドアプリケーションは、所与のユーザが特定のサービスまたはソースへのアクセスを打ち切るであろうかどうかの可能性を示す、値またはスコアを生成するためのモデルを使用して、サブスクリプションデータとともに視聴者データを処理してもよい。特に、より高いスコアは、ユーザが特定のサービスまたはソースへのアクセスを打ち切るであろう、より高いレベルの信頼性を示し得る。スコアに基づいて、メディアガイドアプリケーションは、ユーザがアクセスを打ち切る可能性が高いであろうものとしてスコアによって示される特定のサービスまたはソースをユーザが維持するように勧誘する宣伝を生成してもよい。
メディアガイドアプリケーションは、例えば、ユーザ機器デバイス上に実装される独立型アプリケーションであってもよい。例えば、メディアガイドアプリケーションは、記憶装置708内に記憶され、ユーザ機器デバイス700の制御回路704によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、クライアント−サーバアプリケーションであってもよく、その場合、クライアントアプリケーションのみが、ユーザ機器デバイス上に常駐し、サーバアプリケーションは、遠隔サーバ上に常駐する。例えば、メディアガイドアプリケーションは、部分的に、ユーザ機器デバイス700の制御回路704上のクライアントアプリケーションとして、および遠隔サーバの制御回路上で起動するサーバアプリケーション(例えば、メディアガイドデータソース818)として部分的に遠隔サーバ上で、実装されてもよい。遠隔サーバの制御回路(メディアガイドデータソース818等)によって実行されると、メディアガイドアプリケーションは、制御回路に、ガイドアプリケーション表示を生成し、生成された表示をユーザ機器デバイスに伝送するように命令してもよい。サーバアプリケーションは、メディアガイドデータソース818の制御回路に、ユーザ機器上での記憶のためのデータを伝送するように命令してもよい。クライアントアプリケーションは、受信用ユーザ機器の制御回路に、ガイドアプリケーション表示を生成するように命令してもよい。
ユーザ機器デバイス802、804、および806に配信されるコンテンツおよび/またはメディアガイドデータは、オーバーザトップ(OTT)コンテンツであってもよい。OTTコンテンツ配信は、上記で説明される任意のユーザ機器デバイスを含む、インターネット対応型ユーザデバイスが、ケーブルまたは衛星接続を経由して受信されるコンテンツに加えて、上記で説明される任意のコンテンツを含む、インターネットを経由して転送されるコンテンツを受信することを可能にする。OTTコンテンツは、インターネットサービスプロバイダ(ISP)によって提供されるインターネット接続を介して配信されるが、第三者も、コンテンツを配布する。ISPは、視聴能力、著作権、またはコンテンツの再配布に責任がない場合があり、OTTコンテンツプロバイダによって提供されるIPパケットのみを転送してもよい。OTTコンテンツプロバイダの実施例は、IPパケットを介して、オーディオおよびビデオを提供する、YOUTUBE(登録商標)、NETFLIX、およびHULUを含む。Youtubeは、Google Inc.によって所有される商標であり、Netflixは、Netflix, Inc.によって所有される商標であり、Huluは、Hulu, LLC.によって所有される商標である。OTTコンテンツプロバイダは、加えて、または代替として、上記で説明されるメディアガイドデータを提供してもよい。コンテンツおよび/またはメディアガイドデータに加えて、OTTコンテンツのプロバイダは、メディアガイドアプリケーション(例えば、ウェブベースのアプリケーションまたはクラウドベースのアプリケーション)を配布することができる、またはコンテンツは、ユーザ機器デバイス上に記憶されたメディアガイドアプリケーションによって表示されることができる。
メディアガイドシステム800は、いくつかのアプローチまたはネットワーク構成を例証することを意図しており、これによって、ユーザ機器デバイスおよびコンテンツおよびガイドデータのソースは、コンテンツにアクセスし、メディアガイドを提供する目的のために、相互に通信してもよい。本明細書に説明される実施形態は、これらのアプローチのうちのいずれか1つまたは一部において、またはコンテンツを配信し、メディアガイドを提供するための他のアプローチを採用するシステムにおいて、適用されてもよい。以下の4つのアプローチは、図8の一般化された実施例の具体的例証を提供する。
1つのアプローチでは、ユーザ機器デバイスは、ホームネットワーク内で相互に通信してもよい。ユーザ機器デバイスは、上記で説明される短距離ポイントツーポイント通信方式を介して、ホームネットワーク上に提供されるハブまたは他の類似デバイスを通した間接パスを介して、または通信ネットワーク814を介して、相互に直接通信することができる。1つの家庭内の複数の個人のそれぞれが、ホームネットワーク上の異なるユーザ機器デバイスを動作させてもよい。結果として、種々のメディアガイド情報または設定が、異なるユーザ機器デバイスの間で通信されることが望ましくあり得る。例えば、2005年7月11日出願のEllis et al.の米国特許公開第2005/0251827号でさらに詳細に説明されるように、ホームネットワーク内の異なるユーザ機器デバイス上で、ユーザが一貫したメディアガイドアプリケーション設定を維持することが望ましくあり得る。ホームネットワーク内の異なるタイプのユーザ機器デバイスもまた、相互に通信し、コンテンツを伝送してもよい。例えば、ユーザは、ユーザコンピュータ機器から携帯用ビデオプレーヤまたは携帯用音楽プレーヤにコンテンツを伝送してもよい。
第2のアプローチでは、ユーザは、複数のタイプのユーザ機器を有してもよく、これによって、コンテンツにアクセスし、メディアガイドを取得する。例えば、一部のユーザは、家庭内およびモバイルデバイスによってアクセスされる、ホームネットワークを有してもよい。ユーザは、遠隔デバイス上に実装されるメディアガイドアプリケーションを介して、家庭内デバイスを制御してもよい。例えば、ユーザは、そのオフィスのパーソナルコンピュータ、またはPDAまたはウェブ対応携帯電話等のモバイルデバイスを介して、ウェブサイト上のオンラインメディアガイドアプリケーションにアクセスしてもよい。ユーザは、オンラインガイドアプリケーション上で種々の設定(例えば、録画、リマインダ、または他の設定)を設定して、ユーザの家庭内機器を制御してもよい。オンラインガイドは、直接、またはユーザの家庭内機器上のメディアガイドアプリケーションと通信することによって、ユーザの機器を制御してもよい。ユーザ機器デバイスが相互から遠隔の場所にある、ユーザ機器デバイスの通信のための種々のシステムおよび方法は、例えば、Ellis et al.の2011年10月25日発行の米国特許第8,046,801号(その全体を参照することによって本明細書に組み込まれる)で議論されている
第3のアプローチでは、家庭内外のユーザ機器デバイスのユーザは、コンテンツソース816と直接通信し、コンテンツにアクセスするために、そのメディアガイドアプリケーションを使用することができる。具体的には、家庭内では、ユーザテレビ機器802およびユーザコンピュータ機器804のユーザは、メディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。ユーザはまた、無線ユーザ通信デバイス806を使用して、家庭外のメディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定してもよい。
第4のアプローチでは、ユーザ機器デバイスは、クラウドコンピューティング環境内で動作し、クラウドサービスにアクセスしてもよい。クラウドコンピューティング環境では、コンテンツ共有、記憶、または配布のための種々のタイプのコンピューティングサービス(例えば、ビデオ共有サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称される、ネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、クラウドは、通信ネットワーク814を介したインターネット等のネットワークを介して接続される、種々のタイプのユーザおよびデバイスにクラウドベースのサービスを提供する、中央にまたは分散場所に位置し得る、サーバコンピューティングデバイスの集合を含むことができる。これらのクラウドリソースは、1つ以上のコンテンツソース816と、1つ以上のメディアガイドデータソース818とを含んでもよい。加えて、または代替として、遠隔コンピューティングサイトは、ユーザテレビ機器802、ユーザコンピュータ機器804、および無線ユーザ通信デバイス806等の他のユーザ機器デバイスを含んでもよい。例えば、他のユーザ機器デバイスは、ビデオの記憶されたコピーまたはストリーミングされたビデオへのアクセスを提供してもよい。そのような実施形態では、ユーザ機器デバイスは、中央サーバと通信することなく、ピアツーピア様式で動作してもよい。
クラウドは、ユーザ機器デバイスのために、他の実施例の中でもとりわけ、コンテンツ記憶、コンテンツ共有、またはソーシャルネットワーキングサービス等のサービスへのアクセス、および上記で説明される任意のコンテンツへのアクセスを提供する。サービスは、クラウドコンピューティングサービスプロバイダを通して、またはオンラインサービスの他のプロバイダを通して、クラウド内で提供されることができる。例えば、クラウドベースのサービスは、コンテンツ記憶サービス、コンテンツ共有サイト、ソーシャルネットワーキングサイト、または他のサービスを含むことができ、それを介して、ユーザ供給コンテンツは、接続されたデバイス上で他者によって視聴するために配布される。これらのクラウドベースのサービスは、ユーザ機器デバイスが、コンテンツをローカルで記憶し、ローカルで記憶されたコンテンツにアクセスするのではなく、コンテンツをクラウドに記憶し、コンテンツをクラウドから受信することを可能にしてもよい。
ユーザは、カムコーダ、ビデオモード付きデジタルカメラ、オーディオレコーダ、携帯電話、およびハンドヘルドコンピューティングデバイス等の種々のコンテンツ捕捉デバイスを使用して、コンテンツを録画してもよい。ユーザは、直接、例えば、ユーザコンピュータ機器804から、またはコンテンツ捕捉特徴を有する、無線ユーザ通信デバイス806からのいずれかにおいて、クラウド上のコンテンツ記憶サービスにコンテンツをアップロードすることができる。代替として、ユーザは、最初に、コンテンツをユーザコンピュータ機器804等のユーザ機器デバイスに転送することができる。コンテンツを記憶するユーザ機器デバイスは、通信ネットワーク814上のデータ伝送サービスを使用して、コンテンツをクラウドにアップロードする。いくつかの実施形態では、ユーザ機器デバイス自体が、クラウドリソースであり、他のユーザ機器デバイスは、直接、ユーザがコンテンツを記憶したユーザ機器デバイスから、コンテンツにアクセスすることができる。
クラウドリソースは、例えば、ウェブブラウザ、メディアガイドアプリケーション、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ユーザ機器デバイスによってアクセスされてもよい。ユーザ機器デバイスは、アプリケーション配信のためにクラウドコンピューティングに依拠する、クラウドクライアントであってもよい、またはユーザ機器デバイスは、クラウドリソースにアクセスすることなく、ある機能性を有してもよい。例えば、ユーザ機器デバイス上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由して、サービスとして配信されるアプリケーションであってもよい一方で、他のアプリケーションは、ユーザ機器デバイス上に記憶され、起動されてもよい。いくつかの実施形態では、ユーザデバイスは、コンテンツを複数のクラウドリソースから同時に受信してもよい。例えば、ユーザデバイスは、オーディオを1つのクラウドリソースからストリーミングする一方で、コンテンツを第2のクラウドリソースからダウンロードすることができる。または、ユーザデバイスは、より効率的なダウンロードのために、コンテンツを複数のクラウドリソースからダウンロードすることができる。いくつかの実施形態では、ユーザ機器デバイスは、図7に関連して説明される処理回路によって実施される処理動作等の処理動作のために、クラウドリソースを使用することができる。
本明細書で参照されるように、用語「〜に応答して」は、「〜の結果として開始される」ことを指す。例えば、第2のアクションに応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含んでもよい。本明細書で参照されるように、用語「〜に直接応答して」は、「〜によって引き起こされる」ことを指す。例えば、第2のアクションに直接応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含まなくてもよい。
図9は、本開示のいくつかの実施形態による、制御回路(例えば、制御回路704)がメディアガイドアプリケーションを使用して表示されるメディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正するための例証的プロセスのフローチャート900である。いくつかの実施形態では、本アルゴリズムは、処理回路(例えば、処理回路706)によってデコードおよび実行される命令のセットとして、非一過性の記憶媒体(例えば、記憶デバイス708)上に、エンコードされてもよい。処理回路は、ひいては、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、アナログ/デジタル変換回路、および同等物等の命令を制御回路704内に含有される他のサブ回路に提供してもよい。
双方向メディアガイドアプリケーションは、制御回路704に、メディアガイドアプリケーション上に提示されるメディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するためのプロセスを初期化させてもよい。ステップ910では、メディアガイドアプリケーションは、制御回路704に、メディアアセットのオーディオストリームを分析させ、画面上のキャプションテキストの第1のテキストセグメントを決定させてもよい。例えば、メディアガイドアプリケーションは、スポーツニュース解説のオーディオストリームを分析し、それを画面上のキャプションテキストに自動的に書き写してもよい。メディアガイドアプリケーションは、制御回路704に、画面上のキャプションテキストの第1のテキストセグメントを「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」であると決定させてもよい。
ステップ920では、メディアガイドアプリケーションは、制御回路704に、画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、「div plate date」が第1のテキストセグメントの中の誤った用語であることを識別させてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して第1のテキストセグメントを比較することによって、誤った用語を識別してもよい。例えば、メディアガイドアプリケーションは、(例えば、「NCAA div one」のように)言葉「div」の後に数字が続くことを要求する文法規則に対して上記の文を比較し、文法規則と対立するため、「div plate date」が誤った用語であることを決定してもよい。
ステップ930では、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントに対応するメディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、上記の文がオーディオストリームの中で出現した時間に対応するビデオフレームをメディアアセットから抽出させてもよい。ビデオストリームは、インタビューにオーバーレイするバナーの中に以下の文、すなわち、「News of the Hour: Patriots quarterback serves NFL suspension」を表示する、いくつかのビデオフレームを含む、Tom Bradyのニュースインタビューであってもよい。メディアガイドアプリケーションは、文「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」がニュースでアナウンスされるのと実質的に同一の時間に対応するため、制御回路704に、これらのビデオフレームを抽出させてもよい。
ステップ940では、メディアガイドアプリケーションは、制御回路704に、1つ以上のビデオフレームのうちの第1のビデオフレームを分析させ、誤った用語と関連付けられる文脈用語を決定させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、バナーオーバーレイを伴うビデオフレームを分析させ、バナーからの文脈用語「Patriots」および「NFL suspension」が誤った用語「div plate date」と関連付けられることを決定させてもよい。
ステップ950では、メディアガイドアプリケーションは、制御回路704に、ナレッジグラフにアクセスさせ、文脈用語および第1のテキストセグメントの一部に基づいて、誤った用語のための候補訂正を識別させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、文脈用語「NFL suspension」および書き写された文の一部「Tom Brady」に基づくナレッジグラフにアクセスさせ、「Deflategate」を誤った用語のための候補訂正として識別させてもよい。いくつかの実施形態では、ナレッジグラフは、記憶装置708、メディアコンテンツソース816、またはメディアガイドデータソース818等の制御回路704によってアクセス可能であるデータベースの中に記憶されてもよい。
ステップ960では、メディアガイドアプリケーションは、制御回路704に、画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を候補訂正と置換させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントがここで、「It will be interesting to see how Tom Brady performs despite being in the news for Deflategate」と読めるように、誤った用語「div plate date」を候補訂正「Deflategate」と置換させてもよい。
図9のステップまたは説明は、本開示の任意の他の実施形態と併用され得ることが考慮される。加えて、図9のアルゴリズムに関連して説明される説明は、本開示の目的を促すために、代替順序で、または並行して、行われてもよい。例えば、ステップ950におけるもの等の条件文および論理評価は、システムまたは方法の遅延を低減させる、または速度を増加させるように、任意の順序で、または並行して、または同時に実施されてもよい。さらなる実施例として、いくつかの実施形態では、いくつかの変数のインスタンスは、複数の論理プロセッサスレッドを使用して、並行して評価されてもよい、またはアルゴリズムは、分岐予測を組み込むことによって増進されてもよい。さらに、図9のプロセスは、適切に構成されたソフトウェアおよびハードウェアの組み合わせの上に実装され得、図7−8に関連して議論されるデバイスまたは機器のうちのいずれかは、プロセスのうちの1つ以上のものを実装するために使用され得ることに留意されたい。
図10は、本開示のいくつかの実施形態による、制御回路(例えば、制御回路704)が、ナレッジグラフを使用して、メディアアセットのための画面上のキャプションテキストの中の誤った用語を識別および置換するための例証的プロセスのフローチャート1000である。いくつかの実施形態では、本アルゴリズムは、非一過性の記憶媒体(例えば、記憶デバイス708)上に、処理回路(例えば、処理回路706)によってデコードおよび実行されるための命令のセットとしてエンコードされてもよい。処理回路は、ひいては、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、アナログ/デジタル変換回路、および同等物等の命令を制御回路704内に含有される他のサブ回路に提供してもよい。
ステップ1002では、メディアガイドアプリケーションは、制御回路704に、メディアアセットのオーディオストリームを分析させ、画面上のキャプションテキストの第1のテキストセグメントを決定させてもよい。
ステップ1004では、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントに自然言語処理を実施させ、複数の文法規則に対して第1のテキストセグメントを比較させてもよい。例えば、メディアガイドアプリケーションは、(例えば、「NCAA div one」のように)言葉「div」の後に数字が続くことを要求する文法規則に対して、文「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」(図9の実施例で使用されるような)を比較し、文法規則と対立するため、「div plate date」が誤った用語であることを決定してもよい。
ステップ1006では、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントが誤った用語を含有するかどうかを決定させてもよい。第1のテキストセグメントがいかなる誤った用語も含有しない場合、メディアガイドアプリケーションは、ステップ1002に戻り、次のオーディオストリームを分析するであろう。しかしながら、第1のテキストセグメントが誤った用語を含有する場合、メディアガイドアプリケーションは、制御回路704をステップ1008に進ませ、誤った用語を訂正しようとするであろう。上記の実施例では、メディアガイドアプリケーションは、文が誤った用語「div plate date」を含有することを決定してもよく、したがって、ステップ1008に進むべきである。
ステップ1008では、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントに対応するメディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、上記の文がオーディオストリームの中で出現した時間に対応するビデオフレームをメディアアセットから抽出させてもよい。ビデオストリームは、インタビューにオーバーレイするバナーの中に以下の文、すなわち、「News of the Hour: Patriots quarterback serves NFL suspension」を表示する、いくつかのビデオフレームを含む、Tom Bradyのニュースインタビューであってもよい。メディアガイドアプリケーションは、文「It will be interesting to see how Tom Brady performs despite being in the news for div plate date」がニュースでアナウンスされるのと実質的に同一の時間に対応するため、制御回路704に、これらのビデオフレームを抽出させてもよい。
ステップ1010では、メディアガイドアプリケーションは、制御回路704に、1つ以上のビデオフレームのうちの第1のビデオフレームを分析させ、誤った用語と関連付けられる文脈用語を決定させてもよい。例えば、メディアガイドアプリケーションは、制御回路704に、バナーオーバーレイを伴うビデオフレームを分析させ、バナーからの文脈用語「Patriots」および「NFL suspension」が誤った用語「div plate date」と関連付けられることを決定させてもよい。
ステップ1012では、メディアガイドアプリケーションは、制御回路704に、第1のテキストセグメントの一部からキーワードを抽出させてもよい。例えば、誤った用語「div plate date」を含有しない第1のテキストセグメントの一部から、メディアガイドアプリケーションは、キーワード「Tom Brady」を抽出してもよい。
ステップ1014では、メディアガイドアプリケーションは、制御回路704に、文脈用語およびキーワードに対応する節点に関して、ナレッジグラフの中で検索させてもよい。上記からの実施例を続けると、メディアガイドアプリケーションは、ナレッジグラフの中の文脈用語「NFL suspension」およびキーワード「Tom Brady」に対応する節点を検索してもよい。
ステップ1016では、メディアガイドアプリケーションは、制御回路704に、文脈用語およびキーワードと関連付けられるプロパティに関して、節点を分析させてもよい。例えば、メディアガイドアプリケーションは、「Tom Brady」節点を分析し、生年月日(「Aug. 3, 1977」)、身長(「6ft. 4in.」)、40ヤードダッシュ時間(「5.28s」)、およびチーム(「New England Patriots」)等のプロパティを見出し、名前(「Odell Beckham Jr.」、「Tom Brady」、「Josh Brown」…)、長さ(「1」、「4」、「1」…)および理由(「Collision」、「Deflategate」、「Personal Conduct」…)を含有する、「NFL suspension」節点を分析してもよい。いくつかの実施形態では、プロパティはそれぞれ、ナレッジグラフの中の1つ以上の明確に異なる節点に対応し得る。例えば、「Personal Conduct」および「Deflategate」はそれぞれ、節点および別の節点のプロパティであり得る。
ステップ1018では、メディアガイドアプリケーションは、制御回路704に、ナレッジグラフから、誤った用語のための複数の潜在的訂正を決定させてもよい。ステップ1020では、メディアガイドアプリケーションは、制御回路704に、決定に基づいて、加重を複数の潜在的訂正のうちの各潜在的訂正に割り当てさせてもよい。例えば、上記の実施例において誤った用語のための候補訂正「Deflategate」を識別するために、メディアガイドアプリケーションは、最初に、「Quarterback」、「Detroit Game」、および「Deflategate」等の複数の潜在的訂正を決定し、加重を各潜在的訂正に割り当ててもよい。
ステップ1022では、メディアガイドアプリケーションは、制御回路704に、候補訂正として、最高加重と関連付けられる潜在的訂正を識別させてもよい。例えば、メディアガイドアプリケーションは、最高加重を割り当てられているため、3つの潜在的訂正のうちの「Deflategate」を候補訂正として識別してもよい。
ステップ1024では、メディアガイドアプリケーションは、制御回路704に、画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を候補訂正と置換させてもよい。例えば、メディアガイドアプリケーションは、第1のテキストセグメントがここで、「It will be interesting to see how Tom Brady performs despite being in the news for Deflategate」と読めるように、制御回路704に、誤った用語「div plate date」を候補訂正「Deflategate」と置換させてもよい。
上記で議論されるプロセスは、例証であって、限定を意図するものではない。当業者は、本明細書で議論されるプロセスのステップが、本発明の範囲から逸脱することなく、省略される、修正される、組み合わせられる、および/または再配列されてもよく、任意の付加的ステップが、実施されてもよいことを理解するであろう。より一般的には、上記の開示は、例示的あって、限定を意図するものではない。続く請求項のみが、本発明が含むものに関する境界を設定することが意図される。さらに、いずれか1つの実施形態で説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられ、異なる順序で行われ、または並行して行われ得ることに留意されたい。加えて、本明細書で説明されるシステムおよび方法は、リアルタイムで実施されてもよい。また、上記で説明されるシステムおよび/または方法は、他のシステムおよび/または方法に適用される、またはそれらに従って使用され得ることにも留意されたい。

上記で説明されるシステム、方法、装置、および/または側面は、本開示に説明される他のシステム、方法、装置、および/または側面に適用される、またはそれに従って使用され得ることに留意されたい。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
メディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
前記画面上のキャプションテキストのテキストセグメントの中の前記誤った用語を識別することと、
前記テキストセグメントに対応する前記メディアアセットの1つ以上のビデオフレームを識別することと、
前記1つ以上のビデオフレームから、前記誤った用語に関連する文脈用語を識別することと、
ナレッジグラフにアクセスし、前記文脈用語および前記テキストセグメントの一部に基づいて候補訂正を識別することと、
前記誤った用語を前記候補訂正と置換することと
を含む、方法。
(項目2)
メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
を含む、方法。
(項目3)
前記第1のテキストセグメントの中の前記誤った用語を識別することはさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、項目2に記載の方法。
(項目4)
前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、項目2に記載の方法。
(項目5)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、
前記第1のテキストセグメントの一部からキーワードを抽出することと、
前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
を含む、項目2に記載の方法。
(項目6)
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
をさらに含む、項目2に記載の方法。
(項目7)
前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換することをさらに含む、項目6に記載の方法。
(項目8)
前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別することはさらに、
前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
を含む、項目2に記載の方法。
(項目9)
前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、項目8に記載の方法。
(項目10)
音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
をさらに含む、項目8に記載の方法。
(項目11)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、前記ナレッジグラフの既存の節点を更新することを含む、項目2に記載の方法。
(項目12)
メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するためのシステムであって、
ナレッジグラフを記憶するメモリと、
制御回路であって、
前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
を行うように構成される、制御回路と
を備える、システム。
(項目13)
前記第1のテキストセグメントの中の前記誤った用語を識別するようにさらに構成される、前記制御回路はさらに、前記第1のテキストセグメントへの処理によって自然言語を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、項目12に記載のシステム。
(項目14)
前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、項目12に記載のシステム。
(項目15)
前記制御回路はさらに、
前記第1のテキストセグメントの一部からキーワードを抽出することと、
前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
によって、前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するように構成される、項目12に記載のシステム。
(項目16)
前記制御回路はさらに、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
を行うように構成される、項目12に記載のシステム。
(項目17)
前記制御回路はさらに、前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するように構成される、項目16に記載のシステム。
(項目18)
前記制御回路はさらに、
前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
によって、前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するように構成される、項目12に記載のシステム。
(項目19)
前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、項目18に記載のシステム。
(項目20)
前記制御回路はさらに、
音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
を行うように構成される、項目18に記載のシステム。
(項目21)
前記制御回路はさらに、前記ナレッジグラフの既存の節点を更新することによって、前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するように構成される、項目12に記載のシステム。
(項目22)
メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための装置であって、
前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定するための手段と、
前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別するための手段と、
前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出するための手段と、
前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定するための手段と、
ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別するための手段と、
クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換するための手段と
を備える、装置。
(項目23)
前記第1のテキストセグメントの中の前記誤った用語を識別するための前記手段はさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較するための手段を備える、項目22に記載の装置。
(項目24)
前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、項目22に記載の装置。
(項目25)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記手段はさらに、
前記第1のテキストセグメントの一部からキーワードを抽出するための手段と、
前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索するための手段と、
前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析するための手段と、
前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定するための手段であって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、手段と
を備える、項目22に記載の装置。
(項目26)
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別するための手段と、
前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定するための手段と、
前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別するための手段と、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換するための手段と
をさらに備える、項目22に記載の装置。
(項目27)
前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するための手段をさらに備える、項目26に記載の装置。
(項目28)
前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するための前記手段はさらに、
前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定するための手段と、
前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てるための手段と、
前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別するための手段と
を備える、項目22に記載の装置。
(項目29)
前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、項目28に記載の装置。
(項目30)
音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定するための手段と、
より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てるための手段と
をさらに備える、項目28に記載の装置。
(項目31)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記手段はさらに、前記ナレッジグラフの既存の節点を更新するための手段を備える、項目22に記載の装置。
(項目32)
命令を伴うメモリを備える非一過性の機械可読媒体であって、前記命令は、メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するために前記メモリ上にエンコードされており、前記非一過性の機械可読媒体は、
前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定するための命令と、
前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別するための命令と、
前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出するための命令と、
前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定するための命令と、
ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別するための命令と、
クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換するための命令と
を備える、非一過性の機械可読媒体。
(項目33)
前記第1のテキストセグメントの中の前記誤った用語を識別するための前記命令はさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較するための命令を備える、項目32に記載の非一過性の機械可読媒体。
(項目34)
前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、項目32に記載の非一過性の機械可読媒体。
(項目35)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記命令はさらに、
前記第1のテキストセグメントの一部からキーワードを抽出するための命令と、
前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索するための命令と、
前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析するための命令と、
前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定するための命令であって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、命令と
を備える、項目32に記載の非一過性の機械可読媒体。
(項目36)
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別するための命令と、
前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定するための命令と、
前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別するための命令と、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換するための命令と
をさらに備える、項目32に記載の非一過性の機械可読媒体。
(項目37)
前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するための命令をさらに備える、項目36に記載の非一過性の機械可読媒体。
(項目38)
前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するための前記命令はさらに、
前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定するための命令と、
前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てるための命令と、
前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別するための命令と
を備える、項目32に記載の非一過性の機械可読媒体。
(項目39)
前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、項目38に記載の非一過性の機械可読媒体。
(項目40)
音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定するための命令と、
より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てるための命令と
をさらに備える、項目38に記載の非一過性の機械可読媒体。
(項目41)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記命令はさらに、前記ナレッジグラフの既存の節点を更新するための命令を備える、項目32に記載の非一過性の機械可読媒体。
(項目42)
メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
を含む、方法。
(項目43)
前記第1のテキストセグメントの中の前記誤った用語を識別することはさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、項目42に記載の方法。
(項目44)
前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、項目42および43のいずれか1項に記載の方法。
(項目45)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、
前記第1のテキストセグメントの一部からキーワードを抽出することと、
前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
を含む、項目42−44のいずれか1項に記載の方法。
(項目46)
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
をさらに含む、項目42−45のいずれか1項に記載の方法。
(項目47)
前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換することをさらに含む、項目46に記載の方法。
(項目48)
前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別することはさらに、
前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
を含む、項目42−47のいずれか1項に記載の方法。
(項目49)
前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、項目48に記載の方法。
(項目50)
音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
をさらに含む、項目48に記載の方法。
(項目51)
前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、前記ナレッジグラフの既存の節点を更新することを含む、項目42−50のいずれか1項に記載の方法。

Claims (51)

  1. メディアアセットのための画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
    前記画面上のキャプションテキストのテキストセグメントの中の前記誤った用語を識別することと、
    前記テキストセグメントに対応する前記メディアアセットの1つ以上のビデオフレームを識別することと、
    前記1つ以上のビデオフレームから、前記誤った用語に関連する文脈用語を識別することと、
    ナレッジグラフにアクセスし、前記文脈用語および前記テキストセグメントの一部に基づいて候補訂正を識別することと、
    前記誤った用語を前記候補訂正と置換することと
    を含む、方法。
  2. メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
    前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
    前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
    前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
    前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
    ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
    クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
    を含む、方法。
  3. 前記第1のテキストセグメントの中の前記誤った用語を識別することはさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、請求項2に記載の方法。
  4. 前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、請求項2に記載の方法。
  5. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、
    前記第1のテキストセグメントの一部からキーワードを抽出することと、
    前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
    を含む、請求項2に記載の方法。
  6. 前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
    前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
    前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
    をさらに含む、請求項2に記載の方法。
  7. 前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換することをさらに含む、請求項6に記載の方法。
  8. 前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別することはさらに、
    前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
    前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
    前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
    を含む、請求項2に記載の方法。
  9. 前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、請求項8に記載の方法。
  10. 音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
    より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
    をさらに含む、請求項8に記載の方法。
  11. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、前記ナレッジグラフの既存の節点を更新することを含む、請求項2に記載の方法。
  12. メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するためのシステムであって、
    ナレッジグラフを記憶するメモリと、
    制御回路であって、
    前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
    前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
    前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
    前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
    ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
    クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
    を行うように構成される、制御回路と
    を備える、システム。
  13. 前記第1のテキストセグメントの中の前記誤った用語を識別するようにさらに構成される、前記制御回路はさらに、前記第1のテキストセグメントへの処理によって自然言語を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、請求項12に記載のシステム。
  14. 前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、請求項12に記載のシステム。
  15. 前記制御回路はさらに、
    前記第1のテキストセグメントの一部からキーワードを抽出することと、
    前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
    によって、前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するように構成される、請求項12に記載のシステム。
  16. 前記制御回路はさらに、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
    前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
    前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
    を行うように構成される、請求項12に記載のシステム。
  17. 前記制御回路はさらに、前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するように構成される、請求項16に記載のシステム。
  18. 前記制御回路はさらに、
    前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
    前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
    前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
    によって、前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するように構成される、請求項12に記載のシステム。
  19. 前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、請求項18に記載のシステム。
  20. 前記制御回路はさらに、
    音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
    より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
    を行うように構成される、請求項18に記載のシステム。
  21. 前記制御回路はさらに、前記ナレッジグラフの既存の節点を更新することによって、前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するように構成される、請求項12に記載のシステム。
  22. メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための装置であって、
    前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定するための手段と、
    前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別するための手段と、
    前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出するための手段と、
    前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定するための手段と、
    ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別するための手段と、
    クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換するための手段と
    を備える、装置。
  23. 前記第1のテキストセグメントの中の前記誤った用語を識別するための前記手段はさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較するための手段を備える、請求項22に記載の装置。
  24. 前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、請求項22に記載の装置。
  25. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記手段はさらに、
    前記第1のテキストセグメントの一部からキーワードを抽出するための手段と、
    前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索するための手段と、
    前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析するための手段と、
    前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定するための手段であって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、手段と
    を備える、請求項22に記載の装置。
  26. 前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別するための手段と、
    前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定するための手段と、
    前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別するための手段と、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換するための手段と
    をさらに備える、請求項22に記載の装置。
  27. 前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するための手段をさらに備える、請求項26に記載の装置。
  28. 前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するための前記手段はさらに、
    前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定するための手段と、
    前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てるための手段と、
    前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別するための手段と
    を備える、請求項22に記載の装置。
  29. 前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、請求項28に記載の装置。
  30. 音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定するための手段と、
    より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てるための手段と
    をさらに備える、請求項28に記載の装置。
  31. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記手段はさらに、前記ナレッジグラフの既存の節点を更新するための手段を備える、請求項22に記載の装置。
  32. 命令を伴うメモリを備える非一過性の機械可読媒体であって、前記命令は、メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するために前記メモリ上にエンコードされており、前記非一過性の機械可読媒体は、
    前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定するための命令と、
    前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別するための命令と、
    前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出するための命令と、
    前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定するための命令と、
    ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別するための命令と、
    クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換するための命令と
    を備える、非一過性の機械可読媒体。
  33. 前記第1のテキストセグメントの中の前記誤った用語を識別するための前記命令はさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較するための命令を備える、請求項32に記載の非一過性の機械可読媒体。
  34. 前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、請求項32に記載の非一過性の機械可読媒体。
  35. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記命令はさらに、
    前記第1のテキストセグメントの一部からキーワードを抽出するための命令と、
    前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索するための命令と、
    前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析するための命令と、
    前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定するための命令であって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、命令と
    を備える、請求項32に記載の非一過性の機械可読媒体。
  36. 前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別するための命令と、
    前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定するための命令と、
    前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別するための命令と、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換するための命令と
    をさらに備える、請求項32に記載の非一過性の機械可読媒体。
  37. 前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換するための命令をさらに備える、請求項36に記載の非一過性の機械可読媒体。
  38. 前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別するための前記命令はさらに、
    前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定するための命令と、
    前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てるための命令と、
    前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別するための命令と
    を備える、請求項32に記載の非一過性の機械可読媒体。
  39. 前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、請求項38に記載の非一過性の機械可読媒体。
  40. 音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定するための命令と、
    より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てるための命令と
    をさらに備える、請求項38に記載の非一過性の機械可読媒体。
  41. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別するための前記命令はさらに、前記ナレッジグラフの既存の節点を更新するための命令を備える、請求項32に記載の非一過性の機械可読媒体。
  42. メディアアセットの画面上のキャプションテキストの中の誤った用語を訂正するための方法であって、
    前記メディアアセットのオーディオストリームを分析し、前記画面上のキャプションテキストの第1のテキストセグメントを決定することと、
    前記画面上のキャプションテキストの第1のテキストセグメントの中の誤った用語を識別することと、
    前記第1のテキストセグメントに対応する前記メディアアセットのビデオストリームから、1つ以上のビデオフレームを抽出することと、
    前記1つ以上のビデオフレームのうちの第1のビデオフレームを分析し、前記誤った用語と関連付けられる文脈用語を決定することと、
    ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記誤った用語のための候補訂正を識別することと、
    クローズドキャプションテキストの前記第1のテキストセグメントの中の前記誤った用語を前記候補訂正と置換することと
    を含む、方法。
  43. 前記第1のテキストセグメントの中の前記誤った用語を識別することはさらに、前記第1のテキストセグメントに自然言語処理を実施し、複数の文法規則に対して前記第1のテキストセグメントを比較することを含む、請求項42に記載の方法。
  44. 前記画面上のキャプションテキストの前記第1のテキストセグメントは、タイムスタンプ付きであり、前記第1のビデオフレームは、前記タイムスタンプ付きの第1のテキストセグメントの中の前記誤った用語の位置に対応する、前記メディアアセットの位置において抽出される、請求項42および43のいずれか1項に記載の方法。
  45. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、
    前記第1のテキストセグメントの一部からキーワードを抽出することと、
    前記文脈用語および前記キーワードに対応する節点に関して、前記ナレッジグラフの中で検索することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに関して、前記節点を分析することと、
    前記文脈用語および前記キーワードと関連付けられるプロパティに基づいて、少なくとも1つの他の節点を決定することであって、前記少なくとも1つの他の節点は、前記候補訂正に対応する、ことと
    を含む、請求項42−44のいずれか1項に記載の方法。
  46. 前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を識別することと、
    前記第2のテキストセグメントに対応する第2のビデオフレームを分析し、前記誤った用語と関連付けられる第2の文脈用語を決定することと、
    前記ナレッジグラフにアクセスし、前記第1の文脈用語、前記第2の文脈用語、前記第1のテキストセグメントの一部、および前記第2のテキストセグメントの一部に基づいて、更新された候補訂正を識別することと、
    前記画面上のキャプションテキストの第2のテキストセグメントの中の前記誤った用語を前記更新された候補訂正と置換することと
    をさらに含む、請求項42−45のいずれか1項に記載の方法。
  47. 前記第1のテキストセグメントの中の前記候補訂正を前記更新された候補訂正と置換することをさらに含む、請求項46に記載の方法。
  48. 前記ナレッジグラフにアクセスし、前記誤った用語のための前記候補訂正を識別することはさらに、
    前記ナレッジグラフから、前記誤った用語のための複数の潜在的訂正を決定することと、
    前記決定に基づいて、加重を前記複数の潜在的訂正のうちの各潜在的訂正に割り当てることと、
    前記候補訂正として、最高加重と関連付けられる潜在的訂正を識別することと
    を含む、請求項42−47のいずれか1項に記載の方法。
  49. 前記複数の潜在的訂正のうちのより最近の潜在的訂正は、より高い加重を割り当てられる、請求項48に記載の方法。
  50. 音声アルゴリズムに基づいて、潜在的候補訂正と前記誤った用語との間の音声類似性スコアを決定することと、
    より高い音声類似性スコアを伴う前記潜在的候補訂正により高い加重を割り当てることと
    をさらに含む、請求項48に記載の方法。
  51. 前記ナレッジグラフにアクセスし、前記文脈用語および前記第1のテキストセグメントの一部に基づいて、前記候補訂正を識別することはさらに、前記ナレッジグラフの既存の節点を更新することを含む、請求項42−50のいずれか1項に記載の方法。

JP2019517092A 2016-09-30 2016-09-30 キャプションテキストにおける間違いを訂正するためのシステムおよび方法 Active JP6936318B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/054689 WO2018063293A1 (en) 2016-09-30 2016-09-30 Systems and methods for correcting errors in caption text

Publications (2)

Publication Number Publication Date
JP2019537307A true JP2019537307A (ja) 2019-12-19
JP6936318B2 JP6936318B2 (ja) 2021-09-15

Family

ID=57137291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517092A Active JP6936318B2 (ja) 2016-09-30 2016-09-30 キャプションテキストにおける間違いを訂正するためのシステムおよび方法

Country Status (10)

Country Link
US (3) US10834439B2 (ja)
EP (1) EP3520427A1 (ja)
JP (1) JP6936318B2 (ja)
KR (1) KR102612355B1 (ja)
CN (1) CN110235449A (ja)
AU (1) AU2016424629A1 (ja)
BR (1) BR112019006118A2 (ja)
CA (1) CA3038797A1 (ja)
MX (1) MX2019003637A (ja)
WO (1) WO2018063293A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3520427A1 (en) 2016-09-30 2019-08-07 Rovi Guides, Inc. Systems and methods for correcting errors in caption text
JP7210938B2 (ja) * 2018-08-29 2023-01-24 富士通株式会社 テキスト生成装置、テキスト生成プログラムおよびテキスト生成方法
WO2020049622A1 (ja) * 2018-09-03 2020-03-12 日本電気株式会社 情報処理装置、分析システム、分析方法及び分析プログラムが格納された非一時的なコンピュータ可読媒体
KR102345625B1 (ko) 2019-02-01 2021-12-31 삼성전자주식회사 자막 생성 방법 및 이를 수행하는 장치
US10991370B2 (en) 2019-04-16 2021-04-27 International Business Machines Corporation Speech to text conversion engine for non-standard speech
US11328712B2 (en) 2019-08-02 2022-05-10 International Business Machines Corporation Domain specific correction of output from automatic speech recognition
US11093755B2 (en) * 2019-11-19 2021-08-17 International Business Machines Corporation Video segmentation based on weighted knowledge graph
US11429876B2 (en) * 2020-03-10 2022-08-30 International Business Machines Corporation Infusing knowledge into natural language processing tasks using graph structures
CN111787363B (zh) * 2020-06-24 2021-08-24 腾讯科技(深圳)有限公司 一种多媒体数据处理方法、装置、设备及可读存储介质
CN111897535A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 语法纠错方法、装置、计算机系统及可读存储介质
CN112738640B (zh) * 2020-12-28 2022-08-19 出门问问(武汉)信息科技有限公司 一种视频流的字幕的确定方法、装置及可读存储介质
CN113722513B (zh) * 2021-09-06 2022-12-20 抖音视界有限公司 多媒体数据的处理方法及设备
US11778280B1 (en) 2022-05-17 2023-10-03 Microsoft Technology Licensing, Llc Geolocation-specific subtitle generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118374A1 (en) * 2005-11-23 2007-05-24 Wise Gerald B Method for generating closed captions
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
JP2007256714A (ja) * 2006-03-24 2007-10-04 Internatl Business Mach Corp <Ibm> 字幕修正装置
JP2016110087A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Samsung Electronics Co.,Ltd. 音声認識方法及び音声認識装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
EP1986425B2 (en) 1998-07-17 2019-01-30 Rovi Guides, Inc. Interactive television program guide system having multiple devices within a household
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
US6473778B1 (en) * 1998-12-24 2002-10-29 At&T Corporation Generating hypermedia documents from transcriptions of television programs using parallel text alignment
AU2002250350B2 (en) 2001-02-21 2007-12-20 Rovi Guides, Inc. Systems and methods for interactive program guides with personal video recording features
EP1848192A4 (en) * 2005-02-08 2012-10-03 Nippon Telegraph & Telephone END DEVICE, SYSTEM, METHOD AND PROGRAM FOR INFORMATION COMMUNICATION AND RECORDING MEDIUM WHICH RECORDED THE PROGRAM
CN100536532C (zh) * 2005-05-23 2009-09-02 北京大学 自动加配字幕的方法和系统
US20070118364A1 (en) * 2005-11-23 2007-05-24 Wise Gerald B System for generating closed captions
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
US7296218B2 (en) * 2006-02-08 2007-11-13 Dittrich William A Instant note capture/presentation apparatus, system and method
JP4734155B2 (ja) * 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US8149330B2 (en) 2008-01-19 2012-04-03 At&T Intellectual Property I, L. P. Methods, systems, and products for automated correction of closed captioning data
US9049477B2 (en) * 2008-11-13 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for managing media content
US8281231B2 (en) * 2009-09-11 2012-10-02 Digitalsmiths, Inc. Timeline alignment for closed-caption text using speech recognition transcripts
US8307396B2 (en) * 2010-06-28 2012-11-06 At&T Intellectual Property I, L.P. Systems and methods for producing processed media content
US9262397B2 (en) * 2010-10-08 2016-02-16 Microsoft Technology Licensing, Llc General purpose correction of grammatical and word usage errors
US10031968B2 (en) * 2012-10-11 2018-07-24 Veveo, Inc. Method for adaptive conversation state management with filtering operators applied dynamically as part of a conversational interface
US20160035392A1 (en) 2012-11-22 2016-02-04 Didja, Inc. Systems and methods for clipping video segments
KR102129536B1 (ko) * 2013-08-06 2020-07-03 삼성전자주식회사 모바일 단말기 및 그의 제어 방법
US9189742B2 (en) * 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
CA2938064A1 (en) * 2014-01-28 2015-08-06 Somol Zorzin Gmbh Method for automatically detecting meaning and measuring the univocality of text
US20150242386A1 (en) * 2014-02-26 2015-08-27 Google Inc. Using language models to correct morphological errors in text
US9830321B2 (en) * 2014-09-30 2017-11-28 Rovi Guides, Inc. Systems and methods for searching for a media asset
US9626001B2 (en) * 2014-11-13 2017-04-18 International Business Machines Corporation Speech recognition candidate selection based on non-acoustic input
EP3520427A1 (en) 2016-09-30 2019-08-07 Rovi Guides, Inc. Systems and methods for correcting errors in caption text

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
US20070118374A1 (en) * 2005-11-23 2007-05-24 Wise Gerald B Method for generating closed captions
JP2007256714A (ja) * 2006-03-24 2007-10-04 Internatl Business Mach Corp <Ibm> 字幕修正装置
JP2016110087A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Samsung Electronics Co.,Ltd. 音声認識方法及び音声認識装置

Also Published As

Publication number Publication date
KR20190055204A (ko) 2019-05-22
US20190215545A1 (en) 2019-07-11
US20240089516A1 (en) 2024-03-14
US11863806B2 (en) 2024-01-02
CN110235449A (zh) 2019-09-13
AU2016424629A1 (en) 2019-04-11
WO2018063293A1 (en) 2018-04-05
US20210037274A1 (en) 2021-02-04
MX2019003637A (es) 2019-09-26
BR112019006118A2 (pt) 2019-06-18
KR102612355B1 (ko) 2023-12-08
US10834439B2 (en) 2020-11-10
JP6936318B2 (ja) 2021-09-15
CA3038797A1 (en) 2018-04-05
EP3520427A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
US11860927B2 (en) Systems and methods for searching for a media asset
US11863806B2 (en) Systems and methods for correcting errors in caption text
US20220215178A1 (en) Systems and methods for determining context switching in conversation
US10672390B2 (en) Systems and methods for improving speech recognition performance by generating combined interpretations
US20200007946A1 (en) Selectively delivering a translation for a media asset based on user proficiency level in the foreign language and proficiency level required to comprehend the media asset
US10031967B2 (en) Systems and methods for using a trained model for determining whether a query comprising multiple segments relates to an individual query or several queries
US11687729B2 (en) Systems and methods for training a model to determine whether a query with multiple segments comprises multiple distinct commands or a combined command

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210826

R150 Certificate of patent or registration of utility model

Ref document number: 6936318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150