JP2022516520A

JP2022516520A - マッチグラフにおいてレビューの判断を予測するためのベイズ推定の使用

Info

Publication number: JP2022516520A
Application number: JP2021538275A
Authority: JP
Inventors: ヨハン・グランストレーム; バルト・ファン・デルフト
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2018-12-31
Filing date: 2019-02-19
Publication date: 2022-02-28
Anticipated expiration: 2039-02-19
Also published as: JP7242865B2; KR20210104152A; CN113272800A; JP2023065653A; WO2020142108A1; US20220121975A1; EP3891622A1

Abstract

実装は、ベイズ推定を使用してマッチグラフにおいてレビューの判断を予測するための方法およびシステムを開示する。方法は、処理される現在のメディアアイテムを特定するステップと、現在のメディアアイテムのセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するためにラベル付けされたメディアアイテムを処理するステップと、現在のメディアアイテムのセグメントの各々に関して、対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムに関連するプロパティに基づいて現在のメディアアイテムの対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成するステップと、現在のメディアアイテムのセグメントの各々の生成されたセグメント予測値に基づいて現在のメディアアイテムに関するメディアアイテム予測値を計算するステップと、計算されたメディアアイテム予測値に基づいて現在のメディアアイテムが処理されるようにするステップとを含む。

Description

本開示の態様および実装は、レビューの判断を予測することに関し、特に、メディアアイテムのレビューの判断を予測することに関する。

ビデオアイテム、オーディオアイテムなどのメディアアイテムが、メディアアイテムプラットフォームにアップロードされる可能性がある。メディアアイテムは、メディアアイテムのコンテンツの種類、メディアアイテムの適切さ、メディアアイテムの品質などに基づいてラベル付けされる可能性がある。

以下は、本開示のいくつかの態様の基本的な理解を提供するための本開示の簡潔な概要である。この概要は、本開示の広範囲に渡る全体像ではない。この概要は、本開示の重要なまたは決定的な要素を特定するように意図されておらず、本開示の特定の実装のいかなる範囲または請求項のいかなる範囲を示すようにも意図されていない。この概要の唯一の目的は、後ほど与えられるより詳細な説明に対する前置きとして、本開示のいくつかの概念を簡潔な形態で提示することである。

本開示の態様は、メディアアイテムのプロパティを自動的に決定する。マッチグラフにおいてメディアアイテムのプロパティを予測するために、ベイズ推定が使用される可能性がある。

本開示の態様においては、方法が、処理される現在のメディアアイテムを特定するステップと、現在のメディアアイテムの複数のセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するために複数のラベル付けされたメディアアイテムを処理するステップとを含む可能性がある。方法は、現在のメディアアイテムの複数のセグメントの各々に関して、現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムに関連するプロパティに基づいて現在のメディアアイテムの対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成するステップをさらに含む可能性がある。方法は、現在のメディアアイテムの複数のセグメントの各々の生成されたセグメント予測値に基づいて現在のメディアアイテムに関するメディアアイテム予測値を計算するステップと、計算されたメディアアイテム予測値に基づいて現在のメディアアイテムが処理されるようにするステップとをさらに含む可能性がある。

ラベル付けされたメディアアイテムの各々が、それぞれのラベルを割り振られる可能性があり、現在のメディアアイテムの複数のセグメントの各々が、ラベル付けされたメディアアイテムの1つまたは複数のセグメントと少なくとも部分的に合致する可能性がある。現在のメディアアイテムの複数のセグメントの各々に関する、対応するセグメントに関するセグメント予測値の生成するステップは、対応するセグメントの長さ、現在のメディアアイテムの長さ、または現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムの長さのうちの少なくとも1つを含む複数のパラメータに基づく可能性がある。方法は、現在のメディアアイテムの第1のセグメントが第1のラベル付けされたメディアアイテムの第1の対応するセグメントに合致すると判定するステップと、現在のメディアアイテムの第2のセグメントが第2のラベル付けされたメディアアイテムの第2の対応するセグメントに合致すると判定するステップと、第1のセグメントが第2のセグメントのサブセグメントであると判定するステップであって、第2のセグメントが、第1のセグメントおよび第3のセグメントを含む、ステップとをさらに含む可能性があり、複数のセグメントの各々に関するセグメント予測値の生成するステップが、第1のラベル付けされたメディアアイテムの第1のそれぞれのラベルおよび第2のラベル付けされたメディアアイテムの第2のそれぞれのラベルに基づいて第1のセグメントに関する第1のラベルを示す第1のセグメント予測値を生成することと、第2のラベル付けされたメディアアイテムの第2のそれぞれのラベルに基づいて第3のセグメントに関する第2のラベルを示す第2のセグメント予測値を生成することとを含み、メディアアイテム予測値の計算が、生成された第1のセグメント予測値および生成された第2のセグメント予測値に基づく。現在のメディアアイテムが処理されるようにするステップは、以下、すなわち、計算されたメディアアイテム予測値が第1の閾値条件を満たすことに応じて、メディアアイテムプラットフォームを介した現在のメディアアイテムの再生が防止されるようにすること、計算されたメディアアイテム予測値が第2の閾値条件を満たすことに応じて、メディアアイテムプラットフォームを介した現在のメディアアイテムの再生が許されるようにすること、および計算されたメディアアイテム予測値が第3の閾値条件を満たすことに応じて、現在のメディアアイテムの再生がメディアアイテムプラットフォームを介して許されるべきかどうかを示すラベルを生成するために現在のメディアアイテムがレビューされるようにすることのうちの1つを含む可能性がある。複数のセグメントの各々のセグメント予測値は、複数のパラメータ、および複数のパラメータのうちの1つまたは複数に関連する1つまたは複数の重みに基づいて生成される可能性がある。方法は、現在のメディアアイテムに関する生成されたラベルに基づいて1つまたは複数の重みを調整するステップをさらに含む可能性がある。1つまたは複数の重みの調整するステップは、チューニング入力およびチューニング入力に関する目標チューニング出力に基づいて、調整された1つまたは複数の重みを提供するように機械学習モデルを訓練することを含み、チューニング入力は、現在のメディアアイテムの複数のセグメントの各々に関して、対応するセグメントの長さ、現在のメディアアイテムの長さ、および現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムの長さを含み、チューニング入力に関するチューニング目標出力は、現在のメディアアイテムに関する生成されたラベルを含む。

態様は任意の都合の良い形態で実装され得ることが、理解されるであろう。たとえば、態様は、有形の担持媒体(たとえば、ディスク)または無形の担持媒体(たとえば、通信信号)である可能性がある適切な担持媒体上で運ばれる可能性がある適切なコンピュータプログラムによって実装される可能性がある。態様は、本発明を実装するように構成されたコンピュータプログラムを実行するプログラミング可能なコンピュータの形態をとる可能性がある好適な装置を使用して実装される可能性もある。態様は、1つの態様の文脈で説明された特徴が別の態様に実装される可能性があるように組み合わされ得る。

本開示は、添付の図面の図において限定としてではなく例として示される。

本開示の実装による例示的なシステムアーキテクチャを示すブロック図である。本開示の実装による、機械学習モデルのためのチューニングデータを生成するための例示的なチューニングセットジェネレータの図である。本開示の実装による、メディアアイテムのレビューの判断を予測する例示的な方法を示す流れ図である。本開示の実装による、メディアアイテムのレビューの判断を予測する例示的な方法を示す流れ図である。本開示の実装による、メディアアイテムのレビューの判断を予測する例示的な方法を示す流れ図である。本開示の実装による、メディアアイテムのレビューの判断を予測する例示的な方法を示す流れ図である。本開示の実装による、メディアアイテムのレビューの判断を予測するための表である。本開示の実装による、メディアアイテムのレビューの判断を予測するための表である。本開示の実装によるコンピュータシステムの1つの実装を示すブロック図である。

本開示の態様および実装は、たとえば、マッチグラフにおいてレビューの判断を予測するためにベイズ推定を使用してメディアアイテムのプロパティを自動的に決定することを対象とする。サーバデバイスが、ユーザデバイスによってアップロードされたメディアアイテムを受信する可能性がある。サーバデバイスは、メディアアイテムがメディアアイテムプラットフォームを介してこれらのまたはその他のユーザデバイスによる再生のために利用され得るようにする可能性がある。ユーザがある種類のコンテンツを有するものとして(たとえば、再生中に)メディアアイテムにフラグを立てることに応じて、サーバデバイスは、レビュー(たとえば、手動レビュー)のためにメディアアイテムを付託する可能性がある。レビュー中に、ユーザ(たとえば、メディアアイテムプラットフォームの管理者)は、メディアアイテムの再生を実行する可能性があり、メディアアイテムにラベル付けする可能性がある。レビューからのラベルに基づいて、サーバは、メディアアイテムをラベルと関連付ける可能性がある。ラベルは、メディアアイテムが不適切な種類のコンテンツを有すること、権利を侵害すること、技術的な問題を有すること、あるレイティングを有すること、広告に適していることなどを示す可能性がある。

サーバデバイスは、メディアアイテムのラベルに基づいてメディアアイテムに関連して異なるアクションが実行されるようにする可能性がある。たとえば、不適切な種類のコンテンツを含むものとしてラベル付けされた(たとえば、「否定的レビュー」ラベルを有する)メディアアイテムの再生が、防止されることが可能である。代替的に、不適切な種類のコンテンツを含まないものとしてラベル付けされた(たとえば、「肯定的レビュー」ラベルを有する)メディアアイテムの再生が、許されることが可能である。別の例においては、メディアアイテムのラベルに基づいて、ラベルに基づくメディアアイテムの再生中に広告が含められることが可能である。さらに別の例においては、技術的な問題を有するものとしてラベル付けされたメディアアイテムをアップロードしたユーザデバイスにメッセージが送信されることが可能である。

新たにアップロードされたメディアアイテムは、ラベル付けされたメディアアイテムに少なくとも部分的に合致する可能性がある。通常、それぞれの新たにアップロードされたメディアアイテムは、概してフラグを立てられ、手動レビューに付託され、(たとえば、メディアアイテムがラベル付けされたメディアアイテムに合致するか否かにかかわらず)手動レビューに基づいてラベル付けされる。通常、ラベル付けされたメディアアイテムと少なくとも部分的に合致しない第2のメディアアイテムをレビューするために必要とされるのと同じ量の時間およびリソース(たとえば、プロセッサのオーバーヘッド、帯域幅、電力消費、利用可能な人間のレビュワーなど)が、ラベル付けされたメディアアイテムと少なくとも部分的に合致する第1のメディアアイテムをレビューするために必要とされる可能性がある。メディアアイテムが再生のために利用可能となることを許す前にメディアアイテムをレビューすることは、多くの量の時間を必要とする可能性があり、必要とされるリソースのピーク(たとえば、大きなプロセッサのオーバーヘッド、電力消費、および帯域幅)を必要とする可能性がある。メディアアイテムをレビューする前にメディアアイテムが再生のために利用可能となることを許すことは、問題および不適切なコンテンツを含むメディアアイテムの再生を許す可能性がある。メディアアイテムを不正確にラベル付けすることは、訂正するために時間およびリソースを必要とする可能性がある。

本開示の態様は、(たとえば、マッチグラフにおいてレビューの判断を予測するためにベイズ推定を使用して)メディアアイテムのプロパティを自動的に決定することによって上述のおよびその他の課題に対処する。処理デバイスが、処理される現在のメディアアイテム(たとえば、新たにアップロードされたメディアアイテム)を特定する可能性があり、現在のメディアアイテムのセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを見つけるためにラベル付けされたメディアアイテム(たとえば、既にレビューされたメディアアイテム)を特定する可能性がある(たとえば、現在のメディアアイテムの少なくとも一部に合致するラベル付けされたメディアアイテムを含むマッチグラフが生成される可能性がある)。現在のメディアアイテムのセグメント(たとえば、ラベル付けされたメディアアイテムの少なくとも一部に似ているセグメント)の各々に関して、処理デバイスは、(たとえば、マッチグラフに基づいて現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントを有するラベル付けされたメディアアイテムに関連するプロパティに基づいて)現在のメディアアイテムの対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成する可能性がある。処理デバイスは、現在のメディアアイテムのセグメントの各々の生成されたセグメント予測値に基づいてメディアアイテム予測値を計算する可能性があり、計算されたメディアアイテム予測値に基づいて現在のメディアアイテムが処理されるようにする可能性がある。たとえば、メディアアイテム予測値に基づいて、メディアアイテムプラットフォームを介した現在のメディアアイテムの再生が許されるかもしくは防止される可能性があり、または現在のメディアアイテムの再生が許されるべきであるかどうかを示す現在のメディアアイテムに関するラベルを生成するために現在のメディアアイテムがレビューされるようにされる可能性がある。

本明細書において開示されるように、メディアアイテムに関するプロパティを自動的に生成すること(たとえば、レビューの判断を予測すること)は、それがユーザエクスペリエンスを改善し、テクノロジー的利点をもたらすので有利である。多くの新たにアップロードされたメディアアイテムが、ラベル付けされた(たとえば、既にレビューされた)メディアアイテムに似ているセグメントを有する可能性がある。さらなる処理のためにメディアアイテムを選択するための最初の処理を実行することによって、メディアアイテムへのプロパティの割り振りがより効率的に実行される可能性があり、より少ないメディアアイテムがさらに処理されることを求められる可能性がある。したがって、(たとえば、新たにアップロードされたメディアアイテムと少なくとも部分的に合致するラベル付けされたメディアアイテムに基づく)計算されたメディアアイテム予測値に基づいて新たにアップロードされたメディアアイテムを処理することは、メディアアイテムが既にラベル付けされたメディアアイテムと少なくとも部分的に合致するかどうかにかかわらずすべてのメディアアイテムをラベル付けするために同じプロセスを実行することと比較して削減されたプロセッサのオーバーヘッド、必要とされる帯域幅、およびエネルギー消費を有する可能性がある。計算されたメディアアイテム予測値に基づいて新たにアップロードされたメディアアイテムの再生を許すかまたは防止することは、メディアアイテムがより迅速に処理されることを可能にする可能性があり、したがって、すべての新たにアップロードされたメディアアイテムを再生のために提供し、ユーザがメディアアイテムにフラグを立て、その後の手動レビューがメディアアイテムをラベル付けした後にのみ再生を防止するよりも優れたユーザエクスペリエンスを提供する可能性がある。アップロードされたメディアアイテムに関するメディアアイテム予測値を生成することは、メディアアイテムをアップロードしたユーザにとって有利であり、メディアアイテムプラットフォームのユーザにとって有利である可能性がある。たとえば、技術的な問題を示すメディアアイテム予測値を生成することに応じて、メディアアイテム予測値に基づくインジケーションが、メディアアイテムをアップロードしたユーザに送信される可能性があり、メディアアイテムが技術的な問題を有することをユーザに注意喚起する(たとえば、メディアアイテムが修正されることを推奨する)。別の例においては、メディアアイテムに関するメディアアイテム予測値を生成することに応じて、メディアアイテムが処理される可能性があり、その結果、メディアアイテムプラットフォームのユーザのために検索結果および推薦を改善するようにメディアアイテムがラベル付けされる(たとえば、適切さ、カテゴリなど)。

図1は、本開示の実装による例示的なシステムアーキテクチャ100を示す。システムアーキテクチャ100は、メディアアイテムサーバ110、ユーザデバイス120、予測サーバ130、コンテンツ所有者デバイス140、ネットワーク150、およびデータストア160を含む。予測サーバ130は、予測システム105の一部である可能性がある。

メディアアイテムサーバ110は、(ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータなどの)1つまたは複数のコンピューティングデバイス、データストア(たとえば、ハードディスク、メモリ、データベースなど)、ネットワーク、ソフトウェア構成要素、および/またはハードウェア構成要素を含む可能性がある。メディアアイテムサーバ110は、ユーザにメディアアイテム112(たとえば、既にラベル付けされたメディアアイテム(「ラベル付けされたメディアアイテム」114)、ラベル付けプロセスを現在経ているメディアアイテム(「現在のメディアアイテム」116)など)へのアクセスを提供するために使用される可能性がある。メディアアイテムサーバ110は、ユーザにメディアアイテム112を提供する可能性がある(たとえば、ユーザが、メディアアイテム112を選択し、メディアアイテム112を要求するかまたは購入することに応じてメディアアイテムサーバ110からメディアアイテム112をダウンロードする可能性がある)。メディアアイテムサーバ110は、ユーザがメディアアイテム112を消費する、作る、アップロードする、ダウンロードする、レイティングする、フラグを立てる、共有する、検索する、是認する(「いいね!する」)、ひどいね!する、および/またはコメントすることを可能にする可能性があるメディアアイテムプラットフォーム(たとえば、コンテンツホスティングサービスを提供するコンテンツホスティングプラットフォーム)の一部である可能性がある。メディアアイテムプラットフォームは、ユーザにメディアアイテム112へのアクセスを提供するために使用される可能性があるウェブサイト(たとえば、ウェブページ)またはアプリケーションバックエンドソフトウェアを含む可能性もある。

メディアアイテムサーバ110は、メディアアイテム112などのコンテンツをホストする可能性がある。メディアアイテム112は、ユーザによって選択されたデジタルコンテンツ、ユーザによって利用可能にされたデジタルコンテンツ、ユーザによって作られたデジタルコンテンツ、ユーザによってアップロードされたデジタルコンテンツ、コンテンツの所有者によって作られたデジタルコンテンツ、コンテンツの所有者によってアップロードされたデジタルコンテンツ、メディアアイテムサーバ110によって提供されたデジタルコンテンツなどである可能性がある。メディアアイテム112の例は、ビデオアイテム(たとえば、デジタルビデオ、デジタルムービーなど)、オーディオアイテム(たとえば、デジタル音楽、デジタルオーディオブックなど)、広告、経時的にスライドを切り替えるスライドショー、経時的にスクロールするテキスト、経時的に変化する図などを含むがこれらに限定されない。

メディアアイテム112は、ユーザデバイス120のウェブブラウザを介して、またはアプリストアを介してユーザデバイス120にインストールされ得るモバイルアプリケーション(「アプリ」)を介して消費される可能性がある。ウェブブラウザまたはモバイルアプリは、ユーザが(たとえば、説明情報、その他のメディアアイテム112などの)1つまたは複数の検索を実行することを可能にする可能性がある。本明細書において使用されるとき、「アプリケーション」、「モバイルアプリケーション」、「スマートテレビアプリケーション」、「デスクトップアプリケーション」、「ソフトウェアアプリケーション」、「デジタルコンテンツ」、「コンテンツ」、「コンテンツアイテム」、「メディア」、「メディアアイテム」、「ビデオアイテム」、「オーディオアイテム」、「連絡先招待(contact invitation)」、「ゲーム」、および「広告」は、エンティティにメディアアイテム112を提示するように構成されたソフトウェア、ファームウェア、またはハードウェア依存を使用して実行されるかまたはロードされることが可能である電子ファイルを含み得る。1つの実装において、メディアアイテムプラットフォームは、データストア160を使用してメディアアイテム112を記憶する可能性がある。メディアアイテム112は、メディアアイテムサーバ110(たとえば、コンテンツホスティングプラットフォームなどのメディアアイテムプラットフォーム)からユーザデバイス120のユーザに提示されるかまたはユーザデバイス120のユーザによってダウンロードされる可能性がある。メディアアイテム112は、メディアアイテムプラットフォームによって提供されるかまたはローカルに記憶される埋め込みメディアプレーヤー(およびその他の構成要素)によって再生される可能性がある。メディアアイテムプラットフォームは、たとえば、アプリケーション配信プラットフォーム、コンテンツホスティングプラットフォーム、またはソーシャルネットワーキングプラットフォームである可能性があり、ユーザにメディアアイテム112へのアクセスを提供するかまたはユーザにメディアアイテム112を提供するために使用される可能性がある。たとえば、メディアアイテムプラットフォームは、ユーザがメディアアイテム112を消費する、フラグを立てる、アップロードする、検索する、是認する(「いいね!する」)、ひどいね!する、および/またはコメントすることを可能にする可能性がある。メディアアイテムサーバ110は、メディアアイテムプラットフォームの一部であるか、独立したシステムであるか、または異なるプラットフォームの一部である可能性がある。

ネットワーク150は、ユーザデバイス120およびコンテンツ所有者デバイス140にメディアアイテムサーバ110、予測サーバ130、およびその他の公に利用可能なコンピューティングデバイスへのアクセスを提供するパブリックネットワークである可能性がある。ネットワーク150は、1つまたは複数の広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、有線ネットワーク(たとえば、イーサネットネットワーク)、ワイヤレスネットワーク(たとえば、802.11ネットワークもしくはWi-Fiネットワーク)、セルラーネットワーク(たとえば、ロングタームエボリューション(LTE)ネットワーク)、ルータ、ハブ、スイッチ、サーバコンピュータ、および/またはこれらの組合せを含む可能性がある。

データストア160は、メモリ(たとえば、ランダムアクセスメモリ)、ドライブ(たとえば、ハードドライブ、フラッシュドライブ)、データベースシステム、またはデータを記憶することができる別の種類の構成要素もしくはデバイスである可能性がある。データストア160は、複数のコンピューティングデバイス(たとえば、複数のサーバコンピュータ)に広がる可能性がある複数のストレージ構成要素(たとえば、複数のドライブまたは複数のデータベース)を含む可能性がある。一部の実装において、データストア160は、メディアアイテムに関連する情報162、ラベル164、または予測値166(たとえば、セグメント予測値168、メディアアイテム予測値169)を記憶する可能性がある。ラベル付けされたメディアアイテム114の各々は、対応するラベル164を有する可能性がある。ラベル付けされたメディアアイテム114の各々は、(たとえば、再生中にユーザによって、画像の入力およびラベルの出力を用いて訓練された機械学習モデルによって)フラグを立てられた可能性がある。メディアアイテム112の各々は、対応する情報162(たとえば、合計の長さ、各セグメントの長さ、メディアアイテム識別子など)を有する可能性がある。

ユーザデバイス120およびコンテンツ所有者デバイス140は、パーソナルコンピュータ(PC)、ラップトップ、モバイル電話、スマートフォン、タブレットコンピュータ、ネットブックコンピュータ、ネットワークに接続されたテレビ(「スマートTV」)、ネットワークに接続されたメディアプレーヤー(たとえば、ブルーレイプレーヤー)、セットトップボックス、オーバーザトップ(OTT)ストリーミングデバイス、オペレータボックス(operator box)などのコンピューティングデバイスを含む可能性がある。

各ユーザデバイス120は、ユーザがメディアアイテム112の再生を実行し、メディアアイテム112にフラグを立てることを可能にするオペレーティングシステムを含む可能性がある。メディアアイテム112は、メディアビューワまたはウェブブラウザを介して提示される可能性がある。ウェブブラウザが、ウェブサーバによって提供されるコンテンツ(たとえば、ハイパーテキストマークアップ言語(HTML)ページなどのウェブページ、デジタルメディアアイテム、テキストの会話、通知など)にアクセスし、それらのコンテンツを取得し、提示し、および/またはナビゲートし得る。埋め込みメディアプレーヤー(たとえば、Flash(登録商標)プレーヤーまたはHTML5プレーヤー)が、(たとえば、オンライン売買業者によって販売される商品についての情報を提供する)ウェブページに埋め込まれる可能性があり、またはユーザデバイス120にインストールされたメディアビューワ(たとえば、モバイルアプリ)の一部である可能性がある。別の例において、メディアアイテム112は、ユーザがデジタルメディアアイテム(たとえば、デジタルビデオ、デジタルオーディオ、デジタル画像など)を閲覧することを可能にするスタンドアロンのアプリケーション(たとえば、モバイルアプリケーションまたはアプリ)を介して提示される可能性がある。

ユーザデバイス120は、再生構成要素124、フラグ立て構成要素126、およびデータストア122のうちの1つまたは複数を含む可能性がある。一部の実装において、再生構成要素124またはフラグ立て構成要素126のうちの1つまたは複数は、ユーザデバイス120上で実行されるウェブブラウザまたはアプリケーション(たとえば、モバイルアプリケーション、デスクトップアプリケーション)によって提供される可能性がある。

データストア122は、メモリ(たとえば、ランダムアクセスメモリ)、ドライブ(たとえば、ハードドライブ、フラッシュドライブ)、データベースシステム、またはデータを記憶することができる別の種類の構成要素もしくはデバイスである可能性がある。データストア122は、複数のコンピューティングデバイス(たとえば、複数のサーバコンピュータ)に広がる可能性がある複数のストレージ構成要素(たとえば、複数のドライブまたは複数のデータベース)を含む可能性がある。データストア122は、メディアアイテムキャッシュ123およびフラグキャッシュ125を含む可能性がある。

再生構成要素124は、ユーザデバイス120を介してメディアアイテム112の再生を提供する可能性がある。メディアアイテム112の再生は、再生構成要素124がメディアアイテム112の再生を要求するユーザ入力を(たとえば、ユーザデバイスによって表示されたグラフィカルユーザインターフェース(GUI)を介して)受け取り、要求をメディアアイテムサーバ110に送信することに応じる可能性がある。一部の実装において、メディアアイテムサーバ110は、ユーザデバイス120にメディアアイテム112をストリーミングする可能性がある。一部の実装において、メディアアイテムサーバ110は、ユーザデバイス120にメディアアイテム112を送信する可能性がある。再生構成要素124は、後の時点で再生する(たとえば、ネットワーク150への接続性に関係なく後で再生する)ためにメディアアイテム112をメディアアイテムキャッシュ123に記憶する可能性がある。

フラグ立て構成要素126は、メディアアイテム112にフラグを立てるためのユーザ入力を(たとえば、メディアアイテム112の再生中にGUIを介して)受け取る可能性がある。メディアアイテム112は、1つまたは複数の種類のコンテンツに関してフラグを立てられる可能性がある。ユーザ入力は、(たとえば、リストからその種類のコンテンツを選択することによって)その種類のコンテンツを示す可能性がある。ユーザ入力に基づいて、フラグ立て構成要素126は、不適切な(たとえば、性的コンテンツ、暴力的または不快なコンテンツ、憎悪に満ちたまたは侮蔑的コンテンツ、有害で危険な行為、子供虐待、テロを助長すること、スパムであることまたは誤解を招くことなどのうちの1つまたは複数を含む)、権利を侵害する、技術的な問題(たとえば、キャプションの問題など)を有する、レイティング(たとえば、対象年齢レイティングなど)を有する、広告に適する等々の種類のコンテンツを有するものとしてメディアアイテム112にフラグを立てる可能性がある。フラグ立て構成要素126は、メディアアイテム112がフラグを立てられたというインジケーションを予測システム105、予測サーバ130、データストア160などのうちの1つまたは複数に送信する可能性がある。

フラグを立てられることに応じて、メディアアイテム112は、ラベル付けされたメディアアイテム114を生成するために(たとえば、手動レビューによって)ラベル付けされる可能性がある。ラベル付けされたメディアアイテム114に関連する情報162およびラベル164は、ラベル付けされたメディアアイテム114と一緒にデータストア160に記憶される可能性がある。代替的に、ラベル付けされたメディアアイテム114は、別個のデータストアに記憶され、メディアアイテム識別子によって情報162およびラベル164に関連付けられる可能性がある。

コンテンツ所有者デバイス140は、送信構成要素144、受信構成要素146、修正構成要素148、およびデータストア142を含む可能性がある。

データストア142は、メモリ(たとえば、ランダムアクセスメモリ)、ドライブ(たとえば、ハードドライブ、フラッシュドライブ)、データベースシステム、またはデータを記憶することができる別の種類の構成要素もしくはデバイスである可能性がある。データストア142は、複数のコンピューティングデバイス(たとえば、複数のサーバコンピュータ)に広がる可能性がある複数のストレージ構成要素(たとえば、複数のドライブまたは複数のデータベース)を含む可能性がある。データストア142は、メディアアイテムキャッシュ143を含む可能性がある。

送信構成要素144は、コンテンツ所有者デバイス140に対応するコンテンツ所有者によって生成されたか、修正されたか、アップロードされるか、またはそのコンテンツ所有者に関連するメディアアイテム112を受信する可能性がある。送信構成要素144は、メディアアイテムキャッシュ143にメディアアイテム112を記憶する可能性がある。送信構成要素144は、(たとえば、メディアアイテム112をアップロードするためのコンテンツ所有者の入力に応じて)メディアアイテムサーバ110にメディアアイテム112を送信する(たとえば、アップロードする)可能性がある。

受信構成要素146は、予測サーバ130から(たとえば、予測マネージャ132によって生成された)メディアアイテム予測値169に基づくインジケーションを受信する可能性がある。受信構成要素146は、インジケーションをデータストア142に記憶する可能性がある。

修正構成要素148は、メディアアイテム予測値169に基づくインジケーションに基づいてメディアアイテム112を修正する可能性がある。たとえば、メディアアイテム112のコンテンツが不適切であるかまたは技術的な問題(たとえば、キャプション中の誤りなど)を有することを示すメディアアイテム予測値169に基づくインジケーションに応じて、修正構成要素148は、メディアアイテム112のコンテンツが修正されるようにする(たとえば、不適切なコンテンツを削除する、技術的な問題を直す)可能性がある。一部の実装においては、コンテンツが修正されるようにするために、修正構成要素148が、GUIによってコンテンツをどのようにして修正すべきかのインジケーションまたは推薦をコンテンツ所有者に提供する可能性がある。一部の実装においては、コンテンツが修正されるようにするために、修正構成要素148が、(たとえば、技術的な問題を直す、不適切なコンテンツを削除するなど)コンテンツを自動的に修正する可能性がある。

予測サーバ130は、メディアアイテム112のレビューの判断を予測することを容易にするためにネットワーク150を介してユーザデバイス120およびコンテンツ所有者デバイス140に結合される可能性がある。1つの実装において、予測サーバ130は、メディアアイテムプラットフォームの一部である可能性がある(メディアアイテムサーバ110および予測サーバ130は、同じメディアアイテムプラットフォームの一部である可能性がある)。別の実装において、予測サーバ130は、ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータなどの1つまたは複数のコンピューティングデバイスを含む独立したプラットフォームである可能性があり、メディアアイテムプラットフォームおよび/または様々なその他のプラットフォーム(たとえば、ソーシャルネットワークプラットフォーム、オンラインニュースプラットフォーム、メッセージングプラットフォーム、テレビ会議プラットフォーム、オンライン会議プラットフォームなど)によって使用され得るレビュー判断予測サービスを提供する可能性がある。

予測サーバ130は、予測マネージャ132を含む可能性がある。本開示の一部の態様によれば、予測マネージャ132は、処理される(たとえば、ユーザ入力なしに、たとえば、フラグ立て構成要素126によって提供されたインジケーションに基づいて自動的に評価される)現在のメディアアイテム116(たとえば、新たにアップロードされたメディアアイテム)を特定する可能性があり、現在のメディアアイテムのセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテム114を見つける(たとえば、ラベル付けされたメディアアイテム114のマッチグラフを生成する)ためにラベル付けされたメディアアイテム114を処理する可能性がある。(たとえば、ラベル付けされたメディアアイテム114と少なくとも部分的に合致する)現在のメディアアイテム116のセグメントの各々に関して、予測マネージャ132は、(たとえば、マッチグラフに基づいて現在のメディアアイテム116の対応するセグメントに似ているそれぞれのセグメントをそれぞれ含むそれぞれのラベル付けされたメディアアイテム114に関連するプロパティに基づいて)現在のメディアアイテム116の対応するセグメントに関連する特定のプロパティを示すセグメント予測値168を生成する可能性がある。予測マネージャ132は、現在のメディアアイテム116のセグメントの各々の生成されたセグメント予測値168に基づいて現在のメディアアイテム116に関するメディアアイテム予測値169を計算する可能性があり、計算されたメディアアイテム予測値169に基づいて現在のメディアアイテム116を処理する可能性がある。一部の実装においては、(たとえば、訓練された機械学習モデル190を介して、訓練された機械学習モデル190を用いずに)予測マネージャが、(たとえば、現在のメディアアイテム116に少なくとも部分的に合致するラベル付けされたメディアアイテム114に基づく、図4Aの表400Aに基づくなどして)マッチグラフにおいてレビューの判断(たとえば、メディアアイテム予測値169)を予測するためにベイズ推定を使用する可能性がある。

(たとえば、現在のメディアアイテム116が不適切であるかまたは技術的な問題を有するコンテンツを有することを示す)メディアアイテム予測値169に応じて、予測マネージャ132は、現在のメディアアイテム116がメディアアイテムプラットフォームを介して再生のために利用可能になることを防止されるようにする可能性がある。予測マネージャ132は、メディア予測値169に基づくインジケーションをメディアアイテムプラットフォーム(もしくは任意のその他のプラットフォームに)、または直接コンテンツ所有者デバイス140に送信する可能性があり、現在のメディアアイテム116の決定されたプロパティを示す。コンテンツ所有者デバイス140は、インジケーションを(たとえば、メディアアイテムプラットフォームからまたは予測マネージャ132から)受信し、インジケーションに基づいて現在のメディアアイテム116が修正されるようにし、修正された現在のメディアアイテムを(たとえば、メディアアイテムサーバ110、予測サーバ130、またはメディアアイテムプラットフォームに)再アップロードする可能性がある。

一部の実装において、予測マネージャ132は、訓練された機械学習モデル190を使用してメディアアイテム予測値169を決定する可能性がある。予測システム105は、予測サーバ130、サーバマシン170、またはサーバマシン180のうちの1つまたは複数を含む可能性がある。サーバマシン170～180は、(ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータなどの)1つまたは複数のコンピューティングデバイス、データストア(たとえば、ハードディスク、メモリ、データベース)、ネットワーク、ソフトウェア構成要素、またはハードウェア構成要素である可能性がある。

サーバマシン170は、機械学習モデルを訓練するためのチューニングデータ(たとえば、1組のチューニング入力および1組の目標出力)を生成することができるチューニングセットジェネレータ171を含む。サーバマシン180は、チューニングセットジェネレータ171からのチューニングデータを使用して機械学習モデル190を訓練することができるチューニングエンジン181を含む。機械学習モデル190は、本明細書において説明されるチューニング入力210および目標出力220(たとえば、目標チューニング出力)を使用して訓練される可能性がある(図2および図3C参照)。それから、訓練された機械学習モデル190は、メディアアイテム予測値169を決定するために使用される可能性がある。機械学習モデル190は、チューニング入力および対応する目標出力(それぞれのチューニング入力に関する正しい答え)を含むチューニングデータを使用してチューニングエンジン181によって生成されるモデルアーチファクト(model artifact)を参照する可能性がある。チューニング入力を目標出力(正しい答え)にマッピングするチューニングデータ内のパターンが、見つけられることが可能であり、これらのパターンを捕捉する機械学習モデル190が、提供される。機械学習モデル190は、メディアアイテム予測値169が決定された現在のメディアアイテム116のその後のラベル付けに基づいてチューニングされる可能性がある(たとえば、関連する重みが調整される可能性がある)パラメータ191(たとえば、k、f、g、構成パラメータ、ハイパーパラメータなど)を含む可能性がある。一部の実装において、パラメータ191は、以下で説明されるようにk、f、またはgのうちの1つまたは複数を含む。一部の実装において、パラメータは、現在のメディアアイテム116の対応するセグメントの長さ、現在のメディアアイテム116の長さ、または(たとえば、現在のメディアアイテム116の対応するセグメントに似ているそれぞれのセグメントをそれぞれ含む)それぞれのラベル付けされたメディアアイテム114の長さのうちの少なくとも1つを含む。

予測マネージャ132は、現在のメディアアイテム116に関連する情報(たとえば、現在のメディアアイテム116の長さ、ラベル付けされたメディアアイテム114のそれぞれのセグメントに似ている現在のメディアアイテム116のセグメントの長さ)およびラベル付けされたメディアアイテム114に関連する情報(たとえば、ラベル付けされたメディアアイテム114の長さ)を決定する可能性があり、情報を訓練された機械学習モデル190に提供する可能性がある。訓練された機械学習モデル190は、出力を生成する可能性があり、予測マネージャ132は、訓練された機械学習モデルの出力からメディアアイテム予測値169を決定する可能性がある。たとえば、予測マネージャ132は、訓練された機械学習モデル190の出力からメディアアイテム予測値169を抽出する可能性があり、現在のメディアアイテム116がメディアアイテム予測値169によって示された種類のコンテンツを含む信頼性のレベル(たとえば、メディアアイテム予測値169が手動レビューの判断を正確に予測する信頼性のレベル)を示す信頼性データを出力から抽出する可能性がある。

実装において、信頼性データは、現在のメディアアイテム116が特定のプロパティを有する(たとえば、ある種類のコンテンツを含む)信頼性のレベルを含むまたは示す可能性がある。一例において、信頼性のレベルは、0以上1以下の実数であり、0は、現在のメディアアイテム116が特定の種類のコンテンツを有する信頼性が全くないことを示し、1は、現在のメディアアイテム116が特定の種類のコンテンツを有する絶対的な信頼性を示す。

また、上述のように、限定ではなく例示を目的として、本開示の態様は、メディアアイテム112に関連する情報162を使用する機械学習モデル190の訓練および訓練され機械学習モデル190の使用を説明する。その他の実装においては、ヒューリスティックモデルまたはルールベースモデルが、現在のメディアアイテム116に関するメディアアイテム予測値169を決定するために使用される。図2のチューニング入力210に関連して説明された情報のいずれも、ヒューリスティックまたはルールベースモデルにおいて監視されるかまたはそれ以外の方法で使用される可能性があることが留意される可能性がある。

一部のその他の実装において、サーバマシン170、サーバマシン180、予測サーバ130、またはメディアアイテムサーバ110の機能は、より少ない数のマシンによって提供される可能性があることに留意されたい。たとえば、一部の実装においては、サーバマシン170および180が、単一のマシンに統合される可能性があり、一方、一部のその他の実装においては、サーバマシン170、サーバマシン180、および予測サーバ130が、単一のマシンに統合される可能性がある。さらに、一部の実装においては、サーバマシン170、サーバマシン180、および予測サーバ130のうちの1つまたは複数が、メディアアイテムサーバ110に統合される可能性がある。

概して、1つの実装においてメディアアイテムサーバ110、サーバマシン170、サーバマシン180、または予測サーバ130によって実行されるものとして説明される機能は、適切な場合、その他の実装においてはユーザデバイス120上で実行されることも可能である。たとえば、メディアアイテムサーバ110が、ユーザデバイス120にメディアアイテム112をストリーミングする可能性があり、メディアアイテム112にフラグを立てることを示すユーザ入力を受け取る可能性がある。

概して、1つの実装においてユーザデバイス120上で実行されるものとして説明される機能は、適切な場合、その他の実装においてはメディアアイテムサーバ110または予測サーバ130によって実行されることも可能である。たとえば、メディアアイテムサーバ110が、ユーザデバイス120にメディアアイテム112をストリーミングする可能性があり、メディアアイテム112にフラグを立てることを受け取る可能性がある。

加えて、特定の構成要素に帰せられる機能が、一緒に動作する異なるまたは複数の構成要素によって実行されることが可能である。メディアアイテムサーバ110、サーバマシン170、サーバマシン180、または予測サーバ130は、適切なアプリケーションプログラミングインターフェース(API)を通じてその他のシステムまたはデバイスに提供されるサービスとしてアクセスされることも可能であり、したがって、ウェブサイトおよびアプリケーションにおける使用に限定されない。

本開示の実装において、「ユーザ」は、1人の個人として表される可能性がある。しかし、本開示のその他の実装は、「ユーザ」が1組のユーザによって制御されるエンティティおよび/または自動化されたソースであることを包含する。たとえば、ソーシャルネットワーク内のコミュニティとして連合させられた1組の個人ユーザが、「ユーザ」とみなされる可能性がある。別の例においては、自動化された消費者が、アプリケーション配信プラットフォームの自動化された摂取パイプライン(ingestion pipeline)である可能性がある。

本開示の実装がメディアアイテムサーバ110、予測サーバ130、およびメディアアイテムプラットフォームの観点で検討されるが、実装は、概して、コンテンツおよびユーザ間のつながりを提供する任意の種類のプラットフォームにも適用される可能性がある。

上の説明に加えて、ユーザは、本明細書において説明されるシステム、プログラム、または特徴がユーザ情報(たとえば、ユーザのソーシャルネットワーク、社会的行為もしくは活動、職業、ユーザのプリファレンス、またはユーザの現在位置に関する情報)の収集を可能にしてもよいかどうかといつ有効化してもよいかとの両方、およびユーザがコンテンツまたは通信をサーバ(たとえば、メディアアイテムサーバ110または予測サーバ130)から送信されるかどうかについての選択をユーザが行うことを可能にするコントロールを提供される可能性がある。さらに、特定のデータが、個人を特定できる情報が削除されるように、記憶されるかまたは使用される前に1つまたは複数の方法で処理される可能性がある。たとえば、ユーザのアイデンティティ(identity)が、個人を特定できる情報がユーザに関して決定されることが不可能であるか、または位置情報が取得される場合にユーザの地理的位置が(都市、郵便番号、もしくは州のレベルなどに)一般化される可能性があり、したがって、ユーザの特定の位置が決定されることが不可能であるように処理される可能性がある。したがって、ユーザは、どの情報がユーザについて収集されるのか、情報がどのように使用されるのか、およびどの情報がユーザに提供されるのかを制御することができる可能性がある。

図2は、本開示の実装による、情報を使用して機械学習モデルのためのチューニングデータを生成するための例示的なチューニングセットジェネレータである。システム200は、チューニングセットジェネレータ171、チューニング入力210、および目標出力220(たとえば、目標チューニング出力)を示す。システム200は、図1に関連して説明されたシステム100と同様の構成要素を含む可能性がある。図1のシステム100に関連して説明された構成要素が、図2のシステム200を説明するのを助けるために使用される可能性がある。

実装において、チューニングセットジェネレータ171は、1つまたは複数のチューニング入力210および1つまたは複数の目標出力220を含むチューニングデータを生成する。チューニングデータは、チューニング入力210を目標出力220にマッピングするマッピングデータも含む可能性がある。チューニング入力210は、「特徴」、「属性」、または「情報」とも呼ばれる可能性がある。一部の実装において、チューニングセットジェネレータ171は、チューニングセットのチューニングデータを提供し、チューニングセットをチューニングエンジン181に提供する可能性があり、チューニングセットは、機械学習モデル190を訓練するために使用される。チューニングセットを生成する一部の実装が、図3Cに関連したさらに説明される可能性がある。

1つの実装において、チューニング入力210は、現在のメディアアイテム116および現在のメディアアイテム116のセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含む1つまたは複数のラベル付けされたメディアアイテム114に関連付けられる情報162を含む可能性がある。現在のメディアアイテム116に関して、情報162は、現在のメディアアイテム116のセグメント214Aの長さ212A、現在のメディアアイテム116のセグメント214Bの長さ212Bなど(以降、セグメント214の長さ212)ならびに現在のメディアアイテム116の長さ216を含む可能性がある。それぞれのラベル付けされたメディアアイテム114に関して、情報162は、ラベル付けされたメディアアイテム114の長さ218を含む可能性がある。

実装において、目標出力220は、現在のメディアアイテム116の生成されたラベル164を含む可能性がある。一部の実装において、生成されたラベル164は、現在のメディアアイテム116の手動レビューによって生成された可能性がある。一部の実装において、生成されたラベル164は、現在のメディアアイテム116の自動レビューによって生成された可能性がある。

一部の実装において、チューニングセットを生成し、チューニングセットを使用して機械学習モデル190を訓練した後、機械学習モデル190は、現在のメディアアイテム116に関する生成されたラベル164を使用してさらに訓練され(たとえば、チューニングセットのための追加のデータ)または調整される(たとえば、パラメータ191の重みを調整する)可能性がある。

図3A～図3Dは、本開示の実装による、メディアアイテムのレビューの判断を予測するための方法300、320、340、および360の説明のための例に関する流れ図を示す。方法300、320、340、および360は、予測システム105(たとえば、サーバマシン170、サーバマシン180、もしくは予測サーバ130のうちの1つもしくは複数)(たとえば、および/またはメディアアイテムプラットフォームもしくはメディアアイテムサーバ110)の観点から見た例示的な方法である。方法300、320、340、および360は、ハードウェア(たとえば、回路、専用論理)、(多目的コンピュータシステムもしくは専用マシン上で実行されるような)ソフトウェア、またはこれら両方の組合せを含む可能性がある処理デバイスによって実行される可能性がある。方法300、320、340、および360ならびにそれらの個々の機能、ルーチン、サブルーチン、または動作の各々は、方法を実行するコンピュータデバイスの1つまたは複数のプロセッサによって実行される可能性がある。特定の実装において、方法300、320、340、および360の各々は、単一の処理スレッドによって実行される可能性がある。代替的に、方法300、320、340、および360の各々は、2つ以上の処理スレッドによって実行される可能性があり、各スレッドが、方法の1つまたは複数の個々の機能、ルーチン、サブルーチン、または動作を実行する。

説明を簡単にするために、本開示の方法は、一連の行為として示され、説明される。しかし、本開示による行為は、様々な順序でおよび/または同時に、ならびに本明細書において提示および説明されないその他の行為とともに行われ得る。さらに、開示される対象による方法を実施するために、示されるすべての行為が必要とされるわけではない可能性がある。加えて、当業者は、方法が、代替的に状態図による一連の相互に関連した状態またはイベントとして表される可能性があることを理解し、認識するであろう。その上、本明細書において開示される方法は、そのような方法をコンピューティングデバイスに運び、転送することを容易にするための製品に記憶され得ることを理解されたい。本明細書において使用される用語「製品」は、任意のコンピュータ可読デバイスまたはストレージ媒体からアクセス可能なコンピュータプログラムを包含するように意図される。たとえば、非一時的機械可読ストレージ媒体が、実行されるときに(たとえば、予測システム105、メディアアイテムサーバ110、ユーザデバイス120、予測サーバ130、コンテンツ所有者デバイス140、サーバマシン170、サーバマシン180、メディアアイテムプラットフォームなどの)処理デバイスに本明細書において開示される方法を含む動作を実行させる命令を記憶する可能性がある。別の例において、システムは、命令を記憶するためのメモリと、メモリに通信可能なように結合された処理デバイスとを含み、処理デバイスは、本明細書において開示される方法を実行するための命令を実行する。1つの実装において、方法300、320、340、および360は、図1の予測システム105によって実行される可能性がある。

図3Aを参照すると、方法300は、メディアアイテムのレビューの判断を予測するために予測サーバ130の1つまたは複数の処理デバイスによって実行される可能性がある。方法300は、予測サーバ130の1つまたは複数の処理デバイス上で実行されるアプリケーションまたはバックグラウンドスレッドによって実行される可能性がある。一部の実装においては、方法300の1つまたは複数の部分が、予測システム105、メディアアイテムサーバ110、予測サーバ130(たとえば、予測マネージャ132)、またはメディアアイテムプラットフォームのうちの1つまたは複数によって実行される可能性がある。

ブロック302において、処理デバイスは、処理される現在のメディアアイテム116を特定する。たとえば、現在のメディアアイテム116は、メディアアイテムプラットフォームを介して再生するために利用可能にされるようにコンテンツ所有者デバイス140によってアップロードされた可能性がある。一部の実装において、現在のメディアアイテム116は、既にレビューされ(ラベル164に関連付けられ)ており、現在のメディアアイテム116は、ラベル164を更新または確認するために(たとえば、方法300によって)さらなる処理にかけられるものとして特定される。一部の実装において、メディアアイテム116は、(たとえば、再生中にユーザデバイス120によって、画像およびラベル164を用いて訓練された機械学習モデルによって)フラグを立てられており、現在のメディアアイテム116は、(たとえば、方法300によって)さらなる処理にかけられるように特定される。一部の実装において、現在のメディアアイテム116は、処理されるメディアアイテムのキューの中の次のメディアアイテムである。

ブロック304において、処理デバイスは、現在のメディアアイテム116のセグメントのうちの1つに似ている(たとえば、合致する、実質的に同じである)少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するためにラベル付けされたメディアアイテム114を処理する。たとえば、現在のメディアアイテム116のフレームが、ラベル付けされたメディアアイテム114のフレームと比較される可能性がある(たとえば、現在のメディアアイテム116のフレームが、ラベル付けされたメディアアイテム114のフレームのインデックスと比較される)。処理デバイスは、ラベル付けされたメディアアイテム114の第1のセグメントおよび現在のメディアアイテム116の第2のセグメントが縁もしくは枠を有する、および/または反転される、および/または速度を上げられるもしくは速度を下げられる、および/または雑音(static)を有する、および/または異なる品質を有するなどの1つをするとしてもそれらのセグメントが似ている(たとえば、合致する、実質的に似ている)と判定する可能性がある。処理デバイスは、現在のメディアアイテム116のフレームまたはオーディオセグメントの少なくとも一部がラベル付けされたメディアアイテム114のフレームまたはオーディオセグメントの少なくとも一部と合致すると判定する可能性がある。処理デバイスは、セグメントの各々がラベル付けされたメディアアイテム114の1つまたは複数のセグメントと少なくとも部分的に合致する場合に現在のメディアアイテム116のセグメントを特定する可能性がある。処理デバイスは、現在のメディアアイテム116(V)をセグメントSに分割する可能性があり(たとえば、V=S₁+...+S_k)、隣接するセグメントは、異なるクラスタに属するかまたはいかなるクラスタにも属さない。

ブロック306において、処理デバイスは、現在のメディアアイテム116のセグメントの各々に関して、それぞれのラベル付けされたメディアアイテム114に関連するプロパティに基づいて現在のメディアアイテム116の対応するセグメントに関連する特定のプロパティを示すセグメント予測値168を生成する。処理デバイスは、肯定的な予測(たとえば、セグメントが「肯定的レビュー」ラベルを有する1つまたは複数のラベル付けされたメディアアイテムに似ている)と否定的な予測(たとえば、セグメントが「否定的レビュー」ラベルを有する1つまたは複数のラベル付けされたメディアアイテムとやはり似ている)とを組み合わせる可能性がある。セグメントが(「良い」とラベル付けされた)「肯定的レビュー」ラベルを有する1つまたは複数のラベル付けされたメディアアイテムおよび(「悪い」とラベル付けされた)「否定的レビュー」ラベルを有する1つまたは複数のメディアアイテムに似ていると判定することは、セグメントに関するマッチグラフを決定することにあるとみなされる可能性がある。マッチグラフにおいて(たとえば、ラベル付けされたメディアアイテム114のそれぞれのセグメントに似ている1つまたは複数のセグメントを有する)現在のメディアアイテム116のレビューの判断(たとえば、セグメント予測値168に基づくメディアアイテム予測値169)を予測するために、ベイズ推定が使用される可能性がある。

メディアアイテム(V)に関して、以下の値が、(たとえば、図4Aの表400Aに基づいて)使用される可能性がある。

- ビデオVが「否定的レビュー」ラベルを持っているべきであるという仮説

-

の事前確率～(20+4)/(20+4+75+1)=24%

- ビデオVが「否定的レビュー」ラベルを有する事象

-

の周辺尤度～21%

- Vが「否定的レビュー」ラベルを持っているべきであるという仮説の下でVが「否定的レビュー」ラベルを有する確率～20/24≒83%

- Vが「否定的レビュー」ラベルを有すると仮定してVが「否定的レビュー」ラベルを持っているべきである確率～20/21≒95%

これらの値は、(たとえば、ベイズの公式により)次の式によって結びつけられる可能性がある。

この式が、表400Aの値を使用することによって検証される可能性がある。
20/21=24/100*20/24*100/21

方法300は、ラベル付けされたメディアアイテム114(たとえば、事象Eによって表される以前のレビュワーの判断)のラベル164(事象E)に基づいてメディアアイテム予測値169を予測する(たとえば、メディアアイテムが「肯定的レビュー」ラベルを持っているべきかまたは「否定的レビュー」ラベルを持っているべきかを予測する)可能性がある。メディアアイテムが互いに素なセグメントS₁、...、S_kを含む場合、メディアアイテムVが「肯定的レビュー」ラベルを持っているべきである確率は、セグメントの確率の積である。

メディアアイテム112は、メディアアイテム112のあらゆるセグメントがある種類のコンテンツを含まない場合にのみその種類のコンテンツを含まないものとしてラベル付けされるべきである(たとえば、メディアアイテム112は、メディアアイテム112のあらゆる部分が「肯定的レビュー」ラベルを有する場合にのみ「肯定的レビュー」ラベルを有する)。この式は、証拠(evidence)が存在しない場合にも成り立つ。

式中、

は定数(たとえば、パラメータ191、情報がない場合に任意のメディアアイテムが「否定的レビュー」ラベルを持っているべき確率)である。メディアアイテム112がある種類のコンテンツを含む(たとえば、メディアアイテム112が「否定的レビュー」ラベルを有する)(事前)確率がメディアアイテム112の長さと無関係であるという仮定の下で、現在のメディアアイテム116(たとえば、検討中のメディアアイテム112)のセグメントがその種類のコンテンツを含む(たとえば、「否定的レビュー」ラベルを有する)(事前)確率は、セグメントの短い長さによって指数関数的に減少している。(たとえば、「否定的レビュー」ラベルを有するラベル付けされたメディアアイテム114のそれぞれのセグメントに合致する)現在のメディアアイテム116のセグメントが短いほど、現在のメディアアイテム116が「否定的レビュー」ラベルを持っているべき確率は低くなる可能性がある。

ある種類のコンテンツを含む(たとえば、「否定的レビュー」ラベルを有する)ものとしてラベル付けされるラベル付けされたメディアアイテム116は、メディアアイテムAと呼ばれる可能性があり、ある種類のコンテンツを含まないものとしてラベル付けされる(たとえば、「肯定的レビュー」ラベルを有する)ラベル付けされたメディアアイテム116は、メディアアイテムOと呼ばれる可能性がある。

現在のメディアアイテム116(V)のセグメント(S)が、ある種類のコンテンツを含むものとしてラベル付けされたラベル付けされたメディアアイテム114(A)に似ている(たとえば、合致する)可能性がある(たとえば、VとAとの両方がSを含む)。

との間の関係は、

を用いて

を推定することによって表される可能性がある。

は、次の式によって表される可能性がある。

は、(表400Aの値を使用すると)約6.3%の倍数因子(multiplicative factor)である可能性がある。影響のこの推定は、SがAのすべてを包含する場合、正確である可能性が高い。SがAのすべてを包含しない場合、Aの一部分がSによって包含されることが、指数として考慮に入れられる可能性がある。Sが両方ともAの異なる部分に合致する2つのセグメントS₁およびS₂に分割されることに応じて、結果として得られる確率が乗算され、したがって、因子は、下の式に示されるように指数として使用される可能性がある。

式中、fは、定数因子

である。一部の実装において、fは、影響因子(impact factor)であり、ラベル付けされたメディアアイテム(A)に固有である。たとえば、85%の合致は、9.5%の影響を有し、50%の合致は、25%の影響を有し、10%の合致は、76%の影響を有するなどである。

ラベル付けされたメディアアイテム114がある種類のコンテンツを含まない(たとえば、「肯定的レビュー」ラベルを有する)ものとしてラベル付けされることに応じて、ラベル付けされたメディアアイテム114のセグメントも、その種類のコンテンツを含まない(たとえば、「肯定的レビュー」ラベルをやはり有する)。長いメディアアイテム112に関しては、(たとえば、レビュワーがメディアアイテム112のすべてを考慮すべきであることを示す信号がない場合)レビュワーがメディアアイテム112のすべてを考慮するとは考えにくい可能性がある。

は、次の式に示される可能性がある。

定数gは、ラベル付けされたメディアアイテム(O)に固有である可能性がある。ある種類のコンテンツを含むものとしてラベル付けされたラベル付けされたメディアアイテム114のセグメントに似ていることに基づくセグメント(S)がその種類のコンテンツを含まない確率(x)(たとえば、xは、「否定的レビュー」ラベルに基づくSが「肯定的レビュー」ラベルを持っているべきである確率である)は、下の式によって表される可能性がある。

ある種類のコンテンツを含まないものとしてラベル付けされたラベル付けされたメディアアイテム114のセグメントに似ていることに基づくセグメント(S)がその種類のコンテンツを含む確率(y)(たとえば、yは、「肯定的レビュー」ラベルに基づくSが「否定的レビュー」ラベルを持っているべきである確率である)は、下の式によって表される可能性がある。

これらの確率は、図4Bの表400Bに基づいて組み合わされる可能性がある。2つの独立した証拠が存在し、4つの確率が存在し、それらの確率のうちの2つ(たとえば、表400Bの斜線のセル)は、除外される可能性がある。

セグメント(S)がその種類のコンテンツを含まない(たとえば、ラベル164に関連する特定のプロパティを有する)結果として得られる確率(Sが「肯定的レビュー」ラベルを持っているべきである結果として得られる確率)は、下の式によって示される可能性がある。

予測が同じである場合(つまり、x=1-yである場合)、式は、x²/(x²+(1-x)²)(たとえば、シグモイド関数)になる。y=1/2である場合、式は、

になる。x=1/2である場合、式は、1-yになる。

その種類のコンテンツを含まないものとしてラベル付けされたラベル付けされたメディアアイテム114に似ているセグメント(S)がない場合(たとえば、「肯定的レビュー」ラベルがない場合)、セグメント(S)がその種類のコンテンツを含む(たとえば、「否定的レビュー」ラベルを持っているべきである)という仮説の事前確率は、2分の1である可能性がある(たとえば、

)。

であり、セグメント(S)がその種類のコンテンツを含まないものとしてラベル付けされたラベル付けされたメディアアイテム114に似ているだけである(たとえば、「肯定的レビュー」ラベルのみが存在する)場合、

であり、

であり、

が100%に近い場合、

は

に極めて近い(たとえば、

が>95%である場合、誤差は、1%未満である)。

一部の実装においては、レビュー

を有する各セグメントS_iに関して、xおよびyが、以下のように計算される。

(yの中の因子

は、それが「肯定的レビュー」ラベルと「否定的レビュー」ラベルとを組み合わせることに関して中立的であることに起因する)

そして、

とする。

レビューがない場合、これは、

となる。その他の実装においては、「肯定的レビュー」ラベルおよび「否定的レビュー」ラベルに基づくxおよびyの確率が、その他の方法で組み合わされる可能性がある。

ブロック308において、処理デバイスは、現在のメディアアイテム116のセグメントの各々の生成されたセグメント予測値168に基づいて現在のメディアアイテム116に関するメディアアイテム予測値169(たとえば、組み合わされた確率)を計算する。セグメント予測値168は、次の式によって現在のメディアアイテム116全体に関するメディアアイテム予測値169へと組み合わされる可能性がある。

一部の実装において、メディアアイテム予測値169は、現在のメディアアイテム116がその種類のコンテンツまたはプロパティを含まない確率(たとえば、「肯定的レビュー」ラベルを持っているべきである確率)を示す可能性がある。たとえば、メディアアイテム予測値169は、現在のメディアアイテム116がその種類のコンテンツまたはプロパティを含まない90%の確率を有することを示す可能性がある。一部の実装において、セグメント予測値168およびメディアアイテム予測値169は、その種類のコンテンツまたはプロパティを含む相対的確率を示すスコアである可能性がある。たとえば、第1の現在のメディアアイテムの第1のメディアアイテム予測値が、より大きな最終スコアを示す可能性があり、第2の現在のメディアアイテムの第2のメディアアイテム予測値が、より小さな最終スコアを示す可能性がある。比較的大きな最終スコアは、第1の現在のメディアアイテムが第2の現在のメディアアイテムよりもその種類のコンテンツを含む可能性が高いことを示す。一部の実装において、セグメント予測値168は、メディアアイテム予測値169を計算するために掛け合わされる。一部の実装において、セグメント予測値168は、(たとえば、乗算の代わりに、乗算と組み合わせてなど)1つまたは複数のその他の演算を使用して組み合わされる。一部の実装において、セグメント予測値168は、現在のメディアアイテム116に関する以前の予測値(たとえば、現在のメディアアイテム116の以前のレビューによって生成された確率またはスコア)と1つまたは複数の演算(たとえば、乗算など)によって組み合わされる。

例では、ブロック304において、処理デバイスが、現在のメディアアイテム116の第1のセグメント(たとえば、0～15秒)が第1のラベル付けされたメディアアイテム114Aの第1の対応するセグメントに合致し、現在のメディアアイテム116の第2のセグメント(たとえば、0～30秒)が第2のラベル付けされたメディアアイテム114Bの第2の対応するセグメントに合致し、第1のセグメントが、第2のセグメントのサブセグメントであると判定する可能性がある。現在のメディアアイテム116の第2のセグメントは、現在のメディアアイテム116の第1のセグメントおよび第3のセグメントを含む可能性がある。ブロック306において、処理デバイスは、第1のラベル付けされたメディアアイテム114Aの第1のそれぞれのラベル164Aおよび第2のラベル付けされたメディアアイテム114Bの第2のそれぞれのラベル164Bに基づいて第1のセグメントを処理する(たとえば、第1のセグメントに関する第1のラベルを示す第1のセグメント予測値を生成する)可能性がある。ブロック306において、処理デバイスは、第2のラベル付けされたメディアアイテム114Bの第2のそれぞれのラベル164Bに基づいて第2のセグメントを処理する(たとえば、第1のセグメントに関する第2のラベルを示す第2のセグメント予測値を生成する)可能性がある。ブロック308において、処理デバイスは、生成された第1のセグメント予測値168および生成された第2のセグメント予測値168に基づいてメディアアイテム予測値169を計算する可能性がある。

ブロック310において、処理デバイスは、メディアアイテム予測値169に基づいて現在のメディアアイテム116が処理されるようにする。たとえば、処理デバイスは、現在のメディアアイテム116の処理を開始するためにメディアアイテムプラットフォームにメディアアイテム予測値169(またはメディアアイテム予測値169に関連する情報)を提供することができる。代替的に、処理デバイスは、メディアアイテム予測値169に基づいて現在のメディアアイテム116の処理をその処理デバイス自体で実行し得る。一部の実装において、現在のメディアアイテム116の処理は、メディアアイテム予測値169に基づいて現在のメディアアイテム116にポリシーを適用することを含む(たとえば、再生を防止する、再生を適用する、レビューするために送信するなど)。一部の実装においては、メディアアイテム予測値169に基づく現在のメディアアイテム116の処理が、図3Bによって示される。一部の実装において、処理デバイスは、1つまたは複数のメディアアイテム(たとえば、広告、インタースティシャルメディアアイテム)が現在のメディアアイテム116の再生に関連付けられるようにする(たとえば、現在のメディアアイテム116の再生と連動して追加のメディアアイテムの再生を引き起こす)可能性がある。一部の実装において、処理デバイスは、メディアアイテム予測値169に基づいて現在のメディアアイテム116に関連するコンテンツ所有者デバイス140にインジケーションが送信されるようにする可能性がある(たとえば、現在のメディアアイテム116の問題などを示す)。一部の実装において、処理デバイスは、メディアアイテム予測値169に基づいて現在のメディアアイテム116を修正するかまたは現在のメディアアイテム116が修正されるようにする可能性がある。一部の実装において、処理デバイスは、メディアアイテム予測値169に基づいてラベル164を現在のメディアアイテム116と関連付ける。

一部の実装において、処理デバイスは、レビュー(たとえば、手動レビュー)のために現在のメディアアイテム116を送信する可能性があり、1つまたは複数のレビューの判断(たとえば、手動レビューの判断)を受信する可能性がある。処理デバイスは、(たとえば、再訓練によって、フィードバックループによって)レビューの判断に基づいてk、f_i、およびg_i(たとえば、パラメータ191)がチューニングされるようにする可能性がある。一部の実装において、チューニングは、曲線下面積(AUC)を最適化する。一部の実装において、チューニングは、再現率(recall)の特定の点における適合率(precision)を最適化する。

図3Bを参照すると、方法320は、レビューの判断を予測するために予測システム105および/またはメディアアイテムプラットフォームの1つまたは複数の処理デバイスによって実行される可能性がある。方法320は、メディアアイテム予測値169に基づいて現在のメディアアイテム116を処理するために使用される可能性がある。一部の実装において、図3Aのブロック310は、方法320を含む。方法320は、予測システム105および/またはメディアアイテムプラットフォームの1つまたは複数の処理デバイス上で実行されるアプリケーションまたはバックグラウンドスレッドによって実行される可能性がある。本明細書において説明されるように、閾値条件は、閾値メディアアイテム予測値、確率、スコア、信頼性のレベルなどのうちの1つまたは複数である可能性がある。たとえば、第1の閾値条件は、99%以上のメディアアイテム予測値である可能性がある。一部の実装において、閾値条件は、閾値メディアアイテム予測値、確率、スコア、信頼性のレベルなどのうちの1つまたは複数の組合せである可能性がある。たとえば、第1の閾値条件は、第1のメディアアイテム予測値および信頼性の閾値のレベルを満たすことである可能性がある。

ブロック322において、処理デバイスは、計算されたメディアアイテム予測値169が第1の閾値条件を満たすかどうかを判定する。計算されたメディアアイテム予測値169が第1の閾値条件を満たすことに応じて、フローは、ブロック324に続く。計算されたメディアアイテム予測値169が第1の閾値条件を満たさないことに応じて、フローは、ブロック326に続く。

ブロック324において、処理デバイスは、メディアアイテムプラットフォームを介した現在のメディアアイテム116の再生を防止する。たとえば、メディアアイテム予測値169が現在のメディアアイテム116が(たとえば、不適切である、技術的な問題を有する、コンテンツ所有者の権利を侵害するなどの)ある種類のコンテンツを含む第1の確率を満たす(たとえば、99%以上の確率である)場合、現在のメディアアイテム116は、メディアアイテムプラットフォームによってブロックされる可能性がある。一部の実装においては、その種類のコンテンツ(たとえば、不適切、技術的な問題、侵害など)のインジケーションが、現在のメディアアイテム116をアップロードしたコンテンツ所有者デバイス140に送信される可能性がある。コンテンツ所有者デバイスは、現在のメディアアイテム116を修正し(たとえば、または置き換え)、修正された(または新しい)メディアアイテム112をアップロードする可能性がある。

ブロック326において、処理デバイスは、計算されたメディアアイテム予測値168が第2の閾値条件を満たすかどうかを判定する。計算されたメディアアイテム予測値168が第2の閾値条件を満たすことに応じて、フローは、ブロック328に続く。計算されたメディアアイテム予測値168が第2の閾値条件を満たさないことに応じて、フローは、ブロック330に続く。

ブロック328において、処理デバイスは、メディアアイテムプラットフォームを介したメディアアイテムの再生を許す。たとえば、メディアアイテム予測値169が現在のメディアアイテム116が(たとえば、不適切である、技術的な問題を有する、コンテンツ所有者の権利を侵害するなどの)ある種類のコンテンツを含む第2の確率を満たす(たとえば、50%以下の確率である)場合、現在のメディアアイテム116の再生が、許される可能性がある(たとえば、現在のメディアアイテム116が、メディアアイテムプラットフォームを介して再生のためにアクセス可能にされる可能性がある)。一部の実装においては、現在のメディアアイテム116の再生がメディアアイテムプラットフォームを介して許されるというインジケーションが、現在のメディアアイテム116をアップロードしたコンテンツ所有者デバイス140に送信される可能性がある。

ブロック330において、処理デバイスは、計算されたメディアアイテム予測値169が第3の閾値条件を満たすかどうかを判定する。計算されたメディアアイテム予測値169が第3の閾値条件を満たすことに応じて、フローは、ブロック332に続く。計算されたメディアアイテム予測値169が第3の閾値条件を満たさないことに応じて、フローは、終了する。

ブロック332において、処理デバイスは、再生がメディアアイテムプラットフォームを介して許されるべきであるかどうかを示すラベル164を生成するために現在のメディアアイテム116がレビューされるようにする。一部の実装において、第3の閾値条件は、第1の閾値条件と第2の閾値条件との間(たとえば、第1の閾値条件よりも低い確率および第2の閾値条件よりも高い確率、たとえば、50～99%の確率)である。処理デバイスが、現在のメディアアイテム116が手動でレビューされるようにする可能性がある。

ブロック334において、処理デバイスは、現在のメディアアイテム116に関する生成されたラベル164を受信する。処理デバイスは、メディアアイテム予測値169が第3の閾値条件を満たすことに応じて現在のメディアアイテム116を手動でレビューしたユーザ(たとえば、メディアアイテムプラットフォームの管理者)によって生成された生成されたラベル164を受信する可能性がある。

一部の実装では、ブロック336において、処理デバイスが、生成されたラベル164に基づいてセグメント予測値168を生成するための(たとえば、モデル190のパラメータ191の)重みを調整する(たとえば、訓練された機械学習モデル190を再チューニングする)。

ブロック338において、処理デバイスは、生成されたラベル164が再生を許すことを示すかどうかを判定する。生成されたラベル164が再生を許すことを示すことに応じて、フローは、ブロック328に続く。生成されたラベル164が再生を許さないことを示すことに応じて、フローは、ブロック324に続く。

図3Cを参照すると、方法340は、レビューの判断を予測するために予測システム105の1つまたは複数の処理デバイスによって実行される可能性がある。予測システム105は、本開示の実装によって機械学習モデルを訓練するために方法340を使用する可能性がある。1つの実装において、方法340の一部のまたはすべての動作は、図1のシステム100の1つまたは複数の構成要素によって実行される可能性がある。その他の実装において、方法340の1つまたは複数の動作は、図1～図2に関連して説明されたサーバマシン170のチューニングセットジェネレータ171によって実行される可能性がある。

方法340は、機械学習モデルのためのチューニングデータを生成する。一部の実装では、ブロック342において、方法300を実施する処理論理が、データセット(たとえば、チューニングセット)Tを空セットに初期化する。

ブロック344において、処理論理は、現在のメディアアイテム116のセグメント214の各々に関して、対応するセグメント214の長さ212、現在のメディアアイテム116の長さ216、および(現在のメディアアイテム116のセグメントに似ているセグメントを有する)それぞれのラベル付けされたメディアアイテム114の長さ218を含むチューニング入力を生成する。

ブロック346において、処理論理は、チューニング入力のうちの1つまたは複数に関する目標出力を生成する。目標出力は、現在のメディアアイテム116のラベル164を含む可能性がある。一部の実装において、ラベル164は、図3Bのブロック334において受信される可能性がある。

ブロック348において、処理論理は、任意で、入力/出力マッピングを示すマッピングデータ(たとえば、現在のメディアアイテム116のラベル164にマッピングされた現在のメディアアイテム116に関連する情報162)を生成する。入力/出力マッピング(またはマッピングデータ)は、チューニング入力(たとえば、本明細書において説明されるチューニング入力のうちの1つまたは複数)、チューニング入力に関する目標出力(たとえば、目標出力は、それぞれの送信を取り消すためのユーザのプリファレンスのインジケーションを特定する)、およびチューニング入力と目標出力との間の関連付けを指す可能性がある。

ブロック350において、処理論理は、ブロック342において初期化されたデータセットTにマッピングデータを追加する。

ブロック352において、処理論理は、チューニングセットTが機械学習モデル190を訓練するのに十分であるかどうかに基づいて分岐する。十分である場合、実行はブロック354に進み、そうでない場合、実行はブロック344に戻って継続する。一部の実装において、チューニングセットTの十分性は、単純にチューニングセット内の入力/出力マッピングの数に基づいて判定される可能性があるが、一部のその他の実装において、チューニングセットTの十分性は、入力/出力マッピングの数に加えてまたは入力/出力マッピングの数の代わりに1つまたは複数のその他の基準(たとえば、チューニング例の多様性の尺度、正解率(accuracy)など)に基づいて判定される可能性があることに留意されたい。

ブロック354において、処理論理は、機械学習モデル190を訓練するためのチューニングセットTを提供する。1つの実装において、チューニングセットTは、モデル190の訓練または再訓練を実行するためにサーバマシン180のチューニングエンジン181に提供される。一部の実装において、モデルの訓練または再訓練は、モデル190のパラメータ191の重みを調整することを含む(図3Bのブロック336参照)。ブロック354の後、機械学習モデル190は、チューニングセットTに基づいて訓練されるかまたは再訓練される可能性があり、訓練された機械学習モデル190は、現在のメディアアイテム116に関するレビューの判断を予測するために(たとえば、予測マネージャ132によって)実施される可能性がある。

図3Dを参照すると、方法360は、レビューの判断を予測するために予測システム105の1つまたは複数の処理デバイスによって実行される可能性がある。方法360は、レビューの判断を予測するために使用される可能性がある。方法360は、予測システム105(たとえば、予測マネージャ132)の1つまたは複数の処理デバイス上で実行されるアプリケーションまたはバックグラウンドスレッドによって実行される可能性がある。

ブロック362において、処理デバイスは、現在のメディアアイテム116のセグメント214の各々に関して、対応するセグメント214の長さ212、現在のメディアアイテム116の長さ216、およびそれぞれのラベル付けされたメディアアイテム114の長さ218を訓練された機械学習モデル190に提供する。訓練された機械学習モデル190は、図3Cの方法340によって訓練される可能性がある。訓練された機械学習モデル190は、方法の図3Aのブロック306～308のうちの1つまたは複数を実行する可能性がある。たとえば、訓練された機械学習モデルは、ブロック362において提供されたチューニング入力およびパラメータ191に基づいてセグメント予測値168を決定する可能性がある。一部の実装において、訓練された機械学習モデルは、メディアアイテム予測値169を生成するためにセグメント予測値168を処理する(たとえば、セグメント予測値168を掛け合わせる、セグメント予測値168を組み合わせる)可能性がある。

ブロック364において、処理デバイスは、訓練された機械学習モデル190から1つまたは複数の出力を取得する可能性がある。ブロック366において、処理デバイスは、1つまたは複数の出力に基づいて、現在のメディアアイテム116に関するメディアアイテム予測値169を決定する可能性がある。一部の実装において、処理デバイスは、1つまたは複数の出力から、メディアアイテム予測値169が生成されたラベル164(たとえば、現在のメディアアイテム116の手動レビューに応じて受信されたラベル164)に対応する信頼性のレベルを抽出する可能性がある。

図4A～図4Bは、本開示の実装によってメディアアイテム112のレビューの判断を予測することに関連する表400を示す。本明細書において使用されるとき、用語「肯定的レビュー」(たとえば、良いとレイティングされる、実際に良い、良いレビューなど)および「否定的レビュー」(悪いとレイティングされる、実際に悪い、悪いレビュー)は、メディアアイテム112のプロパティまたはラベル164を示す可能性がある。一部の実装において、「否定的レビュー」は、メディアアイテム112が(たとえば、不適切である、技術的な問題を有する、他者の権利を侵害するなどの)ある種類のコンテンツまたはプロパティを含むことを示すラベルである可能性があり、「肯定的レビュー」は、その種類のコンテンツまたはプロパティがないことを示すラベルである可能性がある。一部の実装において、メディアアイテム112は、複数のラベルに同時に関連付けられる可能性がある。たとえば、メディアアイテム112の第1のラベルが、対象年齢レイティング(たとえば、13歳以上)を示す可能性があり、メディアアイテムの第2のラベルが、メディアアイテム112が特定の広告に適することを示す可能性があり、メディアアイテム112の第3のラベルが、特定の技術的な問題(たとえば、キャプションの問題)を示す可能性があり、以下同様である。ラベルは、不適切な(たとえば、性的コンテンツ、暴力的または不快なコンテンツ、憎悪に満ちたまたは侮蔑的コンテンツ、有害で危険な行為、子供虐待、テロを助長すること、スパムであることまたは誤解を招くことなどのうちの1つまたは複数を含む)、権利を侵害する、技術的な問題(たとえば、キャプションの問題など)を有する、レイティング(たとえば、対象年齢レイティングなど)を有する、広告に適する等々の特定の種類のコンテンツを示す可能性がある。

図4Aは、本開示の実装によるメディアアイテム112(たとえば、ラベル付けされたメディアアイテム114)に関するラベル164に関連する表400Aを示す。メディアアイテム112は、ラベル164を割り振られるように手動でレビューされた可能性がある。表400Aに示されるように、手動レビューは、メディアアイテム112に関する肯定的レビューの79%の確率およびメディアアイテム112に関する否定的レビューの21%の確率を示すラベル164をもたらした。肯定的レビューは、メディアアイテムが不適切であるかまたは技術的な問題を有するコンテンツを含まないことを示す可能性がある。否定的レビューは、メディアアイテムが不適切であるかまたは技術的な問題を有するコンテンツを確かに含むことを示す可能性がある。用語「肯定的レビュー」および「否定的レビュー」ならびに用語「種類のコンテンツ」が本明細書において使用されるが、本開示は、メディアアイテム112の任意の種類のラベルに当てはまることが理解される。

手動レビューは、部分的に正しい可能性がある。たとえば、手動レビューの間に、メディアアイテム112の1つまたは複数の部分が、レビューされる可能性があり、メディアアイテム112の1つまたは複数のその他の部分は、レビューされない可能性がある(たとえば、メディアアイテム112の一部を抜き取り検査する、メディアアイテム112を飛ばし見するなど)。異なるユーザが、同じメディアアイテム112に関して異なるラベルを与える可能性がある。たとえば、挑発的なダンスのラベルに関して、第1のユーザは、メディアアイテム112のダンスが否定的レビューのラベルに値するほど挑発的ではないと考える可能性があり、第2のユーザは、メディアアイテム112のダンスが否定的レビューのラベルに値するだけ挑発的であると考える可能性がある。

実際の正解率が、管理者(たとえば、最初の手動レビューを実行したユーザの監督者)による手動レビューによって決定される可能性がある。表400Aに示されるように、実際の値は、メディアアイテム112に関する肯定的レビューの76%の確率(たとえば、実際に肯定的である、管理者が肯定的レビューのラベルを割り振る)およびメディアアイテム112に関する否定的レビューの24%の確率(たとえば、実際に否定的である、管理者が否定的レビューのラベルを割り振る)を示すラベル164をもたらす。表400Aからの値が、メディアアイテム予測値169を計算する際に使用される可能性がある。

表400Aの実際の百分率は、利用可能であるとき、実際のデータによって置き換えられる可能性がある。表400Aの値は、分布が変わるので周期的に更新される可能性がある。表400Aの値は、新しさのバイアス(recency bias)を有する可能性がある(たとえば、メディアアイテム112のより新しいレビューが、メディアアイテム112のより古いレビューよりも重く重み付けされる可能性がある)。

図4Bは、本開示の実装によってメディアアイテム112のレビューの判断を予測することを示す表400Bを示す。

本明細書において検討されるように、セグメント予測値168を計算するために式が使用される可能性がある。現在のメディアアイテム116の第1のセグメント214Aは、「肯定的レビュー」ラベルを有する第1のラベル付けされたメディアアイテム114Aの対応する第1のセグメントに似ている可能性があり、現在のメディアアイテム116の第2のセグメント214Bは、「否定的レビュー」ラベルを有する第2のラベル付けされたメディアアイテム114Bの対応する第2のセグメントに似ている可能性がある。「肯定的レビュー」ラベルを有するラベル付けされたメディアアイテム114Aに似ていることに基づく、現在のメディアアイテム116のセグメントが「肯定的レビュー」ラベルを有する(たとえば、良いレビューからの良い)確率は、第1の式によって表される可能性がある。
x*(1-y)

「肯定的レビュー」ラベルを有するラベル付けされたメディアアイテム114Aに似ていることに基づく、現在のメディアアイテム116のセグメントが「否定的レビュー」ラベルを有する(たとえば、良いレビューからの良い)確率は、第2の式によって表される可能性がある。
(1-x)*y

セグメント予測値168は、図3Aのブロック306に示されたように第1の式および第2の式に基づいて計算される可能性がある。

図5は、本開示の実装によるコンピュータシステムの1つの実装を示すブロック図である。特定の実装において、コンピュータシステム500は、その他のコンピュータシステムに(たとえば、ローカルエリアネットワーク(LAN)、イントラネット、エクストラネット、またはインターネットなどのネットワークを介して)接続される可能性がある。コンピュータシステム500は、クライアント-サーバ環境内のサーバもしくはクライアントコンピュータの容量内で、またはピアツーピアもしくは分散型ネットワーク環境内のピアコンピュータとして動作する可能性がある。コンピュータシステム500は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、セルラー電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはそのデバイスによって行われるべきアクションを指定する(逐次的もしくはその他の)命令の組を実行することができる任意のデバイスによって提供される可能性がある。さらに、用語「コンピュータ」は、本明細書において説明された方法のうちの任意の1つまたは複数を実行するための命令の1つの組(または複数の組)を個々にまたは一緒に実行するコンピュータの任意の集合を含む。

さらなる態様において、コンピュータシステム500は、バス508を介して互いに通信する可能性がある処理デバイス502、揮発性メモリ504(たとえば、ランダムアクセスメモリ(RAM))、不揮発性メモリ506(たとえば、読み出し専用メモリ(ROM)または電気的消去可能プログラマブルROM(EEPROM))、およびデータストレージデバイス516を含む可能性がある。

処理デバイス502は、(たとえば、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、その他の種類の命令セットを実装するマイクロプロセッサ、もしくは命令セットの種類の組合せを実装するマイクロプロセッサなどの)汎用プロセッサまたは(たとえば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、もしくはネットワークプロセッサなどの)専用プロセッサなどの1つまたは複数のプロセッサによって提供される可能性がある。

コンピュータシステム500は、ネットワークインターフェースデバイス522をさらに含む可能性がある。コンピュータシステム500は、ビデオディスプレイユニット510(たとえば、LCD)、英数字入力デバイス512(たとえば、キーボード)、カーソル制御デバイス514(たとえば、マウス)、および信号生成デバイス520も含む可能性がある。

一部の実装において、データストレージデバイス516は、図1の予測マネージャ132を符号化する、方法300、320、340、または360のうちの1つまたは複数を実施するための命令を含む、本明細書において説明された方法または機能のうちのいずれか1つまたは複数を符号化する命令526を記憶する可能性がある非一時的コンピュータ可読ストレージ媒体524を含む可能性がある。

命令526は、コンピュータシステム500による命令526の実行中、揮発性メモリ504内および/または処理デバイス502内に完全にまたは部分的に存在する可能性もあり、したがって、揮発性メモリ504および処理デバイス502が、機械可読ストレージ媒体を構成する可能性もある。

コンピュータ可読ストレージ媒体524は、説明のための例において単一の媒体として示されているが、用語「コンピュータ可読ストレージ媒体」は、実行可能な命令の1つまたは複数の組を記憶する単一の媒体または複数の媒体(たとえば、集中型もしくは分散型データベース、ならびに/または関連するキャッシュおよびサーバ)を含む。また、用語「コンピュータ可読ストレージ媒体」は、本明細書において説明された方法のうちの任意の1つまたは複数をコンピュータに実行させるコンピュータによって実行するための命令の組を記憶または符号化することができる任意の有形の媒体を含む。用語「コンピュータ可読ストレージ媒体」は、ソリッドステートメモリ、光学式媒体、および磁気式媒体を含むがこれらに限定されない。

本明細書において説明される方法、構成要素、および特徴は、ディスクリートハードウェア構成要素によって実装される可能性があり、またはASIC、FPGA、DSP、もしくは同様のデバイスなどのその他のハードウェア構成要素の機能に統合される可能性がある。さらに、方法、構成要素、および特徴は、ハードウェアデバイス内のファームウェアモジュールまたは機能の回路によって実装される可能性がある。さらに、方法、構成要素、および特徴は、ハードウェアデバイスとコンピュータプログラム構成要素との任意の組合せ、またはコンピュータプログラムに実装される可能性がある。

そうでないことが明示的に述べられない限り、「特定する」、「処理する」、「生成する」、「計算する」、「処理する」、「決定する」、「防止する」、「許す」、「引き起こす」、「調整する」、「訓練する」、「チューニングする」などの用語は、コンピュータシステムのレジスタおよびメモリ内で物理的(電子的)量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタまたはその他のそのような情報ストレージ、送信、もしくはディスプレイデバイス内で物理的量として同様に表されるその他のデータに変換するコンピュータシステムによって実行または実装されるアクションおよびプロセスを指す。また、本明細書において使用される用語「第1の」、「第2の」、「第3の」、「第4の」などは、異なる要素を区別するためのラベルとして意図されており、必ずしも、それらの用語の数の指定に従った順序の意味を持たない可能性がある。

本明細書において説明された例は、本明細書において説明された方法を実行するための装置にも関する。この装置は、本明細書において説明された方法を実行するために特に構築される可能性があり、またはコンピュータシステムに記憶されるコンピュータプログラムによって選択的にプログラミングされた多目的コンピュータシステムを含む可能性がある。そのようなコンピュータプログラムは、コンピュータが読み取り可能な有形のストレージ媒体に記憶される可能性がある。

本明細書において説明された方法および説明のための例は、いかなる特定のコンピュータまたはその他の装置にも本質的に関連しない。様々な汎用システムが本明細書において説明された教示に従って使用される可能性があり、または方法300、320、340、および360ならびに/もしくはそれらの方法の個々の関数、ルーチン、サブルーチン、もしくは動作の各々を実行するようにより特化された装置を構築することが都合がよいと分かる可能性がある。様々なこれらのシステムのための構造の例が、上の説明に記載されている。

上述の説明は、例示的であるように意図されており、限定的であるように意図されていない。本開示が特定の説明のための例および実装に関連して説明されたが、本開示は説明された例および実装に限定されないことが認められるであろう。本開示の範囲は、添付の請求項が与えられる均等物の全範囲と併せて以下の請求項に関連して決定されるべきである。

100 システムアーキテクチャ
105 予測システム
110 メディアアイテムサーバ
112 メディアアイテム
114 ラベル付けされたメディアアイテム
114A 第1のラベル付けされたメディアアイテム
114B 第2のラベル付けされたメディアアイテム
114Z ラベル付けされたメディアアイテム
116 現在のメディアアイテム
120 ユーザデバイス
122 データストア
123 メディアアイテムキャッシュ
124 再生構成要素
125 フラグキャッシュ
126 フラグ立て構成要素
130 予測サーバ
132 予測マネージャ
140 コンテンツ所有者デバイス
142 データストア
143 メディアアイテムキャッシュ
144 送信構成要素
146 受信構成要素
148 修正構成要素
150 ネットワーク
160 データストア
162 メディアアイテムに関連する情報
164 ラベル
164A ラベル、第1のそれぞれのラベル
164B ラベル、第2のそれぞれのラベル
166 予測値
168 セグメント予測値、第1のセグメント予測値、第2のセグメント予測値
169 メディアアイテム予測値
170 サーバマシン
171 チューニングセットジェネレータ
180 サーバマシン
181 チューニングエンジン
190 機械学習モデル
191 パラメータ
200 システム
210 チューニング入力
212 長さ
212A 長さ
212B 長さ
212Z 長さ
214 セグメント
214A セグメント、第1のセグメント
214B セグメント、第2のセグメント
214Z セグメント
216 長さ
218 長さ
218A 長さ
218Z 長さ
220 目標出力
300 方法
320 方法
340 方法
360 方法
400A 表
400B 表
500 コンピュータシステム
502 処理デバイス
504 揮発性メモリ、メインメモリ
506 不揮発性メモリ、スタティックメモリ
508 バス
510 ビデオディスプレイユニット
512 英数字入力デバイス
514 カーソル制御デバイス
516 データストレージデバイス
520 信号生成デバイス
522 ネットワークインターフェースデバイス
524 非一時的コンピュータ可読ストレージ媒体
526 命令
574 ネットワーク
T チューニングセット

Claims

処理される現在のメディアアイテムを特定するステップと、
前記現在のメディアアイテムの複数のセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するために複数のラベル付けされたメディアアイテムを処理するステップと、
前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムに関連するプロパティに基づいて、前記現在のメディアアイテムの前記対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成するステップと、
前記現在のメディアアイテムの前記複数のセグメントの各々の生成されたセグメント予測値に基づいて、前記現在のメディアアイテムに関するメディアアイテム予測値を計算するステップと、
前記計算されたメディアアイテム予測値に基づいて、前記現在のメディアアイテムが処理されるようにするステップとを含む、方法。
前記ラベル付けされたメディアアイテムの各々が、それぞれのラベルを割り振られ、
前記現在のメディアアイテムの前記複数のセグメントの各々が、前記ラベル付けされたメディアアイテムの1つまたは複数のセグメントと少なくとも部分的に合致する、請求項1に記載の方法。
前記現在のメディアアイテムの前記複数のセグメントの各々に関する、前記対応するセグメントに関する前記セグメント予測値の前記生成するステップが、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、または前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さのうちの少なくとも1つを含む複数のパラメータに基づく、請求項1または2に記載の方法。
前記現在のメディアアイテムの第1のセグメントが第1のラベル付けされたメディアアイテムの第1の対応するセグメントに合致すると判定するステップと、
前記現在のメディアアイテムの第2のセグメントが第2のラベル付けされたメディアアイテムの第2の対応するセグメントに合致すると判定するステップと、
前記第1のセグメントが前記第2のセグメントのサブセグメントであると判定するステップであって、前記第2のセグメントが、前記第1のセグメントおよび第3のセグメントを含む、ステップとをさらに含み、前記複数のセグメントの各々に関する前記セグメント予測値の前記生成するステップが、
前記第1のラベル付けされたメディアアイテムの第1のそれぞれのラベルおよび前記第2のラベル付けされたメディアアイテムの第2のそれぞれのラベルに基づいて、前記第1のセグメントに関する第1のラベルを示す第1のセグメント予測値を生成することと、
前記第2のラベル付けされたメディアアイテムの前記第2のそれぞれのラベルに基づいて、前記第3のセグメントに関する第2のラベルを示す第2のセグメント予測値を生成することとを含み、前記メディアアイテム予測値の前記計算が、前記生成された第1のセグメント予測値および前記生成された第2のセグメント予測値に基づく、請求項1から3のいずれか一項に記載の方法。
前記現在のメディアアイテムが処理されるようにするステップが、
前記計算されたメディアアイテム予測値が第1の閾値条件を満たすことに応じて、メディアアイテムプラットフォームを介した前記現在のメディアアイテムの再生が防止されるようにすること、
前記計算されたメディアアイテム予測値が第2の閾値条件を満たすことに応じて、前記メディアアイテムプラットフォームを介した前記現在のメディアアイテムの前記再生が許されるようにすること、または
前記計算されたメディアアイテム予測値が第3の閾値条件を満たすことに応じて、前記現在のメディアアイテムの前記再生が前記メディアアイテムプラットフォームを介して許されるべきかどうかを示すラベルを生成するために前記現在のメディアアイテムがレビューされるようにすることのうちの1つを含む、請求項1から4のいずれか一項に記載の方法。
前記複数のセグメントの各々の前記セグメント予測値が、複数のパラメータ、および前記複数のパラメータのうちの1つまたは複数に関連する1つまたは複数の重みに基づいて生成される、請求項5に記載の方法。
前記現在のメディアアイテムに関する前記生成されたラベルに基づいて、前記1つまたは複数の重みを調整するステップをさらに含む、請求項6に記載の方法。
前記1つまたは複数の重みの前記調整するステップが、チューニング入力および前記チューニング入力に関する目標チューニング出力に基づいて、調整された1つまたは複数の重みを提供するように機械学習モデルを訓練することを含み、
前記チューニング入力が、前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、および前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さを含み、
前記チューニング入力に関する前記チューニング目標出力が、前記現在のメディアアイテムに関する前記生成されたラベルを含む、請求項7に記載の方法。
実行されるときに処理デバイスに
処理される現在のメディアアイテムを特定する動作と、
前記現在のメディアアイテムの複数のセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するために複数のラベル付けされたメディアアイテムを処理する動作と、
前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムに関連するプロパティに基づいて、前記現在のメディアアイテムの前記対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成する動作と、
前記現在のメディアアイテムの前記複数のセグメントの各々の生成されたセグメント予測値に基づいて、前記現在のメディアアイテムに関するメディアアイテム予測値を計算する動作と、
前記計算されたメディアアイテム予測値に基づいて、前記現在のメディアアイテムが処理されるようにする動作とを含む動作を実行させる命令を記憶する、非一時的機械可読ストレージ媒体。
前記ラベル付けされたメディアアイテムの各々が、それぞれのラベルを割り振られ、
前記現在のメディアアイテムの前記複数のセグメントの各々が、前記ラベル付けされたメディアアイテムの1つまたは複数のセグメントと少なくとも部分的に合致し、
前記現在のメディアアイテムの前記複数のセグメントの各々に関する、前記対応するセグメントに関する前記セグメント予測値の前記生成する動作が、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、または前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さのうちの少なくとも1つを含む複数のパラメータに基づく、請求項9に記載の非一時的機械可読ストレージ媒体。
前記動作が、
前記現在のメディアアイテムの第1のセグメントが第1のラベル付けされたメディアアイテムの第1の対応するセグメントに合致すると判定する動作と、
前記現在のメディアアイテムの第2のセグメントが第2のラベル付けされたメディアアイテムの第2の対応するセグメントに合致すると判定する動作と、
前記第1のセグメントが前記第2のセグメントのサブセグメントであると判定する動作であって、前記第2のセグメントが、前記第1のセグメントおよび第3のセグメントを含む、動作とをさらに含み、前記複数のセグメントの各々に関する前記セグメント予測値の前記生成する動作が、
前記第1のラベル付けされたメディアアイテムの第1のそれぞれのラベルおよび前記第2のラベル付けされたメディアアイテムの第2のそれぞれのラベルに基づいて、前記第1のセグメントに関する第1のラベルを示す第1のセグメント予測値を生成することと、
前記第2のラベル付けされたメディアアイテムの前記第2のそれぞれのラベルに基づいて、前記第3のセグメントに関する第2のラベルを示す第2のセグメント予測値を生成することとを含み、前記メディアアイテム予測値の前記計算が、前記生成された第1のセグメント予測値および前記生成された第2のセグメント予測値に基づく、請求項9または10に記載の非一時的機械可読ストレージ媒体。
前記現在のメディアアイテムが処理されるようにする動作が、
前記計算されたメディアアイテム予測値が第1の閾値条件を満たすことに応じて、メディアアイテムプラットフォームを介した前記現在のメディアアイテムの再生が防止されるようにすること、
前記計算されたメディアアイテム予測値が第2の閾値条件を満たすことに応じて、前記メディアアイテムプラットフォームを介した前記現在のメディアアイテムの前記再生が許されるようにすること、または
前記計算されたメディアアイテム予測値が第3の閾値条件を満たすことに応じて、前記現在のメディアアイテムの前記再生が前記メディアアイテムプラットフォームを介して許されるべきかどうかを示すラベルを生成するために前記現在のメディアアイテムがレビューされるようにすることのうちの1つを含む、請求項9から11のいずれか一項に記載の非一時的機械可読ストレージ媒体。
前記複数のセグメントの各々の前記セグメント予測値が、複数のパラメータ、および前記複数のパラメータのうちの1つまたは複数に関連する1つまたは複数の重みに基づいて生成され、
前記動作が、前記現在のメディアアイテムに関する前記生成されたラベルに基づいて、前記1つまたは複数の重みを調整する動作をさらに含む、請求項12に記載の非一時的機械可読ストレージ媒体。
前記1つまたは複数の重みの前記調整する動作が、チューニング入力および前記チューニング入力に関する目標チューニング出力に基づいて、調整された1つまたは複数の重みを提供するように機械学習モデルを訓練することを含み、
前記チューニング入力が、前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、および前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さを含み、
前記チューニング入力に関する前記チューニング目標出力が、前記現在のメディアアイテムに関する前記生成されたラベルを含む請求項13に記載の非一時的機械可読ストレージ媒体。
命令を記憶するためのメモリと、
前記メモリに通信可能なように結合された処理デバイスであって、
処理される現在のメディアアイテムを特定する、
前記現在のメディアアイテムの複数のセグメントのうちの1つに似ている少なくとも1つのそれぞれのセグメントを含むラベル付けされたメディアアイテムを特定するために複数のラベル付けされたメディアアイテムを処理する、
前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記現在のメディアアイテムの対応するセグメントに似ているそれぞれのセグメントをそれぞれが含むそれぞれのラベル付けされたメディアアイテムに関連するプロパティに基づいて、前記現在のメディアアイテムの前記対応するセグメントに関連する特定のプロパティを示すセグメント予測値を生成する、
前記現在のメディアアイテムの前記複数のセグメントの各々の生成されたセグメント予測値に基づいて、前記現在のメディアアイテムに関するメディアアイテム予測値を計算する、および
前記計算されたメディアアイテム予測値に基づいて、前記現在のメディアアイテムが処理されるようにするための命令を実行するように構成される、処理デバイスとを含む、システム。
前記ラベル付けされたメディアアイテムの各々が、それぞれのラベルを割り振られ、
前記現在のメディアアイテムの前記複数のセグメントの各々が、前記ラベル付けされたメディアアイテムの1つまたは複数のセグメントと少なくとも部分的に合致し、
前記処理デバイスが、前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記対応するセグメントに関する前記セグメント予測値を、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、または前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さのうちの少なくとも1つを含む複数のパラメータに基づいて生成することになる、請求項15に記載のシステム。
前記処理デバイスが、さらに、
前記現在のメディアアイテムの第1のセグメントが第1のラベル付けされたメディアアイテムの第1の対応するセグメントに合致すると判定し、
前記現在のメディアアイテムの第2のセグメントが第2のラベル付けされたメディアアイテムの第2の対応するセグメントに合致すると判定し、
前記第1のセグメントが前記第2のセグメントのサブセグメントであると判定することになり、前記第2のセグメントが、前記第1のセグメントおよび第3のセグメントを含み、前記複数のセグメントの各々に関する前記セグメント予測値を生成するために、前記処理デバイスが、
前記第1のラベル付けされたメディアアイテムの第1のそれぞれのラベルおよび前記第2のラベル付けされたメディアアイテムの第2のそれぞれのラベルに基づいて、前記第1のセグメントに関する第1のラベルを示す第1のセグメント予測値を生成し、
前記第2のラベル付けされたメディアアイテムの前記第2のそれぞれのラベルに基づいて、前記第3のセグメントに関する第2のラベルを示す第2のセグメント予測値を生成することになり、前記処理デバイスが、前記生成された第1のセグメント予測値および前記生成された第2のセグメント予測値に基づいて、前記メディアアイテム予測値を計算することになる、請求項15または16に記載のシステム。
前記現在のメディアアイテムが処理されるようにするために、前記処理デバイスが、
前記計算されたメディアアイテム予測値が第1の閾値条件を満たすことに応じて、メディアアイテムプラットフォームを介した前記現在のメディアアイテムの再生が防止されるようにすること、
前記計算されたメディアアイテム予測値が第2の閾値条件を満たすことに応じて、前記メディアアイテムプラットフォームを介した前記現在のメディアアイテムの前記再生が許されるようにすること、または
前記計算されたメディアアイテム予測値が第3の閾値条件を満たすことに応じて、前記現在のメディアアイテムの前記再生が前記メディアアイテムプラットフォームを介して許されるべきかどうかを示すラベルを生成するために前記現在のメディアアイテムがレビューされるようにすることのうちの1つを行うことになる、請求項15から17のいずれか一項に記載のシステム。
前記複数のセグメントの各々の前記セグメント予測値が、複数のパラメータ、および前記複数のパラメータのうちの1つまたは複数に関連する1つまたは複数の重みに基づいて生成され、
前記処理デバイスが、さらに、前記現在のメディアアイテムに関する前記生成されたラベルに基づいて前記1つまたは複数の重みを調整することになる、請求項18に記載のシステム。
前記1つまたは複数の重みを調整するために、前記処理デバイスが、チューニング入力および前記チューニング入力に関する目標チューニング出力に基づいて、調整された1つまたは複数の重みを提供するように機械学習モデルを訓練することになり、
前記チューニング入力が、前記現在のメディアアイテムの前記複数のセグメントの各々に関して、前記対応するセグメントの長さ、前記現在のメディアアイテムの長さ、および前記現在のメディアアイテムの前記対応するセグメントに似ている前記それぞれのセグメントをそれぞれが含む前記それぞれのラベル付けされたメディアアイテムの長さを含み、
前記チューニング入力に関する前記チューニング目標出力が、前記現在のメディアアイテムに関する前記生成されたラベルを含む、請求項19に記載のシステム。