JP2020510274A - 機械生成広告を作り出す自動システムおよび方法 - Google Patents

Abstract

システムおよびプロセスは、より有効的で効率的に広告内の新しい広告文を作り出すおよびテストすることによって広告パフォーマンスを改善する最新の方法を提供する。本システムは、事実上無制限の数の予測可能な高品質の機械生成広告を作り出す自動化技術であり、この機械生成広告は、以前の広告で最も有効であることが証明されたワードおよびフレーズ（例えば、広告文）を、広告を見ることになるターゲットオーディエンスの動機に基づいて、有効になる可能性があると判定された新しいワードおよびフレーズと組み合わせる、および繰り返し組み合わせることによって作り出される。最新の技術は、情報を特定のフォーマットにする特別なルールの組み合わせ順であり、特定のフォーマットは次いで、最もパフォーマンスが高い広告文および最もパフォーマンスが高い機械生成広告の形式で望ましい結果を作り出すために利用および適用される。

Description

関連出願の相互参照
本出願は、２０１７年３月２４日に出願された同時係属中の米国仮出願第６２／４７６,１８３号の両出願に共通の全ての主題に対して優先権および利益を主張する。前記仮出願の開示により、この仮出願の開示の内容全体を参照によって本願明細書に引用したものとする。

本発明は、新しい機械生成広告技術に関する。詳細には、本発明は、機械上のソフトウェアを利用して、自動ハイスループット処理で改善した広告文から広告を生成する新しいプロセスを実装することによってデジタル広告パフォーマンスを最適化し、最も有効な機械生成広告を判定する技術に関し、次いでこの技術は、本システムおよび方法の出力に基づいて、最適化された広告を作り出すのに利用することができる。

一般的に、広告文を最適化する従来の方法は、人であるコピーライターが手動で広告文を作り出すプロセス、および、手動またはＡ／Ｂテストソフトウェアを用いるかのいずれかで、限られた数の広告のＡ／Ｂテストを行なうプロセスを有するまたは実装する。現在の技術は、一貫した予測可能なパフォーマンスを備える広告文を、大々的に効率的に生成する信頼性のある方法を提供しない。新しい広告文の開発は、現時点で当てずっぽう、および試行錯誤の組み合わせで、手動で行なわれており、これには欠陥を有する。第１に、こうした方法は、どの広告文が有効になり得るかに関しては、主にコピーライターのベストの推測に基づいているため、広告の品質に信頼性がなく、予測不能である。第２に、広告文を手動で書くことは、面倒で、非常に時間がかかり、かつ資源多消費型である。第３に、新しい広告文を作り出すには、一般的に想像力の限界があり、人であるコピーライターにも限界がある。こうした全ての要因により、時間がかかり、予測できない上に費用がかかる広告開発プロセスは、時間、資源、人であるコピーライターの想像力および創意工夫によって制約され、一般的に投資に対する見返りは無きに等しい。

現存するパフォーマンスが高い広告など、１つまたは２つの新しい広告が幾つかの基本水準となる広告に対して実行されるＡ／Ｂテスト法を利用して、広告文を利用する新開発された広告が一般的に評価される。データは次いで、手動で行なう（例えば、Ｇｏｏｇｌｅアドワーズプラットフォームからスプレッドシートをダウンロードする）か、または、カリフォルニア州のサンフランシスにあるＯｐｔｉｍｉｚｅｌｙ社が提供するＯｐｔｉｍｉｚｅｌｙ実験プラットフォーム（商標登録）などのＡ／Ｂテストプラットフォームを利用するか、のいずれかで一般的にモニターおよび評価される。また、一般的にテストは、アカウントの単一ユニット（例えば、Ｇｏｏｇｌｅアドワーズの広告グループ ）で実行される。なぜなら、そのような複数ユニットからのデータの集計は面倒であり、エラーが発生しやすく、極めて非常に時間がかかるからである。こうした全ての要因により、一定期間に探索および評価することができる新しい広告文の量が制限される。さらに、かなりの数の新しい広告を確実にテストするためには、多くの新しい広告を同時にテストするのではなく、一般的に連続で複数のＡ／Ｂテストを実行しなければならない。最後に、テストはアカウントの単一ユニットで一般的に実行されることから、仮に最適化されるにしても、これでは各ユニットが個別に最適化される必要があることから、最適化され得るアカウントの割合が全体的に制限される（例えば、多くの場合、アカウントの１つの領域からの広告が単にアカウントの別の領域に掲載されると、それほど最適化されない）。

以上のことから、上記の全てにより、作り出すことができる新しい広告文のバリエーションの数が制限され、（２）広告文を利用して広告が作り出されるとすぐに、新しいベストな広告文のバリエーションを見いだすために実行できるテストの回数が制限され、（３）最適化することができるアカウントの数が制限される（例えば、多くの場合、こうした制限によって人々は、彼らのアカウントの大型領域のみを最適化し、情報がかなり乏しい「ロングテール」領域を無視してしまう）。要するに、現在のプロセスを行なうことで広告文を最適化しようとする際に投資した資源を取り戻すことはほとんど不可能である。なぜなら、新しい広告文を作り出し、テストを行うという２つのことを行うことは、とてつもなく資源多消費型であること、および、新しい広告パフォーマンスは不確かで、予測不可能なものであり、アカウントパフォーマンスは、テストプロセス時、利益が保証されずに苦労することが多いこと、こうした理由から不可能である。

予測可能な方法で広告文を作り出し、最適化してデジタル広告環境で望ましい結果を得るための確実で効率的なプロセスのニーズが存在する。本発明は、他の望ましい特徴を有することに加え、こうしたニーズに対処するさらなる解決法に関する。具体的には、本発明のシステムおよびプロセスは、現在の技術および方法が可能にするよりも有効的で効率的に広告内に新しい広告文を作り出し、テストすることによって広告パフォーマンスを改善する最新の方法を提供する。本システムの中心は、事実上無制限の数の予測可能な高品質の機械生成広告を作り出す自動化ツールであり、高品質の機械生成広告は、以前の広告で最も有効であると証明されたワードおよびフレーズ（例えば、広告文）を、広告を見ることになるターゲットオーディエンスの動機に基づいて、有効になる可能性があると判定された新しいワードおよびフレーズと組み合わせる、および繰り返し組み合わせることによって作り出される。最新のプロセスは、情報を特定のフォーマットにする特別なルールの組み合わせ順であり、特定のフォーマットは次いで、最もパフォーマンスが高い広告文および最もパフォーマンスが高い機械生成広告の形式で望ましい結果を生み出すために利用および適用される。

ターゲットオーディエンスの動機は、オンライン環境から供給される公開されたテキストデータを通じて特定され、ターゲットオーディエンス（例えば、特別な検索語を用いる人々の集団）の心理学的プロファイルが作り出され、こうした動機は、各動機にアピールするずらりと並ぶ独自のワードおよびフレーズと関連付けられる。これまでにアカウントで実行されてきた全ての広告の過去のパフォーマンスデータ（ならびに多くのアカウントからの地球上にある類似の広告データ）と共に機械学習アルゴリズムをトレーニングすることによって、以前の広告から最も有効なワードおよびフレーズを評価する。ワードおよびフレーズのこれら２つの情報源（過去のパフォーマンスおよび動機）を組み合わせる機械生成広告は、次いで新しい多くの広告をテストするのと同時に最もパフォーマンスが高い広告を特定する多変数のハイスループットテスト手法を利用して評価される。このプロセスはさらに、広告を継続して最適化するために繰り返して行うことができる。

本発明の例示的な実施形態に係る機械生成方法を提供する。機械生成広告は、１つまたは複数の広告ユニットを含むデジタル広告アカウントを評価する段階を備える。評価する段階は、デジタル広告アカウントにおける１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告のキーワードの組織構造および過去のデータを分析して、１つまたは複数の過去の広告で現れた特定の広告文要素の相対的有効性を示すパフォーマンスデータを算出する段階を含む。１つまたは複数の広告ユニットの各々に対して動機分析を行い、１つまたは複数の動機と関連付けられた１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告における動機付けとなるトリガーワードまたはトリガーフレーズを特定することによって、１つまたは複数の広告ユニットの各々と関連付けられる１つまたは複数の動機を特定する。１つまたは複数の動機から共通する動機に基づいて、１つまたは複数の広告ユニットを最適化グループのセットにグループ化する。１つまたは複数の動機と関連付けられるパフォーマンスデータおよび動機付けとなるトリガーワードまたはトリガーフレーズに従って、相対的に高い有効性を有する特定の広告文要素を集計することによって、パフォーマンスデータおよび１つまたは複数の動機に基づいて、最適化グループの各々について新しい広告の中で使用される広告文要素の集合を特定する。集計された特定の広告文要素を使用して最適化グループの各々について新しい複数の機械生成広告を生成する。新しい複数の機械生成広告を、最適化グループ内の１つまたは複数の広告ユニットに追加する。１つまたは複数の過去の広告、および最適化グループ内の新しい複数の機械生成広告を利用してハイスループットテストの処理を行う。ハイスループットテストの結果が出力され、この結果には、最適化グループ内の１つまたは複数の広告ユニットの各々についての少なくとも１つの最もパフォーマンスが高い広告が含まれる。

本発明の態様に従って、評価する段階が、デジタル広告アカウントについて以前に実行された全ての広告に関するキーワードの組織構造および過去のデータを評価する段階をさらに備える。本方法は、最適化グループの各々について、過去のデータを用いて予測スコアリングモデルをトレーニングする段階をさらに備えることができる。本方法は、最適化グループの各々に対して別の動機分析を行う段階をさらに備えることができる。最適化グループの各々について、新しい複数の機械生成広告を生成するための素材として、広告文要素の集合を利用することができる。本方法は、新しい複数の機械生成広告の中にテキストがどのように定型化されるかを判定する自然言語生成アルゴリズムをトレーニングする段階をさらに備えることができる。本方法は、トレーニングされた自然言語生成アルゴリズムに基づいて、新しい複数の機械生成広告を生成する段階をさらに備えることができる。

本発明の態様に従って、本方法は、ハイスループットテストの結果を組み込むために評価モジュールを更新する段階と、少なくとも１つの最もパフォーマンスが高い広告を将来の機械生成広告を生成する種として利用する段階と、をさらに備えることができる。

本発明の態様に従って、本方法は、ターゲットオーディエンスを定義し、ターゲットオーディエンスの中に含まれるユーザについての公開されたテキストデータを集計し、ユーザの各々の心理学的特性プロファイルを作り出し、ユーザの各々の動機を導き出すために、心理学的特性プロファイルを集計し、ユーザの各々についての導き出された動機を、広告文要素の集合の中で使用される動機付けとなるトリガーワードまたはトリガーフレーズと結びつけることによって、動機分析を行う段階をさらに備えることができる。

本発明の態様に従って、ハイスループットテストは、所定の広告フォーマット、または、ユーザが指定した目標を満たすために、新しい複数の機械生成広告を操作する段階と、予測されるパフォーマンスについて、新しい複数の機械生成広告および１つまたは複数の過去の広告を点数化する段階と、新しい複数の機械生成広告および１つまたは複数の過去の広告から、予測されるパフォーマンスに基づいてパフォーマンスが悪いと予測される広告を除去する段階と、をさらに含む。

本発明の態様に従って、ハイスループットテストの処理は、最適化グループの各々の中にある新しい複数の機械生成広告および１つまたは複数の過去の広告の全てを特定する段階と、最適化グループの各々の中にある新しい複数の機械生成広告および１つまたは複数の過去の広告の各々のパフォーマンス指標を追跡する段階と、パフォーマンス指標からテストデータを集計する段階と、パフォーマンス指標の各々について決定規準統計値を継続的に算出することによってパフォーマンスが高い広告およびパフォーマンスが低い広告を特定する段階と、パフォーマンスが低い広告を排除し、最終的な所定の数の広告が残るまで、新しい複数の機械生成広告および１つまたは複数の過去の広告のうち残った広告についてハイスループットテストの処理を続ける段階と、最終的な所定の数の広告を、少なくとも１つの最もパフォーマンスが高い広告として特定する段階と、を含むことができる。

本発明の例示的な実施形態に従ってシステムを提供する。本システムは、１つまたは複数の広告ユニットを含むデジタル広告アカウントを評価するように構成される処理部を備える。評価する段階は、デジタル広告アカウントにおける１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告のキーワードの組織構造および過去のデータを分析して、１つまたは複数の過去の広告に現れた特定の広告文要素の相対的有効性を示すパフォーマンスデータを算出する段階を含む。１つまたは複数の広告ユニットの各々について動機分析を行い、１つまたは複数の動機と関連付けられた１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告の中にある動機付けとなるトリガーワードまたはトリガーフレーズを特定することによって、１つまたは複数の広告ユニットの各々と関連付けられる１つまたは複数の動機を特定する。１つまたは複数の動機から共通する動機に基づいて、１つまたは複数の広告ユニットを最適化グループのセットにグループ化する。パフォーマンスデータおよび１つまたは複数の動機に基づいて、最適化グループの各々について新しい広告の中に利用される広告文要素の集合を特定するために、パフォーマンスデータ、および１つまたは複数の動機と関連付けられる動機付けとなるトリガーワードまたはトリガーフレーズに従って、相対的に高い有効性を有する特定の広告文要素を集計する。新しい複数の機械生成広告を、集計された特定の広告文要素を利用して最適化グループの各々について生成する。新しい複数の機械生成広告を、最適化グループにおける１つまたは複数の広告ユニットに追加する。１つまたは複数の過去の広告、および最適化グループにおける新しい複数の機械生成広告を利用してハイスループットテストの処理を行う。ハイスループットテストの結果を出力し、この結果には、最適化グループにおける１つまたは複数の広告ユニットの各々についての少なくとも１つの最もパフォーマンスが高い広告が含まれる。

本発明の態様に従って、評価する段階は、デジタル広告アカウントの以前に実行された全ての広告についてのキーワードの組織構造および過去のデータを評価することを含む。処理部はさらに、最適化グループの各々について過去のデータを用いて予測スコアリングモデルをトレーニングするように構成することができる。
処理部はさらに、最適化グループの各々について別の動機分析を行うように構成することができる。最適化グループの各々について新しい複数の機械生成広告を生成するための素材として、広告文要素の集合を利用することができる。処理部はさらに、新しい複数の機械生成広告の中にテキストがどのように定型化されるかを判定する自然言語生成アルゴリズムをトレーニングするように構成することができる。処理部はさらに、トレーニングされた自然言語生成アルゴリズムに基づいて、新しい複数の機械生成広告を生成するように構成することができる。

本発明の態様に従って、処理部はさらに、ハイスループットテストの結果を組み込むために評価モジュールを更新し、少なくとも１つの最もパフォーマンスが高い広告を、将来の機械生成広告を生成する種として利用するように構成することができる。

本発明の態様に従って、処理部はさらに、ターゲットオーディエンスを定義することと、ターゲットオーディエンスの中に含まれるユーザについての公開されたテキストデータを集計することと、ユーザの各々についての心理学的特性プロファイルを作り出すことと、心理学的特性プロファイルを集計してユーザの各々の動機を導き出すことと、ユーザの各々についての導き出された動機を、広告文要素の集合の中で使用される動機付けとなるトリガーワードまたはトリガーフレーズと結びつけることと、によって動機分析を行なうことができるように構成することができる。

本発明の態様に従って、ハイスループットテストは、所定の広告フォーマット、またはユーザが指定した目標を満たすために、新しい複数の機械生成広告を操作することと、予測されるパフォーマンスについて、新しい複数の機械生成広告および１つまたは複数の過去の広告を点数化することと、新しい複数の機械生成広告および１つまたは複数の過去の広告から、予測されるパフォーマンスに基づいてパフォーマンスが悪いと予測される広告を除去することと、をさらに含む。

本発明の態様に従って、ハイスループットテストの処理は、最適化グループの各々の中にある新しい複数の機械生成広告および１つまたは複数の過去の広告の全てを特定することと、最適化グループの各々の中にある新しい複数の機械生成広告および１つまたは複数の過去の広告の各々のパフォーマンス指標を追跡することと、パフォーマンス指標からテストデータを集計することと、パフォーマンス指標の各々の決定規準統計値を継続的に算出することによってパフォーマンスが高い広告およびパフォーマンスが低い広告を特定することと、パフォーマンスが低い広告を排除し、最終的な所定の数の広告が残るまで、新しい複数の機械生成広告および１つまたは複数の過去の広告のうち残った広告についてハイスループットテストの処理を続けることと、最終的な所定の数の広告を、少なくとも１つの最もパフォーマンスが高い広告として特定することと、を含むことができる。図面の簡単な説明

本発明のこれらのおよび他の特徴は、以下の詳細な説明を添付図面と併せて参照することによってより十分に理解される。

本発明の実施形態に従って最適化システムの動作を示す例示的なフローチャートである。

本発明の態様に従って最適化グループを作り出すプロセスを示す例示的なフローチャートである。

本発明の態様に従って広告文の予測スコアリングモデルを確立し、トレーニングするプロセスを示す例示的なフローチャートである。

本発明の態様に従ってターゲットオーディエンスの心理学的特性および動機を判定するプロセス示す例示的なフローチャートである。

本発明の態様に従って機械生成広告を作り出すプロセス示す例示的なフローチャートである。

本発明の態様に従って機械生成広告を評価するプロセス示す例示的なフローチャートである。

本発明の態様に従ってプロセスを実装するハイレベルアーキテクチャの概略図である。

本発明の例示的な実施形態は、デジタル広告アカウントの広告パフォーマンスを効率的にかつ予測可能に改善するために、ソフトウェアおよびハードウェアを用いて情報を特定のフォーマットにする特別なルールの組み合わせ順を実装するプロセスおよびシステムに関し、次いで特定のフォーマットは、デジタル環境で利益を上げるのに必要とされる大々的な最もパフォーマンスが高い広告文および最もパフォーマンスが高い機械生成広告の形式で望ましい結果を生み出すために利用および適用される（全体的にこれは最適化プロセスである）。本システムは、この最適化プロセスを実現するために、ターゲットオーディエンスの動機に関する関連付けられた過去のパフォーマンスデータおよび心理学的データを用いて広告文に機械学習アルゴリズムのトレーニングを実行して、予測可能なパフォーマンスを備える多くのソフトウェア生成広告を迅速に作り出す。詳細には、このプロセスは、広告アカウント全体にわたる広告文を管理、改善、および最適化するために、統計的手法および心理的手法を用いて、アカウントを、管理および最適化することができるまとまったチャンクに分割するように設計される。本発明は、カスタマイズされたデータ追跡ソフトウェアに加えて最新のハイスループットテストの処理を用いて、同時に全アカウントにわたり継続的な最適化を可能にする。

全体的に、本発明は、具体的な段階および機能を実行して、特定の広告文から生成された機械生成広告を利用して最適化された広告の改善結果をもたらす機能要素の組み合わせから構成される。具体的には、本システムは、動機一貫性に基づいてアカウントの複数ユニット（例えば、アドワーズの複数の広告グループ ）を組み合わせる「最適化グループ」にデジタル広告アカウントを分割する自動プロセスを備え、複数ユニットの統計的特性が組み合わされてアカウント全体にわたる広告文の効率的な最適化が可能になる。さらに、本システムは、類似の商品およびサービスなどが共に最適化グループ内にグループ化されるように意味的一貫性を構成する。次いで、本システムは、デジタル広告アカウントまたはデジタル環境における存在する全てのパフォーマンスデータを評価および処理して、どの広告文がデジタル広告の中で過去に最も有効であったかを明らかにするソフトウェアを含み、どの広告が最も有効になるかを確実に予測することができるモデル（新しい広告および／または以前存在していた広告の組み合わせ）を作り出す。このソフトウェアは次いで、広告アカウントから過去の全てのパフォーマンスデータを利用して、機械学習アルゴリズムから予測スコアリングモデルをトレーニングし、これらの予測スコアリングモデルは、過去にパフォーマンスが高かったワードおよびフレーズを広告生成ソフトウェアにもたらすのに使用されるだけでなく、さらに広告生成ソフトウェアが作り出した広告を点数化するのにも使用される。

さらに、本システムは、ターゲットオーディエンス（例えば、特定の検索クエリを利用する人々の集団）の主要動機を特定し、こうした人々の集団のこうした動機にアピールする新しい広告文を配信する自動プロセスを備える。さらに動機分析を行うことで、広告生成ソフトウェアにワードおよびフレーズが提供される。次いで、広告生成ソフトウェアは、評価ソフトウェアおよび自動動機分析処理から広告文を利用する自然言語生成アルゴリズムによって予測可能な高いパフォーマンスを備える以前実現できなかった大量の機械生成広告を迅速にかつ効率的に作り出す。完成した広告が作り出され、実行されるべき広告アカウント内に記憶されると、データ追跡ソフトウェアが初期化される。次いで、本システムは、新しく生成された広告のパフォーマンスを評価し、同時に、多くの場合アカウントにおける複数ユニットから集計されたデータを用いる自動ハイスループットテスト手法を実装する。このデータ追跡ソフトウェアは、テストの処理により、最適化グループ内のデータをデータが入ってくるたびに、追跡、管理、および分析する。データ追跡ソフトウェアは、統計的決定規則を利用して最もパフォーマンスが低い広告を中止させるが、１つまたは複数の広告だけが残るまでテストが進行し、この残った広告が勝者であると宣言され、テストが終わり、データ追跡ソフトウェアが最終的な結果を出力する。各テストが実行された後で、新しく取得したデータに対応するために全ての自然言語生成アルゴリズムが更新され、最適化グループを最新のデータに基づいて更新することができ、次回のテストに向けて新しい広告が開発され、そのテストの全てが最適化のプロセスを継続して実行するようにこのプロセスを繰り返す。

本発明の最適化プロセスが実行されると、広告アカウントのパフォーマンスは多くの場合実質的に改善する。データ追跡ソフトウェアは、各アカウントに対して、またはアカウント内の特定のテストに対してさえカスタマイズし、様々なパフォーマンス指標（例えば、主要パフォーマンス評価指標（ＫＰＩ））またはそれ以外の望ましい結果を最適化することができる。本発明は改善されたパフォーマンス指標を提供するので、デジタル広告アカウントの質が全体的に改善され、これらの改善による投資に対する実質的な見返りがユーザにもたらされる。

したがって、本発明の要素を組み合わせることによって広告パフォーマンスを改善するためには、広告文を確実におよび大々的に改善し、多くの場合無視されるロングテール領域（例えば、アカウントユニットを１つ１つテストする十分なデータがないため一般的に無視される大量のトラフィックまたはデータが手に入らないアカウントユニット）を含むアカウント全体にわたってパフォーマンスを改善することである。詳細には、上で概観した構成要素の各々は、それら単独で有効であるが、これらの構成要素は相乗的なものであるので、構成要素を組み合わせることでその他の構成要素の利点が大きくなり、本発明が実装するやり方で構成要素を組み合わせることなしには実現できない能力を明らかにする。さらに、本発明は、新しい広告をテストするときに、データを管理および評価する運営にかかる諸経費を削減する。本発明は、多くの新しい広告をテストするのと同時にパフォーマンスを迅速におよび継続的に最適化する能力を与える（一般的にこれは、開発およびテストされた新しい広告の数が、開発およびテストされなかった場合の数よりも１または数オーダー多くなることを意味する）。本発明は、テスト時に新しい広告文を探索することと、こうしたテストから「勝者」として確立された広告から最大の価値を得ることとの間でトレードオフを最適化する（これは、一般に統計上「探索と知識利用のジレンマ」と呼ばれるもの、および、さらなる広範の情報検索の変形である）。

類似の部分が全体的に類似の参照符号で表記されている図１から図７は、本発明に係る、広告最適化のために改善された技術およびプロセスの例示的な一実施形態、または複数の実施形態を図示する。本発明は、図に示される例示的な一実施形態または複数の実施形態に関連して記載されているが、多くの別の形態が本発明を具現化できることを理解されたい。当業者は、本発明の趣旨および範囲を依然として順守しながら開示される１または複数の実施形態のパラメータを変更する様々な方法をさらに理解するであろう。

図１は、本発明のシステムおよびプロセス１００がどのように実装されるかの概要を示す。詳細には、図１は、機械実装プロセスまたは方法１００を示し、この機械実装プロセスまたは方法は、機械によって生成され、機械生成広告を実行することによって追跡されるデータをテストすることでパフォーマンスが最適化された広告を使用することによって、広告パフォーマンスを最適化する。本発明の例示的な一実施形態に従って、本プロセス１００をクリック報酬型広告アカウント（ＰＰＣアカウント）に適用して、主要パフォーマンスインジケータ（ＫＰＩ、例えば、クリック率、コンバージョン率、コンバージョンあたりのコスト、品質スコアなど）に従ってアカウント全体のパフォーマンスを改善する。

段階１０２で、アカウント内に含まれる１つまたは複数の広告ユニットを含むデジタル広告アカウント（例えば、ＰＰＣアカウント）を評価することでプロセス１００が始まる。本発明の例示的な一実施形態に従って、評価することがアカウント全体に対して行なわれ、評価することは、キーワードの組織構造（すなわち、キーワードの検索クエリがどのようにキャンペーンおよび広告グループにグループ化されるか）の評価を含み、広告アカウント内で今まで実行された全ての広告（１つまたは複数の広告ユニット内）の全ての過去のデータを評価することを含む。詳細には、段階１０２で、本システムは、デジタル広告アカウント内の１つまたは複数の広告ユニットと関連付けられた１つまたは複数の過去の広告のキーワードの組織構造および過去のデータを分析して、過去の広告に現れた特定の広告文要素の相対的有効性を示すパフォーマンスデータを算出する。

段階１０４で、本システムは、１つまたは複数の広告ユニットの各々について動機分析を行い、１つまたは複数の動機と関連付けられた１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告におけるあらゆる動機付けとなるトリガーワードまたはトリガーフレーズを特定することによって、１つまたは複数の広告ユニットの各々と関連付けられる１つまたは複数の動機が特定される。図４との関係でより詳細に説明されるように、公開されたテキストデータから動機を算出するソフトウェアを利用して、動機分析が各広告ユニットに実行される。動機評価は、広告内のワードおよびフレーズをマッチングすることと、動機データベース内に記憶される動機付けとなるトリガーワードおよびトリガーフレーズをマッチングするワードおよびフレーズを特定することと、を含む。動機付けとなるトリガーワードおよびトリガーフレーズは、所定のターゲットオーディエンスの動機と関連付けるように以前に判定されてきたワードおよびフレーズを示す。

段階１０６で、本システムは、１つまたは複数の動機から特定される共通の動機に基づいて、１つまたは複数の広告ユニットを分割して最適化グループのセットにグループ化する。詳細には、本システムは、図２との関係でより詳細に説明されるように、類似の動機特徴に基づいて、広告ユニット（例えば、キャンペーンおよび広告グループ）を分割して、最適化グループ（ターゲットＫＰＩパラメータをひとまとまりのキーワードのセットに与える広告ユニットのグループ）のセットにグループ化する。本発明の例示的な一実施形態に従って、心理的動機が、広告ユニットの各々から広告を見るターゲットオーディエンスの各々といかに類似しているかを判定するのに段階１０４の動機分析の結果が利用され、その結果、動機の類似によって（例えば、全ての広告ユニットの動機プロファイルデータのクラスター分析によって）一貫性が判定される。動機一貫性に加えて、最適化グループを判定するプロセスはさらに、最終的な最適化グループが、図６で概説したように実行されるハイスループットテストの処理に適するかを保証するために、過去のパフォーマンスデータ（例えば、ＫＰＩデータ）を考慮する。さらに、本システムは、類似の商品およびサービスなどが共に最適化グループ内にグループ化されるように意味的一貫性を構成する。具体的には、意味的一貫性は、非類似の主題を含む広告が同じ最適化グループに確実に属さないように、利用される。例えば、類似の動機一貫性および類似の統計的特性を共有するが、（意味的一貫性の分析に従って）それぞれハイヒールおよび電動ドリルといった主題を対象にする広告は、同じ最適化グループ内にグループ化されない。上記は、ＰＰＣアカウントに特有のＫＰＩデータ、および公開されたテキストから収集される心理学的データの使用を示すが、店内購入データ（例えば、顧客関係管理（ＣＲＭ）データ）または直属の部下から収集される、もしくはテキストではなく行動が原因となる心理学的データなど、多くの代替データ形式を利用して本発明を実装することができ、本発明は、決して記載される特定の実施形態に限定されることを意図するものではない、ということが当業者には理解されよう。

段階１０８で、本発明の例示的な一実施形態に従って、アカウント内の１つまたは複数の広告ユニットが最適化グループに分類されると、本プロセス１００が、予測スコアリングモデルを作り出すために最適化グループ、予測スコアリングモデル、および動機評価からのデータを利用して機械学習モデルをトレーニングする。詳細には、機械学習モデルは、図３との関係でより詳細に考察されるように、各最適化グループの過去のパフォーマンスデータ（例えば、ＫＰＩデータ）上でトレーニングされる予測スコアリングモデル（例えば、ナイーブベイズモデル）を含む。さらに、段階１０８で、最終的な動機評価が各最適化グループに行われる。この最終的な動機評価は段階１０４で行なわれる評価に類似する。段階１０８で行われる最終的な動機評価は、全体として各最適化グループ全体に実行され、最適化グループの各々は多くのアカウントユニット（例えば、広告グループ）を含むことができる。これは、１つ１つ全ての広告ユニットに実行してから最適化グループを作り出す段階１０４で行われる評価とは対照的である。広告ユニットがグループ化されると（段階１０６で）、本システムは、段階１０４で行われるものと同じ種類の評価を最適化グループ自体についてやり直すことができるため、本システムは、全最適化グループを示す。これら２つのプロセス（予測スコアリングモデルおよび動機評価）は、各最適化グループに新しい広告を生成するために本システムが素材として使用する広告文要素（例えば、Ｎ−ｇｒａｍ）を生み出す。

次いで段階１０８で、本発明の例示的な一実施形態に従って、広告文の広告テキストがどのようにアカウント全体（およびデジタル広告アカウント全体）に定型化されるかについて、自然言語生成アルゴリズム（例えば、マルコフ連鎖）がさらにトレーニングされて、どのように様々な広告文要素が組み合わされて広告全体で適格な広告が作り出されるべきなのかが規定される。

段階１１０で、本システムは、段階１０８の結果に基づいて最適化グループの各々の新しい広告で使用される広告文要素の集合を特定する。詳細には、パフォーマンスデータおよび１つまたは複数の動機を入力することによるトレーニング結果の組み合わせに基づいて広告文要素を特定するために、パフォーマンスデータおよび１つまたは複数の動機と関連付けられる動機付けとなるトリガーワードまたはトリガーフレーズに従って高い相対的有効性を有する特定の広告文要素を集計する。

さらに、段階１１０で、本システムは、集計された特定の広告文要素を利用して最適化グループの各々の新しい複数の機械生成広告を生成する。詳細には、ソフトウェアは次いで、具体的には、ソフトウェアが特定した各最適化グループの広告文要素を利用して、トレーニングされた自然言語生成アルゴリズムから（段階１０８から）提供されるデータに従って広告を生成する。当業者には理解されるように、機械生成広告をさらに操作することによってその他様々な望ましい結果を実現することができる。

段階１１２で、本システムは、新しい複数の機械生成広告を最適化グループ内の１つまたは複数の広告ユニットに追加する。さらに、段階１１２で、本システムは、過去の広告、および最適化グループ内の新しい複数の機械生成広告を利用してハイスループットテストの処理を行う。本発明の例示的な一実施形態に従って、図６のプロセス６００との関係でより詳細に考察されるように、広告が作り出され、完成すると、広告はデジタル広告アカウントの広告ユニット内に記憶され、ハイスループットテストの処理が起動する。当業者には理解されるように、広告をデジタル広告アカウントに記憶するために、アプリケーションプログラミングインタフェース（ＡＰＩ）による書き込み、またはバルクツール（例えば、一括アップロードスプレッドシート）を利用するなど、多くの方法が存在し、これらの処理はシステムによって管理される。

広告が稼働するとすぐに、カスタマイズされたデータ追跡ソフトウェアがハイスループットテストを起動させ、図６で行うように、必要に応じてパフォーマンスデータ（例えば、ＫＰＩデータ）を追跡、収集、および集計してテストプロセスを管理する。要するに、本システムは、パフォーマンスデータが利用可能になるとパフォーマンスデータを継続的に追跡し、どの広告をいつ中止するかを判定するのに利用される決定規則統計値を継続的に算出する（例えば、パラメトリック有意差テスト）。パフォーマンスデータが更新されるにつれて、ある決定規則の基準が満たされると、本システムは、そのように最もパフォーマンスが低い広告であると判定される広告にフラグを立て、その広告を中止する。最もパフォーマンスが高い広告だけが残るまでこうした最もパフォーマンスが低い広告の中止が継続的に発生し、最もパフォーマンスが高い広告だけが残った時点で、その最終的な広告が勝者であると宣言され、最終的な結果がレポートされる（段階１１４）。上記は、ＫＰＩデータおよび有意差テスト閾値などの統計的決定規則の使用を示すが、売り上げなど従来の広告投資利益率（ＲＯＩ）指標といった広告パフォーマンスデータの多くの代替形式を利用する、ならびに、様々な多くの決定規則の基準およびベイズ費用関数などの広告中止ロジックを利用して、本発明を実装することができ、本発明は、決して記載される特定の実施形態に限定されることを意図するものではない、ということが当業者には理解されよう。

段階１１４で、本システムは、ハイスループットテストの結果を判定し、その結果には、最適化グループ内の１つまたは複数の広告ユニットの各々についての少なくとも１つの最もパフォーマンスが高い広告が含まれる。詳細には、予測スコアリングモデルを用いて、適切な最適化グループの広告を点数化するようにテストが行なわれる。さらに、本プロセス１００は、段階１１６および段階１１８で記載されるように、段階１１４で提供される結果を利用して、段階１１４で止めてもよいし、またはトレーニングおよび最適化を続けてもよい。詳細には、プロセス１００の状況および結果に応じて、プロセス１００の１つ１つの段階および組み合わせの段階のうちいずれか、またはプロセス１００の全ての段階を、潜在的に無期限に反復的に繰り返すことができる。本プロセス１００は、デジタル広告環境が動的で、絶えず進化しているため、あらゆる段階で繰り返すように設計される。例えば、望ましいパラメータおよび特性（例えば、十分な数の広告、広告全体の広告文要素における十分な変動性、広告の各セットの予測されるパフォーマンスの合計など）を備える各最適化グループの最終的な広告のセットが作り出されるまで、プロセス１００の段階を繰り返すことができる。上記は、ＰＰＣアカウントに特有の、または動機データから導き出されたＫＰＩデータおよび広告文要素の利用を示すが、多くの代替データ形式、または広告品質に関するその他のデータ形式（例えば、オフライン実行された広告からの広告投資利益率（ＲＯＩ）に関する指標）などの広告文要素の情報源、もしくは、広告代理店の提出物などその他様々な情報源から導き出された広告文要素を利用して本発明を実装することができ、新しい広告を生成するのに使用することができる様々な種類の多くの自然言語生成アルゴリズムが存在すること、および本発明は、決して記載される特定の実施形態に限定されることを意図するものではないこと、が当業者には理解されよう。

必要に応じて、段階１１６で、本システムは、ハイスループットテストのパフォーマンスデータ結果を組み込むために広告評価モデルを更新する。詳細には、ハイスループットテストの結果を利用して、本システムは、プロセス１００を通じて利用され、テスト（例えば、段階１０２から１０６および図２で利用されるような）から得られるパフォーマンスデータを備える評価モデルを更新することができる。

必要に応じて、段階１１８で、本システムは、次回にプロセス１００を繰り返して新しい広告を生成する種として「勝者」となった広告を利用する。詳細には、アルゴリズム内で最もパフォーマンスが高い広告を利用して、将来プロセス１００を繰り返して新しい機械生成広告を作り出す。より詳細には、図１で示される全体的な最適化プロセス１００を繰り返し適用できる（図１の全てのフィードバック矢印）。新しい広告のテストによる結果を機械学習アルゴリズムに組み込んで、よりいっそうパフォーマンスが高い新しい広告を見出すことができ、勝者となった広告を使用して、テストからの新しく組み込まれたデータに重点を置くこと、または遺伝的アルゴリズムといった技術を利用すること、のいずれかによって、次回の広告を作り出す元になるものを導入することが可能となる。これにより、勝者となった広告（例えば、段階１１４で行われたテストで最もパフォーマンスが高い広告）が、新しい改訂版の広告を作り出すために「変えられる」次世代広告の前身となる。本明細書で考察されるように、プロセス１００の各段階は、ユーザ、広告アカウントなど、特定の状況に応じて、反復的に繰り返すことができる。

図２は、デジタル広告アカウント（例えば、ＰＰＣアカウント）を評価して最適化グループ（例えば、図１の段階１０２から１０６）を作り出すプロセス２００を示す。詳細には、図２はプロセス２００を示し、プロセス２００において本システムは、重要なデータ要求事項（例えば、印象の数）と、動機アラインメント（例えば、１つの広告グループの中でキーワード検索する人々は、関連する広告グループの中でキーワード検索する人々と同じ類似の動機を有する）と、の両方を利用して、最適化グループ（１つまたは複数の広告ユニットの集合、例えば、テストを行うアカウント内の広告グループのセット）を作り出すために、デジタル広告アカウントからデータを利用する。

本発明の例示的な一実施形態に従って、段階２０２で、まず全データが顧客のデジタル広告アカウントから読み込まれ、１つまたは複数の広告ユニット（例えば、キャンペーンおよび広告グループ）の各々が特定される。例えば、本システムは、アプリケーションプログラミングインタフェース（ＡＰＩ）を利用して、またはデータベースコールによって、広告アカウントから広告、キーワード、および過去のパフォーマンス指標を抽出する。さらに、段階２０２で、本システムは、広告アカウント内の全広告ユニットを特定する。この特定プロセスは、関連するオーディエンスのターゲット基準（例えば、キーワード）および各広告ユニットについての全広告ユニットの過去のパフォーマンスデータ（例えば、クリック率、コンバージョン率など）として利用される情報を特定することを含む。例えば、アカウントからのキーワードデータを利用して、ターゲットオーディエンス（例えば、クエリ中のキーワード検索用語を使用することで機械生成広告を見る代表的な人々の集団）を定義する。過去のパフォーマンスデータは、各広告のパフォーマンス指標（例えば、ＫＰＩ）に基づいて広告の各々を点数化するのに利用される。段階２０２で行われる機能の目的は、デジタル広告アカウントの構成およびそのアカウント構成に関連する要素を特定することである。

段階２０４で、本システムは、アカウントから抽出される全ての広告ユニットの初期動機分析を行う。動機分析がどのように行われるかについての例示的な実装が、図４との関係でより詳細に考察される。要するに、各広告ユニットのターゲットオーディエンスが（例えば、商品に対する顧客の電子メールリスト、およびソーシャルメディアからの公開されたデータなどによって）特定され、ターゲットオーディエンスの動機が動機分析によって判定される。段階２０４は、動機一貫性または動機類似性を考慮して最適化グループを作り出す、および編成するのに寄与するが、例えば、異なるアカウントユニット内のキーワードの意味的類似性、ＫＰＩの類似性など、一貫性または類似性とは異なる基準を代わりに利用することが可能である。

段階２０６で、本システムは、広告ユニットの各々についてのパフォーマンス指標について予測される影響を評価する。詳細には、段階２０６で、本システムは、以前実行された広告からの過去のパフォーマンスデータに基づいて、（例えば、様々なＫＰＩの）予測されるパフォーマンスの改善について予測を立てるために、予測される影響モデルを利用する。より具体的には、本システムが以前どのようにこうしたパフォーマンス指標に影響を与えてきたのかについて、過去のパフォーマンスデータを組み込む予測モデルを利用することによってパフォーマンス指標の予測される影響が評価され、広告ユニットの過去のパフォーマンスデータ、および現在の広告の全体的な品質の評価が（例えば、既存の広告文を、動機ワードバンク内に記憶された広告文と比較することによって）広告ユニット内で実行され、新しい広告が広告ユニットに与えるであろう影響を予測する。予測される影響の評価には、最終的な結果を予測する独自の数学関数が利用され、その後広告が実装され、稼働される。本システムおよびプロセスがほかのところで応用される場合、この関数は最終結果の過去のデータに基づくが、当業者には理解されるように、最終的な結果を予測できるのには多くの方法が存在する。本発明の例示的な一実施形態に従って、管理下にある全てのアカウント内でより多くの処理が行なわれるにつれて、予測される影響モデルが継続的に更新され、その結果、予測される影響モデルは、最適化プロセスからの予測されるパフォーマンスに可能な限り最も正確な予測をもたらす。

段階２０８で、本システムは、統計的検出力分析を実行して各広告ユニットの主要テストパラメータを決定する。詳細には、この統計的検出力分析は、段階２０６からの予測される影響モデルの予測を、各広告ユニット（または最適化グループ）の現存する過去のパフォーマンスデータ（例えば、ＫＰＩ、および予測トラフィック量など）と組み合わせて、主要テストパラメータ（例えば、どれくらいの数の広告を広告ユニットまたは最適化グループの中で同時にテストすることができるのか、テストにはどれくらいの時間がかかるのか、所定期間に統計的に評価することができる広告の数、など）が推定される。当業者には理解されるように、様々な種類の異なる統計モデルおよび仮説を利用して、および多くのパラメータに従って、統計的検出力分析を行うことができる。例えば、３つの関心のＫＰＩについて統計的有意性閾値（Ｐ＜.０５）を利用して、ターゲットは４週間で２０の広告をテストすることができるが、ターゲットが実現しようとしていること、およびどの統計的意思決定ルールおよび／または統計的パラメータが利用されるか、などに正確に従って、こうしたパラメータの全てを変えることができる。

段階２０１で、広告アカウント内の１つまたは複数の広告ユニットが最適化グループに組み合わせられる。最適化グループは、広告ユニットの組み合わせに対して最適化が行われる１つまたは複数の広告ユニットの集合から構成される。どの広告ユニットがどの最適化グループに組み合わせられるのかについての判定が、最適化グループの望ましいテストパラメータを得るように行われる。テストパラメータは、テスト基準（例えば、広告ユニットが２週間で２０の広告をテストするほどのかなりのトラフィック量を備えている）を含むことも、十分な類似性（例えば、動機重複または動機干渉性）を共有することも、どちらも可能である。要するに、統計的検出力分析の結果に基づいて、および各広告ユニットの動機類似性を考慮して、デジタル広告アカウントが最適化グループに分類される。最適化グループの初期設定が決定されると、段階２０６からの予測される影響モデル、および２０８からの統計的検出力分析が、任意で作り出された広告ユニット、および未だ最適化グループに割り当てられていない広告ユニットを含む全ての最適化グループ上で再び実行されて、追加の最適化グループを作り出す、および既存の最適化グループを変える、といったことが行われる。当業者には理解されるように、デジタル広告アカウント内の広告ユニットの全てが最適化グループに割り当てられるまで、このプロセスが繰り返される。

段階２１２で、主要特定情報、およびテストパラメータなどを備える完成した最適化グループが次いで本システムから出力されて、プロセス１００の次の段階を導く。例えば、主要特定情報（例えば、どの広告ユニットが最適化グループ内にあるか）、予測されるパフォーマンス（クリック率などのパフォーマンス指標の改善がどれくらい見込まれるのか）、およびテストパラメータ（例えば、所定期間内に幾つの広告をテストすることができるか）を備える最適化グループが出力される。上記は、デジタル広告アカウントに特有のパフォーマンスデータ、および公開されたテキストから収集される心理学的データの使用を示すが、店内購入データ（例えば、顧客関係管理（ＣＲＭ）データ）または直属の部下から収集される、もしくは行動が原因となる心理学的データなど、多くの代替データ形式を利用して本発明を実装することができ、本発明は、決して記載される特定の実施形態に限定されることを意図するものではない、ということが当業者には理解されよう。

図３は、広告アカウント（例えば、ＰＰＣアカウント）の過去のパフォーマンスデータおよび広告文に適用される機械学習アルゴリズム（例えば、ナイーブベイズ）によって予測スコアリングモデルを構築およびトレーニングするプロセス３００を示す。要するに、プロセス３００は、広告アカウント内ですでに利用されてきた広告文の過去のパフォーマンスデータ上で機械学習アルゴリズムをトレーニングすることによってどの広告文要素が最も有効であるかを判定するプロセス３００を示す。さらに、プロセス３００は、図５で考察されるように、機械生成広告を評価するのに利用される予測スコアリングモデルを提供する。

本発明の例示的な一実施形態に従って、段階３０２で、まずデータの全てが、デジタル広告アカウント（例えば、ＰＰＣアカウント）から読み込まれ、広告アカウント内で今まで実行された１つまたは複数の広告ユニット（例えば、キャンペーンおよび広告グループ）の全てが特定される。広告ユニットが実行されたアカウントの場所、広告ユニットがどのキーワードと実行されたか、および、これらの広告ユニットの関連する全てのパフォーマンスデータ（例えば、クリック率）、を含む特定された広告ユニットの全ての過去のパフォーマンスデータが抽出される。例えば、本システムが、アプリケーションプログラミングインタフェース（ＡＰＩ）を利用して、広告アカウントから広告、キーワード、および過去のパフォーマンス指標を抽出する。

段階３０４で、今までアカウント内で実行されてきた広告アカウント内の１つまたは複数の広告ユニットの全て、および全ての広告が、全てのパフォーマンス指標で点数化される。広告パフォーマンスを点数化するプロセスは、生データを削除し、データを適切に構築し、データを適切に基準化し、およびデータを正規化するように構成される。広告パフォーマンスを点数化する段階は、関連データを単純に全ての広告に割り当てる段階から、広告が組み合わされたキーワードに基づいてあらゆる広告のデータを正規化する段階、様々なパフォーマンス指標（例えば、ＫＰＩ）を組み合わせる、および／または操作する総合指数を作り出す段階まで、どんな段階も伴うことができる。本発明の例示的な一実施形態に従って、各広告ユニットおよび／または広告のパフォーマンスデータがスコア値になる。例えば、スコアは、広告アカウント（または広告ユニットもしくは最適化グループ）内の広告のパフォーマンスから、全ての広告のパフォーマンスの中央値まで、スコアが異なってもよく、または、パフォーマンスが高い広告もしくはパフォーマンスが低い広告を示すスコアになってもよい。

段階３０６で、広告機能は次いで、望ましい予測モデル用に定義される。広告機能は、様々な具体例で狭義および広義の両方で広告文要素（例えば、Ｎ−ｇｒａｍ）として定義することができ、どういったタイプのモデルで広告機能が利用されることになるのか、ならびにどのような望ましいモデルの出力があるか、によって一般的に制限される。例えば、広告機能は、ワードまたはフレーズ（例えば、Ｎ−ｇｒａｍ）の有無、特定のキーワードと組み合わされるワードおよびフレーズ（例えば、Ｎ−ｇｒａｍ）の存在、広告の特定部分の中にあるワードおよびフレーズ（例えば、Ｎ−ｇｒａｍ）の存在、または、特定の広告ユニットの中にある広告の最初の行全体、などを示すことができる。

段階３０８で、機械学習アルゴリズム（ナイーブベイズ分類子など）を利用して、各最適化グループ内の広告の予測スコアリングモデルを構築する。例えば、機械学習アルゴリズムは、確率的分類子、ニューラルネットワーク、線形回帰モデルなどの組み合わせを含むことができる。予測スコアリングモデルは、段階３０６で定義される広告機能に基づいて広告を点数化するために構築される。当業者には理解されるように、予測スコアリングモデルは、全てのデジタル広告アカウント用に、特定の広告ユニット用に、１つ１つの広告用に、またはこれらを組み合わせて構築することができる。さらに、あらゆる現存する広告または新しい広告が、例えば、特定のキーワードに対して、または幅広い最適化グループ内で、もしくはデジタル広告アカウント全体にわたってさえ、どのようなパフォーマンスをすることができるかについて、予測スコアリングアルゴリズムはあらゆる望ましい具体的な段階で予測される確率を生み出す。

段階３１０で、予測スコアリングモデルを作り出した後、予測スコアリングモデルをトレーニングするのに利用されるデータの中に含まれなかった広告アカウントからのデータの正確性を求めて予測スコアリングモデルがテストされる。本発明の例示的な一実施形態に従って、予測スコアリングモデルテストのプロセスには、その後予測スコアリングモデルが有効性のテストを行えるようにモデルをトレーニングする場合、一部の過去のパフォーマンスデータを利用しないことが求められる。例えば、予測スコアリングモデルテストのプロセスは、トレーニング用のパフォーマンスデータの８０％を利用する段階と、テスト用のパフォーマンスデータの２０％を利用しない段階と、を含むことができる。段階３１０で行なわれたテストにより、各予測スコアリングモデルの予測力（例えば、予測の正答率、被説明変動の割合など）が正確に推定される。段階３１０の結果に応じて、プロセス３００を繰り返すために、最終的な予測スコアリングモデルの望ましい最終的な結果が得られるまで、広告機能を定義する段階（段階３０６）、および／または予測スコアリングモデルをトレーニングする段階（段階３０８）に戻ってもよい。

予測スコアリングモデルを出力する段階に加えて、段階３１０はさらに、図５との関係でより詳細に考察されるように、広告生成プロセスのパフォーマンスが高くなる可能性がある広告文要素を抽出する。上記は、ＰＰＣアカウントに特有のＫＰＩデータの使用を示し、特定の機械学習アルゴリズム（例えば、ナイーブベイズ）を強調し、こうした予測スコアリングモデルをトレーニングするのに利用することができる特定のデータは、代わりにその他の種類の広告パフォーマンスデータであってもよく、ニューラルネットワークなどの予測スコアリングアルゴリズムをトレーニングするのに利用することができるかなり幅広い種類の機械学習アルゴリズムが存在し、これらの様々なバリエーションの全てをさらに組み合わせることができるが、本発明は、決して記載される特定の実施形態に限定されることを意図するものではない、ということが当業者には理解されよう。

図４は、最適化グループの全ての動機分析を生成するプロセス４００を示す。段階４０２で、ターゲットオーディエンスが定義および特定される。ターゲットオーディエンスの定義および特定は、かなりの狭義（例えば、単一キーワードのターゲットオーディエンスを定義すること）から、かなりの広義（例えば、広告アカウント全体のターゲットオーディエンスを定義すること）まで、あらゆる精度のレベルで行うことができる 当業者には理解されるように、オーディエンスはさらに、オーディエンス（例えば、ソーシャルメディア上のキーワードに関連する特定の商品について話している人々）を定義および特定するために公開されたデータからの信号およびインターネットのトラフィックパターンを利用すること、キーワードに関連する特定の商品を購入したことで知られる顧客のＥ−ｍａｉｌリストを手に入れること、またはＰＰＣ広告アカウントと連携している企業のブランド信仰者のソーシャルメディア識別子を利用すること、など多くの様々な方法で定義することができる。理想的なケースでは、オーディエンスは、所定の最適化グループ内でキーワード検索をするであろう人々（またはそういった人々）に正確に対応する可能性が高くなるように明確に定義されるが、これはハード要件ではない。

段階４０４で、本システムは、定義されたターゲットオーディエンスの識別子を利用し、これらの人々から公開されたテキストデータを得る。本発明の例示的な一実施形態に従って、ターゲットオーディエンスと関連づけられるキーワードデータを利用して、ターゲットオーディエンス内の人々を特定し、（例えば、Ｅ−ｍａｉｌ、ソーシャルメディア識別子などを利用して）これらの人々の公開されたデータを突き止める。当業者には理解されるように、公開されたデータは様々な情報源から、および様々な方法を利用して得ることができる。例えば、テキストデータは、人々と関連付けられるソーシャルメディアアカウントから、またはその他のビッグデータソースから得ることができる。

段階４０６で、段階４０４で得られたテキストデータが自然言語処理アルゴリズムの組み合わせから供給される。本発明の例示的な一実施形態に従って、言語使用パターン（例えば、名詞と動詞の比）に関連する定量的変数から心理学的特性スコア（心理学的特性は、時間および状況にわたって安定する傾向があり、動機、選好、意思決定スタイルなどに対応する行動、思考、感情などの測定可能な個人差のことである）を帰属させるためにトレーニングされてきた自然言語処理アルゴリズムからテキストデータが供給される。自然言語処理アルゴリズムの結果は、ターゲットオーディエンス内の特定された全ての人々についての心理学的特性プロファイルをもたらす、および／または自然言語処理アルゴリズムの結果を利用して心理学的特性プロファイルが構築される。

段階４０８で、ターゲットオーディエンスにおける潜在的な全ての人々についての心理学的特性プロファイルが作り出された後に、この心理学的特性プロファイルを集計し（例えば、平均し、中央値を抽出するなど）、ターゲットオーディエンスの原動力となる動機を明らかにするのに測定されるあらゆる特性についての母集団の平均的な水準（例えば、母集団の平均、母集団中央値など）と比較する。詳細には、人々の全ての集計されたプロファイルにおける（例えば、心理学的特性データベースにおける）各特性について、そうした人々の集団についての特性の総スコア（例えば、母集団の算術平均）が作り出される。つまり、段階４０８で、本システムは、ターゲットオーディエンスと広範囲のユーザの母集団との間の差異を区別する。平均的な水準から十分に逸脱する集団レベルの特性は、そのオーディエンスの動因として特定される。ターゲットオーディエンスの原動力となる動機を明らかにするための例示的な実施形態が、参照によって本明細書中に引用するものとされる米国特許出願第１４／１９０,４０７（ＵＳ２０１４０２５７９９０ ）でより詳細に考察される。当業者には理解されるように、集団間の差異は、多くの様々な方法で判定することができる。例えば、集団間の差異は、数学的に、例えば、集団の算術平均を比較することによって、集団の中央値を比較することによって、あるいは、２つの分布の分散を比較することによって判定することができる。

段階４１０で、段階４０８で特定された動因または動機の各々は、トリガーワードおよびトリガーフレーズ（例えば、動機についてのトリガーワードとトリガーフレーズ間の関連性を含む動機データベース内に記憶される）と結びつけられる。詳細には、本システムに記憶される各動機は、特定の動機を持つ人々にアピールするのに知られるずらりと並ぶトリガーワード、トリガーフレーズ、およびトリガー画像と関連付けられる。さらに、トリガーワードおよびトリガーフレーズは、図５との関係でより詳細に考察されるように、広告を生成するための広告文要素の元になるものを導入するのに利用され、図２との関係で考察される動機アラインメントの広告の点数化において利用することができる。上記は、ターゲットとなる人々の集団を特定し、人々が共有する動機を評価する方法を説明するが、ターゲットオーディエンスを特定するのに多くの方法が存在するのは明らかであること、および例えばアンケートまたは民族学的調査によって人々の動機を評価する、もしくは、これらの動機を活性化できるワードおよびフレーズを特定するのに別の多くの方法が存在するのも明らかであること、および本発明は、決して記載される特定の実施形態に限定されることを意図するものではないということ、が当業者には理解されよう。

図５は、予測可能なパフォーマンスを備える機械生成広告をソフトウェアによって作り出すプロセス５００および自動システムを示す。詳細には、プロセス５００は、図３および図４で考察されるプロセスで導き出され、広告の機械生成における素材として使用されるワードおよびフレーズを利用する。

段階５０２で、本システムは、機械生成広告の広告文の中で使用されるトリガーワードおよびトリガーフレーズ（例えば、図３の段階３１０および図４の段階４１０が示すＮ−ｇｒａｍ）を得て、集計する。詳細には、過去のアカウントから（例えば、段階３１０から）、地球上にある過去のアカウント、ユーザが本システムに提供した顧客ワードおよびフレーズ、および動機ワードバンクから（例えば、段階４１０から）得られたデータを含むが、これらに限定されない情報源の組み合わせから、および方法の組み合わせを利用して、トリガーワードおよびトリガーフレーズが得られ、集計される。当業者には理解されるように、トリガーワードおよびトリガーフレーズの出所は、適切なタスクの特性を備え、品質の高い広告文を作り出すのに適すると思われるあらゆる言語コーパス（例えば、マーケティング資料、ソーシャルメディアのコンテンツなど）からであってもよい。

次いで段階５０２で、本発明の例示的な一実施形態に従って、最もパフォーマンスが高い広告を作り出す可能性が高いと判定されるトリガーワードおよびトリガーフレーズは、広告生成ソフトウェアに供給される。例示的な一実施形態において、これらのトリガーワードおよびトリガーフレーズは予測スコアリングモデルから導き出され、予測スコアリングモデルは、最適化グループ、広告アカウント（ＰＰＣ）、複数の広告アカウント、などにおいて以前にパフォーマンスが良かった（例えば、段階３１０で）トリガーワードおよびトリガーフレーズ、ならびに段階４１０でターゲットオーディエンスのために特定される（および以前の特性リサーチで発見される）主要動機（すなわち、トリガーワードおよびトリガーフレーズ）と関連付けられたトリガーワードおよびトリガーフレーズを特定する。当業者には理解されるように、ワードまたはフレーズを代えて、もしくはワードまたはフレーズを組み合わせて、他の種類のメディアを利用することができる。例えば、本システムは、画像（例えば、インスタグラムなど画像を使用した広告）、音声ファイル（例えば、ラジオ広告）などを利用する類似のプロセスおよびシステムを実装するように構成することができる。

段階５０４で、本システムは、段階５０２からのトリガーワードおよびトリガーフレーズを利用して機械生成広告を作り出す。詳細には、広告生成ソフトウェアは、ターゲットとなるデジタル広告アカウント（例えば、ＰＰＣアカウント）、特定の最適化グループ、およびそれら以外の情報源からの言語データおよびパフォーマンスデータ（例えば、ＫＰＩ）上でトレーニングされる自然言語生成アルゴリズム（例えば、マルコフ連鎖）を利用することで、複数の機械生成広告を作り出す。どのようにトリガーワードおよびトリガーフレーズが（例えば、図３の段階３１０で示されるように）有意義なやり方で組み合わせられるべきかを発展するために、自然言語生成アルゴリズムをトレーニングする。詳細には、自然言語生成アルゴリズムは、広告が実行される環境に特有の言語データ上でトレーニングされる。トレーニングプロセスは、どのようにデジタル広告アカウントにおけるテキストを定型化する（例えば、一貫したフレーズ、文などを作り出す）かをアルゴリズムに教示するが、そうした広告を作り出すのにどういったテキスト要素を使用するべきかをアルゴリズムに教示しない。

段階５０６で、広告は、何か他の望ましい結果を適合させる（例えば、特定のプロモーションを導入する）ためにさらに操作される。例えば、特定の広告フォーマット（例えば、ユーザが指定した文字事項）を適合させるように、特定の目標（例えば、ユーザが指定したプロモーションを含む）を適合させるように、不適格の広告文を除去するように、人のレビューを行う、といったように、広告を修正することができる。

段階５０８で、機械生成広告は、次いで予測スコアリングモデル（例えば、プロセス３００で作り出された）によって実行され、各広告には予測パフォーマンススコアが与えられる。予測スコアリングモデルは、図３との関係で考察されるパフォーマンス、および図４との関係で考察される動機評価に基づいて異なる基準を含むことができる。本発明の例示的な一実施形態に従って、特定の基準（例えば、新しい広告の数、広告全体に及ぶ広告文要素の差異、予測されるパフォーマンスの差異、広告のセットの予測されるパフォーマンスの集計、など）を満たす機械生成広告の最終的なセットが作り出されるまで、広告を生成し（段階５０４）、操作し（段階５０６）、点数化する（段階５０８）ことができるように特定の望ましい結果が得られるまで段階５０４から５０８を繰り返す。

段階５１０で、機械生成広告の最終的なセットが、プロセス５００で作り出され、本システムによって出力される全ての機械生成広告の大量のセットから抽出される。機械生成広告の最終的なセットは、デジタル広告アカウントに（例えば、ＡＰＩ、データベースコールなどによってＰＰＣアカウントに）、もしくは、他の方法でデジタル広告アカウントにレビューされるまたはアップロードされる中間フォーマット（例えば、一括アップロードシート）のいずれかに直接出力することができる。上記は、ソフトウェアを利用して過去のＫＰＩパフォーマンスデータおよび動機分析から導き出される広告文に基づいて機械生成広告を作り出す方法を説明するが、ソーステキストの出所は本明細書で特定されない他の様々な場所（例えば、コピーライター、コミックストリップ、大統領演説など）からであってもよく、多くの種類の自然言語生成アルゴリズム（例えば、ＮＬＧアルゴリズムと呼ばれることが多い）を使用することができ、本発明は、決して記載される特定の実施形態に限定されることを意図するものではない、ということが当業者には理解されよう。

図６は、本システムが利用するハイスループットテストの処理６００を行って、機械生成広告の最終的なセット（プロセス５００で作り出される）から最もパフォーマンスが高い広告を特定する。本発明の例示的な一実施形態に従って、ハイスループットテストの処理６００は、統計的検出力分析（例えば、段階２０８から）が判定する最適化グループにおける多くの広告を実行することができる並列テストによって行なわれる。ハイスループットテストの処理６００は、所定の数の最もパフォーマンスが高い広告または「勝者となった」広告だけが残るまで、継続して広告を評価し、最もパフォーマンスが低い広告を順次排除する。本発明の例示的な一実施形態に従って、本システムは、再サンプリング法でzの二項統計値を利用して統計的信頼性／統計的信頼度を導き出す。

段階６０２で、本システムは、デジタル広告アカウント（例えば、ＰＰＣアカウント）の最適化グループ内で現在実行している全ての広告を特定する。例えば、機械生成広告が、図５のプロセス５００からのデジタル広告アカウントに追加されると、あらゆる基本水準となる広告またはそれ以外の特別な種類の広告（例えば、短期プロモーション）を指定することを含むデータ追跡ソフトウェアが、モニターされる全ての関連広告を特定する。

段階６０４で、本システムは、最適化グループにおける広告の各々のパフォーマンスデータを追跡する。詳細には、広告が段階６０２で特定されると、本システムは即座に、各広告の関連する全ての生パフォーマンスデータ（例えば、ＫＰＩデータ）の追跡を開始する。

段階６０６で、本システムは、あらゆるデータ集計プロセスを必要に応じて管理する。詳細には、最適化グループが１つまたは複数の広告ユニットを含む場合、本システムは、段階６０４で追跡される追跡されたパフォーマンスデータ（例えば、複数の広告グループからのデータ）を集計する。さらに、段階６０６で、本システムは、特定のパフォーマンス指標（例えば、クリック率、コンバージョン率など）、および集計されたデータから導き出されるその他の最新の指標（例えば、ネットの収入）を再算出する。再算出することで、全ハイスループットテストの処理６００の結果の包括的な見解が提供される。

段階６０８で、ハイスループットテストの処理６００は、複数の異なる環境からデータを分ける分割プロセスを必要に応じて行う。詳細には、広告が、異なる統計的プロファイルを備える異なる環境（例えば、モバイル対デスクトップ、またはＧｏｏｇｌｅ Ｓｅａｒｃｈ対Ｇｏｏｇｌｅ ｓｅａｒｃｈ ｐａｒｔｎｅｒ）で実行している場合、本システムはこれらの情報源からデータを分け、複数の環境で示される各広告の比を算出し、バイアスを補正する（例えば、ある広告はモバイル対デスクトップで３対１を示し、別の広告では、１対１を示すという事実を数学的に補正する）ために各環境内のパフォーマンスデータを別々に算出することで、全ての広告が同じ比（例えば、平均）の統計データを有するようにデータを繰り返し組み合わせることができる。

段階６０４で行なわれるように、最適化グループにおける全ての広告のデータを継続的に追跡することに加え、本システムはさらに、段階６１０であらゆる主要決定規準統計値を継続的に算出、更新、および／またはモニターする。詳細には、ハイスループットテストの処理６００中にデータを測定するとき、統計的指標（例えば、統計的有意性）を継続的に算出して統計的に信頼できるパフォーマンスが高い広告およびパフォーマンスが低い広告を特定する。ハイスループットテストの処理６００で、基本水準となる広告（もしあれば）、ならびにそれ以外の集計された全ての広告の両方に対して統計値が算出される。当業者には理解されるように、本システムは、統計的有意性閾値とは異なる様々な方法の組み合わせを利用して重要な統計値を算出することができ、例えば、本システムは、有意性閾値に依存しないベイズ法を利用することができる。

段階６１２で、本システムは広告の点数化を行い、パフォーマンスが低い広告を排除する。詳細には、本システムは、本システムによって利用される決定規準統計値（例えば、定義されたある閾値の統計的有意性）を適用して、決定閾値によって定義された最もパフォーマンスが低い広告を継続的に中止にする（および／またはレビュー用／中止用にフラグを立てる）、排除する、および／または終了させる。

段階６１４で、本システムは、１つまたは複数の最もパフォーマンスが高い広告を勝者となった広告として宣言する。詳細には、段階６１２で最もパフォーマンスが低い広告を継続的に中止した後で１つまたは複数の最もパフォーマンスが高い広告が残ると、最もパフォーマンスが高い広告は「勝者」と宣言され、最適化プロセスのテスト段階からの最終的な結果が本システムによって出力される。本発明の例示的な一実施形態に従って、「勝者」となった広告が、デジタル広告アカウント用に利用される広告になるべき各最適化グループの広告ユニットに追加されるため、デジタル広告アカウントにおける広告パフォーマンスが最適化される。上記は、デジタル広告アカウントにおける最適化プロセスのテスト段階中にデータを追跡するためにソフトウェアを利用する方法を説明するが、どの特定のパフォーマンスデータが追跡されるべきか、広告を中止するためにどのような決定規準が用いられるべきか、などについての範囲は広範囲のままであること、購買データなどの様々な種類のデータ、または、ベイズ費用関数などの様々な決定規準を利用して、広告テストに対して類似の「ラストマン・スタンディング」アプローチを実装することができること、本発明は、決して記載される特定の実施形態に限定されることを意図するものではないということ、が当業者には理解されよう。

図６で示されるプロセスは、従来の広告テストの方法およびシステムよりも改善をもたらす。詳細には、ほぼ例外なく、現在の広告テストの方法および「最も望ましい方法」は、所定期間極めて制限された環境の中で限られた数（例えば、２つの広告および２つの基本水準となる広告）の小規模のテストを実行すること、および、最終的に決定する全ての広告の全てのデータをただ見ること、を伴う。一方、本発明のプロセスは、従来のプロセスであれば適合するであろうと考えていたよりもかなり大きな広告の母集団を備えるテストから始まり、次いでデータが入る方法を探索し、他のプロセスが提供するよりもより迅速に多くの情報を送る様々なＫＰＩを備える。ハイスループットテストの処理は、多くの広告をテストするこうした特性を探索し、結果を待つのではなく勝者を判定し、ほとんどの情報をデータに送るＫＰＩに基づいて、１つの広告（または数個の広告）だけが残るまで、最もパフォーマンスが低い広告を継続的に中止するための十分なデータが得られたときに最もパフォーマンスが低い広告を継続的に中止する「ラストマン・スタンディング」プロセスによって、勝者を判定する。

動作時、本発明のシステムは、ほとんどの場合、予測可能な高いパフォーマンスを備える事実上無制限の数の機械生成広告を作り出すことができる。２つの中心となる能力により、本システムはそうした機能を実行することができる。２つの中心となる能力は、大量の高品質の広告を（例えば、図５の段階を通じて）迅速にかつ効率的に作り出すシステムの能力と、広告がどれだけ高いパフォーマンスをするかを確実に予測することができる予測スコアリングモデル（例えば、図３で示される）の利用と、を含む。

当業者には理解されるように、あらゆる適切なコンピュータデバイスは、本明細書に記載される本システムおよび方法／機能を実装するのに使用することができ、ただ単に一般的なコンピュータデバイスにソフトウェアを実行するよりもかなり良い方法でハードウェア、ソフトウェア、ファームウェアを変更して本明細書に記載される動作および機能を実行する特定のシステムに変えることができる。このようなコンピュータデバイス７００の１つの例示的実施例が図７で示される。コンピュータデバイス７００は、適切なコンピュータ環境の単なる例示的実施例に過ぎず、本発明の範囲を決して限定するものではない。図７で示されるように、「コンピュータデバイス」は、当業者には理解されるように、「ワークステーション」、「サーバー」、「ラップトップ型コンピュータ」、「デスクトップ型コンピュータ」、「携帯装置」、「モバイル装置」、「タブレット型コンピュータ」、またはこれら以外のコンピュータデバイスを含むことができる。コンピュータデバイス７００が例示的な目的で示されることを考慮すると、本発明の実施形態は、任意の数のコンピュータデバイス７００を様々な任意の数の方法で利用し、本発明の単一の実施形態を実装することができる。したがって、本発明の実施形態は、当業者には理解されるように、単一のコンピュータデバイス７００に限定されるものではなく、例示的なコンピュータデバイス７００の単一の種類の実装または構成に限定されない。

コンピュータデバイス７００は、以下の１つまたは複数の例示的なコンポーネントに直接または間接的に連結することができるバス７１０と、メモリ７１２と、１つまたは複数のプロセッサ７１４と、１つまたは複数の提示コンポーネント７１６と、入出力ポート７１８と、入出力コンポーネント７２０と、電源７２４と、を含むことができる。バス７１０は、アドレスバス、データバスなど１つまたは複数のバス、またはそれらのあらゆる組み合わせを含むことができることが当業者には理解されよう。特定の実施形態の意図された用途および使用に応じて、これら複数のコンポーネントを単一のデバイスで実装できることが当業者には理解されよう。同様に、場合によっては、単一のコンポーネントは複数のデバイスで実装することができる。したがって、図７は、本発明の１つまたは複数の実施形態を実装するのに使用することができる例示的なコンピュータデバイスの説明に過ぎず、決して本発明を限定するものではない。

コンピュータデバイス７００は、様々なコンピュータ可読媒体を含む、または様々なコンピュータ可読媒体と相互作用することができる。例えば、コンピュータ可読媒体は、情報を暗号化するのに使用することができ、コンピュータデバイス７００がアクセスできるランダムアクセスメモリ（ＲＡＭ）と、読取り専用記憶装置（ＲＯＭ）と、電気的消却・プログラム可能型読み取り専用メモリ（ＥＥＰＲＯＭ）と、フラッシュメモリまたはその他のメモリ技術と、ＣＤＲＯＭ、デジタル多用途ディスク（ＤＶＤ）またはその他の光学的もしくはホログラフィック媒体と、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイスと、を含むことができる。

メモリ７１２は、揮発性メモリおよび／または不揮発性メモリの形のコンピュータストレージ媒体を含むことができる。メモリ７１２は、取り外し可能、取り外し不可能、またはこれらの任意の組み合わせであってよい。例示的なハードウェアデバイスは、ハードドライブ、ソリッドステートメモリ、光ディスクドライブなどのデバイスである。コンピュータデバイス７００は、メモリ７１２、様々な入出力コンポーネント７１６などのコンポーネントからデータを読み出す１つまたは複数のプロセッサを含むことができる。提示コンポーネント７１６は、データ指示をユーザまたは他のデバイスに示す。例示的な提示コンポーネントは、ディスプレー装置、スピーカー、印刷コンポーネント、振動コンポーネント、などを含む。

入出力ポート７１８により、コンピュータデバイス７００は入出力コンポーネント７２０などの他のデバイスに論理的に連結することが可能となる。一部の入出力コンポーネント７２０はコンピュータデバイス７００に内蔵可能である。このような入出力コンポーネント７２０の例は、マイクロホン、ジョイスティック、録音装置、ゲームパッド、衛星アンテナ、スキャナ、プリンタ、無線デバイスを含む。

本明細書で用いる用語「ｃｏｍｐｒｉｓｅｓ」および「ｃｏｍｐｒｉｓｉｎｇ」は、包含的であって、排他的ではないものとして解釈されることを意図している。本明細書で用いる用語「ｅｘｅｍｐｌａｒｙ」、「ｅｘａｍｐｌｅ」、「ｉｌｌｕｓｔｒａｔｉｖｅ」は、「例、事例、または例示としての役割を果たす」を意味することを意図し、他の構成と比較して好ましく、または利点のある構成を示している、または示していないと解釈されるべきではない。本明細書で用いる用語「ａｂｏｕｔ」、「ｇｅｎｅｒａｌｌｙ」、「ａｐｐｒｏｘｉｍａｔｅｌｙ」は、特性、パラメータ、サイズ、寸法のバリエーションなど、主観的価値または客観的価値の範囲の上限および下限に存在することができるバリエーションを包含することを意図する。非限定的な一例では、用語「ａｂｏｕｔ」、「ｇｅｎｅｒａｌｌｙ」、および「ａｐｐｒｏｘｉｍａｔｅｌｙ」は、おおよそプラスマイナス１０パーセントを意味する。非限定的な一例では、用語「ａｂｏｕｔ」、「ｇｅｎｅｒａｌｌｙ」、および「ａｐｐｒｏｘｉｍａｔｅｌｙ」は、関連分野の当業者が考える十分な近接性が含まれることを意味する。当業者には理解されるように、本明細書で用いる用語「ｓｕｂｓｔａｎｔｉａｌｌｙ」は、行為、特徴、特性、状態、構造、物品、または結果の完全な、またはほぼ完全に近い範囲または程度を指す。当業者には認識または理解されるように、例えば「実質的に」円形である物体は、物体が数学的に決定可能な範囲の完全な円、または完全に近い円のいずれかであることを意味する。絶対的な完全からの正確な許容可能な逸脱度は、一部の場合において、具体的な文脈に依存してもよい。ただし、一般的に完全の近接性は、あたかも絶対的かつ総合的な完全が達成されるまたは得られるように、同一の全体的な結果を有するように存在する。当業者には理解されるように、「ｓｕｂｓｔａｎｔｉａｌｌｙ」の使用は、行為、特徴、特性、状態、構造、物品、または結果の完全なまたはほぼ完全な欠如を指す否定的な意味合いで使用されるとき、等しく適用可能である。

本発明の多数の修正形態および代替実施形態が、前述の説明を考慮すれば当業者に明らかであろう。したがって、この記載は、単なる例示として解釈されるべきであり、本発明を実行するための最良の実施形態を当業者に教示することを目的としている。構成の詳細は、本発明の趣旨から実質的に逸脱することなく変更することができ、添付した請求項の範囲内にある全ての修正形態の排他的な使用が確保される。本明細書内の実施形態は、明瞭、簡潔な明細書を書くことができるように記載されるが、実施形態は、本発明から乖離することなく様々に組み合わされても、または分離されてもよいことが意図される、および理解される。本発明は、添付した特許請求の範囲および適用可能な法の支配によって必要とされる範囲にだけ限定されることが意図される。

以下の特許請求の範囲は、本明細書に記載される本発明の全ての包括的および具体的特徴、および、文言上これら包括的および具体的特徴の範囲に収まっていると言ってよい本発明の範囲に関する全ての記述を包含することを意図したものであるということがさらに理解されよう。

Claims (16)

1. 機械生成方法であって、
   １つまたは複数の広告ユニットを含むデジタル広告アカウントを評価する段階であって、
   前記デジタル広告アカウントにおける前記１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告のキーワードの組織構造および過去のデータを分析して、前記１つまたは複数の過去の広告で現れた特定の広告文要素の相対的有効性を示すパフォーマンスデータを算出する段階と、
   前記１つまたは複数の広告ユニットの各々に対して動機分析を行い、１つまたは複数の動機と関連付けられた前記１つまたは複数の広告ユニットと関連付けられる前記１つまたは複数の過去の広告における動機付けとなるトリガーワードまたはトリガーフレーズを特定することによって、前記１つまたは複数の広告ユニットの各々と関連付けられる前記１つまたは複数の動機を特定する段階と、
   前記１つまたは複数の動機のうちの共通する動機に基づいて、前記１つまたは複数の広告ユニットを最適化グループのセットにグループ化する段階と、
   を含む、評価する段階と、
   前記１つまたは複数の動機と関連付けられる動機付けとなるトリガーワードまたはトリガーフレーズ、および、前記パフォーマンスデータに従って、相対的に高い有効性を有する特定の前記広告文要素を集計することによって、前記パフォーマンスデータおよび前記１つまたは複数の動機に基づいて、前記最適化グループの各々について新しい広告の中で使用される広告文要素の集合を特定する段階と、
   前記集計された特定の広告文要素を使用して前記最適化グループの各々について新しい複数の機械生成広告を生成する段階と、
   前記新しい複数の機械生成広告を、前記最適化グループ内の１つまたは複数の広告ユニットに追加する段階と、
   前記１つまたは複数の過去の広告、および前記最適化グループ内の前記新しい複数の機械生成広告を利用してハイスループットテストの処理を行う段階と、
   前記ハイスループットテストの結果を判定する段階であって、前記結果には、前記最適化グループ内の前記１つまたは複数の広告ユニットの各々についての少なくとも１つの最もパフォーマンスが高い広告が含まれる段階と
   を備える方法。
2. 前記評価する段階が、前記デジタル広告アカウントについて以前に実行された全ての広告に関するキーワードの組織構造および過去のデータを評価する段階をさらに含み、および／または、前記方法は、
   前記ハイスループットテストの結果を組み込むために評価モジュールを更新する段階と、
   前記少なくとも１つの最もパフォーマンスが高い広告を将来の機械生成広告を生成する種として利用する段階を備え、および／または、
   前記動機分析を行う段階が、
   ターゲットオーディエンスを定義する段階と、
   前記ターゲットオーディエンスの中に含まれるユーザについての公開されたテキストデータを集計する段階と、
   前記ユーザの各々の心理学的特性プロファイルを作り出す段階と、
   前記ユーザの各々の動機を導き出すために、前記心理学的特性プロファイルを集計する段階と、
   前記ユーザの各々についての前記導き出された動機を、前記広告文要素の集合の中で使用される前記動機付けとなるトリガーワードまたはトリガーフレーズと結びつける段階と、
   を有する、
   請求項１に記載の方法。
3. 前記最適化グループの各々について、過去のデータを用いて予測スコアリングモデルをトレーニングする段階をさらに備える、請求項１または２に記載の方法。
4. 前記最適化グループの各々に対して別の動機分析を行う段階をさらに備える、請求項３に記載の方法。
5. 前記最適化グループの各々について、前記新しい複数の機械生成広告を生成するための素材として、前記広告文要素の集合を利用する、請求項４に記載の方法。
6. 前記新しい複数の機械生成広告の中にテキストがどのように定型化されるかを判定する自然言語生成アルゴリズムをトレーニングする段階をさらに備える、請求項５に記載の方法。
7. 前記トレーニングされた自然言語生成アルゴリズムに基づいて、前記新しい複数の機械生成広告を生成する段階をさらに備える、請求項６に記載の方法。
8. 前記ハイスループットテストの処理が、
   所定の広告フォーマット、または、ユーザが指定した目標を満たすために、前記新しい複数の機械生成広告を操作する段階と、
   予測されるパフォーマンスについて、前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告を点数化する段階と、
   前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告から、前記予測されるパフォーマンスに基づいてパフォーマンスが悪いと予測される広告を除去する段階と、
   をさらに含み、および／または、
   前記ハイスループットテストの処理が、
   前記最適化グループの各々の中にある前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告の全てを特定する段階と、
   前記最適化グループの各々の中にある前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告の各々のパフォーマンス指標を追跡する段階と、
   前記パフォーマンス指標からテストデータを集計する段階と、
   前記パフォーマンス指標の各々について決定規則統計値を継続的に算出することによってパフォーマンスが高い広告およびパフォーマンスが低い広告を特定する段階と、
   前記パフォーマンスが低い広告を排除し、最終的な所定の数の広告が残るまで、前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告のうち前記残った広告について前記ハイスループットテストの処理を続ける段階と、
   前記最終的な所定の数の広告を、前記少なくとも１つの最もパフォーマンスが高い広告として特定する段階と
   を含む、請求項１から７のいずれか一項に記載の方法。
9. システムであって、
   １つまたは複数の広告ユニットを含むデジタル広告アカウントを評価するように構成される処理部であって、前記評価は、
   前記デジタル広告アカウントにおける前記１つまたは複数の広告ユニットと関連付けられる１つまたは複数の過去の広告のキーワードの組織構造および過去のデータを分析して、前記１つまたは複数の過去の広告に現れた特定の広告文要素の相対的有効性を示すパフォーマンスデータを算出することと、
   前記１つまたは複数の広告ユニットの各々について動機分析を行い、前記１つまたは複数の動機と関連付けられた前記１つまたは複数の広告ユニットと関連付けられる前記１つまたは複数の過去の広告の中にある動機付けとなるトリガーワードまたはトリガーフレーズを特定することによって、前記１つまたは複数の広告ユニットの各々と関連付けられる前記１つまたは複数の動機を特定することと、
   前記１つまたは複数の動機のうちの共通する動機に基づいて、前記１つまたは複数の広告ユニットを最適化グループのセットにグループ化することと、を有する処理部と、
   前記パフォーマンスデータおよび前記１つまたは複数の動機に基づいて、前記最適化グループの各々について新しい広告の中に利用される広告文要素の集合を特定するために、前記パフォーマンスデータ、および前記１つまたは複数の動機と関連付けられる動機付けとなるトリガーワードまたはトリガーフレーズに従って、相対的に高い有効性を有する特定の前記広告文要素を集計するように構成される処理部と、
   新しい複数の機械生成広告を、前記集計された特定の広告文要素を利用して前記最適化グループの各々について生成するように構成される処理部と、
   前記新しい複数の機械生成広告を、前記最適化グループにおける１つまたは複数の広告ユニットに追加するように構成される処理部と、
   前記１つまたは複数の過去の広告、および前記最適化グループにおける前記新しい複数の機械生成広告を利用してハイスループットテストの処理を行うように構成される処理部と、
   前記ハイスループットテストの結果を判定するように構成される処理部であって、前記結果には、前記最適化グループにおける前記１つまたは複数の広告ユニットの各々についての少なくとも１つの最もパフォーマンスが高い広告が含まれる、処理部と
   を備えるシステム。
10. 前記評価は、前記デジタル広告アカウントの以前に実行された全ての広告についてのキーワードの組織構造および過去のデータを評価することをさらに含み、および／または、
    前記処理部がさらに、前記ハイスループットテストの結果を組み込むために評価モジュールを更新し、前記少なくとも１つの最もパフォーマンスが高い広告を、将来の機械生成広告を生成する種として利用するように構成され、
    前記動機分析を行うことは、
    ターゲットオーディエンスを定義することと、
    前記ターゲットオーディエンスの中に含まれるユーザについての公開されたテキストデータを集計することと、
    前記ユーザの各々についての心理学的特性プロファイルを作り出すことと、
    前記心理学的特性プロファイルを集計して前記ユーザの各々の動機を導き出すことと、
    前記ユーザの各々についての導き出された動機を、前記広告文要素の集合の中で使用される前記動機付けとなるトリガーワードまたはトリガーフレーズと結びつけることと、
    を含む、
    請求項９に記載のシステム。
11. 前記処理部がさらに、前記最適化グループの各々について過去のデータを用いて予測スコアリングモデルをトレーニングするように構成される、請求項９または１０に記載のシステム。
12. 前記処理部がさらに、前記最適化グループの各々について別の動機分析を行うように構成される、請求項１１に記載のシステム。
13. 前記最適化グループの各々について前記新しい複数の機械生成広告を生成するための素材として、前記広告文要素の集合を利用する、請求項１２に記載のシステム。
14. 前記処理部がさらに、前記新しい複数の機械生成広告の中にテキストがどのように定型化されるかを判定する自然言語生成アルゴリズムをトレーニングするように構成される、請求項１３に記載のシステム。
15. 前記処理部がさらに、前記トレーニングされた自然言語生成アルゴリズムに基づいて、前記新しい複数の機械生成広告を生成するように構成される、請求項１４に記載のシステム。
16. 前記ハイスループットテストの処理が、
    所定の広告フォーマット、またはユーザが指定した目標を満たすために、前記新しい複数の機械生成広告を操作することと、
    予測されるパフォーマンスについて、前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告を点数化することと、
    前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告から、前記予測されるパフォーマンスに基づいてパフォーマンスが悪いと予測される広告を除去することと、
    をさらに含み、および／または、
    前記ハイスループットテストの処理が、
    前記最適化グループの各々の中にある前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告の全てを特定することと、
    前記最適化グループの各々の中にある前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告の各々のパフォーマンス指標を追跡することと、
    前記パフォーマンス指標からテストデータを集計することと、
    前記パフォーマンス指標の各々の決定規則統計値を継続的に算出することによってパフォーマンスが高い広告およびパフォーマンスが低い広告を特定することと、
    前記パフォーマンスが低い広告を排除し、最終的な所定の数の広告が残るまで、前記新しい複数の機械生成広告および前記１つまたは複数の過去の広告のうち残った広告について前記ハイスループットテストの処理を続けることと、
    前記最終的な所定の数の広告を、前記少なくとも１つの最もパフォーマンスが高い広告として特定することと
    を含む、請求項９から１５のいずれか一項に記載のシステム。