JP2023050264A - コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム - Google Patents

Abstract

【課題】自動的にコンバージョンレート（ＣＶＲ）の高い配布用コンテンツをＡＩに作成させ、特定したターゲット消費者に提供させる。【解決手段】タスク学習データで機械学習を実行した、訓練済みのＧＰＴモデルによって基礎コンテンツを生成する基礎コンテンツ生成ステップと、前記タスク学習データで機械学習を実行した、訓練済みのＢＥＲＴモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、ＣＶＲを予測するニューラルネットワークで前記ＣＶＲを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、前記推敲ステップと前記フィードバックステップを繰り返して、ＣＶＲの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、をコンピューターに実行させる。【選択図】図１

Description

本発明は、コンテンツ生成方法、コンテンツ提供方法及びそのプログラムに関し、特にマーケティングの目的に合致するコンテンツ生成方法、コンテンツ提供方法及びそのプログラムに関する。

情報爆発の時代となった今では、人々が一日に物事に注意を向ける時間は限界に達したことに起因して、情報過多の社会において人々の「関心や注目の獲得（アテンションの獲得）」が経済的価値を持つという説もある。そのように、経済が消費経済から情報経済へ移行するのと同時に、消費者のアテンションが貴重な資源へと変容しており、アテンションは通貨のような存在になりつつある。それに対し、商品やサービスに関する文章やプッシュ通知等の広告案を作成する場合、消費者に提供する情報の優劣よりも注目を集めること自体が重要視されている。

なお、膨大な情報の中で消費者の関心を掴み続けていくのは簡単ではなく、特に伝統的な文章やプッシュ通知等の広告案の作成は、人間が提案・遂行することが殆どであるため、目まぐるしい情報環境に対して素早く対応することは難しい。それに対し、特許文献１には、深層ニューラルネットワークモデルコンポーネントが過去の製品説明情報及び製品説明情報の範例コンテンツに応じた訓練によって、製品説明情報に対応したコンテンツをＡＩで生成する技術が開示されている。それによって、ターゲット製品の配布用コンテンツを迅速に生成することが可能になったため、変化が激しい情報環境に対しても、新しいコンテンツを素早く提供することができる。しかしながら、製品に関わる新しいコンテンツをＡＩで素早く提供するだけでは、あくまでも消費者に素早く新製品の販売を知らせるに過ぎないと、本願の発明者らは感じた。具体的に言えば、過去の製品説明情報及び製品説明情報の範例コンテンツに応じた訓練を行っても、製品そのものに注目したコンテンツが生成されるだけになりがちである。即ち、大量な配布用コンテンツを生成できるが、消費者の関心から離れたコンテンツが生成される可能性も低くないため、ＣＰＡ高騰の原因の１つとなる恐れもある。

また、特許文献２には、キーワード及び画像でＡＩが自動作成した配布用画像を広告掲示点にアップロードして、その画像が当該広告掲示点での評価によって配布用画像を選ぶ技術が開示される。しかしながら、広告掲示点での評価ではまばらなものであり、それによる選択の効率が低いと共に、結果が参考になる価値は安定ではない。さらに、それは配布用画像の数を収斂することであるため、大量なコンテンツから消費者に比較的に関心を持つものを選ばれるかもしれないが、何度でも同じ作業を繰り返すのに手間もかかるし、さらに全体的にコンテンツの質も変わらないため、訪問者のＣＶＲを本質的に上げることができない。

国際出願公開ＷＯ２０１９／１３３５４５号明細書 台湾特許公開ＴＷ２０１９１８９６０Ａ号明細書

本発明が解決しようとする課題は、コンバージョンレート（ＣＶＲ）が高く、文章が自然な配布用コンテンツをＡＩに自動で作成させ、特定したターゲット消費者に提供させる、コンテンツ生成方法、コンテンツ提供方法及びそのプログラムを提供することである。

１つの実施形態によるコンテンツ生成方法は、訴求情報を取得する取得ステップと、タスク学習データで機械学習を実行した訓練済みのＧＰＴモデルによって、前記訴求情報に基づいて基礎コンテンツを生成する基礎コンテンツ生成ステップと、タスク学習データで機械学習を実行した訓練済みのＢＥＲＴモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、タスク予測学習データによって訓練した訓練済みのＮＮ（ニューラルネットワーク）モデルで前記推敲ステップによる推敲した文章のコンバージョンレートを予測し、前記コンバージョンレートを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、前記推敲ステップと前記フィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、をコンピューターに実行させる。

１つの実施形態によるコンテンツ提供方法は、コンテンツのタイプを予測する訓練済みのＮＮモデルによって、配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けるステップと、ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのＮＮモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けるステップと、前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供するステップと、をコンピューターに実行させる。

１つの実施形態によるプログラムは、訴求情報を取得し、タスク学習データで機械学習を実行した訓練済みのＧＰＴモデルによって、前記訴求情報に基づいて基礎コンテンツを生成し、タスク学習データで機械学習を実行した訓練済みのＢＥＲＴモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行い、タスク予測学習データによって訓練した訓練済みのＮＮ（ニューラルネットワーク）モデルによって前記ＢＥＲＴモデルで推敲した文章のコンバージョンレートを予測し、該文章の前記コンバージョンレートを高める前記候補のみを残して、前記ＢＥＲＴモデルの推敲にフィードバックし、前記ＢＥＲＴモデルの推敲とＮＮモデルのフィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する、処理をコンピューターに実行させる。

１つの実施形態によるプログラムは、コンテンツのタイプを予測する訓練済みのＮＮモデルによって、前述のプログラムで生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けて、ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのＮＮモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けて、前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供する、処理をコンピューターに実行させる。

上記の本発明の実施形態によれば、コンバージョンレート（ＣＶＲ）の高い、自然な文章の配布用コンテンツをＡＩに自動で作成させると共に、ＡＩで決定したＣＶしやすい対象に、ＡＩで決定したタイミングで出力することができる。

本発明の実施形態に係るコンテンツ生成方法の例示的フローのフローチャートである。 本発明の実施形態に係るコンテンツ生成方法に使用される、ＧＰＴモデルに基礎コンテンツを生成させるイメージである。 本発明の実施形態に係るコンテンツ生成方法に使用されるＢＥＲＴモデルに推敲コンテンツを生成させるイメージである。 本発明の実施形態に係るコンテンツ生成方法に使用される、ＮＮモデルの一般的なアーキテクチャの説明図である。 本発明の実施形態の学習データに含まれる、過去のシナリオデータの一例を示す説明図である。 本発明の実施形態の学習データに含まれる、クライアントから提供された訴求情報の一例を示す説明図である。 本発明の実施形態の学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。 本発明の実施形態のＮＮモデルに使用されるタスク予測学習データの実施形態を説明するための図である。 本発明の実施形態のコンテンツ生成方法を利用して、クライアントから依頼があってから、全サービスの流れを説明するための図である。 本発明の実施形態に係るコンテンツ提供方法の例示的フローのフローチャートである。 本発明の実施形態に係るコンテンツ提供方法に使用される、ファインチューニング済タイプ予測ＮＮモデル及びファインチューニング済ユーザー予測ＮＮモデルの一般的なアーキテクチャの説明図である。 本発明の実施形態に係るファインチューニング済タイプ予測ＮＮモデル及びファインチューニング済ユーザー予測ＮＮモデルに使用される文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを含む学習データの実施形態を説明するための図である。 本発明の実施形態に係る配布用コンテンツを提供する全サービスの流れを説明するための図である。 本発明の実施形態におけるコンテンツ生成方法、及びコンテンツ提供方法を実現し得るハードウェア構成の構造図である。

下記より、具体的な実施例で本発明が開示する「コンテンツ生成方法、コンテンツ提供方法、及びそのプログラム」に係る実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な応用に基づいて、本発明の趣旨を逸脱しない限り、変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。

他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書で使用される技術用語は、特に個数を指定されない限り、複数形を含むことが意図されている。

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は、例示に過ぎず、本発明を限定するものでない。

本発明の一側面によれば、コンテンツ生成方法が提供される。以下、図１を参照しながら、本発明の実施例におけるコンテンツ生成方法の例示的なフローを説明する。

図１は、本発明の実施形態に係るコンテンツ生成方法の例示的フローのフローチャートである。図１に示すように、コンテンツ生成方法の例示的フロー１００は、以下のステップを含んでも良い。

ステップＳ１０１：タスク学習データによって、事前学習済ＧＰＴモデル及び事前学習済ＢＥＲＴモデルのファインチューニングを行う；
ステップＳ１０３：タスク予測学習データによって、コンバージョンレートを予測するための事前学習済ＮＮ（ニューラルネットワーク）モデルのファインチューニングを行う；
ステップＳ１０５：タスク学習データの文章から抽出した書き出しをファインチューニング済ＧＰＴモデルに与えて、文章を生成させる；
ステップＳ１０７：ステップＳ１０５で生成した文章を、ファインチューニング済ＢＥＲＴモデルに入力して分散表現を取り出し、コサイン類似度が高いものを基礎コンテンツ（基礎文章）として抽出する；
ステップＳ１０９：ステップＳ１０７で抽出した基礎文章をファインチューニング済ＢＥＲＴモデルに入力し単語をランダムに隠し代わりの候補を挙げて推敲文章を生成する；
ステップＳ１１１：ファインチューニング済ＮＮモデルによって、ステップＳ１０９に生成した推敲文章のコンバージョンレートを予測して、コンバージョンレートが上昇する推敲コンテンツ（推敲文章）の候補のみを残してファインチューニング済ＢＥＲＴモデルにフィードバックする；
ステップＳ１１３：ステップＳ１１１において、推敲文章のコンバージョンレートの上昇が収束したかを判断し、コンバージョンレートの上昇が収束したと判断する場合、ステップＳ１１５に移行し、コンバージョンレートの上昇が収束していないと判断する場合、ステップＳ１０９に戻す。
ステップＳ１１５：推敲文章を配布用コンテンツ（配布用文章）として出力する。

このフロー１００において、各細部、例えば、タスク学習データ及びタスク予測学習データの詳細については後述の説明で例を挙げて説明するが、タスク学習データ及びタスク予測学習データを使用する際、例えば、ＢＥＲＴモデルを利用する場合、タスク学習データはベクトルのシーケンスに転換してから利用する等、使用される機械学習モデルに応じて形式を変換させることは当業者にとって言うまでもないため、その変換手法は既存の変換手法に従って行わればよく、本明細書ではその関連説明を省略する。

近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、そのうち、ＢＥＲＴモデル及びＧＰＴモデルは広く利用されている。ＧＰＴモデルは事前学習したモデルに対して、ファインチューニングといわれる既存のモデルのパラメータの微調整及び追加学習を行い、新しいモデルを再構築することなく高い精度で予測を行う。特に長文の生成では、ＧＰＴモデルは人間によって書かれたものと判断されるような自然な文章を作成することが可能である。しかし、ＧＰＴモデルで生成する文章は過去の情報を元に単語を並べ、文法的にそれらしい文章を作っているにすぎないため、長い文章を生成すると、同じ意味の単語を繰り返したり、結論が矛盾した文章を生成したりしてしまうことがある。一方、ＢＥＲＴモデルは、Ｔｒａｎｓｆｏｒｍｅｒを用いた双方向型の事前学習を可能にしたことで、高精度で文脈理解をした表現を獲得することができる。即ち、本願によるコンテンツ生成方法では、自動的に配布用文章を作成するために、文章の続きを書くのが得意なＧＰＴモデルに加えて、文章の書き換え（穴埋め）が得意なＢＥＲＴモデルを利用することで、自動的に人間が作成したような自然な文章が作られる。

そして、人間が作成したような自然な文章のみではなく、例えば、ＣＶＲの増加、ＣＰＡの削減またはＬＴＶの伸び等のマーケティングに関わる目標を達する配布用文章をＡＩに作成させるために、本発明に係るコンテンツ生成方法には、コンバージョンレートを予測するＮＮモデルをさらに利用する。詳しくは、コンバージョンレートを予測する事前学習済ＮＮモデルに、予測する文章のＢＥＲＴ分散表現を入力して、コンバージョンレート（値は０と１の間）を出力する。出力されたコンバージョンレートが上昇する場合、当該文章に使われる候補をＢＥＲＴモデルにフィードバックする。

そのようにして、コンバージョンレートの上昇が収束するまで、コンバージョンレートの高い文章をＢＥＲＴモデルに作らせることができる。なお、ここで利用されたＮＮモデルには、コンバージョンレートを予測できる限り、例えば順伝播型ニューラルネットワーク（ＦＦＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）等既存のニューラルネットワークのいずれを利用しても構わない。

続いて、図２から図４に基づいて、図１に示す例示的な方法に応用される、ＧＰＴモデル、ＢＥＲＴモデル及びＮＮモデルのファインチューニング及び仕組みの実例をより具体的に説明する。

まず、図２を参照する。図２は、図１に示すコンテンツ生成方法に使用される、ＧＰＴモデルに基礎文章を生成させるイメージである。本実施形態において、最初に使われるＧＰＴモデルは、ＧＰＴの事前学習モデルとして、Ｈｕｇｇｉｎｇｆａｃｅ Ｔｒａｎｓｆｏｒｍｅｒｓにアップロードされている、ｃｋｉｐｌａｂ／ｇｐｔ２－ｂａｓｅ－ｃｈｉｎｅｓｅを使用したが、使用する事前学習モデルは生成する言語に応じて変更し得て、本発明はこの例に制限されない。なお、本実施形態において、事前学習済ＧＰＴモデルは、コンテンツ生成方法を実行する時点の前にファインチューニングを実行したものであってもよい。例えば、ファインチューニングには、先月訓練したＧＰＴモデルを使用してもよい。即ち、本発明のコンテンツ生成方法において、事前学習済ＧＰＴモデルとファインチューニング済ＧＰＴモデルとの取り分けは、今回のコンテンツ生成方法が開始する時点で、新しいタスク学習データによってファインチューニングを行ったかに応じて決定する。

１つの実施例では、ＧＰＴモデルのファインチューニングに使われるタスク学習データは、後で説明するように、過去のシナリオデータ、クライアントから提供された訴求情報、訴求情報をインターネット検索して得た文章が含まれる。本願で示した文章とは、テキスト、絵文字または画像を含む、幾つかの文を連ねて、まとまった思想を表現したものである。絵文字または画像は、ＧＰＴモデルが処理できる形式に変換される。例えば、絵文字は予め提供されたリストに従って文字に変換してもよい。画像は既存の画像分析方法で文字に変換してもよい。また、過去のタスク学習データから適当に選んだものを検査データ（ｔｅｓｔ ｄａｔａ）として扱う。

タスク学習データが事前学習済ＧＰＴモデルに入力された後、ファインチューニングを実行する。ファインチューニングのエポック数は特に規定されていないが、５エポックが好ましい。その他の訓練パラメータは、Ｈｕｇｇｉｎｇｆａｃｅ ｔｒａｎｓｆｏｒｍｅｒｓのＴｒａｉｎｉｎｇＡｒｇｕｍｅｎｔｓのデフォルトの値である。学習データも検査データも損失が減少していることを確認した上でファインチューニング済ＧＰＴモデルとして保存する。本発明に係る実施形態では、検査データの損失が減少から上昇に転じていた場合は、上昇する直前でのモデルをファインチューニング済ＧＰＴモデルとして保存する。

そのように、ファインチューニング済ＧＰＴモデルにタスク学習データの文章の書き出しを与えると、望ましい基礎文章を自動で作成することができる。

図２に示す、ＧＰＴモデルのファインチューニング及び仕組みを理解した後に、続いて、図３に基づいてＢＥＲＴモデル訓練の実例を説明する。

まず、図３を参照する。図３は、図１に示すコンテンツ生成方法に使用されるＢＥＲＴモデルに推敲コンテンツを生成させるイメージである。本実施形態において、最初に使われるＢＥＲＴの事前学習モデルとして、Ｈｕｇｇｉｎｇｆａｃｅ Ｔｒａｎｓｆｏｒｍｅｒｓにアップロードされている、ｈｆｌ／ｃｈｉｎｅｓｅ－ｂｅｒｔ－ｗｗｍ－ｅｘｔを使用したが、使用する事前学習モデルは生成する言語に応じて変更し得て、本発明はこの例に制限されない。なお、本実施形態において、事前学習済ＢＥＲＴモデルは、コンテンツ生成方法が実行する時点の前にファインチューニングを実行したものであってもよい。例えば、ファインチューニングには、先月ファインチューニングしたＢＥＲＴモデルを使用してもよい。即ち、本発明のコンテンツ生成方法において、事前学習済ＢＥＲＴモデルとファインチューニング済ＢＥＲＴモデルとの取り分けは、今回のコンテンツ生成方法を開始する時点で、新しいタスク学習データによってファインチューニングを行ったかに応じて決定する。

本実施形態では、ＢＥＲＴモデルのファインチューニングに使われるタスク学習データと検査データの詳細も含めて、ＧＰＴモデルのファインチューニングと同じである。

タスク学習データがＢＥＲＴモデルに入力された後、ファインチューニングを実行する。ファインチューニングのエポック数は特に規定されていないが、５エポックが好ましい。その他の訓練パラメータは、Ｈｕｇｇｉｎｇｆａｃｅ ｔｒａｎｓｆｏｒｍｅｒｓのＴｒａｉｎｉｎｇＡｒｇｕｍｅｎｔｓのデフォルトの値である。訓練データも検査データも損失が減少していることを確認した上でファインチューニング済ＢＥＲＴモデルとして保存し、ここでは、検査データの損失が減少から上昇に転じていた場合は、上昇する直前でのモデルをファインチューニング済ＢＥＲＴモデルとして保存する。

そのように、ファインチューニング済ＢＥＲＴモデルにＧＰＴモデルで生成した基礎文章の文章を与えると、基礎文章において、単語をランダムに隠してファインチューニング済ＢＥＲＴが代わりの候補を挙げる推敲を行って、推敲文章及び推敲文章の分散表現を出力する。

図３に示す、ＢＥＲＴモデルのファインチューニング及び仕組みを理解した後に、続いて、図４に基づいてコンバージョンレートを予測するファインチューニング済ＮＮモデルの構成の実例を説明する。

図４を参照する。図４は、図１に示すコンテンツ生成方法に使用される、ＮＮモデルの一般的なアーキテクチャの説明図である。図４に示すように、図１に示す例示的な方法に使用されるＮＮモデルはＮＮ４０を含む。基本的に入力層４０１、隠れ層４０２及び出力層４０３を含む。入力層４０１は、Ｎ次元ベクトルを入力するためにＮ個のニューロンで構成され、隠れ層４０２はＮ／２個のニューロンで、出力層４０３は１個のニューロンで構成される。ここで、本発明では特に説明しない限りＮは正の整数である。また、本実施形態では、隠れ層４０２は１層で、Ｎが７６８となるが、隠れ層の数もＮの値も実際のニーズに応じて調整し得て、この例に制限される意図はない。また、本実施形態では、隠れ層４０２のニューロンに使われる活性化関数はＲｅＬＵであり、出力層４０３のニューロンに使われる活性化関数はシグモイド関数であるが、それら活性化関数も実際のニーズに応じて調整し得て、この例に制限される意図はない。

なお、当業者であれば、ＮＮモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済ＮＮモデルをファインチューニングする実例を簡単に説明する。１つの例では、図４に示す左側からＮＮ４０の入力層４０１にＢＥＲＴモデルによる推敲文章の分散表現（７６８次元ベクトル）を入力し、図４に示す右側からコンバージョンレート（値は０と１の間）を出力する。本実施形態のコンテンツ生成方法では、ＮＮモデルにおいて、ＮＮ４０と同じ構成のニューラルネットワークを全部で２４個を使用するが、本発明はこの例に制限されない。

１つの好適な実施例では、後で説明するように、過去のシナリオデータから、シナリオの文章とコンバージョンレートをタスク予測学習データとして取得する。タスク予測学習データを事前学習済みのＢＥＲＴモデルに入力する。ＢＥＲＴモデルの各層（Ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ層を除く１２層）から、文頭［ＣＬＳ］と文末［ＳＥＰ］の分散表現を取り出す。総計１２×２＝２４種類の分散表現（すべて７６８次元ベクトル）を得る。そして、２４個の事前学習済ＮＮ４０に、各種類の分散表現を入力し、それぞれ出力を得る。計２４個の出力と、実際のコンバージョンレートの差を計算し、その絶対値を足し上げた値が０に近づくように、ニューラルネットワークをファインチューニングする。ファインチューニング後にコンバージョンレートを予測する際は、計２４個の出力を平均した値を使っている。

続いて、ファインチューニング済ＮＮモデルを本実施形態のコンテンツ生成方法に利用する実例について説明する。ファインチューニング済ＢＥＲＴモデルによる推敲文章についてファインチューニング済ＮＮモデルによってコンバージョンレートを予測し、コンバージョンレートを高める候補のみを残し、ファインチューニング済ＢＥＲＴモデルにフィードバックする。ファインチューニング済ＢＥＲＴモデルによる推敲と、コンバージョンレートを高める候補のフィードバックとを繰り返すと、予測されるコンバージョンレートの上昇が収束する推敲文章を作ることができる。それらの推敲文章を配布用文章（配布用コンテンツ）として出力して、本実施形態に係るコンテンツ生成方法のプロセスは終了する。

続いて、図５～７を参照されたい。図５～７は、ＢＥＲＴモデル及びＧＰＴモデルに使用されるタスク学習データの実施形態を説明するための図である。本実施形態では、タスク学習データは、過去のシナリオデータ、クライアントから提供された訴求情報、または／及び訴求情報をインターネット検索して得た文章を含む。

図５では、本実施形態のタスク学習データに含まれる、過去のシナリオデータの一例を示す説明図である。図５に示すように、過去のシナリオデータは、例えば、公開、またはビジネス向けのチャットルームにおけるターゲットユーザーとの会話記録や、問診結果等のユーザーとの対話で得られたデータを含む。それらの過去のシナリオデータの収集、分類、格納については、特定の期間で特定の数の文章を特定の分類付けで取得できれば、既存のデータ収集・処理手法のいずれかによって行っても構わない。

図６では、本実施形態のタスク学習データに含まれる、クライアントから提供された訴求情報の一例を示す説明図である。ここでのクライアントは、本発明のコンテンツ生成方法でコンテンツ作成サービスを依頼した者を言う。例えば、広告主、行政機関、研究機関等が挙げられる。訴求情報の内容はクライアントによって異なっているが、少なくともクライアントが伝えたい思想に係る文章、及びターゲットユーザーに関わる統計性の情報を含む。例えば、図６は、クライアントが広告主である場合を想定した訴求情報の例を示す。図６において、クライアントが伝えたい思想に係る文章としては、例えば、商品紹介、サイド参考、成果の良い広告訴求等が挙げられ、また、ターゲットユーザーに関わる統計性の情報としては、例えば、性別、高齢層等のターゲットの詳細が挙げられる。訴求情報の取得は、依頼の場合、上述した情報を含むように、クライアントにアンケートを取ってもよいが、他の既存のデータ収集・処理手法のいずれかによって行っても構わない。

図７では、本実施形態のタスク学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。本発明のコンテンツ生成方法で作られた文章の表現をさらに豊かにするために、訴求情報から得られたいくつかのキー情報によって、インターネット検索を行い、例えば、ランキング上位１０サイトの文章を抽出して、訴求情報をインターネット検索して得た文章として使える。ここでは、訴求情報をインターネット検索して得た文章をさらに洗練するために、事前学習済ＢＥＲＴモデルの分散表現を使い、コサイン類似度が高いもの、例えば、コサイン類似度が特定の閾値以上のものを選ぶようにしてもよい。本実施形態では、特定の閾値が０．９であることが好ましい。なお、訴求情報をインターネット検索して得た文章を、訴求情報に係る定型文に換えてもよいが、最新の文章表現から離れる場合があるため、好ましくない。

続いて、図８を参照されたい。図８は、ＮＮモデルに使用されるタスク予測学習データの実施形態を説明するための図である。本実施形態では、タスク予測学習データは、過去のシナリオ文章とＣＶ値の関連で構成されたデータである。例えば、図８に示した表において、Ｂ欄はシナリオ文章、Ｅ欄はそのシナリオ文章を読んだ人数、Ｇ欄は購入（ＣＶ）した人数を表示している。Ａ欄は文章や購入画面の識別番号、Ｃ欄はその文章（や購入画面）の前に読まれた文章の識別番号を表示している。例えば、第２列の文章を読んだのは５９３人、その中で購入したのは（第３列に表示されているように）３８人なので、コンバージョンレートは３８／５９３＝６．４１％となる。シナリオ文章が複数の文章で構成されている場合は、それらの文章を繋げたものを使用して訓練する。なお、過去のシナリオ文章とＣＶ値とそれらの対応的な関連とを複数取得できれば、このようなデータを取得する手法またはデータの表現形式では、既存のいずれの情報処理方法で行っても構わない。

以上、図１から図８に基づいて、本発明の実施形態に係るコンテンツ生成方法のフロー及びフローの詳細を説明した。続いて、該例をもとに、さらに図９を参照して、本発明に係るコンテンツ生成方法を提供するサービスの一例を説明する。

図９は、クライアントから依頼があってから、全サービスの流れを説明するための図である。
まず、クライアントに用意されたアンケートを取って、訴求情報を取得する。
そして、訴求情報をインターネットで検索して表示される上位１０サイトの文章を取得し、訴求情報、一定時間帯内（例えば、行う時点から２か月前まで）の過去のシナリオデータと共に、タスク学習データとしてまとめる。
タスク学習データによって、事前学習済ＧＰＴモデル及び事前学習済ＢＥＲＴモデルのファインチューニングを行う。
最新のタスク予測学習データによって、コンバージョンレートを予測するための事前学習済ＮＮモデルのファインチューニングを行う。
ファインチューニング済ＧＰＴモデルに、タスク学習データの文章の書き出し（５－１０字）を与えて、自動で文章を生成させる。
ファインチューニング済ＧＰＴモデルが作成した文章のうち、訴求情報の文章に近いものを選択して、基礎文章とする。この選択は、ファインチューニング済ＢＥＲＴモデルの分散表現を使い、コサイン類似度が高いものを選ぶ。
基礎文章において、単語をランダムに隠してファインチューニング済ＢＥＲＴモデルが代わりの候補を挙げる推敲を実行し、ファインチューニング済ＮＮモデルがコンバージョンレートを予測することでコンバージョンレートを高める候補のみを残し、ファインチューニング済ＢＥＲＴモデルにフィードバックして推敲を再実行する。
予測されるコンバージョンレートの上昇が収束するまで、上記の推敲とフィードバックを繰り返す。そのように推敲された文章を配布用文章として生成し、プロセスを終了する。
以上のプロセスにより、複数の配布用文章を生成することができる。

そのように、クライアントの依頼から、コンバージョンレートを高める、自然な配布用文章をＡＩで自動的に生成することができるため、配布用文章の生成効率を抜群にするだけではなく、配布用文章と読み手（即ち、消費者、ターゲット使用者）のとの関連をより緊密にさせることができ、最終的には、例えば、ＣＶＲの増加、ＣＰＡの削減またはＬＴＶの伸び等のマーケティングに関わる目標を達することができる。また、本発明における配布用文章は、例えば、ポップアップ広告、チャットボットの会話の材料、プッシュ通知のメッセージ等が挙げられるが、本発明はこれらの例に制限されない。

続いて、図１０を参照して、本発明に係るコンテンツ生成方法で生成した配布用コンテンツをターゲットユーザーに提供するコンテンツ提供方法の一例を説明する。図１０は、本発明の実施形態に係るコンテンツ提供方法の例示的フローのフローチャートである。図１０に示すように、コンテンツ提供方法の例示的フロー１０００は、以下のステップを含んでも良い。

ステップＳ１００１：文章タイプタスク予測学習データによって、コンテンツ（文章）のタイプを予測するための事前学習済タイプ予測ＮＮモデルのファインチューニングを行う；
ステップＳ１００３：ユーザータイプタスク予測学習データによって、ターゲットユーザーにＣＶしやすい文章のタイプを予測するための事前学習済ユーザー予測ＮＮモデルのファインチューニングを行う；
ステップＳ１００５：ファインチューニング済タイプ予測ＮＮモデルに、予測しようとする配布用文章を入力し、配布用文章のタイプを予測して、タイプを配布用文章に対応付ける；
ステップＳ１００７：ファインチューニング済ユーザー予測ＮＮモデルに、ターゲットユーザーデータを入力し、ターゲットユーザーにＣＶしやすい配布用文章のタイプを予測して、タイプをターゲットユーザーに対応付ける；
ステップＳ１００９：各配布用文章をそれに対応付けたタイプに応じて、各ターゲットユーザーに提供する；

そのようにして、本発明に係るコンテンツ提供方法によれば、ターゲットユーザーにＣＶしやすいタイプの文章を提供することができる。

続いて、図１１に基づいて、コンテンツのタイプを予測するためのタイプ予測ＮＮモデル、及びターゲットユーザーにＣＶしやすい文章のタイプを予測するためのユーザー予測ＮＮモデルの構成の実例を説明する。

図１１を参照する。図１１は、図１０に示すコンテンツ提供方法に使用される、タイプ予測ＮＮモデル及びユーザー予測ＮＮモデルの一般的なアーキテクチャの説明図である。図１１に示すように、図１０に示す例示的な方法に使用されるタイプ予測ＮＮモデル及びユーザー予測ＮＮモデルの構造は同様に、タイプ予測ＮＮ１１００を含む。タイプ予測ＮＮ１１００は、基本的に入力層１１０１、隠れ層１１０２及び出力層１１０３を含む。入力層１１０１は、Ｎ次元ベクトルを入力するためにＮ個のニューロンで構成され、隠れ層１１０２はＮ／２個のニューロンで、出力層１１０３は４個のニューロンで構成される。ここで、本発明では特に説明しない限りＮは正の整数である。また、本実施形態では、隠れ層１１０２は１層で、Ｎが７６８、出力層のニューロンの数が４個となるが、隠れ層の数もＮの値も出力層のニューロンの数も実際のニーズに応じて調整し得て、この例に制限される意図はない。また、本実施形態では、隠れ層１１０２のニューロンに使われる活性化関数はＲｅＬＵであり、出力層１１０３のニューロンに使われる活性化関数はシグモイド関数であるが、それら活性化関数も実際のニーズに応じて調整し得て、この例に制限される意図はない。

なお、当業者であれば、ＮＮモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済タイプ予測ＮＮモデル及び事前学習済ユーザー予測ＮＮモデルをファインチューニングする実例を簡単に説明する。１つの例では、まず、事前学習済タイプ予測ＮＮモデルのファインチューニングでは、図１１に示す左側からタイプ予測ＮＮ１１００の入力層１１０１に、ＢＥＲＴモデルによる文章タイプタスク予測学習データにおける予測文章のＢＥＲＴ分散表現（最深層の文頭［ＣＬＳ］の分散表現のみを使う）を入力し、文章タイプタスク予測学習データにおけるタイプの個数（ここでは４個）のニューロンで構成された出力層１１０３から、予測文章がそれぞれのタイプである確率（値は０と１の間）を出力するように訓練される。同じように、事前学習済ユーザー予測ＮＮモデルのファインチューニングでは、図１１に示す左側からタイプ予測ＮＮ１１００の入力層１１０１に、ユーザータイプタスク予測学習データを入力し、ユーザータイプタスク予測学習データにおけるタイプの個数（ここでは４個）のニューロンで構成された出力層１１０３から、ターゲットユーザーがそれぞれのタイプのシナリオでコンバージョン（ＣＶ）する確率（値は０と１の間）を出力するよう訓練される。

続いて、ファインチューニング済タイプ予測ＮＮモデル及びファインチューニング済ユーザー予測ＮＮモデルの利用例について説明する。詳しくは、１つの好適な実施例では、後で説明するような、予測したい配布用文章を、事前学習済みのＢＥＲＴモデルに入力して、ＢＥＲＴモデルの分散表現（最深層の文頭［ＣＬＳ］の分散表現のみ）を得る。そして、ＢＥＲＴモデルの分散表現をファインチューニング済タイプ予測ＮＮモデルに入力し、得られた確率が最も高いタイプを配布用文章に対応付ける。１つの好適な実施例では、後で説明するような、ターゲットユーザーデータを、ファインチューニング済ユーザー予測ＮＮモデルに入力して、得られた確率が最も高いタイプをターゲットユーザーに対応付ける。配布用文章をターゲットユーザーに提供する際、それぞれに対応付けたタイプによって提供するように行う。

続いて、図８と図１２を参照されたい。図８と図１２は、ファインチューニング済タイプ予測ＮＮモデル及びファインチューニング済ユーザー予測ＮＮモデルに使用される文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを含む学習データの実施形態を説明するための図である。本実施形態では、学習データは、過去のシナリオの文章、文章のタイプ、及びターゲットユーザーデータを含む。

図８に示された表において、文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データが登録される。例えば、表のＢ欄にシナリオの文章、Ｆ欄に文章のタイプが文章タイプタスク予測学習データとして表示している。本実施形態では、タイプは値段優位（商品の値段が安いことを強調するシナリオ）、効果優位（商品の効果が高いことを強調するシナリオ）、インフルエンサー優位（商品を有名人が使っていることを強調するシナリオ）、ＣＶ値優位（一度購入した商品を再度購入することを薦めるシナリオ）等４種類に分類している。一方、図１２に示された表において、ユーザータイプタスク予測学習データが登録される。例えば、Ａ欄は選択肢の一覧、Ｂ欄はそれを選んだユーザー数、Ｃ欄はそのうちコンバージョン（ＣＶ）したユーザー数、Ｄ欄以降は各シナリオでコンバージョンしたユーザー数を示している。さらに、それぞれのシナリオ文章のタイプを読み取る。以上のデータを組み合わせることにより、それぞれの選択肢を選んだユーザーが、どのタイプの文章でコンバージョンしたか、その確率を計算することができる。これがユーザータイプタスク予測学習データとなる。なお、それらのデータの収集、分類、格納については、既存のデータ収集・処理手法のいずれかによって行っても構わない。

図１３は、配布用コンテンツの提供の全サービスの流れを説明するための図である。
最新の文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データを学習データとして、事前学習済タイプ予測ＮＮモデル及び事前学習済ユーザー予測ＮＮモデルのファインチューニングを行う。
配布用文章を送信するターゲットを選ぶために、ファインチューニング済タイプ予測ＮＮモデル及びファインチューニング済ユーザー予測ＮＮモデルを使って、各ターゲットユーザーが過去に選んだ選択肢からどの配布用文章を送信すると最もコンバージョンしやすいかを予測して選ぶ。
以上のプロセスにより選ばれた、それぞれのターゲットユーザーが最もコンバージョンしやすい配布用文章を、各ターゲットユーザーに送信する。

特筆すべきは、送信後、各ユーザーが読んだシナリオ、シナリオの中で選んだ選択肢、どのシナリオでコンバージョンに至ったかのデータは、サーバーに残り、次の学習データとして使用されてもよい。また、本実施形態に係るコンテンツ提供方法は、クライアントの希望に応じて、他の目的を達するために配布用文章を提供しても可能である。例えば、別の実施形態において、ＣＶＲを向上させる目標を、顧客生涯価値（ＬＴＶ）の伸びとすれば、例えば、上記実施形態におけるコンテンツ提供方法に加えて、例えば、ターゲットユーザーのランディングページへのアクセス率が高い、配布用文章（例えばプッシュ通知）を送るタイミングを予測するためのＮＮモデルをさらに利用するなど、様々な目標を果たすことが可能である。

本発明のもう１つの側面として、情報処理装置が提供される。情報処理装置の処理器は、例えば、上述の図１、１０を参照して説明したコンテンツ生成方法及びコンテンツ提供方法、及びそれらの各ステップの操作及び／又は処理を行い、類似した効果を実現するように構成されても良いが、ここでは、その詳しい説明を省略する。また、処理器が使用するＮＮモデルは、上述の図４、１１を参照して説明したモデルのアーキテクチャの最適化のための例示的処理により取得されても良い。

図１４は、本発明の実施例におけるコンテンツ生成方法、コンテンツ提供方法及び情報処理装置を実現し得るハードウェア構成（汎用マシン）１４００の構造図である。

汎用マシン１４００は、例えば、コンピュータシステムであっても良い。なお、汎用マシン１４００は、例示に過ぎず、本発明による方法及び装置の応用範囲又は機能について限定しない。また、汎用マシン１４００は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。

図１４では、中央処理装置（ＣＰＵ）１４０１は、ＲＯＭ１４０２に記憶されているプログラム又は記憶部１４０８からＲＡＭ１４０３にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ１４０３では、ニーズに応じて、ＣＰＵ１４０１が各種の処理を行うときに必要なデータなどを記憶することもできる。ＣＰＵ１４０１、ＲＯＭ１４０２及びＲＡＭ１４０３は、バス１４０４を経由して互いに接続される。入力／出力インターフェース１４０５もバス１４０４に接続される。

また、入力／出力インターフェース１４０５には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部１４０６、液晶表示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部１４０７、ハードディスクなどを含む記憶部１４０８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部１４０９である。通信部１４０９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ１４１０は、ニーズに応じて、入力／出力インターフェース１４０５に接続されても良い。取り外し可能な媒体１４１１、例えば、半導体メモリなどは、必要に応じて、ドライブ１４１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部１４０８にインストールすることができる。

また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリーする、例えば、磁気ディスク、光ディスク、光磁気ディスク、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。

上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。

また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピューター実行可能なプログラムの方式で実現することもできる。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を逸脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。

４０ ファインチューニング済ＮＮ
４０１ 入力層
４０２ 隠れ層
４０３ 出力層
１１００ タイプ予測ＮＮ
１１０１ 入力層
１１０２ 隠れ層
１１０３ 出力層
１４００ 汎用マシン
１４０１ 中央処理装置
１４０２ ＲＯＭ
１４０３ ＲＡＭ
１４０４ バス
１４０５ 入力／出力インターフェース
１４０６ 入力部
１４０７ 出力部
１４０８ 記憶部
１４０９ 通信部
１４１０ ドライブ
１４１１ 取り外し可能な媒体

ステップＳ１０１：タスク学習データによって、事前学習済ＧＰＴモデル及び事前学習済ＢＥＲＴモデルのファインチューニングを行う；
ステップＳ１０３：タスク予測学習データによって、コンバージョンレートを予測するための事前学習済ＮＮ（ニューラルネットワーク）モデルのファインチューニングを行う；
ステップＳ１０５：タスク学習データの文章から抽出した書き出しをファインチューニング済ＧＰＴモデルに与えて、文章を生成させる；
ステップＳ１０７：ステップＳ１０５で生成した文章を、ファインチューニング済ＢＥＲＴモデルに入力して分散表現を取り出し、ステップＳ１０５で抽出する前のタスク学習データの文章の分散表現とのコサイン類似度が高いものを基礎コンテンツ（基礎文章）として抽出する；
ステップＳ１０９：ステップＳ１０７で抽出した基礎文章をファインチューニング済ＢＥＲＴモデルに入力し単語をランダムに隠し代わりの候補を挙げて推敲文章を生成する；
ステップＳ１１１：ファインチューニング済ＮＮモデルによって、ステップＳ１０９に生成した推敲文章のコンバージョンレートを予測して、コンバージョンレートが上昇する推敲コンテンツ（推敲文章）の候補のみを残して、その候補を新たな基礎文章と見做してファインチューニング済ＢＥＲＴモデルにフィードバックする；
ステップＳ１１３：ステップＳ１１１において、推敲文章のコンバージョンレートの上昇が収束したかを判断し、コンバージョンレートの上昇が収束したと判断する場合、ステップＳ１１５に移行し、コンバージョンレートの上昇が収束していないと判断する場合、ステップＳ１０９に戻す。
ステップＳ１１５：推敲文章を配布用コンテンツ（配布用文章）として出力する。

図７では、本実施形態のタスク学習データに含まれる、訴求情報をインターネット検索して得た文章の一例を示す説明図である。本発明のコンテンツ生成方法で作られた文章の表現をさらに豊かにするために、訴求情報から得られたいくつかのキー情報によって、インターネット検索を行い、例えば、ランキング上位１０サイトの文章を抽出して、訴求情報をインターネット検索して得た文章として使える。ここでは、訴求情報をインターネット検索して得た文章をさらに洗練するために、事前学習済ＢＥＲＴモデルの分散表現を使い、もともと訴求情報に含まれる文章の分散表現とのコサイン類似度が高いもの、例えば、コサイン類似度が特定の閾値以上のものを選ぶようにしてもよい。本実施形態では、特定の閾値が０．９であることが好ましい。なお、訴求情報をインターネット検索して得た文章を、訴求情報に係る定型文に換えてもよいが、最新の文章表現から離れる場合があるため、好ましくない。

続いて、図８を参照されたい。図８は、ＮＮモデルに使用されるタスク予測学習データの実施形態を説明するための図である。本実施形態では、タスク予測学習データは、過去のシナリオ文章とコンバージョンレートの関連で構成されたデータである。例えば、図８に示した表において、Ｂ欄はシナリオ文章、Ｅ欄はそのシナリオ文章を読んだ人数、Ｇ欄は購入（ＣＶ）した人数を表示している。Ａ欄は文章や購入画面の識別番号、Ｃ欄はその文章（や購入画面）の前に読まれた文章の識別番号を表示している。例えば、第２列の文章を読んだのは５９３人、その中で購入したのは（第３列に表示されているように）３８人なので、コンバージョンレートは３８／５９３＝６．４１％となる。シナリオ文章が複数の文章で構成されている場合は、それらの文章を繋げたものを使用して訓練する。なお、過去のシナリオ文章とコンバージョンレートとそれらの対応的な関連とを複数取得できれば、このようなデータを取得する手法またはデータの表現形式では、既存のいずれの情報処理方法で行っても構わない。

なお、当業者であれば、ＮＮモデルの原理、構造及び具体的な細部を理解することができるはずであるため、以下、後続の説明の便宜のため、本発明に係る事前学習済タイプ予測ＮＮモデル及び事前学習済ユーザー予測ＮＮモデルをファインチューニングする実例を簡単に説明する。１つの例では、まず、事前学習済タイプ予測ＮＮモデルのファインチューニングでは、図１１に示す左側からタイプ予測ＮＮ１１００の入力層１１０１に、ＢＥＲＴモデルによる文章タイプタスク予測学習データにおける予測文章のＢＥＲＴ分散表現（最深層の文頭［ＣＬＳ］の分散表現のみを使う）を入力し、文章タイプタスク予測学習データにおけるタイプの個数（ここでは４個）のニューロンで構成された出力層１１０３から、予測文章がそれぞれのタイプである確率（値は０と１の間）を出力するように訓練される。同じように、事前学習済ユーザー予測ＮＮモデルのファインチューニングでは、図１１に示す左側からタイプ予測ＮＮ１１００の入力層１１０１に、ユーザータイプタスク予測学習データを入力し、ユーザータイプタスク予測学習データにおけるタイプの個数（ここでは４個）のニューロンで構成された出力層１１０３から、ターゲットユーザーがそれぞれのタイプのシナリオでコンバージョンする確率（コンバージョンレート、値は０と１の間）を出力するよう訓練される。

図８に示された表において、文章タイプタスク予測学習データ及びユーザータイプタスク予測学習データが登録される。例えば、表のＢ欄にシナリオの文章、Ｆ欄に文章のタイプが文章タイプタスク予測学習データとして表示している。本実施形態では、タイプは値段優位（商品の値段が安いことを強調するシナリオ）、効果優位（商品の効果が高いことを強調するシナリオ）、インフルエンサー優位（商品を有名人が使っていることを強調するシナリオ）、コンバージョンレート優位（一度購入した商品を再度購入することを薦めるシナリオ）等４種類に分類している。一方、図１２に示された表において、ユーザータイプタスク予測学習データが登録される。例えば、Ａ欄は選択肢の一覧、Ｂ欄はそれを選んだユーザー数、Ｃ欄はそのうちコンバージョン（ＣＶ）したユーザー数、Ｄ欄以降は各シナリオでコンバージョンしたユーザー数を示している。さらに、それぞれのシナリオ文章のタイプを読み取る。以上のデータを組み合わせることにより、それぞれの選択肢を選んだユーザーが、どのタイプの文章でコンバージョンしたか、その確率を計算することができる。これがユーザータイプタスク予測学習データとなる。なお、それらのデータの収集、分類、格納については、既存のデータ収集・処理手法のいずれかによって行っても構わない。

Claims (10)

1. 訴求情報を取得する取得ステップと、
   タスク学習データで機械学習を実行した訓練済みのＧＰＴモデルによって、前記訴求情報に基づいて基礎コンテンツを生成する基礎コンテンツ生成ステップと、
   タスク学習データで機械学習を実行した訓練済みのＢＥＲＴモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行う推敲ステップと、
   タスク予測学習データによって訓練した訓練済みのＮＮ（ニューラルネットワーク）モデルで前記推敲ステップによる推敲した文章のコンバージョンレートを予測し、前記コンバージョンレートを高める前記候補のみを残して、前記推敲ステップにフィードバックするフィードバックステップと、
   前記推敲ステップと前記フィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する配布用コンテンツ生成ステップと、
   をコンピューターに実行させることを特徴とする、コンテンツ生成方法。
2. 前記タスク学習データは、チャットボットによるターゲット対象との会話内容を含む、過去のシナリオデータ、前記訴求情報、または前記訴求情報をネットワークで検索して得られたランキング上位のコンテンツを含む、請求項１に記載のコンテンツ生成方法。
3. 前記ＮＮモデルの訓練に事前学習済ＢＥＲＴモデルによるタスク予測学習データの分散表現が使用され、前記タスク予測学習データは、前記過去のシナリオデータとＣＶ値の関連で構成されたデータである、請求項２に記載のコンテンツ生成方法。
4. 前記タスク学習データは、インターネットから抽出したデータのうち、前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツを含む、請求項２に記載のコンテンツ生成方法。
5. 前記タスク学習データは、インターネットから抽出したデータ、または予めデータベースに用意されたデータを含み、
   前記過去のシナリオデータとコサイン類似度が一定の閾値を超えたコンテンツは、訓練済みのＢＥＲＴモデルによってコンテンツのコサイン類似度の測定を行って抽出する、請求項４に記載のコンテンツ生成方法。
6. 前記訴求情報は少なくとも訴求人が伝えたい思想を含むコンテンツ、及び伝えたいターゲット対象の統計性のデータを含む、請求項１～５の何れか１項に記載のコンテンツ生成方法。
7. 前記配布用コンテンツは、チャットボットによる会話に使用されるメッセージ、またはプッシュ通知用メッセージである、請求項１～５の何れか１項に記載のコンテンツ生成方法。
8. コンテンツのタイプを予測する訓練済みのＮＮモデルによって、請求項１～７の何れか１項に記載のコンテンツ生成方法で生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けるステップと、
   ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのＮＮモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けるステップと、
   前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供するステップと、
   をコンピューターに実行させることを特徴とするコンテンツ提供方法。
9. 訴求情報を取得し、
   タスク学習データで機械学習を実行した訓練済みのＧＰＴモデルによって、前記訴求情報に基づいて基礎コンテンツを生成し、
   タスク学習データで機械学習を実行した訓練済みのＢＥＲＴモデルによって前記基礎コンテンツにおける単語をランダムに隠して代わりの候補を挙げるように前記基礎コンテンツの推敲を行い、
   タスク予測学習データによって訓練した訓練済みのＮＮ（ニューラルネットワーク）モデルによって、前記ＢＥＲＴモデルで推敲した文章のコンバージョンレートを予測し、該文章の前記コンバージョンレートを高める前記候補のみを残して、前記ＢＥＲＴモデルの推敲にフィードバックし、
   前記ＢＥＲＴモデルの推敲とＮＮモデルのフィードバックステップを繰り返して、コンバージョンレートの上昇が収束したコンテンツを配布用コンテンツとして生成する、
   処理をコンピューターに実行させることを特徴とするコンテンツ生成プログラム。
10. コンテンツのタイプを予測する訓練済みのＮＮモデルによって、請求項９に記載のプログラムで生成した配布用コンテンツのタイプを予測して、前述配布用コンテンツと予測されたタイプを対応付けて、
    ターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測する訓練済みのＮＮモデルによって、タスクとなるターゲット対象に対してコンバージョンしやすいコンテンツのタイプを予測して、前述ターゲット対象と予測されたタイプを対応付けて、
    前記対応付けたタイプに応じて、前記配布用コンテンツを対応的に前記ターゲット対象に提供する、
    処理をコンピューターに実行させることを特徴とするコンテンツ提供プログラム。

Images