JP2019505936A - 人工ニューラルネットワークを使用したウェブインタフェースの生成及びテスト - Google Patents

人工ニューラルネットワークを使用したウェブインタフェースの生成及びテスト Download PDF

Info

Publication number
JP2019505936A
JP2019505936A JP2018553337A JP2018553337A JP2019505936A JP 2019505936 A JP2019505936 A JP 2019505936A JP 2018553337 A JP2018553337 A JP 2018553337A JP 2018553337 A JP2018553337 A JP 2018553337A JP 2019505936 A JP2019505936 A JP 2019505936A
Authority
JP
Japan
Prior art keywords
candidate
funnel
neural network
individuals
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018553337A
Other languages
English (en)
Inventor
リスト ミクライネン,
リスト ミクライネン,
ニール イスコー,
ニール イスコー,
Original Assignee
センティエント テクノロジーズ (バルバドス) リミテッド
センティエント テクノロジーズ (バルバドス) リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by センティエント テクノロジーズ (バルバドス) リミテッド, センティエント テクノロジーズ (バルバドス) リミテッド filed Critical センティエント テクノロジーズ (バルバドス) リミテッド
Publication of JP2019505936A publication Critical patent/JP2019505936A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/14Tree-structured documents
    • G06F40/143Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/36Software reuse
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons

Abstract

大まかに説明すると、開示される技術は、探索空間において全ての可能なウェブページ設計をテストすることなく、探索空間において最も成功したウェブページ設計を効率的に識別するために人工ニューラルネットワーク及び進化的計算を使用する、いわゆる機械学習変換最適化(MLCO)システムを提供する。探索空間は、マーケティング担当者によってウェブページ設計に基づいて定義される。ニューラルネットワークはゲノムとして表される。ニューラルネットワークは、ライブのユーザトラフィックからのユーザ属性を、リアルタイムでユーザに提示される出力ファネル異なる次元及び次元値にマッピングする。ゲノムは、良好なパフォーマンスを示す親ゲノム、及び良好なパフォーマンスを示す見込みがある孫ゲノムを識別するために、初期化、テスト、競争、及び生殖のような進化的操作を受ける。
【選択図】図2

Description

関連出願の相互参照
本出願は、2016年1月5日に出願された米国仮特許出願第62/275,058号、「AUTOMATED CONVERSION OPTIMIZATION SYSTEM AND METHOD USING MACHINE LEARNING」(代理人整理番号:GNFN3301−1)の利益を主張する。優先権の仮特許出願は、参照により以下に組み込まれる。
本出願は、2016年1月5日に出願された米国仮特許出願第62/275,074号、「AUTOMATED SEGMENTATION/PERSONALIZATION CONVERSION OPTIMIZATION USING MACHINE LEARNING」(代理人整理番号:GNFN3302−1)の利益を主張する。優先権の仮特許出願は、参照により以下に組み込まれる。
本出願は、同時に出願された「MACHINE LEARNING BASED WEBINTERFACE GENERATION AND TESTING SYSTEM」(代理人整理番号:GNFN3301−2)と題する米国特許出願を参照により組み込む。
本出願は、同時に出願された「MACHINE LEARNING BASED WEBINTERFACE PRODUCTION AND DEPLOYMENT SYSTEM」(代理人整理番号:GNFN3301−3)と題する米国特許出願を参照により組み込む。
本出願は、同時に出願された「WEBINTERFACE PRODUCTION AND DEPLOYMENT USING ARTIFICIAL NEURALNETWORK」(代理人整理番号:GNFN3302−3)と題する米国特許出願を参照により組み込む。
開示される技術は、概して、人工知能及び人工ニューラルネットワークを使用したウェブインタフェースの生成及びテストに関し、特に、進化的計算を使用していわゆる機械学習変換最適化(MLCO)解法を提供することに関する。
本章で議論される主題は、この章におけるその言及の結果として従来技術にすぎないものと想定されるべきではない。同様に、この章で言及され、又は背景技術として提供される主題と関連付けられた課題は、従来技術において前に認識されていたものと想定されるべきではない。この章における主題は、それらのアプローチが特許請求される技術の実装態様にも対応することができる異なるアプローチを表しているにすぎない。
開示される技術は、探索空間において全ての可能なウェブページ設計をテストすることなく、探索空間において最も成功したウェブページ設計を効率的に識別するために人工ニューラルネットワーク及び進化的計算を使用する、いわゆる機械学習変換最適化(MLCO)システムを提供する。探索空間は、マーケティング担当者によって提供されるウェブページ設計に基づいて定義される。ニューラルネットワークは、ゲノムとして表される。ニューラルネットワークは、ライブのユーザトラフィックからのユーザ属性を、リアルタイムでユーザに提示される出力ファネルの異なる次元及び次元値にマッピングする。ゲノムは、良好なパフォーマンスを示す親ゲノム及び良好なパフォーマンスを示す見込みがある孫ゲノムを識別するために、初期化、テスト、競争、及び生殖のような進化的操作を受ける。
ウェブサイト上で制御された実験を実行するための一般的な方法は、洗練された変換最適化解法を含む。変換最適化は、同時にウェブページ及びページ要素の複数の組み合わせ及び変動をテストすることを含む。例えば、27の可能な組み合わせ(元の制御バージョンを含む)の合計についての、2つの代替的なイメージと、2つの代替的なヘッドラインを加えたものと、2つのコピーテキストの代替物を加えたものが提供されてもよい。よって、変換最適化は、本当にユーザ関心を引くページ要素の最も効果的な組み合わせを判定するために分析される必要がある順列及び組み合わせの更なる複合的なセットを導入する。
ビッグデータがウェブの個人化においてより重要な役割を果たすにつれて、データ信号の数、ルールの複雑性、及び成果の真の数は指数関数的に増加している。それが起こるにつれて、おそらくは成果に影響を与える機会がほとんどないか全くない事実の後を除き、人間の最適化を行うことは不可能である。アルゴリズム的最適化が必要とされるが、そうであっても、パフォーマンスを予測するために処理される必要がある膨大な数のデータ入力および結果として生じる測定値を考えると、線形的な関係及び相互関係を扱うことができる単純な線形回帰アルゴリズムは、改善された成果を十分にもたらすことができないことがある。
それらの間の非常に複雑な関係を有する多くの変数が成果を判定する際に伴うテストを実行するために機械学習システムが利用される。機械学習システムは典型的に、変数の間の関係がアルゴリズムを事前に判定するために非常に複雑である場合があると考えると、始めから公式を理解することを試みるのではなく、公式を理解するためにデータから学習することを試みる。従って、変換最適化を行う上で多くの変数があるので、入力の大規模なデータセットから学習することに基づいて、成果に関する予測を行うために機械学習、人工知能、及び他の非線形アルゴリズムを利用する非常に洗練されたアルゴリズムが望ましい。
図面では、同様の参照符号は全体的に、異なる図面全体を通じて同様の部分を指す。また、図面は必ずしも寸法通りではなく、代わりに開示される技術の原理を全体的に示すことを強調する。以下の説明では、開示される技術の様々な実装態様が以下の図面を参照して説明される。
標的のオンラインのユーザの行動を促進する機械学習変換最適化(MLCO)システムの態様を示す。 ニューラルネットワークを表すゲノムの1つの実装態様を示す。 開示される機械学習変換最適化(MLCO)のワークフローを示す。 ゲノムによって表されるニューラルネットワークの出力層を初期化するために使用される複数のウェブインタフェースを有するファネルを示す。 ゲノムによって表されるニューラルネットワークの出力層を初期化するために使用されるファネルのウェブインタフェースレイアウトを記す。 ゲノムによって表されるニューラルネットワークの出力層を初期化するために使用されるその次元及び次元値を有するファネルのウェブインタフェースを示す。 スタータファネルのエディタ設計表現をランタイム設計表現に転換する1つの実装態様の符号図である。 ゲノムによって表されるニューラルネットワークの出力層を符号化する1つの実装態様の符号図である。 図1のフロントエンドプレゼンテーションモジュールの態様を示す。 図1のフロントエンドプレゼンテーションモジュールの態様を示す。 機械学習ユーザデバイス(MLUD)の1つの実装態様である。 機械学習コンテンツ配信ネットワーク(MLCDN)の1つの実装態様を示す。 開示される技術を実装するために使用することができるコンピュータシステムの簡易ブロック図である。
以下の議論は、いずれかの当業者が開示される技術を行い、使用することを可能にするために提示され、特定の適用例及びその要件のコンテキストで提供される。開示される実装態様への様々な修正が当業者にとって直ちに明らかであり、本明細書で定義される一般的な原理は、開示される技術の精神及び範囲を逸脱することなく、他の実装態様及び適用例に適用されてもよい。よって、開示される技術は、示される実装態様に限定することを意図していないが、本明細書で開示される原理及び特徴に一貫した最も広い範囲に一致することになる。
開示される実装態様に係るシステム、装置、及び方法の実施例が変換最適化のコンテキストで説明される。他の例では、開示される技術は、多変数テスト、A/Bテスト、ランディングページ最適化、変換率最適化、ウェブサイトテスト、ウェブサイト最適化、探索エンジン最適化、情報技術、電気通信システム、財務システム、セキュリティ取引、銀行取引、ビジネスインテリジェンス、マーケティング、医療及び健康科学、マイニング、エネルギーなどに適用されてもよい。他のサービスが可能であり、その結果、以下の実施例が範囲、コンテキスト、又は設定において決定的又は限定的なもののいずれかとして見なされるべきではない。
開示される技術は、データベースシステム、マルチテナント環境、Oracle(商標)互換データベースの実装態様、IBM DB2 Enterprise Server(商標)互換関係データベースの実装態様、MySQL(商標)若しくは又はPostgreSQL(商標)互換関係データベースの実装態様、又はMicrosoft SQL Server(商標)互換関係データベースの実装態様のような関係データベースの実装態様、或いはVampire(商標)互換非関係データベースの実装態様、Apache Cassandra(商標)互換非関係データベースの実装態様、BigTable(商標)互換非関係データベースの実装態様、又はHBase(商標)若しくはDynamoDB(商標)互換非関係データベースの実装態様などのNoSQL(商標)非関係データベースの実装態様を含む、いずれかのコンピュータにより実施されるシステムのコンテキストにおいて実装されてもよい。加えて、開示される技術は、MapReduce(商標)、バルク同期プログラミング、MPIプリミティブなどのような異なるプログラミングモデル、又はAmazon Elasticsearch Service(商標)及びAmazon Kinesis(商標)を含むAmazon Web Service(AWS)(商標)、Apache Storm(商標)、Apache Spark(商標)、Apache Kafka(商標)、Apache Flink(商標)、Truviso(商標)、IBM Info−Sphere(商標)、Borealis(商標)、及び Yahoo! S4(商標)のような異なるスケーラブルバッチ及びストリーム管理システムを使用して実装されてもよい。
本明細書で使用されるように、用語「データベース」は、いずれかの統一した構造を必ずしも暗示しない。例えば、2つ以上の別個のデータベースは、共に考えられるとき、その用語が本明細書で使用されるようになお「データベース」を構成する。いくつかの実装態様では、データベースは、マルチテナントデータベースシステム(MTDS)など、多くの方法で実装することができる、オンデマンドデータベースサービス(ODDS)を形成するように1つ以上のテナントからの情報を共通データベースイメージのテーブルに記憶することができる。データベースイメージは、1つ以上のデータベースオブジェクトを含むことができる。他の実装態様では、データベースは、関係データベース管理システム(RDBMS)、オブジェクト指向データベース管理システム(OODBMS)、分散ファイルシステム(DFS)、非スキーマデータベース、又はいずれかの他のデータ記憶システム若しくはコンピューティングデバイスとすることができる。
本明細書で使用されるように、情報の項目の「識別」は、情報のその項目の直接の仕様を必ずしも必要としない。情報は、間接参照の1つ以上の層を通じて実際の情報を単純に参照することによって、又は情報の実際の項目を判定するために共に十分である異なる情報の1つ以上の項目を識別することによって、フィールドにおいて「識別され」てもよい。加えて、用語「指定する」は、「識別する」と同一の意味であるとして本明細書で使用される。
本明細書で使用されるように、所与の信号、イベント、又は値は、所与の信号、イベント、又は値によって影響される先行する信号、イベント、又は値の先行する信号、イベント、又は値「に従う」。間に入る処理要素が存在する場合、ステップ若しくは期間、所与の信号、イベント、又は値はなお、先行する信号、イベント、又は値「に従う」。間に入る処理要素又はステップが1つよりも多い信号、イベント、又は値を組み合わせる場合、処理要素又はステップの信号出力は、信号、イベント、又は値の入力の各々「に従う」と考えられる。所与の信号、イベント、又は値が先行する信号、イベント、又は値と同一である場合、これは、所与の信号、イベント、又は値がなお、信号、イベント、又は値「に従い」若しくはそれら「に依存し」、又はそれら「に基づいている」と考えられる退化したケースにすぎない。所与の信号、イベント、又は値の別の信号、イベント、又は値に対する「反応性」が同様に定義される。
本明細書で使用されるように、「同時に」又は「並列して」は、正確に同時である必要はない。個体の1つの評価が個体のもう一つの評価が完了する前に始まる場合に十分である。
本明細書で使用されるように、用語「ファネル」は、エンドユーザによって知覚可能、動作可能、及び理解可能である、ゲノムによって表されるニューラルネットワークの出力のフロントエンドを指す。実装態様では、ファネルは、ユーザ対話を引き起こし、それに応答する。ファネルは、1つ以上のウェブインタフェースを含む。ウェブインタフェースのいくつかの例は、ウェブページ、ウェブサイト、電子メール、モバイルアプリケーション、デスクトップアプリケーション、デジタル広告、ソーシャルメディアメッセージ(例えば、Tweet(商標)、Facebook post(商標))、ソーシャルメディアフィードアイテム、ソーシャルメディアプロファイル、ソーシャルメディアアカウント、ソーシャルメディアチャットメッセージ、汎用チャットメッセージ、フォーム、及び自動記入フォームなどの、制御バージョン及びその変形の両方を含む。
開示される技術の実装態様では、ファネルは、ウェブサイト(ファネルのセット)などの1つ以上のインターネットアクセス可能データセンタにおいて又はそれにわたって、ウェブサイトの背後で実行する関連付けられたアプリケーションと共に実装される。エンドユーザは、ファネルにアクセス可能であり、ファネルと対話可能であるインターネットアクセス可能クライアントデバイス又はクライアント(例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレット、モバイルデバイス、電話、又はレンダリングエンジンを有する他のデバイスなど)を操作する。1つの実装態様では、エンドユーザは、ウェブブラウザ又はモバイルアプリケーションを開くことによってファネルにアクセスする。いくつかの実装態様では、エンドユーザは、ファネル(又は、その一部)に認証してもよい。
開示される技術の実装態様では、ウェブインタフェースは、その構造が基本的なフォーマットに従う構造化ドキュメントである。例えば、1つの実装態様では、ウェブインタフェースは、ハイパーテキストマークアップ言語(HTML)、拡張可能マークアップ言語(XML)、又は他のウェブサポート構造化ドキュメントに基づいているウェブサポートフォーマットを有する。ウェブインタフェースは、1つ以上のリソース(例えば、JavaScript(登録商標)リソース、Cascading Style Sheet(CSS)リソース、Asynchronous and JavaScript XML(AJAX)リソース、イメージリソース、ビデオリソースなど)、又はより典型的に、ウェブインタフェース内に組み込まれる、そのようなリソースへの参照を含んでもよい。例として、ウェブインタフェースに組み込まれるリソースは、概して、リソースのタイプに応じて、とりわけ、スクリプト要素、スタイル要素、イメージ要素、又はオブジェクト要素の中に含まれてもよく、又はそれらの中で指定されてもよい。典型的には、エンドユーザのクライアントデバイスにおいて実行するウェブブラウザ又は他のクライアントアプリケーションは、受信されるウェブインタフェースのドキュメントオブジェクトモデル(DOM)の表現を構築する。
別の実装態様では、ウェブインタフェースは、プレーンテキスト、リッチテキスト、又はHTML(CSSなどのスタイル定義フォーマット若しくはJavaScriptなどのフォーマットにあるスクリプト命令、例えば、Microsoft Outlook(商標)、Google Gmail(商標)、Apple Mail(商標)、iOS Mail(商標)、Thunderbird(商標)、AOL Mail(商標)、Yahoo Mail(商標)、Windows Live(商標)を有し、若しくはそれらを有さない)に基づいている電子メールフォーマット、及びハイブリッドフォーマットを有する。
いずれかの他の従来の又は後に開発される構造化ドキュメント又はそのフォーマット若しくはそれに使用されるフォーマットは、ウェブインタフェースであるものと考えられる。そのような実装態様は、開示される技術(ウェブインタフェースの音声又は触覚の提示など)の精神及び範囲から逸脱することなく当業者にとって直ちに明らかである。
ウェブインタフェース(例えば、ウェブページ、ウェブサイト、電子メール、モバイルアプリケーション、デスクトップアプリケーション、デジタル広告)は、ページ要素を含む。ページ要素のいくつかの例は、イメージ、ビデオ、アニメーション、ヘッドライン、ヘディング、コールトゥアクション、テキストコピー、フォーム長、及びその他を含む。1つの例では、コールトゥアクションは、ユーザがウェブインタフェースのいずれか一部をクリック又はタップするときに何が発生するかを定義する。ウェブインタフェースのページ要素は、いわゆるウェブインタフェースレイアウトに配置される。ウェブインタフェースレイアウトは、相互のウェブインタフェースのページ要素の位置決めを定義する。例えば、イメージはウェブインタフェースレイアウトの下右にあってもよく、ビデオはウェブインタフェースレイアウトの中心にあってもよい。ウェブインタフェースでは、全ての相互変更可能なページ要素は、ウェブインタフェースレイアウトを使用して記述され、ウェブインタフェースレイアウトは、ページ要素がどのように相互に現れることになるか、及びそれらがどのように相互に対話することになるかを記述する。各々のページ要素は、いくつかの特性を有する。例えば、イメージページ要素は、タイプ、配置、及びサイズに関連する特性を有し、コールトゥアクションは、色、テキスト、及びサイズに関連する特性を有し、テキストコピーは、コンテンツ、長さ、及びサイズに関連する特性を有する。
導入
開示される技術は、探索空間において全ての可能なウェブページ設計をテストすることなく、探索空間において最も成功したウェブページ設計を効率的に識別するために人工ニューラルネットワーク及び進化的計算を使用する、いわゆる機械学習変換最適化(MLCO)システムを提供する。探索空間は、マーケティング担当者によって提供されるウェブページ設計に基づいて定義される。ニューラルネットワークは、ゲノムとして表される。ニューラルネットワークは、ライブのユーザトラフィックからのユーザ属性を、リアルタイムでユーザに提示される出力ファネルの異なる次元及び次元値をマッピングする。ゲノムは、良好なパフォーマンスを示す親ゲノム及び良好なパフォーマンスを示す見込みがある孫ゲノムを識別するために、初期化、テスト、競争、及び生殖のような進化的操作を受ける。
電子商取引では、ユーザ経験、すなわち、できるだけ多くのエンドユーザを、何気なく閲覧する閲覧者から支払う顧客に変換する、ウェブページ及び対話を設計することが重要な目標である。単純さ及び一貫性を含む、いくつかの公知の設計の原理が存在するが、どの程度それが変換するかを判定するページの要素の間の予期しない対話も存在することが多い。同一の要素は、1つのコンテキストでは良好に作用することがあるが、その他ではそうではなく、結果を予測することが困難であることが多く、どのように所与のページを改善するかを決定することが更に困難である。
それらの課題に全体的に取り組む産業が現れており、変換率最適化、又は変換科学と呼ばれる。実践者のほとんどが使用する標準的な方法は、A/Bテスト、すなわち、同一のページの2つの異なるバージョンを設計し、異なるユーザにそれらを示し、どの程度それらの各々が変換するかについての統計を収集することである。この処理によって、領域及び変換最適化に関する人類の知識を設計に組み込み、次いで、それらの効果をテストすることが可能になる。結果を観察した後、新たな設計が比較されてもよく、徐々に改善することができる。A/Bテスト処理は、困難かつ時間を要するものであり、ページ設計の非常にわずかな部分のみがこのようにしてテストされることがあり、設計における僅かな対話は単純に、完全に失敗することがある。
開示される技術は、マーケティング担当者自体が作成する変数及び変数値からテストされることになるウェブページ候補を自動生成する。変数及び変数値は、ボタンの色及びフォントの重みのような小さな変更から全体規模のメッセージング及び設計仕様までの、ウェブサイトに関するいずれかであってもよい。それらの変数は全て、ファネルにおける単一のページ上にあってもよく、又は複数のページにわたってもよい。ユーザの個体化を提供するために、ユーザ属性の所与のセットについて、開示される技術は、値の可能な組み合わせの膨大な空間において最も成功した変数及び変数値を探索する。開示される技術は、要素のどの組み合わせがどのユーザに対して効果的であるかを経時的に学習し、最も見込みのある設計を探し回ることに徐々に集中する。
開示される技術は、短縮化された時間フレームにおいてより多くの項目を膨大にテストすることが可能な、変換最適化のために自動化システムである。それは、変換が増大することにつながる変数の僅かな組み合わせを見出す。開示される技術は、人類によって設計されるものよりも良好に変換する設計を発見することができ、なぜならば、それは、要素の間の予期しない対話を見出すことが多いからである。例えば、開示される技術は、ボタンが緑である必要があるが、それが透明であり、ヘッダが小さいフォントであり、ヘッダテキストが整列されているときのみ、その必要があることを見出すことができる。そのような対話が存在することが多く、それらは、見出すことが非常に困難である場合がある。開示される技術は、高価な人類の努力の代わりに、人工知能に基づいてこの発見処理を自動にする。開示される技術で、よって、変換を以前よりも良好に、かつ以前よりもさらに大きな規模で最適化することが可能であり、電子商取引条件が変わるにつれてそれらを最適化し続けることが可能である。
機械学習変換最適化(MLCO)システム
図1は、標的のオンラインのユーザの行動を促進する機械学習変換最適化(MLCO)システムの態様を示す。実装態様では、標的の行動は、変換であるが、他の実装態様では、他の行動が標的にされてもよい。
図1のシステムは、候補の「個体」の個体数を有する候補データベース106を記憶するメモリを含む。メモリ106は、本明細書では、それがシステムの物理的な一部であり、又は単にネットワーク上で到達可能であるかに関わらず、システムにアクセス可能であるものと考えられる。「個体」は、典型的には符号化された方式で特定のニューラルネットワークを表す「ゲノム」を含み、特定のニューラルネットワークは、標的のユーザの行動を達成する際のその成功ついてテストされることになる。ニューラルネットワークの例は、多層パーセプトロン、フィードフォワード型ニューラルネットワーク、循環又は再帰ニューラルネットワーク、ディープニューラルネットワーク、シャローニューラルネットワーク、完全結合ニューラルネットワーク、疎結合ニューラルネットワーク、完全結合ニューラルネットワークを含む畳み込みニューラルネットワーク、完全結合ニューラルネットワークを有さない全畳み込みネットワーク、ディープスタッキングニューラルネットワーク、ディープビリーフネットワーク、残余ネットワーク、エコーステートネットワーク、リキッド状態機械、ハイウェイネットワーク、LSTM(ロングショートタームモリ)ネットワーク、ゲート付き再帰型ユニット(GRU)、事前訓練、及びフローズンニューラルネットワークなどを含む。
図1の実装態様では、テストされることになるニューラルネットワークの全ては、完全に結合され、入力層において固定数のニューロン、及び出力層において固定数のニューロンを有する。よって、それらのパラメータについての値は、個体において指定される必要はない。各々の個体は、ネットワークの隠れ層の数、各々の隠れ層におけるニューロンの数、及びそれらの相互結合の重みなど、ニューラルネットワークの他のハイパーパラメータについての値を指定しない。よって、個体のハイパーパラメータは、ニューラルネットワークのトポロジ及びその相互結合についての係数を記述する。ハイパーパラメータは、図1のシステムにおける生殖の間に進化する値であり、よって、個体のゲノムを表す。各々の個体はまた、個体の現在の適応度の推定値などの他の情報を識別する。
1つの実装態様に係るハイパーパラメータのサンプルセットは、以下を含む。
Figure 2019505936
図1に戻り、個体によって識別されるニューラルネットワークは、1つ以上のウェブインタフェースを有するそれぞれのファネルへの或るユーザ属性(入力ノードにおいて提供される)のマッピングを定義する。1つの実装態様では、ファネルは、ウェブインタフェースの厳格に線形な連続であり、別の実装態様では、それは、分岐を含むことができる。各々のファネルは、それに対して値をニューラルネットワークによって割り当てることができるいくつかの「次元」(側面)を含む。入力ノードにおいて提示されるユーザ属性のセットに応じて、ニューラルネットワークは、その出力ノードにおいて、それに対して値を割り当てることができるファネル次元ごとの値を有するベクトルを生成する。
各々のファネルは、それによって標的のユーザの行動の達成を検出することができるメカニズムを有する。1つの実装態様では、標的のユーザの行動は、エンドユーザによる変換である。ファネルごとに、設計者、マーケティング担当者、広告担当者、又はコンテンツ作成者によって定義される変換目標に基づいて変換を検出することができる。変換目標の例は、ファネルの特定のウェブインタフェースにユーザが到達すること(例えば、サンキューページ)、ファネルのウェブインタフェース上のリンク若しくはボタン、又は他のユーザインタフェース要素をユーザがクリックすること、或いは設計者によって定義されたいずれかの他のカスタムイベント(例えば、jQueryを使用した)を含む。変換目標の他の例は、Amazon.com(商標)上の「Buy Now」ボタンをユーザがクリックすること、電子メール登録ページ上の「Sign Up」ボタンをユーザがクリックすること、アプリケーションランディングページ上の「Download Now」ボタンをユーザがクリックすること、レポートをダウンロードするためにフォームをユーザが記入すること、ウェビナをユーザがサインアップすること、購入処理をユーザが完了すること、ショッピングカートにアイテムをユーザが追加すること、ショッピングカートのチェックアウトをユーザが初期化すること、及び本を読むために誓約をユーザが行うことを含む。変換目標は、異なるファネル及び異なるテスト環境について異なってもよい。
特定の個体のニューラルネットワークによって出力されるファネル次元値は、符号化された方式にあるファネルを表す。ルールのセットは、本明細書でプレゼンテーションデータベースと称されることがあり、ファネル次元値から実際のイメージ及びユーザによって経験されることになる対話へのマッピングを定義する。例えば、5つのニューラルネットワークの出力ノードの1つのグループは、ファネルの特定のウェブインタフェースのメインヘッドラインのテキストについての5つの選択肢のうちの1つを選択するように設計されてもよい。プレゼンテーションデータベースにおけるルールは、そのようなノードの符号化された出力をヘッドラインの実際のテキストに変換するものである。
最初に、図1のボックス102では、設計者は、テスト及び最適化されるウェブインタフェースファネルの基本側面についての設計を指定する。1つの実装態様では、これは、入力ニューロンの数、それらが何のユーザ属性を表すか、出力ニューロンの数、グループへのそれらの分割(メインヘッドラインテキストの選択肢を符号化するための上述した5つのニューロンなど)と共に、ファネルの他の視覚及び対話要素を含む。ボックス102は、それらがハイパーパラメータであり、異なる個体の間で変化するので、進化可能であるファネルの側面についての値を指定することを含まない。いくつかの実装態様では、しかしながら、ボックス102は、1つ以上の種の個体についてのハイパーパラメータを指定することを含んでもよい。
ボックス104では、個体数初期化モジュールは、個体の予備プールを生成し、それらを候補個体数106に書き込む。各々の個体は、個体のハイパーパラメータについての値のそれぞれのセットを識別する。1つの実装態様では、予備プールは、ランダムに生成されてもよく、別の実装態様では、予め指定された種の個体が使用されてもよい。読み手は、多数の他のオプションは、候補個体の初期個体数の可能な生成であることを認識するであろう。
候補個体数106が初期個体数を含んだ後、個体数における各々の個体が個体のニューラルネットワークの適応度を推定するために多数のユーザに関してテストされるループが始まる。モジュール108、110、112、及び118を含むループは、本明細書で候補テストモジュール120と称されることがある。好ましくは、ニューラルネットワークは、最適化されるものの一部が様々なユーザ属性に対するニューラルネットワークの成功の一貫性であるので、様々な属性を有する様々なユーザに関してテストされる。また、全ての個体は好ましくは、個体のニューラルネットワークにおける差のみではなく、テストの時間における差から結果として生じることがあるパフォーマンスの変動を最小化するために、ほぼ同時にテストされる(異なるユーザに対してであるが)。例示を簡単にするために、1つの個体のみのテストが図1に示される。ループの複数の例は、候補個体数106における個体ごとに1つである、特定の実装態様において使用されてもよいことが認識されよう。
フォワードパスモジュールボックス108は、テストされることになる特定の候補個体のゲノム(ハイパーパラメータ値)を受信する。フォワードパスモジュールボックス108はまた、ユーザ属性データ114を受信し、ハイパーパラメータの受信されたセットによって指定されるニューラルネットワークの入力ノードにそれを適用する。ユーザ属性データは、現在のユーザに関して探り出された特性を記述するが、その名前に関わらず、その情報に限定される必要はない。それはまた、現在の曜日などの非ユーザ特有情報を含むことができる。また、ユーザ属性データ114がデータベースとして図1に示されるが、他の実装態様では、それは、ブラウザクッキー、IPアドレス、Maxmind(商標)のようなサードパーティインテリジェンスソースなどの他のソースから来てもよい。本明細書で使用されるように、ユーザ属性データ114は、ユーザ属性データの「ソース」から概して来ると考えられる。
設計に含まれてもよいユーザ属性データの例は、サイト訪問行動(例えば、訪問の数、最後の訪問からの時間、オンライン購入パターン、登録されたユーザデータ)、訪問についてのソース(例えば、参照者、アドワード)、デバイス/ブラウザ、日付(例えば、曜日、時刻、季節性)、結合タイプ/ISP/細胞担体、地理的位置、人口統計(例えば、言語(ブラウザ/デバイスからの))、及び心理学のような他の利用可能な属性である。
フォワードパスモジュールボックス108の出力は、現在の候補のニューラルネットワークが所与の提供されるユーザ属性を使用することを指定する特定のファネルの変動についての次元値のセットである。それらの値は、フロントエンドプレゼンテーションモジュール110に提供され、フロントエンドプレゼンテーションモジュール110は、ファネルの第3のウェブインタフェースのメインヘッドラインについて使用するテキストの特定の選択肢、ファネルの第1のウェブインタフェース上のロゴについて使用する特定の色又はCSS、及びファネルの第4のウェブインタフェースにおけるコールトゥアクションに関して使用する特定のテキストなどのフロントエンドの値にそれらをマッピングする。このファネルは次いで、ライブのオンライン評価112についてユーザに対して提示される。ファネルがイメージなどの出力要素だけでなく、ボタン及びリンクなどの対話要素をも含むので、用語「ユーザに対する提示」は、典型的にユーザとの双方向の対話324を含むことが認識されることに留意されたい。
ライブのオンライン評価112の出力は、現在のユーザセッションにおける標的のユーザの行動を達成する際の特定のファネルの変動の成功のインジケーションである。設計のパフォーマンス測定値に応じて、出力は、標的のユーザの行動が達成されたか否かを示す二値であってもよく、又はそれは、標的のユーザの行動が達成されたかの程度を示す1つ以上の値であってもよい。例えば、変換最適化の実装態様では、パフォーマンス測定値は、変換率であり、次いで、ライブのオンライン評価112の出力は、変換が現在のユーザセッションにおいて達成されたか否かのyes又はnoを単純に示してもよい。パフォーマンス測定値が受け取る収益に基づいている場合、ライブのオンライン評価112の出力は次いで、現在のユーザセッションから実現される収益を示してもよい。更なる別の実装態様では、絶対的である代わりに、パフォーマンス測定値は、何らかの対照に対して相対的であってもよい。対照は、例えば、固定された、不変対照ファネルのパフォーマンスであってもよく、それは、候補個体を含むパフォーマンスと同時に他のユーザセッションにおいて使用されてもよい。
適応度集約モジュール118は、それに対して現在の候補個体のニューラルネットワークが使用されたユーザセッションの全てに対する現在の候補個体のパフォーマンス測定値を集約する。集約は、平均値であってもよく、又は個体についての組み合わされた適応度値を発展させるためのいくつかの他の公式であってもよい。集約パフォーマンス測定値は、現在の候補個体と関連して候補個体数プール106に書き込まれる。
上述したように、ボックス108、110、112、及び118のループの複数の例は、候補個体数106における個体ごとに1つである、特定の実装態様においてほぼ同時に使用されてもよい。代わりに、異なる個体は、ループの単一の例において交互の方式で使用されてもよい。また更に、それらの2つの代替の混合が使用されてもよい。結局、テストされることになる個体の全ては、個体の適応度の合理的に正確な推定値をそれらの各々について取得することができるように複数のユーザセッションにおいてテストされる。実施例では、候補個体数プール106は、50の個体を含んでもよく、それらの各々の1つが、1000〜2000のトライアル(ユーザセッション)の組を受ける。
また、図1に示されるのは、ニューロエボリューションモジュール126である。候補個体数106からテストされる個体の全てがユーザセッションの完全な組においてテストされた後、ニューロエボリューションモジュール126は、個体の新たな世代を形成するためにそれらを進化させる。
ニューロエボリューションモジュール126は、競争モジュール122を含む。1つの実装態様では、進化的計算は、或る世代では操作を可能にする競争モジュール222を利用する。競争モジュール122は、競争テストモジュール120によって提供される更新されたパフォーマンス測定値に従って候補個体数106の内容を更新する。いくつかの実装態様では、競争モジュール122は、最小のベースラインの個体適応度(例えば、管理者によって予め設定される、若しくは自動設定される)を満たさない候補個体、又はその「個体適応度」が同様にテストされる候補個体の「個体適応度」に相対的に遅れる候補個体を破棄する。個体数106は、改正された内容で更新される。
競争モジュール122は、1つの世代から次への候補個体の卒業を管理する。この処理は、以下のように、一度に1つづつの候補個体に発生するとして考えられてもよい。最初に、競争モジュール122が実行された最後の時からそれらに対してパフォーマンス測定値が更新された全ての候補個体を通じてループが始まる。1つの実装態様では、現在の候補個体についてのパフォーマンス測定値がなおベースラインの個体適応度(例えば、管理者によって予め設定される、若しくは自動設定される)を下回り、又は他の候補個体の個体適応度に相対的に十分に遅れる場合、現在の候補個体は次いで破棄され、次の1つが考慮される。現在の個体についてのパフォーマンス測定値がベースラインの個体適応度(例えば、管理者によって予め設定される、若しくは自動設定される)を上回り、又は他の候補個体の個体適応度と相対的に同等である場合、現在の候補個体は次いで、次の世代に追加される。処理は次いで、次の候補個体を考慮するために順番に進む。
1つの実装態様では、競争モジュール122は、それらの絶対的パフォーマンス測定値の代わりに、それらの「相対的パフォーマンス測定値」に基づいて候補個体を評価する。候補個体の相対的パフォーマンス測定値は、第1の期間において判定された対照個体の絶対的パフォーマンス測定値と、第1の期間においてまた判定された候補個体の絶対的パフォーマンス測定値との間の差に基づいて計算される。よって、例えば、第1の世代の間に作成された第1の候補個体が40%の絶対的平均変換率を有し、第1の世代においてまた初期化された第1の対照個体が35%の絶対的平均変換率を有する場合、第1の候補個体の相対的パフォーマンス測定値は次いで、5%(40%−35%=5%)である。同様に、第2の世代の間に作成された第2の候補個体が45%の絶対的平均変換率を有し、第2の世代における第1の対照個体の絶対的平均変換率が42%まで増加した場合、第2の候補個体の相対的パフォーマンス測定値は次いで、3%(45%−42%=3%)である。従って、第1及び第2の候補個体は、それらのそれぞれの相対的パフォーマンス測定値に基づいて比較され、第1の候補個体は、第2の候補個体の絶対的パフォーマンス測定値が第1の候補個体の絶対的パフォーマンス測定値よりも5%高い(45%−40%=5%)としても、第1の候補個体よりも2%良好(5%−3%=2%)であると見出される。1つの個体の相対的パフォーマンス測定値と別の個体の相対的パフォーマンス測定値との間の競争モジュール122によって行われる各々の比較は、本明細書で比較「インスタンス」と称されることがある。
1つの実装態様では、競争モジュール122は、現在の候補個体の相対的パフォーマンス測定値が候補個体数106における最も適応しない候補個体の相対的パフォーマンス測定値を上回るかを判定する。そうである場合、最も適応しない候補個体は次いで破棄され、現在の候補個体が次の世代に移動される。そうでない場合、現在の候補個体は次いで破棄される。処理は次いで、次の候補個体を考慮するために順番に移動する。
ニューロエボリューションモジュール126はまた、生殖モジュール124を含む。候補個体数106が更新された後、生殖モジュール124は、候補個体数に、候補個体数106からの1つ以上の親の個体及び親のパフォーマンス測定値のそれぞれのセットに従って形成される新たな個体を追加する。いずれかの従来の又は後に開発される技術が生殖について使用されてもよい。実装態様では、親の個体からの条件、出力、又はルールは、子の個体を形成するための様々な方法で組み合わされ(例えば、適応度に比例的な選択)、次いで、時に、それらは変異する。組み合わせ処理は、例えば、クロスオーバー、すなわち、子の個体を形成するために親の個体の間で条件、出力、又はルール全体を交換することを含んでもよい。生殖を通じて作成された新たな個体は、定義されていないとして示されるパフォーマンス測定値から始まる。
生殖モジュール124は、ニューラルネットワークのハイパーパラメータを進化させることによって新たな個体を形成する。生殖モジュール124が出力ファネルの次元値を進化させないことに留意されたい。1つの実装態様では、生殖モジュール124は、親の個体のハイパーパラメータ値の間のクロスオーバーによって新たな個体を形成する。別の実装態様では、生殖モジュール124は、少なくとも部分的に親の個体の少なくとも1つのハイパーパラメータ値の変異によって新たな個体を形成する。個体数106は次いで、新たな個体で更新される。
個体の新たな生成が候補個体数106に書き込まれた後、ボックス104、108、112、及び118の候補テストモジュール120は、ユーザセッションのトライアルの別の組を通じて繰り返す。ニューロエボリューションモジュール126は次いで、候補個体の第3の世代などを進化させる。
最適なニューラルネットワークについての探索空間があまり大きくない場合、個体の十分な生成の後に更なる進化の先がなくなるように個体数が収斂することができることを認識されよう。その状況では、実装態様は、全ての又はほとんどの後のユーザセッションにおける配置のために上位のパフォーマンスを示す1つ又はいくつかの個体を採取してもよい。上述したように、個体の適応度は、ユーザ属性の可変セットに応じて、どの程度そのニューラルネットワークがファネルを調節するかに部分的に対応する。よって、非常に適応された個体は、多くのタイプのユーザに対して良好なパフォーマンスを示し続けるはずである。
一方で、例えば、ニューラルネットワークに提供されるユーザ属性に反映されない環境的変化を考慮するために、個体をとにかく進化させ続けることが有益である場合がある。顧客のベンダウェブサイトについて、例えば、そのような変化は、ホリデーショッピングシーズンへの又はホリデーショッピングシーズンからの遷移において発生することがある。
進化が収斂の後に続くことになる場合、次いで、採取される個体が他の後のユーザセッションに配置される間でさえ、そのように行うためのいくつかの方法が読み手にとって明らかであろう。1つの例として、採取される個体は、異なるユーザセッションでの使用において候補個体が組み入れられてもよい。そのような例では、採取される個体のパフォーマンスは、それに対して新たな候補個体が評価される対照として使用されてもよい。他の変形が読み手にとって明らかであろう。
図1の例示は、ニューロエボリューションを含むが、別の実装態様では、進化が必要ない場合があることを認識されよう。例えば、モジュール126は、良好なパフォーマンスを示さない個体を徐々に破棄するために競争モジュール122を含んでもよいが、個体数を再構築するための生殖モジュール124を含まなくてもよい。そのようなシステムは、候補個体数106を記憶するメモリ、ボックス108、110、112、及び118の候補テストモジュール、並びに競争モジュール122を含む。典型的には、システムはまた、個体数設計ボックス102及び個体数初期化モジュール104を含み続ける。図1のシステムの全ての他の態様は、同一のままでいることができる。
いくつかの実装態様では、MLCOシステムは、任意選択のフルフィルメントシステム(図示せず)を使用する。フルフィルメントシステムは、候補テストモジュール120からの出力/アクション信号によって自動的に制御されるシステムである。ウェブページテスト環境では、例えば、フルフィルメントシステムは、コンピュータネットワーク(図示せず)を介して信号を受信し、適切な取引及び配送アクションをとる製品分布電子倉庫(例えば、Amazon.com(商標))である。
ゲノム
図2は、ニューラルネットワークを表すゲノムの1つの実装態様を示す。ニューラルネットワークは、入力層、1つ以上の隠れ層、及び出力層を含む。ニューロエボリューションモジュール126は、隠れ層のみを進化させる。入力及び出力層は進化しない。入力層は、ユーザ属性データ114を入力と見なし、隠れ層は、入力の代替的な表現を生成するために非線形関数及びネットワーク重みを使用し、出力層は、代替的な表現に基づいて出力ファネルについての次元値を生成する。このようにして、ニューラルネットワークは、ユーザ属性データ114を出力ファネルの次元値にマッピングする。非線形関数のいくつかの例は、シグモイド関数、正規化線形関数(ReLUs)、双曲線正接関数、双曲線正接関数の絶対数、リーキReLUs(LReLUs)、及びパラメタライズドReLUs(PReLUs)を含む。
入力層の初期化
入力層のハイパーパラメータは、ユーザ属性データ114に基づいており、設計者、マーケティング担当者、広告担当者、又はコンテンツ作成者によって提供される仕様に基づいて定義されてもよい。図2に示される例では、入力層のニューロンは、ユーザの活動が検出される曜日、ユーザのデバイスのオペレーティングシステム(O/S)、ユーザのデバイスのタイプ、及びそれを通じてユーザが案内された広告グループに関するユーザ属性に対応する。実装態様では、そのようなユーザ属性の選択は、設計エディタ302のインタフェース304にわたって設計者によって提供される仕様に基づいている。他の実装態様では、設計者は、他のユーザ属性を指定することができ、システムは、それに従って、入力層のハイパーパラメータ(例えば、入力層におけるニューロンの数)を初期化するためにそれらを使用することができる。
いくつかの実装態様では、設計者によって指定されるユーザ属性は、入力層によって異なって処理される。例えば、「曜日」についての分類値を入力と見なす代わりに、入力層は、「正弦、余弦」符号化を有することによって1週間を通じて循環パターンを利用するために初期化されてもよい。他の実装態様では、入力層の入力符号化は、二進データタイプ(0若しくは1)、量的若しくは数的データタイプ、質的データタイプ、離散データタイプ、連続的データタイプ(上限及び下限を有する)、整数データタイプ(上限及び下限を有する)、公称データタイプ、序数若しくはランク付けデータタイプ、分類別データタイプ、間隔的データタイプ、並びに/又は比率データタイプのようなデータタイプに依存した他の方式を使用して表されてもよい。
出力層の初期化
出力層のハイパーパラメータは、設計者によって定義されるスタータファネルに従って初期化される。スタータファネルは、ゲノムによって表されるニューラルネットワークが出力することができるスタータファネルの全ての起こりうる変動のファネル探索空間を定義する。ファネル探索空間は、スタータファネルのスタータ次元及びスタータ次元値に組み合わせ操作を行うことによって定義される。1つの例では、設計者が4つのスタータページ要素(例えば、ロゴ、メインヘッドライン、サブヘッドライン、コールトゥアクション)、7つの可能なスタータサブ要素、及び19の可能なスタータサブ要素値を指定する場合、次元及び次元値の640の可能な組み合わせを有するファネル探索空間は次いで、ロゴの8つの異なる変動、メインヘッドラインの5つの異なる変動、サブヘッドラインの4つの異なる変動、及びコールトゥアクションの4つの異なる変動の組み合わせ操作を行うことによって定義される(すなわち、8×5×4×4=640)。ユーザ属性データ114によって識別される入力値に応じて、ニューラルネットワークは、ファネル探索空間における特定のファネル変動を識別する次元値を出力する。よって異なる入力値について、ニューラルネットワークは、異なるファネル変動を出力する。
図3を参照して、設計エディタ302は、MLCOワークフローを実装するために設計者、マーケティング担当者、広告担当者、又はコンテンツ作成者によって使用されるインタフェース304の一部としての様々なインタフェース構成要素を含む。特に、設計エディタ302は、ゲノムによって表されるニューラルネットワークについての入力として使用されることになるユーザ属性を指定し、ゲノムによって表されるニューラルネットワークの出力として使用されることになる次元及び次元値を指定し、ゲノムによって表されるニューラルネットワークの出力ファネルについての変換目標を設定し、ゲノムによって表されるニューラルネットワークについてのパフォーマンス測定値を設定し、テストをプレビューし、テストを配置するために設計者によって使用される。ランタイム環境は、312として例示される。
図4は、3つのスタータウェブインタフェース(例えば、1つのランディングページ及び2つのファネルページ)を有するスタータファネルの1つの実装態様を示す。1つの実装態様では、スタータウェブインタフェースは、それらのそれぞれのアクセス経路(例えば、ユニファイドリソースロケータ(URL))によってスタータファネルにおいて識別され、トポロジの順に配置される。典型的には、トポロジの順は、ファネルについて定義される変換目標を完了するためにエンドユーザがファネルに従う経路を判定する。トポロジの順は、インタフェース304にわたって設計者によってグラフィカルに設定され、メモリに論理的に記憶される。
図4はまた、設計者がスタータファネルについての変換目標を設定することを可能にする「変換目標定義」ボタンを記す。変換目標の例はまた、「リードの増加」又は「収益の増加」を含む。設計者はまた、どのタイプのイベントが、サンキューページに訪問すること、ボタン若しくはリンクをクリックすること、又はカスタムイベントなど、変換が発生したことを示すと考えられるかを定義する。変換目標を設定した後、設計者は、パフォーマンス測定値を指定する。パフォーマンス測定値は、上記議論されたように、テストの間の候補個体のパフォーマンスを評価するためにMLCOシステムによって使用される。
次いで、スタータファネルについてのウェブインタフェースレイアウトが生成される。本明細書で使用されるように、「ウェブインタフェースレイアウト」は、その中で次元についての代替的な値がファネルの特定のウェブインタフェースを定義するために挿入されるテンプレートにすぎない。1つの実装態様では、ウェブインタフェースレイアウトは、可変スクリーンのキャンバスを有するデバイスのオプションの中から(例えば、スマートフォン、タブレット、コンピュータ、ウェアラブルデバイス)設計者によって選択されたシミュレートされたデバイスにわたって表示される。いくつかの実装態様では、デバイスのオプションは、iPhone6(商標)、Samsung GalaxyS6(商標)、及びその他のような異なるデバイスモデルをリスト化する。図5は、ウェブインタフェースレイアウト、並びにウェブインタフェースレイアウトに適用することができる次元及び次元値の1つの実装態様を示す。
次いで、設計者は、スタータファネルのスタータウェブインタフェースごとのウェブインタフェースレイアウトに含まれることになる異なるページ要素(本明細書で「スタータ次元」と称される)を選択する。1つの実装態様では、設計者はまた、ページ要素についてのタイプを指定する。例えば、ページ要素の名前は、「Clean,Awesome and Multi−Purpose」であり、ページ要素のタイプは、「Headline−Main」である。更に進むと、設計者は、スタータファネルのスタータウェブインタフェースごとに異なるサブ要素(本明細書で「スタータ次元」と称される)を定義する。サブ要素の例は、テキスト、書式設定/CSS(Cascading Style Sheets)、ページ要素の隠蔽、ページ要素の除去、クラス、HTML、カスタムjQuery、及びイメージを含む。いくつかの実装態様では、設計者は、サブ要素のいくつかを活性化又は非活性化することができる(例えば、ドロップダウンを使用して)。1つの実装態様では、非活性なサブ要素は、取消線を有するインタフェース304にわたって表示される。他の実装態様では、設計エディタ302は、いくつかのサブ要素を自動的に活性にし、その他を非活性にする。
次いで、設計者は、定義されたサブ要素ごとにサブ要素値(本明細書で「スタータ次元値」と称される)を設定する。加えて、設計者はまた、定義されたサブ要素ごとに、制御サブ要素値及び1つ以上のテストサブ要素値を設定する。他の実装態様では、設計エディタ302は、サブ要素についてのデフォルトの制御値を自動で設定する。例えば、ページ要素「Headline−Main」について、制御サブ要素値は、「Clean,Awesome and Multi−Purpose」になるように設定され、テストサブ要素値は、「Slick,Awesome and Powerful」、「New,Fast,Better」、「Shiny,Better than the competition」、及び「Best you can Buy」になるように設定される。同様に、他の実装態様では、異なるページ要素、並びに対応するサブ要素及びサブ要素値は、スタータファネルのスタータウェブインタフェースの各々のスタータ次元及びスタータ次元値のセットとして定義されてもよい。
ファネルの各々のウェブインタフェースは、ベクトルに基づく探索空間におけるポイントとして考えられてもよい。ベクトル空間内の各々の次元軸は、ページ要素のうちの1つに対応し、所与の軸に沿った各々の異なる座標位置は、そのページ要素についての設計者により指定された代替のうちの1つを示す。例えば、図5では、コールトゥアクション次元は、4つの座標位置(値又はその代替)、すなわち、「Go!」、「Go to the Auction!」、「Win the Auction!」、及び 「Win it NOW!」を有する。ファネルの特定のウェブインタフェースは、ページ要素/次元ごとの値を指定する。
図6は、ファネルのウェブインタフェースの1つの実装態様を示す。図6では、ウェブインタフェースは、ウェブインタフェースレイアウト内の異なるページ要素/次元の配置又は位置と、ピクチャの選択肢(ページ要素/次元)、背景イメージ(ページ要素/次元)、背景色(ページ要素特性/次元値)、ヘッドラインコピー(ページ要素/次元)、ヘッドラインコピーのタイプフェース及び色(ページ要素特性/次元値)、ロゴの出現又は隠蔽(ページ要素/次元)、サブヘッドコピー(ページ要素/次元)、サブヘッドコピーのタイプフェース及び色(ページ要素特性/次元値)、ディスクリプションコピー(ページ要素/次元)、ディスクリプションコピーのタイプフェース及び色(ページ要素特性/次元値)、フォーンコールトゥアクション(ページ要素/次元)、フォーンコールトゥアクションのタイプ、フォーマット、及び色(ページ要素特性/次元値)、フォーム設計(ページ要素/次元)、ボタン(ページ要素/次元)、並びにボタンの形状、色、及びテキスト(ページ要素特性/次元値)を含む、ページ要素/次元の対応する特性又は値とによって定義される。
設計者は、いずれかのデータタイプを使用してスタータファネルのスタータ次元及びスタータ次元値を定義することができる。いくつかのデータタイプの例は、二進データタイプ(0若しくは1)、量的若しくは数的データタイプ、質的データタイプ、離散データタイプ、連続的データタイプ(上限及び下限を有する)、整数データタイプ(上限及び下限を有する)、公称データタイプ、序数若しくはランク付けデータタイプ、分類別データタイプ、間隔的データタイプ、並びに/又は比率データタイプを含む。例えば、スタータ次元及びスタータ次元値は、0〜1の実数値、0〜256の赤、緑、青(RGB)値などの連続値、CSS色の16進数値(例えば、#F0F8FF)、CSS色の分類別色値(例えば、AliceBlue)、他のCSS特性グループ及び特性のそれぞれの値(<http://www.w3schools.com/cssref/#animation>におけるウェブ上でリスト化された1つなど)、特定の次元のサイズ(例えば、高さ及び幅)、異なる値及びデータタイプのセット(例えば、異なる数的なドル価格値、若しくは異なる数的なドル価格値と、高さ及び幅との組み合わせ)、並びにその他に基づいてもよく、又はそれらのいずれかの組み合わせに基づいてもよい。
いったん作成されると、スタータファネルのプレビュー、及びその構成するスタータウェブインタフェースは、インタフェース304にわたって設計者に提示される。
スタータファネルの定義を理解すると、ここで議論は、ゲノムによって表されるニューラルネットワークの出力層がスタータファネルに基づいてランタイムにおいてどのように初期化されるかに向けられる。
図7は、スタータファネルのエディタ設計表現702をランタイム設計表現712に転換する1つの実装態様の符号図である。ランタイム322において、設計者によって定義されるスタータファネルのエディタ設計表現702は、ランタイム設計表現712に転換される。図7で使用される例では、エディタ設計表現702は、「ツリー」を含む。出力層及びそのハイパーパラメータは、いずれかのレベルのツリーに基づいてもよい。ツリーのルートは、それに対してテストが実行される最高レベルの粒度である。ウェブサイト又はモバイルウェブページについて、ルートはドメインである。モバイルアプリケーションについて、ルートはアプリケーションである。電子メールについて、ルートは電子メールであり、件名及びページは、次のレベルのツリーである。他のアプリケーション(広告など)について、異なるマッピングが使用されてもよい。ウェブページ及びモバイルアプリケーションのドメインでは、ウェブサイトは、1つからn個のファネルを有し、各々のファネルは、目標、及び1つからn個のページを有する。各々のページは、要素の1つからn個のクラスタを有する。各々のクラスタは、1つからn個の要素を有する。各々の要素は、要素の特性を変更するサブ要素のセットを有する。本明細書で使用されるように、サブ要素は、要素でもある。各々のサブ要素は、1つからn個の値を有する。他の実装態様では、構造は異なってもよい。例えば、要素は、全くクラスタ化されなくてもよく、又は表現は、全く階層化されなくてもよい。
図8は、設計者によって定義されるスタータファネルの異なるレベルの粒度を使用して出力層を初期化する異なる例示的な実装態様を示す。図8に示される例では、出力層及びそのハイパーパラメータは、クラスタ802、要素804、サブ要素806、若しくはサブ要素値808、又はそれらのいずれかの組み合わせに基づいてもよい。
従って、出力層は、いずれかのフォーマットで出力を提供するように構成されてもよい。1つの例では、出力は、二進符号化810の形式にあってもよい。他の出力フォーマットの例は、量的若しくは数的データタイプ、質的データタイプ、離散データタイプ、連続的データタイプ(上限及び下限を有する)、整数データタイプ(上限及び下限を有する)、公称データタイプ、序数若しくはランク付けデータタイプ、分類別データタイプ、間隔的データタイプ、及び/又は比率データタイプを含む。例えば、出力は、0〜1の実数値、0〜256の赤、緑、青(RGB)値などの連続値、CSS色の16進数値(例えば、#F0F8FF)、CSS色の分類別色値(例えば、AliceBlue)、他のCSS特性グループ及び特性のそれぞれの値(<http://www.w3schools.com/cssref/#animation>におけるウェブ上でリスト化された1つなど)、特定の次元のサイズ(例えば、高さ及び幅)、異なる値及びデータタイプのセット(例えば、異なる数的なドル価格値、若しくは異なる数的なドル価格値と、高さ及び幅との組み合わせ)、並びにその他に基づいてもよく、又はそれらのいずれかの組み合わせに基づいてもよい。
更に、出力層の出力を解釈するための様々な解釈の方式が採用されてもよい。例えば、図2に示される例では、出力ファネルのサブ要素及び要素についての値を解釈するために二進符号化が使用される。他の実装態様では、要素値及び/又はサブ要素値についての連続した出力を提供するために出力層の更に少ない出力ニューロンの連続符号化が使用されてもよく、サブ要素についての対応する値を判定するために「範囲に基づく」解釈の方式が利用されてもよい。更なる他の実装態様では、「予測的」解釈の方式は、要素及び/又はサブ要素のセットの値を、出力層によって識別される要素及び/又はサブ要素の別のセットの値に従って予測することを含むことができる。読み手は、多くの他のオプションが可能な解釈の方式であることを認識するであろう。
フロントエンド提示
図9及び10は、個体のゲノムによって表される1つ以上のニューラルネットワークによって作成される次元値に従ってエンドユーザへのフロントエンドの提示のための1つ以上のウェブインタフェースの出力ファネルを生成する1つの実装態様を示す。図10は、それに基づいて4つのウェブインタフェースが生成される次元値の4つのセットを示す。
図9はまた、出力ファネルごとの次元値が二進数列(文字列)によって表されることを示す。各々の二進数列は、サブ数列(サブ文字列)に更に区分化される。各々のサブ数列は、出力ファネルについての次元及び対応する次元値を表す。従って、各々のサブ数列は、出力セット(OS1〜OS4)に従って生成されることになるウェブインタフェースについてのサブ要素及び対応するサブ要素値を識別する。ウェブインタフェースがコンテンツを含むフロントエンド(例えば、グラフィカル)オブジェクトである実装態様では、サブ数列は、出力セット(OS1〜OS4)に基づいて生成されるウェブインタフェースに含まれることになるフロントエンド(例えば、グラフィカル)要素/構成要素、及び対応する要素/構成要素を識別する。
図9及び10の実装態様では、出力セット(OS1〜OS4)の各々の要素は、サブ数列としてグループ化されるビットの固定長のサブ文字列として符号化される。例えば、サブヘッドライン要素は、2つのサブ数列にグループ化される4つのビットを有する。サブ数列ごとに、ビットのうちの1つのみが利用可能な次元値のセットから特定の次元値を識別するように活性又は「ホット」であってもよい(例えば、「1」によって表される)。最も左のビットは、1つの例では、メインヘッドラインについて「プレーンテキスト」を示すことができる、サブ数列の「制御」値を表す。2つ目、3つ目、及び4つ目のビットは、例えば、「ボールド」、「イタリック」、及び「ボールド下線」それぞれを示してもよい。多くの他の符号化が異なる実装態様において可能であることが認識されよう。例えば、2ビットの数値は、制御を示す0、「ボールド」を示す1、「イタリック」を示す2、及び「ボールド下線」を示す3で使用されてもよい。
図9及び10の他の実装態様では、出力セットが提示されてもよく、構成する要素は、量的若しくは数的データタイプ、質的データタイプ、離散データタイプ、連続的データタイプ(上限及び下限を有する)、整数データタイプ(上限及び下限を有する)、公称データタイプ、序数若しくはランク付けデータタイプ、分類別データタイプ、間隔的データタイプ、及び/又は比率データタイプなど、二進データタイプ(0又は1)以外のデータタイプに依存した他の方式を使用して符号化される。例えば、図9及び10における出力セット及び構成する要素の符号化は、0〜1の実数値、0〜256の赤、緑、青(RGB)値などの連続値、CSS色の16進数値(例えば、#F0F8FF)、CSS色の分類別色値(例えば、AliceBlue)、他のCSS特性グループ及び特性のそれぞれの値(<http://www.w3schools.com/cssref/#animation>におけるウェブ上でリスト化された1つなど)、特定の次元のサイズ(例えば、高さ及び幅)、異なる値及びデータタイプのセット(例えば、異なる数的なドル価格値、若しくは異なる数的なドル価格値と、高さ及び幅との組み合わせ)、並びにその他に基づいてもよく、又はそれらのいずれかの組み合わせに基づいてもよい。
出力セット(OS1〜OS4)は、上記議論されたように、フォワードパスモジュール108によって生成及び提供される。フロントエンドプレゼンテーションモジュール110は次いで、出力セット(OS1〜OS4)を1つ以上のウェブインタフェースの出力ファネルに転換するためにプレゼンテーションデータベース920及びプレゼンテーションモジュール910を利用する。
プレゼンテーションデータベース920は、ファネルの次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するルールリポジトリとしての役割を果たす。プレゼンテーションモジュール910は、選択された出力セットによって識別される次元値に対応するフロントエンド要素値を判定するために、出力セットのうちの選択された1つをプレゼンテーションデータベース920に適用する。従って、プレゼンテーションモジュール910は、プレゼンテーションデータベース920に対してフォワードパスモジュール108によって提供される出力セットを評価し、出力セットに基づいてファネルの適切な変動を生成することが可能である。
プレゼンテーションデータベース920は、様々な要素ルールを含む。プレゼンテーションデータベース920では、要素ルールは、ファネル探索空間における全ての可能な次元、すなわち、ウェブインタフェースに含まれることができる全ての可能なフロントエンド(例えば、グラフィカル)要素/構成要素について提供されてもよい。また、各々の要素ルールは、所与の次元又はページ要素/構成要素についての全ての可能な次元値又はページ要素/構成要素を識別するポインタを含む。例えば、「サブヘッドライン」要素ルールは、色、テキスト、サイズ、及び配置など、「サブヘッドライン」要素の全ての可能な特性についてのポインタを含む。
選択された出力セットについて、プレゼンテーションモジュール910は、プレゼンテーションデータベース920にアクセスし、選択された出力セットにおけるサブ数列ごとの適用可能な要素ルールを評価する。図9の例では、要素1のルールは、全てのロゴのサブ数列について識別され、要素2のルールは、全てのメインヘッドラインのサブ数列について識別され、要素3のルールは、全てのサブヘッドラインのサブ数列について識別され、要素4のルールは、全てのアクションボタンのサブ数列について識別される。更に、各々の要素ルールは、それぞれのサブ数列値についてのポインタを識別し、対応するフロントエンド(例えば、グラフィカル)要素/構成要素及び要素/構成要素値を生成する。
1つの実装態様では、次元ごとの利用可能な値のうちの1つがデフォルトの値であるとき、結果として生じるファネルは、次元の各々のデフォルトの次元値についてのデフォルトのフロントエンド要素値を有する。そのような実装態様では、プレゼンテーションモジュール910は、次元ごとのデフォルトの次元値以外の、選択された出力セットによって識別される全ての次元値に対応するフロントエンド要素値を判定するために、選択された出力セットをプレゼンテーションデータベース920に適用する。
他の実装態様では、ウェブインタフェースファネルの特定の変動について、ファネルの次元ごとの値を記憶するファネルカスタム化仕様メモリが利用される。そのような実装態様では、プレゼンテーションモジュール910は、ユーザに対し、プレゼンテーションデータベース920によって示されるフロントエンド要素値を有するファネルをファネルファネルカスタム化仕様メモリに記憶された次元値に対応するとして提示する。ファネルファネルカスタム化仕様メモリはまた、ファネルの次元ごとの値の新たなセットで更新される。ファネルカスタム化仕様メモリについての更新された値は、ファネルを入力するためのユーザの行動(例えば、ユーザがブラウザを介してランディングページURLを提供すること)に応じて取り出される。加えて、プレゼンテーションモジュール910は、ユーザの行動(例えば、ユーザがブラウザを介してランディングページURLを提供すること)に応じてプレゼンテーションデータベース920にアクセスする。
1つの実装態様では、次元ごとの利用可能な値のうちに1つがデフォルトの値であるとき、ファネルは、次元の各々のデフォルトの次元についてのデフォルトのフロントエンド要素値を有する。そのような実装態様では、プレゼンテーションモジュール910によってユーザに対して提示されるファネルは、次元ごとのデフォルトの次元値以外の、ファネルファネルカスタム化仕様メモリにおいて識別される次元値の全てに対応するとしてプレゼンテーションデータベース920によって示されるフロントエンド要素値を有する。
図10では、4つのウェブインタフェース(WI1〜WI4)は、出力セット(OS1〜OS4)の各々に従って、プレゼンテーションモジュール910によって生成される。ウェブインタフェースの各々は、プレゼンテーションデータベース920におけるルールによって識別されるフロントエンド(例えば、グラフィカル)要素/構成要素及び要素/構成要素値を含む。次いで、ウェブインタフェース(WI1〜WI4)は、ライブのオンライン評価112のためにエンドユーザに提示される。
開示される技術のサーバ側の実装態様では、フォワードパスモジュール108は、ニューラルネットワークがサーバにおいて実行されるようにサーバにおいて実装及び実行される。開示される技術のクライアント側の実装態様では、フォワードパスモジュール108は、ニューラルネットワークがユーザデバイスにおいて実行されるようにユーザデバイスにおいて実装及び実行される。
機械学習ユーザデバイス(MLUD)
図11は、本明細書で「機械学習ユーザデバイス」(MLUD)と称される、改善されたユーザデバイスの1つの実装態様を示す。図11では、エンドユーザは、ベンダウェブサイトにアクセスするためにMLUD1104上で実行するブラウザを使用する。ベンダウェブサーバは、エンドユーザがベンダウェブサイトにアクセスしたことに応じて、ウェブページの一部として、変換スニペットをMLUD1104に配置するように構成される。変換スニペットがMLUD1104に送信された後、及びウェブページがエンドユーザにレンダリングされる前に、変換スニペットは、ネットワークサーバインフラストラクチャを呼び出す。ネットワークサーバインフラストラクチャは、候補テストモジュール120、候補個体数106、及びコンテンツ配信ネットワーク(CDN)1108を含む。
MLUD1104に配置される変換スニペットは、プレゼンテーションファイル930をCDN1108から取り出し、プレゼンテーションファイル930をMLUD1104に記憶する。CDN1108は、プレゼンテーションファイル930と共に事前にロードされる。今日の一般的なCDNサービスの例は、Akamai(商標)、CloudFlare(商標)、CloudFront(商標)、Fastly(商標)、MaxCDN(商標)、KeyCDN(商標)、Incapsula(商標)、及びGlobalDots(商標)を含む。プレゼンテーションファイル930は、上記議論された、プレゼンテーションデータベース920及びプレゼンテーションモジュール910を含む。
次いで、MLUD1104に配置される変換スニペットは、候補テストモジュール120からのゲノムを要求する。それに応じて、候補テストモジュール120は、ゲノムを候補個体数106から取り出し、選択されたゲノムをMLUD1104に配信する。
次いで、選択されたゲノムを候補テストモジュール120から受信し、プレゼンテーションファイル930をCDN1108から受信したMLUD1104は、ユーザ属性データ114を入力として使用して、ゲノムによって表されるニューラルネットワークを実行し、出力ファネルについての次元値を作成する。1つの実装態様では、MLUD1104は、ゲノムによって表されるニューラルネットワークを実行するために、ローカルフォワードパスモジュールを利用する。
次いで、MLUD1104は、プレゼンテーションモジュール910を実行する。プレゼンテーションモジュール910は、上記議論されたように、プレゼンテーションデータベース920のルールに対して次元値を評価し、1つ以上のウェブインタフェースの出力ファネルを生成する。従って、標準的なユーザデバイスは、ニューラルネットワークを実行し、アルゴリズム的に進化したウェブインタフェースを生成するために改善される。
機械学習コンテンツ配信ネットワーク(MLCDN)
図12は、本明細書で「機械学習コンテンツ配信ネットワーク」(MLCDN)と称される、改善されたコンテンツ配信ネットワーク(CDN)の1つの実装態様を示す。図12では、エンドユーザは、ベンダウェブサイトにアクセスするためにユーザデバイス1202上で実行するブラウザを使用する。ベンダウェブサーバは、エンドユーザがベンダウェブサイトにアクセスしたことに応じて、ウェブページの一部として、変換スニペットをユーザデバイス1202に配置するように構成される。変換スニペットがユーザデバイス1202に送信された後、及びウェブページがエンドユーザにレンダリングされる前に、変換スニペットは、ネットワークサーバインフラストラクチャを呼び出す。ネットワークサーバインフラストラクチャは、候補テストモジュール120、候補個体数106、及びコンテンツ配信ネットワーク(CDN)1108を含む。
MLCDN1204は、プレゼンテーションファイル930と共に事前にロードされる。プレゼンテーションファイル930は、上記議論された、プレゼンテーションデータベース920及びプレゼンテーションモジュール910を含む。
次いで、MLCDN1204は、候補テストモジュール120からのゲノムを要求する。それに応じて、候補テストモジュール120は、ゲノムを候補個体数106から取り出し、選択されたゲノムをMLCDN1204に配信する。
次いで、選択されたゲノム及びプレゼンテーションファイル1330の両方を有するMLCDN1204は、ユーザ属性データ114を入力として使用して、ゲノムによって表されるニューラルネットワークを実行し、出力ファネルについての次元値を作成する。1つの実装態様では、MLUD1104は、ゲノムによって表されるニューラルネットワークを実行するために、ローカルフォワードパスモジュールを利用する。
次いで、MLCDN1204は、プレゼンテーションモジュール910を実行する。プレゼンテーションモジュール910は、上記議論されたように、プレゼンテーションデータベース920のルールに対して次元値を評価し、1つ以上のウェブインタフェースの出力ファネルを生成する。従って、標準的なユーザデバイスは、ニューラルネットワークを実行し、アルゴリズム的に進化したウェブインタフェースを生成するために改善される。
次いで、MLCDN1204は、プレゼンテーションモジュール910を実行する。プレゼンテーションモジュール910は、上記議論されたように、プレゼンテーションデータベース920のルールに対して次元値を評価し、1つ以上のウェブインタフェースの出力ファネルを生成する。従って、標準的なCDNは、ニューラルネットワークを実行し、アルゴリズム的に進化したウェブインタフェースを生成するために改善される。
コンピュータシステム
図13は、開示される技術を実装するために使用することができるコンピュータシステム簡易ブロック図である。コンピュータシステム1310は、典型的には、バスサブシステム1312を介していくつかの周辺機器デバイスと通信する少なくとも1つのプロセッサ1314を含む。それらの周辺機器デバイスは、例えば、メモリデバイス及びファイル記憶サブシステムを含む記憶サブシステム1324、ユーザインタフェース入力デバイス1322、ユーザインタフェース出力デバイス1318、並びにネットワークインタフェースサブシステム1316を含むことができる。入力及び出力デバイスによって、コンピュータシステム1310とのユーザ対話が可能になる。ネットワークインタフェースサブシステム1316は、外部ネットワークへのインタフェースを提供し、外部ネットワークへのインタフェースは、他のコンピュータシステムにおける対応するインタフェースデバイスへのインタフェースを含む。
1つの実装態様では、変換システム104は、記憶サブシステム1324及びユーザインタフェース入力デバイス1322に通信可能にリンクされる。
ユーザインタフェース入力デバイス1322、又はクライアント若しくはクライアントデバイスは、キーボード、マウス、トラックボール、タッチパッド、又はグラフィックタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システム及びマイクロフォンなどの音声入力デバイス、並びに他のタイプの入力デバイスを含むことができる。概して、用語「入力デバイス」の使用は、情報をコンピュータシステム1310に入力する全ての可能なタイプのデバイス及び方法を含むことが意図される。
ユーザインタフェース出力デバイス1318は、ディスプレイサブシステム、プリンタ、ファクシミリ、又は音声出力デバイスなどの非視覚的ディスプレイを含むことができる。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投射デバイス、又は可視画像を作成するためのいくつかの他のメカニズムを含むことができる。ディスプレイサブシステムはまた、音声出力デバイスなどの非視覚的ディスプレイを提供することができる。概して、用語「出力デバイス」の使用は、情報をコンピュータシステム1310からユーザ又は別のマシン若しくはコンピュータシステムに出力する全ての可能なタイプのデバイス及び方法を含むことが意図される。記憶サブシステム1324は、本明細書で説明されるモジュール及び方法のいくつか又は全ての機能性を提供するプログラミング及びデータ構造を記憶する。それらのソフトウェアモジュールは、概して、プロセッサ1314によって単独で、又は他のプロセッサとの組み合わせで実行される。
記憶サブシステムにおいて使用されるメモリ1326は、プログラムの実行の間に命令及びデータの記憶のためのメインランダムアクセスメモリ(RAM)1334、並びに固定命令が記憶されるリードオンリメモリ(ROM)1332を含むいくつかのメモリを含むことができる。ファイル記憶サブシステム1328は、プログラム及びデータファイルについての永続的な記憶を提供することができ、ハードディスクドライブ、関連付けられた着脱可能媒体を伴うフロッピーディスクドライブ、CD−ROMドライブ、光学ドライブ、又は着脱可能媒体カートリッジを含むことができる。或る実装態様の機能性を実装するモジュールは、ファイル記憶サブシステム1328によって、記憶サブシステム1324、又はプロセッサによってアクセス可能な他のマシンに記憶されてもよい。
バスサブシステム1312は、コンピュータシステム1310の様々な構成要素及びサブシステムに、意図するように相互に通信させるためのメカニズムを提供する。バスサブシステム1312が単一のバスとして概略的に示されるが、バスサブシステムの代替的な実装態様は、複数のバスを使用することができる。アプリケーションサーバ1320は、ハードウェア及び/又はソフトウェア、例えば、オペレーティングシステムなど、コンピュータシステム1310のアプリケーションが実行することを可能にするフレームワークであってもよい。
コンピュータシステム1310自体は、パーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、コンピュータ端末、ネットワークコンピュータ、テレビ、メインフレーム、サーバファーム、大まかにネットワークで結ばれたコンピュータの広範囲に分散されたセット、又はいずれかの他のデータ処理システム若しくユーザデバイスを含む可変タイプのコンピュータシステムであってもよい。コンピュータ及びネットワークのこれまでの変化する性質に起因して、図13に記されるコンピュータシステム1310の説明は、本発明の好ましい実施形態を例示する目的のための特定の例としてのみ意図される。図13に記されるコンピュータシステムよりも多くの又は少ない構成要素を有するコンピュータシステム1310の多くの他の構成が可能である。
条項
以下の条項は、本発明の態様に関連するシステム及び方法の様々な実施例の態様を説明する。
条項2S1.予め定められた標的のユーザの行動を促進する、コンピュータにより実施されるウェブインタフェース生成及びテストシステムであって、
候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数の次元を有し、それによって前記標的のユーザの行動の達成を検出することができるメカニズムを更に有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリと、
候補個体の予備プールを前記候補個体数に書き込む、個体数初期化モジュールと、
前記ファネルに対してライブのオンライン評価を行うことによって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、前記ライブのオンライン評価に従って前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の成功のインジケータである、前記候補テストモジュールと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の個体のそれぞれのセットに従って形成された新たな個体を追加する生殖モジュールと、
前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
を含む、システム。
条項2S2.前記生殖モジュールは、前記新たな個体についての遺伝子が前記候補個体数における前記親の個体から適応度に比例的に選択されるように前記新たな個体のうちの1つを形成する、条項2S1に記載のシステム。
条項2S3.前記発展したパフォーマンス測定値に従って、前記候補個体数から破棄するための前記ライブのオンライン評価を受ける個体を選択する競争モジュールを含むように更に構成される、条項2S1に記載のシステム。
条項2S4.前記生殖モジュールは、前記候補個体数に、前記候補個体数からの1つ以上の親の個体のそれぞれのセットに従って形成され、破棄するためにまだ選択されていない新たな個体を追加する、条項2S3に記載のシステム。
条項2S5.前記生殖モジュールは、少なくとも部分的に2つの選択された親の個体のハイパーパラメータ値の間のクロスオーバーによって新たな個体を形成する、条項2S4に記載のシステム。
条項2S6.前記生殖モジュールは、少なくとも部分的に親の個体の少なくとも1つのハイパーパラメータ値の変異によって新たな個体を形成する、条項2S4に記載のシステム。
条項2S7.前記制御モジュールは、前記候補テストモジュール、前記競争モジュール、及び前記生殖モジュールを反復する、条項2S3に記載のシステム。
条項2S8.前記候補個体の各々によって識別される前記ニューラルネットワークは、ニューロンの入力層、ニューロンの出力層、及びニューロンの少なくとも1つの隠れ層を含み、
前記入力層におけるいくつかのニューロンは、全ての候補個体について先天的であるように構成され、
前記生殖モジュールでは、前記候補個体数に追加される全ての新たな個体の前記入力層におけるニューロンの数が、その個体の親のそれと同一である、
条項2S1に記載のシステム。
条項2S9.前記候補個体の各々によって識別される前記ニューラルネットワークは、ニューロンの入力層、ニューロンの出力層、及びニューロンの少なくとも1つの隠れ層を含み、
前記出力層におけるいくつかのニューロンは、全ての候補個体について先天的であるように構成され、
前記生殖モジュールでは、前記候補個体数に追加される全ての新たな個体の前記出力層におけるニューロンの数が、その個体の親のそれと同一である、
条項2S1に記載のシステム。
条項2S10.前記標的のユーザの行動は、エンドユーザによる変換である、条項2S1に記載のシステム。
条項2S11.前記候補テストモジュールによって発展する前記パフォーマンス測定値は、候補個体のニューラルネットワークによって作成されるファネルのセットの変換率に基づいており、前記ライブのオンライン評価を受ける、条項2S1に記載のシステム。
条項2S12.前記候補テストモジュールによって発展する前記パフォーマンス測定値は、候補個体のニューラルネットワークによって作成されるファネルのセットから受け取られる収益に基づいており、前記ライブのオンライン評価を受ける、条項2S10に記載のシステム。
条項2S13.ユーザ属性データのソースでの使用のための、改善されたウェブインタフェースを生成する、コンピュータにより実施されるシステムであって、
ゲノムのプールを有する候補データベースを記憶するメモリであって、前記ゲノムの各々は、前記ゲノムの複数のハイパーパラメータについてのそれぞれの値を識別することによってそれぞれのニューラルネットワークを識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記それぞれのニューラルネットワークは、前記ユーザ属性データからのユーザ属性値の異なるセットに従って1つ以上のウェブインタフェースの出力ファネルを作成し、各々のゲノムは、それぞれの適応度の推定値のインジケーションについてのそれと関連付けられた記憶装置を更に有し、
ゲノムプールプロセッサであって、
ユーザ属性データに関して前記ゲノムプールからのゲノムをテストし、各々のゲノムは、少なくとも1つのトライアルのそれぞれの組を受けるようテストされ、各々のトライアルは、対応する出力ファネルを作成するためにユーザ属性値のそれぞれのセットを前記それぞれのゲノムの前記ニューラルネットワークに適用し、
前記トライアルの組において出力ファネルを作成する際に、前記ゲノムの前記ニューラルネットワークの適応度の予め定められた測定値に従ってテストされる前記ゲノムの各々と関連付けられた前記適応度の推定値を更新し、
それらの更新された適応度の推定値に従って前記ゲノムプールから破棄するためのゲノムを選択する、
前記ゲノムプールプロセッサと、
を含む、システム。
条項2S14.前記ニューラルネットワークの所与の1つの適応度の前記予め定められた測定値は、前記トライアルの組において前記所与のニューラルネットワークによって作成される前記出力ファネルの変換率に従っている、条項2S13に記載のシステム。
条項2S15.前記ニューラルネットワークの所与の1つの適応度の前記予め定められた測定値は、前記トライアルの組において前記所与のニューラルネットワークによって作成される前記出力ファネルの収益率に従っている、条項2S13に記載のシステム。
条項2S16.テストされる前記ゲノムの各々の所与の1つと関連付けられた前記適応度の推定値の各々の更新は、前記所与のゲノムと関連付けられた前記適応度の推定値を精緻化する、条項2S13に記載のシステム。
条項2S17.前記ゲノムプールプロセッサは、前記ゲノムプールからの1つ以上の親ゲノムのそれぞれのセットに従って新たなゲノムを形成する生殖モジュールを更に含む、条項2S13に記載のシステム。
条項2S18.トライアルの各々の組は、複数のトライアルを含む、条項2S13に記載のシステム。
条項2M1.予め定められた標的のユーザの行動を促進する、コンピュータにより実施されるウェブインタフェース生成及びテスト方法であって、
候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数の次元を有し、それによって前記標的のユーザの行動の達成を検出することができるメカニズムを更に有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリを提供することと、
候補個体の予備プールを前記候補個体数に書き込む個体数初期化ステップと、
前記ファネルに対してライブのオンライン評価を行うことによって前記候補個体数における前記候補個体の各々をテストする候補テストステップであって、前記候補テストモジュールは、前記ライブのオンライン評価に従って前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の成功のインジケータである、前記候補テストステップと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の個体のそれぞれのセットに従って形成された新たな個体を追加する生殖ステップと、
前記生殖ステップの後に前記候補テストステップを繰り返す反復ステップと、
を含む、方法。
条項2M2.前記生殖ステップは、前記新たな個体についての遺伝子が前記候補個体数における前記親の個体から適応度に比例的に選択されるように前記新たな個体のうちの1つを形成する、条項2M1に記載の方法。
条項2M3.前記生殖ステップの前に、前記発展したパフォーマンス測定値に従って前記候補個体数から破棄するための前記ライブのオンライン評価を受ける個体を選択する競争ステップを更に含む、条項2M1に記載の方法。
条項2M4.前記生殖ステップは、前記候補個体数に、前記候補個体数からの1つ以上の親の個体のそれぞれのセットに従って形成され、破棄するためにまだ選択されていない新たな個体を追加する、条項2M3に記載の方法。
条項2M5.前記生殖ステップは、少なくとも部分的に2つの選択された親の個体のハイパーパラメータ値の間のクロスオーバーによって新たな個体を形成する、条項2M4に記載の方法。
条項2M6.前記生殖ステップは、少なくとも部分的に親の個体の少なくとも1つのハイパーパラメータ値の変異によって新たな個体を形成する、条項2M4に記載の方法。
条項2M7.前記反復ステップは、前記候補テストステップの前記繰り返しの後に前記競争ステップを繰り返す、条項2M3に記載の方法。
条項2M8.前記候補個体の各々によって識別される前記ニューラルネットワークは、ニューロンの入力層、ニューロンの出力層、及びニューロンの少なくとも1つの隠れ層を含み、
前記入力層におけるいくつかのニューロンは、前記候補データベースにおける全ての候補個体について先天的であるように構成され、
前記生殖ステップでは、前記候補個体数に追加される全ての新たな個体の前記入力層におけるニューロンの数が、その個体の親のそれと同一である、
条項2M1に記載の方法。
条項2M9.前記候補個体の各々によって識別される前記ニューラルネットワークは、ニューロンの入力層、ニューロンの出力層、及びニューロンの少なくとも1つの隠れ層を含み、
前記出力層におけるいくつかのニューロンは、前記候補データベースにおける全ての候補個体について先天的であるように構成され、
前記生殖ステップは、前記候補個体数に追加される全ての新たな個体の前記出力層におけるニューロンの数が、その個体の親のそれと同一である、
条項2M1に記載の方法。
条項2M10.前記標的のユーザの行動は、エンドユーザによる変換を含む、条項2M1に記載の方法。
条項2M11.前記候補個体数において前記候補個体ごとに前記候補テストステップにおいて発展する前記パフォーマンス測定値は、そのニューラルネットワークが前記ライブのオンライン評価を受けるときにより高い変換率を有するファネルを作成する個体を支持する、条項2M10に記載の方法。
条項2M12.前記候補個体数において前記候補個体ごとに前記候補テストステップにおいて発展する前記パフォーマンス測定値は、そのニューラルネットワークが前記ライブのオンライン評価を受けるときに受けられるより高い収益を生み出すファネルを作成する個体を支持する、条項2M10に記載の方法。
条項2M13.ユーザ属性データのソースでの使用のための、改善されたウェブインタフェースを生成する、コンピュータにより実施される方法であって、
ゲノムのプールを有する候補データベースを記憶するメモリを提供することであって、前記ゲノムの各々は、前記ゲノムの複数のハイパーパラメータについてのそれぞれの値を識別することによってそれぞれのニューラルネットワークを識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記それぞれのニューラルネットワークは、前記ユーザ属性データからのユーザ属性値の異なるセットに従って1つ以上のウェブインタフェースの出力ファネルを作成し、各々のゲノムは、それぞれの適応度の推定値のインジケーションについてのそれと関連付けられた記憶装置を更に有する、前記メモリを提供することと、
ゲノムプールプロセッサを提供することであって、前記ゲノムプールプロセッサは、
ユーザ属性データに関して前記ゲノムプールからのゲノムをテストし、各々のゲノムは、少なくとも1つのトライアルのそれぞれの組を受けるようテストされ、各々のトライアルは、対応する出力ファネルを作成するためにユーザ属性値のそれぞれのセットを前記それぞれのゲノムの前記ニューラルネットワークに適用し、
前記トライアルの組において出力ファネルを作成する際に、前記ゲノムの前記ニューラルネットワークの適応度の予め定められた測定値に従ってテストされる前記ゲノムの各々と関連付けられた前記適応度の推定値を更新し、
それらの更新された適応度の推定値に従って前記ゲノムプールから破棄するためのゲノムを選択する、
前記ゲノムプールプロセッサを提供することと、
を含む、方法。
条項2M14.前記テストされるゲノムごとの適応度の前記予め定められた測定値は、そのニューラルネットワークが前記トライアルの組においてより高い変換率を生み出す出力ファネルを作成するゲノムを支持する、条項2M13に記載の方法。
条項2M15.前記テストされるゲノムごとの適応度の前記予め定められた測定値は、そのニューラルネットワークが前記トライアルの組においてより高い収益率を生み出す出力ファネルを作成するゲノムを支持する、条項2M13に記載の方法。
条項2M16.テストされる前記ゲノムの各々の所与の1つと関連付けられた前記適応度の推定値の各々の更新は、前記所与のゲノムと関連付けられた前記適応度の推定値を精緻化する、条項2M13に記載の方法
条項2M17.前記ゲノムプールプロセッサは、前記ゲノムプールからの1つ以上の親ゲノムのそれぞれのセットに従って新たなゲノムを形成する生殖ステップを更に実行する、条項2M13に記載の方法。
条項2M18.トライアルの各々の組は、複数のトライアルを含む、条項2M13に記載の方法。
条項3S1.ユーザ属性データのソースでの使用のための、コンピュータにより実施されるウェブインタフェース作成及び配置システムであって、
候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリと、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
プレゼンテーションモジュールであって、
a.前記候補個体の選択された1つによって記述された前記ニューラルネットワークから、ユーザ属性データの前記ソースからのユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
b.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
c.ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
前記プレゼンテーションモジュールと、
を含む、システム。
条項3S2.前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記次元の各々の前記デフォルトの次元値についてのデフォルトのフロントエンド要素値を有し、
前記プレゼンテーションモジュールは、前記次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全ての次元値に対応する前記フロントエンド要素値を適用する、
条項3S1に記載のシステム。
条項3S3.カスタム化可能なウェブインタフェースファネルのための、コンピュータにより実施される配置システムであって、前記ファネルは、複数の次元に沿ってカスタム化可能であり、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
ニューラルネットワークの特定の変動について、前記ニューラルネットワークのトポロジ及び前記ニューラルネットワークの相互結合についての係数を記述した複数のハイパーパラメータごとの値を記憶するニューラルネットワーク仕様メモリであって、前記ニューラルネットワークは、ユーザ属性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記ニューラルネットワーク仕様メモリと、
プレゼンテーションモジュールであって、
a.前記ニューラルネットワークファネルカスタム化仕様メモリに記憶された前記値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
b.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
c.ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
前記プレゼンテーションモジュールと、
を含む、システム。
条項3S4.前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記ファネル次元の各々の前記デフォルトの値についてのデフォルトのフロントエンド要素値を有し、
前記プレゼンテーションモジュールによって前記ユーザに対して提示された前記ファネルは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別されるファネル次元値の全てに対応するとして前記プレゼンテーションデータベースによって示されるフロントエンド要素値を有する、
条項3S3に記載のシステム。
条項3S5.前記ハイパーパラメータごとの値の新たなセットで前記ニューラルネットワークファネルカスタム化仕様メモリを更新するように更に構成されている、条項3S3に記載のシステム。
条項3S6.前記システムは、ファネルを入力するためのユーザの行動に応じて、前記ニューラルネットワークファネルカスタム化仕様メモリについての前記値を取り出す、条項3S3に記載のシステム。
条項3S7.前記システムはまた、ユーザの行動に応じて、前記プレゼンテーションデータベースを取り出す、条項3S6に記載のシステム。
条項3S8.コンピュータにより実施される、ウェブインタフェース作成及び配置システムであって、
候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリと、
ネットワークを通じて受信された1つ以上の第1の要求に応じて、第1のクライアントコンピュータシステムに対し、
a.前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
b.前記個体数における前記候補個体のうちの第1の選択された1つによって識別される前記ニューラルネットワークハイパーパラメータ値のセットと、
c.プレゼンテーションモジュールであって、
i.前記ニューラルネットワークハイパーパラメータ値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
ii.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
iii.ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
前記プレゼンテーションモジュールと、
を返す、ネットワークサーバインフラストラクチャと、
を含む、システム。
条項3S9.前記ファネル次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記ファネル次元の各々の前記デフォルトの値についてのデフォルトのフロントエンド要素値を有し、
前記プレゼンテーションモジュールは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全てのファネル次元値に対応するフロントエンド要素値を判定するために、前記第1の選択された候補個体を前記プレゼンテーションデータベースに適用する、
条項3S8に記載のシステム。
条項3S10.前記ネットワークサーバインフラストラクチャは、ネットワークを通じて受信された1つ以上の第2の要求に応じて、第2のクライアントコンピュータシステムに対し、
前記プレゼンテーションデータベースと、
前記プレゼンテーションモジュールと、
前記個体数における前記候補個体の第2の選択された1つによって識別されるニューラルネットワークハイパーパラメータ値の前記セットと、
を返す、条項3S8に記載のシステム。
条項3S11.ウェブインタフェースは、ウェブページを表す、条項3S8に記載のシステム。
条項3S12.ウェブインタフェースは、モバイルアプリケーションを表す、条項3S8に記載のシステム。
条項3S13.ウェブインタフェースは、電子メールを表す、条項3S8に記載のシステム。
条項3S14.ウェブインタフェースは、ソーシャルメディアメッセージを表す、条項3S8に記載のシステム。
条項3S15.ウェブインタフェースは、ソーシャルメディアフィードアイテムを表す、条項3S8に記載のシステム。
条項3S16.ウェブインタフェースは、チャットメッセージを表す、条項3S8に記載のシステム。
条項3S17.前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記システムは、
候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の前記ハイパーパラメータによって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストモジュールと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖モジュールと、
前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
を含み、
前記候補テストモジュールは、前記ネットワークサーバインフラストラクチャに含まれ、前記候補個体数から、そのニューラルネットワークハイパーパラメータが前記要求に応じてクライアントコンピュータシステムに対して返されることになる前記選択された候補個体を選択する、
条項3S8に記載のシステム。
条項3S18.前記標的のユーザの行動はユーザによる変換である、条項3S17に記載のシステム。
条項3S19.前記候補テストモジュールによって発展する前記パフォーマンス測定値は、前記候補個体の前記ライブのオンライン評価において達成される増大した変化率を支持する、条項3S17に記載のシステム。
条項3S20.前記候補テストモジュールによって発展する前記パフォーマンス測定値は、前記ライブのオンライン評価を受ける前記候補個体の前記ライブのオンライン評価において生成される増大した収益を支持する、条項3S17に記載のシステム。
条項3S21.前記ネットワークサーバインフラストラクチャは、
前記クライアントコンピュータシステムからの要求に応じて、前記プレゼンテーションデータベース及び前記プレゼンテーションモジュールを前記クライアントコンピュータシステムに対して返すCDNと、
前記第1の選択された候補個体を前記データベースから取り出し、前記クライアントコンピュータシステムからの要求に応じて、前記クライアントコンピュータシステムに対し、前記第1の選択された候補個体によって識別されるニューラルネットワークハイパーパラメータ値の前記セットを返す変換システムと、
を含む、条項3S8に記載のシステム。
条項3S22.コンピュータにより実施されるウェブインタフェース作成及び配置システムであって、
候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリと、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別する、それにアクセス可能なプレゼンテーションデータベースを有する機械学習コンテンツ配信ネットワークであって、前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムから要求に応じて、
a.前記データベースから、前記個体数における前記候補個体の選択された1つを取り出し、
b.前記取り出された候補個体によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
c.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
d.前記クライアントコンピュータシステムに対し、前記選択された候補個体の前記次元値によって示されるフロントエンド要素値を有するファネルを配信する、
ように構成された前記機械学習コンテンツ配信ネットワークと、
を含む、システム。
条項3S23.前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムからの前記要求に応じて、前記ファネルを作成する、条項3S22に記載のシステム。
条項3S24.前記データベースへのアクセスを有する変換システムを更に含み、
前記機械学習コンテンツ配信ネットワークは、前記選択された候補個体を取り出す際に、前記変換システムからの候補個体を要求するように更に構成され、
前記変換システムは、前記機械学習コンテンツ配信ネットワークからの要求に応じて、前記選択された候補個体を選択し、前記選択された候補個体を前記機械学習コンテンツ配信ネットワークに対して返すように構成される、
条項3S22に記載のシステム。
条項3S25.前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記変換システムは、
候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体によって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストモジュールと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖モジュールと、
前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
を含み、
前記選択された候補個体を選択する際に、前記候補テストモジュールは、前記選択された候補個体を前記候補個体数から選択する、
条項3S24に記載のシステム。
条項3M1.ユーザ属性データのソースでの使用のための、コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリを提供することと、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースを提供することと、
前記候補個体の選択された1つによって記述された前記ニューラルネットワークから、ユーザ属性データの前記ソースからのユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定することと、
前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用することと、
ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示することと、
を含む、方法。
条項3M2.前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記次元の各々の前記デフォルトの次元値についてのデフォルトのフロントエンド要素値を有し、
前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用することは、前記プレゼンテーションデータベースに、前記次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全ての次元値に対応する前記フロントエンド要素値を適用することを含む、
条項3M1に記載の方法。
条項3M3.カスタム化可能なウェブインタフェースファネルのための、コンピュータにより実施される配置方法であって、前記ファネルは、複数の次元に沿ってカスタム化可能であり、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースを提供することと、
ニューラルネットワークの特定の変動について、前記ニューラルネットワークのトポロジ及び前記ニューラルネットワークの相互結合についての係数を記述した複数のハイパーパラメータごとの値を提供することであって、前記ニューラルネットワークは、ユーザ属性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記値を提供することと、
ニューラルネットワークファネルカスタム化仕様メモリに記憶された前記値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定することと、
前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用することと、
ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示することと、
を含む、方法。
条項3M4.前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記ファネル次元の各々の前記デフォルトの次元値についてのデフォルトのフロントエンド要素値を有し、
ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示することは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別されるファネル次元値の全てに対応するとして前記プレゼンテーションデータベースによって示されるフロントエンド要素値を提示することを含む、
条項3M3に記載の方法。
条項3M5.ニューラルネットワークの第2の変動について、前記ハイパーパラメータごとの第2の値を提供することを更に含む、条項3M3に記載の方法。
条項3M6.複数のハイパーパラメータごとの値を提供することは、ファネルを入力するためのユーザの行動に応じて行われる、条項3M3に記載の方法。
条項3M7.ユーザの行動に応じて、前記プレゼンテーションデータベースを取り出すことを更に含む、条項3M6に記載の方法。
条項3M8.コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリを提供することと、
ネットワークを通じて受信された1つ以上の第1の要求に応じて、第1のクライアントコンピュータシステムに対し、
a.前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
b.前記個体数における前記候補個体のうちの第1の選択された1つによって識別される前記ニューラルネットワークハイパーパラメータ値のセットと、
c.プレゼンテーションモジュールであって、
i.前記ニューラルネットワークハイパーパラメータ値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元を判定し、
ii.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
iii.ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
前記プレゼンテーションモジュールと、
を返す、ネットワークサーバインフラストラクチャを提供することと、
を含む、方法。
条項3M9.前記ファネル次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
前記ファネルは、前記ファネル次元の各々の前記デフォルトの値についてのデフォルトのフロントエンド要素値を有し、
前記プレゼンテーションモジュールは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全てのファネル次元値に対応するフロントエンド要素値を判定するために、前記第1の選択された候補個体を前記プレゼンテーションデータベースに適用する、
条項3M8に記載の方法。
条項3M10.前記ネットワークサーバインフラストラクチャは、ネットワークを通じて受信された1つ以上の第2の要求に応じて、第2のクライアントコンピュータシステムに対し、
前記プレゼンテーションデータベースと、
前記プレゼンテーションモジュールと、
前記個体数における前記候補個体の第2の選択された1つによって識別されるニューラルネットワークハイパーパラメータ値の前記セットと、
を返す、条項3M8に記載の方法。
条項3M11.ウェブインタフェースは、ウェブページ、モバイルアプリケーション、電子メール、ソーシャルメディアメッセージ、ソーシャルメディアフィードアイテム、及びチャットメッセージから構成されるグループのメンバを表す、条項3M8に記載の方法。
条項3M17.前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記方法は、
候補個体の予備プールを前記候補個体数に書き込む個体数初期化ステップと、
ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストステップであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の前記ハイパーパラメータによって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストステップと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖ステップと、
前記候補テストモジュール及び前記生殖モジュールを反復する反復ステップと、
を含み、
前記候補テストモジュールは、前記ネットワークサーバインフラストラクチャに含まれ、前記候補個体数から、そのニューラルネットワークハイパーパラメータが前記要求に応じてクライアントコンピュータシステムに対して返されることになる前記選択された候補個体を選択する、
条項3M8に記載の方法。
条項3M18.前記標的のユーザの行動はユーザによる変換を含む、条項3M17に記載の方法。
条項3M19.前記候補個体数における前記候補個体ごとの前記候補テストステップにおいて発展する前記パフォーマンス測定値は、そのニューラルネットワークが前記ライブのオンライン評価を受けるときにより高い変換率を有するファネルを作成する個体を支持する、条項3M17に記載の方法。
条項3M20.前記候補個体数における前記候補個体ごとの前記候補テストステップにおいて発展する前記パフォーマンス測定値は、そのニューラルネットワークが前記ライブのオンライン評価を受けるときに受けられるより高い収益を生み出すファネルを作成する個体を支持する、条項3M17に記載の方法。
条項3M21.前記ネットワークサーバインフラストラクチャは、
前記クライアントコンピュータシステムからの要求に応じて、前記プレゼンテーションデータベース及び前記プレゼンテーションモジュールを前記クライアントコンピュータシステムに対して返すCDNと、
前記第1の選択された候補個体を前記データベースから取り出し、前記クライアントコンピュータシステムからの要求に応じて、前記クライアントコンピュータシステムに対し、前記第1の選択された候補個体によって識別されるニューラルネットワークハイパーパラメータ値の前記セットを返す変換システムと、
を含む、条項3M8に記載の方法。
条項3M22.コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリを提供することと、
前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別する、それにアクセス可能なプレゼンテーションデータベースを有する機械学習コンテンツ配信ネットワークを提供することであって、前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムから要求に応じて、
a.前記データベースから、前記個体数における前記候補個体の選択された1つを取り出し、
b.前記取り出された候補個体によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
c.前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
d.前記クライアントコンピュータシステムに対し、前記選択された候補個体の前記次元値によって示されるフロントエンド要素値を有するファネルを配信する、
ように構成された前記機械学習コンテンツ配信ネットワークを提供することと、
を含む、方法。
条項3M23.前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムからの前記要求に応じて、前記ファネルを作成する、条項3M22に記載の方法。
条項3M24.前記データベースへのアクセスを有する変換システムを提供することを更に含み、
前記機械学習コンテンツ配信ネットワークは、前記選択された候補個体を取り出す際に、前記変換システムからの候補個体を要求するように更に構成され、
前記変換システムは、前記機械学習コンテンツ配信ネットワークからの要求に応じて、前記選択された候補個体を選択し、前記選択された候補個体を前記機械学習コンテンツ配信ネットワークに対して返すように構成される、
条項3M22に記載の方法。
条項3M25.前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記変換システムは、
候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体によって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストモジュールと、
前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖モジュールと、
前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
を含み、
前記選択された候補個体を選択する際に、前記候補テストモジュールは、前記選択された候補個体を前記候補個体数から選択する、
条項3M24に記載の方法。
これによって、出願人は、そのような特徴又は特徴の組み合わせが本明細書で開示されるいずれかの課題を解決するかに関わらず、且つ請求項の範囲を限定することなく、本明細書で説明される各々の個々の特徴及び2つ以上のそのような特徴のいずれかの組み合わせと分離して、そのような特徴又は組み合わせが、当業者の共通する一般的な知識を全体として考慮して現在の仕様に基づいてある程度実施されることが可能であることを開示する。出願人は、本発明の態様が、いずれかのそのような特徴又は特徴の組み合わせから構成されてもよいことを示す。上述した説明を考慮して、様々な修正が本発明の範囲内で行われてもよいことが当業者にとって明らかである。
前述の説明は、開示される技術を行うことを可能にし、使用するために提示される。開示される実装態様への様々な修正が明らかであり、本明細書で定義される一般的な原理は、開示される技術の精神及び範囲から逸脱することなく他の実装態様及び適用例に適用されてもよい。よって、開示される技術は、示される実装態様を限定することを意図していないが、本明細書で開示される原理及び特徴と一貫した最も広い範囲に一致することになる。開示される技術の範囲は、添付の特許請求の範囲によって定義される。

Claims (43)

  1. 予め定められた標的のユーザの行動を促進する、コンピュータにより実施されるウェブインタフェース生成及びテストシステムであって、
    候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数の次元を有し、それによって前記標的のユーザの行動の達成を検出することができるメカニズムを更に有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリと、
    候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
    前記ファネルに対してライブのオンライン評価を行うことによって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、前記ライブのオンライン評価に従って前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の成功のインジケータである、前記候補テストモジュールと、
    前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の個体のそれぞれのセットに従って形成された新たな個体を追加する生殖モジュールと、
    前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
    を含む、システム。
  2. 前記生殖モジュールは、前記新たな個体についての遺伝子が前記候補個体数における前記親の個体から適応度に比例的に選択されるように前記新たな個体のうちの1つを形成する、請求項1に記載のシステム。
  3. 前記発展したパフォーマンス測定値に従って前記候補個体数から破棄するための前記ライブのオンライン評価を受ける個体を選択する競争モジュールを含むように更に構成される、請求項1に記載のシステム。
  4. 前記生殖モジュールは、前記候補個体数に、前記候補個体数からの1つ以上の親の個体のそれぞれのセットに従って形成され、破棄するためにまだ選択されていない新たな個体を追加する、請求項3に記載のシステム。
  5. 前記生殖モジュールは、少なくとも部分的に2つの選択された親の個体のハイパーパラメータ値の間のクロスオーバーによって新たな個体を形成する、請求項4に記載のシステム。
  6. 前記生殖モジュールは、少なくとも部分的に親の個体の少なくとも1つのハイパーパラメータ値の変異によって新たな個体を形成する、請求項4に記載のシステム。
  7. 前記制御モジュールは、前記候補テストモジュール、前記競争モジュール、及び前記生殖モジュールを反復する、請求項3に記載に記載のシステム。
  8. 前記候補個体の各々によって識別される前記ニューラルネットワークは、ニューロンの入力層、ニューロンの出力層、及びニューロンの少なくとも1つの隠れ層を含み、
    前記入力層におけるいくつかのニューロンは、全ての候補個体について先天的であるように構成され、
    前記生殖モジュールでは、前記候補個体数に追加される全ての新たな個体の前記入力層におけるニューロンの数が、その個体の親のそれと同一である、
    請求項1に記載のシステム。
  9. 前記標的のユーザの行動は、エンドユーザによる変換である、請求項1に記載のシステム。
  10. 前記候補テストモジュールによって発展する前記パフォーマンス測定値は、候補個体のニューラルネットワークによって作成されるファネルのセットの変換率に基づいており、前記ライブのオンライン評価を受ける、請求項9に記載のシステム。
  11. 前記候補テストモジュールによって発展する前記パフォーマンス測定値は、候補個体のニューラルネットワークによって作成されるファネルのセットから受け取られる収益に基づいており、前記ライブのオンライン評価を受ける、請求項9に記載のシステム。
  12. ユーザ属性データのソースでの使用のための、改善されたウェブインタフェースを生成する、コンピュータにより実施されるシステムであって、
    ゲノムのプールを有する候補データベースを記憶するメモリであって、前記ゲノムの各々は、前記ゲノムの複数のハイパーパラメータについてのそれぞれの値を識別することによってそれぞれのニューラルネットワークを識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記それぞれのニューラルネットワークは、前記ユーザ属性データからのユーザ属性値の異なるセットに従って1つ以上のウェブインタフェースの出力ファネルを作成し、各々のゲノムは、それぞれの適応度の推定値のインジケーションについてのそれと関連付けられた記憶装置を更に有し、
    ゲノムプールプロセッサであって、
    ユーザ属性データに関して前記ゲノムプールからのゲノムをテストし、各々のゲノムは、少なくとも1つのトライアルのそれぞれの組を受けるようテストされ、各々のトライアルは、対応する出力ファネルを作成するためにユーザ属性値のそれぞれのセットを前記それぞれのゲノムの前記ニューラルネットワークに適用し、
    前記トライアルの組において出力ファネルを作成する際に、前記ゲノムの前記ニューラルネットワークの適応度の予め定められた測定値に従ってテストされる前記ゲノムの各々と関連付けられた前記適応度の推定値を更新し、
    それらの更新された適応度の推定値に従って前記ゲノムプールから破棄するためのゲノムを選択する、
    前記ゲノムプールプロセッサと、
    を含む、システム。
  13. 前記ニューラルネットワークの所与の1つの適応度の前記予め定められた測定値は、前記トライアルの組において前記所与のニューラルネットワークによって作成される前記出力ファネルの変換率に従っている、請求項12に記載のシステム。
  14. 前記ニューラルネットワークの所与の1つの適応度の前記予め定められた測定値は、前記トライアルの組において前記所与のニューラルネットワークによって作成される前記出力ファネルの収益率に従っている、請求項12に記載のシステム。
  15. テストされる前記ゲノムの各々の所与の1つと関連付けられた前記適応度の推定値の各々の更新は、前記所与のゲノムと関連付けられた前記適応度の推定値を精緻化する、請求項12に記載のシステム。
  16. 前記ゲノムプールプロセッサは、前記ゲノムプールからの1つ以上の親ゲノムのそれぞれのセットに従って新たなゲノムを形成する生殖モジュールを更に含む、請求項12に記載のシステム。
  17. トライアルの各々の組は、複数のトライアルを含む、請求項12に記載のシステム。
  18. 予め定められた標的のユーザの行動を促進する、コンピュータにより実施されるウェブインタフェース生成及びテスト方法であって、
    候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数の次元を有し、それによって前記標的のユーザの行動の達成を検出することができるメカニズムを更に有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリを提供することと、
    候補個体の予備プールを前記候補個体数に書き込む個体数初期化ステップと、
    前記ファネルに対してライブのオンライン評価を行うことによって前記候補個体数における前記候補個体の各々をテストする候補テストステップであって、前記候補テストモジュールは、前記ライブのオンライン評価に従って前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の成功のインジケータである、前記候補テストステップと、
    前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の個体のそれぞれのセットに従って形成された新たな個体を追加する生殖ステップと、
    前記生殖ステップの後に前記候補テストステップを繰り返す反復ステップと、
    を含む、方法。
  19. ユーザ属性データのソースでの使用のための、改善されたウェブインタフェースを生成する、コンピュータにより実施される方法であって、
    ゲノムのプールを有する候補データベースを記憶するメモリを提供することであって、前記ゲノムの各々は、前記ゲノムの複数のハイパーパラメータについてのそれぞれの値を識別することによってそれぞれのニューラルネットワークを識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記それぞれのニューラルネットワークは、前記ユーザ属性データからのユーザ属性値の異なるセットに従って1つ以上のウェブインタフェースの出力ファネルを作成し、各々のゲノムは、それぞれの適応度の推定値のインジケーションについてのそれと関連付けられた記憶装置を更に有する、前記メモリを提供することと、
    ゲノムプールプロセッサを提供することであって、前記ゲノムプールプロセッサは、
    ユーザ属性データに関して前記ゲノムプールからのゲノムをテストし、各々のゲノムは、少なくとも1つのトライアルのそれぞれの組を受けるようテストされ、各々のトライアルは、対応する出力ファネルを作成するためにユーザ属性値のそれぞれのセットを前記それぞれのゲノムの前記ニューラルネットワークに適用し、
    前記トライアルの組において出力ファネルを作成する際に、前記ゲノムの前記ニューラルネットワークの適応度の予め定められた測定値に従ってテストされる前記ゲノムの各々と関連付けられた前記適応度の推定値を更新し、
    それらの更新された適応度の推定値に従って前記ゲノムプールから破棄するためのゲノムを選択する、
    前記ゲノムプールプロセッサを提供することと、
    を含む、方法。
  20. ユーザ属性データのソースでの使用のための、コンピュータにより実施されるウェブインタフェース作成及び配置システムであって、
    候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリと、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
    プレゼンテーションモジュールであって、
    前記候補個体の選択された1つによって記述された前記ニューラルネットワークから、ユーザ属性データの前記ソースからのユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
    前記プレゼンテーションモジュールと、
    を含む、システム。
  21. 前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
    前記ファネルは、前記次元の各々の前記デフォルトの次元値についてのデフォルトのフロントエンド要素値を有し、
    前記プレゼンテーションモジュールは、前記次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全ての次元値に対応する前記フロントエンド要素値を適用する、
    請求項20に記載のシステム。
  22. カスタム化可能なウェブインタフェースファネルのための、コンピュータにより実施される配置システムであって、前記ファネルは、複数の次元に沿ってカスタム化可能であり、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
    ニューラルネットワークの特定の変動について、前記ニューラルネットワークのトポロジ及び前記ニューラルネットワークの相互結合についての係数を記述した複数のハイパーパラメータごとの値を記憶するニューラルネットワーク仕様メモリであって、前記ニューラルネットワークは、ユーザ属性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記ニューラルネットワーク仕様メモリと、
    プレゼンテーションモジュールであって、
    前記ニューラルネットワークファネルカスタム化仕様メモリに記憶された前記値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
    前記プレゼンテーションモジュールと、
    を含む、システム。
  23. 前記次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
    前記ファネルは、前記ファネル次元の各々の前記デフォルトの値についてのデフォルトのフロントエンド要素値を有し、
    前記プレゼンテーションモジュールによって前記ユーザに対して提示された前記ファネルは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別されるファネル次元値の全てに対応するとして前記プレゼンテーションデータベースによって示されるフロントエンド要素値を有する、
    請求項22に記載のシステム。
  24. 前記ハイパーパラメータごとの値の新たなセットで前記ニューラルネットワークファネルカスタム化仕様メモリを更新するように更に構成されている、請求項22に記載のシステム。
  25. 前記システムは、ファネルを入力するためのユーザの行動に応じて、前記ニューラルネットワークファネルカスタム化仕様メモリについての前記値を取り出す、請求項22に記載のシステム。
  26. 前記システムはまた、ユーザの行動に応じて、前記プレゼンテーションデータベースを取り出す、請求項25に記載のシステム。
  27. コンピュータにより実施されるウェブインタフェース作成及び配置システムであって、
    候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリと、
    ネットワークを通じて受信された1つ以上の第1の要求に応じて、第1のクライアントコンピュータシステムに対し、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
    前記個体数における前記候補個体のうちの第1の選択された1つによって識別される前記ニューラルネットワークハイパーパラメータ値のセットと、
    プレゼンテーションモジュールであって、
    前記ニューラルネットワークハイパーパラメータ値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
    前記プレゼンテーションモジュールと、
    を返す、ネットワークサーバインフラストラクチャと、
    を含む、システム。
  28. 前記ファネル次元ごとの前記利用可能な値のうちの1つは、デフォルトの値であり、
    前記ファネルは、前記ファネル次元の各々の前記デフォルトの値についてのデフォルトのフロントエンド要素値を有し、
    前記プレゼンテーションモジュールは、前記ファネル次元ごとの前記デフォルトの次元値以外の、前記ニューラルネットワークによって識別される全てのファネル次元値に対応するフロントエンド要素値を判定するために、前記第1の選択された候補個体を前記プレゼンテーションデータベースに適用する、
    請求項27に記載のシステム。
  29. 前記ネットワークサーバインフラストラクチャは、ネットワークを通じて受信された1つ以上の第2の要求に応じて、第2のクライアントコンピュータシステムに対し、
    前記プレゼンテーションデータベースと、
    前記プレゼンテーションモジュールと、
    前記個体数における前記候補個体の第2の選択された1つによって識別されるニューラルネットワークハイパーパラメータ値の前記セットと、
    を返す、請求項27に記載のシステム。
  30. ウェブインタフェースは、ウェブページ、モバイルアプリケーション、電子メール、ソーシャルメディアメッセージ、ソーシャルメディアフィード、及びチャットメッセージから構成されるグループのメンバを表す、請求項27に記載のシステム。
  31. 前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記システムは、
    候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
    ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体の前記ハイパーパラメータによって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストモジュールと、
    前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖モジュールと、
    前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
    を含み、
    前記候補テストモジュールは、前記ネットワークサーバインフラストラクチャに含まれ、前記候補個体数から、そのニューラルネットワークハイパーパラメータが前記要求に応じてクライアントコンピュータシステムに対して返されることになる前記選択された候補個体を選択する、
    請求項27に記載のシステム。
  32. 前記標的のユーザの行動はユーザによる変換である、請求項31に記載のシステム。
  33. 前記候補テストモジュールによって発展する前記パフォーマンス測定値は、前記候補個体の前記ライブのオンライン評価において達成される増大した変化率を支持する、請求項31に記載のシステム。
  34. 前記候補テストモジュールによって発展する前記パフォーマンス測定値は、前記ライブのオンライン評価を受ける前記候補個体の前記ライブのオンライン評価において生成される増大した収益を支持する、請求項31に記載のシステム。
  35. 前記ネットワークサーバインフラストラクチャは、
    前記クライアントコンピュータシステムからの要求に応じて、前記プレゼンテーションデータベース及び前記プレゼンテーションモジュールを前記クライアントコンピュータシステムに対して返すCDNと、
    前記第1の選択された候補個体を前記データベースから取り出し、前記クライアントコンピュータシステムからの要求に応じて、前記クライアントコンピュータシステムに対し、前記第1の選択された候補個体によって識別されるニューラルネットワークハイパーパラメータ値の前記セットを返す変換システムと、
    を含む、請求項27に記載のシステム。
  36. コンピュータにより実施されるウェブインタフェース作成及び配置システムであって、
    候補個体の個体数を有する候補データベースを記憶するメモリであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリと、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別する、それにアクセス可能なプレゼンテーションデータベースを有する機械学習コンテンツ配信ネットワークであって、前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムから要求に応じて、
    前記データベースから、前記個体数における前記候補個体の選択された1つを取り出し、
    前記取り出された候補個体によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    前記クライアントコンピュータシステムに対し、前記選択された候補個体の前記次元値によって示されるフロントエンド要素値を有するファネルを配信する、
    ように構成された前記機械学習コンテンツ配信ネットワークと、
    を含む、システム。
  37. 前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムからの前記要求に応じて、前記ファネルを作成する、請求項36に記載のシステム。
  38. 前記データベースへのアクセスを有する変換システムを更に含み、
    前記機械学習コンテンツ配信ネットワークは、前記選択された候補個体を取り出す際に、前記変換システムからの候補個体を要求するように更に構成され、
    前記変換システムは、前記機械学習コンテンツ配信ネットワークからの要求に応じて、前記選択された候補個体を選択し、前記選択された候補個体を前記機械学習コンテンツ配信ネットワークに対して返すように構成される、
    請求項36に記載のシステム。
  39. 前記データベースにおける候補個体の前記個体数は、予め定められた標的のユーザの行動を促進する際のそれらの成功についてテストされる候補個体を含み、前記変換システムは、
    候補個体の予備プールを前記候補個体数に書き込む個体数初期化モジュールと、
    ライブのオンライン評価によって前記候補個体数における前記候補個体の各々をテストする候補テストモジュールであって、前記候補テストモジュールは、ライブのオンライン評価を受ける前記候補個体ごとのパフォーマンス測定値を発展させ、前記パフォーマンス測定値は、前記標的のユーザの行動を達成する際の前記候補個体によって記述された前記ニューラルネットワークの成功のインジケータである、前記候補テストモジュールと、
    前記候補個体数に、前記候補個体数及び親のパフォーマンス測定値からの1つ以上の前記親の候補個体のそれぞれのセットに従って形成された新たな候補個体を追加する生殖モジュールと、
    前記候補テストモジュール及び前記生殖モジュールを反復する制御モジュールと、
    を含み、
    前記選択された候補個体を選択する際に、前記候補テストモジュールは、前記選択された候補個体を前記候補個体数から選択する、
    請求項38に記載のシステム。
  40. ユーザ属性データのソースでの使用のための、コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
    候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記メモリを提供することと、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースを提供することと、
    前記候補個体の選択された1つによって記述された前記ニューラルネットワークから、ユーザ属性データの前記ソースからのユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定することと、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用することと、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示することと、
    を含む、方法。
  41. カスタム化可能なウェブインタフェースファネルのための、コンピュータにより実施される配置方法であって、前記ファネルは、複数の次元に沿ってカスタム化可能であり、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースを提供することと、
    ニューラルネットワークの特定の変動について、前記ニューラルネットワークのトポロジ及び前記ニューラルネットワークの相互結合についての係数を記述した複数のハイパーパラメータごとの値を提供することであって、前記ニューラルネットワークは、ユーザ属性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記次元ごとの値を識別する、前記値を提供することと、
    ニューラルネットワークファネルカスタム化仕様メモリに記憶された前記値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定することと、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用することと、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示することと、
    を含む、方法。
  42. コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
    候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリを提供することと、
    ネットワークを通じて受信された1つ以上の第1の要求に応じて、第1のクライアントコンピュータシステムに対し、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別するプレゼンテーションデータベースと、
    前記個体数における前記候補個体のうちの第1の選択された1つによって識別される前記ニューラルネットワークハイパーパラメータ値のセットと、
    プレゼンテーションモジュールであって、
    前記ニューラルネットワークハイパーパラメータ値によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    ユーザに対し、前記判定されたフロントエンド要素値を有するファネルを提示する、
    前記プレゼンテーションモジュールと、
    を返す、ネットワークサーバインフラストラクチャを提供することと、
    を含む、方法。
  43. コンピュータにより実施されるウェブインタフェース作成及び配置方法であって、
    候補個体の個体数を有する候補データベースを記憶するメモリを提供することであって、前記候補個体の各々は、前記候補個体の複数のハイパーパラメータについてのそれぞれの値を識別し、前記ハイパーパラメータは、前記それぞれのニューラルネットワークのトポロジ及び前記それぞれのニューラルネットワークの相互結合についての係数を記述し、前記ニューラルネットワークの各々は、ユーザ特性を1つ以上のウェブインタフェースを有するそれぞれのファネルにマッピングし、各々のファネルは、それに対して値を前記ニューラルネットワークによって割り当てることができる複数のファネル次元を有し、前記ニューラルネットワークは、それに対して値を割り当てることができる前記ファネル次元ごとの値を識別する、前記メモリを提供することと、
    前記ファネルの前記次元の各々の少なくとも1つの利用可能な値ごとのフロントエンド要素値を識別する、それにアクセス可能なプレゼンテーションデータベースを有する機械学習コンテンツ配信ネットワークを提供することであって、前記機械学習コンテンツ配信ネットワークは、クライアントコンピュータシステムから要求に応じて、
    前記データベースから、前記個体数における前記候補個体の選択された1つを取り出し、
    前記取り出された候補個体によって記述された前記ニューラルネットワークから、ユーザ属性データに従って前記ニューラルネットワークによって識別されるファネル次元値を判定し、
    前記識別されたファネル次元値に対応するフロントエンド要素値を判定するために、前記識別されたファネル次元値を前記プレゼンテーションデータベースに適用し、
    前記クライアントコンピュータシステムに対し、前記選択された候補個体の前記次元値によって示されるフロントエンド要素値を有するファネルを配信する、
    ように構成された前記機械学習コンテンツ配信ネットワークを提供することと、
    を含む、方法。
JP2018553337A 2016-01-05 2017-01-05 人工ニューラルネットワークを使用したウェブインタフェースの生成及びテスト Pending JP2019505936A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662275074P 2016-01-05 2016-01-05
US201662275058P 2016-01-05 2016-01-05
US62/275,058 2016-01-05
US62/275,074 2016-01-05
PCT/IB2017/050044 WO2017118937A1 (en) 2016-01-05 2017-01-05 Webinterface generation and testing using artificial neural networks

Publications (1)

Publication Number Publication Date
JP2019505936A true JP2019505936A (ja) 2019-02-28

Family

ID=59226444

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018553336A Active JP7000341B2 (ja) 2016-01-05 2017-01-05 機械学習に基づくウェブインタフェース生成及びテストシステム
JP2018553337A Pending JP2019505936A (ja) 2016-01-05 2017-01-05 人工ニューラルネットワークを使用したウェブインタフェースの生成及びテスト
JP2021209661A Active JP7394106B2 (ja) 2016-01-05 2021-12-23 機械学習に基づくウェブインタフェース生成及びテストシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018553336A Active JP7000341B2 (ja) 2016-01-05 2017-01-05 機械学習に基づくウェブインタフェース生成及びテストシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021209661A Active JP7394106B2 (ja) 2016-01-05 2021-12-23 機械学習に基づくウェブインタフェース生成及びテストシステム

Country Status (11)

Country Link
US (7) US10783429B2 (ja)
EP (2) EP3400557A4 (ja)
JP (3) JP7000341B2 (ja)
KR (2) KR20180131531A (ja)
CN (2) CN108780518A (ja)
AU (2) AU2017205231B2 (ja)
CA (3) CA3010567A1 (ja)
IL (1) IL260372B (ja)
RU (2) RU2018128029A (ja)
SG (2) SG11201805797SA (ja)
WO (2) WO2017118936A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8429616B2 (en) 2010-03-19 2013-04-23 Ebay Inc. Orthogonal experimentation in a computing environment
SG11201805797SA (en) 2016-01-05 2018-08-30 Sentient Tech Barbados Limited Machine learning based webinterface generation and testing system
US11250327B2 (en) 2016-10-26 2022-02-15 Cognizant Technology Solutions U.S. Corporation Evolution of deep neural network structures
US10585185B2 (en) 2017-02-03 2020-03-10 Rohde & Schwarz Gmbh & Co. Kg Security scanning system with walk-through-gate
US11403532B2 (en) 2017-03-02 2022-08-02 Cognizant Technology Solutions U.S. Corporation Method and system for finding a solution to a provided problem by selecting a winner in evolutionary optimization of a genetic algorithm
US10726196B2 (en) 2017-03-03 2020-07-28 Evolv Technology Solutions, Inc. Autonomous configuration of conversion code to control display and functionality of webpage portions
US11507844B2 (en) 2017-03-07 2022-11-22 Cognizant Technology Solutions U.S. Corporation Asynchronous evaluation strategy for evolution of deep neural networks
US20190043115A1 (en) * 2017-08-02 2019-02-07 Thomas Purves Machine learning tool
US20190095828A1 (en) * 2017-09-27 2019-03-28 Linkedin Corporation Automatic ramp-up of controlled experiments
US11250314B2 (en) 2017-10-27 2022-02-15 Cognizant Technology Solutions U.S. Corporation Beyond shared hierarchies: deep multitask learning through soft layer ordering
US11475305B2 (en) * 2017-12-08 2022-10-18 Advanced Micro Devices, Inc. Activation function functional block for electronic devices
WO2019118299A1 (en) * 2017-12-13 2019-06-20 Sentient Technologies (Barbados) Limited Evolving recurrent networks using genetic programming
WO2019118290A1 (en) 2017-12-13 2019-06-20 Sentient Technologies (Barbados) Limited Evolutionary architectures for evolution of deep neural networks
CN108182243B (zh) * 2017-12-28 2020-07-14 大连理工大学 一种基于Spark的分布式进化算法岛模型并行化方法
US10445762B1 (en) 2018-01-17 2019-10-15 Yaoshiang Ho Online video system, method, and medium for A/B testing of video content
CN108229435B (zh) * 2018-02-01 2021-03-30 北方工业大学 一种用于行人识别的方法
CN110134464A (zh) * 2018-02-02 2019-08-16 富士通株式会社 信息处理方法和装置
US11574201B2 (en) * 2018-02-06 2023-02-07 Cognizant Technology Solutions U.S. Corporation Enhancing evolutionary optimization in uncertain environments by allocating evaluations via multi-armed bandit algorithms
US11527308B2 (en) 2018-02-06 2022-12-13 Cognizant Technology Solutions U.S. Corporation Enhanced optimization with composite objectives and novelty-diversity selection
KR102104295B1 (ko) * 2018-02-20 2020-04-24 주식회사 아이오티큐브 탐색 전략을 자동으로 생성하는 방법 및 자동으로 생성된 탐색 전략을 사용한 콘콜릭 테스팅 수행 방법
CN108256694A (zh) * 2018-03-02 2018-07-06 我知盘中餐(厦门)电子商务有限公司 基于重复遗传算法的模糊时间序列预测系统、方法及装置
CN108460726B (zh) * 2018-03-26 2020-08-11 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
AU2018202382A1 (en) 2018-04-04 2019-10-24 ADEVI lP HOLDING COMPANY PTY LTD Methods and systems for resolving user interface features, and related applications
CN108763055B (zh) * 2018-04-19 2020-08-25 北京航空航天大学 一种基于表观遗传的测试用例约束控制技术的构建方法
US10614268B1 (en) * 2018-04-24 2020-04-07 InVisionApp Inc. Auto-complete design for content-creating applications
US11477166B2 (en) 2018-05-29 2022-10-18 Cognizant Technology Solutions U.S. Corporation Systems and methods for providing secure evolution as a service
CN108875925A (zh) * 2018-06-28 2018-11-23 中国科学院计算技术研究所 一种针对卷积神经网络处理器的控制方法及装置
US11093503B2 (en) 2018-07-05 2021-08-17 Cognizant Technology Solutions U.S. Corporation Systems and methods for providing data-driven evolution of arbitrary data structures
US11755979B2 (en) 2018-08-17 2023-09-12 Evolv Technology Solutions, Inc. Method and system for finding a solution to a provided problem using family tree based priors in Bayesian calculations in evolution based optimization
WO2020069387A1 (en) * 2018-09-27 2020-04-02 Google Llc Automatic navigation of interactive web documents
US10915599B2 (en) * 2018-11-15 2021-02-09 Elementor Ltd. System and method for producing transferable, modular web pages
CN111275472A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 模型训练方法、用户识别方法、装置及电子设备
US11086963B2 (en) 2018-12-05 2021-08-10 Ebay Inc. Adaptive data platforms
CN110018869B (zh) * 2019-02-20 2021-02-05 创新先进技术有限公司 通过强化学习向用户展示页面的方法及装置
US11314825B2 (en) * 2019-02-21 2022-04-26 Sitecore Corporation A/S Machine-learning based personalization
US11481639B2 (en) 2019-02-26 2022-10-25 Cognizant Technology Solutions U.S. Corporation Enhanced optimization with composite objectives and novelty pulsation
WO2020186061A1 (en) 2019-03-13 2020-09-17 Cognizant Technology Solutions U.S. Corporation System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains
WO2020198520A1 (en) 2019-03-27 2020-10-01 Cognizant Technology Solutions U.S. Corporation Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
US11727265B2 (en) * 2019-06-27 2023-08-15 Intel Corporation Methods and apparatus to provide machine programmed creative support to a user
CN112328465A (zh) * 2019-08-05 2021-02-05 四川大学 一种基于深度学习与遗传算法的浏览器样本集获取方法
US10853442B1 (en) * 2019-08-12 2020-12-01 Capital One Services, Llc Techniques for selecting a user experience design
CN110443321B (zh) * 2019-08-14 2023-06-02 北京百度网讯科技有限公司 模型结构调整方法及装置
WO2021087078A1 (en) * 2019-10-30 2021-05-06 Liveperson, Inc. Message rerouting from an e-mail environment to a messaging environment
US10783064B1 (en) * 2019-11-27 2020-09-22 Capital One Services, Llc Unsupervised integration test builder
WO2020143849A2 (en) * 2020-04-13 2020-07-16 Alipay (Hangzhou) Information Technology Co., Ltd. Method and system for optimizing user grouping for advertisement
CN111651346B (zh) * 2020-04-27 2022-11-18 深圳平安医疗健康科技服务有限公司 前端组件的测试方法、装置、存储介质及计算机设备
US11790030B2 (en) * 2020-06-04 2023-10-17 Promoted.ai, Inc. Creating an effective product using an attribute solver
US11775841B2 (en) 2020-06-15 2023-10-03 Cognizant Technology Solutions U.S. Corporation Process and system including explainable prescriptions through surrogate-assisted evolution
CN112039885B (zh) * 2020-08-31 2022-09-02 绿盟科技集团股份有限公司 一种网站风险评估方法及装置
CN112199285B (zh) * 2020-10-12 2023-08-01 中国农业银行股份有限公司 一种测试案例优选方法、装置及电子设备
KR102259945B1 (ko) 2021-03-03 2021-06-02 (주)플랜아이 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법
US11200151B1 (en) 2021-03-12 2021-12-14 Sas Institute Inc. Graphical user interface and debugger system for selecting and testing alterations to source code for software applications
US20240070715A1 (en) * 2022-08-26 2024-02-29 Maplebear Inc. (Dba Instacart) Using a genetic algorithm to identify a balanced assignment of online system users to a control group and a test group for performing a test

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3775341A (en) 1971-08-02 1973-11-27 Ppg Industries Inc Liquid dialkyl peroxydicarbonate composition
US4935877A (en) * 1988-05-20 1990-06-19 Koza John R Non-linear genetic algorithms for solving problems
US5343554A (en) 1988-05-20 1994-08-30 John R. Koza Non-linear genetic process for data encoding and for solving problems using automatically defined functions
AU7563191A (en) 1990-03-28 1991-10-21 John R. Koza Non-linear genetic algorithms for solving problems by finding a fit composition of functions
US5568590A (en) 1993-12-17 1996-10-22 Xaos Tools Image processing using genetic mutation of neural network parameters
GB9517775D0 (en) 1995-08-31 1995-11-01 Int Computers Ltd Computer system using genetic optimization techniques
US5867397A (en) 1996-02-20 1999-02-02 John R. Koza Method and apparatus for automated design of complex structures using genetic programming
JP3254393B2 (ja) * 1996-11-19 2002-02-04 三菱電機株式会社 遺伝的アルゴリズムマシン及び遺伝的アルゴリズムマシンの製造方法及び遺伝的アルゴリズムの実行方法
US6088690A (en) 1997-06-27 2000-07-11 Microsoft Method and apparatus for adaptively solving sequential problems in a target system utilizing evolutionary computation techniques
CA2337798A1 (en) 1998-07-06 2000-01-13 Bios Group Lp A method for performing market segmentation and for predicting consumer demand
EP1183630A2 (en) 1999-03-26 2002-03-06 Koninklijke Philips Electronics N.V. Evolving advertisements via an evolutionary algorithm
US6523016B1 (en) 1999-04-12 2003-02-18 George Mason University Learnable non-darwinian evolution
US8805715B1 (en) * 1999-12-29 2014-08-12 Carl Meyer Method for improving the performance of messages including internet splash pages
AU2002246919B2 (en) 2000-11-10 2007-08-30 The Nielsen Company (Us), Llc Method and apparatus for dynamic, real-time market segmentation
US6826550B2 (en) * 2000-12-15 2004-11-30 International Business Machines Corporation Method, system, and program for converting application program code to executable code using neural networks based on characteristics of the inputs
US20020082077A1 (en) * 2000-12-26 2002-06-27 Johnson Douglas R. Interactive video game system with characters that evolve physical and cognitive traits
US7340676B2 (en) 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
WO2002057946A1 (en) 2001-01-18 2002-07-25 The Board Of Trustees Of The University Of Illinois Method for optimizing a solution set
US6957200B2 (en) * 2001-04-06 2005-10-18 Honeywell International, Inc. Genotic algorithm optimization method and network
US7444309B2 (en) * 2001-10-31 2008-10-28 Icosystem Corporation Method and system for implementing evolutionary algorithms
US7216295B2 (en) 2001-12-20 2007-05-08 Canon Kabushiki Kaisha Method of automatic production of image presentations
US7353184B2 (en) 2002-03-07 2008-04-01 Hewlett-Packard Development Company, L.P. Customer-side market segmentation
US20030191731A1 (en) * 2002-04-04 2003-10-09 Daleen Technologies, Inc. Method and system for rule based validation prior to committing data to a database system
US7171617B2 (en) 2002-07-30 2007-01-30 Xerox Corporation System and method for fitness evaluation for optimization in document assembly
US20040024888A1 (en) * 2002-08-01 2004-02-05 Micron Technology, Inc. Systems and methods for managing web content and behavior rules engine
EP1584004A4 (en) 2003-01-17 2007-10-24 Francisco J Ayala SYSTEM AND METHOD FOR DEVELOPING ARTIFICIAL INTELLIGENCE
US7043463B2 (en) 2003-04-04 2006-05-09 Icosystem Corporation Methods and systems for interactive evolutionary computing (IEC)
US7333960B2 (en) 2003-08-01 2008-02-19 Icosystem Corporation Methods and systems for applying genetic operators to determine system conditions
US7356518B2 (en) 2003-08-27 2008-04-08 Icosystem Corporation Methods and systems for multi-participant interactive evolutionary computing
US7035740B2 (en) 2004-03-24 2006-04-25 Illumina, Inc. Artificial intelligence and global normalization methods for genotyping
US7707220B2 (en) 2004-07-06 2010-04-27 Icosystem Corporation Methods and apparatus for interactive searching techniques
US20060103667A1 (en) 2004-10-28 2006-05-18 Universal-Ad. Ltd. Method, system and computer readable code for automatic reize of product oriented advertisements
US20060225003A1 (en) 2005-04-05 2006-10-05 The Regents Of The University Of California Engineering design system using human interactive evaluation
US7502763B2 (en) * 2005-07-29 2009-03-10 The Florida International University Board Of Trustees Artificial neural network design and evaluation tool
US8423323B2 (en) 2005-09-21 2013-04-16 Icosystem Corporation System and method for aiding product design and quantifying acceptance
US20070094072A1 (en) 2005-10-26 2007-04-26 Etica Entertainment, Inc., Dba Position Research Apparatus and method of identifying critical factors in a pay-for-performance advertising network
US8914301B2 (en) * 2005-10-28 2014-12-16 Joyce A. Book Method and apparatus for dynamic ad creation
US7617164B2 (en) * 2006-03-17 2009-11-10 Microsoft Corporation Efficiency of training for ranking systems based on pairwise training with aggregated gradients
CA2659672A1 (en) * 2006-06-26 2008-01-03 Icosystem Corporation Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US20070300185A1 (en) * 2006-06-27 2007-12-27 Microsoft Corporation Activity-centric adaptive user interface
US7613692B2 (en) * 2006-07-25 2009-11-03 Microsoft Corporation Persona-based application personalization
DE102006046319B4 (de) 2006-09-29 2008-07-03 Siemens Ag Verfahren zum Auffinden und zur Anzeige von Informationen in einem Informationssystem einer medizinischen Einrichtung
US9208251B2 (en) 2007-01-19 2015-12-08 Linkedin Corporation Computer-based evaluation tool for selecting personalized content for users
US8898072B2 (en) 2007-04-20 2014-11-25 Hubpages, Inc. Optimizing electronic display of advertising content
US8775603B2 (en) * 2007-05-04 2014-07-08 Sitespect, Inc. Method and system for testing variations of website content
US8321359B2 (en) * 2007-07-24 2012-11-27 Hiconversion, Inc. Method and apparatus for real-time website optimization
US7917859B1 (en) 2007-09-21 2011-03-29 Adobe Systems Incorporated Dynamic user interface elements
US20090083268A1 (en) * 2007-09-25 2009-03-26 International Business Machines Corporation Managing variants of artifacts in a software process
CN106095570A (zh) 2007-11-08 2016-11-09 思腾科技(巴巴多斯)有限公司 执行复杂算法的分布式网络
US20090259534A1 (en) 2008-04-11 2009-10-15 Microsoft Corporation Internal business arbitrage
WO2009154480A1 (en) * 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. A method of graphically representing a tree structure
WO2009154484A2 (en) 2008-06-20 2009-12-23 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for data visualization and related applications
US20090327913A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Using web revisitation patterns to support web interaction
KR100909232B1 (ko) * 2008-07-10 2009-07-23 주식회사 로직플랜트 웹 페이지 인터페이스 제공 방법 및 시스템
US10169221B2 (en) * 2008-07-22 2019-01-01 Accelerate Group Limited Method and system for web-site testing
US9002729B2 (en) 2008-10-21 2015-04-07 Accenture Global Services Limited System and method for determining sets of online advertisement treatments using confidences
US20100169234A1 (en) 2009-01-01 2010-07-01 Wizbill Ltd Method for Capturing the Essence of Product and Service Offers of Service Providers
US9378505B2 (en) * 2010-07-26 2016-06-28 Revguard, Llc Automated multivariate testing technique for optimized customer outcome
US20140108143A1 (en) * 2010-08-05 2014-04-17 Solariat Inc. Social content distribution network
US9104978B2 (en) 2010-10-07 2015-08-11 Microsoft Technology Licensing, Llc System and method for parameter evaluation
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
EP2636013A4 (en) 2010-11-02 2016-05-18 Survey Engine Pty Ltd SELECTION MODELING SYSTEM AND METHOD
US8489526B2 (en) * 2010-11-24 2013-07-16 International Business Machines Corporation Controlling quarantining and biasing in cataclysms for optimization simulations
US8839093B1 (en) * 2011-01-12 2014-09-16 Optimizely, Inc. Systems and methods for website optimization
US9400774B1 (en) * 2011-01-12 2016-07-26 Optimizely, Inc. Multi-page website optimization
US9208515B2 (en) 2011-03-08 2015-12-08 Affinnova, Inc. System and method for concept development
US8880450B2 (en) 2011-05-26 2014-11-04 World Heart Corporation Systems and methods for predicting characteristics of an artificial heart using an artificial neural network
US20130024290A1 (en) 2011-06-17 2013-01-24 Motiva79 Llc Method and apparatus for managing sales promotions and generating customer leads
US9002759B2 (en) 2011-07-15 2015-04-07 Sentient Technologies (Barbados) Limited Data mining technique with maintenance of fitness history
US9117176B2 (en) 2011-09-21 2015-08-25 Qualcomm Technologies Inc. Round-trip engineering apparatus and methods for neural networks
US8862521B2 (en) 2011-10-13 2014-10-14 Aol Inc. Systems and methods for determining whether to publish an advertisement on a web page associated with a web page article or to exclude advertisements from publication on the web page associated with the web page article based on the comparison of a first numeric likelihood to a first set of threshold values
US8924516B2 (en) 2012-01-06 2014-12-30 Apple Inc. Dynamic construction of modular invitational content
US9311383B1 (en) 2012-01-13 2016-04-12 The Nielsen Company (Us), Llc Optimal solution identification system and method
US20130246435A1 (en) * 2012-03-14 2013-09-19 Microsoft Corporation Framework for document knowledge extraction
US11328325B2 (en) 2012-03-23 2022-05-10 Secureads, Inc. Method and/or system for user authentication with targeted electronic advertising content through personal communication devices
US9384444B2 (en) * 2012-07-12 2016-07-05 Dell Products L.P. Web analytics neural network modeling prediction
US20190205020A1 (en) 2012-08-08 2019-07-04 Neal Fairbanks Adaptive user interface system
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US20140067556A1 (en) * 2012-08-30 2014-03-06 Sharon Burt Methods and systems for establishing a mobile-optimized web presence and a mobile-optimized marketing campaign
EP2704037A3 (en) * 2012-08-31 2014-07-09 Sitecore A/S A method for generating or updating an interactive webpage
US20140067514A1 (en) 2012-09-04 2014-03-06 Mobile Spinach, Inc. Merchant acquisition and advertisement bundling with offers and lead generation system and method
US9405427B2 (en) 2012-09-12 2016-08-02 Facebook, Inc. Adaptive user interface using machine learning model
WO2014059183A2 (en) 2012-10-10 2014-04-17 Webtrends Inc. Methods and automated systems for testing, optimization, and analysis that preserve continuity in identities and status of users who access remote information from different contexts
US9633363B2 (en) * 2012-11-08 2017-04-25 Thnx, Llc System and method of incentivized advertising
US20140236875A1 (en) 2012-11-15 2014-08-21 Purepredictive, Inc. Machine learning for real-time adaptive website interaction
CN103853656B (zh) 2012-11-30 2016-08-10 阿里巴巴集团控股有限公司 网页测试方法和装置
CN105359166B (zh) 2013-02-08 2018-11-09 埃莫蒂安特公司 收集用于表情识别的机器学习训练数据
WO2014152010A1 (en) 2013-03-15 2014-09-25 Affinnova, Inc. Method and apparatus for interactive evolutionary algorithms with respondent directed breeding
WO2014143729A1 (en) 2013-03-15 2014-09-18 Affinnova, Inc. Method and apparatus for interactive evolutionary optimization of concepts
US8775332B1 (en) * 2013-06-13 2014-07-08 InsideSales.com, Inc. Adaptive user interfaces
US9082084B2 (en) * 2013-06-28 2015-07-14 Linkedin Corporation Facilitating machine learning in an online social network
CN104281611B (zh) * 2013-07-08 2018-04-03 阿里巴巴集团控股有限公司 网站测试系统中的用户流量分配方法及装置
US20150019173A1 (en) 2013-07-09 2015-01-15 International Business Machines Corporation Multiobjective optimization through user interactive navigation in a design space
US20150039416A1 (en) * 2013-08-05 2015-02-05 Google Inc Systems and methods of optimizing a content campaign
US20150066645A1 (en) * 2013-09-05 2015-03-05 International Business Machines Corporation Enhancing Marketing Funnel Conversion Through Intelligent Social Tagging and Attribution
US10228913B2 (en) 2013-09-10 2019-03-12 Oracle International Corporation Functional rule and component storage
US20150095756A1 (en) * 2013-10-01 2015-04-02 Zijad F. Aganovic Method and apparatus for multi-loop, real-time website optimization
CN103685308B (zh) * 2013-12-25 2017-04-26 北京奇虎科技有限公司 一种钓鱼网页的检测方法及系统、客户端、服务器
US9911143B2 (en) 2013-12-26 2018-03-06 Oracle America, Inc. Methods and systems that categorize and summarize instrumentation-generated events
US9928526B2 (en) 2013-12-26 2018-03-27 Oracle America, Inc. Methods and systems that predict future actions from instrumentation-generated events
US9792365B2 (en) * 2013-12-31 2017-10-17 Clicktale Ltd. Method and system for tracking and gathering multivariate testing data
CN103823876A (zh) * 2014-02-28 2014-05-28 上海斐讯数据通信技术有限公司 一种用于网关设备的网页交换界面实现系统及其方法
US9477648B1 (en) * 2014-02-28 2016-10-25 Intuit Inc. Optimized web application user experience
JP6193799B2 (ja) 2014-04-22 2017-09-06 日本電信電話株式会社 ウェブ要素マッチング装置とマッチング確率分布生成装置と、それらの方法とプログラム
US9792205B2 (en) * 2014-06-13 2017-10-17 Ebay Inc. A/B testing for mobile applications
US20160259840A1 (en) * 2014-10-16 2016-09-08 Yahoo! Inc. Personalizing user interface (ui) elements
US10187388B2 (en) 2015-03-12 2019-01-22 At&T Intellectual Property I, L.P. System and method for managing electronic interactions based on defined relationships
CN104734918A (zh) 2015-03-25 2015-06-24 浪潮集团有限公司 一种轻量级网页性能测试架构和方法
US20160321716A1 (en) * 2015-04-30 2016-11-03 Wal-Mart Stores, Inc. System, method, and non-transitory computer-readable storage media for enhancing online product search through multiobjective optimization of product search ranking functions
WO2016199018A1 (en) * 2015-06-07 2016-12-15 Wix.Com Ltd System and method for the generation of an adaptive user interface in a website building system
CN104950906A (zh) * 2015-06-15 2015-09-30 中国人民解放军国防科学技术大学 基于移动通信网络的无人机远程测控系统及方法
US10262068B2 (en) * 2015-08-31 2019-04-16 Walmart Apollo, Llc System, method, and non-transitory computer-readable storage media for displaying an optimal arrangement of facets and facet values for a search query on a webpage
WO2017063092A1 (en) 2015-10-17 2017-04-20 Rubikloud Technologies Inc. System and method for computational analysis of the potential relevance of digital data items to key performance indicators
US10650417B2 (en) 2015-10-29 2020-05-12 International Business Machines Corporation Social media messaging management for brand integrity
SG11201805797SA (en) * 2016-01-05 2018-08-30 Sentient Tech Barbados Limited Machine learning based webinterface generation and testing system
US10503529B2 (en) 2016-11-22 2019-12-10 Sap Se Localized and personalized application logic
US10255173B2 (en) * 2016-12-27 2019-04-09 Optimizely, Inc. Experimentation in internet-connected applications and devices
US20180203826A1 (en) * 2017-01-18 2018-07-19 Go Daddy Operating Company, LLC System and method for generating web page layouts
US11475372B2 (en) * 2018-03-26 2022-10-18 H2O.Ai Inc. Evolved machine learning models

Also Published As

Publication number Publication date
US20210334625A1 (en) 2021-10-28
AU2017205231B2 (en) 2022-04-28
SG11201805797SA (en) 2018-08-30
SG11201805794XA (en) 2018-08-30
US20170193367A1 (en) 2017-07-06
US20170193366A1 (en) 2017-07-06
AU2017205231A1 (en) 2018-08-09
KR20180126452A (ko) 2018-11-27
CN108780518A (zh) 2018-11-09
RU2018128030A (ru) 2020-02-06
US10783429B2 (en) 2020-09-22
WO2017118936A1 (en) 2017-07-13
IL260372B (en) 2021-04-29
EP3400517A4 (en) 2019-09-04
US11803730B2 (en) 2023-10-31
JP7000341B2 (ja) 2022-01-19
US11386318B2 (en) 2022-07-12
US10438111B2 (en) 2019-10-08
EP3400557A1 (en) 2018-11-14
US20170192638A1 (en) 2017-07-06
RU2018128029A (ru) 2020-02-06
KR20180131531A (ko) 2018-12-10
US20170193403A1 (en) 2017-07-06
US11062196B2 (en) 2021-07-13
US20220351016A1 (en) 2022-11-03
US20210004659A1 (en) 2021-01-07
CA3010567A1 (en) 2017-07-13
JP2022058399A (ja) 2022-04-12
EP3400517A1 (en) 2018-11-14
CA3183941A1 (en) 2017-07-13
CA3010803A1 (en) 2017-07-13
JP2019504428A (ja) 2019-02-14
AU2017205232A1 (en) 2018-08-09
CN108780378B (zh) 2021-07-02
CN108780378A (zh) 2018-11-09
CA3010803C (en) 2023-01-10
JP7394106B2 (ja) 2023-12-07
EP3400557A4 (en) 2019-09-04
WO2017118937A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
US11803730B2 (en) Webinterface presentation using artificial neural networks
US11403532B2 (en) Method and system for finding a solution to a provided problem by selecting a winner in evolutionary optimization of a genetic algorithm
US20210182282A1 (en) Automated presentation of information using infographics
US11574201B2 (en) Enhancing evolutionary optimization in uncertain environments by allocating evaluations via multi-armed bandit algorithms
US20160224999A1 (en) Recommending common website features
US11755979B2 (en) Method and system for finding a solution to a provided problem using family tree based priors in Bayesian calculations in evolution based optimization
US20160224991A1 (en) Evaluating features for a website within a selected industry vertical
US20220366264A1 (en) Procedurally generating realistic interfaces using machine learning techniques
US10963926B1 (en) Systems, methods and computer program products for populating field identifiers from virtual reality or augmented reality environments, or modifying or selecting virtual or augmented reality environments or content based on values from field identifiers