JP2018142294A - マイクロブログ投稿から購入ステージを識別するために深層学習を使用するシステムおよび方法、プログラム、サーバ装置 - Google Patents

マイクロブログ投稿から購入ステージを識別するために深層学習を使用するシステムおよび方法、プログラム、サーバ装置 Download PDF

Info

Publication number
JP2018142294A
JP2018142294A JP2017178019A JP2017178019A JP2018142294A JP 2018142294 A JP2018142294 A JP 2018142294A JP 2017178019 A JP2017178019 A JP 2017178019A JP 2017178019 A JP2017178019 A JP 2017178019A JP 2018142294 A JP2018142294 A JP 2018142294A
Authority
JP
Japan
Prior art keywords
post
digital
stage
posts
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017178019A
Other languages
English (en)
Other versions
JP6943106B2 (ja
Inventor
アイク アデル
Heike Adel
アイク アデル
チェン フランシーン
Francine Chen
チェン フランシーン
インイン チェン
Yin-Ying Chen
インイン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2018142294A publication Critical patent/JP2018142294A/ja
Application granted granted Critical
Publication of JP6943106B2 publication Critical patent/JP6943106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • G06N5/047Pattern matching networks; Rete networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】投稿に基づく製品関連情報を伝送する、情報をユーザに向ける方法およびシステムを提供する。
【解決手段】方法は、製品を識別し、かつ、デジタルアカウントに関連付けられている、1つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップとを有する。伝送するステップは、1つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づく。
【選択図】図2

Description

本開示は、ソーシャルメディアネットワークに関し、より具体的には、購入行動を識別するためにソーシャルメディアネットワークを使用するシステムおよび方法に関する。
関連技術のソーシャルメディアシステムにおいて、広告主は広告、特に低いフォロースルーを有する広告を送信するコストを意識しており、広告を正確にユーザに向けたいと考えている。これらの関連技術のソーシャルメディアシステムを使用して、一部のユーザは、製品について議論するための電子商取引のウェブサイト、チャットまたは投稿掲示板に投稿することによって、またはマイクロブログ投稿を通して、製品または製品のカテゴリに対する関心を共有することがある。この共通の関心に基づいて、関連技術システムは、製品を購入する意図を有するユーザ(例えば、「購入意図」)を識別しようと試みてもよい。
KORPUSIK, MANDY, ET AL., "RECURRENT NEURAL NETWORKS FOR CUSTOMER PURCHASE PREDICTION ON TWITTER(登録商標)", 4 PAGES, COPYRIGHT 2016, CBRECSYS 2016, SEPTEMBER 16, 2016, BOSTON, MA, US NORGUEIRA DOS SANTOS, CICERO, ET AL., "CLASSIFYING RELATIONS BY RANKING WITH CONVOLUTIONAL NEURAL NETWORKS". 10 PAGES, ARXIV:1504.06580V2 [CS.CL] MAY 24, 2015 DING, XIAO, ET AL., "MINING USER CONSUMPTION INTENTION FROM SOCIAL MEDIA USING DOMAIN ADAPTIVE CONVOLUTIONAL NEURAL NETWORK", 7 PAGES, COPYRIGHT 2015, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE. LASSEN, NIELS BUUS, ET AL., "PREDICTING IPHONE(登録商標)SALES FROM IPHONE(登録商標) TWEETS", 10 PAGES, 2014 COPENHAGEN BUSINESS SCHOOL, COMPUTATIONAL SOCIAL SCIENCE LABORATORY, DEPARTMENT OF ITM, FREDERIKSBERG, DENMARK MORRIS, MEREDITH RINGEL, ET AL., "WHAT DO PEOPLE ASK THEIR SOCIAL NETWORKS, AND WHY? A SURVEY STUDY OF STATUS MESSAGE Q&A BEHAVIOR", 10 PAGES, COPYRIGHT 2010 ACM 978-1-60558-929-9-9/10/04 CHI 20110, APRIL 10-15, 2010, ATLANTA GA US MAHMUD, JALAL, ET AL., "PREDICTING ATTITUTE AND ACTIONS OF TWITTER(登録商標) USERS", 5 PAGES, IUI 2016 - SOCIAL MEDIA, MARCH 7-10, 2016, SONOMA, CA US COPYRIGHT 2016 ACM 978-1-4503-4137-0/16/03 TANG, DUYU, ET AL., "DOCUMENT MODELING WITH GATED RECURRENT NEURAL NETWORK FOR SENTIMENT CLASSIFICATION", 11 PAGES, PROCEEDINGS OF THE 2015 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, PAGES 1422-1432, LISBON, PORTUGAL, SEPTEMBER 17-21, 2015. COPYRIGHT 2015 ASSOCIATION FOR COMPUTATIONAL LINGUISTICS. GODIN, FREDERIC, ET AL., "MULTIMEDIA LAB @ ACL W-NUT NER SHARED TASK: NAMED ENTITY RECOGNITION FOR TWITTER(登録商標) MICROPOSTS USING DISTRIBUTED WORD REPRESENTATIONS", 8 PAGES, GHENT UNIVERSITY - IMINDS, MULTIMEDIA LAB, GHENT, BELGIUM 2015. CHUNG, JUNYOUNG, ET AL., "EMPIRICAL EVALUATION OF GATED RECURRENT NEURAL NETWORKS ON SEQUENCE MODELING", 9 PAGES, ARXIV:1412.3555V1 [CS.NE] DECEMBER 11, 2014 SAKAKI, SHIGEYUKI, ET AL., "CORPUS FOR CUSTOMER PURCHACE BEHAVIOR PREDICTION IN SOCIAL MEDIA", 5 PAGES, FX PALO ALTO LABORATORY, INC., PALO ALTO, CALIFORNIA, US 2016 MIKOLOV, TOMAS, ET AL., "EFFICIENT ESTIMATION OF WORD REPRESENTATIONS IN VECTOR SPACE", 12 PAGES, ARXIV:1301.3781V3 [CS.CL] SEPTEMBER 7, 2013 KALCHBRENNER, NAL, ET AL., "A CONVOLUTIONAL NEURAL NETWORK FOR MODELLING SENTENCES", 11 PAGES, ARXIV:1402.2188V1 [CS.CL], APRIL 8, 2014 CHO, KYUNGHYUN, ET AL., "LEARNING PHASE REPRESENTATIONS USING RNN ENCODER-DECODER FOR STATISTICAL MACHINE TRANSLATION", 15 PAGES, ARXIV:1406.1078V3 [CS.CL] SEPTEMBER 3, 2014 BAHDANAU, DZMITRY, ET AL., "NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE", 15 PAGES, ARXIV:1409.0473V7 [CS.CL] MAY 19, 2016 HERMANN, KARL MORITZ, ET AL., "TEACHING MACHINES TO READ AND COMPREHEND", 14 PAGES, ARXIV:1506.03340V3 [CS.CL] NOVEMBER 19, 2015 HOCHREITER, SEPP, ET AL., "LONG SHORT-TERM MEMORY", 46 PAGES, COPYRIGHT 2001, NEURAL COMPUTATION 9, 1735-1780 (1997), COPYRIGHT 1997 MASSACHUSETTS INSTITUTE OF TECHNOLOGY NAKOV, PRESLAV, ET AL., "SEMEVAL-2016 TASK 4: SENTIMENT ANALYSIS IN TWITTER(登録商標)", 18 PAGES, PROCEEDINGS OF SEMEVAL-2016, PAGES 1-18, SAN DIEGO, CA, JUNE 16-17, 2016. COPYRIGHT 2016 ASSOCIATOIN FOR COMPUTATIONAL LINGUISTICS.
しかし、一部のユーザは、マルチステージの購入意思決定プロセス(例えば、AIDA(意識/注目、関心、欲求、アクション)モデル購入決定プロセス)を経なければならないことがある。例えば、ユーザは、製品を購入する準備が整う前に、まず製品を意識し、次にその製品に関心を持ち、次にその製品を望むことが必要であろう。ソーシャルメディア投稿は、情報的ジャンル、時事的ジャンル、感情的ジャンル、些細なジャンルなど、様々なジャンルをカバーすることができる。したがって、製品に言及するユーザの投稿は、意識または関心を示すが欲求またはアクションを示すものではない可能性があり、したがって、ターゲットとしたマーケティングは時期尚早であり得るか、またはユーザの購入ステージに基づいて異なるアプローチが必要とされ得る。関連技術のソーシャルメディアは、購入意思決定プロセスにおいてユーザがどこにいるかを判定しない場合がある。
本開示の技術は、投稿に基づく製品関連情報を伝送することを目的とする。
本開示の態様は、情報をターゲットに向ける方法を含んでいてもよい。この方法は、製品を識別し、かつデジタルアカウントに関連付けられている、1つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、1つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づくステップとを含む。
上記態様は、前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、のうちの少なくとも1つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも1つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。 前記決定モデルのステージは、意識のステージと、関心のステージと、欲求のステージと、アクションのステージと、否定的なセンチメントのステージと、関連しないステージと、のうちの1つ以上を備えるようにしてもよい。
前記1つ以上のデジタル投稿の各々に関連付けられた前記決定モデルのステージを前記ニューラルネットワークによって識別するステップは、クラスのランキングを損失関数として使用して、前記ニューラルネットワークがクラスの不均衡を補償することを可能にするステップを備えるようにしてもよい。
本開示の更なる態様は、情報をターゲットに向ける方法をコンピュータに実行させるプログラムでもよい。この方法は、製品を識別し、かつデジタルアカウントに関連付けられている、1つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、1つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づくステップとを含む。
上記態様は、前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、のうちの少なくとも1つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも1つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿とを備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と
を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
本開示の更なる態様は、また、情報をターゲットに向けるように構成された装置を含んでいてもよい。装置は、製品を識別し、かつデジタルアカウントに関連付けられた1つ以上のデジタル投稿を記憶するメモリと、プロセッサとを含む。プロセッサは、各デジタル投稿について生成された特徴表現に基づいて、1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、1つ以上のデジタル投稿の各々について識別された決定モデルのステージに基づく、ステップとを含むプロセスを実行する。
前記プロセスは、前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、のうちの少なくとも1つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも1つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記1つ以上のデジタル投稿は、第1の投稿時間に関連付けられた第1の投稿と、前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
本開示の更なる態様は、また、情報をターゲットに向けるように構成された、別の装置を含んでいてもよい。装置は、製品を識別し、かつデジタルアカウントに関連付けられている、1つ以上のデジタル投稿を記憶するメモリと、各デジタル投稿について生成された特徴表現に基づいて、1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージを識別する手段と、製品関連情報をデジタルアカウントに伝送する手段であって、伝送が、1つ以上のデジタル投稿の各々について識別された決定モデルのステージに基づく、手段とを含む。
本出願の実装例に使用可能なソーシャルメディア環境を示した図である。 本出願の実装例による、識別された決定購入ステージに基づいて、ユーザにターゲットを設定するプロセスのフローチャートを示した図である。 実装例に従って、ソーシャルメディア投稿を前処理するサブプロセスのフローチャートを示した図である。 実装例に従って、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージを識別する、サブプロセスを示した図である。 実装例に従って、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージを識別する、サブプロセスを示した図である。 実装例による、階層的ニューラルネットワークに基づく購入識別モデルの概略図を示した図である。 実装例による、ソーシャルメディア投稿の表現を生成するために使用されてもよい、異なるモデルの概略図を示した図である。 実装例に従って、ソーシャルメディア投稿を購入決定ステージに分類するために使用されてもよい、異なるモデルの概略図を示した図である。 いくつかの実装例における使用に適した例示的なコンピュータデバイスを有するコンピューティング環境の例を示した図である。
以下の詳細な説明は、本出願の図および実装例の更なる詳細を提供する。図の間で重複する要素の参照番号および説明は、明確にするために省略されている。説明全体を通して使用されている用語は、例として提供されており、限定を意図するものではない。例えば、「自動」という用語の使用は、本適用の実装を実施する当業者の所望の実装に応じて、ユーザまたはオペレータが実装の特定の態様を制御することを含む、完全自動または半自動の実装を含み得る。
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである1人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた(例えば、遅延した)顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。
上記のような購入意思を判定することに加えて、広告主は、AIDA(意識/注目、関心、欲求、アクション)モデルを使用して、ユーザの購入意思決定プロセスステージをモデル化してもよい。本出願の実装例は、ニューラルネットワークおよびマルチタスク学習を使用して、ユーザが購入意思決定プロセスのどこにいるかを判定し、プロセスにおける彼または彼女のステージに基づいて、受け入れ可能なユーザをターゲットとする広告または情報を提供してもよい。例えば、ある製品に関心のあるユーザのために、その製品の製造元または競合製品の製造元は、自社製品に関する特徴を備えた広告を表示したい場合がある。更に、特定の製品を購入することを望むユーザのために、対象の製品を提供している店舗は、クーポンまたは今後の販売に関する情報をユーザに提供したい場合がある。
実装例では、ユーザの行動、意見、購入への関心など、マーケティングおよび顧客関係管理に有用な情報を含むソーシャルメディア投稿またはマイクロブログ投稿を、深層学習方法を用いて特定してもよい。更に、深層学習方法を用いて識別されたソーシャルメディア投稿を使用して、ソーシャルメディア投稿に執筆または投稿しているユーザに関連付けられた、AIDAモデルステージに関連付けられたプロセスステージを自動的に識別してもよい。いくつかの実装例では、「アクション」(例えば、「A」)ステージは、「購入した」または「購入している」(例えば、「B」)として識別されてもよい。加えて、いくつかの実装例では、モデル化されたステージは、「不満」または「U」を含んでもよい(例えば、ソーシャルメディア投稿は、否定的なセンチメントの指標、すなわち製品に対するユーザの不満として分類されてもよい)。更に、いくつかの実装例では、購入意思決定プロセスステージモデルは、購入決定プロセスステージに関連しないソーシャルメディア投稿を分類するために使用される、オープンクラスの分類(例えば、人工クラス、「N」または「購入決定ステージではない」)を含んでいてもよい。したがって、いくつかの実装例では、購入意思決定プロセスステージモデルは、AIDBUN(例えば、意識、関心、欲求、購入した、不満、購入意思決定ステージではない)モデルと見なされてもよい。
図1は、本出願の実装例で使用可能なソーシャルメディア環境100を示す。いくつかの実装例では、ソーシャルメディア環境はマイクロブログソーシャルメディア環境であってもよい。例えば、限定はしないが、マイクロブログは、Twitter(登録商標)、Tumblr、Tout、Tencnet Weiboまたは当業者に明らかであろう他のマイクロブログプラットフォームを含んでもよい。しかし、ソーシャルメディア環境100の実装例は、マイクロブログに限定されず、任意のソーシャルメディア環境となり得る。図示したソーシャルメディア環境100は、例えばネットワーク105を介して(例えば有線および/または無線接続によって)互いに通信可能に接続された、複数のデバイス110〜135を含む。
デバイス110〜135は、限定されるものではないが、コンピュータ115(例えば、ラップトップコンピューティングデバイス)、モバイルデバイス110、130(例えば、スマートフォンまたはタブレット)、テレビ125、車両に関連付けられたデバイス120、ウェアラブルデバイス133(スマートウォッチなど)、およびサーバコンピュータ135を含んでいてもよい。デバイス110〜135は、図9で以下に示すようなコンピューティング環境を有していてもよい。
いくつかの実装例では、1つ以上のデバイス110〜135をユーザに関連付けてもよい(例えば、デバイス110は、ユーザ150がソーシャルメディア投稿140を下書き、編集、アップロード、および伝送するために使用されてもよい)。例えば、ユーザ150に関連付けられたデバイス110は、ソーシャルメディア投稿140をソーシャルメディア環境100に伝送し、ネットワーク105を介して他のそれぞれのユーザに関連付けられた他のデバイス115〜135に受信されてもよい。更に、他の各デバイス115〜135をオプションで(破線で示す)使用して、ソーシャルメディア投稿140に応答145を送信してもよい。本アプリケーションの実装例では、少なくとも1つのデバイス135は、ユーザ150によるソーシャルメディア投稿140を分析して、製品への言及を検出し、検出された言及に基づき、以下の図2〜図5で後述するプロセスを使用して、ユーザが購入意思決定プロセス(例えば、AIDAまたはAIDBUNでモデル化されたプロセス)のどこにいる可能性があるかを判定してもよい。この分析および判定は、デバイス135に接続、関連付け、または統合されたプロセッサ155によって行われてもよい。
更に、ユーザ150が購入意思決定プロセスのどこにいる可能性があるかの判定に基づいて、プロセッサ155は、デバイス135に、ユーザの意思決定プロセスステージに合わせた製品に関する追加情報175を、ユーザ150に直接送信させる。例えば、追加情報175は、ユーザが「意識」または「関心」のステージにいる時の製品の新機能または消費者レビューに関する情報、およびユーザが「欲求」または「アクション」のステージのいる時の今後の販売、値引き、または払い戻しに関する情報を含むことができる。購入意思決定プロセスの検出されたステージに基づいてユーザに送信される他の情報は、当業者には明らかであろう。
更に、いくつかの実装例では、プロセッサ155は、デバイス135を、別のソーシャルメディアネットワークまたはデータベース165と最初に通信させて、ユーザ150に関する情報170を検出させてもよい。例えば、ユーザ150が製品を購入する可能性が高いという判定に基づいて、デバイス135は、他のソーシャルメディアネットワークまたはデータベース(例えば、フェイスブック、インスタグラムなど)をユーザ150の他のソーシャルメディアアカウントについて検索してもよい。更に、他のソーシャルメディアアカウントを使用して、デバイス135は、ユーザ150に関連付けられた年齢、地理的位置、関心、趣味などの情報170を検出してもよい。検出された情報170に基づいて、プロセッサ155は、デバイス135を制御して、製品についてユーザ150に送信される追加情報175をユーザ150に特に合わせてもよい。例えば、追加情報175は、ユーザ150の年齢および他の人口統計に合わせた製品の広告を含むことができる。追加情報175はまた、ユーザ150の趣味に合わせた新機能または消費者レビューに関する情報を含むことができる。同様に、追加情報175は、ユーザ150の地理的領域における今後の販売、値引き、または払い戻しに関する情報を含むことができる。
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである1人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた(例えば、遅延した)顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。
図2は、本出願の実装例による、ユーザの識別された決定購入ステージに基づいて、ユーザにターゲットを設定するプロセス(プログラム)200のフローチャートを示す。図示したプロセス200は、デバイス(デバイス135など)のプロセッサ(プロセッサ155など)によって行われて、ユーザに焦点を合わせた製品情報を提供してもよい。プロセス200では、特定の製品を示すデータを含む複数のソーシャルメディア投稿が205で検出される。データは、製品の名称またはメーカーまたはモデル、または製品への一般的な言及など、製品を説明または言及するテキストまたはオーディオであってもよい。データは、製品のメーカーまたはモデルの画像またはビデオであってもよい。特定のソーシャルメディアソースまたはネットワークへのソーシャルメディア投稿をすべて分析することによって、205でデータを検出することができる。データは、一般的に製品、特定のタイプの製品(カメラ、携帯電話、自動車など)、または特定の製造元に専用のソーシャルメディアソースまたはネットワークのグループまたはサブグループに焦点を当てることによって、205で検出することもできる。グループ分けおよびサブグループ分けは、上記に限定されず、他のグループ分けを採用してもよい。
ソーシャルメディア投稿を収集した後、オプションで、以下でより詳細に説明されるサブプロセス300のようなサブプロセスを使用して、収集したソーシャルメディア投稿を210で前処理してもよい。
更に、215で、各ソーシャルメディア投稿に関連付けられた生成された表現に基づいて、各ソーシャルメディア投稿に関連付けられた購入決定ステージ(例えば、AIDBUNモデルのステージなど)を識別してもよい。表現は、各ソーシャルメディア投稿から抽出されたコンテンツ特徴に基づいて生成されてもよい。コンテンツ特徴の抽出、表現の生成、および購入決定プロセスステージの識別は、図4および図5のサブプロセス400および500に関して以下により詳細に論じられる。
220では、購入ステージ分類(例えば、AIDBUNモデルステージ)に基づいて、ソーシャルメディアアカウントの作成者または所有者など、複数の検出された投稿に関連付けられたユーザに、製品に関するターゲット情報を伝送してもよい。例えば、複数のソーシャルメディア投稿が「欲求」のステージに関連付けられていると識別された場合、今後の販売のクーポンまたは通知をユーザに送信して購入を促してもよい。あるいは、複数のソーシャルメディア投稿が「意識」または「関心」のステージに関連付けられていると識別された場合、製品のレビューまたは製品の特徴情報を送信して「欲求」を促してもよい。
追加情報は、ウェブブラウザのポップアップ、電子メール、インスタントメッセージ、ソーシャルメディアメッセージ、または当業者には明らかであろうソーシャルメディアアカウントのユーザに情報を伝送するための任意の他のメカニズムを含む、様々な方法で伝送してもよい。ターゲット情報を伝送した後、プロセス200は終了してもよい。
図3は、本出願の実装例によるソーシャルメディア投稿を前処理するサブプロセス(プログラム)300のフローチャートを示す。図示したプロセス300は、デバイス(デバイス135など)のプロセッサ(プロセッサ155など)によって行われて、収集したソーシャルメディア投稿を前処理してもよい。サブプロセス300は、図2のプロセス200のような、ユーザの決定購入ステージを識別するプロセスの一部として使用されてもよい。サブプロセス300では、ソーシャルメディア投稿を最初にフィルタリングして、305でスパム関連の投稿を識別し、除去してもよい。305におけるスパムフィルタリングは、以前にスパムコンテンツとして識別されたテキストまたは他のコンテンツ(例えば、以前のスパム投稿で以前に識別された言語または画像)を含む投稿を識別するステップを含んでいてもよい。305におけるスパムフィルタリングは、既知のマーケティング会社に関連付けられている、または以前に「スパム」キャンペーンにリンクされているソーシャルメディアアカウントなど、「スパム」ソースとして識別されたユーザ名を調べるステップを含んでいてもよい。「スパム」を表すソーシャルメディア投稿を識別する他の方法は、当業者には明らかであろう。「スパム」として識別された投稿は、更なる分析から取り除かれてもよい。
「スパム」投稿をフィルタリングした後、ソーシャルメディア投稿をクリーニングして、310における後続の分析のために標準化してもよい。いくつかの実装例では、スクリプト(例えば、twokenize https://github.com/myleott/ark‐twokenize‐py、nltk.tokenizeのTweetTokenizerなどの一般に入手可能なスクリプト)を使用してトークン化し、URLを特別なトークンに置き換えたり、伸長された単語を正規化したり(例えば、「I loooooove this product soooo much」を「I love this product so much」に変換する)など、他の基本的なクリーニングステップを行ってもよい。いくつかの実装例では、このクリーニングは、ユーザまたはサービスプロバイダによって手動で行われてもよい。ソーシャルメディア投稿が前処理されると、残りのソーシャルメディア投稿は315の表現生成モデルに供給されてもよく、315では下記のように表現を生成するためのサブプロセスが行われ、サブプロセス300は終了する。
図4は、実装例に従って複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ(例えば、AIDBUNモデルのステージ)を識別するためのサブプロセス(プログラム)400を示す。図示したプロセス400は、デバイス(デバイス135など)のプロセッサ(プロセッサ155など)によって行われて、複数の収集されたソーシャルメディア投稿の購入決定ステージの識別を提供してもよい。いくつかの実装例では、複数のソーシャルメディア投稿のすべてが同じユーザに関連付けられてもよい。更に、いくつかの実装例では、サブプロセス400は、図2のプロセス200のような、ユーザの識別された決定購入ステージに基づいて情報をユーザに向けるプロセスの一部として使用してもよい。
プロセス400では、405において、各ソーシャルメディア投稿からコンテンツ特徴が抽出される。コンテンツ特徴の抽出は、特に限定されず、ビジュアルコンテンツを識別するために、ソーシャルメディア投稿に関連付けられた画像またはビデオに物体認識技術(例えば、物体認識、顔認識、文字認識など)を適用するステップを含んでいてもよい。加えて、ソーシャルメディア投稿に関連付けられたオーディオコンテンツを検出するために、オーディオ認識技術(例えば、オーディオイベント検出、オーディオ特性分類、音声認識など)を使用してもよい。加えて、主題認識アルゴリズムを使用して、テキストコンテンツの主題またはトピックを検出してもよい。また、抽出されたコンテンツ特徴は、キャプチャまたは著者の位置(例えば、GPSデータなど)または当業者には明らかであろう他のコンテンツ特徴など、コンテンツに関する他のタイプの特徴を含んでいてもよい。抽出されたすべてのコンテンツ特徴は、一連の単語(例えば、各ソーシャルメディア投稿のテキスト記述)に関連付けられていてもよい。
410において、各ソーシャルメディア投稿の表現は、各ソーシャルメディア投稿の抽出されたコンテンツ特徴またはテキスト記述に基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴に関連付けられた各単語は、対応する単語埋め込みによって表される。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル(WORD2VECなど)は、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えば、TheanoまたはTensorFlowなどの深層学習ツール)を使用して新しいデータに適合させてもよい。
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
いくつかの異なるモデルを使用して、各ソーシャルメディア投稿の表現(例えば、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた一連の単語)をコンピュータ処理してもよい。いくつかの異なるモデルオプションを以下に論じ、図7に示す。
使用されるモデルの一例は、非ニューラルネットワークモデルのための3グラムのbag−of−wordベクトルであってもよい。この例示的なモデルでは、ソーシャルメディア投稿の埋め込みによって与えられる語彙を使用して、非ニューラルモデル(例えば、サポートベクトルマシン(SVM)およびロジスティックリカレント(LR)、bag−of−word(BOW)ベクトル)をコンピュータ処理してもよい。例えば、1グラム、2グラム、3グラムの入力投稿が挙げられる。
別の例示的なモデルは、単語埋め込みモデルの平均であってもよい。これは、ソーシャルメディア投稿表現を作成するための最も単純なモデルと考えられる。このモデルでは、ソーシャルメディア投稿表現は、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた個々の単語埋め込みを平均化することによって作成される。
別の例示的なモデルは、単語埋め込みモデルの畳み込みであってもよい。このモデルでは、畳み込みニューラルネットワークを使用して、ソーシャルメディア表現タスクを行ってもよい。これは、ソーシャルメディア投稿のコンテンツ特徴に関連付けられた組み合わされた単語に対して、1つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。その後、プーリングを適用して、最も関連性の高いスコアを抽出し、各ソーシャルメディア投稿の固定長の文表現を得てもよい。いくつかの実装例では、プーリングは、k=3のk−maxプーリングであってもよい。
使用され得る別の例示的なモデルは、単語埋め込みモデルのリカレントネットワークである。このモデルでは、リカレントニューラルネットワークをソーシャルメディア表現タスクに使用してもよい。いくつかの実装例では、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク(GRU)を適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層と後方最初の隠れ層(例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する2つの隠れ層)の連結であってもよい。いくつかの実装例では、GRUが長期の短期記憶として有効であり、より効率的に訓練することができることから、GRUを使用してもよい。
他の実装例では、単方向ゲートリカレントニューラルネットワーク(GRU)を、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層(例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する隠れ層)であってもよい。
これらのモデルに加えて、注目重み付け係数を上記モデルと共に使用して、関連する入力単語または表現に焦点を合わせてもよい。具体的には、モデルが最も関連性の高い入力単語に集中することができるように、注目重み付け係数を使用してネットワークの隠れ層に重みを付けてもよい。入力xに対して、ソフトマックス層を用いて注目重みαを計算する。
(式1)
ここで、Vは、ランダムに初期化され、かつ訓練中に学習した、モデルのパラメータである。
いくつかの実装例では、各隠れ層(前方および後方の隠れ層の連結)に対して重み付け係数を計算し、すべての隠れ層の加重和をソーシャルメディア表現として使用してもよい。上記の式1(式1)を使用して重みを計算する。したがって、xはi番目の隠れ層である。
注目重み付け係数をCNNで使用する場合、プーリング操作を注目重み付けレイヤに置き換えることができ、畳み込み操作の結果は行列に格納される。行列の列iは、異なる畳み込みフィルタを文のi番目のnグラムに適用した結果を格納する。したがって、行の数は畳み込みフィルタの数に等しい。各列iに対して、重みaは、式1に基づいて計算してもよい。したがって、xは列iの値である。次に、重みを使用して、畳み込み結果の加重和を計算する。
注目重み付け係数をGRUと共に使用する場合、各隠れ層(前方および後方の隠れ層の連結)に対して重み付け係数を計算し、すべての隠れ層の加重和を投稿表現として使用してもよい。式1を使用して重みを再計算する。したがって、xはi番目の隠れ層である。
415で、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ(例えば、AIDBUNモデルのクラス)が識別される。415では、いくつかの異なる識別モデルを使用してもよい。モデルの実装例を以下の図8に示す。
いくつかの実装例では、各ソーシャルメディア投稿のクラス(例えば、ステージ)は、個別に各ソーシャルメディア投稿に基づいて決定されてもよい。例えば、サポートベクトルマシン(SVM)、ロジスティック回帰クラシファイア(LR)、または隠れ層(MLP)を有するフィードフォワードモデルは、各ソーシャルメディア投稿表現に個別に適用されてもよく、各ソーシャルメディア投稿表現は、AIDBUNクラスの1つに分類されてもよい。これらの実装例では、モデルはすべてのソーシャルメディア投稿を個別に扱い、複数のソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて(例えば、ソーシャルメディア投稿は時系列順に並べられてもよい)、決定購入プロセスにおけるユーザの現在のステージを判定し、またそのステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
他の実装例では、複数のソーシャルメディア投稿は、415で分類される前に時間系列に編成されてもよく、分類は、シーケンスモデルに時間系列を供給することによって行われてもよい。例えば、単方向リカレントニューラルネットワーク(GRU)を使用して、複数のソーシャルメディア投稿の分類を行ってもよい。単方向リカレントニューラルネットワークを、単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワークがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい(例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など)。これらの訓練済のパターンに基づいて、単方向GRUは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける1つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた分類または表現に基づいて、各ソーシャルメディア投稿をAIDBUNクラスの1つに分類してもよい。
更に他の実装例では、双方向リカレントニューラルネットワーク(GRU)は、ソーシャルメディア投稿のシーケンスにおける時系列的に前および時系列的に後の両方のソーシャルメディア投稿からの情報を使用することによって、ネットワークが入手できる情報を富化するために使用され、各ソーシャルメディア投稿をAIDBUNクラスの1つに分類してもよい。換言すれば、所与のソーシャルメディア投稿(例えば、「中間の投稿」)について、双方向GRUでは、前の投稿がどのように分類または表現されたか、および後の投稿がどのように分類または表現されているかを調べてもよい。双方向GRUは、前の投稿および後の投稿の両方の分類または表現に基づいて、所与のソーシャルメディア投稿(例えば、「中間の投稿」)を前の投稿と後の投稿との間で論理的に発生し得るクラスに分類してもよい。例えば、前の投稿が「意識」または「関心がある」と分類され、後の投稿が「望んでいる」と分類される場合、中間の投稿は「関心がある」または「望んでいる」と分類され得るが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」と分類されることは考えにくい。
いくつかの実装例では、使用される複数のソーシャルメディア投稿の収集は、自然に不均衡になることがある。例えば、より多くの投稿が、「購入した」クラスに関する可能性があるよりも「欲求」または「関心」のクラスに関する可能性があり、また、相当量の投稿が「購入決定ステージではない」クラスに関する可能性がある。加えて、多くの投稿が、AIDBUクラスよりも「N」クラスである。
いくつかの実装例では、不均衡なデータを補償するために、(ソフトマックス出力層と組み合わせた)クロスエントロピー損失および/またはランキング損失(ランキング出力層)のクラス重みを使用してもよい。
例えば、言及が非人工AIDBUクラスである場合、モデルの誤差は、誤分類コストw>1によって重み付け(すなわち、乗算)されてもよい。したがって、モデルは、偽陽性の場合よりも偽陰性についてより多くのペナルティを科される可能性がある。更に、いくつかの実装例では、偽陰性予測の後にパラメータの更新がより重要であるように、この重み付けを勾配降下と組み合わせてもよい。クラスiの重みwは、以下を用いクラス頻度fに基づいて計算してもよい。
=n/(c*f) (式2)
nはサンプルの総数であり、cはクラスの数である。その後、「N」クラスの重みが1になるように重みを正規化する。
更に、いくつかの実装例では、損失関数を使用してもよい。損失関数の実装例は、以下を含んでいてもよい。
(式3)
式中、sθ(x)y+は正しいクラスyのスコアであり、sθ(x)c+は最も競合するクラスcのスコアである。変数mおよびmはマージンである。関数は、正しいクラスに対してmより大きいスコアを与え、不正クラスに対してmより小さいスコアを与えることを目的とする。スケーリング係数γは、分類誤差にペナルティを科すのに役立つ。いくつかの実装例では、mは2.5であってもよく、mは0.5であってもよく、γは開発セット上で調整されてもよい。この損失関数は、特定のパターンを学習することが不可能な(本明細書で論じる「N」クラスのような)人工クラスに適している可能性がある。例えば、y=Nの場合、第2被加数のみが評価され得る。試験中に、他のすべてのクラスのスコアが負である場合にのみ、「N」を予測してもよい。これにより、モデルが非人工クラスに焦点を当てることを可能にしてもよく、損失関数は、「AIDBU」クラスと「N」クラスとの間で不均衡なデータを補ってもよい。
415で複数のソーシャルメディア投稿を分類した後、サブプロセス400は終了してもよい。サブプロセス400が、図2のプロセス200のような、ユーザの決定購入ステージを識別するプロセスの一部として行われている場合、プロセス200を上記のように継続してもよい。
図5は、実装例に従って、購入決定ステージ(例えば、AIDBUNモデルステージ)における複数のソーシャルメディア投稿を識別するための、サブプロセス(プログラム)500を示す。図示したプロセス500は、デバイス(デバイス135など)のプロセッサ(プロセッサ155など)によって行われ、購入決定プロセスステージを識別する。サブプロセス500のいくつかの態様は、上記のサブプロセス400の態様と同様であってもよい。このサブプロセスの実装例では、マルチタスク学習を使用して、追加のデータを使用してより堅牢にネットワークパラメータを訓練してもよい。例えば、センチメントデータ、および関連性分類データを使用して、各ソーシャルメディア投稿に関連付けられた決定購入ステージを判定してもよい。いくつかの実装例では、複数のソーシャルメディア投稿のすべてが同じユーザに関連付けられてもよい。更に、いくつかの実装例では、サブプロセス500は、図2のプロセス200のような、ユーザの識別された決定購入ステージに基づいて情報をユーザに向けるプロセスの一部として使用されてもよい。
プロセス500では、505において、各ソーシャルメディア投稿からコンテンツ特徴が抽出される。コンテンツ特徴の抽出は、特に限定されず、ビジュアルコンテンツを識別するために、ソーシャルメディア投稿に関連付けられた画像またはビデオに物体認識技術(例えば、物体認識、顔認識、文字認識など)を適用するステップを含んでいてもよい。加えて、ソーシャルメディア投稿に関連付けられたオーディオコンテンツを検出するために、オーディオ認識技術(例えば、オーディオイベント検出、オーディオ特性分類、音声認識など)を使用してもよい。加えて、主題認識アルゴリズムを使用して、テキストコンテンツの主題またはトピックを検出してもよい。また、抽出されたコンテンツ特徴は、キャプチャまたは著者の位置(例えば、GPSデータなど)または当業者には明らかであろう他のコンテンツ特徴など、コンテンツに関する他のタイプの特徴を含んでいてもよい。抽出されたすべてのコンテンツ特徴は、一連の単語(例えば、各ソーシャルメディア投稿のテキスト記述)に関連付けられていてもよい。510において、各ソーシャルメディア投稿のAIDBUN表現は、抽出されたコンテンツ特徴に基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴に関連付けられた各単語は、対応する単語埋め込みによって表される。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル(WORD2VECなど)は、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えば、TheanoまたはTensorFlowなどの深層学習ツール)を使用して新しいデータに適合させてもよい。
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
いくつかの異なるモデルを使用して、各ソーシャルメディア投稿の表現(例えば、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた一連の単語)をコンピュータ処理してもよい。いくつかの異なるモデルオプションを以下に論じ、図7に示す。
使用されるモデルの一例は、非ニューラルネットワークモデルのための3グラムのbag−of−wordベクトルであってもよい。この例示的なモデルでは、ソーシャルメディア投稿の埋め込みによって与えられる語彙を使用して、非ニューラルモデル(例えば、サポートベクトルマシン(SVM)およびロジスティックリカレント(LR)、bag−of−word(BOW)ベクトル)をコンピュータ処理してもよい。例えば、1グラム、2グラム、3グラムの入力投稿が挙げられる。
別の例示的なモデルは、単語埋め込みモデルの平均であってもよい。これは、ソーシャルメディア投稿表現を作成するための最も単純なモデルと考えられる。このモデルでは、ソーシャルメディア投稿表現は、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた個々の単語埋め込みを平均化することによって作成される。
別の例示的なモデルは、単語埋め込みモデルの畳み込みであってもよい。このモデルでは、畳み込みニューラルネットワークを使用して、ソーシャルメディア表現タスクを行ってもよい。これは、ソーシャルメディア投稿のコンテンツ特徴に関連付けられた組み合わされた単語に対して、1つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。その後、プーリングを適用して、最も関連性の高いスコアを抽出し、各ソーシャルメディア投稿の固定長の文表現を得てもよい。いくつかの実装例では、プーリングは、k=3のk−maxプーリングであってもよい。
使用され得る別の例示的なモデルは、単語埋め込みモデルのリカレントネットワークである。このモデルでは、リカレントニューラルネットワークをソーシャルメディア表現タスクに使用してもよい。いくつかの実装例では、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク(GRU)を適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層と後方最初の隠れ層(例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する2つの隠れ層)の連結であってもよい。いくつかの実装例では、GRUが長期の短期記憶として有効であり、より効率的に訓練することができることから、GRUを使用してもよい。
これらのモデルに加えて、注目重み付け係数を上記モデルと共に使用して、関連する入力単語または表現に焦点を合わせてもよい。具体的には、モデルが最も関連性の高い入力単語に集中することができるように、注目重み付け係数を使用してネットワークの隠れ層に重みを付けてもよい。入力xに対して、ソフトマックス層を用いて注目重みαを計算する。
(式1)
ここで、Vは、ランダムに初期化され、かつ訓練中に学習した、モデルのパラメータである。
いくつかの実装例では、各隠れ層(前方および後方の隠れ層の連結)に対して重み付け係数を計算し、すべての隠れ層の加重和をソーシャルメディア表現として使用してもよい。上記の式1(式1)を使用して重みを計算する。したがって、xはi番目の隠れ層である。
注目重み付け係数をCNNで使用する場合、プーリング操作を注目重み付けレイヤに置き換えることができ、畳み込み操作の結果は行列に格納される。行列の列iは、異なる畳み込みフィルタを文のi番目のnグラムに適用した結果を格納する。したがって、行の数は畳み込みフィルタの数に等しい。各列iに対して、重みaは、式1に基づいて計算してもよい。したがって、xは列iの値である。次に、重みを使用して、畳み込み結果の加重和を計算する。
注目重み付け係数をGRUと共に使用する場合、各隠れ層(前方および後方の隠れ層の連結)に対して重み付け係数を計算し、すべての隠れ層の加重和を投稿表現として使用してもよい。式1を使用して重みを再計算する。したがって、xはi番目の隠れ層である。
更に、515において、センチメント特有のデータセットを使用して訓練したニューラルネットワーク上のセンチメントモデルを使用して、抽出されたコンテンツ特徴に基づいて、各ソーシャルメディア投稿の別個のセンチメント表現を生成してもよい。例えば、いくつかの実装例では、ソーシャルメディアベースのセンチメントデータセット(SemEval 2016センチメント分析共有タスク訓練および開発セットなど)を使用してもよい。センチメントモデルは、各ソーシャルメディア投稿にセンチメント(例えば、ポジティブ、ネガティブ、またはニュートラル)を割り当てて、各ソーシャルメディア投稿のセンチメント表現を生成してもよい。図5では、510におけるAIDBUNモデル表現の生成の後に示されているが、センチメント表現の生成は、AIDBUNモデル表現の生成と並行して、またはそれより前に行われてもよい。
更に、520において、関連性特有のデータセットを使用して訓練したニューラルネットワーク上の関連性モデルを使用して、抽出されたコンテンツ特徴に基づいて、各ソーシャルメディア投稿の別個の関連性表現を生成してもよい。例えば、いくつかの実装例では、ソーシャルメディアベースの関連性データセット(Sakaki、Chen、Korpusik、Chen.Corpus for Customer Purchase Behavior Prediction in Social Media.LREC 2016のデータ)を使用してもよい。関連性モデルは、各ソーシャルメディア投稿が購入予測に関連するかどうかを判定してもよい。図5では、510におけるAIDBUNモデル表現の生成の後に示されているが、関連性表現の生成は、AIDBUNモデル表現の生成と並行して、またはそれより前に行われてもよい。
525では、各ソーシャルメディア投稿の表現(AIDBUN表現、センチメント表現、および関連性表現)が生成された後、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ(例えば、AIDBUNモデルのクラス)が識別される。525では、いくつかの異なる分類子モデルを使用してもよい。分類子モデルの実装例を以下の図8に示す。
いくつかの実装例では、各ソーシャルメディア投稿のクラス(例えば、ステージ)は、個別に各ソーシャルメディア投稿に基づいて決定されてもよい。例えば、サポートベクトルマシン(SVM)、ロジスティック回帰分類子(LR)、またはフィードフォワード隠れ層(MLP)は、各ソーシャルメディア投稿表現に個別に適用されてもよく、各ソーシャルメディア投稿表現は、AIDBUNクラスの1つに分類されてもよい。これらの実装例では、モデルはすべてのソーシャルメディア投稿を個別に扱い、複数のソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて(例えば、ソーシャルメディア投稿は時系列順に並べることができる)、決定購入プロセスにおけるユーザの現在のステージを判定し、またそのステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
他の実装例では、複数のソーシャルメディア投稿は、525で分類される前に時間系列に編成されてもよく、分類は、シーケンスモデルに時間系列を供給することによって行われてもよい。例えば、単方向リカレントニューラルネットワーク(GRU)を使用して、複数のソーシャルメディア投稿の分類を行ってもよい。単方向リカレントニューラルネットワークを、単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワークがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい(例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など)。これらの訓練済のパターンに基づいて、単方向GRUは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける1つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた分類または表現に基づいて、各ソーシャルメディア投稿をAIDBUNクラスの1つに分類してもよい。
更に他の実装例では、双方向リカレントニューラルネットワーク(GRU)は、ソーシャルメディア投稿のシーケンスにおける時系列的に前および時系列的に後の両方のソーシャルメディア投稿からの情報を使用することによって、ネットワークが入手できる情報を富化するために使用され、各ソーシャルメディア投稿をAIDBUNクラスの1つに分類してもよい。換言すれば、所与のソーシャルメディア投稿(例えば、「中間の投稿」)について、双方向GRUでは、前の投稿がどのように分類または表現されたか、および後の投稿がどのように分類または表現されているかを調べてもよい。双方向GRUは、前の投稿および後の投稿の両方の分類または表現に基づいて、所与のソーシャルメディア投稿(例えば、「中間の投稿」)を前の投稿と後の投稿との間で論理的に発生し得るクラスに分類してもよい。例えば、前の投稿が「意識」または「関心がある」と分類され、後の投稿が「望んでいる」と分類された場合、中間の投稿は「関心がある」または「望んでいる」と分類される可能性はあるが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」とは分類されない。
いくつかの実装例では、使用される複数のソーシャルメディア投稿の収集は、自然に不均衡になることがある。例えば、より多くの投稿が、「購入した」クラスに関する可能性があるよりも「欲求」または「関心」のクラスに関する可能性があり、また、相当量の投稿が「購入決定ステージではない」クラスに関する可能性がある。
いくつかの実装例では、不均衡なデータを補償するために、(ソフトマックス出力層と組み合わせた)クロスエントロピー損失および/またはランキング損失(ランキング出力層)のクラス重みを使用してもよい。
例えば、言及が非人工AIDBUクラスである場合、モデルの誤差は、誤分類コストw>1によって重み付け(すなわち、乗算)されてもよい。したがって、モデルは、偽陽性の場合よりも偽陰性についてより多くのペナルティを科される可能性がある。更に、いくつかの実装例では、偽陰性予測の後にパラメータの更新がより重要であるように、この重み付けを勾配降下と組み合わせてもよい。クラスiの重みwは、以下を用いクラス頻度fに基づいて計算してもよい。
=n/(c*f) (式2)
nはサンプルの総数であり、cはクラスの数である。その後、「N」クラスの重みが1になるように重みを正規化する。
更に、いくつかの実装例では、損失関数を使用してもよい。損失関数の実装例は、以下を含んでいてもよい。
(式3)
式中、sθ(x)y+は正しいクラスyのスコアであり、sθ(x)c+は最も競合するクラスcのスコアである。変数mおよびmはマージンである。関数は、正しいクラスに対してmより大きいスコアを与え、不正クラスに対してmより小さいスコアを与えることを目的とする。スケーリング係数γは、分類誤差にペナルティを科すのに役立つ。いくつかの実装例では、mは2.5であってもよく、mは0.5であってもよく、γは開発セット上で調整されてもよい。この損失関数は、特定のパターンを学習することが不可能な(本明細書で論じる「N」クラスのような)人工クラスに適している可能性がある。例えば、y=Nの場合、第2被加数のみが評価され得る。試験中に、他のすべてのクラスのスコアが負である場合にのみ、「N」を予測してもよい。これにより、モデルが非人工クラスに焦点を当てることを可能にしてもよく、損失関数は、「AIDBU」クラスと「N」クラスとの間で不均衡なデータを補ってもよい。
マルチタスク学習のために、センチメント分類のためのニューラルネットワークおよび関連性分類のためのニューラルネットワークは、図8に関して以下に説明するAIDBUN表現ネットワークの入力からのすべての層を共有してもよい。次に、ソーシャルメディア表現は、センチメントタスクおよび関連性タスクに特有の分類を行う、個々のセンチメントタスク特有のソフトマックス層および関連性タスク特有のソフトマックス層に供給されてもよい。いくつかの実装例では、センチメント分類および関連性特有の分類のためのニューラルネットワークの訓練の順序付けは、センチメントまたは関連性分類のために1バッチのデータで行われ、その後AIDBUNメインタスクのために2バッチのデータで行われてもよい。各ステップでは、第2のタスクがランダムに選択されてもよい。他の実装例では、第2のタスクは常に同じタスクであってもよい。
センチメントおよび関連性分類を組み合わせた分類を使用して、510で生成されたAIDBUN表現に基づいて判定されたAIDBUN分類を洗練させてもよい。
525で複数のソーシャルメディア投稿を分類した後、サブプロセス500は終了してもよい。サブプロセス500が、図2のプロセス200のような、ユーザの決定購入ステージを識別するプロセスの一部として行われている場合、プロセス200は上記のように継続してもよい。
図6は、実装例による、階層的ニューラルネットワークに基づく購入識別モデル600の概略図を示す。図示のように、モデルは、複数のソーシャルメディア投稿605a/605bを入力として有する。いくつかの実装例では、ソーシャルメディア投稿は、マイクロブログソーシャルメディア環境への投稿であってもよい。例えば、限定はしないが、マイクロブログは、Twitter(登録商標)、Tumblr、Tout、Tencnet Weiboまたは当業者に明らかであろう他のマイクロブログプラットフォームを含んでもよい。しかし、ソーシャルメディア投稿の実装例は、マイクロブログに限定されず、当業者には明らかであろう任意のタイプのソーシャルメディア投稿でもよい。
各ソーシャルメディア投稿605a、605bは、図4および図5に関して上述したように、抽出することができる複数の単語またはコンテンツ特徴610a/610b/610c/610dで構成されてもよい。図6にはコンテンツ特徴または単語が2つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が2より大きい数、抽出されてもよい。特徴埋め込み615a/615b/615c/615dは、各コンテンツ特徴610a/610b/610c/610dに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴610a/610b/610c/610dに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデルは、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えばword2vec)を使用して訓練されてもよい。いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
各投稿605a、605bに関連付けられた特徴埋め込み615a/615b/615c/615dは、投稿表現モデル620a/620bに適用されて、各ソーシャルメディア投稿のソーシャルメディア投稿表現625a/625bを生成してもよい。投稿表現モデル620a/620bの実装例が、以下の図7に示されている。
各ソーシャルメディア投稿のソーシャルメディア投稿表現625a/625bは、共有購入ステージモデル630に供給されてもよく、共有購入ステージモデル630は、受信した各ソーシャルメディア投稿表現625a/625bに基づいて、購入ステージ出力635a/635bを生成する。共有購入ステージモデル630の実装例が、以下の図8に示されている。
図7は、例示的な実施形態による、ソーシャルメディア投稿705a/705b/705cの表現を生成するために使用されてもよい、異なるモデル700a/700b/700cの概略図を示す。実装例は、これらのモデルに限定されず、他のモデルは当業者には明らかであろう。
モデル700aは、単語埋め込みモデルの平均として示されている。このモデルでは、各投稿705aは、コンテンツの単語または特徴710a/710bに分割される。コンテンツ特徴または単語が2つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が2より大きい数抽出されてもよい。特徴埋め込み705aは、各コンテンツ特徴または単語710a/710bに基づいて生成されてもよい。例えば、抽出されたコンテンツ特徴710a/710bに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル(WORD2VECなど)は、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えば、TheanoまたはTensorFlowなどの深層学習ツール)を使用して新しいデータに適合させてもよい。
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
投稿705aの各単語または特徴710a/710bについて埋め込み715aが生成されると、埋め込み715aを平均化関数720aに入力して、ソーシャルメディア投稿705aの個々の単語または特徴710a/710bの埋め込み715aを平均化することによって、ソーシャルメディア投稿表現725aを作成することができる。
モデル700bは、単語埋め込みモデルの畳み込みとして示されている。このモデルでは、各投稿705bはコンテンツの単語または特徴710c/710dに分割される。コンテンツ特徴または単語が2つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が2より大きい数抽出されてもよい。特徴埋め込み715bは、各コンテンツ特徴または単語710c/710dに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴710c/710dに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル(WORD2VECなど)は、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えば、TheanoまたはTensorFlowなどの深層学習ツール)を使用して新しいデータに適合させてもよい。
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
投稿705bの各単語または特徴710c/710dについて埋め込み715bが生成されると、埋め込み715bを畳み込みニューラルネットワーク720bに入力して、ソーシャルメディア投稿表現725bを作成することができる。これは、ソーシャルメディア投稿705bのコンテンツ特徴710c/710dに関連付けられた埋め込み715bに対して、1つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。加えて、いくつかの実装例では、注目(a)重み係数722aを使用して、関連する入力特徴710c/710dに焦点を当ててもよい。注目(a)重み係数の使用については、図4および図5に関して上記で詳しく述べられている。
モデル700cは、単語埋め込みモデルのリカレントネットワークとして示されている。このモデルでは、各投稿705cはコンテンツの単語または特徴710e/710fに分割される。コンテンツ特徴または単語が2つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が2つより大きい数抽出されてもよい。特徴埋め込み715cは、各コンテンツ特徴または単語710e/710fに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴710e/710fに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル(WORD2VECなど)は、単語コンテンツのコーパス(例えば、ニュースソース、ソーシャルメディアソースなど)に適用されている既存のツール(例えば、TheanoまたはTensorFlowなどの深層学習ツール)を使用して新しいデータに適合させてもよい。
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ(例えば、100,000語)に制限されていてもよい。
投稿705cの各単語または特徴710e/710fについて埋め込み715cが生成されると、埋め込み715cをリカレントニューラルネットワーク720cに入力して、ソーシャルメディア投稿表現725cを作成することができる。これは、ソーシャルメディア投稿705cのコンテンツ特徴710e/710fに関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク(GRU)を適用するステップを含んでいてもよい。最後のソーシャルメディア表現725cは、前方最後の隠れ層と後方最初の隠れ層(例えば、ソーシャルメディア投稿に関連付けられたすべての単語を参照する2つの隠れ層)の連結であってもよい。いくつかの実装例では、GRUは長期の短期記憶として有効であり、より効率的に訓練することができることから、GRUを使用してもよい。加えて、いくつかの実装例では、注目(a)重み係数722bを使用して、関連する入力特徴710e/710fに焦点を当てることができる。注目(a)重み係数の使用については、図4および図5に関して上記で詳しく述べられている。
図8は、実装例に従って、ソーシャルメディア投稿の表現805a/805b/805c/805d/805e/805f/805gに基づいて、ソーシャルメディア投稿を購入決定ステージへと識別するために使用されてもよい異なるモデル800a/800b/800cの概略図を示す。実装例は、これらのモデルに限定されず、他のモデルは当業者には明らかであろう。
モデル800aは、各ソーシャルメディア投稿に個別に基づいて各ソーシャルメディア投稿のクラスを識別することができるモデルとして示されている。このモデルの例は、サポートベクターマシン(SVM)、ロジスティック回帰分類子(LR)、またはフィードフォワード隠れ層(MLP)を含んでいてもよい。モデル800aにおいて、各ソーシャルメディア投稿表現805a/805bは、識別子810a(例えば、サポートベクトルマシン(SVM)、ロジスティック回帰クラシファイア(LR)、またはフィードフォワード隠しレイヤ(MLP))に個別に供給される。次に、識別子810aは、各投稿表現805a/805bを分析する。2つのコンテンツ投稿表現805a/805bのみが示されているが、いくつかの実装例では、2より大きい数の投稿表現805a/805bが識別子810aに供給されてもよい。
識別子810aは、各投稿表現805a/805bに個別に基づいて、AIDBUNクラス出力815aおよび815bを生成する。したがって、モデル800aは、すべてのソーシャルメディア投稿を個別に扱い、ソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて(例えば、ソーシャルメディア投稿は時系列順に並べることができる)、決定購入プロセスにおけるユーザの現在のステージを判定し、またいくつかの実装例においてステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
モデル800bは、前の投稿(例えば、805c/805d)からの情報を使用して、複数のソーシャルメディア投稿表現805c/805d/805eを時系列順に識別するために使用されて、後に発生する投稿(例えば、805d/805e)の識別を支援してもよい単方向リカレントニューラルネットワーク(GRU)として示されている。図示のように、複数のソーシャルメディア投稿表現805c/805d/805eは、表現805c/805d/805eを順に分析する、識別子810bに供給される。3つのコンテンツ投稿表現805c/805d/805eのみが示されているが、いくつかの実装例では、3より大きい数の投稿表現805c/805d/805eが識別子810bに供給されてもよい。モデル800bの単方向リカレントニューラルネットワークでは、識別子810bを単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワーク識別子810bがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい(例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など)。これらの訓練済のパターンに基づいて、単方向GRU識別子810bは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける1つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた表現に基づいて、表現805c/805d/805eの各々に関連付けられたAIDBUNクラスの1つを識別する、個別の出力815c/815d/815eを生成してもよい。
モデル800cは、ソーシャルメディア投稿のシーケンス内の時系列的に前および時系列的に後のソーシャルメディア投稿の両方からの情報を使用して、時系列順に複数のソーシャルメディア投稿表現805f/805g/805eに基づいて、購入ステージを識別する、双方向リカレントニューラルネットワーク(GRU)として示されている。図示のように、複数のソーシャルメディア投稿表現805f/805g/805hは、表現805f/805g/805hを順に分析する、識別子810cに供給される。3つのコンテンツ投稿表現805f/805g/805hのみが示されているが、いくつかの実装例では、3つの投稿表現805f/805g/805hより多い投稿表現が識別子810cに供給されてもよい。モデル800cの双方向リカレントニューラルネットワークにおいて、識別子810cは、所与のソーシャルメディア投稿(例えば、「中間の投稿」805g)について、少なくとも1つの前の投稿(805f)の表現がどのようであるか、および少なくとも1つの後の投稿(805g)の表現がどのように分類されているか(例えば識別された決定購入ステージ)を調べる。双方向GRU識別子810cは、前の投稿および後の投稿の両方に関連付けられて識別された購入ステージに基づいて、所与のソーシャルメディア投稿(例えば、「中間の投稿」)に関連付けられた購入ステージを、前の投稿805fと後の投稿805hの間で論理的に発生し得るステージとして、識別してもよい。例えば、前の投稿が「意識」または「関心がある」ステージに関連付けられ、後の投稿に関連付けられるステージが「望んでいる」と識別される場合、中間の投稿に関連付けられるステージは「関心がある」または「望んでいる」と識別される可能性はあるが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」とは識別されない。識別子810cの識別は、各表現805f/805g/805hに基づいて、別個の出力815f/815g/815hとして出力してもよい。
実装例の評価
評価データセット
3つのモバイルデバイス(例えば電話、タブレット、スマートウォッチ)のうちの1つを挙げたユーザのマイクロブログ投稿を収集して、スパムを事前にフィルタリングした(図3参照)。フィルタリングの後、評価に使用するために3000人のユーザをランダムに選出し、マイクロブログ記事に2人の注釈者によってAIDBUNモデルのための注釈を付けた。注釈プロセスをスピードアップするために、ユーザのマイクロブログ投稿を分類して、「N」である確率が非常に高いものを識別し、注釈者がそれらにラベルを付ける必要がないようにした。クラス分布は、A=0.23%、I=0.65%、D=1.11%、B=0.90%、U=0.50%およびN=96.61%であると判定された。加えて、Aラベルは非常に少なかったため、AラベルをNラベルにマッピングし、モデルはAラベルを識別するように訓練しなかった。
評価中、モデルへの入力は、ユーザに関連付けられた時間順のマイクロブログ投稿シーケンスであった。各マイクロブログ投稿を前処理して、単語の伸長および矛盾したトークン化のようなマイクロブログ特有のノイズを除去した(例えば、図3で説明したようにクリーニングした)。
評価実験
以下の表1は、コンテキスト関連付けを使用した、および使用しなかったニューラルおよび非ニューラルマイクロブログ表現およびマイクロブログモデルを示す。加えて、異なる損失関数を比較した。
図示のように、クラス重みを追加するとSVMモデルに有用となり得る一方で、損失関数としてランキングを使用すると、クラス重みよりもニューラルモデルに役立つ可能性があることが観察された。加えて、試験セットでは単方向GRUが双方向GRUより優れていることが観察される。更に、双方向GRUは、前方ならびに後方を調べることができるより強力なモデルであり得るが、訓練するためにより多くのパラメータも必要とする。しかし、より多くの訓練データを用いれば、いくつかの実装例において双方向GRUは単方向GRUより優れている場合がある。加えて、ニューラルモデルはSVMより優れている場合がある。更に、双方向GRU+注目モデルは、注目のない双方向GRUモデルより優れている場合があることが観察された。
以下の表2は、上記両方のニューラルマイクロブログ表現モデルにおけるマルチタスク学習の結果を示す。ここでもまた、双方向GRU投稿シーケンスモデルを使用し、訓練中の第2のタスクとしてセンチメント分析、関連性分類、またはその両方を追加した。マクロF1スコアに加えて、クラスごとのF1スコアも評価し、マルチタスク学習によってどのクラスが最も改善されるかを調べた。図示のように、センチメント分析は主に「U」クラスに役立つ可能性があり、「U」クラスは、否定的なセンチメントを伴う唯一のクラスであるためこれは妥当である。加えて、関連性分類は、データが最も少ない2つのクラスである「I」と「U」を特に改善する可能性がある。
マルチタスク学習はパフォーマンスを向上させる場合があるが、第2のタスクとしてセンチメント分析および関連性分類の両方を使用しても、更なる改善にはつながらなかった。この原因として、各バッチについて、第2のタスクのうち両方ではなく1つが使用されるため(センチメント分析または関連性分析がランダムに選択された)、異なるタスクの十分な例をネットワークが参照しないことがある。
以下の表3は、単方向GRUシーケンスモデルを用いたCNN投稿表現の混同行列を示す。クラスの不均衡に起因する可能性が高い「N」クラスの混同を別にして、モデルは主に「I」および「D」、または「D」および「B」のような隣接するラベルを混同する。合計で、混同の90%以上が「N」クラスを含む。これは、モデルが購入ステージを区別する上で合理的に優れている可能性があり、また主な困難はクラスの不均衡である可能性があることを示し得る。
表3:CNN投稿表現および単方向GRUシーケンスモデルの試験セットにおける混同行列
上記の評価では、モバイル製品に関する投稿を使用してモデルを訓練した。別の製品カテゴリに対するモデルの適用性を調べるために、自動車についての投稿の小さいセットも収集した。マイクロブログのユーザは製品固有の用語を使用することが多いため(例えば、ユーザは「XXを運転するまでは止まらない」で欲求を表す)、訓練済モデルを新しい製品カテゴリに適応させるとドメイン適応の問題が生じる場合がある。評価のために、自動車への投稿を訓練セットと試験セットに分け、自動車の訓練セットのみで新しいモデルを訓練する場合と、以前のモデルを自動車のドメインで再訓練する場合の、様々なパフォーマンスを調査した。
下記の表4は、自動車への投稿を調査した結果を示す。ニューラルネットワークの場合、自動車の訓練セットでモデルを再訓練すると、大差で最良のパフォーマンスが得られる可能性がある。この設定では、双方向GRUシーケンスモデルが単方向GRUより優れている可能性がある。また、再訓練されたニューラルネットワークは、明らかにSVMより優れている可能性がある。これらの所見は、ニューラルネットワークが、購入ステージを示す信号を捕捉することができ、より多くの訓練データを有する従来のモデルよりも優れている可能性があることを示し得る。
コンピューティング環境の例
図9は、いくつかの実装例の使用に適した例示的なコンピューティングデバイス905を有する例示的なコンピューティング環境900を示す。コンピューティング環境900内のコンピューティングデバイス905は、1つ以上の処理ユニット、コア、またはプロセッサ910、メモリ915(例えば、RAM、ROMなど)、内部ストレージ920(例えば、磁気、光学、固体ストレージ、および/または有機ストレージ)、および/またはI/Oインターフェース925を含むことができ、これらのうちの任意のものは、通信機構またはバス930上で結合されて、情報を通信するか、またはコンピューティングデバイス905に埋め込むことができる。
コンピューティングデバイス905は、入力/ユーザインターフェース935および出力デバイス/インターフェース940に通信可能に結合することができる。入力/ユーザインターフェース935および出力デバイス/インターフェース940の一方または両方は、有線または無線インターフェースであってもよく、取り外し可能であってもよい。入力/ユーザインターフェース935は、入力(例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング/カーソル制御、マイクロホン、カメラ、点字、モーションセンサ、光学式リーダなど)を提供するために使用することができる任意のデバイス、コンポーネント、センサ、またはインターフェース、フィジカルまたはバーチャルを含んでいてもよい。出力デバイス/インターフェース940は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでいてもよい。いくつかの実装例では、入力/ユーザインターフェース935および出力デバイス/インターフェース940は、コンピューティングデバイス905に埋め込まれるか、または物理的に結合され得る。他の実装例では、他のコンピューティングデバイスは、コンピューティングデバイス905のための入力/ユーザインターフェース935および出力デバイス/インターフェース940として機能するか、または機能を提供することができる。
コンピューティングデバイス905の例には、限定されるものではないが、高度モバイルデバイス(例えば、スマートフォン、車両および他の機械のデバイス、人間および動物が携行するデバイスなど)、モバイルデバイス(例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど)、および携帯用に設計されていないデバイス (例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、1つ以上のプロセッサが埋め込まれたおよび/または結合されたテレビ、ラジオなど)が含まれてもよい。
コンピューティングデバイス905は、外部ストレージ945およびネットワーク950に(例えば、I/Oインターフェース925を介して)通信可能に結合され、同じ構成または異なる構成の1つ以上のコンピューティングデバイスを含む、任意の数のネットワークされたコンポーネント、デバイス、およびシステムと通信することができる。コンピューティングデバイス905または任意の接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、一般機械、特殊用途の機械、または別のラベルとして機能するか、サービスを提供するか、またはこれらとして参照することができる。
I/Oインターフェース925は、コンピューティング環境900内の少なくともすべての接続されたコンポーネント、デバイス、ネットワーク間で情報を通信するために、限定されるものではないが任意の通信またはI/Oプロトコルまたは規格(例えば、イーサネット(登録商標)、802.11x、ユニバーサルシステムバス、WiMAX、モデム、セルラネットワークプロトコルなど)を使用する有線および/または無線インターフェースを含むことができる。ネットワーク950は、任意のネットワークまたはネットワークの組み合わせ(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど)であり得る。
コンピューティングデバイス905は、一時的な媒体および非一時的な媒体を含むコンピュータ使用可能媒体またはコンピュータ可読媒体を使用および/または使用して通信することができる。一時的な媒体には、伝送媒体(例えば、金属ケーブル、光ファイバ)、信号、搬送波などが含まれる。非一時的な媒体には、磁気媒体(例えば、ディスクおよびテープ)、光媒体(例えば、CD‐ROM、デジタルビデオディスク、ブルーレイディスク)、固体媒体(例えば、RAM、ROM、フラッシュメモリ、固体ストレージ)、および他の不揮発性ストレージまたはメモリが含まれる。
コンピューティングデバイス905は、いくつかの例示的コンピューティング環境では、技法、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一時的な媒体から取り出して、非一時的な媒体に記憶し、非一時的な媒体から取り出すことができる。実行可能命令は、任意のプログラミング、スクリプティングおよび機械言語(例えば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)など)のうちの1つ以上に由来することができる。
プロセッサ910は、ネイティブ環境またはバーチャル環境において、任意のオペレーティングシステム(OS)(図示せず)の下で実行することができる。論理ユニット955、アプリケーションプログラミングインターフェース(API)ユニット960、入力ユニット965、出力ユニット970、投稿収集ユニット975、前処理ユニット980、購入ステージ分類ユニット985、情報伝送ユニット990、およびユニット間通信機構995を含む、1つ以上のアプリケーションを利用して、異なるユニットが互いと、OSと、および他のアプリケーション(図示せず)と通信することができる。例えば、投稿収集ユニット975、前処理ユニット980、購入ステージ分類ユニット985、情報伝送ユニット990は、図2〜図5に示す1つ以上のプロセスを実現してもよい。説明したユニットおよび要素は、設計、機能、構成、または実装において変更可能であり、提供された説明に限定されない。
いくつかの実装例では、情報または実行命令がAPIユニット960によって受信されると、1つ以上の他のユニット(例えば、論理ユニット955、入力ユニット965、出力ユニット970、投稿収集ユニット975、前処理ユニット980、購入ステージ分類ユニット985、情報伝送ユニット990)に通信されてもよい。例えば、投稿収集ユニット975が入力ユニット965を介してソーシャルメディア投稿を収集すると、投稿収集ユニット975は、収集した投稿を前処理ユニット980に供給してもよい。投稿が前処理ユニット980によって前処理されると、投稿は、購入ステージ分類ユニット985に供給されて、分類される。情報伝送ユニット990は、購入ステージ分類ユニット985による購入ステージ分類に基づいて、出力ユニット970を用いて、参照製品に関する情報を伝送してもよい。
場合によっては、上記のいくつかの実装例において、論理ユニット955は、ユニット間の情報フローを制御し、APIユニット960、入力ユニット965、出力ユニット970、投稿収集ユニット975、前処理ユニット980、購入ステージ分類ユニット985、および情報伝送ユニット990によって提供されるサービスを指揮してもよい。例えば、1つ以上のプロセスまたは実装のフローは、論理ユニット955のみによって、またはAPIユニット960と連携して、制御されてもよい。
いくつかの実装例が示され、説明されているが、これらの実装例は、この分野に精通した人々に本明細書で説明した主題を伝えるために提供されている。本明細書で説明した主題は、説明した実装例に限定されることなく、様々な形態で実装されてもよいことを理解されたい。本明細書で説明した主題は、具体的に定義されたもの、または説明事項、または説明されていない他のまたは異なる要素または事項を用いて実行することができる。この分野に精通した者であれば、添付の特許請求の範囲に規定された本明細書で説明した主題から逸脱することなく、これらの実装例およびその等価物に変更を行うことができることを理解するであろう。
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである1人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた(例えば、遅延した)顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。

Claims (20)

  1. 情報をターゲットに向ける方法であって、前記方法は、
    製品を識別し、かつデジタルアカウントに関連付けられている、1つ以上のデジタル投稿を収集するステップと、
    各デジタル投稿について生成された特徴表現に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
    製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記1つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
    を備える、方法。
  2. 前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
    スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、
    メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、
    のうちの少なくとも1つを備える、請求項1に記載の方法。
  3. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
    を備える、請求項1に記載の方法。
  4. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    のうちの少なくとも1つを更に備える、請求項3に記載の方法。
  5. 前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項3に記載の方法。
  6. 前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、
    前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と、
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項3に記載の方法。
  7. 前記決定モデルのステージは、
    意識のステージと、
    関心のステージと、
    欲求のステージと、
    アクションのステージと、
    否定的なセンチメントのステージと、
    関連しないステージと、
    のうちの1つ以上を備える、請求項3に記載の方法。
  8. 前記1つ以上のデジタル投稿の各々に関連付けられた前記決定モデルのステージを前記ニューラルネットワークによって識別するステップは、クラスのランキングを損失関数として使用して、前記ニューラルネットワークがクラスの不均衡を補償することを可能にするステップを備える、請求項3に記載の方法。
  9. 情報をターゲットに向ける方法をコンピュータに実行させるためのプログラムであって、前記方法は、
    製品を識別し、かつデジタルアカウントに関連付けられている1つ以上のデジタル投稿を収集するステップと、
    各デジタル投稿について生成された特徴表現に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
    製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記1つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
    を備える、プログラム。
  10. 前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
    スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、
    メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、
    のうちの少なくとも1つを備える、請求項9に記載のプログラム。
  11. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
    を備える、請求項9に記載のプログラム。
  12. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    のうちの少なくとも1つを更に備える、請求項11に記載のプログラム。
  13. 前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項11に記載のプログラム。
  14. 前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、
    前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項11に記載のプログラム。
  15. 情報をターゲットに向けるように構成されたサーバ装置であって、
    製品を識別し、かつデジタルアカウントに関連付けられている、1つ以上のデジタル投稿を格納するメモリと、
    プロセスを実行するプロセッサであって、
    各デジタル投稿について生成された特徴表現に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
    製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記1つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
    を備えるプロセッサと
    を備える、サーバ装置。
  16. 前記プロセスは、前記1つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記1つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
    スパムを示す少なくとも1つのデジタル投稿を除去するために、前記1つ以上のデジタル投稿をフィルタリングするステップと、
    メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも1つのデジタル投稿をクリーニングするステップと、
    のうちの少なくとも1つを備える、請求項15に記載のサーバ装置。
  17. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた少なくとも1つのコンテンツ特徴を抽出するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
    を備える、請求項15に記載のサーバ装置。
  18. 前記決定モデルのステージを識別するステップは、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    前記1つ以上のデジタル投稿の各々に関連付けられた前記少なくとも1つのコンテンツ特徴に基づいて、前記1つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記1つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
    のうちの少なくとも1つを更に備える、請求項17に記載のサーバ装置。
  19. 前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現と前記第2の投稿に関連付けられた特徴表現とに基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項17に記載のサーバ装置。
  20. 前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
    前記1つ以上のデジタル投稿は、
    第1の投稿時間に関連付けられた第1の投稿と、
    前記第1の投稿時間の後の第2の投稿時間に関連付けられた第2の投稿と、
    前記第1の投稿時間の後および前記第2の投稿時間の後の第3の投稿時間に関連付けられた第3の投稿と、
    を備えるデジタル投稿の時系列のシーケンスを備え、
    前記決定モデルのステージを識別するステップは、
    前記第1の投稿に関連付けられた特徴表現、前記第2の投稿に関連付けられた特徴表現、および前記第3の投稿に関連付けられた特徴表現に基づいて、前記第2の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項17に記載のサーバ装置。
JP2017178019A 2017-02-28 2017-09-15 マイクロブログ投稿から購入ステージを識別するために深層学習を使用するシステムおよび方法、プログラム、サーバ装置 Active JP6943106B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/445,788 US11087202B2 (en) 2017-02-28 2017-02-28 System and method for using deep learning to identify purchase stages from a microblog post
US15/445,788 2017-02-28

Publications (2)

Publication Number Publication Date
JP2018142294A true JP2018142294A (ja) 2018-09-13
JP6943106B2 JP6943106B2 (ja) 2021-09-29

Family

ID=63246369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178019A Active JP6943106B2 (ja) 2017-02-28 2017-09-15 マイクロブログ投稿から購入ステージを識別するために深層学習を使用するシステムおよび方法、プログラム、サーバ装置

Country Status (2)

Country Link
US (1) US11087202B2 (ja)
JP (1) JP6943106B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052463A (ja) * 2018-09-21 2020-04-02 株式会社マクロミル 情報処理方法および情報処理装置
JP2020091549A (ja) * 2018-12-03 2020-06-11 日本放送協会 テキスト分類装置、学習装置、およびプログラム
JP2023500753A (ja) * 2020-09-30 2023-01-11 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
JP7471760B1 (ja) 2023-11-14 2024-04-22 株式会社エクサウィザーズ 情報処理方法、情報処理システム及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423439B2 (en) * 2017-04-18 2022-08-23 Jeffrey D. Brandstetter Expert search thread invitation engine
US11934937B2 (en) * 2017-07-10 2024-03-19 Accenture Global Solutions Limited System and method for detecting the occurrence of an event and determining a response to the event
US10719738B2 (en) * 2017-07-12 2020-07-21 Banuba Limited Computer-implemented methods and computer systems configured for generating photorealistic-imitating synthetic representations of subjects
US11556343B2 (en) * 2017-09-22 2023-01-17 International Business Machines Corporation Computational method for temporal pooling and correlation
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
US10599769B2 (en) * 2018-05-01 2020-03-24 Capital One Services, Llc Text categorization using natural language processing
CN108665007B (zh) * 2018-05-22 2020-03-17 阿里巴巴集团控股有限公司 一种基于多分类器的推荐方法、装置及电子设备
CN110956057A (zh) * 2018-09-26 2020-04-03 杭州海康威视数字技术股份有限公司 一种人群态势分析方法、装置及电子设备
US11677703B2 (en) 2019-08-15 2023-06-13 Rovi Guides, Inc. Systems and methods for automatically identifying spam in social media comments based on context
US11258741B2 (en) * 2019-08-15 2022-02-22 Rovi Guides, Inc. Systems and methods for automatically identifying spam in social media comments
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111652673B (zh) * 2020-05-09 2023-04-07 腾讯科技(深圳)有限公司 智能推荐方法、装置、服务器和存储介质
CN112182423B (zh) * 2020-10-14 2022-09-27 重庆邮电大学 一种基于注意力机制的网络舆情事件演化趋势预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040718B2 (ja) 2008-02-21 2012-10-03 日本電気株式会社 スパム・イベント検出装置及び方法並びにプログラム
US8495508B2 (en) 2010-03-30 2013-07-23 George Lebrun Method and apparatus for contextual based search engine and enterprise knowledge management
US20150220983A1 (en) * 2014-02-05 2015-08-06 Mastercard International Incorporated Systems and Methods of Determining Predictors Based on Transaction Data and Social Network Data
US9473446B2 (en) * 2014-06-30 2016-10-18 Linkedin Corporation Personalized delivery time optimization
EP3189449A4 (en) * 2014-09-02 2018-03-07 Feelter Sales Tools Ltd Sentiment rating system and method
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052463A (ja) * 2018-09-21 2020-04-02 株式会社マクロミル 情報処理方法および情報処理装置
JP2020091549A (ja) * 2018-12-03 2020-06-11 日本放送協会 テキスト分類装置、学習装置、およびプログラム
JP7186591B2 (ja) 2018-12-03 2022-12-09 日本放送協会 テキスト分類装置、学習装置、およびプログラム
JP2023500753A (ja) * 2020-09-30 2023-01-11 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
JP7230231B2 (ja) 2020-09-30 2023-02-28 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
JP7471760B1 (ja) 2023-11-14 2024-04-22 株式会社エクサウィザーズ 情報処理方法、情報処理システム及びプログラム

Also Published As

Publication number Publication date
JP6943106B2 (ja) 2021-09-29
US11087202B2 (en) 2021-08-10
US20180247189A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6943106B2 (ja) マイクロブログ投稿から購入ステージを識別するために深層学習を使用するシステムおよび方法、プログラム、サーバ装置
US11704899B2 (en) Resolving entities from multiple data sources for assistant systems
JP6838376B2 (ja) 製品関連情報を送信する方法、プログラム、及びサーバ装置。
WO2017121244A1 (zh) 信息推荐方法、系统以及存储介质
JP6462112B2 (ja) オンライン・ソーシャル・ネットワーク上での外部コンテンツのランク付け
US20110179114A1 (en) User communication analysis systems and methods
US20160140627A1 (en) Generating high quality leads for marketing campaigns
JP6662119B2 (ja) ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置
US20140335483A1 (en) Language proficiency detection in social applications
US20190050731A1 (en) Automated commentary for online content
WO2013059290A1 (en) Sentiment and influence analysis of twitter tweets
Jeon et al. Hashtag recommendation based on user tweet and hashtag classification on twitter
US20140214548A1 (en) User Profiling Using Submitted Review Content
Lo et al. Identifying the high-value social audience from Twitter through text-mining methods
EP3834162A1 (en) Dynamic and continous onboarding of service providers in an online expert marketplace
CN112989824A (zh) 信息推送方法及装置、电子设备及存储介质
Gandhe et al. Sentiment analysis of Twitter data with hybrid learning for recommender applications
Al Marouf et al. Looking behind the mask: A framework for detecting character assassination via troll comments on social media using psycholinguistic tools
Sirisati et al. An aviation delay prediction and recommendation system using machine learning techniques
JP5197491B2 (ja) 行動推薦装置及び方法及びプログラム
US20120232989A1 (en) Method and apparatus for conversation targeting
CN114297390B (zh) 一种长尾分布场景下的方面类别识别方法及系统
US20200153760A1 (en) Response center
Emelda A comparative study on sentiment classification and ranking on product reviews
Naing et al. Analyzing sentiment level of social media data based on SVM and Naïve Bayes algorithms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R150 Certificate of patent or registration of utility model

Ref document number: 6943106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150