JP2017111782A - ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置 - Google Patents

ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置 Download PDF

Info

Publication number
JP2017111782A
JP2017111782A JP2016048424A JP2016048424A JP2017111782A JP 2017111782 A JP2017111782 A JP 2017111782A JP 2016048424 A JP2016048424 A JP 2016048424A JP 2016048424 A JP2016048424 A JP 2016048424A JP 2017111782 A JP2017111782 A JP 2017111782A
Authority
JP
Japan
Prior art keywords
social media
caption
reference data
location
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016048424A
Other languages
English (en)
Other versions
JP6662119B2 (ja
Inventor
インイン チェン
Yin-Ying Chen
インイン チェン
チェン フランシーン
Francine Chen
チェン フランシーン
クーパー マシュー
Matthew Cooper
クーパー マシュー
ジョシ ディラジ
Joshi Dhiraj
ジョシ ディラジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2017111782A publication Critical patent/JP2017111782A/ja
Application granted granted Critical
Publication of JP6662119B2 publication Critical patent/JP6662119B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/258Heading extraction; Automatic titling; Numbering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/263Language identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ソーシャルメディアへの投稿に画像もしくはビデオから取得されるユーザのアクティビティを考慮したキャプションを自動的に生成する。
【解決手段】ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて言語モデルと関連付けられているパラメータを設定し、識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも1つ生成する。
【選択図】図4

Description

本発明は、ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置に関する。
ソーシャルメディアネットワークの関連技術において、画像及びビデオの投稿はとても一般的であり、フォト中心ソーシャルメディアの増加を推進している。このようなネットワークの関連技術において、キャプションは画像及びビデオの投稿の重要な要素であり、キャプションによって投稿される画像及びビデオの背後にあるストーリーが伝達される。さらに、キャプションは、視聴者との関係を増強する。したがって、キャプションはキャンペーンもしくは広告にとっても重要である。
米国特許第8655889号
エーカー(Aker)ら、「相関パターン依存を用いた画像記述の生成(Generating Image Descriptions Using Dependency Relational Patterns)」、コンピュータ言語学に関する第48回年次会議抄録(Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics)、スウェーデン、2010年7月11日〜16日、頁1250〜1258 ブレイ(Blei)ら、「LDA(Latent Dirichlet Allocation)、機械学習研究ジャーナル(Journal of Machine Learning Research)、2003年、頁993〜1022
本発明は、ソーシャルメディアへの投稿に画像もしくはビデオから取得されるユーザのアクティビティを考慮したキャプションを自動的に生成することを可能とすることを目的とする。
第1の態様は、ソーシャルメディア投稿のキャプションを生成する方法であって、コンピュータが、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて言語モデルと関連付けられているパラメータを設定し、識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも1つ生成する。
第2の態様は、第1の態様の方法であって、収集した複数のソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいてトピック推定モデルを生成する、
ことをさらに含む。
第3の態様は、第2の態様の方法であって、前記トピック推定モデルを生成することは、収集した複数の前記ソーシャルメディア投稿に関連付けられている前記参照データ及び前記キャプションを収集し、関連付けられている前記参照データに基づいて、一つもしくは複数の位置カテゴリに収集した複数の前記ソーシャルメディア投稿を分類し、前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、ことを含む。
第4の態様は、第1〜第3の何れかの態様の方法であって、前記ソーシャルメディア投稿を生成した前記キャプションと共にソーシャルメディアネットワークに伝送する、ことをさらに含む。
第5の態様は、第1〜第4の何れかの態様の方法であって、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、ユーザに少なくとも1つの生成した前記キャプションを伝送し、生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する。
第6の態様は、第5の態様の方法であって、生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第2キャプションを生成する、ことをさらに含む。
第7の態様は、第1〜第6の何れかの態様の方法であって、前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置での一般的なユーザアクティビティに関連する記述テキスト、一つもしくは複数の位置カテゴリでの一般的なユーザアクティビティに関連する記述テキスト、位置記述、位置カテゴリ記述、の一つもしくは複数を含む。
第8の態様は、ソーシャルメディア投稿のためのキャプションを生成する処理をコンピュータに実行させるためのプログラムであって、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも1つ生成する、ことを含む。
第9の態様は、第8の態様のプログラムであって、前記処理は、収集した複数の前記ソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいて、前記トピック推定モデルを生成する、ことをさらに含む。
第10の態様は、第9の態様のプログラムであって、前記トピック推定モデルを生成することは、収集した複数の前記ソーシャルメディア投稿と関連付けられている参照データ及びキャプションを収集し、関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、前記ソーシャルメディア投稿と関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数のソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、ことを含む。
第11の態様は、第8〜第10の態様のプログラムであって、前記処理は、前記ソーシャルメディア投稿を、生成した少なくとも1つのキャプションと共に、ソーシャルメディアネットワークに伝送する、ことをさらに含む。
第12の態様は、第8〜第11の何れかの態様のプログラムであって、前記処理は、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも1つの前記キャプションを、ユーザに伝送し、生成した前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、ことをさらに含む。
第13の態様は、第12の態様のプログラムであって、前記処理は、生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿のための第2キャプションを生成する、ことをさらに含む。
第14の態様は、第8〜第13の何れかの態様のプログラムであって、前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置に一般的なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに一般的なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述、の一つもしくは複数を含む。
第15の態様は、ソーシャルメディア投稿のためのキャプションを生成するサーバ装置であって、メモリと、プロセッサと、を含むサーバ装置である。前記プロセッサは、ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、識別された前記言語モデル及び推定された前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のためのキャプションを少なくとも1つ生成する。
第16の態様は、第15の態様のサーバ装置であって、前記プロセッサは、さらに、収集した複数の前記ソーシャルメディア投稿と関連付けられている前記キャプション及び前記参照データを収集し、関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出したトピックとを関連付ける、ことにより、収集した複数の前記ソーシャルメディア投稿と関連付けられているキャプション及び参照データに基づいて、前記トピック推定モデルを生成する。
第17の態様は、第15または第16の態様のサーバ装置であって、前記プロセッサは、さらに、生成した少なくとも1つの前記キャプションと共に、前記ソーシャルメディア投稿を前記ソーシャルメディアネットワークに伝送する。
第18の態様は、第15〜第17の何れかの態様のサーバ装置であって、前記プロセッサは、さらに、前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも1つの前記キャプションをユーザに伝送し、生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する。
第19の態様は、第18の態様のサーバ装置であって、前記プロセッサは、さらに、生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、追加的な参照データのリクエストを前記ユーザに伝送し、識別された前記言語モデル、推定された前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第2キャプションを生成する。
第20の態様は、第15〜第19の何れかの態様のサーバ装置であって、前記ソーシャルメディア投稿と関連付けられている収集した前記参照データは、一つもしくは複数の位置に共通なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに共通なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述の一つもしくは複数を含む。
本発明によれば、ソーシャルメディアへの投稿に画像もしくはビデオから取得されるユーザのアクティビティを考慮したキャプションを自動的に生成できる。
本発明の例示的な実装によって使用可能なソーシャルメディア環境を例示する。 本発明の例示的な実装で使用されるカテゴリツリーの例示的な実施形態を例示する。 本発明の例示的な実装で使用されるカテゴリツリーの例示的な実施形態を例示する。 本発明の例示的な実装によるソーシャルメディア投稿の自動キャプション付加を提供するプロセスのフローチャートを例示する。 本願の例示的な実装によるトピック推定モデルを生成するプロセスのフローチャートを例示する。 ベースラインと比較した一般的トピック及びビジネスアウェアを用いた相対的な改善を示すグラフを例示する。 例示的な実装のいくつかにおける使用に適した例示的なコンピュータデバイスを含む計算処理環境を例示する。
以下の詳細な記載は、図面の説明及び本発明の例示的な実装を含む。記載を明瞭にするため、複数の図面にわたる冗長な構成要素の参照符号及び説明は省略する。説明全体にわたって使用する用語は例示であり、限定を意図していない。例えば、用語「自動」は全自動もしくは半自動の実装を含むことが可能であり、実装のある態様にわたるユーザもしくはオペレータの制御を含み、本発明の実装を実用化する所望される実装に依存する。
ビジネスアウェアの潜在的トピックはキャプション生成の新規なコンテキストキーを提供する。同様のカテゴリのビジネスから画像を投稿した人々の一般的なアクティビティを分析することによって、同一のカテゴリのビジネスに共通するトピックのコンテキストキーが新しい投稿のために識別され得る。即ち、同様のカテゴリにおいて、ビジネスで使用される一般的なアクティビティもしくはキャプションのコンテンツを分析することで、新しい投稿でキャプションに適切なコンテンツを識別し得る。例えば、カテゴリ「ファストフード」のビジネスで投稿された画像を分析することで、これらの投稿に共通して使用されるトピックで高い確率で現れる単語として「バーガ」を識別し得る。「バーガ」を含むトピックは、次に、キャプションを生成するために使用され得る。このようなビジネスアウェアの潜在的トピックを用いることで、画像キャプションモデルはビジネスアクティビティをよりよく反映する文章を生成することができる。画像キャプションモデルのビジネスアウェア潜在トピックの使用については、図2〜図5を用いて以下で詳細に説明する。
図1は、本発明の例示的な実装で使用することができるソーシャルメディア環境100を例示する。例示的な実装のいくつかにおいて、ソーシャルメディア環境100は画像もしくはビデオを投稿するソーシャルメディア環境であってよい。例えば、画像もしくはビデオを投稿するソーシャルメディア環境は、YouTube(登録商標)、Pinterest、Flickr、Instagramもしくは他の画像もしくはビデオを投稿するプラットフォームを含む。しかしながら、ソーシャルメディア環境100の例示的な実装は、画像もしくはビデオを投稿するソーシャルメディア環境に限定されず、任意のソーシャルメディア環境であってよい。例示的なソーシャルメディア環境100は、例えば、ネットワーク105を介して(例えば、有線及び/もしくは無線接続で)相互に通信可能に接続された複数のデバイス110〜135を含む。
デバイス110〜135は、コンピュータ115(例えば、ラップトップ計算処理デバイス)、モバイルデバイス110、130(例えば、スマートフォンもしくはタブレット)、テレビ125、乗り物に関連付けられているデバイス120、ウェアラブルデバイス133(例えば、スマートウォッチ)及びサーバコンピュータ135、などを含むことができる。デバイス110〜135は、図7に例示するような計算処理環境を有していてもよい。
例示的な実装のいくつかにおいて、一つもしくは複数のデバイス110〜135はユーザに関連付けられていてもよい(例えば、デバイス110は、ユーザ150が使用することで、ソーシャルメディア投稿140のドラフトを作成し、ソーシャルメディア投稿140を編集し、アップロードし、送信してもよい。)。例えば、ユーザ150に関連付けられているデバイス110は、ネットワーク105を介して、ソーシャルメディア投稿140を、ソーシャルメディア環境100に送信し、他のユーザに関連付けられている他のデバイス115〜135から受信してもよい。同様に、ユーザ160に関連付けられているデバイス115は、ソーシャルメディア環境100に(図1に図示しない)ソーシャルメディア投稿を送信し、他のデバイス110、120、125、130、133、135に送信したソーシャルメディア投稿を配信してもらってもよい。さらに、ユーザ165に関連付けられているデバイス130はソーシャルメディア環境100に(図1に図示しない)ソーシャルメディア投稿を送信し、他のデバイス110、115、120、125、133、135に配信してもらってもよい。
また、他のデバイス115〜135は、好みで、ソーシャルメディア投稿140に対する応答145を(破線で示されるように)送信するために使用されてもよい。本発明の例示的な実装において、少なくとも1つのデバイス135は、ユーザ150によるソーシャルメディア投稿140を分析し、位置カテゴリ(及び/もしくはビジネスカテゴリ)及びソーシャルメディア投稿140に関連付けられているキャプションコンテンツを検出し、位置カテゴリ(及び/もしくはビジネスカテゴリ)に関連付けられている潜在的トピックを識別してもよい。また、プロセッサ155は、カテゴリツリーを生成し、カテゴリツリーにおいて位置カテゴリ(及び/もしくはビジネスカテゴリ)と潜在的トピックとを関連付けてもよい。カテゴリツリーの例示的な実装を図2及び図3で例示する。生成したカテゴリツリーを用いて、プロセッサ155は、識別された潜在的トピックに基づいてキャプションを示唆し、図4及び図5で説明するプロセスを用いて、ユーザ150が購入する確率を判定する。この分析、検出及び生成は、デバイス135に接続され、関連付けられ、もしくは、統合されたプロセッサ155によって実行されてもよい。
図2及び図3は、本発明の例示的な実装に用いられるカテゴリツリーの例示的な実施形態を示す。図2は、ブロック205によって示されるように、「フード」の一般的なカテゴリに関連するように分類されたビジネスのカテゴリツリー200を例示する。図2で例示されたカテゴリツリー200の例示的な実装は、複数のソーシャルメディア投稿に関連付けられている位置のビジネスカテゴリを分析することによって生成されてもよいし、手動で生成されてもよい。ビジネスカテゴリと潜在的トピックとを関連付け、関連付けた潜在的トピックを使用するプロセスの例については、図4及び図5で詳細に説明する。
図2に例示するように、「フード」の一般的なカテゴリは、複数のサブカテゴリ及びサブサブカテゴリに分割され、複数のレベル(201、202、203)に配置される。説明を容易にするために、レベル1(201)のサブカテゴリをサブカテゴリと呼ぶ。また、レベル2(202)のサブカテゴリをサブサブカテゴリと呼び、レベル3(203)のサブカテゴリをサブサブサブカテゴリと呼ぶ。しかしながら、これらの用語(サブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ)はレベルを3に限定することを意図していない。一般的なカテゴリは3より多いレベルに分割されてもよいし、3より少ないレベルに分割されてもよい。
例示されるように、カテゴリ「フード」は、レベル1(201)で、ブロック210a(「アフリカンレストラン」)、210b(「アジアンレストラン」)、210c(「カフェテリア」)で表される複数のサブカテゴリに分割されている。(ブロック210nで表される)追加的なサブカテゴリも、一般的なカテゴリ「フード」の下に展開される。
また、サブカテゴリ210a、210b、210c、…、210nは、サブカテゴリブロックの下のレベル2(202)のサブサブカテゴリ215a、215b、215cに分割される。例えば、サブカテゴリ210a(「アフリカンレストラン」)はサブサブカテゴリ215a(「エチオピアンレストラン」)に分割され得る。他のサブサブカテゴリ215m(「サブサブカテゴリm」)がサブカテゴリ210aの下にあってもよい。
同様に、サブカテゴリ210b(「アジアンレストラン」)はサブサブカテゴリ215b(「ジャパニーズレストラン」)及びサブサブカテゴリ215c(「タイレストラン」)に分割されてもよい。他のサブサブカテゴリ215nもサブカテゴリ210bの下にあってもよい。図2には例示しないが、他のサブサブカテゴリが他のサブカテゴリ210c〜210nの下にあってもよい。また、このように拡張することで、カテゴリツリー200(もしくは他のモデル)では、同じ親カテゴリの下にある他の類似のビジネスタイプの間の関連を利用することが可能となる。例えば、サブサブカテゴリ215b(「ジャパニーズレストラン」)に関する情報は、サブサブカテゴリ215c(「タイレストラン」)と共有されてもよい。サブサブカテゴリ215b(「ジャパニーズレストラン」)とサブサブカテゴリ215c(「タイレストラン」)とは同一の親サブカテゴリ(即ち、サブカテゴリ210b「アジアンレストラン」)を共有しているからである。
また、サブサブカテゴリ215a、…、215m、215b、215c、…、215nは、レベル3(203)で、サブサブサブカテゴリ220a、220b、220nに分割されてもよい。例えば、サブサブカテゴリ215b(「ジャパニーズレストラン」)は、サブサブサブカテゴリ220a(「ラーメン屋」)及びサブサブサブカテゴリ220b(「うどん屋」)に分割されてもよい。他のサブサブサブカテゴリ220x(「サブサブサブカテゴリx」)がサブサブカテゴリ215nの下にあってもよい。図2には例示しないが、他のサブサブサブカテゴリが、他のサブサブカテゴリ215a、…、215m、215c、…、215nの下にあってもよい。
様々な用語が、カテゴリの各々(もしくは、カテゴリツリー200のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ)に分類された位置と関連付けられたソーシャルメディア投稿で使用されているキャプションの用語に基づいて、(一般カテゴリ、サブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリを含む)カテゴリの各々と関連付けられていてもよい。例えば、サブサブサブカテゴリ220a(「ラーメン屋」)及び220b(「うどん屋」)に関連付けられているキャプションの用語は、サブサブカテゴリ215b(「ジャパニーズレストラン」)と関連付けられてもよい。これらの用語はサブサブカテゴリ215b(「ジャパニーズレストラン」)の範囲内の位置で取得されたソーシャルメディア投稿のキャプションで使用されるからである。追加的な用語がカテゴリの各々(カテゴリツリー200のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ)と関連付けられてもよい。ある用語は複数のサブサブカテゴリに関連付けられてもよい。異なる位置で取得された画像もしくはビデオと関連付けられているキャプションで使用されている用語は、異なるカテゴリに入るからである。
キャプションの用語及びカテゴリツリー200の関連付けられているカテゴリは、次に、潜在的トピックベース予測モデルを教育するために使用されてもよい。潜在的トピックは用語セットであってよく、用語の各々は用語がトピックに関連する度合いを示す確率を有する。潜在的トピックと位置もしくはビジネスのカテゴリ(例えば、位置カテゴリもしくはビジネスカテゴリ)とを関連付けることで、潜在的トピックモデルは、関連付けられている位置もしくはビジネスカテゴリの位置もしくはビジネスでのユーザの共通する振る舞いをよりよく示すことができる。教育されると、潜在的トピックモデルは、次に、潜在的トピックの各々の用語及び任意の参照テキストの単語の分類に基づいて、潜在的トピックの分類を生成するために使用される。ソーシャルメディア投稿の参照テキストによって生成された潜在的トピックは、次に、ソーシャルメディア投稿のキャプションを予測するために使用されてもよい。
図2は、4つの「レベル」の区別(即ち、一般カテゴリ(例えば、「フード」)、サブカテゴリ(例えば、「アジアンレストラン」)、サブサブカテゴリ(例えば、「ジャパニーズレストラン」)、サブサブサブカテゴリ(例えば、「ラーメン屋」))を例示しているが、図3に例示するカテゴリツリー300はより多くのレベルの区別を有していてもよいし、より少ないレベルの区別を有していてもよい。図3は、ブロック305に示されるように、一般カテゴリ「アウトドア&レクリエーション」に関連して分類されたビジネスのカテゴリツリー300を例示する。上記したように、図3に例示されたカテゴリツリー300は、ソーシャルメディア投稿に関連付けられた位置カテゴリを分析することで生成されてもよいし、手動で生成されてもよい。位置カテゴリと潜在的トピックとを関連付け、関連付けた潜在的トピックを使用するプロセスの例について、図4及び図5を用いて説明する。
図3に例示するように、一般カテゴリ「アウトドア&レクリエーション」は、複数のレベル(301、302)に配置される複数のサブカテゴリに分割されてもよい。説明を容易にするために、レベル1(301)のサブカテゴリをサブカテゴリと呼ぶ。また、レベル2(302)のサブカテゴリをサブサブカテゴリと呼ぶ。しかしながら、これらの用語(サブカテゴリ及びサブサブカテゴリ)は、レベルの数を2に限定することを意図しない。一般カテゴリは、2レベルよりも多いレベルに分割されてもよいし、少ないレベルに分割されてもよい。
例示するように、カテゴリ「アウトドア&レクリエーション」は、ブロック310a(「湖」)及び310b(「スキー」)によって表される複数のサブカテゴリに分割される。(ブロック310nで表される)追加のサブカテゴリも、一般カテゴリ「アウトドア&レクリエーション」)の下にあってもよい。また、サブカテゴリ310a、310b、…、310nの各々は、さらに、レベル2(302)にサブカテゴリブロック315a、315bで表されるサブサブカテゴリに分割されてもよい。例えば、サブカテゴリ310b(「スキー」位置)は、サブサブカテゴリ315a(「スキーロッジ」)及びサブサブカテゴリ315b(「スキートレイル」)に分割されてもよい。他のサブサブカテゴリ315n(「サブサブカテゴリn)がサブカテゴリ310bの下にあってもよい。
カテゴリ(もしくは、カテゴリツリー300のカテゴリの下のサブカテゴリ及び/もしくはサブサブカテゴリ)の各々に分類された位置に関連付けられているソーシャルメディア投稿で使用されているキャプションで使用されている用語に基づいて、(一般カテゴリ、サブカテゴリ、サブサブカテゴリを含む)カテゴリの各々と、様々な用語と、が関連付けられていてもよい。例えば、サブサブカテゴリ315a(「スキーロッジ」)及び315b(「スキートレイル」)と関連付けられている用語は、カテゴリ310b(「スキー」)と関連付けられていてもよい。これらの用語は、サブカテゴリ310b(「スキー」)の範囲内の位置で取得されるソーシャルメディア投稿のキャプションで使用されているからである。追加的な用語が、カテゴリ(もしくは、カテゴリツリー300のカテゴリの下のサブカテゴリ、サブサブカテゴリ、サブサブサブカテゴリ)の各々と関連付けられていてもよい。ある用語は、複数のサブサブカテゴリと関連付けられていてもよい。異なる位置で取得された画像もしくはビデオに関連付けられているキャプションで使用されている用語は、異なるカテゴリに入るからである。
カテゴリツリー300のキャプションの用語及び関連付けられているカテゴリは、次に、潜在的トピックベース予測モデルを教育するために使用されてもよい。潜在的トピックは用語セットであってよく、用語の各々は用語がトピックに関連する度合いを示す確率を有する。潜在的トピックと位置もしくはビジネスのカテゴリ(例えば、位置カテゴリもしくはビジネスカテゴリ)とを関連付けることで、潜在的トピックモデルは、関連付けられている位置もしくはビジネスカテゴリの位置もしくはビジネスでのユーザの共通する振る舞いをよりよく示すことができる。教育されると、潜在的トピックモデルは、次に、潜在的トピックの各々の用語及び任意の参照テキストの単語の分類に基づいて、潜在的トピックの分類を生成するために使用される。ソーシャルメディア投稿の参照テキストによって生成された潜在的トピックは、次に、ソーシャルメディア投稿のキャプションを予測するために使用されてもよい。
図3は、3つの「レベル」の区別(即ち、一般カテゴリ(例えば、「アウトドア&レクリエーション)、サブカテゴリ(例えば、「スキー」)及びサブサブカテゴリ(例えば、「スキーロッジ」))を例示しているが、カテゴリツリー300はより多くのレベルの区別を有していてもよいし、より少ないレベルの区別を有していてもよい。
図4は、本発明の例示的な実装によるソーシャルメディア投稿の自動キャプション付加を行うプロセス400の例示的なフローチャートを例示する。例示したプロセス400は、(デバイス135などの)デバイスの(プロセッサ155などの)プロセッサによって使用され、ソーシャルメディア投稿のキャプションを生成してもよい。プロセス400において、ソーシャルメディア投稿は405で受信される。ソーシャルメディア投稿は、画像、録音音声、録画ビデオ、テキスト列、ドキュメント、もしくは、ソーシャルネットワークで共有可能な他のタイプの電子データであってよい。ソーシャルメディア投稿は、電子メール、SMS(ショートメッセージサービス)、インスタントメッセージ、アプリケーションアップロード、ブラウザアップロード、もしくは他のタイプのファイル伝送プロセスによって受信されてもよい。
ソーシャルメディア投稿が受信された後、415で、ソーシャルメディア投稿に関連付けられている位置カテゴリで一般的に発生するアクティビティを識別するために使用され得る参照データが、収集される。実装のいくつかにおいて、ソーシャルメディア投稿は、複数のカテゴリ(ベーカリ及びカフェの両方など)に属する位置と関連付けられていてもよい。例示的な実装のいくつかにおいて、参照データは、テキストまたは特定のカテゴリの位置で一般的に発生するアクティビティの記述的な説明であってよい。例えば、同じ位置カテゴリの位置で取得されたソーシャルメディア投稿のテキスト記述もしくはキャプションは、関連付けられている位置カテゴリで発生する一般的なアクティビティを識別するために使用するように収集されてもよい。同じ位置の他のタイプの参照データは、位置の記述及び位置カテゴリ記述の記述を含む。他のタイプの参照データは、ソーシャルメディア投稿に関連付けられている位置カテゴリで発生する一般的なアクティビティを識別するために使用されてもよい。これらの識別された一般的に発生するアクティビティは、以下で説明する潜在的なトピックモデルを用いて潜在的トピックを推定するために使用されてもよい。
例示的な実装のいくつかにおいて、ソーシャルメディア投稿に関連付けられている位置カテゴリは、ソーシャルメディア投稿が生成された条件(例えば、位置)を判定するために、ソーシャルメディア投稿と関連付けられているメタデータを分析することで、他から収集されてもよい。例えば、ソーシャルメディア投稿に関連付けられているメタデータを、収集し、分析することで、ビジネス位置カテゴリ、位置名、位置アドレス、GPSデータ、位置記述もしくは、ソーシャルメディア投稿が製作され、もしくは取得された位置と関連付けられている位置カテゴリを判定するために使用され得る他の情報の一つもしくは複数を識別する。例示的な実装のいくつかにおいて、参照データは、受信したソーシャルメディア投稿のタイプに基づいて変動してもよい。例えば、画像投稿は、テキストもしくはビデオ投稿とは異なる参照データを有していてもよい。
判定されたソーシャルメディア投稿が生成される条件に基づいて、ソーシャルメディア投稿に関連付けられている位置カテゴリの判定に関連する参照データは、既知位置と関連付けられているカテゴリのパブリックもしくはプライベートデータベースを参照して判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿と関連付けられている位置カテゴリを収集してもよい。
実装のいくつかにおいて、ソーシャルメディア投稿のコンテンツを分析することで、ソーシャルメディア投稿が生成された条件(例えば、位置)を判定してもよい。例えば、テキスト認識、音声認識、オブジェクト認識及び他の認識技術の一つもしくは複数を、ソーシャルメディア投稿が製作され、もしくは、取得された位置を識別するために、ソーシャルメディア投稿に適用してもよい。判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられている位置カテゴリは、既知位置と関連付けられているカテゴリのパブリックもしくはプライベートデータベースを参照することで判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿に関連付けられている位置カテゴリを収集してもよい。
405で、ソーシャルメディア投稿を受信し、415で、参照データを収集すると共に、410で、潜在的トピックと位置カテゴリとを関連付けるトピック推定モデルを生成する。例示的な実装のいくつかにおいて、トピック推定モデルは、405でソーシャルメディア投稿を受信する前に生成されてもよい。他の例示的な実装において、トピック推定モデルは、415で参照データを収集した後に生成されてもよい。他の例示的な実装において、トピック推定モデルは、405でソーシャルメディア投稿が受信された後であって、415で参照データが収集される前に生成されてもよい。図5を用いて、410で推定モデルを生成するプロセスの例示的な実装を以下で詳細に説明する。
415で参照データが収集され、410でトピック推定モデルが生成された後、420で、収集した参照データに基づいて、キャプションを生成する際に使用するためにトピックを推定するために、トピック推定モデルを使用する。即ち、ソーシャルメディア投稿と関連付けられている位置カテゴリで一般的に発生するアクティビティを判定することに関連する参照データは、トピック推定モデルと組み合わせて使用され、トピック推定モデルは、位置もしくはビジネスカテゴリと、潜在的トピックとを関連付けることで、420で、ソーシャルメディア投稿と関連付けられ得る潜在的トピックを推定もしくは識別する。例えば、ソーシャルメディア投稿が「ファストフードレストラン」を示す位置情報と関連付けられていると判定される場合、「バーガ」、「フレンチフライ」、「ミルクシェーク」と関連するトピックが識別され得る。
420でトピックが推定された後、425で、キャプション生成に使用される言語モデルのパラメータを、推定されたトピックに基づいて設定する。パラメータは、潜在的トピックモデルを用いた参照テキストによって生成された潜在的トピックの分類によって表されてもよい。例えば、潜在的トピックモデルに200個の潜在的トピックがあると仮定すると、参照データは、200個の潜在的トピックの各々に異なる確率値を割り当てるために使用され得る。トピックのいくつかの確率値は、トピックに関連する度合いの高い用語が参照テキストに頻繁に現れる場合、高くなり得る。同様に、トピックのいくつかの確率値は、トピックに関連する度合いの高い用語が参照テキストに滅多に現れない場合、低くなり得る。参照テキストに基づいて判定された200個の潜在的トピックの分類を、次に、言語モデルのコンテキストパラメータとして使用し、これにより、キャプションを生成する。
例示的な実装のいくつかにおいて、言語モデルは、あるトピックもしくは位置カテゴリに関連付けられている位置もしくは施設へのチェックインを含むソーシャルメディア投稿のキャプションを用いて教育されたニューラルネットワークであってよい。即ち、ニューラルネットワークは、様々なキャプショントピックを用いて、異なる位置カテゴリの位置で、ユーザによるチェックインから収集されたキャプションで教育されてもよい。ニューラルネットワークに提供されたキャプションに基づいて、ニューラルネットワークは、ビジネスカテゴリに依存して、ある単語もしくは句が前方に存在する、後方に存在する、もしくは、他の単語もしくは句に近接して存在する可能性を判定してもよい。
例えば、「ケチャップ」、「マヨ」、及び「ピクルス」などの単語が、「バーガ」、及び/もしくは「フレンチフライ」もしくは「ファストフード」位置カテゴリ投稿に関連する潜在的トピックに近接して使用されている確率が高いことを、ニューラルネットワークは、判定してもよい。反対に、「ケチャップ」、「マヨ」及び「ピクルス」などの単語が、「ラーメン」及び/もしくは「うどん」もしくは「アジアンフード」位置カテゴリ投稿に関連する潜在的トピックに近接して使用されている確率が低いことを、ニューラルネットワークは判定してもよい。
例示的な実装のいくつかにおいて、言語モデルは、次の単語表現の線形予測を行うことで、ニューラルネットワークに提供されるコンテキスト特徴に基づいて、単語シーケンスの確率を計算する、フィードフォワードニューラルネットワークであってよい。また、潜在的トピックが420で推定される場合、投稿によって教育された言語モデルは、キャプションを生成する際に使用するために推定された潜在的トピックに基づいてバイアスがかけられてもよい。
430で、識別された言語モデルを使用することで、位置カテゴリ及び推定されたトピックで発生する一般的なアクティビティを判定することに関連する参照データに基づいて、キャプションを生成する。例示的な実装のいくつかにおいて、位置カテゴリに関連付けられている推定されたトピックをニューラルネットワークに与えるコンテキスト特徴として使用することで、単語シーケンスの次の単語表現の確率を計算し、ソーシャルメディア投稿に関連付けられるべき潜在的キャプションを生成する。例示的な実装のいくつかにおいて、複数のキャプションをオプションで同時に(例えば、並行して)生成してもよい。
言語モデルによってキャプションを生成すると、435で、生成されたキャプションは、オプションで、投稿の前に承認を得るためにユーザに提出されてもよい。キャプションはUI(ユーザインターフェイス)でユーザに表示されてもよいし、電子メール、SMSメッセージ、インスタントメッセージ、もしくは他の伝送機構で、ユーザに送信されてもよい。複数のキャプションが生成された場合、キャプションの全てが、オプションで、ユーザに提出されてもよく、ユーザは、どのキャプションを使用すべきか選択するオプションを提供されてもよい。例示的な実装のいくつかにおいて、プロセス400は435の判定を省略して、以下で説明する440に直接進んでもよい。
ユーザがキャプションを承認しない場合(435:NO)、450で、追加的な参照データのリクエストをユーザに送信してもよい。リクエストはUIでユーザに表示されてもよいし、電子メール、SMSメッセージ、インスタントメッセージもしくは他の伝送機構で、ユーザに送信されてもよい。リクエストが伝送された後、プロセス400は430に戻り、新しい(例えば、第2の)キャプションを生成してもよい。新しいキャプションの生成は、リクエストに応じて、ユーザから受信した任意の追加的な参照データを使用していてもよい。生成された新しいキャプションは、また、435で、投稿の前に承認を得るために、オプションで、ユーザに提出されてもよい。これらの処理は、以下で説明するように、ユーザがキャプションを承認するまで繰り返される。ここでは、複数のキャプションがシリーズで生成されてもよい。
ユーザがキャプションを承認すると(435−YES)、440で、キャプションはソーシャルメディア投稿と関連付けられてもよい。キャプションがソーシャルメディア投稿と関連付けられると、445で、キャプション及びソーシャルメディア投稿は双方とも、ソーシャルメディアネットワークに、オプションで、伝送されてもよい。例示的な実施例のいくつかにおいて、プロセス400は、440で、キャプションがソーシャルメディア投稿と関連付けられた後終了し、ブロック445は省略されてもよい。
図5は、本発明の例示的な実装によるトピック推定モデルを生成するためのプロセス500の例示的なフローチャートを示す。例示的なプロセス500は、デバイス(例えば、デバイス135)のプロセッサ(例えば、プロセッサ155)によって使用され、プロセス400のブロック410によってトピック推定モデルを生成してもよい。これにより、図4に例示するソーシャルメディア投稿のキャプションが生成される。プロセス500の505で、複数のソーシャルメディア投稿を、ソーシャルメディアネットワークをクローリング(徘徊)することで収集する。ソーシャルメディアネットワークは、フォト共有ソーシャルメディアネットワーク、ビデオ共有ソーシャルメディアネットワーク、チェックインベースソーシャルメディアネットワーク、もしくは他のタイプのソーシャルメディアネットワークであってよい。収集されたソーシャルメディア投稿は、画像、録音音声、録画ビデオ、テキスト列、ドキュメント、もしくは、ソーシャルネットワークで共有される他のタイプの電子データであってよい。
複数のソーシャルメディア投稿がソーシャルメディアネットワークから収集された後、510で、参照データ及びソーシャルメディア投稿の各々と関連付けられたキャプションを収集する。参照データは、位置カテゴリを識別するために使用され、位置カテゴリの判定に関連する。例示的な実装のいくつかにおいて、参照データは、ソーシャルメディア投稿と関連付けられたメタデータを分析することで収集され、ソーシャルメディア投稿が生成された条件(例えば、位置)を判定してもよい。
例えば、ソーシャルメディア投稿と関連付けられたメタデータを収集し、分析することで、ビジネス位置カテゴリ、位置名、位置アドレス、GPSデータ、位置記述、もしくはソーシャルメディア投稿が製作され、もしくは取得された位置と関連付けられた位置を判定するために使用し得る他の情報の一つもしくは複数を識別してもよい。他の例示的な実装において、参照データは、ソーシャルメディア投稿が取得された位置に関連付けられた位置カテゴリを説明し、もしくは識別するテキストであってよい。例示的な実装のいくつかにおいて、参照データは、受信したソーシャルメディア投稿のタイプに基づいて変動してもよい。例えば、画像投稿は、テキストもしくはビデオ投稿とは異なる参照データを有していてもよい。
判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられた位置カテゴリの判定に関連する参照データが、既知位置に関連付けられたカテゴリのパブリックもしくはプライベートデータベースを参照することで判定されてもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿の各々に関連付けられた位置を収集してもよい。
他の例示的な実装のいくつかにおいて、ソーシャルメディア投稿の各々のコンテンツを分析し、ソーシャルメディア投稿が生成された条件(例えば、位置)を判定してもよい。例えば、テキスト認識、音声認識、オブジェクト認識及び他の認識技術の一つもしくは複数をソーシャルメディア投稿に適用し、ソーシャルメディア投稿が製作され、もしくは取得された位置を識別してもよい。判定したソーシャルメディア投稿が生成された条件に基づいて、ソーシャルメディア投稿に関連付けられた位置カテゴリの判定に関連する参照データを、既知位置と関連付けられたカテゴリのパブリックもしくはプライベートデータベースを参照することで判定してもよい。例えば、レストラン、ジム、ショッピングセンターなどに位置を分類するデータベースを使用して、ソーシャルメディア投稿の各々に関連付けられた位置カテゴリを収集してもよい。
複数のソーシャルメディア投稿の各々に関連付けられた参照データ及びキャプションが収集されると、515で、ソーシャルメディア投稿及び関連するキャプションを、位置カテゴリの判定に関連する収集した参照データに基づいて、一つもしくは複数の位置カテゴリに分類する。図2及び図3は、ソーシャルメディア投稿の各々が分類される位置カテゴリを例示する。
ソーシャルメディア投稿を位置カテゴリに分類した後、520で、ソーシャルメディア投稿の各々と関連付けられたトピックをソーシャルメディア投稿と関連付けられたキャプションから推定してもよい。例えば、潜在的トピックモデルを使用して、ソーシャルメディア投稿と関連付けられたキャプションの各々の一つもしくは複数のトピックを推定してもよい。キャプションから推定されたトピックに基づいて、ソーシャルメディア投稿に関連付けられた潜在的トピックを潜在的トピックモデルを用いて推定してもよい。他のプロセスを使用して、キャプションの各々の潜在的トピックを推定してもよい。
潜在的トピックは、525で、ソーシャルメディア投稿の分類に基づいて、一つもしくは複数の位置カテゴリと関連付けられてもよい。図2及び図3はカテゴリツリーの例示的な実装を表し、カテゴリツリーは、525で、一つもしくは複数の位置カテゴリと潜在的トピックとを関連付けるために使用されてもよい。図5ではシーケンシャルなプロセスとして例示するが、520及び525のプロセスはシーケンシャルな形態に限定されるものではない。例示的な実装のいくつかにおいて、プロセスの520及び525は同時に実行されてもよい。例示的な実装のいくつかにおいて、キャプションの位置カテゴリ及び潜在的トピックは、Corr(Correspondence)LDA(Latent Dirichlet Allocation)生成モデルによって、位置カテゴリ及びキャプションの同時分類を学習することで関係付けられてもよい。トピックモデルを教育するためにより多くのデータを使用することで、データが疎らになることを抑制し、潜在的トピックが関連するビジネス施設カテゴリにより適切に対応することを保証する。
位置カテゴリ及び潜在的トピックの対応は、次に、図4のプロセス400で使用され、新しく受信したソーシャルメディア投稿に基づいてキャプションを生成してもよい。
「キャプション生成評価結果例」
BLEU−1(Bilingual Evaluation Understudy algorithm)を使用して、2つのテキスト列の用語がどの程度適合するか計測し、キャプション付加の性能を比較した。評価結果を表1に示す。表1の太字で示した数字は、最高のBLEU−1スコアを取得する2つの単一のコンテキストを強調する。表1における4つの単一のコンテキストについて、位置カテゴリもしくはビジネスアウェア潜在的トピック(Topics)は、異なる一般ビジネスカテゴリにわたって、より安定した寄与を有する。潜在的トピックは、一般ビジネスカテゴリの1つを除く全てについて強調されたコンテキストである。一貫性に関する改良は、トピックモデルに含まれた位置カテゴリもしくはビジネスアウェアネスに属していてもよい。
例示したように、画像コンテンツ(Image)は「トラベル」(Travel)及び「アウトドア」(Outdoor)位置に有効であるが、「フード」(Food)及び「ショップ」(Shop)画像コンテンツにはあまり有効ではない。視認可能な表現及び関連するキャプションの間の一貫性が限定されているためである。即ち、「フード」及び「ショップ」位置と関連付けられているソーシャルメディア投稿より「トラベル」及び「アウトドア」と関連付けられているソーシャルメディア投稿について画像コンテンツが予測するキャプションの信頼性は高い。「トラベル」及び「アウトドア」カテゴリでは、視認可能な表現(例えば、一般的なトラベル位置もしくはアウトドア位置の写真など)及びキャプションの間の一貫性がより高いからである。これは、「フード」及び「ショップ」位置(例えば、異なる種類のフードを食べる、異なる種類の商品を買う)と関連付けられたソーシャルメディア投稿では、キャプションを付加する異なる種類のアクティビティが多く存在するためである。
時間コンテキストには、主要な位置がショップ、バー及びレストランなどのインドアアクティビティを含むカテゴリについての情報が少ない。全体にわたって、単一コンテキストモデルの有効性は、位置カテゴリもしくはビジネスアウェア潜在的トピックと比較して、よりビジネスに依存し、これは、位置カテゴリまたはビジネスアウェアネスがキャプション付加のコンテキストを表現するために有効であることを示唆している。さらに、これにより、トピックモデルの生成にカテゴリラベルを組み込むことで、効率的にモデル化を行い、ユーザアクティビティの範囲を表現することを可能とすることが示される。
全体にわたって、潜在的トピックコンテキストと画像コンテキスト及び時間コンテキストとを組み合わせた複数のコンテキストを用いたモデルが、単一のコンテキストの何れかと比較して、ビジネス施設カテゴリについて最も適切に動作した。表1において括弧(即ち、())内に示される数字は、ベースライン(Baseline)及び画像(Image)と比較した複数コンテキストモデルの相対的な改善を示す。ベースラインと比較すると、8個のビジネスカテゴリの内6個が、少なくとも12%改善されていることが複数コンテキストモデルから理解される。
入力画像の参照テキストを収集する他の方法が存在するが(例えば、視認可能な類似画像もしくは類似ビジネスカテゴリと関連付けられているキャプション)、例示的な実装は、参照テキストとして入力画像の同じ施設で投稿された他の画像キャプションを使用することで、位置情報を利用する。過去の位置ベース画像のキャプション付加は、同じ場所で収集された画像のキャプションを要約した。関連技術のアプリケーションによる問題は、位置が有名なトラベルランドマークでない限り、全ての位置が十分な関連キャプションを有するわけではない、ということである。
したがって、指標としてビジネスで一般的なユーザアクティビティ及び位置のカテゴリを利用することで、個々の位置のデータが疎らである問題は回避可能である。例示されるように、表1の「GPS」の結果は、位置情報に完全に依存することが不十分であることを示し、ビジネス施設もしくは位置カテゴリをわたるパターンからの恩恵を受けることで、位置カテゴリまたはビジネスアウェアトピック(Topics)はより良好に機能する。
また、ビジネスアウェア施設カテゴリの使用は、ラベルとしてビジネス施設カテゴリを用いてCorr−LDAによってモデル化されたカテゴリラベル及びビジネスアウェアトピックなしで標準LDAによって教育される一般トピックと比較される。テストステージにおいて、双方の方法は、参照テキストとして、同じ施設で投稿された画像キャプションを使用する。
図6は、ベースラインと比較した一般トピック及びビジネスアウェアトピックを用いることによる相対的な改善を例示するグラフである。一般トピックを使用した結果は、同じチェックイン施設から収集されたテキストにおけるトピック分類が一貫しているか否かを示す。
ビジネスもしくは位置カテゴリアウェアトピックの結果は、トピックがビジネス関連であると、改善幅が大きい。ほとんどのビジネス施設もしくは位置カテゴリにおいて、キャプション生成は、一般的トピックよりもビジネスアウェアトピックからBLEU−1の相対的な改善が行われている。したがって、ビジネスアウェアネスからさらなる利益を得ることができる可能性がある。即ち、ビジネス施設もしくは位置カテゴリを用いることで、より適切なキャプションが自動的に生成される。例えば、画像投稿の検出された一般的なカテゴリが、投稿が車に関連付けられていることを示す場合、多様な潜在的トピックが可能であり得る(例えば、投稿は、事故、現在の交通状況、車の購入などに関連し得る)。反対に、検出したビジネス施設もしくは位置カテゴリが、画像投稿が車のディーラーに関連付けられていることを示す場合、ある潜在的なキャプショントピックである可能性がより高くなる(例えば、投稿は車の購入に関連する可能性がより高い。)。同様に、検出したビジネス施設もしくは位置カテゴリが、画像投稿が、高速道路もしくは一般道路に関連付けられていることを示す場合、異なる潜在的なキャプショントピックである可能性がより高くなる(例えば、投稿は交通状態もしくは事故に関連する可能性がより高い。)。
例示的な実験結果について説明したが、上記実験結果は例示的な目的で示したものであり、本発明の例示的な実装は、例示的な改善もしくは効率、もしくは他の改善もしくは効率の何れかを達成しなくてもよい。
「例示的な計算処理環境」
図7は、例示的な実装のいくつかでの使用に適した例示的な計算処理デバイス705を有する計算処理環境700を例示する。計算処理環境700の計算処理デバイス705は、一つもしくは複数の処理ユニット、コア、もしくはプロセッサ710、メモリ715(例えば、RAM、及び/もしくはROMなど)、内部ストレージ720(例えば、磁気、光、ソリッドステート、及び/もしくは有機ストレージなど)、及び/もしくはI/Oインターフェイス725を含むことができ、これらの何れかは通信機構もしくはバス730と接続され、計算処理デバイス705と情報を伝達してもよいし、計算処理デバイス705に埋め込まれていてもよい。
計算処理デバイス705は、伝達可能に、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740に接続されていてもよい。入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740の一方または両方は、有線もしくは無線インターフェイスであってよく、取り外し可能であってよい。入力/ユーザインターフェイス735は、物理的なもしくは仮想的な任意のデバイス、コンポーネント、センサ、もしくはインターフェイスを含み得る。これらは、(例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング/カーソルコントロール、マイクロフォン、カメラ、点字装置、モーションセンサ、及び/もしくはオプティカルリーダなどの)入力を提供するために使用されてもよい。出力デバイス/インターフェイス740は、表示装置、テレビモニタ、プリンタ、スピーカ、点字装置などを含む。例示的な実装において、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740は、計算処理デバイス705に埋め込まれていてもよいし、計算処理デバイス705に物理的に接続されていてもよい。他の例示的な実装において、他の計算処理デバイスは、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740として機能してもよいし、計算処理デバイス705に、入力/ユーザインターフェイス735及び出力デバイス/インターフェイス740の機能を提供してもよい。
計算処理デバイス705の例は、高機能モバイルデバイス(例えば、スマートフォン、乗り物及び他の機械のデバイス、人間及び動物によって搬送されるデバイスなど)、モバイルデバイス(例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど)、及び携帯可能に設計されていないデバイス(例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、一つもしくは複数のプロセッサが埋め込まれたテレビ、一つもしくは複数のプロセッサに接続されたテレビ、ラジオなど)を含み得る。
計算処理デバイス705は、外部ストレージ745及びネットワーク750に伝達可能に接続され(例えば、I/Oインターフェイス725を介して)、任意の数のネットワークコンポーネント、デバイス及び同じもしくは異なる構成の一つもしくは複数の計算処理デバイスを含むシステムと通信を行ってもよい。計算処理デバイス705もしくは任意の接続された計算処理デバイスは、サーバ、クライアント、シンサーバ、汎用機械、特殊用途機械、もしくは他のラベルとして機能してもよいし、これらのサービスを提供してもよいし、これらとして参照されてもよい。
I/Oインターフェイス725は、任意の通信もしくはI/Oプロトコルまたは規格(例えば、イーサネット(登録商標)、802.11x、USB(Universal System Bus)、WiMAX、モデム、携帯電話ネットワークプロトコルなど)などを用いた有線及び/もしくは無線インターフェイスを含み得る。有線及び/もしくは無線インターフェイスは、計算処理環境700の接続されたコンポーネント、デバイス及びネットワークの少なくとも全てに、及び/もしくは、計算処理環境700の接続されたコンポーネント、デバイス及びネットワークの少なくとも全てから、情報を伝達してもよい。ネットワーク750は、任意のネットワークもしくはネットワークの組み合わせ(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話通信ネットワーク、携帯電話通信ネットワーク、サテライトネットワークなど)であってよい。
計算処理デバイス705は、一時的媒体及び非一時的媒体を含む、コンピュータ利用可能もしくはコンピュータ読込可能媒体を使用してもよいし、及び/もしくは、これらを用いて通信を行ってもよい。一時的媒体は、伝送媒体(例えば、金属ケーブル、光ファイバ)、信号、搬送波などを含む。非一時的媒体は、磁気媒体(例えば、ディスク及びテープ)、光媒体(例えば、CD ROM、DVD、Blu−ray(登録商標)ディスク)、ソリッドステート媒体(例えば、RAM、ROM、フラッシュメモリ、ソリッドステートストレージ)及び他の不揮発性ストレージもしくはメモリを含む。
計算処理デバイス705は、技術、方法、アプリケーション、プロセスもしくはコンピュータ実行可能命令を例示的な計算処理環境のいくつかに実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から受信され、非一時的媒体に保存され、非一時的媒体から読み出されてもよい。実行可能命令は、任意のプログラム言語、スクリプト言語、及び機械言語(例えば、C、C++、C#、Java(登録商標)、ビジュアルベーシック、Python,Perl,JavaScript(登録商標)など)に由来する。
プロセッサ710は、自然環境もしくは仮想環境において、(図示しない)任意のオペレーティングシステム(OS)の下で稼動することができる。一つもしくは複数のアプリケーションは、論理ユニット755、アプリケーションプログラミングインターフェイス(API)ユニット760、入力ユニット765、出力ユニット770、キャプション生成手段790、及び、異なるユニット間で相互に通信を行うためのユニット間通信機構795を含み、OS、及び(図示しない)他のアプリケーションと共に、展開される。例えば、トピックモデル生成手段775、参照データ収集手段780、言語モデル識別手段785、及びキャプション生成手段790は、図4及び図5に示される一つもしくは複数のプロセスを実装してもよい。説明したユニット及び構成要素の設計、機能、構成もしくは実装は多様であり、上記説明に限定されない。
例示的実装のいくつかにおいて、情報もしくは実行命令がAPIユニット760で受信されると、情報もしくは実行命令は一つもしくは複数の他のユニット(例えば、論理ユニット755、入力ユニット765、出力ユニット770、トピックモデル生成手段775、参照データ収集手段780、言語モデル識別手段785、及びキャプション生成手段790)に伝達され得る。例えば、ソーシャルメディア投稿が入力ユニット765を介して受信されると、参照データ収集手段780は投稿を分析し、参照データを収集する。また、トピックモデル生成手段775は、複数のソーシャルメディア投稿及びソーシャルメディア投稿に関連付けられているキャプションに基づいて、一つもしくは複数の潜在的トピックモデルを生成してもよい。また、参照データ収集手段780が参照データを収集した後、及び、トピックモデル生成手段775が潜在的トピックモデルを生成した後、言語モデル識別手段785は使用される言語モデルを識別し、キャプションを生成してもよい。識別された言語モデル、収集した参照データ及び潜在的トピックモデルに基づいて、キャプション生成手段790は、出力ユニット770を用いて出力され得る受信したソーシャルメディア投稿のためのキャプションを生成してもよい。
いくつかの例において、論理ユニット755はユニット間の情報フローを制御するように構成され、上記例示的な実装のいくつかにおいて、APIユニット760、入力ユニット765、出力ユニット770、トピックモデル生成手段775、参照データ収集手段780、言語モデル識別手段785及びキャプション生成手段790によって提供されるサービスを方向付ける。例えば、一つもしくは複数のプロセスもしくは実装のフローは、論理ユニット755のみによって制御されてもよいし、論理ユニット755及びAPIユニット760によって制御されてもよい。
例示的な実装のいくつかについて説明したが、これらの例示的な実装は、この技術分野をよく知る者に本発明の主題を伝えるために提供された。ここで説明した主題は、上記例示的な実装に限定されず、様々な形態で実装され得る。ここで説明した主題は、詳細に定義した、もしくは説明した内容なしで実行されてもよいし、説明していない異なる構成要素もしくは内容で実行されてもよい。ここで説明した主題から乖離することなく、例示的な実装に変更を加えることができる。
700 計算処理環境
705 計算処理デバイス
710 プロセッサ
715 メモリ
750 ネットワーク

Claims (20)

  1. コンピュータが、
    ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
    ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
    推定した前記潜在的トピックに基づいて言語モデルと関連付けられているパラメータを設定し、
    識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも1つ生成する、
    ソーシャルメディア投稿のキャプションを生成する方法。
  2. 収集した複数のソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいてトピック推定モデルを生成する、
    ことをさらに含む、
    請求項1に記載の方法。
  3. 前記トピック推定モデルを生成することは、
    収集した複数の前記ソーシャルメディア投稿に関連付けられている前記参照データ及び前記キャプションを収集し、
    関連付けられている前記参照データに基づいて、一つもしくは複数の位置カテゴリに収集した複数の前記ソーシャルメディア投稿を分類し、
    前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、
    収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、
    ことを含む、
    請求項2に記載の方法。
  4. 前記ソーシャルメディア投稿を生成した前記キャプションと共にソーシャルメディアネットワークに伝送する、
    ことをさらに含む、
    請求項1〜請求項3の何れか1項に記載の方法。
  5. 前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、ユーザに少なくとも1つの生成した前記キャプションを伝送し、
    生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
    請求項1〜請求項4の何れか1項に記載の方法。
  6. 生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、
    識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第2キャプションを生成する、
    ことをさらに含む、
    請求項5に記載の方法。
  7. 前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置での一般的なユーザアクティビティに関連する記述テキスト、一つもしくは複数の位置カテゴリでの一般的なユーザアクティビティに関連する記述テキスト、位置記述、位置カテゴリ記述、の一つもしくは複数を含む、
    請求項1〜請求項6の何れか1項に記載の方法。
  8. ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
    前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
    推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、
    識別した前記言語モデル及び推定した前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のキャプションを少なくとも1つ生成する、
    ことを含む、ソーシャルメディア投稿のためのキャプションを生成する処理をコンピュータに実行させるためのプログラム。
  9. 前記処理は、
    収集した複数の前記ソーシャルメディア投稿に関連付けられている参照データ及び収集した複数の前記ソーシャルメディア投稿に関連付けられているキャプションに基づいて、前記トピック推定モデルを生成する、
    ことをさらに含む、
    請求項8に記載のプログラム。
  10. 前記トピック推定モデルを生成することは、
    収集した複数の前記ソーシャルメディア投稿と関連付けられている参照データ及びキャプションを収集し、
    関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、
    前記ソーシャルメディア投稿と関連付けられている前記キャプションから潜在的トピックを抽出し、
    収集した複数のソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出した前記潜在的トピックとを関連付ける、
    ことを含む、
    請求項9に記載のプログラム。
  11. 前記処理は、
    前記ソーシャルメディア投稿を、生成した少なくとも1つのキャプションと共に、ソーシャルメディアネットワークに伝送する、
    ことをさらに含む、
    請求項8〜請求項10の何れか1項に記載のプログラム。
  12. 前記処理は、
    前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも1つの前記キャプションを、ユーザに伝送し、
    生成した前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
    ことをさらに含む、
    請求項8〜請求項11の何れか1項に記載のプログラム。
  13. 前記処理は、
    生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、前記ユーザに追加的な参照データのリクエストを伝送し、
    識別した前記言語モデル、推定した前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿のための第2キャプションを生成する、
    ことをさらに含む、
    請求項12に記載のプログラム。
  14. 前記ソーシャルメディア投稿に関連付けられている収集した前記参照データは、一つもしくは複数の位置に一般的なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに一般的なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述、の一つもしくは複数を含む、
    請求項8〜請求項13の何れか1項に記載のプログラム。
  15. メモリと、
    プロセッサと、
    を含むサーバ装置であって、
    前記プロセッサは、
    ソーシャルメディアネットワークに投稿されるソーシャルメディア投稿を受信し、
    前記ソーシャルメディア投稿に関連付けられている位置のカテゴリで発生するアクティビティを判定することに関連する参照データに基づいて、トピック推定モデルからキャプションの潜在的トピックを推定し、
    推定した前記潜在的トピックに基づいて、言語モデルと関連付けられているパラメータを設定し、
    識別された前記言語モデル及び推定された前記潜在的トピックに基づいて、前記ソーシャルメディア投稿のためのキャプションを少なくとも1つ生成する、
    ソーシャルメディア投稿のためのキャプションを生成するサーバ装置。
  16. 前記プロセッサは、さらに、
    収集した複数の前記ソーシャルメディア投稿と関連付けられている前記キャプション及び前記参照データを収集し、
    関連付けられている前記参照データに基づいて、収集した複数の前記ソーシャルメディア投稿を一つもしくは複数の位置カテゴリに分類し、
    前記ソーシャルメディア投稿に関連付けられている前記キャプションから潜在的トピックを抽出し、
    収集した複数の前記ソーシャルメディア投稿が分類された一つもしくは複数の位置カテゴリと抽出したトピックとを関連付ける、
    ことにより、
    収集した複数の前記ソーシャルメディア投稿と関連付けられているキャプション及び参照データに基づいて、前記トピック推定モデルを生成する、
    請求項15に記載のサーバ装置。
  17. 前記プロセッサは、さらに、
    生成した少なくとも1つの前記キャプションと共に、前記ソーシャルメディア投稿を前記ソーシャルメディアネットワークに伝送する、
    請求項15または請求項16に記載のサーバ装置。
  18. 前記プロセッサは、さらに、
    前記ソーシャルメディア投稿をソーシャルメディアネットワークに伝送する前に、生成した少なくとも1つの前記キャプションをユーザに伝送し、
    生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信したことに基づいて、ソーシャルメディアネットワークに前記ソーシャルメディア投稿を伝送する、
    請求項15〜請求項17の何れか1項に記載のサーバ装置。
  19. 前記プロセッサは、さらに、
    生成した少なくとも1つの前記キャプションの承認を前記ユーザから受信しないことに基づいて、追加的な参照データのリクエストを前記ユーザに伝送し、
    識別された前記言語モデル、推定された前記潜在的トピック、及び前記ユーザから受信した追加的な参照データに基づいて、前記ソーシャルメディア投稿の第2キャプションを生成する、
    請求項18に記載のサーバ装置。
  20. 前記ソーシャルメディア投稿と関連付けられている収集した前記参照データは、一つもしくは複数の位置に共通なユーザアクティビティに関連するテキスト記述、一つもしくは複数の位置カテゴリに共通なユーザアクティビティに関連するテキスト記述、位置記述及び位置カテゴリ記述の一つもしくは複数を含む、
    請求項15〜請求項19の何れか1項に記載のサーバ装置。
JP2016048424A 2015-12-17 2016-03-11 ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置 Expired - Fee Related JP6662119B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/973,264 2015-12-17
US14/973,264 US10489447B2 (en) 2015-12-17 2015-12-17 Method and apparatus for using business-aware latent topics for image captioning in social media

Publications (2)

Publication Number Publication Date
JP2017111782A true JP2017111782A (ja) 2017-06-22
JP6662119B2 JP6662119B2 (ja) 2020-03-11

Family

ID=59067043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016048424A Expired - Fee Related JP6662119B2 (ja) 2015-12-17 2016-03-11 ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置

Country Status (2)

Country Link
US (1) US10489447B2 (ja)
JP (1) JP6662119B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185738A (ja) * 2018-04-13 2019-10-24 富士ゼロックス株式会社 コンテンツメディアにテキスト要約を関連付けるためのシステム及び方法、プログラム、及びコンピュータ装置
JP2019219827A (ja) * 2018-06-18 2019-12-26 日本放送協会 言語モデル学習装置およびそのプログラム、ならびに、単語推定装置およびそのプログラム
JP2020013541A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器
US10943249B2 (en) * 2018-06-07 2021-03-09 Capital One Services, Llc System and method for providing enhanced rewards to customers
JP2021513699A (ja) * 2018-02-06 2021-05-27 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 コンテンツ投稿方法、コンテンツ投稿装置並びに読み取り可能な記憶媒体
JP7152124B1 (ja) 2022-03-28 2022-10-12 株式会社オプティム プログラム、情報処理装置、方法、及びシステム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11709996B2 (en) * 2016-12-30 2023-07-25 Meta Platforms, Inc. Suggesting captions for content
US20180315414A1 (en) 2017-04-26 2018-11-01 International Business Machines Corporation Adaptive digital assistant and spoken genome
US10805647B2 (en) * 2017-12-21 2020-10-13 Facebook, Inc. Automatic personalized story generation for visual media
US11507614B1 (en) * 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US11106868B2 (en) * 2018-03-06 2021-08-31 Samsung Electronics Co., Ltd. System and method for language model personalization
US11164026B2 (en) 2018-10-16 2021-11-02 International Business Machines Corporation Graphical user interface generation based on image analysis

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175583B2 (en) * 2008-05-12 2012-05-08 Research In Motion Limited System and method for automatically drafting a blog entry
US8655889B2 (en) 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
US8620718B2 (en) * 2012-04-06 2013-12-31 Unmetric Inc. Industry specific brand benchmarking system based on social media strength of a brand
US10366422B2 (en) * 2015-09-09 2019-07-30 Google Llc Quality visit measure for controlling computer response to query associated with physical location

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7004944B2 (ja) 2018-02-06 2022-01-21 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 コンテンツ投稿方法、コンテンツ投稿装置並びに読み取り可能な記憶媒体
US11429659B2 (en) 2018-02-06 2022-08-30 Tencent Technology (Shenzhen) Company Limited Content publishing method and apparatus and readable storage medium
JP2021513699A (ja) * 2018-02-06 2021-05-27 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 コンテンツ投稿方法、コンテンツ投稿装置並びに読み取り可能な記憶媒体
JP7283086B2 (ja) 2018-04-13 2023-05-30 富士フイルムビジネスイノベーション株式会社 コンテンツメディアにテキスト要約を関連付けるためのシステム及び方法、プログラム、及びコンピュータ装置
JP2019185738A (ja) * 2018-04-13 2019-10-24 富士ゼロックス株式会社 コンテンツメディアにテキスト要約を関連付けるためのシステム及び方法、プログラム、及びコンピュータ装置
US10943249B2 (en) * 2018-06-07 2021-03-09 Capital One Services, Llc System and method for providing enhanced rewards to customers
US20210166259A1 (en) * 2018-06-07 2021-06-03 Capital One Services, Llc System and method for providing enhanced rewards to customers
JP7101057B2 (ja) 2018-06-18 2022-07-14 日本放送協会 言語モデル学習装置およびそのプログラム、ならびに、単語推定装置およびそのプログラム
JP2019219827A (ja) * 2018-06-18 2019-12-26 日本放送協会 言語モデル学習装置およびそのプログラム、ならびに、単語推定装置およびそのプログラム
JP2020013541A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器
JP7314538B2 (ja) 2018-07-17 2023-07-26 富士フイルムビジネスイノベーション株式会社 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器
JP7152124B1 (ja) 2022-03-28 2022-10-12 株式会社オプティム プログラム、情報処理装置、方法、及びシステム
JP2023144874A (ja) * 2022-03-28 2023-10-11 株式会社オプティム プログラム、情報処理装置、方法、及びシステム

Also Published As

Publication number Publication date
US20170177623A1 (en) 2017-06-22
US10489447B2 (en) 2019-11-26
JP6662119B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6662119B2 (ja) ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置
US11488070B2 (en) Iterative classifier training on online social networks
US10402703B2 (en) Training image-recognition systems using a joint embedding model on online social networks
JP6575335B2 (ja) ソーシャルメディアメッセージ及び施設の間のリンクを推定する方法、コンピュータシステム、及びプログラム
JP6838376B2 (ja) 製品関連情報を送信する方法、プログラム、及びサーバ装置。
US10496752B1 (en) Consumer insights analysis using word embeddings
JP6759844B2 (ja) 画像を施設に対して関連付けるシステム、方法、プログラム及び装置
US10409823B2 (en) Identifying content for users on online social networks
US11182806B1 (en) Consumer insights analysis by identifying a similarity in public sentiments for a pair of entities
US10685183B1 (en) Consumer insights analysis using word embeddings
US10083379B2 (en) Training image-recognition systems based on search queries on online social networks
US20180101540A1 (en) Diversifying Media Search Results on Online Social Networks
US10509832B2 (en) Generating snippet modules on online social networks
JP6109970B2 (ja) オンライン・ソーシャル・ネットワーク上での画像に対するタグ付けの提案
US10509863B1 (en) Consumer insights analysis using word embeddings
US10459950B2 (en) Aggregated broad topics
US20150149539A1 (en) Trending Data Demographics
US20200065422A1 (en) Document Entity Linking on Online Social Networks
US11019177B2 (en) Selecting assets
Feng et al. Extraction and analysis of natural disaster-related VGI from social media: review, opportunities and challenges
US20190197400A1 (en) Topic classification using a jointly trained artificial neural network
US11093969B2 (en) Cross-domain contextual targeting without any in-domain labelled data
US10339559B2 (en) Associating social comments with individual assets used in a campaign
KR101859822B1 (ko) 컨텐츠 포스팅 방법 및 포스팅 장치
JP6499763B2 (ja) ビデオ情報に対して検証を行うための方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190123

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees