JP2021149716A - 生成装置、生成方法及び生成プログラム - Google Patents

生成装置、生成方法及び生成プログラム Download PDF

Info

Publication number
JP2021149716A
JP2021149716A JP2020050318A JP2020050318A JP2021149716A JP 2021149716 A JP2021149716 A JP 2021149716A JP 2020050318 A JP2020050318 A JP 2020050318A JP 2020050318 A JP2020050318 A JP 2020050318A JP 2021149716 A JP2021149716 A JP 2021149716A
Authority
JP
Japan
Prior art keywords
content
policy
changed
modified
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020050318A
Other languages
English (en)
Inventor
孝太 坪内
Kota Tsubouchi
孝太 坪内
照彦 寺岡
Teruhiko Teraoka
照彦 寺岡
秀仁 五味
Hidehito Gomi
秀仁 五味
潤一 佐藤
Junichi Sato
潤一 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2020050318A priority Critical patent/JP2021149716A/ja
Priority to US17/196,453 priority patent/US11776183B2/en
Publication of JP2021149716A publication Critical patent/JP2021149716A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】適切なコンテンツを生成する。【解決手段】本願に係る生成装置は、公開対象となるコンテンツ（例えば、利用者が公開を希望する画像）と、当該コンテンツの公開方針を示す方針情報（例えば、画像のキャプションとして利用者が入力したテキスト）とを取得する取得部と、方針情報が示す公開方針に基づいて、コンテンツのうち所定の部分を変更した変更コンテンツ（例えば、公開方針に基づいて特定したオブジェクトを強調したコンテンツ）を生成する生成部とを有することを特徴とする。【選択図】図１

Description

本発明は、生成装置、生成方法及び生成プログラムに関する。
従来、画像に含まれる人等の対象物を認識して行われる画像処理に関する技術が提供されている。このような技術の一例として、画像に基づいて抽出された特徴領域情報と、画像に関連する文字情報に基づいて抽出された特徴領域情報とを含む複数の特徴領域情報に基づいて、画像から加工画像を生成する技術が知られている。
特許第６２３０６３４号公報
しかしながら、上述した技術では、適切なコンテンツを生成しているとは言えない場合がある。
例えば、上述した技術では、ニュース記事の文字情報から形態素解析等により抽出したトピックに基づいて当該ニュース記事の画像から加工画像を生成しているに過ぎず、当該ニュース記事のコンテキストが加工画像に反映されない場合があり、適切なコンテンツを生成しているとは言えない場合がある。
本願は、上記に鑑みてなされたものであって、適切なコンテンツを生成することを目的とする。
本願に係る生成装置は、公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する取得部と、前記方針情報が示す公開方針に基づいて、前記コンテンツのうち所定の部分を変更した変更コンテンツを生成する生成部とを有することを特徴とする。
実施形態の一態様によれば、適切なコンテンツを生成することができるという効果を奏する。
図１は、実施形態に係る生成処理の一例を示す図である。 図２は、実施形態に係る生成モデル及び評価モデルを用いた処理の一例を示す図である。 図３は、実施形態に係る情報提供装置の構成例を示す図である。 図４は、実施形態に係る学習データデータベースの一例を示す図である。 図５は、実施形態に係る生成処理の手順の一例を示すフローチャートである。 図６は、実施形態に係る学習処理の手順の一例を示すフローチャートである。 図７は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に本願に係る生成装置、生成方法及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔１．実施形態〕
図１を用いて、本実施形態の生成装置等により実現される生成処理を説明する。図１は、実施形態に係る生成処理の一例を示す図である。なお、図１では、本願に係る生成装置の一例である情報提供装置１０によって、実施形態に係る生成処理などが実現されるものとする。
図１に示すように、実施形態に係る生成システム１は、情報提供装置１０と、端末装置１０１と、端末装置１０２（以下、端末装置１０１及び端末装置１０２を「端末装置１００」と総称する場合がある）と、ＳＮＳ（Social Network Service）サーバ２００とを含む。情報提供装置１０、端末装置１００及びＳＮＳサーバ２００は、ネットワークＮ（例えば、図２参照）を介して有線または無線により相互に通信可能に接続される。ネットワークＮは、例えば、インターネットなどのＷＡＮ（Wide Area Network）である。なお、図１に示した生成システム１には、複数台の情報提供装置１０、複数台の端末装置１００及び複数台のＳＮＳサーバ２００が含まれていてもよい。
図１に示す情報提供装置１０は、生成処理を行う情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。図１の例において、情報提供装置１０は、利用者から受け付けたコンテンツのうち所定の部分を変更した変更コンテンツを生成する。
図１に示す端末装置１００は、利用者によって利用される情報処理装置である。例えば、端末装置１００は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１００は、情報提供装置１０やＳＮＳサーバ２００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。なお、図１に示す例では、端末装置１００がスマートフォンである場合を示す。
また、端末装置１００は、所定の情報処理を実現する制御情報を情報提供装置１０やＳＮＳサーバ２００から受け取った場合には、制御情報に従って情報処理を実現する。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報提供装置１０やＳＮＳサーバ２００から配信される所定のアプリケーションそのものを制御情報とみなしてもよい。
図１に示すＳＮＳサーバ２００は、ＳＮＳサービスを提供する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、ＳＮＳサーバ２００は、利用者が入力したテキストや、利用者が端末装置１００を用いて撮影した画像（静止画像、動画像）などといった各種情報の投稿を受け付けると、受け付けた情報を公開することで、ＳＮＳの利用者の間で情報を共有させる。
以下、図１を用いて、情報提供装置１０が行う生成処理について説明する。なお、以下の説明では、端末装置１０１が利用者Ｕ１により利用され、端末装置１０２が利用者Ｕ２により利用される例を示す。また、以下の説明では、端末装置１０１を利用者Ｕ１と同一視し、端末装置１０２を利用者Ｕ２と同一視する場合がある。すなわち、以下では、利用者Ｕ１を端末装置１０１と読み替え、利用者Ｕ２を端末装置１０２と読み替えることもできる。
まず、情報提供装置１０は、画像とテキストとの投稿を利用者Ｕ１から受け付ける（ステップＳ１）。例えば、情報提供装置１０は、利用者Ｕ１がＳＮＳサービスへの投稿を希望する画像Ｃ１０と、テキストＴ１０とを受け付ける。具体的な例を挙げると、情報提供装置１０は、利用者Ｕ１が端末装置１０１を用いて撮影した画像Ｃ１０と、画像Ｃ１０のキャプションとして利用者Ｕ１が入力したテキストＴ１０とを受け付ける。
続いて、情報提供装置１０は、テキストＴ１０が示すコンテキストに合わせて、画像Ｃ１０の一部分の視認性を変更した変更コンテンツを生成する（ステップＳ２）。例えば、情報提供装置１０は、テキストＴ１０から画像Ｃ１０と対応するコンテキストを推定し、画像Ｃ１０から、コンテキストに対応するオブジェクトを任意の画像認識技術を用いて特定する。そして、情報提供装置１０は、特定したオブジェクトが含まれない領域の視認性を低下させた変更コンテンツＣ１１を生成する。具体的な例を挙げると、情報提供装置１０は、テキストＴ１０が示す「コメント：デートに行ってきました」に基づいて、コンテキストを「デート（言い換えると、特定の人物との行動の共有）」と推定し、画像Ｃ１０のうち、コンテキストに対応するオブジェクト「人物」が含まれない領域の視認性を低下させた変更コンテンツＣ１１を生成する。
続いて、情報提供装置１０は、変更コンテンツＣ１１をＳＮＳサーバ２００に投稿する（ステップＳ３）。例えば、情報提供装置１０は、変更コンテンツＣ１１と、テキストＴ１０とをＳＮＳサーバ２００に投稿する。そして、ＳＮＳサーバ２００は、受け付けた情報をＳＮＳサービスにおいて公開する。
続いて、情報提供装置１０は、画像とテキストとの投稿を利用者Ｕ２から受け付ける（ステップＳ４）。例えば、情報提供装置１０は、利用者Ｕ２がＳＮＳサービスへの投稿を希望する画像Ｃ２０と、テキストＴ２０とを受け付ける。具体的な例を挙げると、情報提供装置１０は、利用者Ｕ２が端末装置１０２を用いて撮影した画像Ｃ２０と、画像Ｃ２０のキャプションとして利用者Ｕ２が入力したテキストＴ２０とを受け付ける。
続いて、情報提供装置１０は、テキストＴ２０が示すコンテキストに合わせて、画像Ｃ２０の一部分の視認性を変更した変更コンテンツを生成する（ステップＳ５）。例えば、情報提供装置１０は、テキストＴ２０が示す「コメント：アートを見てきました」に基づいて、コンテキストを「アート（言い換えると、人物以外の物体）」と推定し、画像Ｃ２０のうち、オブジェクト「人物」が含まれる領域の視認性を低下させた変更コンテンツＣ２１を生成する。
続いて、情報提供装置１０は、変更コンテンツＣ２１をＳＮＳサーバ２００に投稿する（ステップＳ６）。例えば、情報提供装置１０は、変更コンテンツＣ２１と、テキストＴ２０とをＳＮＳサーバ２００に投稿する。そして、ＳＮＳサーバ２００は、受け付けた情報をＳＮＳサービスにおいて公開する。
なお、図１の例では、情報提供装置１０が、利用者が入力したテキストから推定したコンテキストに基づいて変更コンテンツを生成する例を示したが、情報提供装置１０により実現される生成処理はこのような例に限定されない。例えば、情報提供装置１０は、利用者が撮影した画像と、当該画像のキャプションとして利用者が入力したテキストが示すコンテキストとに基づいて変更コンテンツを生成（出力）するよう学習が行われた生成モデルを用いることにより、生成処理を実現してもよい。また、情報提供装置１０は、評価モデルを用いて、生成モデルにより生成した変更コンテンツが、変更前の画像のキャプションが示すコンテキストと合致するかを評価し、評価結果に基づいて生成モデルの強化学習を行ってもよい。ここで、図２を用いて、生成モデルを用いた生成処理、並びに、評価モデルを用いた強化学習について説明する。図２は、実施形態に係る生成モデル及び評価モデルを用いた処理の一例を示す図である。
なお、以下の説明において、評価モデルは、変更前の画像のキャプションが示すコンテキストに合致する変更コンテンツ（すなわち、正例）が入力された場合に、変更前の画像のキャプションが示すコンテキストに合致しない変更コンテンツ（すなわち、負例）が入力された場合よりも高い評価を出力するように学習が行われているものとする。
図２に示すように、情報提供装置１０は、生成モデルに画像Ｃ２０及びテキストＴ２０を入力し、変更コンテンツＣ２１を生成する。そして、情報提供装置１０は、テキストＴ２０及び変更コンテンツＣ２１を評価モデルに入力し、変更コンテンツＣ２１が、テキストＴ２０が示すコンテキストに合致する変更が行われたコンテンツであるかを評価する。
ここで、図２の例において、評価モデルが出力した評価に基づき、テキストＴ２０が示すコンテキストに変更コンテンツＣ２１が合致すると判定した場合、情報提供装置１０は、変更コンテンツＣ２１の生成に対する報酬として正の報酬を設定し、生成モデルの強化学習を行う。一方、評価モデルが出力した評価に基づき、テキストＴ２０が示すコンテキストに変更コンテンツＣ２１が合致しないと判定した場合、情報提供装置１０は、変更コンテンツＣ２１の生成に対する報酬として負の報酬を設定し、生成モデルの強化学習を行う。
以上のように、実施形態に係る情報提供装置１０は、利用者がＳＮＳサービスへ画像を投稿する際、当該画像について利用者が入力したテキストが示すコンテキストに基づいて、当該画像の一部分を変更した変更コンテンツを生成する。これにより、実施形態に係る情報提供装置１０は、利用者が入力したテキストにおいて示される画像公開の意図を反映した変更コンテンツを生成することができる。すなわち、実施形態に係る情報提供装置１０は、適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０は、変更コンテンツと、変更前の画像のキャプションが示すコンテキストとが合致するか否かを評価した評価結果に基づいて、変更コンテンツを生成する生成モデルの強化学習を行う。これにより、実施形態に係る情報提供装置１０は、利用者の画像公開の意図を反映した適切な変更コンテンツを生成するよう生成モデルの強化学習を行うため、利用者にとって違和感のない変更コンテンツを生成することができる。すなわち、実施形態に係る情報提供装置１０は、適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０は、各種のセンサが検知した現実世界（リアリティ）の情報を検知情報として取得し、取得した検知情報から検知世界（センスドリアリティ）を構築する。そして、情報提供装置１０は、検知世界に含まれる各種の対象（現実世界における対象と対応）のうち、所定の条件を満たす対象を消去、変更、若しくは、認識の容易性を低下させた減少世界（ディミニッシュドリアリティ）を各種の提供手段により利用者に提供する。この結果、実施形態に係る情報提供装置１０は、利用者が認知したくない、若しくは、利用者に認知させたくない情報を利用者の認知対象から除外することができる。
〔２．情報提供装置の構成〕
次に、図３を用いて、情報提供装置１０の構成について説明する。図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。
（通信部２０について）
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や、ＳＮＳサーバ２００等との間で情報の送受信を行う。
（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部３０は、生成モデルデータベース３１と、評価モデルデータベース３２と、学習データデータベース３３とを有する。
（生成モデルデータベース３１について）
生成モデルデータベース３１は、コンテンツと、当該コンテンツの変更方針とが入力された場合に、当該変更方針に基づく変更態様で当該コンテンツの一部を変更した変更コンテンツを生成する生成モデルを記憶する。
（評価モデルデータベース３２について）
評価モデルデータベース３２は、変更コンテンツと、コンテンツの変更方針とが入力された場合に、当該変更コンテンツが当該変更方針と合致する変更が行われたかを評価する評価モデルを記憶する。
（学習データデータベース３３について）
学習データデータベース３３は、評価モデルの学習に用いられる学習データを記憶する。ここで、図４を用いて、学習データデータベース３３が記憶する情報の一例を説明する。図４は、実施形態に係る学習データデータベースの一例を示す図である。図４の例において、学習データデータベース３３は、「学習データＩＤ」、「変更コンテンツ」、「変更方針」、「データ種別」といった項目を有する。
「学習データＩＤ」は、学習データを識別するための識別情報を示す。「変更コンテンツ」は、変更方針に基づいて変更した変更コンテンツを示す。「変更方針」は、変更コンテンツを生成する際に用いられた変更方針を示す。「データ種別」は、学習データが正例であるか負例であるかの種別を示す。
すなわち、図４では、学習データＩＤ「Ｐ１」によって識別される学習データに、変更コンテンツ「変更コンテンツ＃１」及び変更方針「変更方針＃１」が含まれ、当該学習データの種別が「正例」である例を示す。
（制御部４０について）
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部４０は、図３に示すように、コンテンツ取得部４１と、変更コンテンツ生成部４２と、提供部４３と、評価モデル学習部４４と、変更コンテンツ取得部４５と、評価部４６と、生成モデル学習部４７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
（コンテンツ取得部４１について）
コンテンツ取得部４１は、公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する。例えば、図１の例において、コンテンツ取得部４１は、利用者Ｕ１がＳＮＳサービスにおいて公開される画像Ｃ１０と、画像Ｃ１０に関して入力されたテキストＴ１０とを端末装置１０１から取得する。
また、コンテンツ取得部４１は、利用者から、コンテンツと、当該コンテンツの公開方針を示す方針情報とを取得してもよい。例えば、図１の例において、コンテンツ取得部４１は、利用者Ｕ１がＳＮＳサービスへの投稿を希望する画像Ｃ１０と、テキストＴ１０とを取得する。
また、コンテンツ取得部４１は、コンテンツとして、画像を取得し、方針情報として、当該画像のキャプションとして利用者が入力したテキストを取得してもよい。例えば、図１の例において、コンテンツ取得部４１は、利用者Ｕ１が端末装置１０１を用いて撮影した画像Ｃ１０と、画像Ｃ１０のキャプションとして利用者Ｕ１が入力したテキストＴ１０とを取得する。
また、コンテンツ取得部４１は、利用者の行動履歴を方針情報として取得してもよい。例えば、コンテンツ取得部４１は、ＳＮＳサーバ２００が提供するＳＮＳサービスや、他の外部サーバが提供する各種のサービスなどにおける利用者の行動履歴を方針情報として取得する。
（変更コンテンツ生成部４２について）
変更コンテンツ生成部４２は、方針情報が示す公開方針に基づいて、コンテンツのうち所定の部分を変更した変更コンテンツを生成する。例えば、図１の例において、変更コンテンツ生成部４２は、テキストＴ１０が示す情報に基づいて、画像Ｃ１０のうち、テキストＴ１０が示す情報に対応する領域の視認性を変更した変更コンテンツＣ１１を生成する。
また、変更コンテンツ生成部４２は、テキストからコンテンツと対応するコンテキストを推定し、推定したコンテキストに応じて変更コンテンツを生成してもよい。例えば、図１の例において、変更コンテンツ生成部４２は、テキストＴ１０から画像Ｃ１０と対応するコンテキストを「デート（言い換えると、特定の人物との行動の共有）」と推定し、画像Ｃ１０のうち、コンテキストに対応するオブジェクト「人物」が含まれない領域の視認性を低下させた変更コンテンツＣ１１を生成する。
また、変更コンテンツ生成部４２は、公開方針に基づいて、時間に応じて異なる態様でコンテンツを変更した変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、変更コンテンツを生成した後、利用者の行動履歴が示すコンテキスト（例えば、趣味嗜好）が時間経過に応じて変化した場合、変化後のコンテキストに基づいて、当該変更コンテンツのうち所定の部分を変更する。図１に示す例で説明すると、変更コンテンツ生成部４２は、変更コンテンツＣ１１を生成した後、行動履歴が示す利用者Ｕ１の趣味嗜好が「アート」に変化した場合、画像Ｃ１０のうち、オブジェクト「人物」が含まれる領域の視認性を低下させた新たな変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、所定の場所の視認性を向上させた変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、コンテンツのうち、利用者のコンテキストに対応する場所の視認性を向上させた変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、所定の場所以外の場所の視認性を低下させた変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、コンテンツのうち、利用者のコンテキストに対応する場所以外の視認性を低下させた変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、所定の場所の視認性を低下させた変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、コンテンツのうち、利用者のコンテキストに対応する場所の視認性を低下させた変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクトを強調した変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、コンテンツから、公開方針に対応するオブジェクトを任意の画像認識技術を用いて特定する。そして、変更コンテンツ生成部４２は、特定したオブジェクトの視認性を向上させた変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクト以外のオブジェクトの視認性を低下させた変更コンテンツを生成してもよい。例えば、図１の例において、変更コンテンツ生成部４２は、テキストＴ１０に基づいて推定した画像Ｃ１０のコンテキスト「デート（言い換えると、特定の人物との行動の共有）」に基づいて、画像Ｃ１０のうち、コンテキストに対応するオブジェクト「人物」を特定し、オブジェクト「人物」が含まれない領域の視認性を低下させた変更コンテンツＣ１１を生成する。
また、変更コンテンツ生成部４２は、コンテンツ取得部４１により取得された利用者の行動履歴が示すコンテキストに従って、コンテンツの一部を変更した変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、利用者の行動履歴が示すデモグラフィック属性やサイコグラフィック属性などのコンテキストに従って、当該利用者が公開を希望するコンテンツの一部を変更した変更コンテンツを生成する。具体的な例を挙げると、ウェブブログサービスにおける投稿履歴に基づき、利用者のコンテキスト（趣味）が「料理」と推定される場合、変更コンテンツ生成部４２は、当該ウェブブログサービスや他のサービスにおいて当該利用者が公開を希望する画像のうち、コンテキスト「料理」に対応するオブジェクトを強調した変更コンテンツを生成する。また、ＳＮＳサービスやウェブブログサービスにおける所定の期間内（例えば、直近の１ヶ月）の投稿履歴に基づき、利用者のコンテキストが「友達」と推定される場合、変更コンテンツ生成部４２は、当該利用者が公開を希望する画像のうち、コンテキスト「友達」に対応するオブジェクト（例えば、人物）強調した変更コンテンツを生成する。また、検索履歴や閲覧したコンテンツの履歴などに基づき、利用者のコンテキスト（趣味）が「食べ歩き」と推定される場合、変更コンテンツ生成部４２は、当該利用者が公開を希望する画像のうち、コンテキスト「食べ歩き」に対応するオブジェクト（例えば、料理）を強調した変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、音声が示すコンテキストに従って、当該音声に対応する動画像の一部を変更した変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、音声及び動画像を含むマルチメディアにおいて、音声が別の音声に変更された場合に、変更後の音声が示すコンテキストに従って、動画像の一部を変更した変更コンテンツを生成する。具体的な例を挙げると、変更コンテンツ生成部４２は、音声及び動画像を含むマルチメディアにおいて、動画像に含まれる人物の不適切な発言が他の音声に変更された場合、当該人物が不適切な発言をした際の口の動きが変更後の音声に対応するように変更された変更コンテンツを生成する。また、変更コンテンツ生成部４２は、音声及び動画像を含むマルチメディアにおいて、動画像に含まれる人物の英語音声を日本語音声に吹き替えされた場合、当該人物の口の動きが変更後の日本語音声に対応するように変更された変更コンテンツを生成する。
また、変更コンテンツ生成部４２は、変更方針に基づく変更態様でコンテンツの一部を変更した変更コンテンツを生成する生成モデルを用いて、変更コンテンツを生成してもよい。例えば、図２の例において、変更コンテンツ生成部４２は、利用者が撮影した画像と、当該画像のキャプションとして利用者が入力したテキストが示すコンテキストとに基づいて変更コンテンツを生成するよう学習が行われた生成モデルを用いて、変更コンテンツを生成する。
（提供部４３について）
提供部４３は、変更コンテンツ生成部４２により生成された変更コンテンツを、コンテンツの公開を行う情報処理装置に提供する。例えば、図１の例において、提供部４３は、生成された変更コンテンツをＳＮＳサーバ２００に投稿（提供）する。
また、提供部４３は、変更コンテンツと、方針情報とを提供してもよい。例えば、図１の例において、提供部４３は、変更コンテンツＣ１１と、テキストＴ１０とをＳＮＳサーバ２００に投稿する。
（評価モデル学習部４４について）
評価モデル学習部４４は、入力されたコンテンツが入力された変更方針と合致する変更が行われたコンテンツであるかを評価する評価モデルの学習を行う。例えば、評価モデル学習部４４は、学習データデータベース３３に記憶された学習データを用いて、評価モデルの学習を行う。具体的な例を挙げると、評価モデル学習部４４は、変更方針と当該変更方針と合致する変更が行われたコンテンツとが入力された場合に、変更方針と当該変更方針と合致しない変更が行われたコンテンツとが入力された場合よりも高い評価を出力するように評価モデルの学習を行う。
なお、評価モデルの学習データは、例えば、クラウドソーシング等により画像とテキストとの組のコンテキストが一致しているか否かの評価を収集することで作成されてもよく、ニュースの画像やテキストと、そのニュースの内容から人手で生成されたタイトル（キャプション）との組であってもよい。
（変更コンテンツ取得部４５について）
変更コンテンツ取得部４５は、変更方針（公開方針）に基づく変更態様でコンテンツの一部を変更した変更コンテンツを生成する生成モデルにより生成された変更コンテンツと、当該変更コンテンツを生成する際に用いられた変更方針とを取得する。例えば、図２の例において、変更コンテンツ取得部４５は、生成モデルに画像Ｃ２０及びテキストＴ２０を入力して生成された変更コンテンツＣ２１と、テキストＴ２０とを取得する。
また、変更コンテンツ取得部４５は、生成モデルとして、変更方針とコンテンツとが入力された場合に、変更方針が示すコンテキストに従って、コンテンツの一部を変更した変更コンテンツを生成するように学習が行われたモデルにより生成された変更コンテンツを取得してもよい。例えば、図２の例において、変更コンテンツ取得部４５は、利用者が撮影した画像と、当該画像のキャプションとして利用者が入力したテキストが示すコンテキストとに基づいて変更コンテンツを生成するよう学習が行われた生成モデルにより生成された変更コンテンツを取得する。
また、変更コンテンツ取得部４５は、生成モデルとして、音声と動画像とが入力された場合に、音声が示すコンテキストに従って、動画像の一部を変更した変更コンテンツを生成するように学習が行われたモデルにより生成された変更コンテンツを取得してもよい。例えば、変更コンテンツ取得部４５は、音声及び動画像を含むマルチメディアにおいて、音声が別の音声に変更された場合に、変更後の音声が示すコンテキストに従って、動画像の一部を変更した変更コンテンツを生成するように学習が行われたモデルにより生成された変更コンテンツを取得する。
（評価部４６について）
評価部４６は、入力されたコンテンツが入力された変更方針と合致する変更が行われたコンテンツであるかを評価する評価モデルを用いて、変更コンテンツ取得部４５により取得された変更コンテンツが、変更コンテンツ取得部４５により取得された変更方針と合致する変更が行われたコンテンツであるかを評価する。例えば、図２の例において、評価部４６は、テキストＴ２０及び変更コンテンツＣ２１を評価モデルに入力し、変更コンテンツＣ２１が、テキストＴ２０に合致する変更が行われたコンテンツであるかを評価する。
また、評価部４６は、評価モデルとして、変更方針に基づくコンテキストと合致する変更が行われたコンテンツであるかを評価するモデルを用いてもよい。例えば、図２の例において、評価部４６は、テキストＴ２０及び変更コンテンツＣ２１を評価モデルに入力し、変更コンテンツＣ２１が、テキストＴ２０が示すコンテキストに合致する変更が行われたコンテンツであるかを評価する。
また、評価部４６は、評価モデルとして、変更方針と当該変更方針と合致する変更が行われたコンテンツとが入力された場合に、変更方針と当該変更方針と合致しない変更が行われたコンテンツとが入力された場合よりも高い評価を出力するように学習が行われたモデルを用いてもよい。例えば、図２の例において、評価部４６は、変更前の画像のキャプションが示すコンテキストに合致する変更コンテンツが入力された場合に、変更前の画像のキャプションが示すコンテキストに合致しない変更コンテンツが入力された場合よりも高い評価を出力するように学習が行われている評価モデルを用いて、変更コンテンツを評価する。
（生成モデル学習部４７について）
生成モデル学習部４７は、評価部４６による評価結果に基づいて、生成モデルの強化学習を行う。例えば、図２の例において、生成モデル学習部４７は、評価モデルが出力した評価に基づき、テキストＴ２０が示すコンテキストに変更コンテンツＣ２１が合致すると判定した場合、情報提供装置１０は、変更コンテンツＣ２１の生成に対する報酬として正の報酬を設定し、生成モデルの強化学習を行う。一方、評価モデルが出力した評価に基づき、テキストＴ２０が示すコンテキストに変更コンテンツＣ２１が合致しないと判定した場合、情報提供装置１０は、変更コンテンツＣ２１の生成に対する報酬として負の報酬を設定し、生成モデルの強化学習を行う。
〔３．生成処理のフロー〕
図５を用いて、実施形態に係る情報提供装置１０の生成処理の手順について説明する。図５は、実施形態に係る生成処理の手順の一例を示すフローチャートである。
図５に示すように、情報提供装置１０は、コンテンツと、公開方針とを取得する（ステップＳ１０１）。続いて、情報提供装置１０は、公開方針のコンテキストに基づいて、コンテンツの一部を変更した変更コンテンツを生成する（ステップＳ１０２）。続いて、情報提供装置１０は、変更コンテンツを出力し（ステップＳ１０３）、処理を終了する。
〔４．学習処理のフロー〕
図６を用いて、実施形態に係る情報提供装置１０の学習処理の手順について説明する。図６は、実施形態に係る学習処理の手順の一例を示すフローチャートである。
図６に示すように、情報提供装置１０は、変更コンテンツと、公開方針とを取得する（ステップＳ２０１）。続いて、情報提供装置１０は、評価モデルを用いて、公開方針に基づき、変更コンテンツを評価する（ステップＳ２０２）。続いて、情報提供装置１０は、評価結果に基づいて、変更コンテンツを生成する生成モデルを強化学習し（ステップＳ２０３）、処理を終了する。
〔５．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
〔５−１．変更コンテンツの公開先について〕
上述の実施形態において、変更コンテンツ生成部４２が、ＳＮＳサービスにおいて公開される変更コンテンツを生成する例を示したが、変更コンテンツ生成部４２の機能はこのような例に限定されず、利用者の間で情報を共有する各種のサービスにおいて公開される変更コンテンツを生成してもよい。例えば、変更コンテンツ生成部４２は、ウェブブログサービスや、メッセージサービス、電子メール、電子掲示板、チャット、投稿サービス、アップロードサービス、ニュース配信サービス、動画配信サービスなどにおいて公開される変更コンテンツを生成してもよい。
〔５−２．強調するオブジェクトについて〕
上述の実施形態において、変更コンテンツ生成部４２が、公開方針に対応するオブジェクトを強調した変更コンテンツを生成する例を示したが、変更コンテンツ生成部４２の機能はこのような例に限定されない。例えば、変更コンテンツ生成部４２は、公開方針に対応するオブジェクトと、利用者を示すオブジェクトとを強調した変更コンテンツを生成してもよい。図１に示す例で説明すると、テキストＴ２０が示すコンテキスト「アート」と推定された場合、変更コンテンツ生成部４２は、画像Ｃ２０のうち、コンテキスト「アート」に対応するオブジェクト、並びに、利用者Ｕ２を示すオブジェクト（人物）が含まれる領域の視認性を低下させた変更コンテンツを生成する。
〔５−３．生成モデルの学習について〕
上述の実施形態において、生成モデル学習部４７が、評価部４６による評価結果に基づいて生成モデルの強化学習を行う例を示したが、生成モデル学習部４７の機能はこのような例に限定されない。例えば、生成モデル学習部４７による学習には、教師なし学習に関する技術（一例を挙げると、ＧＡＮ（Generative Adversarial Networks））が用いられてもよい。具体的な例を挙げると、生成モデル学習部４７は、キャプションが付与された画像の集団（例えば、ＳＮＳサーバ２００に投稿された画像）と、変更コンテンツ生成部４２により生成された変更コンテンツとを用いた教師なし学習により、生成モデルの学習を行う。
〔５−４．変更コンテンツの評価について〕
上述の実施形態において、評価部４６が、変更コンテンツが、変更前のコンテンツのコンテキスト（変更方針）と合致するかを評価する例を示したが、評価部４６は、種々の尺度で、変更コンテンツを評価してもよい。例えば、評価部４６は、変更前のコンテンツ内のあるオブジェクト画像（元オブジェクト）の表示態様を変更する場合や、元オブジェクトを別のオブジェクト画像（更新オブジェクト）に変更するような場合、表示態様を変更した元オブジェクトや、更新オブジェクトが、変更前のコンテンツに含まれる場合に自然であるか否かを評価してもよい。
具体的な例を挙げると、評価部４６は、元オブジェクトをぼかす（言い換えると、視認性を低下させる）場合、元オブジェクトと、変更前のコンテンツ内のオブジェクトであって元オブジェクトの周りに位置するオブジェクトとの境界が自然（なめらか）であるか否かを評価する。言い換えると、評価部４６は、表示態様を変更した元オブジェクト（若しくは、更新オブジェクト）と、変更前のコンテンツとの親和性を評価する。
また、評価部４６は、変更前のコンテンツが空を含む風景画像である場合、当該コンテンツ内の「鳥」を示す元オブジェクトを「魚」を示す更新オブジェクトに変更したコンテンツを不自然と評価する。言い換えると、評価部４６は、変更前のコンテンツと、更新オブジェクトとのコンテキストが一致するか否かを評価する。
また、評価部４６は、音声及び動画像を含むマルチメディアにおいて、音声に含まれる人物の不適切な発言が他の音声に変更された場合、当該人物が不適切な発言をした際の動画像が変更後の音声のコンテキストと一致するように変更されたか否かを評価する。言い換えると、評価部４６は、変更後のマルチメディアにおいて、各情報が示すオブジェクト間の一致性を評価する。例えば、音声に含まれる人物の不適切な発言がクマの鳴き声に変更された場合、当該人物が不適切な発言をした際の動画像において、当該人物を示すオブジェクトがクマに変更されたか否かを評価する。
なお、生成モデル学習部４７は、評価部４６が自然である（言い換えると、変更前のコンテンツと更新オブジェクトとのコンテキストが一致する、変更後のマルチメディアにおいて各情報が示すオブジェクトが一致する）と評価した変更コンテンツの生成に対する報酬として正の報酬を設定し、生成モデルの学習を行ってもよい。また、生成モデル学習部４７は、評価部４６が不自然である（言い換えると、変更前のコンテンツと更新オブジェクトとのコンテキストが一致しない、変更後のマルチメディアにおいて各情報が示すオブジェクトが一致しない）と評価した変更コンテンツの生成に対する報酬として負の報酬を設定し、生成モデルの学習を行ってもよい。
〔５−５．方針情報について〕
上述の実施形態において、コンテンツ取得部４１が、方針情報として、コンテンツ（画像）のキャプションや、利用者の行動履歴を取得する例を示したが、コンテンツ取得部４１が取得する方針情報はこのような例に限定されない。例えば、コンテンツ取得部４１は、端末装置１００が有する各種のセンサ（例えば、ＧＰＳ（Global Positioning System）センサ）により検知した情報を方針情報として取得してもよい。具体的な例を挙げると、コンテンツ取得部４１は、利用者がコンテンツを撮影した場所やコンテンツを投稿した場所を示す位置情報を方針情報として取得する。
〔５−６．処理態様について〕
上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
〔６．効果〕
上述してきたように、実施形態に係る情報提供装置１０は、コンテンツ取得部４１と、変更コンテンツ生成部４２と、提供部４３と、評価モデル学習部４４と、変更コンテンツ取得部４５と、評価部４６と、生成モデル学習部４７とを有する。コンテンツ取得部４１は、公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する。変更コンテンツ生成部４２は、方針情報が示す公開方針に基づいて、コンテンツのうち所定の部分を変更した変更コンテンツを生成する。提供部４３は、変更コンテンツ生成部４２により生成された変更コンテンツを、コンテンツの公開を行う情報処理装置に提供する。また、提供部４３は、変更コンテンツと、方針情報とを提供する。評価モデル学習部４４は、入力されたコンテンツが入力された変更方針と合致する変更が行われたコンテンツであるかを評価する評価モデルの学習を行う。変更コンテンツ取得部４５は、変更方針に基づく変更態様でコンテンツの一部を変更した変更コンテンツを生成する生成モデルにより生成された変更コンテンツと、当該変更コンテンツを生成する際に用いられた変更方針とを取得する。評価部４６は、入力されたコンテンツが入力された変更方針と合致する変更が行われたコンテンツであるかを評価する評価モデルを用いて、変更コンテンツ取得部４５により取得された変更コンテンツが、変更コンテンツ取得部４５により取得された変更方針と合致する変更が行われたコンテンツであるかを評価する。生成モデル学習部４７は、生成モデルの学習を行う。また、生成モデル学習部４７は、評価部４６による評価結果に基づいて、生成モデルの強化学習を行う。
これにより、実施形態に係る情報提供装置１０は、利用者が入力したテキストにおいて示されるコンテンツ公開の意図を反映した変更コンテンツを生成することができる。また、実施形態に係る情報提供装置１０は、利用者のコンテンツ公開の意図を反映した適切な変更コンテンツを生成するよう生成モデルの強化学習を行うため、利用者にとって違和感のない変更コンテンツを生成することができる。すなわち、実施形態に係る情報提供装置１０は、適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０において、例えば、コンテンツ取得部４１は、利用者から、コンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する。また、コンテンツ取得部４１は、コンテンツとして、画像を取得し、方針情報として、当該画像のキャプションとして利用者が入力したテキストを取得する。また、コンテンツ取得部４１は、利用者の行動履歴を方針情報として取得する。
これにより、実施形態に係る情報提供装置１０は、各種の情報に基づいて、利用者が入力したテキストにおいて示されるコンテンツ公開の意図を反映した変更コンテンツを生成することができるため、適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０において、例えば、変更コンテンツ生成部４２は、テキストからコンテンツと対応するコンテキストを推定し、推定したコンテキストに応じて変更コンテンツを生成する。また、変更コンテンツ生成部４２は、公開方針に基づいて、時間に応じて異なる態様でコンテンツを変更した変更コンテンツを生成する。また、変更コンテンツ生成部４２は、所定の場所の視認性を向上させた変更コンテンツを生成する。また、変更コンテンツ生成部４２は、所定の場所以外の場所の視認性を低下させた変更コンテンツを生成する。また、変更コンテンツ生成部４２は、所定の場所の視認性を低下させた変更コンテンツを生成する。また、変更コンテンツ生成部４２は、公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクトを強調した変更コンテンツを生成する。また、変更コンテンツ生成部４２は、公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクト以外のオブジェクトの視認性を低下させた変更コンテンツを生成する。
これにより、実施形態に係る情報提供装置１０は、利用者のコンテンツ公開の意図に対応するオブジェクトを強調した変更コンテンツを生成することができるため、利用者の意図を反映した適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０において、例えば、変更コンテンツ取得部４５は、生成モデルとして、変更方針とコンテンツとが入力された場合に、変更方針が示すコンテキストに従って、コンテンツの一部を変更した変更コンテンツを生成するように学習が行われたモデルにより生成された変更コンテンツを取得する。また、変更コンテンツ取得部４５は、生成モデルとして、音声と動画像とが入力された場合に、音声が示すコンテキストに従って、動画像の一部を変更した変更コンテンツを生成するように学習が行われたモデルにより生成された変更コンテンツを取得する。
これにより、実施形態に係る情報提供装置１０は、各種の態様の変更コンテンツを生成する生成モデルにより生成された変更コンテンツを取得し、強化学習に用いるため、適切なコンテンツを生成することができる。
また、実施形態に係る情報提供装置１０において、例えば、評価部４６は、評価モデルとして、変更方針に基づくコンテキストと合致する変更が行われたコンテンツであるかを評価するモデルを用いる。また、評価部４６は、評価モデルとして、変更方針と当該変更方針と合致する変更が行われたコンテンツとが入力された場合に、変更方針と当該変更方針と合致しない変更が行われたコンテンツとが入力された場合よりも高い評価を出力するように学習が行われたモデルを用いる。
これにより、実施形態に係る情報提供装置１０は、適切な学習が行われた評価モデルによる評価結果に基づいて、生成モデルの強化学習を行うことができるため、適切なコンテンツを生成することができる。
〔７．ハードウェア構成〕
また、上述してきた各実施形態に係る情報提供装置１０は、例えば、図７に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１０を例に挙げて説明する。図７は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、情報提供装置１０の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
〔８．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述した情報提供装置１０は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、コンテンツ取得部は、コンテンツ取得手段やコンテンツ取得回路に読み替えることができる。
１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 生成モデルデータベース
３２ 評価モデルデータベース
３３ 学習データデータベース
４０ 制御部
４１ コンテンツ取得部
４２ 変更コンテンツ生成部
４３ 提供部
４４ 評価モデル学習部
４５ 変更コンテンツ取得部
４６ 評価部
４７ 生成モデル学習部
１００ 端末装置
２００ ＳＮＳサーバ

Claims (15)

  1. 公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する取得部と、
    前記方針情報が示す公開方針に基づいて、前記コンテンツのうち所定の部分を変更した変更コンテンツを生成する生成部と
    を有することを特徴とする生成装置。
  2. 前記生成部により生成された変更コンテンツを、コンテンツの公開を行う情報処理装置に提供する提供部
    をさらに有することを特徴とする請求項１に記載の生成装置。
  3. 前記提供部は、
    前記変更コンテンツと、前記方針情報とを提供する
    ことを特徴とする請求項２に記載の生成装置。
  4. 前記取得部は、
    利用者から、前記コンテンツと、当該コンテンツの公開方針を示す前記方針情報とを取得する
    ことを特徴とする請求項１から３のうちいずれか１つに記載の生成装置。
  5. 前記取得部は、
    前記コンテンツとして、画像を取得し、前記方針情報として、当該画像のキャプションとして利用者が入力したテキストを取得する
    ことを特徴とする請求項１から４のうちいずれか１つに記載の生成装置。
  6. 前記生成部は、
    前記テキストから前記コンテンツと対応するコンテキストを推定し、推定したコンテキストに応じて前記変更コンテンツを生成する
    ことを特徴とする請求項５に記載の生成装置。
  7. 前記取得部は、
    利用者の行動履歴を前記方針情報として取得する
    ことを特徴とする請求項１から６のうちいずれか１つに記載の生成装置。
  8. 前記生成部は、
    前記公開方針に基づいて、時間に応じて異なる態様でコンテンツを変更した変更コンテンツを生成する
    ことを特徴とする請求項１から７のうちいずれか１つに記載の生成装置。
  9. 前記生成部は、
    所定の場所の視認性を向上させた前記変更コンテンツを生成する
    ことを特徴とする請求項１から８のうちいずれか１つに記載の生成装置。
  10. 前記生成部は、
    所定の場所以外の場所の視認性を低下させた前記変更コンテンツを生成する
    ことを特徴とする請求項１から９のうちいずれか１つに記載の生成装置。
  11. 前記生成部は、
    所定の場所の視認性を低下させた変更コンテンツを生成する
    ことを特徴とする請求項１から８のうちいずれか１つに記載の生成装置。
  12. 前記生成部は、
    前記公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクトを強調した前記変更コンテンツを生成する
    ことを特徴とする請求項１から１１のうちいずれか１つに記載の生成装置。
  13. 前記生成部は、
    前記公開方針に基づいて、コンテンツに含まれるオブジェクトの中から強調するオブジェクトを特定し、当該オブジェクト以外のオブジェクトの視認性を低下させた変更コンテンツを生成する
    ことを特徴とする請求項１から１１のうちいずれか１つに記載の生成装置。
  14. コンピュータが実行する生成方法であって、
    公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する取得工程と、
    前記方針情報が示す公開方針に基づいて、前記コンテンツのうち所定の部分を変更した変更コンテンツを生成する生成工程と
    を含むことを特徴とする生成方法。
  15. 公開対象となるコンテンツと、当該コンテンツの公開方針を示す方針情報とを取得する取得手順と、
    前記方針情報が示す公開方針に基づいて、前記コンテンツのうち所定の部分を変更した変更コンテンツを生成する生成手順と
    をコンピュータに実行させることを特徴とする生成プログラム。
JP2020050318A 2020-03-19 2020-03-19 生成装置、生成方法及び生成プログラム Pending JP2021149716A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020050318A JP2021149716A (ja) 2020-03-19 2020-03-19 生成装置、生成方法及び生成プログラム
US17/196,453 US11776183B2 (en) 2020-03-19 2021-03-09 Generation device, generation method, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050318A JP2021149716A (ja) 2020-03-19 2020-03-19 生成装置、生成方法及び生成プログラム

Publications (1)

Publication Number Publication Date
JP2021149716A true JP2021149716A (ja) 2021-09-27

Family

ID=77849066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050318A Pending JP2021149716A (ja) 2020-03-19 2020-03-19 生成装置、生成方法及び生成プログラム

Country Status (2)

Country Link
US (1) US11776183B2 (ja)
JP (1) JP2021149716A (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068841A (ja) * 2015-09-29 2017-04-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 画像および関連するテキストを処理するためのコンピュータ実装される方法、コンピュータ・プログラム製品、ならびにコンピュータ・システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075124A2 (en) * 2002-02-28 2003-09-12 Avue Technologies Corporation Strategic workforce management and content engineering
US7970739B2 (en) * 2008-04-30 2011-06-28 International Business Machines Corporation Method and system for maintaining profiles of information channels
EP2286356A4 (en) * 2008-06-03 2013-03-06 Whirlpool Co EQUIPMENT DEVELOPMENT TOOLKIT
US9424541B2 (en) * 2009-06-25 2016-08-23 Oracle International Corporation Policy based user contacts list management
JP5517162B2 (ja) * 2010-09-22 2014-06-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 文書情報の機密ラベルを判定する方法、コンピュータ・プログラム、装置、及びシステム
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5984147B2 (ja) * 2014-03-27 2016-09-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、情報処理方法、及び、プログラム
JP6230634B2 (ja) 2016-01-26 2017-11-15 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US11507064B2 (en) * 2016-05-09 2022-11-22 Strong Force Iot Portfolio 2016, Llc Methods and systems for industrial internet of things data collection in downstream oil and gas environment
US11468215B2 (en) * 2018-06-13 2022-10-11 Toyota Jidosha Kabushiki Kaisha Digital twin for vehicle risk evaluation
JP7201958B2 (ja) * 2018-12-27 2023-01-11 日本電気株式会社 方策作成装置、制御装置、方策作成方法、及び、方策作成プログラム
US11120799B1 (en) * 2019-09-18 2021-09-14 Amazon Technologies, Inc. Natural language processing policies

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068841A (ja) * 2015-09-29 2017-04-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 画像および関連するテキストを処理するためのコンピュータ実装される方法、コンピュータ・プログラム製品、ならびにコンピュータ・システム

Also Published As

Publication number Publication date
US11776183B2 (en) 2023-10-03
US20220020190A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP6990310B2 (ja) 個人化されたエモーティコンおよびリップシンクビデオを顔認識に基づいて生成するためのシステムおよび方法
US20190138656A1 (en) Systems and methods for providing recommended media content posts in a social networking system
US10628030B2 (en) Methods and systems for providing user feedback using an emotion scale
KR102230342B1 (ko) 뉴스피드에서 소셜 네트워킹 시스템 사용자에게 제시하기 위한 컨텐츠 아이템의 선택
US20190108288A1 (en) Attribute Control for Updating Digital Content in a Digital Medium Environment
TWI591564B (zh) 社群共享及影響圖表系統及方法
US11379552B2 (en) Systems and methods for demotion of content items in a feed
US10521825B2 (en) Systems and methods for providing interactive user interface elements for obtaining feedback within a media content item
US10915589B1 (en) Delivering content promoting a web page to users of an online system
US20180081500A1 (en) Systems and methods for content engagement
US20180157663A1 (en) Systems and methods for user clustering
US11580482B1 (en) Content relevance in a social networking system using population-representative human rater pool
US20190087747A1 (en) Systems and methods for providing calls-to-action associated with pages in a social networking system
US11250030B2 (en) Systems and methods for classifying content items based on dynamic signals
JP2020057221A (ja) 情報処理方法、情報処理装置及びプログラム
US10120945B2 (en) Content relevance in a social networking system using quality controlled human raters
US11580153B1 (en) Lookalike expansion of source-based custom audience by an online system
US20170351675A1 (en) Ranking of news feed in a mobile device based on local signals
JP7457545B2 (ja) 評価装置、評価方法及び評価プログラム
JP2021149716A (ja) 生成装置、生成方法及び生成プログラム
JP2020190776A (ja) 判定装置、判定方法及び判定プログラム
JP7388678B2 (ja) 生成装置、生成方法及び生成プログラム
JP2020115285A (ja) 算出装置、算出方法、算出プログラム
JP7263471B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2019040087A1 (en) SYSTEMS AND METHODS FOR PROVIDING CONTENT ELEMENT COLLECTIONS BASED ON TIME PROBABILITY OF ASSOCIATED CONTENT ELEMENTS IN A SOCIAL NETWORKING SYSTEM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20231026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240424