JP2023147286A - Program, information processing device, information processing system, and information processing method - Google Patents

Program, information processing device, information processing system, and information processing method Download PDF

Info

Publication number
JP2023147286A
JP2023147286A JP2023066044A JP2023066044A JP2023147286A JP 2023147286 A JP2023147286 A JP 2023147286A JP 2023066044 A JP2023066044 A JP 2023066044A JP 2023066044 A JP2023066044 A JP 2023066044A JP 2023147286 A JP2023147286 A JP 2023147286A
Authority
JP
Japan
Prior art keywords
data
digital content
user
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023066044A
Other languages
Japanese (ja)
Inventor
俊二 菅谷
Shunji Sugaya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2023066044A priority Critical patent/JP2023147286A/en
Publication of JP2023147286A publication Critical patent/JP2023147286A/en
Pending legal-status Critical Current

Links

Abstract

To allow for attracting sufficient attention of other users on images and videos when posting them on an SNS service, etc.SOLUTION: A program provided herein makes a computer perform an acquisition step of acquiring image data, and a generation step of generating generation data based on the image data acquired in the acquisition step, where the generation step uses the image data as an input image to generate generation data that increases a response index .SELECTED DRAWING: Figure 10

Description

本開示は、プログラム、情報処理装置、情報処理システム及び情報処理方法に関する。 The present disclosure relates to a program, an information processing device, an information processing system, and an information processing method.

ライフログカメラを用いて、静止画、動画などを自動的に撮影する技術が知られている。
特許文献1には、人物の顔画像を違和感が無いよう変換してプライバシーを保護することが可能な情報処理装置が開示されている。
特許文献2には、ライフログカメラにおいて、ユーザが自発的に行う動画撮影の撮影時間が制限されることを抑制する技術が開示されている。
特許文献3には、ユーザが特別な操作を行うことなく、ユーザの好みの映像を取得することが可能な撮像装置が開示されている。
2. Description of the Related Art There is a known technology for automatically capturing still images, videos, etc. using a life log camera.
Patent Document 1 discloses an information processing device that can protect privacy by converting a person's facial image so that it does not look strange.
Patent Document 2 discloses a technique for suppressing limitations on the shooting time for video shooting spontaneously performed by a user in a life log camera.
Patent Document 3 discloses an imaging device that allows the user to acquire a video of his or her preference without the user performing any special operations.

特開2014-85796号JP2014-85796 特開2021-145556号JP2021-145556 特開2020-205637号JP2020-205637

カメラにより撮影された画像、動画、テキストなどを含む投稿記事をSNSサービス(Social Networking Service)などに投稿する場合に、投稿記事に対して他のユーザの興味関心を十分に喚起できていないという課題がある。 When posting articles containing images, videos, text, etc. taken with a camera to SNS services (Social Networking Services), etc., there is a problem in which it is not possible to sufficiently arouse other users' interest in the posted article. There is.

そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、SNSサービスにおいてより大きな反響を期待できる画像データを生成する技術を提供することである。 Therefore, the present disclosure has been made to solve the above-mentioned problems, and its purpose is to provide a technology for generating image data that can be expected to have a larger response in SNS services.

プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、デジタルコンテンツを取得する取得ステップと、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップと、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、プログラム。 A program to be executed by a computer including a processor and a storage unit, the program includes an acquisition step of acquiring digital content, and a generation step of generating generated data based on the digital content acquired in the acquisition step. and a generation step is a step of generating generated data such that a response index becomes larger by using digital content as input data.

本開示によれば、SNSサービスにおいてより大きな反響を期待できる画像データを生成することができる。 According to the present disclosure, it is possible to generate image data that can be expected to have a greater response in SNS services.

情報処理システム1の全体の構成を示す図である。1 is a diagram showing the overall configuration of an information processing system 1. FIG. サーバ10の機能構成を示すブロック図である。1 is a block diagram showing the functional configuration of a server 10. FIG. ユーザ端末20の機能構成を示すブロック図である。2 is a block diagram showing the functional configuration of a user terminal 20. FIG. 撮影端末30の機能構成を示すブロック図である。3 is a block diagram showing the functional configuration of a photographing terminal 30. FIG. ユーザテーブル1012のデータ構造を示す図である。3 is a diagram showing a data structure of a user table 1012. FIG. 撮影テーブル1013のデータ構造を示す図である。3 is a diagram showing a data structure of a photographing table 1013. FIG. 画像テーブル1014のデータ構造を示す図である。3 is a diagram showing the data structure of an image table 1014. FIG. SNSテーブル1015のデータ構造を示す図である。3 is a diagram showing a data structure of an SNS table 1015. FIG. 画像処理テーブル1016のデータ構造を示す図である。3 is a diagram showing a data structure of an image processing table 1016. FIG. SNS投稿処理の動作を示すフローチャートである。It is a flowchart showing the operation of SNS posting processing. コンピュータ90の基本的なハードウェア構成を示すブロック図である。2 is a block diagram showing the basic hardware configuration of a computer 90. FIG.

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。 Embodiments of the present disclosure will be described below with reference to the drawings. In all the figures explaining the embodiments, common components are given the same reference numerals and repeated explanations will be omitted. Note that the following embodiments do not unduly limit the content of the present disclosure described in the claims. Furthermore, not all components shown in the embodiments are essential components of the present disclosure. Furthermore, each figure is a schematic diagram and is not necessarily strictly illustrated.

<情報処理システム1の概要>
図1は、情報処理システム1の全体の構成を示す図である。本開示における情報処理システム1は、カメラにより撮影された画像データ、動画データ、マイクにより集音された音声データなどを含むデジタルコンテンツをSNSサービスに投稿する情報処理システムである。デジタルコンテンツとは、画像データ、動画データ、音声データ、音楽データなどカメラにより撮影されたり、マイクによる集音される任意のデータを含むコンテンツ情報である。
<Overview of information processing system 1>
FIG. 1 is a diagram showing the overall configuration of an information processing system 1. As shown in FIG. An information processing system 1 in the present disclosure is an information processing system that posts digital content including image data captured by a camera, video data, audio data collected by a microphone, etc. to an SNS service. Digital content is content information that includes any data such as image data, video data, audio data, music data, etc. that is captured by a camera or collected by a microphone.

<情報処理システム1の基本構成>
本開示における情報処理システム1を図1に示す。情報処理システム1は、ネットワークNを介して接続された、サーバ10、複数のユーザ端末20A、20B、20C、複数の撮影端末30A、30B、30Cを備えて構成されている。図2は、サーバ10の機能構成を示すブロック図である。図3は、ユーザ端末20の機能構成を示すブロック図である。図4は、撮影端末30の機能構成を示すブロック図である。
<Basic configuration of information processing system 1>
FIG. 1 shows an information processing system 1 in the present disclosure. The information processing system 1 includes a server 10, a plurality of user terminals 20A, 20B, and 20C, and a plurality of photographing terminals 30A, 30B, and 30C, which are connected via a network N. FIG. 2 is a block diagram showing the functional configuration of the server 10. FIG. 3 is a block diagram showing the functional configuration of the user terminal 20. FIG. 4 is a block diagram showing the functional configuration of the photographing terminal 30.

サーバ10は、撮影端末30により撮影された画像データを取得し、SNSサービスにおいてより大きな反響を期待できる画像データを生成し、SNSサービスへ投稿するサービスを提供する情報処理装置である。 The server 10 is an information processing device that provides a service that acquires image data photographed by the photographing terminal 30, generates image data that can be expected to receive a greater response in an SNS service, and posts the image data to the SNS service.

ユーザ端末20は、サービスを利用するユーザが操作する情報処理装置である。撮影端末30は、サービスを構成するカメラを制御するための情報処理装置である。ユーザ端末20および撮影端末30は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のPC(Personal Computer)、ラップトップPCであってもよい。また、HMD(Head Mount Display)、腕時計型端末等のウェアラブル端末であってもよい。
なお、撮影端末30は所定の定まった場所に設置され、カメラ3061としては、所定の範囲を撮影するように設けられた定点カメラを備えることが好適である。
The user terminal 20 is an information processing device operated by a user who uses the service. The photographing terminal 30 is an information processing device for controlling cameras that constitute the service. The user terminal 20 and the photographing terminal 30 may be, for example, a mobile terminal such as a smartphone or a tablet, a stationary PC (Personal Computer), or a laptop PC. Further, it may be a wearable terminal such as an HMD (Head Mount Display) or a wristwatch type terminal.
Note that the photographing terminal 30 is preferably installed at a predetermined fixed location, and the camera 3061 is preferably a fixed-point camera provided to photograph a predetermined range.

各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。サーバ10、ユーザ端末20、撮影端末30のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。 Each information processing device is composed of a computer including an arithmetic unit and a storage device. The basic hardware configuration of the computer and the basic functional configuration of the computer realized by the hardware configuration will be described later. Regarding each of the server 10, user terminal 20, and photographing terminal 30, explanations that overlap with the basic hardware configuration and basic functional configuration of the computer, which will be described later, will be omitted.

以下、各装置の構成およびその動作を説明する。 The configuration and operation of each device will be explained below.

<サーバ10の機能構成>
サーバ10のハードウェア構成が実現する機能構成を図2に示す。サーバ10は、記憶部101、制御部104を備える。
<Functional configuration of server 10>
FIG. 2 shows a functional configuration realized by the hardware configuration of the server 10. The server 10 includes a storage section 101 and a control section 104.

<サーバ10の記憶部の構成>
サーバ10の記憶部101は、アプリケーションプログラム1011、ユーザテーブル1012、撮影テーブル1013、画像テーブル1014、SNSテーブル1015、画像処理テーブル1016、評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022を備える。
図5は、ユーザテーブル1012のデータ構造を示す図である。図6は、撮影テーブル1013のデータ構造を示す図である。図7は、画像テーブル1014のデータ構造を示す図である。図8は、SNSテーブル1015のデータ構造を示す図である。図9は、画像処理テーブル1016のデータ構造を示す図である。
<Configuration of storage unit of server 10>
The storage unit 101 of the server 10 includes an application program 1011, a user table 1012, a shooting table 1013, an image table 1014, an SNS table 1015, an image processing table 1016, an evaluation model 1017, a generation model 1018, a region extraction model 1019, and an image processing model 1020. , an event model 1021, and a text model 1022.
FIG. 5 is a diagram showing the data structure of the user table 1012. FIG. 6 is a diagram showing the data structure of the imaging table 1013. FIG. 7 is a diagram showing the data structure of the image table 1014. FIG. 8 is a diagram showing the data structure of the SNS table 1015. FIG. 9 is a diagram showing the data structure of the image processing table 1016.

ユーザテーブル1012は、サービスを利用する会員ユーザ(以下、ユーザ)の情報を記憶し管理するテーブルである。ユーザは、サービスの利用登録を行うことで、当該ユーザの情報がユーザテーブル1012の新しいレコードに記憶される。これにより、ユーザは本開示にかかるサービスを利用できるようになる。
ユーザテーブル1012は、ユーザIDを主キーとして、ユーザID、ユーザ名のカラムを有するテーブルである。
The user table 1012 is a table that stores and manages information about member users (hereinafter referred to as users) who use the service. When a user registers to use a service, the user's information is stored in a new record in the user table 1012. This allows the user to use the service according to the present disclosure.
The user table 1012 is a table that uses the user ID as a primary key and has columns of user ID and user name.

ユーザIDは、ユーザを一意に識別するための識別子を記憶する項目である。
ユーザ名は、ユーザの氏名を記憶する項目である。ユーザ名は、氏名ではなく、ニックネームなど任意の文字列を設定しても良い。
The user ID is an item that stores an identifier for uniquely identifying a user.
The user name is an item that stores the user's name. The user name may be any character string such as a nickname instead of a full name.

撮影テーブル1013は、カメラにより撮影した動画データ、音声データ(撮影データ)を記憶するためのテーブルである。撮影テーブル1013は、カメラIDを主キーとして、ユーザID、動画データ、音声データのカラムを有するテーブルである。 The photographing table 1013 is a table for storing moving image data and audio data (photographing data) photographed by a camera. The photographing table 1013 is a table having columns of user ID, video data, and audio data, with camera ID as the main key.

カメラIDは、カメラを識別するための撮影機器識別情報を記憶する項目である。撮影機器識別情報は、カメラごとにユニークな値が設定されている項目である。
ユーザIDは、撮影端末30に関連付けられたユーザのユーザ識別情報を記憶する項目である。
動画データは、カメラによる撮影された動画データを記憶する項目である。他の場所に配置された動画データファイルに対する参照情報(パス)を記憶するものとしても良い。動画データのフォーマットは、MP4、MOV、WMV、AVI、AVCHDなど任意のデータフォーマットで良い。
音声データは、マイクにより集音された音声データを記憶する項目である。他の場所に配置された音声データファイルに対する参照情報(パス)を記憶するものとしても良い。音声データのフォーマットは、AAC,ATRAC、mp3、mp4など任意のデータフォーマットで良い。
The camera ID is an item that stores photographic device identification information for identifying the camera. The photographic device identification information is an item in which a unique value is set for each camera.
The user ID is an item that stores user identification information of a user associated with the photographing terminal 30.
The video data is an item that stores video data captured by a camera. Reference information (path) to a video data file located at another location may also be stored. The format of the video data may be any data format such as MP4, MOV, WMV, AVI, AVCHD.
Audio data is an item that stores audio data collected by a microphone. Reference information (paths) for audio data files located elsewhere may also be stored. The format of the audio data may be any data format such as AAC, ATRAC, mp3, mp4, etc.

画像テーブル1014は、カメラにより定期的に撮影された画像データを記憶するためのテーブルである。
画像テーブル1014は、カメラID、画像データ、イベント属性、生成データ、テキスト、ハッシュタグ、投稿日時、反響指数、撮影日時のカラムを有するテーブルである。
The image table 1014 is a table for storing image data periodically photographed by a camera.
The image table 1014 is a table having columns of camera ID, image data, event attribute, generated data, text, hashtag, posting date and time, response index, and photographing date and time.

カメラIDは、画像を撮影したカメラの撮影機器識別情報を記憶する項目である。
画像データは、カメラによる撮影された画像データを記憶する項目である。他の場所に配置された画像データファイルに対する参照情報(パス)を記憶するものとしても良い。画像データのフォーマットは、jpeg、png、bmp、tiff、gif、eps、svgなど任意のデータフォーマットで良い。
イベント属性は、カメラにより撮影された画像データなどに基づき推論された画像データのイベント属性に関する情報(イベント属性情報)を記憶する項目である。イベント属性情報は、誕生日、歓迎会、送別会、忘年会、発表会、祝賀会などのイベント名、イベント分類などの情報が含まれる任意のオブジェクトデータである。
生成データは、カメラにより撮影された画像データに基づき生成された生成データを記憶する項目である。
テキストは、カメラにより撮影された画像データなどに基づき推論されたテキスト情報を記憶する項目である。
ハッシュタグは、カメラにより撮影された画像データなどに基づき推論されたハッシュタグとして用いられるテキスト情報を記憶する項目である。ハッシュタグとは、テキストの前にハッシュ記号「#」を付けたものである。SNSサービスにおいて、投稿記事にハッシュタグを含めることで、投稿記事に対するタグ付けを行うことができる。
投稿日時は、生成データ、テキスト、ハッシュタグからなる投稿記事を投稿する日時を記憶する項目である。
反響指数は、生成データなどに基づき推論された指数を記憶する項目である。反響指数は、投稿日時において、画像データに紐付けられたユーザがSNSサービスに、生成データ、テキスト、ハッシュタグからなる投稿記事をSNSサービスに投稿した際に、当該投稿記事に対して他のユーザからどの程度の反響(いいね数、リツイート数、コメント数)を得ることが期待できるか、反響の程度を指数化したものである。反響指数が大きいほど、投稿記事に対する他のユーザからの大きな反響が期待できる。
反響指数の一例としては、いいね数、リツイート数、コメント数の和が考えられる。
撮影日時は、画像データの撮影日時を記憶する項目である。
The camera ID is an item that stores the photographing device identification information of the camera that photographed the image.
Image data is an item that stores image data taken by a camera. Reference information (paths) for image data files located elsewhere may also be stored. The format of the image data may be any data format such as jpeg, png, bmp, tiff, gif, eps, and svg.
The event attribute is an item that stores information regarding the event attribute of image data (event attribute information) inferred based on image data captured by a camera. The event attribute information is arbitrary object data that includes information such as event names and event classifications such as birthdays, welcome parties, farewell parties, year-end parties, recitals, and celebration parties.
The generated data is an item that stores generated data generated based on image data photographed by a camera.
Text is an item that stores text information inferred based on image data captured by a camera.
A hash tag is an item that stores text information used as a hash tag inferred based on image data captured by a camera. A hashtag is text with a hash symbol "#" added in front of it. In an SNS service, a posted article can be tagged by including a hashtag in the posted article.
The posting date and time is an item that stores the date and time at which a posted article consisting of generated data, text, and a hashtag is posted.
The reverberation index is an item that stores an index inferred based on generated data and the like. The response index is calculated based on the posting date and time when a user associated with image data posts an article consisting of generated data, text, and hashtags to an SNS service, and other users respond to the posted article. It is an index of the degree of response (number of likes, number of retweets, number of comments) that can be expected to be received from a post. The larger the response index, the greater the response from other users to the posted article can be expected.
An example of a response index is the sum of likes, retweets, and comments.
The shooting date and time is an item that stores the shooting date and time of image data.

SNSテーブル1015は、ユーザのSNSサービスに関する属性情報(SNS属性)を記憶するテーブルである。
SNSテーブル1015は、SNSID、エンドポイント、ユーザID、サービス名、フォロワー数、フォロワー属性、ユーザ属性、投稿回数上限のカラムを有するテーブルである。
SNS属性は、SNSサービスを利用するユーザのSNSサービスにおけるユーザ属性に関する情報である。具体的に、SNS属性は、SNSサービスを利用するユーザのフォロワー数、フォロワー属性、ユーザ属性などの情報を含む情報である。
The SNS table 1015 is a table that stores attribute information (SNS attributes) regarding the user's SNS service.
The SNS table 1015 is a table having columns of SNS ID, end point, user ID, service name, number of followers, follower attribute, user attribute, and upper limit on the number of posts.
The SNS attribute is information regarding user attributes in the SNS service of a user who uses the SNS service. Specifically, the SNS attribute is information including information such as the number of followers, follower attributes, user attributes, etc. of the user who uses the SNS service.

SNSIDは、ユーザのSNSサービスにおけるアカウントの識別情報を記憶する項目である。ユーザは、SNSIDを用いてSNSサービスが提供する各種サービスを利用することができる。
エンドポイントは、SNSサービスへ記事を投稿する際のURL(Uniform Resource Locator)が記憶される項目である。エンドポイントへ所定のリクエストを送信することにより、API(Application Programming Interface)を介してSNSサービスへ各種処理を要求することができる。
エンドポイントは、SNSサービスごと、SNSサービスが提供する各種処理ごとに異なるURLが記憶される。
ユーザIDは、SNSIDに関連付けられたユーザのユーザ識別情報を記憶する項目である。
サービス名は、SNSサービスの名称を記憶する項目である。SNSサービスの名称には、Twitter、Facebook、Instagram、LinkedInなど様々なSNSサービスが存在する。
フォロワー数は、ユーザのSNSサービスにおけるアカウントをフォローしている、他のユーザ数である。フォローとは、SNSサービスにおいて、特定のアカウントの活動を追うことを目的として、当該特定のアカウントと紐付けられている状態を言う。
フォロワー属性は、フォロワーの属性に関する情報(フォロワー属性情報)を記憶する項目である。フォロワー属性情報は、フォロワーの性別、年齢、職種、興味関心(料理、旅行、自動車、コンピュータ、ゲームなど)などのフォロワーの属性に関する情報が含まれる任意のオブジェクトデータである。
フォロワー属性情報は、SNSサービスの運営主体から取得したり、フォロワーの投稿記事の内容に基づき特定しても良い。
ユーザは、ユーザのSNSサービスにおけるアカウントのユーザの属性に関する情報(ユーザ属性情報)を記憶する項目である。ユーザ属性情報は、ユーザの性別、年齢、職種、興味関心(料理、旅行、自動車、コンピュータ、ゲームなど)などのユーザの属性に関する情報が含まれる任意のオブジェクトデータである。
ユーザ属性情報は、ユーザが自身で入力したり、ユーザの投稿記事の内容に基づき特定しても良い。
投稿回数上限は、ユーザがSNSサービスに記事を投稿するにあたり、所定期間内における投稿回数の上限回数を記憶する項目である。所定期間は、1日、1週間、1ヶ月間、曜日ごとなど任意の期間における投稿回数の上限値を設定することができる。
The SNSID is an item that stores identification information of the user's account in the SNS service. A user can use various services provided by the SNS service using the SNS ID.
The endpoint is an item that stores a URL (Uniform Resource Locator) when posting an article to an SNS service. By sending a predetermined request to the endpoint, various processing can be requested to the SNS service via an API (Application Programming Interface).
For the endpoint, different URLs are stored for each SNS service and for each type of processing provided by the SNS service.
The user ID is an item that stores user identification information of the user associated with the SNSID.
The service name is an item that stores the name of the SNS service. There are various SNS service names such as Twitter, Facebook, Instagram, and LinkedIn.
The number of followers is the number of other users who follow the user's account on the SNS service. Following refers to the state of being linked to a specific account in an SNS service for the purpose of following the activities of that specific account.
The follower attribute is an item that stores information regarding the attributes of followers (follower attribute information). Follower attribute information is arbitrary object data that includes information regarding attributes of followers, such as the follower's gender, age, occupation, and interests (cooking, travel, cars, computers, games, etc.).
Follower attribute information may be obtained from the operator of the SNS service, or may be specified based on the content of articles posted by followers.
User is an item that stores information regarding the attributes of the user of the user's account in the SNS service (user attribute information). The user attribute information is arbitrary object data that includes information regarding user attributes such as the user's gender, age, occupation, and interests (cooking, travel, automobiles, computers, games, etc.).
The user attribute information may be input by the user himself or may be specified based on the content of the user's posted article.
The upper limit number of posts is an item that stores the upper limit number of posts within a predetermined period when a user posts an article to an SNS service. As the predetermined period, it is possible to set an upper limit value for the number of postings in any period such as one day, one week, one month, or every day of the week.

画像処理テーブル1016は、画像データに対して適用するエフェクト、フィルタなどの画像処理に関する情報(画像処理情報)を記憶するテーブルである。
画像処理テーブル1016は、画像処理ID、画像処理内容のカラムを有するテーブルである。
The image processing table 1016 is a table that stores information (image processing information) related to image processing such as effects and filters applied to image data.
The image processing table 1016 is a table having columns for image processing ID and image processing content.

画像処理IDは、画像処理内容を識別するための画像処理識別情報を記憶する項目である。
画像処理内容は、画像データに対して適用する画像処理内容を記憶する項目である。他の場所に配置された画像処理を行う関数、メソッド、プログラムなどへの参照を記憶しても良い。
画像処理内容は、画像データに対して枠を設定するフレームを含む。画像処理内容は、画像データの色調を補正するモノトーン、セピア、ビビッドなどを含む。画像処理内容は、画像データに対するコントラスト補正、明るさ補正などを含む。画像処理内容は、画像データに含まれる人物の顔の、目、鼻、口などの様々なパーツを補正する顔補正処理を含む。画像処理内容は、画像データに含まれる人物の顔を、動物やキャラクタなどの顔に補正する顔合成処理を含む。画像処理内容は、画像データに対して、キャラクタ、アクセサリ、装飾などを合成する処理を含む。
画像処理内容は、画像データに対して、画像データに含まれる人物オブジェクトなどの所定の領域に注目を集めるようなエフェクトや画像を合成する処理を含む。具体的には、ストランなどの食事風景が画像に含まれている場合には、顧客が座るテーブルに注目を集める装飾を付与したり、料理をより美味しく見せる画像処理、会合などが楽しそうな雰囲気となるような画像処理などが含まれる。
The image processing ID is an item that stores image processing identification information for identifying the content of image processing.
The image processing content is an item that stores the image processing content to be applied to image data. References to functions, methods, programs, etc. that perform image processing located elsewhere may be stored.
The image processing content includes a frame for setting a frame for image data. Image processing contents include monotone, sepia, vivid, etc. for correcting the color tone of image data. The image processing contents include contrast correction, brightness correction, etc. for image data. The image processing includes face correction processing for correcting various parts of a person's face included in the image data, such as eyes, nose, and mouth. The image processing includes face synthesis processing that corrects the face of a person included in the image data into the face of an animal, character, or the like. The image processing content includes processing for synthesizing characters, accessories, decorations, etc. with image data.
The image processing includes processing for synthesizing image data with an effect or image that draws attention to a predetermined area such as a human object included in the image data. Specifically, when an image includes a dining scene at a restaurant, etc., it is possible to add decorations that attract attention to the table where customers are sitting, image processing to make the food look more delicious, or to create an atmosphere that makes the meeting look fun. This includes image processing such as

評価モデル1017は、画像データを入力データとして、反響指数を出力(推論)する学習モデルである。評価モデル1017の学習処理は、後述する。入力データは、画像データに関連するユーザのSNSサービスにおける、SNS属性であるフォロワー数、フォロワー属性、ユーザ属性など、を含んでも良い。
入力データは、画像データに関連する投稿記事のテキスト、ハッシュタグを含んでも良い。
出力データは、投稿日時に関する情報を含んでも良い。
The evaluation model 1017 is a learning model that outputs (infers) a reverberation index using image data as input data. The learning process of the evaluation model 1017 will be described later. The input data may include SNS attributes such as the number of followers, follower attributes, user attributes, etc. in the user's SNS service related to the image data.
The input data may include the text and hashtag of the posted article related to the image data.
The output data may include information regarding posting date and time.

生成モデル1018は、画像データを入力データとして、生成データを出力(推論)する学習モデルである。生成モデル1018の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
The generation model 1018 is a learning model that uses image data as input data and outputs (inferences) generated data. The learning process of the generative model 1018 will be described later.
The input data may include event attributes associated with the image data.

領域抽出モデル1019は、画像データを入力データとして、領域抽出された画像データ(部分画像データ)を出力(推論)する学習モデルである。領域抽出モデル1019の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
The region extraction model 1019 is a learning model that uses image data as input data and outputs (infers) region-extracted image data (partial image data). The learning process of the region extraction model 1019 will be described later.
The input data may include event attributes associated with the image data.

画像処理モデル1020は、部分画像データを入力データとして、画像処理された画像データ(画像処理データ)を出力(推論)する学習モデルである。画像処理モデル1020の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
The image processing model 1020 is a learning model that uses partial image data as input data and outputs (infers) image data that has undergone image processing (image processing data). The learning process of the image processing model 1020 will be described later.
The input data may include event attributes associated with the image data.

イベントモデル1021は、画像データを入力データとして、イベント属性を出力(推論)する学習モデルである。イベントモデル1021の学習処理は、後述する。 The event model 1021 is a learning model that outputs (infers) event attributes using image data as input data. The learning process of the event model 1021 will be described later.

テキストモデル1022は、画像データを入力データとして、テキストまたはハッシュタグを出力(推論)する学習モデルである。テキストモデル1022の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
The text model 1022 is a learning model that outputs (infers) text or hashtags using image data as input data. The learning process for the text model 1022 will be described later.
The input data may include event attributes associated with the image data.

評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022の一例として、深層学習におけるディープニューラルネットワークによる深層学習モデルを説明する。学習モデルは、深層学習モデルである必要は必ずしもなく、任意の機械学習モデル、人工知能モデルなどでも良い。 A deep learning model using a deep neural network in deep learning will be described as an example of an evaluation model 1017, a generation model 1018, a region extraction model 1019, an image processing model 1020, an event model 1021, and a text model 1022. The learning model does not necessarily have to be a deep learning model, and may be any machine learning model, artificial intelligence model, or the like.

<サーバ10の制御部の構成>
サーバ10の制御部104は、ユーザ登録制御部1041、投稿部1042、イベント推論部1043、画像生成部1044、テキスト生成部1045、評価部1046を備える。制御部104は、記憶部101に記憶されたアプリケーションプログラム1011を実行することにより、各機能ユニットが実現される。
<Configuration of control unit of server 10>
The control unit 104 of the server 10 includes a user registration control unit 1041, a posting unit 1042, an event inference unit 1043, an image generation unit 1044, a text generation unit 1045, and an evaluation unit 1046. The control unit 104 realizes each functional unit by executing the application program 1011 stored in the storage unit 101.

ユーザ登録制御部1041は、本開示に係るサービスの利用を希望するユーザの情報をユーザテーブル1012、撮影テーブル1013に記憶する処理を行う。
ユーザテーブル1012に記憶される、ユーザID、ユーザ名の情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームにユーザID、ユーザ名を入力しサーバ10へ送信する。サーバ10のユーザ登録制御部1041は、受信したユーザID、ユーザ名をユーザテーブル1012の新しいレコードに記憶し、ユーザ登録が完了する。これにより、ユーザテーブル1012に記憶されたユーザはサービスを利用することができるようになる。
撮影テーブル1013に記憶される、ユーザIDの情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームに自身のアカウントと関連付けたい撮影端末30のカメラIDを入力または選択し、サーバ10へ送信する。サーバ10のユーザ登録制御部1041は、当該ユーザのユーザIDを、受信したカメラIDと紐付けて撮影テーブル1013に記憶する。これにより、ユーザテーブル1012に記憶されたユーザと、撮影端末30が関連付けられる。撮影テーブル1013において撮影端末30に関連付けられたユーザは、自身と関連付けられた撮影端末30を用いた本開示にかかるサービスの提供を受けることができるようになる。
ユーザ登録制御部1041によるユーザ情報のユーザテーブル1012への登録に先立ち、サービス提供者は所定の審査を行いユーザによるサービス利用可否を制限しても良い。
ユーザIDは、ユーザを識別できる任意の文字列または数字で良く、ユーザが希望する任意の文字列または数字、もしくはサーバ10のユーザ登録制御部1041が自動的に任意の文字列または数字を設定しても良い。
The user registration control unit 1041 performs a process of storing information of users who wish to use the service according to the present disclosure in the user table 1012 and the shooting table 1013.
The information on the user ID and user name stored in the user table 1012 is obtained when the user opens a web page operated by a service provider from any information processing terminal and enters the user ID and user name in a predetermined input form. Send to server 10. The user registration control unit 1041 of the server 10 stores the received user ID and user name in a new record of the user table 1012, and the user registration is completed. This allows the users stored in the user table 1012 to use the service.
The user ID information stored in the shooting table 1013 is such that the user opens a web page operated by a service provider from any information processing terminal, and enters the camera of the shooting terminal 30 that the user wants to associate with his or her account in a predetermined input form. Enter or select the ID and send it to the server 10. The user registration control unit 1041 of the server 10 stores the user ID of the user in the photographing table 1013 in association with the received camera ID. Thereby, the user stored in the user table 1012 and the photographing terminal 30 are associated. A user associated with a photographing terminal 30 in the photographing table 1013 can receive services according to the present disclosure using the photographing terminal 30 associated with the user.
Prior to the registration of user information in the user table 1012 by the user registration control unit 1041, the service provider may perform a predetermined examination to restrict whether or not the user can use the service.
The user ID may be any character string or number that can identify the user, and may be any character string or number desired by the user, or may be automatically set by the user registration control unit 1041 of the server 10. It's okay.

投稿部は、SNS投稿処理を実行する。詳細は後述する。
イベント推論部は、イベント推論処理を実行する。詳細は後述する。
画像生成部は、画像生成処理(第一実施例)、画像生成処理(第二実施例)を実行する。詳細は後述する。
テキスト生成部は、テキスト・ハッシュタグ生成処理を実行する。詳細は後述する。
The posting unit executes SNS posting processing. Details will be described later.
The event inference unit executes event inference processing. Details will be described later.
The image generation unit executes image generation processing (first embodiment) and image generation processing (second embodiment). Details will be described later.
The text generation unit executes text hashtag generation processing. Details will be described later.

<ユーザ端末20の機能構成>
ユーザ端末20のハードウェア構成が実現する機能構成を図3に示す。ユーザ端末20は、記憶部201、制御部204、タッチパネル206、タッチセンシティブデバイス2061、ディスプレイ2062、マイク2081、スピーカ2082、位置情報センサ2083、カメラ2084、モーションセンサ2085を備える。
なお、サーバ10の代わりに、ユーザ端末20が投稿部1042、イベント推論部1043、画像生成部1044、テキスト生成部1045、評価部1046、又はこれらのうち少なくとも2つの組み合わせを備える構成としても良い。そのとき、必要に応じて評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022をサーバ10からダウンロードして、各機能部を機能させても良い。
<Functional configuration of user terminal 20>
FIG. 3 shows a functional configuration realized by the hardware configuration of the user terminal 20. The user terminal 20 includes a storage unit 201, a control unit 204, a touch panel 206, a touch sensitive device 2061, a display 2062, a microphone 2081, a speaker 2082, a position information sensor 2083, a camera 2084, and a motion sensor 2085.
Note that instead of the server 10, the user terminal 20 may include a posting section 1042, an event inference section 1043, an image generation section 1044, a text generation section 1045, an evaluation section 1046, or a combination of at least two of these. At that time, the evaluation model 1017, the generation model 1018, the region extraction model 1019, the image processing model 1020, the event model 1021, and the text model 1022 may be downloaded from the server 10 to make each functional unit function.

<ユーザ端末20の記憶部の構成>
ユーザ端末20の記憶部201は、ユーザ端末20を利用するユーザを識別するためのユーザID2011、アプリケーションプログラム2012を記憶する。
ユーザIDはユーザのアカウントIDである。ユーザは、ユーザ端末20からユーザID2011を、サーバ10へ送信する。サーバ10は、ユーザID2011に基づきユーザを識別し、本開示にかかるサービスをユーザに対して提供する。なお、ユーザIDには、ユーザ端末20を利用しているユーザを識別するにあたりサーバ10から一時的に付与されるセッションIDなどの情報を含む。
アプリケーションプログラム2012は、記憶部201に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム2012は、ユーザ端末20に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
<Configuration of storage unit of user terminal 20>
The storage unit 201 of the user terminal 20 stores a user ID 2011 for identifying a user who uses the user terminal 20 and an application program 2012.
The user ID is the user's account ID. The user transmits the user ID 2011 from the user terminal 20 to the server 10. The server 10 identifies the user based on the user ID 2011 and provides the service according to the present disclosure to the user. Note that the user ID includes information such as a session ID temporarily given by the server 10 to identify the user using the user terminal 20.
The application program 2012 may be stored in advance in the storage unit 201, or may be downloaded from a web server operated by a service provider via a communication IF. Application program 2012 includes an interpreted programming language such as JavaScript® that is executed on a web browser application stored on user terminal 20.

<ユーザ端末20の制御部の構成>
ユーザ端末20の制御部204は、入力制御部2041および出力制御部2042を備える。制御部204は、記憶部201に記憶されたアプリケーションプログラム2012を実行することにより、入力制御部2041、出力制御部2042の機能ユニットが実現される。
ユーザ端末20の入力制御部2041は、ユーザによるタッチパネル206のタッチセンシティブデバイス2061への操作内容、マイク2081への音声入力、位置情報センサ2083、カメラ2084、モーションセンサ2085、などの入力装置から出力される情報を取得し各種処理を実行する。ユーザ端末20の入力制御部2041は、入力装置から取得した情報をユーザID2011とともにサーバ10へ送信する処理を実行する。
ユーザ端末20の出力制御部2042は、入力装置に対するユーザによる操作およびサーバ10から情報を受信し、ディスプレイ2062の表示内容、スピーカ2082の音声出力内容の制御処理を実行する。
<Configuration of control unit of user terminal 20>
The control unit 204 of the user terminal 20 includes an input control unit 2041 and an output control unit 2042. The control unit 204 implements functional units of an input control unit 2041 and an output control unit 2042 by executing the application program 2012 stored in the storage unit 201.
The input control unit 2041 of the user terminal 20 controls the content of operations performed by the user on the touch-sensitive device 2061 on the touch panel 206, voice input to the microphone 2081, output from input devices such as the position information sensor 2083, the camera 2084, and the motion sensor 2085. Acquires information and executes various processes. The input control unit 2041 of the user terminal 20 executes a process of transmitting information acquired from the input device to the server 10 together with the user ID 2011.
The output control unit 2042 of the user terminal 20 receives user operations on the input device and information from the server 10, and executes control processing of the display content of the display 2062 and the audio output content of the speaker 2082.

<撮影端末30の機能構成>
撮影端末30のハードウェア構成が実現する機能構成を図4に示す。撮影端末30は、記憶部301、制御部304を備える。撮影端末30は、入力装置306と接続されている。入力装置306は、カメラ3061、マイク3062を含む。
カメラ3061は、店舗や住居内の定まった位置に設けられ、店舗や住居内の所定位置に所在する人物、顧客などの様子を撮影するカメラである。具体的に、カメラ3061は、レストランなどの施設内において、顧客が座るテーブルなどに向けて配置される。または、顧客が座るテーブルの中央などに設けられ、テーブルに座る顧客の様子を撮影することができる。
<Functional configuration of photographing terminal 30>
FIG. 4 shows a functional configuration realized by the hardware configuration of the photographing terminal 30. The photographing terminal 30 includes a storage section 301 and a control section 304. The photographing terminal 30 is connected to an input device 306. Input device 306 includes a camera 3061 and a microphone 3062.
The camera 3061 is a camera that is installed at a predetermined location in a store or residence, and takes pictures of people, customers, etc. located at predetermined locations in the store or residence. Specifically, the camera 3061 is placed within a facility such as a restaurant, facing a table where a customer is seated. Alternatively, it can be installed in the center of a table where customers are sitting, and can take pictures of the customers sitting at the table.

<撮影端末30の記憶部の構成>
撮影端末30の記憶部301は、撮影端末30に接続されたカメラ3061を識別するためのカメラID3011、アプリケーションプログラム3012を記憶する。
ユーザは、撮影端末30からカメラID3011を、サーバ10へ送信する。
アプリケーションプログラム3012は、記憶部301に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム3012は、撮影端末30に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
<Configuration of storage unit of photographing terminal 30>
The storage unit 301 of the photographing terminal 30 stores a camera ID 3011 for identifying the camera 3061 connected to the photographing terminal 30 and an application program 3012.
The user transmits the camera ID 3011 from the photographing terminal 30 to the server 10.
The application program 3012 may be stored in advance in the storage unit 301, or may be downloaded from a web server operated by a service provider via a communication IF. The application program 3012 includes an interpreted programming language such as JavaScript (registered trademark) that is executed on a web browser application stored in the photographing terminal 30.

<撮影端末30の制御部の構成>
撮影端末30の制御部304は、入力制御部3041および出力制御部3042を備える。制御部304は、記憶部301に記憶されたアプリケーションプログラム3012を実行することにより、入力制御部3041、出力制御部3042の機能ユニットが実現される。
撮影端末30の入力制御部3041は、カメラ3061により撮影された画像データ、動画データ、マイク3062により集音された音声データを取得し各種処理を実行する。撮影端末30の入力制御部3041は、画像データ、動画データ、音声データをカメラID3011とともにサーバ10へ送信する処理を実行する。
<Configuration of control unit of photographing terminal 30>
The control section 304 of the photographing terminal 30 includes an input control section 3041 and an output control section 3042. The control unit 304 implements functional units of an input control unit 3041 and an output control unit 3042 by executing the application program 3012 stored in the storage unit 301.
The input control unit 3041 of the photographing terminal 30 acquires image data photographed by the camera 3061, video data, and audio data collected by the microphone 3062, and executes various processes. The input control unit 3041 of the photographing terminal 30 executes a process of transmitting image data, video data, and audio data together with the camera ID 3011 to the server 10.

<情報処理システム1の動作>
以下、情報処理システム1の各処理について説明する。
図10は、サーバ10におけるSNS投稿処理の動作を示すフローチャートである。
<Operation of information processing system 1>
Each process of the information processing system 1 will be explained below.
FIG. 10 is a flowchart showing the operation of the SNS posting process in the server 10.

<SNS投稿処理>
SNS投稿処理は、撮影端末30により撮影された画像データなどのデジタルコンテンツに基づき、SNSサービスへ投稿する投稿記事情報を生成し投稿を実行する処理である。
<SNS posting process>
The SNS posting process is a process of generating posted article information to be posted to the SNS service based on digital content such as image data taken by the photographing terminal 30, and executing the posting.

<SNS投稿処理の概要>
SNS投稿処理は、撮影端末30により撮影された画像データを取得し、イベント推論処理、画像生成処理、テキスト・ハッシュタグ生成処理、評価処理、SNS投稿判定、SNS投稿処理を実行する一連の処理である。SNS投稿処理は、所定期間ごとに定期的に実行される。なお、SNS投稿処理は、画像データに替えて、任意のデジタルコンテンツに対して一連の処理を適用しても良い。
<Overview of SNS posting process>
The SNS posting process is a series of processes that acquires image data taken by the shooting terminal 30 and executes event inference processing, image generation processing, text/hashtag generation processing, evaluation processing, SNS posting judgment, and SNS posting processing. be. The SNS posting process is periodically executed at predetermined intervals. Note that in the SNS posting process, a series of processes may be applied to arbitrary digital content instead of image data.

<SNS投稿処理の詳細>
ステップS101において、撮影端末30の入力制御部3041は、カメラ3061を制御し撮影制御を行わせることにより画像データ、動画データを撮影し取得する。
ユーザによる入力操作に応じて、撮影端末30の入力制御部3041は、SNS投稿処理を開始しても良い。例えば、撮影端末30またはカメラ3061に設けられて所定のスイッチをユーザが操作することにより、SNS投稿処理を開始しても良い。ユーザ端末20が、ユーザによる入力操作を受け付けて、当該入力操作に応じて撮影端末30の入力制御部3041へ、SNS投稿処理を開始することを指示するリクエストを送信し、撮影端末30の入力制御部3041はリクエストの受信に応じて、SNS投稿処理を開始しても良い。
撮影端末30の入力制御部3041は、マイク3062を制御し集音制御を行わせることにより音声データを集音し取得する。撮影端末30は、カメラID3011、撮影された画像データ、動画データ、集音された音声データをサーバ10へ送信する。
サーバ10の投稿部1042は、受信したカメラIDと関連付けて、受信した画像データを画像テーブル1014の画像データの項目に記憶する。サーバ10の投稿部1042は、画像データの撮影日時、または画像データの受信日時、現在日時などを画像テーブル1014の現在日時の項目に記憶する。サーバ10の投稿部1042は、定期的にSNS投稿処理が実行されるごとに、撮影端末30から取得した画像データを画像テーブル1014の新しいレコードに記憶する。
サーバ10の投稿部1042は、受信したカメラIDと関連付けて、動画データ、音声データを撮影テーブル1013の動画データ、音声データの項目に記憶する。サーバ10の投稿部1042は、撮影端末30から取得した動画データ、音声データを常に、撮影テーブル1013の動画データ、音声データの項目に記憶する構成としても良い。サーバ10の投稿部1042は、撮影端末30から取得した動画データ、音声データをそれぞれ一定期間ごとの長さの動画データ、音声データに編集し、撮影テーブル1013の動画データ、音声データの項目に記憶する構成としても良い。
<Details of SNS posting process>
In step S101, the input control unit 3041 of the photographing terminal 30 controls the camera 3061 to perform photographing control, thereby photographing and acquiring image data and video data.
In response to an input operation by the user, the input control unit 3041 of the photographing terminal 30 may start the SNS posting process. For example, the SNS posting process may be started by the user operating a predetermined switch provided on the photographing terminal 30 or the camera 3061. The user terminal 20 receives the input operation by the user, and in response to the input operation, transmits a request to the input control unit 3041 of the photographing terminal 30 to instruct to start SNS posting processing, and controls the input of the photographing terminal 30. The unit 3041 may start SNS posting processing in response to receiving the request.
The input control unit 3041 of the photographing terminal 30 collects and acquires audio data by controlling the microphone 3062 to perform sound collection control. The photographing terminal 30 transmits the camera ID 3011, photographed image data, moving image data, and collected audio data to the server 10.
The posting unit 1042 of the server 10 stores the received image data in the image data item of the image table 1014 in association with the received camera ID. The posting unit 1042 of the server 10 stores the shooting date and time of the image data, the reception date and time of the image data, the current date and time, etc. in the current date and time item of the image table 1014. The posting unit 1042 of the server 10 stores the image data acquired from the photographing terminal 30 in a new record of the image table 1014 every time the SNS posting process is executed periodically.
The posting unit 1042 of the server 10 stores the video data and audio data in the video data and audio data items of the photographing table 1013 in association with the received camera ID. The posting unit 1042 of the server 10 may be configured to always store the video data and audio data acquired from the imaging terminal 30 in the video data and audio data items of the imaging table 1013. The posting unit 1042 of the server 10 edits the video data and audio data acquired from the shooting terminal 30 into video data and audio data of a certain length, respectively, and stores them in the video data and audio data items of the shooting table 1013. It is also possible to have a configuration in which

<イベント推論処理>
ステップS102において、サーバ10のイベント推論部1043は、イベント推論処理を実行する。イベント推論処理は、撮影端末30により撮影された画像データに基づき、イベント属性を推論する処理である。
<Event inference processing>
In step S102, the event inference unit 1043 of the server 10 executes event inference processing. The event inference process is a process of inferring event attributes based on image data photographed by the photographing terminal 30.

サーバ10のイベント推論部1043は、画像テーブル1014に新たに記憶された画像データを入力データとして、イベントモデル1021に適用することにより、イベント属性を出力データとして取得する。
サーバ10のイベント推論部1043は、出力されたイベント属性を、画像テーブル1014の該当レコードのイベント属性の項目に記憶する。
The event inference unit 1043 of the server 10 uses the image data newly stored in the image table 1014 as input data and applies it to the event model 1021 to obtain event attributes as output data.
The event inference unit 1043 of the server 10 stores the output event attribute in the event attribute field of the corresponding record in the image table 1014.

<画像生成処理>
ステップS103において、サーバ10の画像生成部1044は、画像生成処理を実行する。画像生成処理は、画像生成処理(第一実施例)、画像生成処理(第二実施例)のいずれかの処理である。
<Image generation processing>
In step S103, the image generation unit 1044 of the server 10 executes image generation processing. The image generation process is either image generation process (first embodiment) or image generation process (second embodiment).

<画像生成処理(第一実施例)>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データに基づき、生成データを生成する処理である。
<Image generation processing (first embodiment)>
The image generation process (first embodiment) is a process of generating generated data based on image data photographed by the photographing terminal 30.

<画像生成処理(第一実施例)の概要>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データを入力データとして、生成モデル1018に適用することにより、生成データを生成する一連の処理である。
<Overview of image generation processing (first embodiment)>
The image generation process (first embodiment) is a series of processes that generates generated data by applying image data photographed by the photographing terminal 30 to the generation model 1018 as input data.

<画像生成処理(第一実施例)の詳細>
サーバ10の画像生成部1044は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、生成モデル1018に適用することにより、生成データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、出力された生成データを、画像テーブル1014の該当レコードの生成データの項目に記憶する。
<Details of image generation processing (first embodiment)>
The image generation unit 1044 of the server 10 uses the image data and event attributes newly stored in the image table 1014 as input data, and applies them to the generation model 1018 to obtain generated data as output data. Note that the event attribute does not need to be included in the input data.
The image generation unit 1044 of the server 10 stores the output generated data in the generated data item of the corresponding record in the image table 1014.

<画像生成処理(第二実施例)>
画像生成処理(第二実施例)は、撮影端末30により撮影された画像データに基づき、生成データを生成する処理である。
<Image generation processing (second embodiment)>
The image generation process (second embodiment) is a process of generating generated data based on image data photographed by the photographing terminal 30.

<画像生成処理(第二実施例)の概要>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データを入力データとして、領域抽出モデル1019を適用することにより部分画像データを生成し、部分画像データを入力画像データとして、画像処理モデル1020を適用することにより画像処理データを生成する一連の処理である。
<Overview of image generation processing (second embodiment)>
The image generation process (first embodiment) uses the image data photographed by the photographing terminal 30 as input data, generates partial image data by applying the area extraction model 1019, uses the partial image data as input image data, This is a series of processing that generates image processing data by applying the image processing model 1020.

<画像生成処理(第二実施例)の詳細>
サーバ10の画像生成部1044は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、領域抽出モデル1019に適用することにより、部分画像データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、部分画像データ、イベント属性を入力データとして、画像処理モデル1020に適用することにより、画像処理データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、出力された画像処理データを、画像テーブル1014の該当レコードの生成データの項目に記憶する。
<Details of image generation processing (second embodiment)>
The image generation unit 1044 of the server 10 applies the image data and event attributes newly stored in the image table 1014 as input data to the region extraction model 1019, thereby acquiring partial image data as output data. Note that the event attribute does not need to be included in the input data.
The image generation unit 1044 of the server 10 uses the partial image data and event attributes as input data and applies them to the image processing model 1020 to obtain image processing data as output data. Note that the event attribute does not need to be included in the input data.
The image generation unit 1044 of the server 10 stores the output image processing data in the generated data item of the corresponding record in the image table 1014.

<テキスト・ハッシュタグ生成処理>
ステップS104において、サーバ10のテキスト生成部1045は、テキスト・ハッシュタグ生成処理を実行する。
サーバ10のテキスト生成部1045は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、テキストモデル1022に適用することにより、テキストおよびハッシュタグを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10のテキスト生成部1045は、出力されたテキスト、ハッシュタグを、画像テーブル1014の該当レコードのテキスト、ハッシュタグの項目に記憶する。
<Text/hashtag generation process>
In step S104, the text generation unit 1045 of the server 10 executes text hashtag generation processing.
The text generation unit 1045 of the server 10 uses the image data and event attributes newly stored in the image table 1014 as input data and applies them to the text model 1022 to obtain text and hashtags as output data. Note that the event attribute does not need to be included in the input data.
The text generation unit 1045 of the server 10 stores the output text and hash tag in the text and hash tag field of the corresponding record in the image table 1014.

<評価処理>
ステップS105において、サーバ10の評価部1046は、評価処理を実行する。評価処理は、生成データまたは画像処理データを入力データとして、当該画像データの反響指数、投稿日時を推論するための処理である。
<Evaluation processing>
In step S105, the evaluation unit 1046 of the server 10 executes evaluation processing. The evaluation process is a process for inferring the response index and posting date and time of the image data using generated data or image processing data as input data.

<評価処理の概要>
評価処理は、生成データまたは画像処理データを取得し、テキストおよびハッシュタグを取得し、撮影端末30に関連付けられたユーザのSNS属性を取得し、それらを入力データとして、評価モデル1017に適用することにより反響指数、投稿日時を推論する一連の処理である。
<Overview of evaluation process>
The evaluation process involves acquiring generated data or image processing data, acquiring text and hashtags, acquiring SNS attributes of the user associated with the photographing terminal 30, and applying them to the evaluation model 1017 as input data. This is a series of processes to infer the response index and posting date and time.

<評価処理の詳細>
サーバ10の評価部1046は、画像テーブル1014に新たに記憶された生成データ、テキスト、ハッシュタグを取得する。サーバ10の評価部1046は、画像テーブル1014における該当レコードのカメラIDに基づき撮影テーブル1013を検索し、撮影端末30に関連付けられたユーザのユーザIDを特定する。サーバ10の評価部1046は、特定したユーザIDに基づき、SNSテーブル1015を検索し、フォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を取得する。
サーバ10の評価部1046は、生成データ、テキスト、ハッシュタグ、SNS属性を入力データとして、評価モデル1017に適用することにより、反響指数および投稿日時を出力データとして取得する。なお、テキスト、ハッシュタグ、SNS属性は入力データに含めなくても良い。
サーバ10の評価部1046は、反響指数、投稿日時を、画像テーブル1014の該当レコードの反響指数、投稿日時の項目に記憶する。なお、投稿日時は出力データに含めなくても良い。
<Details of evaluation processing>
The evaluation unit 1046 of the server 10 acquires the generated data, text, and hashtag newly stored in the image table 1014. The evaluation unit 1046 of the server 10 searches the photographing table 1013 based on the camera ID of the corresponding record in the image table 1014, and identifies the user ID of the user associated with the photographing terminal 30. The evaluation unit 1046 of the server 10 searches the SNS table 1015 based on the specified user ID, and obtains SNS attributes including the number of followers, follower attributes, and user attributes.
The evaluation unit 1046 of the server 10 uses the generated data, text, hashtag, and SNS attribute as input data and applies them to the evaluation model 1017 to obtain the response index and posting date and time as output data. Note that text, hashtags, and SNS attributes do not need to be included in the input data.
The evaluation unit 1046 of the server 10 stores the response index and posting date and time in the response index and posting date and time fields of the corresponding record in the image table 1014. Note that the posting date and time does not need to be included in the output data.

ステップS106において、サーバ10の投稿部1042は、画像テーブル1014に新たに記憶された反響指数を取得する。サーバ10の投稿部1042は、反響指数が所定値(反響閾値)に満たない場合(Noの場合)には、処理を終了する。反響指数が所定値以上という条件を満たす場合にはステップS107に進む。 In step S106, the posting unit 1042 of the server 10 acquires the response index newly stored in the image table 1014. The posting unit 1042 of the server 10 ends the process if the response index is less than a predetermined value (reaction threshold) (in the case of No). If the condition that the reverberation index is greater than or equal to the predetermined value is satisfied, the process proceeds to step S107.

反響閾値は、サービス提供者が手動で定めた所定の値でも良い。
反響閾値は、該当ユーザのSNSテーブル1015における投稿回数上限の値に基づき、所定期間内における投稿記事数が投稿回数上限に収まる範囲内で、できるだけ反響指数が大きい投稿記事がSNSサービスへ投稿されるように定められる値である。反響閾値は、既知の、機械学習、深層学習、人工知能技術などを用いて自動的に定めても良い。
The echo threshold may be a predetermined value manually determined by the service provider.
The response threshold is based on the value of the upper limit of the number of posts in the SNS table 1015 of the corresponding user, and articles with the highest response index as possible are posted to the SNS service within the range where the number of posted articles within a predetermined period falls within the upper limit of the number of posts. This is the value determined as follows. The echo threshold may be automatically determined using known machine learning, deep learning, artificial intelligence techniques, or the like.

ステップS107において、サーバ10の投稿部1042は、画像テーブル1014に新たに記憶された生成データ、テキスト、ハッシュタグ、投稿日時を取得する。サーバ10の投稿部1042は、取得した生成データ、テキスト、ハッシュタグに基づきSNSサービスへ投稿するためのJSON形式などの所定のオブジェクトデータ(投稿記事)を生成する。
サーバ10の投稿部1042は、画像テーブル1014における該当レコードのカメラIDに基づき撮影テーブル1013を検索し、撮影端末30に関連付けられたユーザのユーザIDを特定する。サーバ10の投稿部1042は、特定したユーザIDに基づき、SNSテーブル1015を検索し、SNSID、エンドポイントの値を取得する。
サーバ10の投稿部1042は、SNSサービスにおいて投稿記事が投稿日時に投稿されるように、当該ユーザのSNSサービスにおけるユーザIDであるSNSID、投稿記事を含むリクエストを取得したエンドポイントへ送信する。これにより、投稿日時にSNSサービスに対して投稿記事が投稿される。
In step S107, the posting unit 1042 of the server 10 acquires the generated data, text, hashtag, and posting date and time newly stored in the image table 1014. The posting unit 1042 of the server 10 generates predetermined object data (posted article) in JSON format or the like for posting to an SNS service based on the obtained generated data, text, and hashtag.
The posting unit 1042 of the server 10 searches the photographing table 1013 based on the camera ID of the corresponding record in the image table 1014, and identifies the user ID of the user associated with the photographing terminal 30. The posting unit 1042 of the server 10 searches the SNS table 1015 based on the specified user ID, and obtains the values of the SNS ID and endpoint.
The posting unit 1042 of the server 10 sends a request including the SNSID, which is the user ID of the user in the SNS service, and the posted article to the acquired endpoint so that the posted article is posted on the SNS service at the posting date and time. As a result, the article is posted to the SNS service at the posting date and time.

例えば、撮影された画像が、レストランなどの食事風景が画像に含まれている場合には、顧客が座るテーブルに注目を集める装飾を付与したり、料理をより美味しく見せる画像処理、会合などが楽しそうな雰囲気となるような画像処理などが施され、SNSにおいてより大きな反響が期待できる生成データが生成され、SNSサービスへ投稿される。 For example, if the photographed image includes a dining scene at a restaurant, etc., decorations that attract attention may be added to the table where customers are sitting, image processing to make the food taste more delicious, or functions such as gatherings may be added. Image processing is applied to create that atmosphere, and data that is expected to have a greater impact on SNS is generated and posted to SNS services.

<学習処理>
評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022の学習処理を以下に説明する。
<Learning process>
The learning process of the evaluation model 1017, generation model 1018, region extraction model 1019, image processing model 1020, event model 1021, and text model 1022 will be described below.

<評価モデル1017の学習処理>
評価モデル1017の学習処理は、評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of evaluation model 1017>
The learning process of the evaluation model 1017 is a process of learning the learning parameters of the deep neural network included in the evaluation model 1017 by deep learning.

<評価モデル1017の学習処理の概要>
評価モデル1017の学習処理は、SNSサービスにおける過去の投稿記事に含まれる画像データ、テキスト、ハッシュタグを入力データ(入力ベクトル)として、反響指数、投稿記事の投稿日時を出力データ(教師データ)となるように、評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
評価モデル1017の入力データから、テキスト、ハッシュタグのいずれかを省略しても構わない。
評価モデル1017の出力データから、投稿日時を省略しても構わない。
<Overview of learning process of evaluation model 1017>
The learning process of the evaluation model 1017 uses image data, text, and hashtags included in past articles posted on SNS services as input data (input vectors), and uses response index and posting date and time of posted articles as output data (teacher data). This is a process of learning the learning parameters of the deep neural network included in the evaluation model 1017 by deep learning.
Either the text or the hashtag may be omitted from the input data of the evaluation model 1017.
The posting date and time may be omitted from the output data of the evaluation model 1017.

<評価モデル1017の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データ、テキスト、ハッシュタグなどを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、過去の投稿記事ごとの反響指数(教師反響指数)を、当該投稿記事を投稿してから所定期間内のいいね数、リツイート数、コメント数に基づき算定する。所定期間は、任意の時間、期間を定めても良い。算定方法の一例として、いいね数、リツイート数、コメント数の和を算定する。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事を投稿したユーザのSNS属性、投稿記事に含まれる画像データ、テキスト、ハッシュタグなどを入力データ(入力ベクトル)として、教師反響指数、投稿記事の投稿時刻または投稿曜日などの投稿日時に関する情報を出力データ(教師データ)となるよう、学習データを作成する。
サーバ10の学習部1051は、学習データに基づき、評価モデル1017のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づき評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
<Details of learning process of evaluation model 1017>
The learning unit 1051 of the server 10 acquires SNS attributes of various users in the SNS service, including the number of followers for each user, follower attributes, and user attributes, from a known SNS service. The learning unit 1051 of the server 10 acquires posted articles including image data, text, hashtags, etc., posted in the past by the user from the SNS service. The learning unit 1051 of the server 10 calculates the response index (teacher response index) for each past article posted based on the number of likes, number of retweets, and number of comments within a predetermined period after posting the article. The predetermined period may be any time or period. As an example of a calculation method, the sum of the number of likes, number of retweets, and number of comments is calculated.
The learning unit 1051 of the server 10 uses, for each posted article, the SNS attributes of the user who posted the posted article, image data, text, hashtags, etc. included in the posted article as input data (input vector), and calculates the teacher response index, the posted Learning data is created so that information about the posting date and time, such as the posting time or posting day of the article, becomes output data (teacher data).
The learning unit 1051 of the server 10 creates datasets such as training data, test data, and verification data for learning the deep neural network of the evaluation model 1017 based on the learning data.
The learning unit 1051 of the server 10 uses deep learning to learn the learning parameters of the deep neural network included in the evaluation model 1017 based on the created data set.

<生成モデル1018の学習処理>
生成モデル1018の学習処理は、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of generative model 1018>
The learning process of the generative model 1018 is a process of learning the learning parameters of the deep neural network included in the generative model 1018 by deep learning.

<生成モデル1018の学習処理の概要>
生成モデル1018の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる生成データを出力するように、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Overview of learning process of generative model 1018>
The learning process of the generative model 1018 uses image data as input data (input vector), and uses deep learning to adjust the learning parameters of the deep neural network included in the generative model 1018 so as to output generated data that can obtain a larger reverberation index. This is a learning process.

<生成モデル1018の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の生成データを生成する。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、生成モデル1018に適用する入力データに含めても良い。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の生成データを入力データとして、評価モデル1017に適用することにより、複数の生成データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる生成データを出力するような生成モデル1018を得ることができる。
<Details of the learning process of the generative model 1018>
The learning unit 1051 of the server 10 acquires SNS attributes of various users in the SNS service, including the number of followers for each user, follower attributes, and user attributes, from a known SNS service. The learning unit 1051 of the server 10 acquires posted articles including image data posted in the past by the user from the SNS service. The learning unit 1051 of the server 10 uses the image data included in the posted article as input data and applies it while changing the learning parameters of the deep neural network included in the generation model 1018, thereby generating a plurality of generated data. At this time, the learning unit 1051 of the server 10 may include the event attributes obtained by applying the image data included in the posted article as input data to the event model 1021 in the input data applied to the generation model 1018. good.
The learning unit 1051 of the server 10 uses the user's SNS attributes of the posted article and the plurality of generated data as input data and applies them to the evaluation model 1017, thereby obtaining a response index for each of the plurality of generated data. The learning unit 1051 of the server 10 optimizes the learning parameters of the deep neural network included in the generative model 1018 so as to obtain a larger reverberation index.
As a result, it is possible to obtain a generation model 1018 that uses image data as input data and outputs generated data that provides a larger reverberation index.

サーバ10の学習部1051は、生成モデル1018をGAN(Generative Adversarial Network、敵対的生成ネットワーク)などの任意の学習モデルとしても良い。 The learning unit 1051 of the server 10 may use any learning model such as a GAN (Generative Adversarial Network) as the generative model 1018.

<領域抽出モデル1019の学習処理>
領域抽出モデル1019の学習処理は、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of region extraction model 1019>
The learning process of the region extraction model 1019 is a process of learning the learning parameters of the deep neural network included in the region extraction model 1019 by deep learning.

<領域抽出モデル1019の学習処理の概要>
領域抽出モデル1019の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる領域抽出された画像データ(部分画像データ)を出力するように、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Overview of learning process of region extraction model 1019>
The learning process of the region extraction model 1019 is included in the region extraction model 1019 so that image data is used as input data (input vector) and image data from which a region is extracted (partial image data) from which a larger reverberation index is obtained is output. This process uses deep learning to learn the learning parameters of a deep neural network.

<領域抽出モデル1019の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の部分画像データを生成する。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、領域抽出モデル1019に適用する入力データに含めても良い。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の部分画像データを入力データとして、評価モデル1017に適用することにより、複数の部分画像データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる部分画像データを出力するような領域抽出モデル1019を得ることができる。
<Details of learning process of region extraction model 1019>
The learning unit 1051 of the server 10 acquires SNS attributes of various users in the SNS service, including the number of followers for each user, follower attributes, and user attributes, from a known SNS service. The learning unit 1051 of the server 10 acquires posted articles including image data posted in the past by the user from the SNS service. The learning unit 1051 of the server 10 uses the image data included in the posted article as input data and applies the deep neural network included in the region extraction model 1019 while changing the learning parameters to generate a plurality of partial image data. At this time, the learning unit 1051 of the server 10 includes the event attribute obtained by applying the image data included in the posted article as input data to the event model 1021 in the input data applied to the region extraction model 1019. Also good.
The learning unit 1051 of the server 10 uses the SNS attribute of the user of the posted article and the plurality of partial image data as input data and applies them to the evaluation model 1017, thereby obtaining a response index for each of the plurality of partial image data. The learning unit 1051 of the server 10 optimizes the learning parameters of the deep neural network included in the region extraction model 1019 so as to obtain a larger reverberation index.
As a result, it is possible to obtain a region extraction model 1019 that uses image data as input data and outputs partial image data from which a larger reverberation index can be obtained.

サーバ10の学習部1051は、領域抽出モデル1019をR-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSDなどの任意の物体検出手法に用いられる学習モデルとしても良い。この場合、サーバ10の学習部1051は、画像データに含まれる物体のカテゴリ、物体を含む画像範囲を特定することができる。このとき、サーバ10の学習部1051は、画像データに含まれる複数の物体検出を行い、検出された物体のカテゴリ(人物、動物、自動車など)、部分画像データの画像サイズなどを学習パラメータとしても良い。これにより、より反響指数が期待できる物体のカテゴリ、画像サイズが適した部分画像データを得ることができる領域抽出モデル1019を得ることができる。 The learning unit 1051 of the server 10 may use the region extraction model 1019 as a learning model used in any object detection method such as R-CNN, Fast R-CNN, Faster R-CNN, YOLO, or SSD. In this case, the learning unit 1051 of the server 10 can identify the category of the object included in the image data and the image range including the object. At this time, the learning unit 1051 of the server 10 detects multiple objects included in the image data, and uses the category of the detected object (person, animal, car, etc.), the image size of the partial image data, etc. as learning parameters. good. As a result, it is possible to obtain a region extraction model 1019 that can obtain partial image data suitable for the object category and image size that can be expected to have a higher reverberation index.

<画像処理モデル1020の学習処理>
画像処理モデル1020の学習処理は、画像処理モデル1020に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of image processing model 1020>
The learning process of the image processing model 1020 is a process of learning the learning parameters of the deep neural network included in the image processing model 1020 by deep learning.

<画像処理モデル1020(第一実施例)の学習処理の概要>
画像処理モデル1020の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理された画像データ(画像処理データ)を出力するように、画像処理モデル1020に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、画像処理モデル1020(第一実施例)に適用する入力データに含めても良い。
<Outline of learning process of image processing model 1020 (first embodiment)>
The learning process of the image processing model 1020 is included in the image processing model 1020 so that image data is used as input data (input vector) and image processed image data (image processing data) from which a larger reverberation index is obtained is output. This process uses deep learning to learn the learning parameters of a deep neural network. At this time, the learning unit 1051 of the server 10 applies the event attributes obtained by applying the image data included in the posted article to the event model 1021 as input data to the image processing model 1020 (first embodiment). It may also be included in the input data.

<画像処理モデル1020(第一実施例)の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、画像処理モデル1020(第一実施例)に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の画像処理データを生成する。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の画像処理データを入力データとして、評価モデル1017に適用することにより、複数の画像処理データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように画像処理モデル1020(第一実施例)に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる画像処理データを出力するような画像処理モデル1020(第一実施例)を得ることができる。
<Details of learning processing of image processing model 1020 (first embodiment)>
The learning unit 1051 of the server 10 acquires SNS attributes of various users in the SNS service, including the number of followers for each user, follower attributes, and user attributes, from a known SNS service. The learning unit 1051 of the server 10 acquires posted articles including image data posted in the past by the user from the SNS service. The learning unit 1051 of the server 10 uses the image data included in the posted article as input data, applies it while changing the learning parameters of the deep neural network included in the image processing model 1020 (first embodiment), and performs multiple image processing. Generate data.
The learning unit 1051 of the server 10 applies the SNS attribute of the user of the posted article and the plurality of image processing data as input data to the evaluation model 1017, thereby obtaining a response index for each of the plurality of image processing data. The learning unit 1051 of the server 10 optimizes the learning parameters of the deep neural network included in the image processing model 1020 (first embodiment) so as to obtain a larger reverberation index.
Thereby, it is possible to obtain an image processing model 1020 (first embodiment) that uses image data as input data and outputs image processing data that can obtain a larger reverberation index.

<画像処理モデル1020(第二実施例)の学習処理の概要>
画像処理モデル1020(第二実施例)の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理内容を出力するように、画像処理モデル1020(第二実施例)に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、画像処理モデル1020(第二実施例)に適用する入力データに含めても良い。
具体的には、画像処理モデル1020(第二実施例)の学習処理(第二実施例)における画像処理モデル1020(第二実施例)は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理テーブル1016における画像処理IDを出力する学習モデルである。
なお、本開示において単に画像処理モデル1020とよぶ場合、画像データを入力データ(入力ベクトル)として、画像処理モデル1020(第二実施例)により出力された画像処理IDに基づき、画像処理テーブル1016から特定される画像処理内容を、当該画像データに適用した画像処理データを出力データとする学習モデルとする。
<Overview of learning processing of image processing model 1020 (second embodiment)>
The learning process of the image processing model 1020 (second embodiment) uses image data as input data (input vector) and outputs image processing contents that can obtain a larger reverberation index. This process uses deep learning to learn the learning parameters of the deep neural network included in example). At this time, the learning unit 1051 of the server 10 applies the event attributes obtained by applying the image data included in the posted article to the event model 1021 as input data to the image processing model 1020 (second embodiment). It may also be included in the input data.
Specifically, the image processing model 1020 (second embodiment) in the learning process (second embodiment) of the image processing model 1020 (second embodiment) uses image data as input data (input vector) to This is a learning model that outputs the image processing ID in the image processing table 1016 from which the reverberation index is obtained.
Note that in this disclosure, when simply referred to as the image processing model 1020, the image processing table 1016 is used based on the image processing ID output by the image processing model 1020 (second embodiment) using image data as input data (input vector). The identified image processing content is used as a learning model whose output data is image processing data applied to the image data.

<画像処理モデル1020(第二実施例)の学習処理の詳細>
サーバ10の学習部1051は、投稿記事に含まれる画像データに対して、画像処理テーブル1016に格納されている画像処理内容をそれぞれ適用した画像データを生成する。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の画像処理データを入力データとして、評価モデル1017に適用することにより、複数の画像処理データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるような画像処理IDを得られるように、画像処理モデル1020(第二実施例)に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる画像処理IDを出力するような画像処理モデル1020(第二実施例)を得ることができる。
<Details of learning processing of image processing model 1020 (second embodiment)>
The learning unit 1051 of the server 10 generates image data by applying the image processing contents stored in the image processing table 1016 to the image data included in the posted article.
The learning unit 1051 of the server 10 applies the SNS attribute of the user of the posted article and the plurality of image processing data as input data to the evaluation model 1017, thereby obtaining a response index for each of the plurality of image processing data. The learning unit 1051 of the server 10 optimizes the learning parameters of the deep neural network included in the image processing model 1020 (second embodiment) so as to obtain an image processing ID that provides a larger reverberation index.
As a result, it is possible to obtain an image processing model 1020 (second embodiment) that uses image data as input data and outputs an image processing ID that provides a larger reverberation index.

<イベントモデル1021の学習処理>
イベントモデル1021の学習処理は、イベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of event model 1021>
The learning process of the event model 1021 is a process of learning the learning parameters of the deep neural network included in the event model 1021 by deep learning.

<イベントモデル1021の学習処理の概要>
イベントモデル1021の学習処理は、画像データを入力データ(入力ベクトル)として、画像データのイベント属性が得られる生成データを出力するように、イベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。イベントモデル1021は、予め定められた複数のイベント属性から1または複数のイベント属性が出力されるような、分類モデルであっても良い。イベントモデル1021は、画像キャプションとしてイベント属性を出力する、生成モデルであっても良い。
<Overview of learning process of event model 1021>
The learning process of the event model 1021 uses image data as input data (input vector), and performs deep learning on the learning parameters of the deep neural network included in the event model 1021 so as to output generated data from which event attributes of the image data can be obtained. This is a learning process. The event model 1021 may be a classification model in which one or more event attributes are output from a plurality of predetermined event attributes. The event model 1021 may be a generative model that outputs event attributes as image captions.

<イベントモデル1021の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サービス提供者は、一定数の投稿記事に対してイベント属性の付与(アノテーション)を行い教師データを作成する。なお、投稿記事に含まれるテキスト、ハッシュタグなどの情報を用いて教師データを作成したり、教師データの作成作業を自動化、効率化しても良い。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事に含まれる画像データを入力データ(入力ベクトル)として、イベント属性が出力データ(教師データ)となるよう、学習データを作成する。なお、音声データを入力データに含めても良い。
サーバ10の学習部1051は、学習データに基づき、イベントモデル1021のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づきイベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
<Details of learning process of event model 1021>
The learning unit 1051 of the server 10 acquires posted articles including image data posted in the past by various users of the SNS service from the SNS service. The service provider creates training data by adding event attributes (annotation) to a certain number of posted articles. Note that the training data may be created using information such as text and hashtags included in the posted article, or the work of creating the training data may be automated and made more efficient.
The learning unit 1051 of the server 10 creates learning data for each posted article using the image data included in the posted article as input data (input vector) so that the event attribute becomes output data (teacher data). Note that audio data may be included in the input data.
The learning unit 1051 of the server 10 creates datasets such as training data, test data, and verification data for learning the deep neural network of the event model 1021 based on the learning data.
The learning unit 1051 of the server 10 uses deep learning to learn the learning parameters of the deep neural network included in the event model 1021 based on the created data set.

<テキストモデル1022の学習処理>
テキストモデル1022の学習処理は、テキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
<Learning process of text model 1022>
The learning process of the text model 1022 is a process of learning learning parameters of a deep neural network included in the text model 1022 by deep learning.

<テキストモデル1022の学習処理の概要>
テキストモデル1022の学習処理は、画像データを入力データ(入力ベクトル)として、テキスト、ハッシュタグが得られる生成データを出力するように、テキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、テキストモデル1022に適用する入力データに含めても良い。
テキストモデル1022は、テキストまたはハッシュタグのいずれかを出力するものとして構成しても良い。
<Overview of learning process of text model 1022>
The learning process of the text model 1022 uses image data as input data (input vector), and uses deep learning to set the learning parameters of the deep neural network included in the text model 1022 so as to output generated data from which texts and hashtags can be obtained. This is a learning process.
The learning unit 1051 of the server 10 may include the event attribute obtained by applying the image data included in the posted article to the event model 1021 as input data to the input data applied to the text model 1022.
Text model 1022 may be configured to output either text or hashtags.

<テキストモデル1022の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事に含まれる画像データを入力データ(入力ベクトル)として、当該投稿記事のテキスト、ハッシュタグが出力データとなるよう、学習データを作成する。
サーバ10の学習部1051は、学習データに基づき、テキストモデル1022のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づきテキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
<Details of learning process of text model 1022>
The learning unit 1051 of the server 10 acquires posted articles including image data posted in the past by various users of the SNS service from the SNS service.
The learning unit 1051 of the server 10 creates learning data for each posted article using the image data included in the posted article as input data (input vector) so that the text and hashtag of the posted article become output data.
The learning unit 1051 of the server 10 creates datasets such as training data, test data, and verification data for learning the deep neural network of the text model 1022 based on the learning data.
The learning unit 1051 of the server 10 uses deep learning to learn the learning parameters of the deep neural network included in the text model 1022 based on the created data set.

<変形例>
本開示においては、撮影端末30により撮影された画像データに替えて、撮影端末30により撮影された動画データまたは音声データを、それぞれ一定期間ごとの長さの動画データまたは音声データに編集し、SNS投稿処理を適用し、動画データまたは音声データをSNSへ投稿する処理としても良い。その他、SNS投稿処理は、画像データに替えて、任意のデジタルコンテンツに対して適用しても良い。
<Modified example>
In the present disclosure, instead of image data shot by the shooting terminal 30, video data or audio data shot by the shooting terminal 30 is edited into video data or audio data of a certain length, respectively, and the SNS Posting processing may be applied to post video data or audio data to SNS. In addition, the SNS posting process may be applied to any digital content instead of image data.

イベント推論処理において、画像データに替えて、他のデジタルコンテンツに基づきイベント属性を推論する処理としても良い。この場合、イベントモデル1021は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。 In the event inference process, an event attribute may be inferred based on other digital content instead of image data. In this case, the event model 1021 becomes a learning model learned using the digital content as input data.

画像生成処理(第一実施例)において、画像データに替えて、他のデジタルコンテンツに基づき生成データを推論する処理としても良い。この場合、画像処理モデル1020は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。 In the image generation process (first embodiment), instead of image data, the process may infer generated data based on other digital content. In this case, the image processing model 1020 becomes a learning model trained using the digital content as input data.

テキスト・ハッシュタグ生成処理において、画像データに替えて、他のデジタルコンテンツに基づき生成データを推論する処理としても良い。この場合、テキストモデル1022は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。 In the text/hashtag generation process, the generated data may be inferred based on other digital content instead of image data. In this case, the text model 1022 becomes a learning model trained using the digital content as input data.

評価処理において、画像データに替えて、他のデジタルコンテンツに基づき反響指数を推論する処理としても良い。この場合、評価部1046は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。 In the evaluation process, a reaction index may be inferred based on other digital content instead of image data. In this case, the evaluation unit 1046 becomes a learning model trained using the digital content as input data.

<コンピュータの基本ハードウェア構成>
図11は、コンピュータ90の基本的なハードウェア構成を示すブロック図である。コンピュータ90は、プロセッサ901、主記憶装置902、補助記憶装置903、通信IF991(インタフェース、Interface)を少なくとも備える。これらは通信バス921により相互に電気的に接続される。
<Basic hardware configuration of the computer>
FIG. 11 is a block diagram showing the basic hardware configuration of the computer 90. The computer 90 includes at least a processor 901, a main storage device 902, an auxiliary storage device 903, and a communication IF 991 (interface). These are electrically connected to each other by a communication bus 921.

プロセッサ901とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ901は、演算装置、レジスタ、周辺回路等から構成される。 The processor 901 is hardware for executing an instruction set written in a program. The processor 901 includes an arithmetic unit, registers, peripheral circuits, and the like.

主記憶装置902とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、DRAM(Dynamic Random Access Memory)等の揮発性のメモリである。 The main storage device 902 is for temporarily storing programs, data processed by the programs, and the like. For example, it is a volatile memory such as DRAM (Dynamic Random Access Memory).

補助記憶装置903とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、HDD(Hard Disc Drive)、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。 The auxiliary storage device 903 is a storage device for storing data and programs. Examples include flash memory, HDD (Hard Disc Drive), magneto-optical disk, CD-ROM, DVD-ROM, semiconductor memory, and the like.

通信IF991とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。
ネットワークは、インターネット、LAN、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、3G、4G、5G移動通信システム、LTE(Long Term Evolution)、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Z-Wave(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)等が含まれる。有線で接続する場合は、ネットワークには、USB(Universal Serial Bus)ケーブル等により直接接続するものも含む。
The communication IF 991 is an interface for inputting and outputting signals for communicating with other computers via a network using a wired or wireless communication standard.
The network is composed of various mobile communication systems constructed using the Internet, LAN, wireless base stations, and the like. For example, the network includes 3G, 4G, 5G mobile communication systems, LTE (Long Term Evolution), a wireless network (for example, Wi-Fi (registered trademark)) that can be connected to the Internet through a predetermined access point, and the like. When connecting wirelessly, communication protocols include, for example, Z-Wave (registered trademark), ZigBee (registered trademark), Bluetooth (registered trademark), and the like. In the case of a wired connection, the network includes a network that is directly connected using a USB (Universal Serial Bus) cable or the like.

なお、各ハードウェア構成の全部または一部を複数のコンピュータ90に分散して設け、ネットワークを介して相互に接続することによりコンピュータ90を仮想的に実現することができる。このように、コンピュータ90は、単一の筐体、ケースに収納されたコンピュータ90だけでなく、仮想化されたコンピュータシステムも含む概念である。 Note that the computer 90 can be virtually realized by distributing all or part of each hardware configuration to a plurality of computers 90 and interconnecting them via a network. In this way, the concept of the computer 90 includes not only the computer 90 housed in a single housing or case, but also a virtualized computer system.

<コンピュータ90の基本機能構成>
コンピュータ90の基本ハードウェア構成(図11)により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。
<Basic functional configuration of computer 90>
The functional configuration of the computer realized by the basic hardware configuration of the computer 90 (FIG. 11) will be described. The computer includes at least functional units of a control section, a storage section, and a communication section.

なお、コンピュータ90が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ90に分散して設けても実現することができる。コンピュータ90は、単一のコンピュータ90だけでなく、仮想化されたコンピュータシステムも含む概念である。 Note that the functional units included in the computer 90 can also be implemented by distributing all or part of each functional unit to a plurality of computers 90 interconnected via a network. The computer 90 is a concept that includes not only a single computer 90 but also a virtualized computer system.

制御部は、プロセッサ901が補助記憶装置903に記憶された各種プログラムを読み出して主記憶装置902に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。 The control unit is realized by the processor 901 reading various programs stored in the auxiliary storage device 903, loading them into the main storage device 902, and executing processing according to the programs. The control unit can implement a functional unit that performs various information processing depending on the type of program. Thereby, the computer is realized as an information processing device that performs information processing.

記憶部は、主記憶装置902、補助記憶装置903により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ901は、プログラムに従って記憶部に対応する記憶領域を主記憶装置902または補助記憶装置903に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ901に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。 The storage unit is realized by a main storage device 902 and an auxiliary storage device 903. The storage unit stores data, various programs, and various databases. Further, the processor 901 can secure a storage area corresponding to the storage unit in the main storage device 902 or the auxiliary storage device 903 according to the program. Further, the control unit can cause the processor 901 to execute processing for adding, updating, and deleting data stored in the storage unit according to various programs.

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブル、マスタと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、マスタ、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル、マスタ同士の関係を設定し、関連づけることができる。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ901に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
A database refers to a relational database, which is used to manage a data set called a master, which is a tabular table whose structure is defined by rows and columns, in relation to each other. In a database, a table is called a table or a master, a table column is called a column, and a table row is called a record. In a relational database, you can set and associate relationships between tables and masters.
Usually, each table and each master is set with a column that serves as a primary key to uniquely identify a record, but it is not essential to set a primary key on a column. The control unit can cause the processor 901 to add, delete, or update records to a specific table or master stored in the storage unit according to various programs.

なお、本開示におけるデータベース、マスタは、情報が構造的に規定された任意のデータ構造体(リスト、辞書、連想配列、オブジェクトなど)を含み得る。データ構造体には、データと、任意のプログラミング言語により記述された関数、クラス、メソッドなどを組み合わせることにより、データ構造体と見なし得るデータも含むものとする。 Note that the database and master in the present disclosure may include any data structure (list, dictionary, associative array, object, etc.) in which information is structurally defined. Data structures include data that can be considered as a data structure by combining data with functions, classes, methods, etc. written in any programming language.

通信部は、通信IF991により実現される。通信部は、ネットワークを介して他のコンピュータ90と通信を行う機能を実現する。通信部は、他のコンピュータ90から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ901に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ90へ送信することができる。 The communication unit is realized by a communication IF 991. The communication unit realizes a function of communicating with other computers 90 via a network. The communication unit can receive information transmitted from other computers 90 and input it to the control unit. The control unit can cause the processor 901 to execute information processing on the received information according to various programs. Further, the communication unit can transmit information output from the control unit to another computer 90.

<付記>
以上の各実施形態で説明した事項を以下に付記する。
<Additional notes>
The matters explained in each of the above embodiments are additionally described below.

(付記1)
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、プログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Additional note 1)
A program to be executed by a computer including a processor and a storage unit, the program includes an acquisition step (S101) for acquiring digital content, and generating data based on the digital content acquired in the acquisition step. A generation step (S103) in which the program executes a generation step (S103), wherein the generation step is a step of generating generation data such that a response index becomes larger by using digital content as input data.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

(付記2)
デジタルコンテンツは、画像または動画データである、付記1記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Additional note 2)
The program according to appendix 1, wherein the digital content is image or video data.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

(付記3)
生成ステップは、取得ステップにおいて取得したデジタルコンテンツに対して、生成モデルを適用することにより生成データを生成するステップである、付記1または2記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Additional note 3)
The program according to appendix 1 or 2, wherein the generation step is a step of generating generated data by applying a generation model to the digital content acquired in the acquisition step.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

(付記4)
生成ステップは、取得ステップにおいて取得したデジタルコンテンツに対して、領域抽出モデルを適用することにより部分画像データを生成するステップと、生成された部分画像データに対して、画像処理モデルを適用することにより生成データを生成するステップと、を含む、付記2記載のプログラム。
これにより、領域抽出モデルにより抽出された領域に対して画像処理モデルを適用することにより、計算量を節約することができる。
(Additional note 4)
The generation step includes a step of generating partial image data by applying a region extraction model to the digital content acquired in the acquisition step, and a step of generating partial image data by applying an image processing model to the generated partial image data. The program according to supplementary note 2, including the step of generating generated data.
Thereby, the amount of calculation can be saved by applying the image processing model to the region extracted by the region extraction model.

(付記5)
プログラムは、プロセッサに、生成データの反響指数を推論する反響推論ステップ(S105)と、を実行させ、反響推論ステップにおいて推論される反響指数は、生成データを、外部のSNSサービスに送信する際に用いられるユーザの、SNS属性に基づき算定される、付記1から4のいずれか記載のプログラム。
これにより、SNSサービスへ送信する際のユーザのSNS属性に即したより正確な反響指数を推論することができる。
(Appendix 5)
The program causes the processor to execute an echo inference step (S105) of inferring a reverberation index of the generated data, and the reverberation index inferred in the echo inference step is used when transmitting the generated data to an external SNS service. The program according to any one of appendices 1 to 4, which is calculated based on the SNS attributes of the user who uses it.
Thereby, it is possible to infer a more accurate response index in accordance with the user's SNS attributes when transmitting to the SNS service.

(付記6)
SNS属性は、ユーザのフォロワー数、フォロワー属性、ユーザ属性のうちの少なくともいずれか1つを含む、付記5記載のプログラム。
これにより、SNSサービスへ送信する際のユーザのSNS属性に即したより正確な反響指数を推論することができる。例えば、フォロワー数が多いユーザは、投稿記事に対する反響指数がより大きくなることが期待される。また、投稿記事に対する反響は、フォロワー属性に応じて異なるため、フォロワー属性を考慮してより正確な反響指数を推論することができる。
(Appendix 6)
The program according to appendix 5, wherein the SNS attribute includes at least one of the number of followers of the user, a follower attribute, and a user attribute.
Thereby, it is possible to infer a more accurate response index in accordance with the user's SNS attributes when transmitting to the SNS service. For example, users with a large number of followers are expected to have a higher response index to posted articles. Furthermore, since reactions to posted articles vary depending on follower attributes, a more accurate reaction index can be inferred by taking account of follower attributes.

(付記7)
プログラムは、プロセッサに、生成データを、外部のSNSサービスに送信する送信ステップ(S107)と、を実行させる付記1から6のいずれか記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを、SNSサービスに対して送信し投稿することができる。
(Appendix 7)
The program according to any one of Supplementary notes 1 to 6, wherein the program causes the processor to execute a sending step (S107) of sending the generated data to an external SNS service.
Thereby, generated data that can be expected to have a greater response in the SNS service can be transmitted and posted to the SNS service.

(付記8)
プログラムは、プロセッサに、生成データを、外部のSNSサービスに送信する送信ステップ(S107)と、を実行させ、送信ステップは、反響指数が所定の条件を満たした場合に、生成データを、外部のSNSサービスに送信するステップ(S106)である、付記5または6記載のプログラム。
これにより、SNSサービスに対して、反響が期待できない生成データの投稿を減らすことができる。より効率的にSNSサービスに対して送信し投稿することができる。
(Appendix 8)
The program causes the processor to execute a sending step (S107) of sending the generated data to an external SNS service. The program according to appendix 5 or 6, which is the step of transmitting to an SNS service (S106).
As a result, it is possible to reduce the posting of generated data that cannot be expected to have a positive response to the SNS service. It is possible to send and post to SNS services more efficiently.

(付記9)
プログラムは、プロセッサに、デジタルコンテンツに基づき、デジタルコンテンツに関するイベント属性を推論するイベント推論ステップ(S102)と、を実行させ、生成ステップは、イベント属性に基づき生成データを生成するステップである、付記1から8のいずれか記載のプログラム。
これにより、イベント属性に基づき、大きな反響を期待できる、イベントに即した生成データを生成することができる。
(Appendix 9)
The program causes the processor to execute an event inference step (S102) of inferring event attributes related to the digital content based on the digital content, and the generation step is a step of generating generated data based on the event attributes. The program described in any one of 8 to 9.
As a result, it is possible to generate data that is appropriate for the event and that can be expected to have a great response based on the event attributes.

(付記10)
プログラムは、プロセッサに、デジタルコンテンツに基づき、デジタルコンテンツに関するイベント属性を推論するイベント推論ステップ(S102)と、デジタルコンテンツおよびイベント属性に基づき、テキスト情報またはハッシュタグの少なくともいずれか1つを生成するテキスト生成ステップと、を実行させる付記1から9のいずれか記載のプログラム。
これにより、イベント属性に基づき、大きな反響を期待できる、イベントに即したテキストおよびハッシュタグを生成することができる。
(Appendix 10)
The program instructs the processor to perform an event inference step (S102) of inferring event attributes regarding the digital content based on the digital content, and a text generating at least one of text information or a hashtag based on the digital content and the event attributes. The program according to any one of Supplementary Notes 1 to 9, which executes the generation step.
As a result, it is possible to generate text and hashtags that match the event and can be expected to receive a great response based on the event attributes.

(付記11)
プロセッサと、記憶部とを備える情報処理装置であって、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理装置。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Appendix 11)
An information processing apparatus including a processor and a storage unit, the processor includes an acquisition step (S101) of acquiring digital content, and a generation step (S103) of generating generated data based on the digital content acquired in the acquisition step. , and the generating step is a step of generating generated data such that a reverberation index becomes larger by using digital content as input data.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

(付記12)
プロセッサと、記憶部とを備える情報処理装置と、撮影端末とからなる情報処理システムであって、プロセッサに、撮影端末からデジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理システム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Appendix 12)
An information processing system including a processor, an information processing device including a storage unit, and a photographing terminal, the processor having an acquisition step (S101) of acquiring digital content from the photographing terminal, and a digital content acquired in the acquisition step. A generation step (S103) of generating generated data based on the information processing system, wherein the generating step is a step of generating generated data such that a response index becomes larger by using digital content as input data.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

(付記13)
プロセッサと、記憶部とを備えるコンピュータにより実行される情報処理方法であって、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理方法。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
(Appendix 13)
An information processing method executed by a computer including a processor and a storage unit, the method comprising: an acquisition step (S101) of acquiring digital content; and a generation step of generating generated data based on the digital content acquired in the acquisition step. step (S103), and the generation step is a step of generating generated data that has a larger response index using digital content as input data.
Thereby, it is possible to generate generated data that can be expected to have a greater response in SNS services.

1 情報処理システム、10 サーバ、101 記憶部、103 制御部、20A,20B,20C ユーザ端末、201 記憶部、204 制御部、30A,30B,30C 撮影端末、301 記憶部、304 制御部
Reference Signs List 1 information processing system, 10 server, 101 storage unit, 103 control unit, 20A, 20B, 20C user terminal, 201 storage unit, 204 control unit, 30A, 30B, 30C photographing terminal, 301 storage unit, 304 control unit

Claims (13)

プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
デジタルコンテンツを取得する取得ステップと、
前記取得ステップにおいて取得した前記デジタルコンテンツに基づき生成データを生成する生成ステップと、
を実行させ、
前記生成ステップは、前記デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、
プログラム。
A program to be executed by a computer including a processor and a storage unit,
The program causes the processor to:
an acquisition step of acquiring digital content;
a generation step of generating generated data based on the digital content acquired in the acquisition step;
run the
The generating step is a step of generating generated data that has a larger response index using the digital content as input data.
program.
前記デジタルコンテンツは、画像または動画データである、
請求項1記載のプログラム。
The digital content is image or video data,
The program according to claim 1.
前記生成ステップは、前記取得ステップにおいて取得した前記デジタルコンテンツに対して、生成モデルを適用することにより生成データを生成するステップである、
請求項1または2記載のプログラム。
The generation step is a step of generating generation data by applying a generation model to the digital content acquired in the acquisition step.
The program according to claim 1 or 2.
前記生成ステップは、
前記取得ステップにおいて取得した前記デジタルコンテンツに対して、領域抽出モデルを適用することにより部分画像データを生成するステップと、
生成された前記部分画像データに対して、画像処理モデルを適用することにより生成データを生成するステップと、
を含む、
請求項2記載のプログラム。
The generation step includes:
generating partial image data by applying a region extraction model to the digital content acquired in the acquisition step;
generating generated data by applying an image processing model to the generated partial image data;
including,
The program according to claim 2.
前記プログラムは、前記プロセッサに、
前記生成データの反響指数を推論する反響推論ステップと、
を実行させ、
前記反響推論ステップにおいて推論される前記反響指数は、前記生成データを、外部のSNSサービスに送信する際に用いられるユーザの、SNS属性に基づき算定される、
請求項1から4のいずれか記載のプログラム。
The program causes the processor to:
a reverberation inference step of inferring a reverberation index of the generated data;
run the
The response index inferred in the response inference step is calculated based on the SNS attribute of the user used when transmitting the generated data to an external SNS service.
The program according to any one of claims 1 to 4.
前記SNS属性は、前記ユーザのフォロワー数、フォロワー属性、ユーザ属性のうちの少なくともいずれか1つを含む、
請求項5記載のプログラム。
The SNS attribute includes at least one of the number of followers of the user, a follower attribute, and a user attribute.
The program according to claim 5.
前記プログラムは、前記プロセッサに、
前記生成データを、外部のSNSサービスに送信する送信ステップと、
を実行させる請求項1から6のいずれか記載のプログラム。
The program causes the processor to:
a sending step of sending the generated data to an external SNS service;
The program according to any one of claims 1 to 6, which causes the program to execute.
前記プログラムは、前記プロセッサに、
前記生成データを、外部のSNSサービスに送信する送信ステップと、
を実行させ、
前記送信ステップは、前記反響指数が所定の条件を満たした場合に、前記生成データを、外部のSNSサービスに送信するステップである、
請求項5または6記載のプログラム。
The program causes the processor to:
a sending step of sending the generated data to an external SNS service;
run the
The sending step is a step of sending the generated data to an external SNS service when the response index satisfies a predetermined condition.
The program according to claim 5 or 6.
前記プログラムは、前記プロセッサに、
前記デジタルコンテンツに基づき、前記デジタルコンテンツに関するイベント属性を推論するイベント推論ステップと、
を実行させ、
前記生成ステップは、前記イベント属性に基づき生成データを生成するステップである、
請求項1から8のいずれか記載のプログラム。
The program causes the processor to:
an event inference step of inferring event attributes regarding the digital content based on the digital content;
run the
The generation step is a step of generating generation data based on the event attribute,
The program according to any one of claims 1 to 8.
前記プログラムは、前記プロセッサに、
前記デジタルコンテンツに基づき、前記デジタルコンテンツに関するイベント属性を推論するイベント推論ステップと、
前記デジタルコンテンツおよび前記イベント属性に基づき、テキスト情報またはハッシュタグの少なくともいずれか1つを生成するテキスト生成ステップと、
を実行させる請求項1から9のいずれか記載のプログラム。
The program causes the processor to:
an event inference step of inferring event attributes regarding the digital content based on the digital content;
a text generation step of generating at least one of text information or a hashtag based on the digital content and the event attribute;
The program according to any one of claims 1 to 9, which causes the program to execute.
プロセッサと、記憶部とを備える情報処理装置であって、
前記プロセッサに、
デジタルコンテンツを取得する取得ステップと、
前記取得ステップにおいて取得した前記デジタルコンテンツに基づき生成データを生成する生成ステップと、
を実行させ、
前記生成ステップは、前記デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、
情報処理装置。
An information processing device comprising a processor and a storage unit,
the processor;
an acquisition step of acquiring digital content;
a generation step of generating generated data based on the digital content acquired in the acquisition step;
run the
The generating step is a step of generating generated data that has a larger response index using the digital content as input data.
Information processing device.
プロセッサと、記憶部とを備える情報処理装置と、撮影端末とからなる情報処理システムであって、
前記プロセッサに、
前記撮影端末からデジタルコンテンツを取得する取得ステップと、
前記取得ステップにおいて取得した前記デジタルコンテンツに基づき生成データを生成する生成ステップと、
を実行させ、
前記生成ステップは、前記デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、
情報処理システム。
An information processing system comprising a processor, an information processing device including a storage unit, and a photographing terminal,
the processor;
an acquisition step of acquiring digital content from the photographing terminal;
a generation step of generating generated data based on the digital content acquired in the acquisition step;
run the
The generating step is a step of generating generated data that has a larger response index using the digital content as input data.
Information processing system.
プロセッサと、記憶部とを備えるコンピュータにより実行される情報処理方法であって、
前記プロセッサに、
デジタルコンテンツを取得する取得ステップと、
前記取得ステップにおいて取得した前記デジタルコンテンツに基づき生成データを生成する生成ステップと、
を実行させ、
前記生成ステップは、前記デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、
情報処理方法。
An information processing method executed by a computer comprising a processor and a storage unit,
the processor;
an acquisition step of acquiring digital content;
a generation step of generating generated data based on the digital content acquired in the acquisition step;
run the
The generating step is a step of generating generated data that has a larger response index using the digital content as input data.
Information processing method.
JP2023066044A 2022-03-29 2023-04-14 Program, information processing device, information processing system, and information processing method Pending JP2023147286A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023066044A JP2023147286A (en) 2022-03-29 2023-04-14 Program, information processing device, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022052895A JP7266356B1 (en) 2022-03-29 2022-03-29 Program, information processing device, information processing system, and information processing method
JP2023066044A JP2023147286A (en) 2022-03-29 2023-04-14 Program, information processing device, information processing system, and information processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022052895A Division JP7266356B1 (en) 2022-03-29 2022-03-29 Program, information processing device, information processing system, and information processing method

Publications (1)

Publication Number Publication Date
JP2023147286A true JP2023147286A (en) 2023-10-12

Family

ID=86144028

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022052895A Active JP7266356B1 (en) 2022-03-29 2022-03-29 Program, information processing device, information processing system, and information processing method
JP2023066044A Pending JP2023147286A (en) 2022-03-29 2023-04-14 Program, information processing device, information processing system, and information processing method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022052895A Active JP7266356B1 (en) 2022-03-29 2022-03-29 Program, information processing device, information processing system, and information processing method

Country Status (1)

Country Link
JP (2) JP7266356B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953066B2 (en) * 2012-02-24 2016-07-13 薫 渡部 Content distribution system and content distribution program
US20150058757A1 (en) * 2013-08-23 2015-02-26 Facebook, Inc. Content owner modules
JP7076940B2 (en) * 2016-08-02 2022-05-30 ヤフー株式会社 Distribution device, distribution method, distribution program and information display program
JPWO2022014295A1 (en) * 2020-07-15 2022-01-20

Also Published As

Publication number Publication date
JP7266356B1 (en) 2023-04-28
JP2023145963A (en) 2023-10-12

Similar Documents

Publication Publication Date Title
US11212348B2 (en) Automatic image sharing with designated users over a communication network
CN111527496B (en) System and method for generating personalized emoticons and lip sync video based on facial recognition
US20180114069A1 (en) Systems and methods for determining video feature descriptors based on convolutional neural networks
JP2021099852A (en) Method and apparatus for minimization of false positive in facial recognition application
TWI583191B (en) Photo and video search
US20180219814A1 (en) Computerized system and method for automatically determining and providing digital content within an electronic communication system
WO2011114634A1 (en) Data processing device and data processing method
US11670015B2 (en) Method and apparatus for generating video
TWI522821B (en) System of photo management
KR20210005733A (en) Predict topics for potential relevance based on searched/generated digital media files
US11347374B2 (en) Systems and methods for managing shared content
US20200202369A1 (en) Digital surveys based on digitally detected facial emotions
JP2021518934A (en) Implementation of a cue data model for adaptive presentation of collaborative recollection of memory
JP2021504803A (en) Image selection proposal
CN111480348B (en) System and method for audio-based augmented reality
US20190200154A1 (en) Systems and methods for audio-based augmented reality
US10643148B2 (en) Ranking of news feed in a mobile device based on local signals
KR20160073903A (en) A system and the method of improved personal remembrane and regeneration using personal memory and attribute information
US20230205803A1 (en) Photo content clustering for digital picture frame display and automated frame conversation
US10817557B1 (en) System and displaying digital media
JP7266356B1 (en) Program, information processing device, information processing system, and information processing method
CN110602405A (en) Shooting method and device
US10521693B1 (en) System for displaying digital media
CN103207891B (en) multimedia information display method and device
US20150006299A1 (en) Methods and systems for dynamic customization of advertisements