JP2022037575A - Image evaluation predicting device and method - Google Patents

Image evaluation predicting device and method Download PDF

Info

Publication number
JP2022037575A
JP2022037575A JP2020141787A JP2020141787A JP2022037575A JP 2022037575 A JP2022037575 A JP 2022037575A JP 2020141787 A JP2020141787 A JP 2020141787A JP 2020141787 A JP2020141787 A JP 2020141787A JP 2022037575 A JP2022037575 A JP 2022037575A
Authority
JP
Japan
Prior art keywords
image data
evaluation
data
image
emotional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020141787A
Other languages
Japanese (ja)
Inventor
裕司 吉田
Yuji Yoshida
照英 日下
Teruhide Kusaka
健 寺村
Takeshi Teramura
宏侍 高橋
Koji Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020141787A priority Critical patent/JP2022037575A/en
Publication of JP2022037575A publication Critical patent/JP2022037575A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To enable the sensibility evaluation of image data to be calculated efficiently.SOLUTION: An image evaluation predicting device 1 predicts the sensibility evaluation of image data. The image evaluation predicting device comprises a learning unit 11, and a prediction unit 12 for predicting the sensibility evaluation of image data on the basis of the result of learning by the learning unit. The learning unit acquires image data D11 and content data that includes text data D12 corresponding to the image data, sensually analyzes text data in the content data and calculates sensibility evaluation, classifies the image data in the content data, and generates a prediction model, on the basis of the classification result of image data and the sensibility evaluation of text data, which outputs the sensibility evaluation that corresponds to the classification result of inputted image data. The prediction unit inputs relevant image data to the prediction model and thereby calculates the sensibility evaluation of the relevant image data.SELECTED DRAWING: Figure 1

Description

本発明は、画像評価予測装置および方法に関する。 The present invention relates to an image evaluation prediction device and a method.

デザイン画像が訴求対象者に与える印象を評価する技術(特許文献1)、画像の注目度を算出する技術(特許文献2)は知られている。 A technique for evaluating the impression that a design image gives to an appeal target person (Patent Document 1) and a technique for calculating the degree of attention of an image (Patent Document 2) are known.

特開2017-091310号公報Japanese Unexamined Patent Publication No. 2017-091310 特開2014-149713号公報Japanese Unexamined Patent Publication No. 2014-149713

特許文献1に記載の従来技術は、デザイン画像が訴求対象者に与える印象を印刷用紙の紙質や色使いなどから評価するものである。特許文献2に記載の従来技術は、画像に言及したテキストの数で画像の注目度を算出するだけであり、その画像を見る者の感情を予測するものではなく、利便性の点でも改善の余地がある。 The prior art described in Patent Document 1 evaluates the impression that a design image gives to an appeal target person from the paper quality and color usage of the printing paper. The prior art described in Patent Document 2 only calculates the degree of attention of an image based on the number of texts referring to the image, does not predict the emotions of the viewer of the image, and is also improved in terms of convenience. There is room.

本発明は、上記問題に鑑みてなされたもので、その目的は、より効率的に画像データの感性的評価を算出することができるようにした画像評価予測装置および方法を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an image evaluation prediction device and a method capable of calculating an emotional evaluation of image data more efficiently.

上記課題を解決すべく、本発明の一つの観点に従う画像評価予測装置は、画像データの感性的評価を予測する画像評価予測装置であって、学習部と、学習部による学習結果に基づいて画像データの感性的評価を予測する予測部とを備え、学習部は、画像データおよび当該画像データに対応するテキストデータを含むコンテンツデータを取得し、コンテンツデータ中のテキストデータを感情分析して感性的評価を算出し、コンテンツデータ中の画像データを分類し、画像データの分類結果とテキストデータの感性的評価とに基づいて、入力された画像データの分類結果に対応する感性的評価を出力する予測モデルを生成し、予測部は、対象画像データを予測モデルに入力することにより、対象画像データの感性的評価を算出する。 In order to solve the above problem, the image evaluation prediction device according to one viewpoint of the present invention is an image evaluation prediction device that predicts the emotional evaluation of image data, and is an image based on the learning unit and the learning result by the learning unit. It is equipped with a prediction unit that predicts the emotional evaluation of the data, and the learning unit acquires content data including image data and text data corresponding to the image data, and emotionally analyzes the text data in the content data to make it emotional. Prediction that calculates the evaluation, classifies the image data in the content data, and outputs the emotional evaluation corresponding to the input classification result of the image data based on the classification result of the image data and the emotional evaluation of the text data. The model is generated, and the prediction unit calculates the emotional evaluation of the target image data by inputting the target image data into the prediction model.

本発明によれば、入力された任意の対象画像データの分類結果に対応する感性的評価を算出することができる。 According to the present invention, it is possible to calculate an emotional evaluation corresponding to a classification result of any input target image data.

第1実施例に係る画像評価予測装置の機能構成図。The functional block diagram of the image evaluation prediction apparatus which concerns on 1st Example. 画像評価予測装置として使用される計算機のハードウェア構成図。A hardware configuration diagram of a computer used as an image evaluation predictor. 学習処理を示すフローチャート。A flowchart showing the learning process. 予測処理を示すフローチャート。A flowchart showing the prediction process. テキスト処理の結果を示すテーブル。A table showing the results of text processing. 処理済データを示すテーブル。A table showing the processed data. 評価を予測するモデルの例。An example of a model that predicts evaluation. 第2実施例に係る画像評価予測装置の機能構成図。The functional block diagram of the image evaluation prediction apparatus which concerns on 2nd Embodiment. 画像評価予測装置の出力例。Output example of image evaluation prediction device. 第3実施例に係る画像評価予測装置の機能構成図。The functional block diagram of the image evaluation prediction apparatus which concerns on 3rd Example. 対象画像データを加工して評価する様子を示す説明図。An explanatory diagram showing how the target image data is processed and evaluated. 第4実施例に係る画像評価予測装置の概要を示す説明図。Explanatory drawing which shows the outline of the image evaluation prediction apparatus which concerns on 4th Embodiment. 第5実施例に係る画像評価予測装置の機能構成図。The functional block diagram of the image evaluation prediction apparatus which concerns on 5th Embodiment.

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態に係る画像評価予測装置は、画像データに関連付けられたテキストデータを感情分析することにより感性的評価を算出する一方、画像データを分類し、画像データの分類結果と画像データに関連するテキストデータの感性的評価とを対応付けることにより、入力された画像データの感性的評価を算出する予測モデルを生成する。この予測モデルへ対象画像データを入力すれば、対象画像データを見る者に生じる感情を予想することができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The image evaluation prediction device according to the present embodiment calculates the emotional evaluation by emotionally analyzing the text data associated with the image data, while classifying the image data, and is related to the classification result of the image data and the image data. By associating with the emotional evaluation of the text data, a prediction model for calculating the emotional evaluation of the input image data is generated. By inputting the target image data into this prediction model, it is possible to predict the emotions generated by the viewer of the target image data.

ここでの感性的評価とは、例えば、「楽しい」、「喜び」、「明るい」、「爽やか」、「快感」、「悲しい」、「辛い」、「怒り」、「驚き」、「不快」、「嫌い」などの画像データを見る者(読者またはユーザ)の感性によって生じる感情の種類である。 The emotional evaluations here are, for example, "fun", "joy", "bright", "refreshing", "pleasure", "sad", "spicy", "anger", "surprise", and "discomfort". , "Dislike" is a type of emotion caused by the sensibility of the viewer (reader or user) who sees the image data.

本実施形態の画像評価予測装置は、例えば、SNS(Social Networking Service)、ブログ、ネットニュースなどで発表予定の画像データがそれを見る者にどのような感情を抱かせるのかを予測することができる。また、画像評価予測装置を用いることで、例えば、企業のロゴマークまたは新製品のデザインなどの感性的評価を事前に客観的に想定することができる。 The image evaluation prediction device of the present embodiment can predict, for example, what kind of emotion the image data to be announced on SNS (Social Networking Service), blog, net news, etc. will make the viewer feel. .. Further, by using the image evaluation prediction device, for example, it is possible to objectively assume in advance an emotional evaluation such as a company logo mark or a design of a new product.

本実施形態の画像評価予測装置は、感性的評価の対象となる画像データを見る者の層(以下、ユーザ層または読者層とも呼ぶ。視聴者と呼ぶこともできる。)を選択することもできる。同一の画像データであっても、それを見るユーザ層が異なれば受ける印象(感性的評価)も異なるためである。そこで、本実施形態の画像評価予測装置は、例えば、性別、年齢、居住地、使用言語、趣味、嗜好、経歴、職業などの作成者属性(ユーザ属性)から複数のユーザ層を定義し、同一の対象画像データが各ユーザ層でそれぞれどのように感性的評価を得るかを予測することもできる。 The image evaluation prediction device of the present embodiment can also select a layer of viewers (hereinafter, also referred to as a user layer or a reader layer; may also be referred to as a viewer) of the image data to be the target of the emotional evaluation. .. This is because even if the same image data is used, the impression (sensitivity evaluation) received by different user groups who view it will be different. Therefore, the image evaluation prediction device of the present embodiment defines a plurality of user groups from the creator attributes (user attributes) such as gender, age, place of residence, language used, hobbies, tastes, careers, occupations, etc., and is the same. It is also possible to predict how the target image data of the above will obtain an emotional evaluation in each user group.

本実施形態の画像評価予測装置は、対象画像データを加工することにより、感性的評価を変化させることもできる。すなわち、画像評価予測装置は、指定された感性的評価に近づくように、対象画像データを加工し、加工した対象画像データを予測モデルへ入力して新たな感性的評価を得る。 The image evaluation prediction device of the present embodiment can also change the emotional evaluation by processing the target image data. That is, the image evaluation prediction device processes the target image data so as to approach the designated Kansei evaluation, and inputs the processed target image data to the prediction model to obtain a new Kansei evaluation.

画像評価予測装置は、例えば、対象画像データの解像度、色彩などを変化させることにより、対象画像データを自動的に加工することができる。あるいは、画像評価予測装置は、デザイナーやコンテンツデータの作成者に対して、画像の加工方針についての助言情報を提供してもよい。画像評価予測装置は、例えば「20~30代女性はパステルカラーを多く含む画像に「癒やし」の感情を覚える傾向があります」といった助言情報を出力することができる。その助言情報を確認したデザイナーまたはコンテンツデータの作成者は、画像処理ソフトウェアを用いて手動で対象画像データを加工してもよい。 The image evaluation prediction device can automatically process the target image data by, for example, changing the resolution, color, and the like of the target image data. Alternatively, the image evaluation prediction device may provide the designer or the creator of the content data with advice information on the image processing policy. The image evaluation prediction device can output advice information such as "women in their twenties and thirties tend to feel" healing "feelings in images containing a lot of pastel colors." The designer or the creator of the content data who has confirmed the advice information may manually process the target image data using image processing software.

本実施形態の画像評価予測装置は、画像データとその画像データに対応するテキストデータとが同一投稿内に存在するコンテンツデータを分析対象として利用する。これにより、ある投稿のテキストデータから算出される感性的評価が、同一の投稿内の画像データに関連していると想定できる。同一投稿とは、例えば、文字数の制限があるマイクロブログの一つの投稿、ネットニュースやブログにおける一つの記事などがある。本実施形態の画像データは、主に静止画像データである。 The image evaluation prediction device of the present embodiment uses content data in which the image data and the text data corresponding to the image data exist in the same post as an analysis target. As a result, it can be assumed that the emotional evaluation calculated from the text data of a certain post is related to the image data in the same post. The same post includes, for example, one post on a microblog with a limited number of characters, one article on net news or a blog, and the like. The image data of this embodiment is mainly still image data.

本実施形態の画像評価予測装置は、例えば、オンプレミスまたはクラウドサービスのような形態で構成することができる。また、本実施形態の画像評価予測装置は、その一部の機能をサーバ内に設け、他の一部の機能をユーザ端末に設けることもできる。 The image evaluation prediction device of the present embodiment can be configured as, for example, an on-premises or cloud service. Further, the image evaluation prediction device of the present embodiment may be provided with some functions in the server and some other functions in the user terminal.

図1~図6を用いて第1実施例を説明する。図1は、本実施形態の画像評価予測装置1の機能構成を示す。 The first embodiment will be described with reference to FIGS. 1 to 6. FIG. 1 shows a functional configuration of the image evaluation prediction device 1 of the present embodiment.

画像評価予測装置1は、少なくとも一つの情報源2と少なくとも一つのユーザ端末3とに通信ネットワークCNを介して接続される。情報源2と画像評価予測装置1を接続する通信ネットワークと、ユーザ端末3と画像評価予測装置1を接続する通信ネットワークとは共通でもよいし、異なってもよい。 The image evaluation prediction device 1 is connected to at least one information source 2 and at least one user terminal 3 via a communication network CN. The communication network connecting the information source 2 and the image evaluation prediction device 1 and the communication network connecting the user terminal 3 and the image evaluation prediction device 1 may be common or different.

画像評価予測装置1は、図2で後述するように汎用計算機100を用いて構成することができる。画像評価予測装置1の少なくとも一部を専用装置から構成してもよい。さらに、複数の汎用計算機100を連携させることにより、一つまたは複数の画像評価予測装置1を構築してもよい。 The image evaluation prediction device 1 can be configured by using a general-purpose computer 100 as described later in FIG. At least a part of the image evaluation prediction device 1 may be configured from a dedicated device. Further, one or a plurality of image evaluation prediction devices 1 may be constructed by linking a plurality of general-purpose computers 100.

情報源2は、例えば、SNSサービスなどを提供するサーバである。ユーザ端末3は、例えば、ノート型パーソナルコンピュータやタブレット端末などの携帯情報端末、携帯電話(いわゆるスマートフォンを含む)である。 The information source 2 is, for example, a server that provides an SNS service or the like. The user terminal 3 is, for example, a mobile information terminal such as a notebook personal computer or a tablet terminal, or a mobile phone (including a so-called smartphone).

画像評価予測装置1の構成を説明する。画像評価予測装置1は、例えば、コンテンツデータ記憶部10と、学習部11と、予測部12と、評価予測画像記憶部13と、提供部14
を備える。
The configuration of the image evaluation prediction device 1 will be described. The image evaluation prediction device 1 is, for example, a content data storage unit 10, a learning unit 11, a prediction unit 12, an evaluation prediction image storage unit 13, and a provision unit 14.
To prepare for.

コンテンツデータ記憶部10は、情報源2から取得されたコンテンツデータを記憶する機能を有する。コンテンツデータ記憶部10は、定期的または不定期に、情報源2からコンテンツデータを受信して記憶する。光ディスク、フラッシュメモリ、ハードディスクなどの記憶媒体に記憶されたコンテンツデータをコンテンツデータ記憶部10に記憶させることもできる。携帯情報端末または携帯電話などの情報源2からコンテンツデータを取得して、コンテンツデータ記憶部10へ記憶させてもよい。 The content data storage unit 10 has a function of storing content data acquired from the information source 2. The content data storage unit 10 receives and stores content data from the information source 2 periodically or irregularly. Content data stored in a storage medium such as an optical disk, a flash memory, or a hard disk can also be stored in the content data storage unit 10. Content data may be acquired from an information source 2 such as a mobile information terminal or a mobile phone and stored in the content data storage unit 10.

学習部11は、画像データの分類結果に対応する感性的評価を出力する評価予測モデルを生成する機能を有する。学習部11は、例えば、画像処理部111と、テキスト処理部112と、処理済データ記憶部113と、評価予測モデル生成部114と、評価予測モデル記憶部115を備える。 The learning unit 11 has a function of generating an evaluation prediction model that outputs an emotional evaluation corresponding to the classification result of the image data. The learning unit 11 includes, for example, an image processing unit 111, a text processing unit 112, a processed data storage unit 113, an evaluation prediction model generation unit 114, and an evaluation prediction model storage unit 115.

予測部12は、評価予測画像記憶部13から取得された評価予測画像を評価予測モデルへ入力することにより、評価予測画像についての感性的評価を予測する機能を持つ。予測部112は、例えば、画像処理部121と、評価予測部122を有する。 The prediction unit 12 has a function of predicting an emotional evaluation of the evaluation prediction image by inputting the evaluation prediction image acquired from the evaluation prediction image storage unit 13 into the evaluation prediction model. The prediction unit 112 includes, for example, an image processing unit 121 and an evaluation prediction unit 122.

評価予測画像とは、感性的評価の予測対象となる画像データであり、「対象画像データ」に対応する。以下、評価予測画像を対象画像と呼ぶ場合がある。また、画像データを画像と略記する場合がある。 The evaluation prediction image is image data to be predicted for emotional evaluation, and corresponds to "target image data". Hereinafter, the evaluation prediction image may be referred to as a target image. In addition, image data may be abbreviated as an image.

学習部11の構成を説明する。画像処理部111は、コンテンツデータ中の画像データD11を多次元の数値データへ変換する機能を持つ。画像処理部111は、例えば、画像データD11に含まる物体の検出、画像データD11の特徴量の算出なども行うことができる。 The configuration of the learning unit 11 will be described. The image processing unit 111 has a function of converting the image data D11 in the content data into multidimensional numerical data. The image processing unit 111 can also detect an object included in the image data D11 and calculate the feature amount of the image data D11, for example.

テキスト処理部112は、コンテンツデータ中のテキストデータについて感情分析する機能を持つ。テキスト処理部112は、感情分析のための前処理(形態素解析、係り受け解析など)も実施する。 The text processing unit 112 has a function of performing emotion analysis on the text data in the content data. The text processing unit 112 also performs preprocessing (morphological analysis, dependency analysis, etc.) for emotion analysis.

処理済データ記憶部113は、画像処理部111の処理結果とテキスト処理部112の処理結果とを対応付けて記憶する。 The processed data storage unit 113 stores the processing result of the image processing unit 111 and the processing result of the text processing unit 112 in association with each other.

評価予測モデル生成部114は、処理済データ記憶部113に記憶されたデータに基づいて、画像データD11を分類する。分類の手法は特に問わない。例えば、RGBの画素値に基づいて分類してもよいし、画像の特徴点に基づいて分類してもよい。評価予測モデル生成部114は、分類されたデータを再集計し、再集計されたデータを用いて評価予測モデルを生成する。 The evaluation prediction model generation unit 114 classifies the image data D11 based on the data stored in the processed data storage unit 113. The classification method is not particularly limited. For example, it may be classified based on the pixel value of RGB, or it may be classified based on the feature points of the image. The evaluation prediction model generation unit 114 reaggregates the classified data and generates an evaluation prediction model using the reaggregated data.

評価予測モデル記憶部115は、評価予測モデル生成部114により生成された評価予測モデルを記憶する。 The evaluation prediction model storage unit 115 stores the evaluation prediction model generated by the evaluation prediction model generation unit 114.

予測部12の構成を説明する。予測部12は、評価予測画像記憶部13から読み出した画像データD21(評価予測画像データ)を画像処理部121へ入力して所定の処理を実施させる。画像処理部121の処理内容は、学習部11の画像処理部111の処理内容と同様である。画像処理部121により処理された画像データは評価予測部122に入力される。 The configuration of the prediction unit 12 will be described. The prediction unit 12 inputs the image data D21 (evaluation prediction image data) read from the evaluation prediction image storage unit 13 to the image processing unit 121 to perform a predetermined process. The processing content of the image processing unit 121 is the same as the processing content of the image processing unit 111 of the learning unit 11. The image data processed by the image processing unit 121 is input to the evaluation prediction unit 122.

評価予測部122の評価結果である予測結果データD22は、評価予測画像データD21に対応付けられて、評価予測画像記憶部13に記憶される。以下、予測結果データD22を予測結果D22と略記する場合がある。 The prediction result data D22, which is the evaluation result of the evaluation prediction unit 122, is associated with the evaluation prediction image data D21 and stored in the evaluation prediction image storage unit 13. Hereinafter, the prediction result data D22 may be abbreviated as the prediction result D22.

提供部14は、例えば、ユーザ端末3との間で情報を交換する機能を有する。提供部14は、ユーザ端末3から評価予測画像データを受け付けて、評価予測画像記憶部13へ記憶させる。提供部14は、評価予測部122の処理が終了すると、評価予測画像記憶部13から予測結果D22を読み出して、評価依頼元のユーザ端末3へ送信する。 The providing unit 14 has, for example, a function of exchanging information with the user terminal 3. The providing unit 14 receives the evaluation prediction image data from the user terminal 3 and stores it in the evaluation prediction image storage unit 13. When the processing of the evaluation prediction unit 122 is completed, the providing unit 14 reads the prediction result D22 from the evaluation prediction image storage unit 13 and transmits it to the user terminal 3 of the evaluation request source.

図2は、計算機100を用いて画像評価予測装置1を構成する場合のハードウェア構成図である。計算機100は、例えば、プロセッサ101と、主記憶装置102と、補助記憶装置103と、入力装置104と、出力装置105と、通信装置106を備える。 FIG. 2 is a hardware configuration diagram when the image evaluation prediction device 1 is configured by using the computer 100. The computer 100 includes, for example, a processor 101, a main storage device 102, an auxiliary storage device 103, an input device 104, an output device 105, and a communication device 106.

補助記憶装置103には、図1で述べた学習部11,予測部12、評価予測画像記憶部13および提供部14を計算機100上に実現させるためのコンピュータプログラムが記憶されている。プロセッサ101は、補助記憶装置103からコンピュータプログラムを主記憶装置102に読み出して実行することにより、計算機100を画像評価予測装置1として機能させる。 The auxiliary storage device 103 stores a computer program for realizing the learning unit 11, the prediction unit 12, the evaluation prediction image storage unit 13, and the providing unit 14 described in FIG. 1 on the computer 100. The processor 101 reads a computer program from the auxiliary storage device 103 into the main storage device 102 and executes it, thereby causing the computer 100 to function as the image evaluation prediction device 1.

通信装置106は、通信ネットワークCNを介して、情報源2およびユーザ端末3と通信する。通信装置106は、赤外線通信または近距離無線通信などを用いて、情報源2およびユーザ端末3とピアツーピアで通信してもよい。あるいは、画像評価予測装置1は、記憶媒体MMを介して、情報源2から情報を収集したり、評価予測画像データを受け付けたりすることもできる。 The communication device 106 communicates with the information source 2 and the user terminal 3 via the communication network CN. The communication device 106 may communicate with the information source 2 and the user terminal 3 peer-to-peer by using infrared communication, short-range wireless communication, or the like. Alternatively, the image evaluation prediction device 1 can collect information from the information source 2 or receive evaluation prediction image data via the storage medium MM.

図3は、学習部11の処理を示すフローチャートである。学習部11は、コンテンツデータ記憶部10からコンテンツデータを取得する(S11)。学習部11は、コンテンツデータに含まれている画像データD11をその特徴量に基づいて処理し(S12)、コンテンツデータに含まれているテキストデータをその特徴量に基づいて感性的評価を算出する(S13)。ステップS12とステップS13とは並列に処理してもよい。 FIG. 3 is a flowchart showing the processing of the learning unit 11. The learning unit 11 acquires content data from the content data storage unit 10 (S11). The learning unit 11 processes the image data D11 included in the content data based on the feature amount (S12), and calculates the emotional evaluation of the text data included in the content data based on the feature amount. (S13). Step S12 and step S13 may be processed in parallel.

学習部11は、ステップS12で処理された画像データとステップS13で得られた感性的評価とを処理済データ記憶部113に記憶させる(S14)。学習部11は、処理済データ記憶部113に記憶されたデータから評価予測モデルを生成し、生成した評価予測モデルを評価予測モデル記憶部115に記憶させる(S15)。 The learning unit 11 stores the image data processed in step S12 and the emotional evaluation obtained in step S13 in the processed data storage unit 113 (S14). The learning unit 11 generates an evaluation prediction model from the data stored in the processed data storage unit 113, and stores the generated evaluation prediction model in the evaluation prediction model storage unit 115 (S15).

図4は、予測部12の処理を示すフローチャートである。予測部12は、評価予測画像記憶部13から対象画像データD21を取得し(S21)、対象画像データD21をその特徴量に基づいて画像処理する(S22)。予測部12は、処理された画像データと評価予測モデルとから、対象画像データD21に対応する感性的評価を算出し(S23)、算出結果を出力する(S24)。 FIG. 4 is a flowchart showing the processing of the prediction unit 12. The prediction unit 12 acquires the target image data D21 from the evaluation prediction image storage unit 13 (S21), and performs image processing on the target image data D21 based on the feature amount (S22). The prediction unit 12 calculates the emotional evaluation corresponding to the target image data D21 from the processed image data and the evaluation prediction model (S23), and outputs the calculation result (S24).

図5は、テキスト処理部112の処理結果T1を示す。テキスト処理の結果T1は、例えば、テキストデータと当該テキストデータを感情分析することにより算出された感性的評価とを対応付けている。 FIG. 5 shows the processing result T1 of the text processing unit 112. As a result of the text processing, T1 associates, for example, the text data with the emotional evaluation calculated by emotionally analyzing the text data.

図6は、処理済データ記憶部113に記憶された処理済データT2を示す。処理済データT2は、例えば、テキストデータ欄C21と、画像データ欄C22と、感性的評価欄C23とを備える。一つのテキストデータに複数の画像データが対応付けられてもよい。 FIG. 6 shows the processed data T2 stored in the processed data storage unit 113. The processed data T2 includes, for example, a text data column C21, an image data column C22, and an emotional evaluation column C23. A plurality of image data may be associated with one text data.

図7は、評価予測モデルT3の例である。画像処理部111では、類似した画像をグループ化する分類処理を実施する。分類C21ごとに、その分類に属するテキストデータの欄C22と、その分類に属する画像データの欄C23と、感性的評価の欄C24とが対応付けられている。 FIG. 7 is an example of the evaluation prediction model T3. The image processing unit 111 performs a classification process for grouping similar images. For each category C21, a text data column C22 belonging to the category, an image data column C23 belonging to the category, and a sensitivity evaluation column C24 are associated with each other.

このように構成される本実施例によれば、アンケート調査などをせずに、画像データの分類結果と画像データに関連するテキストデータの感性的評価とを対応付けることにより予測モデルを自動的に生成することができる。 According to this embodiment configured in this way, a prediction model is automatically generated by associating the classification result of the image data with the emotional evaluation of the text data related to the image data without conducting a questionnaire survey or the like. can do.

したがって、本実施例の画像評価予測装置1を用いることにより、SNS、ブログ、ネットニュースなどに掲載予定の画像データがユーザに引き起こす感情を予測したり、あるいは、企業のロゴマークまたは新製品のデザインなどの市場での評判を事前に客観的に想定することができる。 Therefore, by using the image evaluation prediction device 1 of this embodiment, it is possible to predict the emotions caused by the image data to be posted on the SNS, blog, net news, etc., or to design a company logo mark or a new product. It is possible to objectively estimate the reputation in the market such as.

図8および図9を用いて第2実施例を説明する。本実施例を含む以下の各実施例では、第1実施例との相違を中心に述べる。本実施例では、画像データのユーザ層を定義し、その画像データが各ユーザ層においてどのような感性的評価を受けるかを予測する。 The second embodiment will be described with reference to FIGS. 8 and 9. In each of the following examples including this embodiment, the differences from the first embodiment will be mainly described. In this embodiment, a user layer of image data is defined, and what kind of emotional evaluation the image data receives in each user layer is predicted.

図8は、本実施例に係る画像評価予測装置1Aの機能構成図である。画像評価予測装置1Aは、情報源2からコンテンツデータを収集する際に、そのコンテンツデータの作成者の情報D13も一緒に収集してコンテンツデータ記憶部10に記憶する。 FIG. 8 is a functional configuration diagram of the image evaluation prediction device 1A according to the present embodiment. When the image evaluation prediction device 1A collects the content data from the information source 2, the information D13 of the creator of the content data is also collected and stored in the content data storage unit 10.

ユーザ情報D13としは、例えば、SNSやブログなどのコンテンツデータの発表媒体に記載されたプロフィール文を用いることができる。ユーザ情報推定部116は、作成者が過去に投稿したコンテンツデータを解析することにより、ユーザ情報D13の少なくとも一部を推定することもできる。 As the user information D13, for example, a profile sentence described in a content data announcement medium such as an SNS or a blog can be used. The user information estimation unit 116 can also estimate at least a part of the user information D13 by analyzing the content data posted by the creator in the past.

ユーザ情報D13には、例えば、ユーザ(コンテンツデータの作成者、コンテンツデータの読者)の性別、年齢、居住地、趣味、嗜好、職業、母語などの属性が少なくとも一つ含まれる。ユーザ情報D13は、画像処理部111の処理結果とテキスト処理部112の処理結果とに対応付けられて、処理済データ記憶部113に記憶される。 The user information D13 includes, for example, at least one attribute such as gender, age, place of residence, hobbies, tastes, occupation, and mother tongue of the user (creator of content data, reader of content data). The user information D13 is associated with the processing result of the image processing unit 111 and the processing result of the text processing unit 112, and is stored in the processed data storage unit 113.

図9は、複数のユーザ情報から分類して得られたユーザ層ごとに、同一の対象画像データD21の感性的評価D22を予測する様子を示す説明図である。画像評価予測装置1Aは、選択されたユーザ属性(ユーザ層)についての感性的評価を出力する。対象のユーザ層は予め選択されてもよいし、対象画像データの種類に応じて自動的に選択されてもよいし、全てのユーザ層が選択されてもよい。 FIG. 9 is an explanatory diagram showing how the emotional evaluation D22 of the same target image data D21 is predicted for each user layer obtained by classifying from a plurality of user information. The image evaluation prediction device 1A outputs an emotional evaluation of the selected user attribute (user layer). The target user layer may be selected in advance, may be automatically selected according to the type of target image data, or all user layers may be selected.

図9の下側に示すように、画像評価予測装置1Aは、例えば「30代女性」、「アニメ好き男性」、「日本の10代」のように、複数のユーザ属性からなるユーザ層ごとに、対象画像データについての感性的評価D22(1)~D22(3)を出力する。 As shown in the lower part of FIG. 9, the image evaluation prediction device 1A is used for each user group consisting of a plurality of user attributes, such as "female in her thirties", "male who likes anime", and "teen in Japan". , The emotional evaluations D22 (1) to D22 (3) of the target image data are output.

このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに、本実施例によれば、選択されたユーザ層が対象画像データを見たときの反応を予測することができるため、画像評価予測装置1Aを利用する企業、自治体、個人などにとっての利便性が向上する。 This embodiment configured in this way also has the same effect as that of the first embodiment. Further, according to this embodiment, since the reaction when the selected user group sees the target image data can be predicted, it is convenient for companies, local governments, individuals, etc. who use the image evaluation prediction device 1A. Is improved.

図10および図11を用いて第3実施例を説明する。本実施例の画像評価予測装置1Bは、選択されたユーザ層による感性的評価が所望の感性的評価に近づくように、対象画像データを加工する。 The third embodiment will be described with reference to FIGS. 10 and 11. The image evaluation prediction device 1B of the present embodiment processes the target image data so that the emotional evaluation by the selected user group approaches the desired emotional evaluation.

図10は、本実施例の画像評価予測装置1Bの機能構成図である。図10の構成が図8の構成と異なるのは、予測部12は、結果処理部123および画像加工部124を備える点である。 FIG. 10 is a functional configuration diagram of the image evaluation prediction device 1B of this embodiment. The configuration of FIG. 10 differs from the configuration of FIG. 8 in that the prediction unit 12 includes a result processing unit 123 and an image processing unit 124.

結果処理部123は、感性的評価の結果と指定された感性的評価D3(図11参照)との相違を検出し、その相違を小さくするための画像の加工方法を算出する。画像加工部124は、結果処理部123の指示に基づいて対象画像データD21を加工する。加工された対象画像データD21は、評価予測画像記憶部13に記憶され、再び画像処理部121に入力され、評価予測部122により感性的評価が算出される。このサイクルは、対象画像データD21の感性的評価と指定された感性的評価D3との相違が所定値以内になるか、あるいは画像評価予測装置1Bの使用者が停止を指示するまで、繰り返し実行されてもよい。画像処理を少しずつ実行し、そのたびに使用者の判断を求めてもよい。 The result processing unit 123 detects a difference between the result of the emotional evaluation and the designated emotional evaluation D3 (see FIG. 11), and calculates an image processing method for reducing the difference. The image processing unit 124 processes the target image data D21 based on the instruction of the result processing unit 123. The processed target image data D21 is stored in the evaluation prediction image storage unit 13, and is input to the image processing unit 121 again, and the evaluation prediction unit 122 calculates the emotional evaluation. This cycle is repeatedly executed until the difference between the emotional evaluation of the target image data D21 and the designated emotional evaluation D3 is within a predetermined value, or the user of the image evaluation prediction device 1B instructs to stop. You may. Image processing may be performed little by little, and the user's judgment may be sought each time.

図11は、対象画像データD21の感性的評価が、指定された感性的評価D3に近づくように、対象画像データD21を加工して評価する様子を示す。図11の例では、「30代女性に対して驚きを与える」という希望条件が指定されている。希望条件は、対象のユーザ層における感性的評価を含む。希望条件は、自然文として入力されてもよいし、ユーザ層を選択するスイッチと、感性的評価の指標およびその値(例えば、驚き:0.5,喜び:0.3など)を選択するスイッチとを含む画面から入力されてもよい。 FIG. 11 shows a state in which the target image data D21 is processed and evaluated so that the emotional evaluation of the target image data D21 approaches the designated emotional evaluation D3. In the example of FIG. 11, the desired condition of "giving a surprise to a woman in her thirties" is specified. The desired conditions include an emotional evaluation in the target user group. The desired condition may be input as a natural sentence, a switch for selecting a user group, and a switch for selecting an index of emotional evaluation and its value (for example, surprise: 0.5, joy: 0.3, etc.). It may be input from a screen including.

例えば、結果処理部123は、対象画像データD21の色(RGB値)を変化させることにより、その感性的評価が指定された希望条件中の感性的評価に近づける。色彩工学や色彩心理学などで知られているように、色が人に与える印象は大きい。したがって、対象画像データD21の色を全体的に変化させたり、対象画像データD21内の一部の領域の色を変化させたりすることにより、その対象画像データD21が選択されたユーザ層(読者層)に与える感性的評価は変化する。 For example, the result processing unit 123 changes the color (RGB value) of the target image data D21 so that the emotional evaluation approaches the emotional evaluation under the specified desired conditions. As is known in color engineering and color psychology, the impression that color gives to people is great. Therefore, the user layer (reader layer) in which the target image data D21 is selected by changing the color of the target image data D21 as a whole or changing the color of a part of the area in the target image data D21. ) The emotional evaluation given to) changes.

予測結果D22では、ユーザ層で生じると予測される感性的評価が複数の感情指標およびその値で表現される。感情指標とは、例えば「驚き」、「喜び」、「怒り」、「悲しみ」などの主な感情の種類である。画像評価予測装置1Bの使用者は、予測結果D22を確認することにより、目標とする感性的評価に近づいているか判断することができる。なお、この判断は深層学習などを用いて自動化することも可能である。 In the prediction result D22, the emotional evaluation predicted to occur in the user group is expressed by a plurality of emotional indexes and their values. The emotional index is a type of main emotion such as "surprise", "joy", "anger", and "sadness". By confirming the prediction result D22, the user of the image evaluation prediction device 1B can determine whether or not the target emotional evaluation is approaching. This judgment can also be automated using deep learning or the like.

このように構成される本実施例も、第1実施例および第2実施例と同様の作用効果を奏する。さらに本実施例によれば、選択されたユーザ層に対して指定された感性的評価に近づくように、対象画像データを加工することができるため、画像評価予測装置1Bの使用者にとっての利便性が向上する。 This embodiment configured in this way also has the same effects as those of the first embodiment and the second embodiment. Further, according to the present embodiment, the target image data can be processed so as to approach the emotional evaluation specified for the selected user group, which is convenient for the user of the image evaluation prediction device 1B. Is improved.

図12を用いて第4実施例を説明する。本実施例の画像評価予測装置1Cは、対象画像データD21の感性的評価を、対象画像データD21に対応付けられて使用されるテキストデータD23の感性的評価により補正する。 The fourth embodiment will be described with reference to FIG. The image evaluation prediction device 1C of the present embodiment corrects the emotional evaluation of the target image data D21 by the emotional evaluation of the text data D23 used in association with the target image data D21.

図12は、画像評価予測装置1Cの概要図である。画像評価予測装置1Cは、図示せぬ学習部11、予測部12、補正部15を備える。本実施例は、第1~第3実施例のいずれとも結合させることができる。したがって、画像評価予測装置1Cは、ユーザ情報を収集してユーザ層を定義する機能、または、対象画像データD21の感性的評価が選択されたユーザ層に対して指定された感性的評価に近づくように対象画像データD21を加工する機能のいずれかまたは両方を備えることができる。 FIG. 12 is a schematic diagram of the image evaluation prediction device 1C. The image evaluation prediction device 1C includes a learning unit 11, a prediction unit 12, and a correction unit 15, which are not shown. This embodiment can be combined with any of the first to third embodiments. Therefore, the image evaluation prediction device 1C has a function of collecting user information and defining a user layer, or an emotional evaluation of the target image data D21 so as to approach the emotional evaluation specified for the selected user layer. Can be provided with either or both of the functions for processing the target image data D21.

対象画像データD21に対応付けられるテキストデータD23とは、例えば、キャッチコピー、宣伝メッセージ、商品名、サービス名などの、対象画像データD21の主題となっている画像(商品、サービス、人物、動植物など)に対応付けられるテキストデータである。 The text data D23 associated with the target image data D21 is, for example, an image (product, service, person, animal or plant, etc.) that is the subject of the target image data D21, such as a catch phrase, an advertising message, a product name, or a service name. ) Is the text data associated with.

商品やサービスの名称は、画像データから算出される感性的評価に影響を与えることがある。そこで、画像評価予測装置1Cは、対象画像データD21に対応付けられるテキストデータD23の持つ感性的評価をテキスト処理部112により算出する。画像評価予測装置1Cの補正部15は、テキストデータD23から算出された感性的評価を用いて、対象画像データD21の感性的評価を補正する。画像評価予測装置1Cは、補正された予測結果D22を出力する。図12に示すように、選択されたユーザ層のそれぞれについて補正後の感性的評価を出力することもできる。 The names of products and services may affect the emotional evaluation calculated from the image data. Therefore, the image evaluation prediction device 1C calculates the emotional evaluation of the text data D23 associated with the target image data D21 by the text processing unit 112. The correction unit 15 of the image evaluation prediction device 1C corrects the emotional evaluation of the target image data D21 by using the emotional evaluation calculated from the text data D23. The image evaluation prediction device 1C outputs the corrected prediction result D22. As shown in FIG. 12, it is also possible to output the corrected Kansei evaluation for each of the selected user groups.

このように構成される本実施例も第1~第3実施例と同様の作用効果を奏する。さらに本実施例によれば、対象画像データD21に対応付けられるテキストデータD23の感性的評価を用いて、対象画像データD21の感性的評価を補正することができるため、画像データD21とテキストデータD23の組合せによって感性的評価が変化する様子を調べることができ、最適な組合せの選択を支援することができる。 This embodiment configured in this way also has the same effects as those of the first to third embodiments. Further, according to this embodiment, since the emotional evaluation of the target image data D21 can be corrected by using the emotional evaluation of the text data D23 associated with the target image data D21, the image data D21 and the text data D23 can be corrected. It is possible to investigate how the emotional evaluation changes depending on the combination of the above, and it is possible to support the selection of the optimum combination.

図13を用いて第5実施例を説明する。本実施例は、第1~第4実施例のいずれとも結合させることができる。 The fifth embodiment will be described with reference to FIG. This embodiment can be combined with any of the first to fourth embodiments.

本実施例の画像評価予測装置1Dは、ユーザ端末3D内に予測部12を設ける。すなわち、画像評価予測装置1D内の学習部11により生成された評価予測モデルは、ユーザ端末3Dに送信されて記憶される。ユーザは、ユーザ端末3Dの持つカメラ31またはウェブブラウザ32のいずれか一つを用いて対象画像データD21を取得し、取得した対象画像データD21を評価予測画像記憶部13に記憶させる。 The image evaluation prediction device 1D of this embodiment is provided with a prediction unit 12 in the user terminal 3D. That is, the evaluation prediction model generated by the learning unit 11 in the image evaluation prediction device 1D is transmitted to the user terminal 3D and stored. The user acquires the target image data D21 using either the camera 31 or the web browser 32 of the user terminal 3D, and stores the acquired target image data D21 in the evaluation prediction image storage unit 13.

ユーザ端末3Dの予測部12は、評価予測画像記憶部13から読出した対象画像データD21について感性的評価を算出し、算出された感性的評価をユーザインターフェース装置33を介して出力する。ユーザインターフェース装置33は、例えば、ディスプレイ装置である。タッチパネルとディスプレイとが一体化した装置でもよい。ディスプレイは、仮想現実などに用いられるヘッドセットとして構成されてもよい。各実施例で述べた画像評価予測装置1,1A,1B,1C,1Dは、仮想現実空間内で予測結果D22を提供することもできる。 The prediction unit 12 of the user terminal 3D calculates an emotional evaluation of the target image data D21 read from the evaluation prediction image storage unit 13, and outputs the calculated emotional evaluation via the user interface device 33. The user interface device 33 is, for example, a display device. A device in which a touch panel and a display are integrated may be used. The display may be configured as a headset used for virtual reality and the like. The image evaluation prediction devices 1, 1A, 1B, 1C, and 1D described in each embodiment can also provide the prediction result D22 in the virtual reality space.

このように構成される本実施例も前記各実施例と同様の作用効果を奏する。さらに、本実施例によれば、ユーザ端末3Dに予測部12を設けるため、ユーザ(本発明の利用者)は、例えば、散歩や買物中に気になる対象を撮影することにより、その対象の感性的評価を確認することができる。これにより、マーケティング活動などを支援することができ、ユーザにとっての使い勝手が向上する。 This embodiment configured in this way also has the same effect as that of each of the above-mentioned embodiments. Further, according to the present embodiment, since the prediction unit 12 is provided in the user terminal 3D, the user (user of the present invention) can take a picture of an object of concern during a walk or shopping, for example. You can check the emotional evaluation. As a result, it is possible to support marketing activities and the like, and the usability for the user is improved.

なお、本発明は、上述した実施形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。上述の実施形態において、添付図面に図示した構成例に限定されない。本発明の目的を達成する範囲内で、実施形態の構成や処理方法は適宜変更することが可能である。 The present invention is not limited to the above-described embodiment. Those skilled in the art can make various additions and changes within the scope of the present invention. In the above-described embodiment, the configuration is not limited to the configuration example shown in the attached drawings. The configuration and processing method of the embodiment can be appropriately changed within the range of achieving the object of the present invention.

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組合せることができる。 Further, each component of the present invention can be arbitrarily selected, and the invention including the selected configuration is also included in the present invention. Further, the configurations described in the claims can be combined in addition to the combinations specified in the claims.

1,1A~1D:画像評価予測装置、2:情報源、3,3D:ユーザ端末、10:コンテンツデータ記憶部、11:学習部、12:予測部、13:評価予測画像記憶部、14:提供部、15:補正部、31:カメラ、32:ウェブブラウザ、33:ユーザインターフェース装置、111:画像処理部、112:テキスト処理部、113:処理済データ記憶部、114:評価予測モデル生成部、115:評価予測モデル記憶部、116:ユーザ情報推定部、121:画像処理部、122:評価予測部、123:結果処理部、124:画像加工部 1,1A-1D: Image evaluation prediction device, 2: Information source, 3,3D: User terminal, 10: Content data storage unit, 11: Learning unit, 12: Prediction unit, 13: Evaluation prediction image storage unit, 14: Providing unit, 15: correction unit, 31: camera, 32: web browser, 33: user interface device, 111: image processing unit, 112: text processing unit, 113: processed data storage unit, 114: evaluation prediction model generation unit. , 115: Evaluation prediction model storage unit, 116: User information estimation unit, 121: Image processing unit, 122: Evaluation prediction unit, 123: Result processing unit, 124: Image processing unit

Claims (8)

画像データの感性的評価を予測する画像評価予測装置であって、
学習部と、前記学習部による学習結果に基づいて画像データの感性的評価を予測する予測部とを備え、
前記学習部は、
画像データおよび当該画像データに対応するテキストデータを含むコンテンツデータを取得し、
前記コンテンツデータ中のテキストデータを感情分析して感性的評価を算出し、
前記コンテンツデータ中の画像データを分類し、
前記画像データの分類結果と前記テキストデータの感性的評価とに基づいて、入力された画像データの分類結果に対応する感性的評価を出力する予測モデルを生成し、
前記予測部は、
対象画像データを前記予測モデルに入力することにより、前記対象画像データの感性的評価を算出する、
画像評価予測装置。
An image evaluation prediction device that predicts the emotional evaluation of image data.
It includes a learning unit and a prediction unit that predicts the emotional evaluation of image data based on the learning results of the learning unit.
The learning unit
Acquire content data including image data and text data corresponding to the image data,
Sentiment analysis is performed on the text data in the content data to calculate the emotional evaluation.
The image data in the content data is classified and
Based on the classification result of the image data and the emotional evaluation of the text data, a prediction model that outputs the emotional evaluation corresponding to the input classification result of the image data is generated.
The prediction unit
By inputting the target image data into the prediction model, the emotional evaluation of the target image data is calculated.
Image evaluation prediction device.
前記学習部は、さらに、前記コンテンツデータの作成者の情報を取得し、前記作成者の情報から生成されるユーザ属性ごとに前記テキストデータを感情分析して感性的評価を算出し、
前記予測部は、選択された前記ユーザ属性について前記対象画像データの感性的評価を算出する、
請求項1に記載の画像評価予測装置。
The learning unit further acquires the information of the creator of the content data, emotionally analyzes the text data for each user attribute generated from the information of the creator, and calculates the emotional evaluation.
The prediction unit calculates an emotional evaluation of the target image data for the selected user attribute.
The image evaluation prediction device according to claim 1.
前記予測部は、指定された感性的評価に近づくように、前記対象画像データを加工する画像加工部をさらに備える、
請求項2に記載の画像評価予測装置。
The prediction unit further includes an image processing unit that processes the target image data so as to approach a designated Kansei evaluation.
The image evaluation prediction device according to claim 2.
前記対象画像データに対応付けられる所定のテキストデータを感情分析して補正用の感性的評価を算出し、前記予測部は、前記対象画像データから算出された感性的評価を前記所定のテキストデータから算出された補正用の感性的評価を用いて補正する、
請求項3に記載の画像評価予測装置。
The predetermined text data associated with the target image data is emotionally analyzed to calculate a correction emotional evaluation, and the prediction unit calculates the emotional evaluation calculated from the target image data from the predetermined text data. Correct using the calculated sentimental evaluation for correction,
The image evaluation prediction device according to claim 3.
前記コンテンツデータは、前記画像データまたは前記画像データを示すリンク情報と前記画像データに対応する前記テキストデータとが同一の投稿内に存在するコンテンツデータである、
請求項1に記載の画像評価予測装置。
The content data is content data in which the image data or the link information indicating the image data and the text data corresponding to the image data exist in the same post.
The image evaluation prediction device according to claim 1.
画像データの感性的評価を予測する画像評価予測装置であって、
画像データおよび当該画像データに対応するテキストデータを含むコンテンツデータ中の前記テキストデータを感情分析して算出された感性的評価と、前記コンテンツデータ中の前記画像データの分類結果とに基づいて、入力された画像データの分類結果に対応する感性的評価を出力する予測モデルと、
対象画像データを前記予測モデルに入力することにより、前記対象画像データの感性的評価を算出する評価予測部と、
を備える画像評価予測装置。
An image evaluation prediction device that predicts the emotional evaluation of image data.
Input based on the emotional evaluation calculated by emotionally analyzing the text data in the content data including the image data and the text data corresponding to the image data, and the classification result of the image data in the content data. A prediction model that outputs an emotional evaluation corresponding to the classification result of the image data
An evaluation prediction unit that calculates the emotional evaluation of the target image data by inputting the target image data into the prediction model.
Image evaluation prediction device including.
画像データの感性的評価を計算機を用いて予測する画像評価予測方法であって、
画像データおよび当該画像データに対応するテキストデータを含むコンテンツデータを取得し、
前記コンテンツデータ中のテキストデータを感情分析して感性的評価を算出し、
前記コンテンツデータ中の画像データを分類し、
前記画像データの分類結果と前記テキストデータの感性的評価とに基づいて、入力された画像データの分類結果に対応する感性的評価を出力する予測モデルを生成し、
対象画像データを前記予測モデルに入力することにより、前記対象画像データの感性的評価を算出する、
画像評価予測方法。
It is an image evaluation prediction method that predicts the emotional evaluation of image data using a computer.
Acquire content data including image data and text data corresponding to the image data,
Sentiment analysis is performed on the text data in the content data to calculate the emotional evaluation.
The image data in the content data is classified and
Based on the classification result of the image data and the emotional evaluation of the text data, a prediction model that outputs the emotional evaluation corresponding to the classification result of the input image data is generated.
By inputting the target image data into the prediction model, the emotional evaluation of the target image data is calculated.
Image evaluation prediction method.
計算機を画像データの感性的評価を予測する画像評価予測装置として機能させるコンピュータプログラムであって、
画像データおよび当該画像データに対応するテキストデータを含むコンテンツデータを取得する機能と、
前記コンテンツデータ中のテキストデータを感情分析することにより感性的評価を算出する機能と、
前記コンテンツデータ中の画像データを分類する機能と、
前記画像データの分類結果と前記テキストデータの感性的評価に基づき、入力された画像データの分類結果に対応する感性的評価を出力する予測モデルを生成する機能と、
対象画像データを前記予測モデルに入力することにより、前記対象画像データの感性的評価を算出する機能と、
を計算機に実現させるコンピュータプログラム。
A computer program that makes a computer function as an image evaluation predictor that predicts the emotional evaluation of image data.
A function to acquire image data and content data including text data corresponding to the image data, and
A function to calculate emotional evaluation by sentiment analysis of text data in the content data, and
The function to classify the image data in the content data and
Based on the classification result of the image data and the emotional evaluation of the text data, a function to generate a prediction model that outputs an emotional evaluation corresponding to the classification result of the input image data, and
A function to calculate the emotional evaluation of the target image data by inputting the target image data into the prediction model, and
A computer program that makes a computer realize.
JP2020141787A 2020-08-25 2020-08-25 Image evaluation predicting device and method Pending JP2022037575A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020141787A JP2022037575A (en) 2020-08-25 2020-08-25 Image evaluation predicting device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020141787A JP2022037575A (en) 2020-08-25 2020-08-25 Image evaluation predicting device and method

Publications (1)

Publication Number Publication Date
JP2022037575A true JP2022037575A (en) 2022-03-09

Family

ID=80494697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020141787A Pending JP2022037575A (en) 2020-08-25 2020-08-25 Image evaluation predicting device and method

Country Status (1)

Country Link
JP (1) JP2022037575A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593666A (en) * 2024-01-19 2024-02-23 南京航空航天大学 Geomagnetic station data prediction method and system for aurora image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593666A (en) * 2024-01-19 2024-02-23 南京航空航天大学 Geomagnetic station data prediction method and system for aurora image
CN117593666B (en) * 2024-01-19 2024-05-17 南京航空航天大学 Geomagnetic station data prediction method and system for aurora image

Similar Documents

Publication Publication Date Title
Stangl et al. Browsewithme: An online clothes shopping assistant for people with visual impairments
JP6543986B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
Sohail et al. Feature extraction and analysis of online reviews for the recommendation of books using opinion mining technique
Samani et al. Cross-platform and cross-interaction study of user personality based on images on Twitter and Flickr
US8873851B2 (en) System for presenting high-interest-level images
US8897485B2 (en) Determining an interest level for an image
Cavdar Aksoy et al. A typology of personalisation practices in marketing in the digital age
CN106227786B (en) Method and apparatus for pushed information
US9014510B2 (en) Method for presenting high-interest-level images
US9014509B2 (en) Modifying digital images to increase interest level
Carrera-Rivera et al. Context-awareness for the design of Smart-product service systems: Literature review
JP6506439B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM
KR20200030252A (en) Apparatus and method for providing artwork
US20140002644A1 (en) System for modifying images to increase interestingness
CN106105096A (en) System and method for continuous social communication
JP6784499B2 (en) Decision device, decision method and decision program
US11967177B2 (en) Method for managing item recommendation using degree of association between language unit and usage history
JP2018077615A (en) Advertising image generation device, advertising image generation method and program for advertising image generation device
Avolicino et al. AI-based emotion recognition to study users’ perception of dark patterns
Chen et al. Attending to customer attention: A novel deep learning method for leveraging multimodal online reviews to enhance sales prediction
JP2022037575A (en) Image evaluation predicting device and method
Evolvi The theory of hypermediation: Anti-gender Christian groups and digital religion
CN116842478A (en) User attribute prediction method based on twitter content
Kapoor et al. Sequential bias in online product reviews
JP2019185769A (en) Information processor, information processing method and information processing program