JP2012113589A - Action motivating device, action motivating method and program - Google Patents

Action motivating device, action motivating method and program Download PDF

Info

Publication number
JP2012113589A
JP2012113589A JP2010263272A JP2010263272A JP2012113589A JP 2012113589 A JP2012113589 A JP 2012113589A JP 2010263272 A JP2010263272 A JP 2010263272A JP 2010263272 A JP2010263272 A JP 2010263272A JP 2012113589 A JP2012113589 A JP 2012113589A
Authority
JP
Japan
Prior art keywords
comment
input
user
emotion
input user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010263272A
Other languages
Japanese (ja)
Inventor
Taku Konishi
琢 小西
Shinichi Doi
伸一 土井
Satoko Itaya
聡子 板谷
Naoki Yoshinaga
直生 吉永
Rie Tanaka
理恵 田仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010263272A priority Critical patent/JP2012113589A/en
Publication of JP2012113589A publication Critical patent/JP2012113589A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve effect of motivating an action of a user who browses comments input by another user.SOLUTION: A comment obtaining section 11 obtains comments and action information of an input user from a comment input terminal 6, and a user information obtaining section 13 obtains biological information, voice data and image data of the input user. An emotional change analyzing section 15 determines a psychological state of the input user according to predetermined conditions based on the biological information, the voice data and/or the image data of the input user corresponding to the comments of the input user to calculate an emotion value. An information selecting section 16 selects comments to be displayed in descending order of the emotion value calculated by the emotional change analyzing section 15 to determine display order. A display generating section 17 generates a display screen for displaying the comments in the order selected and determined by the information selecting section 16 and transmits it to a comment display terminal 7 when receiving a comment display instruction from the comment display terminal 7.

Description

本発明は、トピックに対するコメントの情報処理システムに関し、当該コメントの閲覧者の行動を促進する行動促進装置、行動促進方法およびプログラムに関する。   The present invention relates to an information processing system for a comment on a topic, and relates to an action promoting device, an action promoting method, and a program for promoting an action of a viewer of the comment.

現在、インターネットの発展に伴って、ネット上で様々なトピックに関してのコメント(意見や感想、口コミなど)を自由に書き込み、他者と共有することができるサイトが増えている(例:ブログ、掲示板、Public Opinionサイト、口コミサイト)。このようなあるトピックに関する他者のコメント情報は、当該トピックのコメント閲覧者の行動に強く影響することが知られている(非特許文献1参照)。たとえば、マーケットの分野において、口コミコメントを見た閲覧者の購買行動に影響することが指摘されており、新たな広告手段としての期待も高まっている。   With the development of the Internet, there are an increasing number of sites where you can freely write comments (opinions, impressions, reviews, etc.) on various topics on the Internet and share them with others (eg, blogs and bulletin boards). , Public Opinion site, word of mouth site). It is known that such comment information on another topic strongly affects the behavior of comment viewers on the topic (see Non-Patent Document 1). For example, in the field of the market, it has been pointed out that it affects the purchasing behavior of the viewer who saw the word of mouth comment, and the expectation as a new advertising means is also increasing.

また、映画批評サイトでは、既に映画を見た人のコメントが、まだその映画を見ていない人の意思決定の手がかりとなっている。口コミのようなコメント情報は、上記のようなモノを買う、映画を見るといったトピックに直接関わるような行動以外にも、新たにコメントを追加する、他の誰かに情報を伝える、などのコメントを「見る」以上の色々な間接的行動にも影響与えるものである。これらのようなサイトの書き込み・閲覧はPCだけではなく、携帯電話などの情報通信機器からも可能になってきていることから、より多くの人から多くの意見を収集することが容易になっている。   Also, on the movie criticism site, the comments of those who have already seen the movie are clues for decision making for those who have not yet seen the movie. Comment information such as word of mouth includes comments such as adding new comments and communicating information to someone else in addition to actions directly related to topics such as buying things and watching movies as described above. It also affects various indirect actions beyond “see”. Since writing and browsing of sites like these are possible not only from PCs but also from information communication devices such as mobile phones, it is easy to collect more opinions from more people. Yes.

コメント発言者の発言に含まれる評価の大きさを検出する文章解析に関連する技術として特許文献1および2がある。また、コメント発言者の感情の検出に関連する技術として特許文献3〜8がある。   Patent Documents 1 and 2 are techniques related to sentence analysis for detecting the magnitude of evaluation included in comments of commenters. Moreover, there are Patent Documents 3 to 8 as techniques related to the detection of emotions of comment speakers.

特許文献1は、文から情動性を表す表現を自動的に抽出することができる情報処理装置を開示している。特許文献1の技術では、情動性を表す単語やそれを強調したり否定したりする単語を予め辞書として用意しておく。そして、入力文を形態素解析、及び構文解析し、その結果得られた構文的な構造や単語の意味などを利用し、情動性の中心となる単語やそれを強調したり否定したりする表現を抽出する。   Patent Document 1 discloses an information processing apparatus that can automatically extract an expression representing emotionality from a sentence. In the technique of Patent Document 1, a word representing emotion and a word for emphasizing or denying it are prepared in advance as a dictionary. Then, morphological analysis and syntactic analysis of the input sentence, and using the resulting syntactic structure and the meaning of the word, the word that is the center of emotionality and expressions that emphasize or deny it Extract.

特許文献2は、比較的小規模な構成で、かつ、比較的短時間で、コンテンツの評判結果を得ることができるようにする方法を開示している。特許文献2の技術では、意見・感想が書かれた文章に形態素解析を行い、「おもしろかった」などの肯定的な評判表現語に正の評価値を、「つまらなかった」などの否定的な評判表現語に負の評価値を付与し、それらに「とても」・「非常に」などの程度表現語によって重み付けして各意見・感想の評価値を算出する。   Patent Document 2 discloses a method for obtaining a reputation result of a content in a relatively small configuration and in a relatively short time. In the technology of Patent Document 2, a morphological analysis is performed on a sentence in which an opinion / impression is written, a positive reputation expression word such as “It was interesting”, a negative reputation such as “It was boring” A negative evaluation value is assigned to the expression word, and the evaluation value of each opinion / impression is calculated by weighting them with the expression word such as “very” or “very”.

特許文献3は、会議や打ち合わせなどの場における知的活動に対する評価をするために対象者の心理状態を情報として提供する情報提供装置を開示している。特許文献3の技術では、発言者の感情検出について、実際の議論場面を対象として、生理データや行動データを利用して「共感・嫌悪・無関心」などの感情を検出する。   Patent Document 3 discloses an information providing apparatus that provides the psychological state of a subject as information in order to evaluate an intellectual activity in a meeting or a meeting. In the technique of Patent Document 3, emotions such as “sympathy / disgust / indifference” are detected by using physiological data and behavioral data for an actual discussion scene with respect to the emotion detection of a speaker.

特許文献4は、視覚や聴覚などの外部環境の認識結果や本能や感情などの内部状態などのロボットが置かれている状況を統合的に判断して行動を選択するロボットの行動制御システムを開示している。特許文献4の技術では、本能や感情といった数種類の情動を数式モデル化して管理している。   Patent Document 4 discloses a behavior control system for a robot that selects a behavior by comprehensively judging the situation where a robot is placed such as recognition results of external environments such as vision and hearing, and internal states such as instinct and emotion. is doing. In the technique of Patent Document 4, several types of emotions such as instinct and emotion are managed as mathematical models.

特許文献5は、人間の精神状態の変動や記憶の風化などに制約されず、時間とともに変化する感情を把握し易い形で表し、その感情情報を日常体験などの情報コンテンツの検索に役立てる感情情報提示方法、感情情報表示方法及び情報コンテンツの検索方法を開示している。特許文献5の技術では、時間と共に変化する感情について心拍、血圧などの生体情報に基づいて感情解析を行い、感情変数に変換し、感情変数に応じた情報コンテンツを検索する。   Patent Document 5 expresses emotions that change over time in an easy-to-understand manner without being restricted by changes in human mental state or weathering of emotions, and the emotion information is useful for searching information content such as daily experiences. A presentation method, emotion information display method, and information content search method are disclosed. In the technique of Patent Document 5, emotion analysis is performed on emotions that change with time based on biological information such as heart rate and blood pressure, converted into emotion variables, and information content corresponding to the emotion variables is searched.

特許文献6は、入力された文章の文や単語に対して、文や単語の表す感情をきめこまかく豊かに表現できる感情画像作成システムを開示している。特許文献6の技術では、感情を表現する所定の画像を、感情を要素値とする感情ベクトルに関連づけて保持しており、入力文章に対して前記感情辞書を検索して感情を表す単語と該単語の感情ベクトルを求め、最もベクトル差の小さい画像を選択して表示する。   Patent Document 6 discloses an emotion image creation system that can express emotions expressed by sentences and words in a meticulously rich manner with respect to the sentences and words of an input sentence. In the technique of Patent Document 6, a predetermined image expressing emotion is held in association with an emotion vector having emotion as an element value, and the word representing the emotion and the word representing the emotion by searching the emotion dictionary for the input sentence The emotion vector of the word is obtained, and the image having the smallest vector difference is selected and displayed.

特許文献7は、利用者の生体情報や本装置の周囲の環境の情報に基づいて客観的に入力される文字を含んだ文章を作成する文章作成装置および文章作成補助装置を開示している。特許文献7の技術では、人の生体情報の計測値又は本文章作成装置の周囲の環境の計測値に基づいて感情または周囲の状況を推論し、文字データを生成する。   Patent Document 7 discloses a sentence creation device and a sentence creation auxiliary device that create a sentence including characters that are objectively input based on a user's biological information and information about the environment around the apparatus. In the technique of Patent Document 7, an emotion or a surrounding situation is inferred based on a measurement value of a person's biological information or a measurement value of an environment around the text creation device, and character data is generated.

特許文献8は、広告効果を高めるため、表示すべき広告等を、話者の感情に基づいて選択するコンテンツ提供システムを開示している。特許文献8の技術では、会話音声の中から単語を抽出し、当該単語に付加された優先順位が高いコンテンツを読み取る。また、音声の特徴量を算出し、算出された音声特徴量に基づいて感情種別を判定し、感情種別に関連づけられたコンテンツを再生する。   Patent Document 8 discloses a content providing system that selects an advertisement or the like to be displayed based on a speaker's emotion in order to enhance the advertising effect. In the technique of Patent Literature 8, a word is extracted from conversational speech, and content with a high priority added to the word is read. In addition, the audio feature amount is calculated, the emotion type is determined based on the calculated audio feature amount, and the content associated with the emotion type is reproduced.

特開2003−157253号公報JP 2003-157253 A 特開2009−15407号公報JP 2009-15407 A 特開2004−112518号公報JP 2004-112518 A 特開2003−334785号公報JP 2003-334785 A 特開2005−124909号公報JP 2005-124909 A 特開2005−208892号公報Japanese Patent Laid-Open No. 2005-208992 特開2007−156776号公報Japanese Patent Laid-Open No. 2007-156776 特開2008−170820号公報JP 2008-170820 A

竹村和久、2007、消費行動の社会心理学、北大路書房Takemura Kazuhisa, 2007, Social psychology of consumer behavior, Kitaoji Shobo

口コミ情報などにおいて、あるトピックに関して大量のコメントが集まった場合には、コメント閲覧者の行動への影響を考慮したコメント情報処理手段の工夫が必要である。大量のコメントを単に羅列するだけでは、データ量が多すぎてコメント閲覧者の理解が追いつかず、その結果、コメント閲覧者の行動に与える影響が低下する可能性が高い。すなわち、コメント閲覧者の行動意思決定を支援するためには、コメント閲覧者への影響に注目したコメント発言者のコメントの表示制御が重要となる。   When a large number of comments are gathered on a topic in word-of-mouth information or the like, it is necessary to devise comment information processing means that considers the influence on the action of the comment viewer. If a large number of comments are simply listed, the amount of data is too large to be understood by the comment viewer, and as a result, there is a high possibility that the effect on the comment viewer's behavior will be reduced. That is, in order to support the comment viewer's action decision making, it is important to control the display of the comment of the comment speaker who pays attention to the influence on the comment viewer.

コメントが持つ影響は、コメントが示す評価の大きさが1つの指標となり得る。たとえば、ある映画に関して、「非常に面白かった」というコメントと、単に「面白かった」というコメントがあった場合に、そのコメント閲覧者の行動意思決定(映画を見に行くか行かないか)に対して、前者のコメントの方が強い影響を持つと推測される。   As for the influence of comments, the magnitude of evaluation indicated by comments can be an indicator. For example, if a comment about a movie was “very interesting” and simply “it was interesting”, the comment viewer's action decision (whether to go to the movie or not) Therefore, it is speculated that the former comment has a stronger influence.

また、発言に含まれる感想・評価の大きさとは別に、コメント閲覧者への影響の指標となり得るものとして、コメント発言者の感情が挙げられる。コメントやメッセージの受け手の行動や意見の方向に変化させることを狙ったコミュニケーション(説得的コミュニケーション)の特性について、そのメッセージに情動的な要素が含まれている方が、情動的要素を排した客観的な報告よりも受け手への説得影響が高いことが社会心理学調査によって示されている(たとえば、具志堅伸隆、唐沢かおり、2007、情動的メッセージと反すう思考による説得効果、実験社会心理学研究 46(1)、pp.40〜52参照)。   In addition to the size of the impression / evaluation included in the comment, the emotion of the comment speaker can be cited as an index of the influence on the comment viewer. About the characteristics of communication (persuasive communication) that aims to change the behavior of the recipients of comments and messages and the direction of opinions (persuasive communication), the objective that excludes the emotional elements is included in those messages that contain emotional elements Social psychology surveys show that the persuasive impact on the recipient is higher than typical reports (for example, Nobutaka Gushi, Kaori Karasawa, 2007, Persuasive effects of emotional messages and counter-thoughts, Experimental Social Psychology Research 46 (See (1), pp. 40-52).

特許文献1ないし8に記載の技術は、コメントを閲覧したユーザの行動の促進を目的とするものではなく、コメント文に記述されている評価・感想の大きさやコメント発言者の感情をコメントの表示制御の指標として利用するものではない。   The techniques described in Patent Documents 1 to 8 are not intended to promote the action of the user who has viewed the comment, but display the comment indicating the size of the evaluation / impression described in the comment sentence and the emotion of the commenter. It is not used as a control index.

本発明は、上述のような事情に鑑みてなされたものであり、コメントを閲覧したユーザの行動を促進する効果を向上させる行動促進装置、行動促進方法およびプログラムを提供することを目的とする。   This invention is made | formed in view of the above situations, and it aims at providing the action promotion apparatus, the action promotion method, and program which improve the effect of promoting the action of the user who browsed the comment.

本発明の第1の観点に係る行動促進装置は、
入力ユーザが入力したコメントを取得する第1取得手段と、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得手段と、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析手段と、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成手段と、
前記表示画面を閲覧ユーザの端末に送信する送信手段と、
を備えることを特徴とする。
The action promoting device according to the first aspect of the present invention provides:
First acquisition means for acquiring a comment input by an input user;
Second acquisition means for acquiring at least two of the input user's biological information, audio data, image data, and action information indicating the action of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis means for calculating the emotional value by judging the psychological state of time,
Generating means for generating a display screen for changing the display feature amount for each comment based on the emotion value;
A transmission means for transmitting the display screen to the terminal of the browsing user;
It is characterized by providing.

本発明の第2の観点に係る行動促進方法は、
通信ネットワークを経由して、入力ユーザがコメントを入力し、閲覧ユーザが前記コメントを閲覧するシステムにおいて実行される行動促進方法であって、
前記入力ユーザが入力した前記コメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を前記閲覧ユーザの端末に送信する送信ステップと、
を備えることを特徴とする。
The action promotion method according to the second aspect of the present invention includes:
An action promoting method executed in a system in which an input user inputs a comment via a communication network and a browsing user browses the comment,
A first acquisition step of acquiring the comment input by the input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to the terminal of the browsing user;
It is characterized by providing.

本発明の第3の観点に係るプログラムは、コンピュータに、
入力ユーザが入力したコメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を閲覧ユーザの端末に送信する送信ステップと、
を実行させることを特徴とする。
A program according to the third aspect of the present invention is stored in a computer.
A first acquisition step of acquiring a comment input by an input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to a browsing user's terminal;
Is executed.

本発明によれば、コメントを入力したユーザの感情をより精密に解析して、解析結果に基づいてコメントの表示を制御することで、当該コメントを閲覧したユーザの行動を促進する効果を向上させることが可能になる。   According to the present invention, by analyzing the emotion of a user who has input a comment more precisely and controlling the display of the comment based on the analysis result, the effect of promoting the action of the user who viewed the comment is improved. It becomes possible.

本発明の実施の形態1に係る行動促進システムの構成例を示す図である。It is a figure which shows the structural example of the action promotion system which concerns on Embodiment 1 of this invention. 実施の形態1に係るコメントの入力と閲覧の例を示す図である。It is a figure which shows the example of the input of the comment which concerns on Embodiment 1, and browsing. 興奮状態または沈静状態の推定基準の例を説明する図である。It is a figure explaining the example of the estimation reference | standard of an excited state or a calm state. コメント入力前後の生体情報の時間的変化の解析を説明する図である。It is a figure explaining the analysis of the time change of the biometric information before and behind comment input. 長期間の感情値の時間的変化の解析を説明する図である。It is a figure explaining the analysis of the temporal change of a long-term emotion value. 実施の形態1に係る行動促進の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an action promoting operation according to the first embodiment. 本発明の実施の形態2に係る行動促進システムの構成例を示す図である。It is a figure which shows the structural example of the action promotion system which concerns on Embodiment 2 of this invention. 実施の形態2に係る感情の可視化の第1の例を説明する図である。It is a figure explaining the 1st example of visualization of the emotion which concerns on Embodiment 2. FIG. 実施の形態2に係る感情の可視化の第2の例を説明する図である。It is a figure explaining the 2nd example of visualization of the emotion which concerns on Embodiment 2. FIG. 実施の形態2に係る感情の可視化の第3の例を説明する図である。It is a figure explaining the 3rd example of visualization of the emotion which concerns on Embodiment 2. FIG. 感情値の定義づけの例を説明する図である。It is a figure explaining the example of definition of an emotion value. 実施の形態2に係る行動促進の動作の一例を示すフローチャートである。10 is a flowchart illustrating an example of an action promoting operation according to the second embodiment. 本発明の実施の形態3に係る行動促進システムの構成例を示す図である。It is a figure which shows the structural example of the action promotion system which concerns on Embodiment 3 of this invention. 実施の形態3に係るコメントの選択および並び替えならびに感情の可視化の例を説明する図である。It is a figure explaining the example of selection of the comment which concerns on Embodiment 3, rearrangement, and visualization of an emotion. 実施の形態3に係る行動促進の動作の一例を示すフローチャートである。10 is a flowchart illustrating an example of an action promoting operation according to the third embodiment. 本発明の実施の形態に係る行動促進装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the action promotion apparatus which concerns on embodiment of this invention.

本発明において、入力ユーザとは、あるトピックに対してコメントを入力するユーザである。閲覧ユーザとは、入力ユーザが入力したコメントを閲覧するユーザである。生体情報とは、たとえば、心拍、血圧、体温、発汗などの値である。行動情報とは、入力ユーザの行動を示す情報であって、たとえば、ログインからコメント入力までの経過時間や操作ログ、アクセスログなどである。感情値とは、入力ユーザのコメント入力時の心理状態を示す値であって、主に興奮状態であるか沈静状態であるかを表す。表示の特徴量とは、表示の順序、大きさ(コメントごとの相対値)、色、タイプフェイス(フォント)、文字飾り、枠、背景、伴って表示するアイコン、強調文字(感嘆符や顔文字など)などである。   In the present invention, the input user is a user who inputs a comment on a certain topic. A browsing user is a user who browses a comment input by an input user. The biological information is, for example, values such as heart rate, blood pressure, body temperature, and sweating. The behavior information is information indicating the behavior of the input user, and is, for example, an elapsed time from login to comment input, an operation log, an access log, or the like. The emotion value is a value indicating a psychological state at the time of inputting an input user's comment, and mainly represents whether the user is in an excited state or in a calm state. Display features include display order, size (relative value for each comment), color, typeface (font), text decoration, frame, background, icons to be displayed, emphasis characters (exclamation marks and emoticons) Etc.).

以下に、発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。   EMBODIMENT OF THE INVENTION Below, the form for inventing is demonstrated in detail with reference to drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.

(実施の形態1)
図1は、本発明の実施の形態1に係る行動促進システムの構成例を示す図である。行動促進システム101は、行動促進装置1とコメント入力端末6とコメント表示端末7とで構成される。行動促進装置1とコメント入力端末6およびコメント表示端末7とは、インターネット等のネットワークまたは移動体通信ネットワーク(図示せず)を介して相互に通信可能である。行動促進装置1は、コメント取得部11、コメント記憶部12、ユーザ情報取得部13、ユーザ情報記憶部14、感情変化解析部15、情報選択部16および表示生成部17を備える。
(Embodiment 1)
FIG. 1 is a diagram showing a configuration example of an action promotion system according to Embodiment 1 of the present invention. The behavior promotion system 101 includes the behavior promotion device 1, a comment input terminal 6, and a comment display terminal 7. The action promoting device 1, the comment input terminal 6, and the comment display terminal 7 can communicate with each other via a network such as the Internet or a mobile communication network (not shown). The action promoting device 1 includes a comment acquisition unit 11, a comment storage unit 12, a user information acquisition unit 13, a user information storage unit 14, an emotion change analysis unit 15, an information selection unit 16, and a display generation unit 17.

コメント取得部11は、入力ユーザがコメント入力端末6に入力したコメントを取得し、コメント記憶部12に記憶させる。行動促進装置1が、ネットワークを介して直接コメントを取得するのではなく、行動促進装置1を有する管理サーバがコメントを取得し、内部で受け取ることとしてもよい。   The comment acquisition unit 11 acquires a comment input by the input user to the comment input terminal 6 and stores it in the comment storage unit 12. The action promoting device 1 may not acquire the comment directly via the network, but the management server having the action promoting device 1 may acquire the comment and receive it internally.

コメント記憶部12は、コメント取得部11が取得したコメントを取得した時刻と対応付けて記憶する。コメント記憶部12は、コメント取得部11が取得したコメントが、すでにコメント入力端末6で入力された時刻と対応付けられている場合には、そのまま記憶する。また、コメント記憶部12は、情報選択部16が選択し、順序を決定したコメントを記憶する。   The comment storage unit 12 stores the comment acquired by the comment acquisition unit 11 in association with the acquired time. When the comment acquired by the comment acquisition unit 11 is already associated with the time input by the comment input terminal 6, the comment storage unit 12 stores the comment as it is. The comment storage unit 12 stores the comments selected by the information selection unit 16 and determined in order.

ユーザ情報取得部13は、コメント入力端末6が検出した入力ユーザの生体情報、音声データおよび画像データを取得し、ユーザ情報記憶部14に記憶させる。行動促進装置1がネットワークを介して直接、入力ユーザの生体情報、音声データおよび画像データを取得するのではなく、行動促進装置1を有する管理サーバが取得し、内部で受け取ることとしてもよい。また、コメント入力時前後の所定の期間の生体情報と、当該コメントを対応付けて記憶することとしてもよい。   The user information acquisition unit 13 acquires biometric information, audio data, and image data of the input user detected by the comment input terminal 6 and stores them in the user information storage unit 14. Instead of acquiring the biometric information, voice data, and image data of the input user directly via the network, the behavior promoting device 1 may be acquired by the management server having the behavior promoting device 1 and received internally. Moreover, it is good also as storing the biometric information of the predetermined period before and behind the time of comment input, and the said comment in correlation.

ユーザ情報記憶部14は、ユーザ情報取得部13が取得した入力ユーザの生体情報、音声データおよび画像データを取得した時刻と対応付けて記憶する。ユーザ情報記憶部14は、ユーザ情報取得部13が取得した生体情報、音声データおよび画像データが、すでにコメント入力端末6で検出された時刻と対応付けられている場合には、そのまま記憶する。また、ユーザ情報記憶部14は、あらかじめ入力ユーザの平常の状態の生体情報、音声データおよび画像データを記憶している。   The user information storage unit 14 stores the input user's biometric information, voice data, and image data acquired by the user information acquisition unit 13 in association with the acquired time. The user information storage unit 14 stores the biometric information, audio data, and image data acquired by the user information acquisition unit 13 as they are when they are already associated with the time detected by the comment input terminal 6. The user information storage unit 14 stores biological information, sound data, and image data in a normal state of the input user in advance.

感情変化解析部15は、コメント取得部11が入力ユーザのコメントを取得した時刻に対応する入力ユーザの生体情報、音声データおよび画像データに基づいて感情の解析を行い、感情値を算出する。また、感情変化解析部15は、入力ユーザのコメントの文章解析の結果や行動情報を加味して感情値を算出することとしてもよい。行動情報を加味して感情値を算出する場合は、ユーザ情報取得部13は、ユーザ情報取得部13が取得したコメントに対応する入力ユーザの操作ログやアクセスログなどを行動情報として取得する。   The emotion change analysis unit 15 analyzes emotion based on the input user's biometric information, voice data, and image data corresponding to the time when the comment acquisition unit 11 acquires the input user's comment, and calculates an emotion value. Moreover, the emotion change analysis part 15 is good also as calculating an emotion value in consideration of the result of sentence analysis and action information of an input user's comment. When calculating an emotion value in consideration of behavior information, the user information acquisition unit 13 acquires an operation log or an access log of the input user corresponding to the comment acquired by the user information acquisition unit 13 as the behavior information.

情報選択部16は、感情変化解析部15が算出した感情値が大きい順に、表示するコメントを選択し、表示する順序を決定する。情報選択部16は、選択して順序を決定したコメントをコメント記憶部12に記憶させる。   The information selection unit 16 selects comments to be displayed in descending order of emotion values calculated by the emotion change analysis unit 15 and determines the order of display. The information selection unit 16 causes the comment storage unit 12 to store the comments selected and determined in order.

表示生成部17は、コメント表示端末7からコメントの表示指示を受け取ると、情報選択部16が選択したコメントをコメント記憶部12から読み出す。表示生成部17は、コメント記憶部12から読み出したコメントを情報選択部16が決定した順序で表示する表示画面を生成し、コメント表示端末7に送信する。行動促進装置1がネットワークを介して直接コメントの表示指示を取得するのではなく、行動促進装置1を有する管理サーバがコメントの表示指示を取得し、内部で受け取ることとしてもよい。   Upon receiving a comment display instruction from the comment display terminal 7, the display generation unit 17 reads the comment selected by the information selection unit 16 from the comment storage unit 12. The display generation unit 17 generates a display screen that displays the comments read from the comment storage unit 12 in the order determined by the information selection unit 16 and transmits the display screen to the comment display terminal 7. Instead of the action promotion device 1 directly acquiring a comment display instruction via the network, the management server having the behavior promotion apparatus 1 may acquire a comment display instruction and receive it internally.

コメント入力端末6は、入力部61、検出部62および表示部63を備える。入力部61は、入力ユーザによるコメントの入力を受け付け、行動促進装置1または行動促進装置1を有する管理サーバに送信する。あるいは、入力部61は、入力されたコメントを入力された時刻と対応付けて行動促進装置1に送ることとしてもよい。検出部62は、入力ユーザがコメントを入力するために行動促進装置1または行動促進装置1を有する管理サーバにアクセスしている間、入力ユーザの生体情報、音声データおよび画像データを検出して行動促進装置1または行動促進装置1を有する管理サーバに送信する。表示部63は、コメントの入力画面を表示する。   The comment input terminal 6 includes an input unit 61, a detection unit 62, and a display unit 63. The input unit 61 receives an input of a comment by the input user, and transmits the comment to the action promoting device 1 or the management server having the behavior promoting device 1. Alternatively, the input unit 61 may send the input comment to the action promoting device 1 in association with the input time. While the input user accesses the action promoting device 1 or the management server having the action promoting device 1 in order to input a comment, the detecting unit 62 detects the input user's biometric information, voice data, and image data to act. It transmits to the management server which has the promotion apparatus 1 or the action promotion apparatus 1. FIG. The display unit 63 displays a comment input screen.

コメント表示端末7は、入力部71および表示部72を備える。入力部72は、閲覧ユーザによるコメントの表示指示を受け付け、行動促進装置1または行動促進装置1を有する管理サーバに送信する。表示部72は、行動促進装置1の表示生成部17から送られた表示画面を表示する。   The comment display terminal 7 includes an input unit 71 and a display unit 72. The input unit 72 receives an instruction to display a comment from the browsing user and transmits the instruction to the behavior promoting device 1 or the management server having the behavior promoting device 1. The display unit 72 displays the display screen sent from the display generation unit 17 of the behavior promoting device 1.

図2は、実施の形態1に係るコメントの入力と閲覧の例を示す図である。ここではトピックを映画として、その映画を見た入力ユーザが個々に感想を書き込むような映画批評サイトを想定する。まず、すでに映画を見たユーザB、ユーザC、ユーザD、ユーザE、ユーザFのコメントが、情報選択部16によって選択され、決定された順序で当該映画批評サイトに表示されているとする。なお、当該映画批評サイトの1つの映画についてのコメントは5個までしか表示されない制限があることとする。   FIG. 2 is a diagram illustrating an example of comment input and browsing according to the first embodiment. Here, it is assumed that the topic is a movie, and a movie critique site where an input user who views the movie writes an individual comment. First, it is assumed that the comments of the user B, user C, user D, user E, and user F who have already watched the movie are selected by the information selection unit 16 and displayed on the movie criticism site in the determined order. It is assumed that there is a limit that only 5 comments can be displayed for one movie on the movie criticism site.

新たに映画を見たユーザA(入力ユーザ)が、コメント入力端末6を利用して当該映画批評サイトにログインして、当該映画についてのコメントを入力部61に入力すると、入力部61は、ユーザAのコメントを即時に行動推進装置1に送信する。一方、コメント入力端末6の検出部62は、ユーザAがコメントを入力するために当該映画批評サイトにログインすると、コメント入力端末6に接続されたマイクや生体センサ、カメラを用いて、ユーザAの生体情報、音声データおよび画像データの検出を開始する。検出部62は、検出したユーザAの生体情報、音声データおよび画像データを行動促進装置1に送る。   When a user A (input user) who has newly watched a movie logs in to the movie critique site using the comment input terminal 6 and inputs a comment about the movie to the input unit 61, the input unit 61 The comment of A is immediately transmitted to the action promotion apparatus 1. On the other hand, when the user A logs into the movie criticism site in order to input a comment, the detection unit 62 of the comment input terminal 6 uses the microphone, the biometric sensor, and the camera connected to the comment input terminal 6. Detection of biometric information, audio data, and image data is started. The detection unit 62 sends the detected biological information, voice data, and image data of the user A to the behavior promoting device 1.

行動促進装置1のコメント取得部11は、コメント入力端末6から取得したユーザAのコメントを取得した時刻と対応付けてコメント記憶部12に記憶させる。ユーザ情報取得部13は、コメント入力端末6から取得したユーザAの生体情報、音声データおよび画像データを取得した時刻と対応付けてユーザ情報記憶部14に記憶させる。   The comment acquisition unit 11 of the action promoting device 1 stores the comment storage unit 12 in association with the time when the comment of the user A acquired from the comment input terminal 6 is acquired. The user information acquisition unit 13 stores the biometric information, voice data, and image data of the user A acquired from the comment input terminal 6 in the user information storage unit 14 in association with the acquired time.

感情変化解析部15は、コメントを入力したユーザAの生体情報、音声データおよび画像データに基づいて、当該ユーザAのコメント入力時の感情値を算出する。また、感情変化解析部15は、ユーザAのコメントを文章解析し、その結果を感情値の計算に加味してもよい。さらに、感情変化解析部15は、ユーザAの行動情報を感情値の計算に加味してもよい。   The emotion change analysis unit 15 calculates an emotion value at the time of inputting the comment of the user A based on the biological information, voice data, and image data of the user A who inputs the comment. The emotion change analysis unit 15 may analyze the sentence of the user A's comment and add the result to the calculation of the emotion value. Furthermore, the emotion change analysis unit 15 may add the action information of the user A to the calculation of the emotion value.

ユーザ情報記憶部14は、すでにコメントを入力したユーザB、ユーザC、ユーザD、ユーザE、ユーザFの感情値も記憶している。情報選択部16は、感情値が大きい順にコメントを並べ替える。感情値の大きさがユーザA>ユーザB>ユーザC>ユーザD>ユーザE>ユーザFであった場合、情報選択部16は、大きい方から順にユーザA、ユーザB、ユーザC、ユーザD、ユーザEの5個のコメントを選択し、感情値の大きい順に表示順序を決定する。このような感情値を利用したコメントの選択・並べ替えは、閲覧ユーザが閲覧する前にあらかじめ行動促進装置1が自動で行ってもよいし、「感情値の高い順に並び替える」などのフィルタボタンを閲覧するWebページ内に備えることで、閲覧ユーザが能動的に行ってもよい。   The user information storage unit 14 also stores emotion values of the users B, C, D, E, and F who have already input comments. The information selection unit 16 rearranges the comments in descending order of emotion values. When the magnitude of the emotion value is user A> user B> user C> user D> user E> user F, the information selection unit 16 sets the user A, user B, user C, user D, User E's five comments are selected, and the display order is determined in descending order of emotion values. Such selection / rearrangement of comments using emotion values may be automatically performed by the action promoting device 1 in advance before the browsing user browses, or a filter button such as “rearranged in descending order of emotion values”. By providing it in a Web page for browsing, the browsing user may actively perform the browsing.

なお、各コメントに対して投票や拍手を行うボタンを閲覧するWebページ内に備え、映画をみた閲覧ユーザがコメントを入力しなくても、コメントに対して投票や拍手を行うことで映画を評価できるようにしてもよい。この場合、各コメントに他のユーザが行った投票数や拍手数を付与する。   In addition, a web page for browsing buttons for voting and applauding each comment is prepared, and a movie can be evaluated by voting and applauding the comment even if the viewing user does not input the comment. You may be able to do it. In this case, the number of votes and applause performed by other users are given to each comment.

まだ当該映画を観ていないユーザG(閲覧ユーザ)が、コメント表示端末7を用いて映画批評サイトの当該映画のコメントのWebページにアクセスすると、コメント表示端末7は、コメントの表示指示を行動促進装置1に送信する。表示生成部17は、コメント表示端末7からコメントの表示指示を受け取ると、情報選択部16が決定したユーザA、ユーザB、ユーザC、ユーザD、ユーザEの順にコメントを表示させた表示画面を生成し、コメント表示端末7に送信する。コメント表示端末7の表示部72は、表示生成部17から受信した表示画面を表示する。   When a user G (viewing user) who has not yet watched the movie uses the comment display terminal 7 to access the comment web page of the movie on the movie criticism site, the comment display terminal 7 promotes action to display a comment. Transmit to device 1. Upon receiving a comment display instruction from the comment display terminal 7, the display generation unit 17 displays a display screen in which comments are displayed in the order of user A, user B, user C, user D, and user E determined by the information selection unit 16. It is generated and transmitted to the comment display terminal 7. The display unit 72 of the comment display terminal 7 displays the display screen received from the display generation unit 17.

図3は、興奮状態または沈静状態の推定基準の例を説明する図である。図3の例では、推定基準に、「心拍数」、「脈拍数」、「体温」、「血圧」、「視線」、「音声(声量)」、「音声(速度)」、「音声(高低)」の項目がある。ユーザ情報記憶部14は、あらかじめ、健康診断カルテや日常的に取得されたデータの蓄積によって平常時の沈静状態における入力ユーザの生体情報、音声データや画像データを記憶している。   FIG. 3 is a diagram illustrating an example of an estimation criterion for an excited state or a calm state. In the example of FIG. 3, the estimation criteria include “heart rate”, “pulse rate”, “body temperature”, “blood pressure”, “line of sight”, “speech (voice volume)”, “speech (speed)”, “speech (high / low) ) ”Item. The user information storage unit 14 stores in advance biometric information, voice data, and image data of an input user in a normal calm state by storing a medical examination chart and data acquired on a daily basis.

コメント入力端末6の検出部62が生体センサを用いて取得した心拍数に関して、行動促進装置1の感情変化解析部15は、沈静状態を示す平均心拍数から、あらかじめ定めた閾値X以上の上昇が検出された場合に興奮状態と推定する。また、感情変化解析部15は、心拍数の上昇が閾値Xより小さい場合、および、心拍数の値が平均心拍数よりも小さい場合は沈静状態と推定する。同様に、感情変化解析部15は、脈拍数・血圧・体温についても沈静状態を示す値から所定の閾値以上上昇している場合は興奮状態と推定する。また、上昇値が所定の閾値より小さい場合、および、脈拍数・血圧・体温の値が沈静状態を示す値よりも小さい場合は沈静状態と推定する。   Regarding the heart rate acquired by the detection unit 62 of the comment input terminal 6 using a biometric sensor, the emotion change analysis unit 15 of the behavior promoting device 1 increases from the average heart rate indicating a calm state by a predetermined threshold value X or more. If it is detected, it is estimated to be excited. In addition, the emotional change analysis unit 15 estimates a calm state when the increase in heart rate is smaller than the threshold value X and when the value of the heart rate is smaller than the average heart rate. Similarly, the emotional change analysis unit 15 estimates that the pulse rate, blood pressure, and body temperature are in an excited state when they are increased by a predetermined threshold or more from values indicating a calm state. Further, when the increase value is smaller than a predetermined threshold and when the values of the pulse rate, blood pressure, and body temperature are smaller than the values indicating the calm state, the calm state is estimated.

また、検出部62は、入力ユーザのコメント入力時に音声反応あればマイクを用いてその音声データを取得する。あるいは、検出部62は、ユーザがコメントを音声入力した場合、マイクを用いてその音声データを取得する。感情変化解析部15は、この音声データに関して、ユーザ情報記憶部14に記憶されている沈静状態の音声データと比較して、声の大きさやスピードや高さが、沈静状態を示す値から所定の閾値以上に上昇している場合は興奮状態と推定する。すなわち、声の大きさが所定の閾値以上に大きい場合、発話のスピードが所定の閾値以上に早い場合、声の高さが所定の閾値以上に高い場合は興奮状態と推定する。また、上昇値が所定の閾値より小さい場合、および、音声データの値が沈静状態を示す値よりも小さい場合は沈静状態と推定する。   In addition, the detection unit 62 acquires the voice data using a microphone if there is a voice reaction when the comment of the input user is input. Alternatively, when the user inputs a comment by voice, the detection unit 62 acquires the voice data using a microphone. The emotion change analysis unit 15 compares the voice data with the voice level, speed, and height of the voice data stored in the user information storage unit 14 according to a predetermined value from the value indicating the voice calm state. If it is higher than the threshold value, it is estimated as an excited state. That is, when the loudness of the voice is greater than or equal to a predetermined threshold, the utterance speed is faster than the predetermined threshold, or when the voice is higher than the predetermined threshold, the state of excitement is estimated. Further, when the increase value is smaller than the predetermined threshold value and when the value of the voice data is smaller than the value indicating the calm state, the calm state is estimated.

さらに、検出部62は、カメラを用いて入力ユーザのコメント入力時の画像データを取得する。感情変化解析部15は、検出部62がカメラを用いて取得した入力ユーザの画像データに関して、入力ユーザの視線動作を解析することで興奮状態を推定する。たとえば、コメント時に自分のコメントに対して、視線が固定されていれば興奮状態と推定し、視線が揺れていれば沈静状態と推定する。あるいは、ユーザ情報記憶部14に記憶されている沈静状態の画像データと比較して、興奮状態を推定してもよい。   Furthermore, the detection unit 62 acquires image data when the input user's comment is input using the camera. The emotion change analysis unit 15 estimates the excited state by analyzing the line-of-sight movement of the input user regarding the image data of the input user acquired by the detection unit 62 using the camera. For example, if the line of sight is fixed with respect to one's own comment at the time of comment, it is estimated as an excited state, and if the line of sight is shaken, it is estimated as a calm state. Alternatively, the excited state may be estimated by comparing with image data in a calm state stored in the user information storage unit 14.

図4は、コメント入力前後の生体情報の時間的変化の解析を説明する図である。最終的な感情値の決定は、コメント入力前後の生体情報の時間的変化の解析に従う。感情変化解析部15は、図3の基準に従って興奮状態と推定された項目について、コメント入力前後の生体情報の時間的変化を解析する。たとえば、図4(a)および(b)ともにコメント入力時の入力ユーザの心拍数は普段の沈静状態から閾値X以上の上昇を示しているので興奮状態と推定されるが、感情変化解析部15は、コメント入力を行うサイトへのログイン時の状態を参照することで、コメント入力という行動自体に対して興奮を示しているのか否かを判断する。図4(a)ではログイン時には沈静状態に近かったが、コメント入力の直前に心拍数の急上昇を示していることから、入力ユーザはコメント入力の内容に興奮を示している可能性が高い。一方、図4(b)でも、ログイン時と比較すると心拍数はむしろ低下しているので、入力ユーザはコメント入力の内容に興奮を示している可能性は低い。   FIG. 4 is a diagram for explaining analysis of temporal changes in biological information before and after comment input. The final determination of emotion values follows analysis of temporal changes in biometric information before and after comment input. The emotion change analysis unit 15 analyzes temporal changes in the biometric information before and after inputting a comment for an item that is estimated to be in an excited state according to the reference in FIG. For example, in both FIGS. 4A and 4B, the heart rate of the input user at the time of inputting a comment is estimated to be an excited state because it shows an increase of the threshold value X or more from the normal calm state, but the emotion change analysis unit 15 Determines whether or not the comment input action itself is excited by referring to the state at the time of login to the site where the comment is input. In FIG. 4 (a), it was close to a calm state at the time of login, but since the heart rate suddenly increased immediately before the comment input, the input user is likely to be excited about the content of the comment input. On the other hand, in FIG. 4B as well, since the heart rate is rather lower than when logging in, it is unlikely that the input user is excited about the content of the comment input.

このとき、「心拍数」の項目のように、上昇した値で興奮状態か沈静状態かを判断する項目については、感情値の計算は、たとえば以下のように行う。図3の基準に従って興奮状態と推定された項目について、コメント入力時の生体情報の沈静状態からの上昇値をα、ログイン時の生体情報の沈静状態からの上昇値をβとすると、α−β>Xの場合は+10ポイント、α−β≦Xの場合は+0ポイントとする。図3の基準に従って沈静状態と推定された場合も+0ポイントとする。あるいは、閾値Yを設定し、α/β>Yの場合は+10ポイント、α/β≦Yの場合は+0ポイントとする。   At this time, for an item for determining whether the value is an excited state or a calm state, such as the item “heart rate”, the emotion value is calculated as follows, for example. For an item estimated to be in an excited state according to the criteria of FIG. 3, α−β is a rise value from the calm state of the biological information at the time of comment input, and β is a rise value from the calm state of the biological information at the time of login. If> X, +10 points, and if α−β ≦ X, +0 points. Even when it is estimated that the state is calm according to the standard of FIG. Alternatively, the threshold Y is set, and if α / β> Y, +10 points, and if α / β ≦ Y, +0 points.

「視線」の項目のように、興奮状態(固定)と沈静状態(揺れる)のどちらかしかない場合は、図3の基準に従って興奮状態と推定された場合、ログイン時は沈静状態であって、コメント入力時は興奮状態あった場合は+10ポイント、ログイン時もコメント入力時も興奮状態あった場合は+0ポイントとする。図3の基準に従って沈静状態と推定された場合も+0ポイントとする。感情変化解析部15は、このようにすべての項目のポイント数を算出し、その合計を感情値として算出する。   If there is only one of the excited state (fixed) and the calm state (swaying) as in the item of “line of sight”, if the excited state is estimated according to the criteria of FIG. When a comment is entered, the excitement state is +10 points, and when the comment is entered and the comment is entered, the excitement state is +0 points. Even when it is estimated that the state is calm according to the standard of FIG. The emotion change analysis unit 15 calculates the number of points of all items in this way, and calculates the total as an emotion value.

「心拍数」の項目のように、閾値を設けて興奮状態か沈静状態かを判断する項目については、たとえば第1の閾値Kと、それよりも大きい第2の閾値Lを設けて、L>α−β>K場合は+10ポイント、α−β≧Lの場合は+20ポイントというふうに、興奮状態を示す値が大きいほど、ポイント数が高くなるようにしてもよい。あるいは、各生体情報、音声データ、画像データを正規化し、合算して感情値を算出することとしてもよい。また、感情値の計算には、上昇値に限らず上昇率を用いてもよい。   As for the item of “heart rate”, with respect to an item for determining whether it is an excited state or a calm state by providing a threshold value, for example, a first threshold value K and a second threshold value L larger than that are provided, and L> If α−β> K, +10 points, and if α−β ≧ L, +20 points, the larger the value indicating the excited state, the higher the number of points may be. Or it is good also as normalizing each biometric information, audio | voice data, and image data, and calculating an emotion value by adding together. In addition, the calculation of the emotion value is not limited to the increase value, and an increase rate may be used.

図3の基準に従って沈静状態と推定された項目についても、コメント入力時の生体情報の値の大小によってポイント数を変更してもよい。たとえば、コメント入力時の心拍数をγ、沈静状態の生体情報の値をωとすると、X+ω>γ≧ωの場合は+0ポイント、ω>γの場合は−10ポイントとする。   The number of points may also be changed depending on the value of the biological information at the time of inputting a comment for an item that is estimated to be in a calm state in accordance with the criteria of FIG. For example, if the heart rate at the time of comment input is γ, and the value of biological information in a calm state is ω, it is +0 points when X + ω> γ ≧ ω, and −10 points when ω> γ.

また、コメント入力後の時間変化も解析対象としてもよい。図4(a)ではコメント入力後も興奮状態が持続することからコメント入力との興奮状態との関連性が高いと考えられるが、図4(b)ではコメント入力後に急速に沈静状態に向かうことから、入力ユーザはコメント入力によって逆に冷静さを取り戻したとみなすことで、コメント入力と興奮状態との関連性が低いと考えられる。この場合、たとえば、コメント入力後の心拍数変化関数の傾きを指標としてαを修正する。また、コメント入力時の生体情報の値と、コメント入力時から所定の時間経過後の生体情報の値とを比較し、下降値や下降率が閾値を超えるか否かの判定を行って、感情値を補正してもよい。   Moreover, the time change after inputting a comment may be an analysis target. In FIG. 4 (a), the excitement state persists even after the comment is input, so it is considered that the relevance of the comment input and the excitement state is high. In FIG. Therefore, it is considered that the relevance between the comment input and the excitement state is low by regarding the input user as having regained calmness by inputting the comment. In this case, for example, α is corrected using the slope of the heart rate change function after inputting a comment as an index. In addition, the value of the biometric information at the time of comment input is compared with the value of biometric information after a predetermined time has elapsed from the time of comment input, and it is determined whether the drop value or the drop rate exceeds a threshold value. The value may be corrected.

感情値の算出には、生体情報、音声データや画像データだけではなく、コメントが示す評価の大きさを併用してもよい。この場合、入力ユーザが入力したコメントを文章解析した結果、コメント中から抽出した所定の文言(たとえば「とても」や「非常に」など)にあらかじめポイント数を定義しておいて、感情値に加算する。あるいは、重みを付けてより感情値が大きくなるように補正する。   For the calculation of the emotion value, not only biometric information, audio data, and image data, but also the magnitude of evaluation indicated by the comment may be used together. In this case, as a result of sentence analysis of the comment input by the input user, the number of points is defined in advance for a predetermined word extracted from the comment (for example, “Very” or “Very”) and added to the emotion value To do. Alternatively, the weight is corrected so that the emotion value becomes larger.

このように、コメント入力時の興奮状態に関して、興奮状態を推定した後に、その前後の生体情報の時間的変化に基づいて補正して感情値を算出することによって、入力ユーザの感情値の信頼性を高めることができる。   As described above, after estimating the excitement state with respect to the excitement state at the time of inputting a comment, the emotion value is calculated based on the temporal change of the biological information before and after that, thereby calculating the reliability of the emotion value of the input user. Can be increased.

図5は、長期間の感情値の時間的変化の解析を説明する図である。時間変化の解析は、ログインからコメント入力までという短期間の解析だけでなく、長期間の解析を行ってもよい。図5の例について、たとえば、ユーザA、ユーザBともにトピック3へのコメントだけに注目すると、両者ともコメント入力時の感情値が高い。コメントの文章解析を行うと、ユーザBのコメントには「とても」という強調が入っているため、感謝値は、ユーザBのコメントの方に重み付けされる。   FIG. 5 is a diagram for explaining analysis of temporal changes in emotion values over a long period of time. The analysis of the time change may be a long-term analysis as well as a short-term analysis from login to comment input. In the example of FIG. 5, for example, when both the user A and the user B pay attention only to the comment on the topic 3, both have high emotion values when inputting the comment. When the sentence analysis of the comment is performed, since the emphasis “very” is included in the comment of the user B, the thanks value is weighted toward the comment of the user B.

しかし、各ユーザでトピック1〜トピック3までのコメントの感情値の時間変化を解析すると、ユーザAはトピック3の時のみが感情値が高いのに対して、ユーザBは常に感情値が高いことから、ユーザAの方がトピック3に関するコメントをより特別なものとして感じていると推定される。そこで、感情変化解析部15は、当該コメントが投稿される前の所定の期間(例:1ヶ月)または当該コメントが投稿される前の所定の個数(例:2個)のコメントの感情値よりも当該コメントの感情値が所定の閾値以上大きい場合は、当該コメントの感情値が大きくなるように補正する。あるいは、感情変化解析部15は、当該コメントが投稿される前の所定の期間または当該コメントが投稿される前の所定の個数のコメントの感情値と当該コメントの感情値とが所定の閾値以上の差がない場合は、当該コメントの感情値が小さくなるように補正する。   However, when the time change of the emotion value of the comments from topic 1 to topic 3 is analyzed for each user, user A has a high emotion value only for topic 3, whereas user B always has a high emotion value. From this, it is estimated that the user A feels the comment regarding the topic 3 as a special one. Therefore, the emotion change analysis unit 15 uses a predetermined period before the comment is posted (for example, one month) or an emotion value of a predetermined number of comments (for example, two) before the comment is posted. If the emotion value of the comment is larger than a predetermined threshold, the emotion value of the comment is corrected so as to increase. Alternatively, the emotion change analysis unit 15 has a predetermined period before the comment is posted or the emotion value of a predetermined number of comments before the comment is posted and the emotion value of the comment are equal to or greater than a predetermined threshold. If there is no difference, correction is made so that the emotion value of the comment becomes smaller.

感情値の算出には、生体情報、音声データや画像データだけではなく、コメント入力端末6での入力ユーザの行動情報を併用してもよい。たとえば、入力ユーザのログインからコメント入力までの経過時間を示す入力時間を記憶して利用する。あるいは、ユーザ情報取得部13が取得した入力ユーザの操作ログやアクセスログ(たとえば、コメントを入力する直前に見ていたWebページなど)を利用する。たとえば、操作ログからは行動特徴(タイピングの速度や強さなど)を算出して利用する。   For calculating the emotion value, not only biological information, audio data, and image data, but also action information of the input user at the comment input terminal 6 may be used in combination. For example, the input time indicating the elapsed time from the input user login to the comment input is stored and used. Alternatively, the operation log or access log of the input user acquired by the user information acquisition unit 13 (for example, a web page viewed immediately before inputting a comment) is used. For example, behavioral characteristics (such as typing speed and strength) are calculated from the operation log and used.

この場合、感情変化解析部15は、図3〜図5で説明した感情の解析と同様に、ユーザ情報記憶部14があらかじめ平常時の沈静状態における入力ユーザのログインからコメント入力までの経過時間およびタイピングの速度や強さなどを記憶しておく。そして、感情変化解析部15は、あらかじめ平常時の沈静状態における入力ユーザのログインからコメント入力までの経過時間およびタイピングの速度や強さなどと、コメント入力時のログインからコメント入力までの経過時間およびタイピングの速度や強さなどとを比較して興奮状態であるか沈静状態であるかを判定する。そして、時間変化の解析を行ってポイント数を算出し、感情値に加算する。あるいは、コメント入力までの経過時間、タイピングの速度や強さなどが所定の閾値を超えるコメントに重みを付けてより感情値が大きくなるように補正する。   In this case, similarly to the emotion analysis described with reference to FIGS. 3 to 5, the emotion change analysis unit 15 is configured so that the user information storage unit 14 previously stores the elapsed time from the input user login to the comment input in the normal calm state. Remember typing speed and strength. Then, the emotion change analysis unit 15 preliminarily displays the elapsed time from the input user login to the comment input and the typing speed and strength in the normal calm state, the elapsed time from the login to the comment input at the time of the comment input, and The speed and strength of typing are compared to determine whether the state is excited or calm. Then, the time change is analyzed to calculate the number of points and added to the emotion value. Alternatively, correction is made so that the emotion value becomes larger by weighting a comment in which the elapsed time until the input of the comment, the typing speed and strength, etc. exceed a predetermined threshold.

また、感情変化解析部15は、入力ユーザがコメントを入力する直前に見ていたWebページが当該コメントのトピックに関係するWebページであるか否かを判定し、トピックに関係するWebページであった場合は、所定のポイント数を感情値に加算する。あるいは、トピックに関係ないWebページであった場合は、所定のポイント数を感情値から減算する。トピックに関係するWebページであるか否かの判定は、トピックのキーワードが当該Webページに含まれているか否かなどで判定する。   In addition, the emotion change analysis unit 15 determines whether or not the web page that the input user was viewing immediately before inputting the comment is a web page related to the topic of the comment, and the web page related to the topic is If it does, a predetermined number of points is added to the emotion value. Alternatively, if the web page is not related to a topic, a predetermined number of points is subtracted from the emotion value. Whether or not a web page is related to a topic is determined based on whether or not the keyword of the topic is included in the web page.

図6は、実施の形態1に係る行動促進の動作の一例を示すフローチャートである。まず、コメント取得部11は、コメント入力端末6から入力ユーザのコメントを取得する(ステップS11)。コメント取得部11は、取得した入力ユーザのコメントを取得した時刻と対応付けてコメント記憶部12に記憶させる。ユーザ情報取得部13は、コメント入力端末6から入力ユーザの生体情報、音声データや画像データを取得する(ステップS12)。   FIG. 6 is a flowchart illustrating an example of an action promoting operation according to the first embodiment. First, the comment acquisition unit 11 acquires an input user's comment from the comment input terminal 6 (step S11). The comment acquisition unit 11 stores the acquired comment of the input user in the comment storage unit 12 in association with the acquisition time. The user information acquisition unit 13 acquires the input user's biometric information, audio data, and image data from the comment input terminal 6 (step S12).

ユーザ情報取得部13は、取得した入力ユーザの生体情報、音声データや画像データを取得した時刻と対応付けてユーザ情報記憶部14に記憶させる。感情変化解析部15は、コメント取得部11が取得したコメントに対応する入力ユーザの生体情報、音声データや画像データに基づいて、感情値を算出する(ステップS13)。情報選択部16は、感情変化解析部15が算出した感情値が大きい順に、表示するコメントを選択し、表示順序を決定する(ステップS14)。情報選択部16は、選択して表示順序を決定したコメントをコメント記憶部12に記憶させる。   The user information acquisition unit 13 stores the acquired biometric information, voice data, and image data of the input user in the user information storage unit 14 in association with the acquired time. The emotion change analysis unit 15 calculates an emotion value based on the input user's biometric information, voice data, and image data corresponding to the comment acquired by the comment acquisition unit 11 (step S13). The information selection unit 16 selects comments to be displayed in descending order of emotion values calculated by the emotion change analysis unit 15, and determines the display order (step S14). The information selection unit 16 causes the comment storage unit 12 to store a comment that has been selected and whose display order has been determined.

表示生成部17は、コメント表示端末7からコメントの表示指示を取得したか否かを判定する(ステップS15)。コメントの表示指示を取得しなかった場合(ステップS15;NO)、処理を終了する。コメントの表示指示を取得した場合(ステップS15;YES)、表示生成部17は、情報選択部16が選択したコメントをコメント記憶部12から読み出し、情報選択部16が決定した順序で表示する表示画面を生成する(ステップS16)。そして、表示生成部17は、生成した表示画面をコメント表示端末7に送信して(ステップS17)、処理を終了する。   The display generation unit 17 determines whether or not a comment display instruction has been acquired from the comment display terminal 7 (step S15). If a comment display instruction has not been acquired (step S15; NO), the process ends. When a comment display instruction is acquired (step S15; YES), the display generation unit 17 reads the comments selected by the information selection unit 16 from the comment storage unit 12, and displays them in the order determined by the information selection unit 16. Is generated (step S16). And the display production | generation part 17 transmits the produced | generated display screen to the comment display terminal 7 (step S17), and complete | finishes a process.

以上説明したように実施の形態1の行動促進システム101によれば、入力ユーザの音声や画像を含む生体情報、音声データ、画像データ、行動情報やコメントの文章解析結果に基づいて、トピックに関するコメント入力時の入力ユーザの感情をより精密に解析して感情値を算出し、感情値の大きいコメントを選択して並べ替えることで、当該コメントを閲覧した閲覧ユーザの当該トピックに関連する行動をより促進することが期待できる。   As described above, according to the action promotion system 101 of the first embodiment, comments on topics based on the results of sentence analysis of biometric information, voice data, image data, action information, and comments of the input user's voice and images. Analyzing the emotion of the input user at the time of input, calculating the emotion value, selecting and sorting comments with large emotion values, the behavior related to the topic of the browsing user who viewed the comment It can be expected to promote.

(実施の形態2)
図7は、実施の形態2に係る行動促進システムの構成例を示す図である。実施の形態2の行動促進システム102には、行動促進システム101の情報選択部16に代えて感情可視化部18が追加されている。感情可視化部18は、各コメントの感情値に合わせた画像やアイコンを生成し、表示生成部17は、コメントをコメント記憶部12から読み出し、感情可視化部18が生成した画像やアイコンを用いてコメントを表示する表示画面を生成する。
(Embodiment 2)
FIG. 7 is a diagram illustrating a configuration example of the action promoting system according to the second embodiment. In the behavior promotion system 102 of the second embodiment, an emotion visualization unit 18 is added instead of the information selection unit 16 of the behavior promotion system 101. The emotion visualization unit 18 generates an image and an icon that match the emotion value of each comment, and the display generation unit 17 reads the comment from the comment storage unit 12 and comments using the image and icon generated by the emotion visualization unit 18. Generate a display screen that displays

図8は、実施の形態2に係る感情の可視化の第1の例を説明する図である。図8の例では、感情可視化部18がコメントごとの感情値の大きさによって、表示するフォントサイズを変更する方法を用いた場合に、表示生成部17が生成する表示画面を示している。感情可視化部18は、感情値が大きいコメントほどフォントサイズを大きくする。図8の例では、ユーザB>ユーザA>ユーザD>ユーザE>ユーザCの順に感情値が大きい。   FIG. 8 is a diagram for explaining a first example of emotion visualization according to the second embodiment. In the example of FIG. 8, the display screen generated by the display generation unit 17 when the emotion visualization unit 18 uses a method of changing the font size to be displayed according to the size of the emotion value for each comment is shown. The emotion visualization unit 18 increases the font size for a comment having a larger emotion value. In the example of FIG. 8, emotion values are larger in the order of user B> user A> user D> user E> user C.

図9は、実施の形態2に係る感情の可視化の第2の例を説明する図である。図9の例では、感情可視化部18は、コメントの感情値が正の方向に大きくなるに従ってフォントカラーをより赤く、負の方向に大きくなるに従ってフォントカラーをより青くする。入力ユーザの興奮や熱意を色で相対的に表現することで、コメントを閲覧ユーザに入力ユーザの興奮や熱意を直感的に理解させることが期待できる。   FIG. 9 is a diagram for explaining a second example of emotion visualization according to the second embodiment. In the example of FIG. 9, the emotion visualization unit 18 changes the font color to red as the emotion value of the comment increases in the positive direction, and to blue as the comment value increases in the negative direction. By expressing the excitement and enthusiasm of the input user relative to each other by color, it can be expected that the viewing user can intuitively understand the excitement and enthusiasm of the input user.

図10は、実施の形態2に係る感情の可視化の第3の例を説明する図である。コメント入力が自由記述ではなく、多肢選択である場合は、感情可視化部18は、感情値だけを反映させる画像またはアイコンを生成し、表示生成部17は、この画像またはアイコンを用いて表示画面を生成してもよい。   FIG. 10 is a diagram for explaining a third example of emotion visualization according to the second embodiment. When the comment input is not a free description but multiple choice, the emotion visualization unit 18 generates an image or icon that reflects only the emotion value, and the display generation unit 17 uses the image or icon to display the display screen. May be generated.

たとえば、図10のように、「○○についてどう思いますか?」というトピックに対して、「すばらしい」と「つまならい」の二者択一であった場合、感情変化解析部15は、投票時の入力ユーザの感情値を算出し、感情可視化部18は、選択肢ごとに全入力ユーザの感情値の平均値を算出して、当該平均値を表現する画像またはアイコンを生成する。図10の例では、感情値の大きさを炎の画像で表している。表示生成部17は、当該画像を用いて投票結果の表示画面を生成し、入力ユーザの感情値を反映する。図10では「すばらしい」の投票数が、「つまならい」の投票数より下回っているものの、投票時の感情値、すなわち興奮や熱意は、「すばらしい」の方が大きいことを示している。   For example, as shown in FIG. 10, if the topic “What do you think about XX?” Is an alternative of “great” and “chunky”, the emotion change analysis unit 15 votes The emotion visualizing unit 18 calculates the average value of the emotion values of all the input users for each option, and generates an image or icon that expresses the average value. In the example of FIG. 10, the magnitude of the emotion value is represented by a flame image. The display generation unit 17 generates a voting result display screen using the image and reflects the emotion value of the input user. In FIG. 10, although the number of votes of “great” is lower than the number of votes of “frustration”, the emotion value at the time of voting, that is, excitement and enthusiasm, shows that “great” is larger.

特に、社会心理学において、自分の意見がマイノリティだと認識している人は、多数派からの非難や孤立を恐れて、多数派に同調する傾向があることが知られている。このような、マイノリティの発言不安は主に自分と異なる意見の数によって影響を受けるが、図10のように単に意見数を表示するだけでなく、意見数以外の感情要因を表現することによって、たとえ自分がマイノリティであっても意見が発信しやすくなるような状況を作り出すことができると考えられる。   In particular, in social psychology, it is known that those who recognize their opinions as minorities tend to be in sync with the majority, fearing criticism and isolation from the majority. Such minority's anxiety is mainly influenced by the number of opinions different from oneself, but not only by displaying the number of opinions as shown in FIG. 10, but by expressing emotional factors other than the number of opinions, Even if you are a minority, you can create a situation that makes it easy to send out opinions.

さらに図10のような多数決的な投票場面において、投票数だけではなく感情値も用
いた集計法を行ってもよい。すなわち、図10では投票数だけを見ると、賛成5票、反
対30票として集計されるが、各票に感情値を重み付けすることで集計してもよい。たとえば、賛成の感情値の合計が“50”、反対の感情値の合計が“5”として算出されていたとすると、投票数に感情値をかけることによって、賛成を5×50=250票、反対を30×5=150票として集計補正する。
Further, in the majority voting scene as shown in FIG. 10, a counting method using not only the number of votes but also emotion values may be performed. That is, in FIG. 10, when only the number of votes is viewed, it is counted as 5 votes in favor and 30 votes against, but it may be counted by weighting emotion values to each vote. For example, if the total of the emotional value of approval is “50” and the total of the opposite emotional value is calculated as “5”, 5 × 50 = 250 votes for the approval by applying the emotional value to the number of votes. Is corrected as 30 × 5 = 150 votes.

このような集計補正は、実施の形態1で、各コメントに当該コメントに対する閲覧ユーザからの投票数や拍手数が付与されていた場合に、情報選択部16が選択および表示順序を決定する指標として用いてもよい。この場合、情報選択部16は、感情変化解析部15が算出した感情値に投票数や拍手数をかけた値の大きいコメントを選択し、大きい順に並び替える。   Such total correction is an index for the information selection unit 16 to determine the selection and display order when the number of votes and applause from the viewing user for each comment is given to each comment in the first embodiment. It may be used. In this case, the information selection unit 16 selects comments having a large value obtained by multiplying the emotion value calculated by the emotion change analysis unit 15 by the number of votes or the number of applauses, and rearranges them in descending order.

「興奮・沈静」以外にも、画像データの入力ユーザの表情を解析することで、不快な表情や楽しい表情を検出し、「快・不快」の状態を推定してもよい。また、音声データからも「快・不快」の状態を推定してもよい。この場合、「快」状態および「不快」状態のそれぞれの値を算出し、その値の大きさを加味して感情値を算出することとする。このとき、「快」状態および「不快」状態のそれぞれの値の算出にも、前述のような時間変化の解析を用いる。   In addition to “excitement / sedation”, an uncomfortable expression or a pleasant expression may be detected by analyzing the expression of the image data input user, and the “comfortable / uncomfortable” state may be estimated. Further, the state of “pleasant / uncomfortable” may be estimated from the voice data. In this case, each value of the “pleasant” state and the “unpleasant” state is calculated, and the emotion value is calculated in consideration of the magnitude of the value. At this time, the time change analysis as described above is also used to calculate the values of the “comfort” state and the “discomfort” state.

感情の可視化は、図8〜図10の例の他に、タイプフェイス(フォント)、文字飾り、枠、背景、コメントに伴って表示するアイコン、強調文字(感嘆符や顔文字など)などを変化させたり、付加したりしてもよい。   In addition to the examples shown in FIGS. 8 to 10, emotion visualization changes typefaces (fonts), character decorations, frames, backgrounds, icons displayed with comments, emphasized characters (exclamation marks, emoticons, etc.), etc. Or may be added.

図11は、感情値の定義づけの例を説明する図である。「興奮・沈静」状態に加えて「快・不快」の状態を推定する場合、各指標の所定の範囲を図11のように共感・興味・嫌悪・無関心の4つのカテゴリーを定義し、感情可視化部18は、それぞれ生成する画像またはアイコンを変えることとしてもよい。たとえば、4つのカテゴリーのフォントカラーをそれぞれ違う色にしたり、無関心が検出されたコメントに関しては表示を抑制したりする。また、図10のような投票場面において、無関心が検出されたコメントに関しては炎ではなく氷の絵で表現してもよい。   FIG. 11 is a diagram illustrating an example of emotion value definition. When estimating the “pleasant / uncomfortable” state in addition to the “excited / sedated” state, the emotional visualization is defined by defining four categories of empathy, interest, disgust, and indifference as shown in FIG. The unit 18 may change the image or icon to be generated. For example, the font colors of the four categories are set to different colors, or the display of the comments in which indifference is detected is suppressed. In addition, in a voting scene as shown in FIG. 10, a comment in which indifference is detected may be expressed by an ice picture instead of a flame.

図12は、実施の形態2に係る行動促進の動作の一例を示すフローチャートである。まず、コメント取得部11は、コメント入力端末6から入力ユーザのコメントを取得する(ステップS21)。コメント取得部11は、取得した入力ユーザのコメントを取得した時刻と対応付けてコメント記憶部12に記憶させる。ユーザ情報取得部13は、コメント入力端末6から入力ユーザの生体情報、音声データや画像データを取得する(ステップS22)。   FIG. 12 is a flowchart illustrating an example of an action promoting operation according to the second embodiment. First, the comment acquisition unit 11 acquires an input user's comment from the comment input terminal 6 (step S21). The comment acquisition unit 11 stores the acquired comment of the input user in the comment storage unit 12 in association with the acquisition time. The user information acquisition unit 13 acquires the input user's biometric information, audio data, and image data from the comment input terminal 6 (step S22).

ユーザ情報取得部13は、取得した入力ユーザの生体情報、音声データや画像データを取得した時刻と対応付けてユーザ情報記憶部14に記憶させる。感情変化解析部15は、コメント取得部11が取得したコメントに対応する入力ユーザの生体情報、音声データや画像データに基づいて、感情値を算出する(ステップS23)。感情可視化部18は、感情変化解析部15が算出した感情値に基づいて、画像またはアイコンを生成する(ステップS24)。   The user information acquisition unit 13 stores the acquired biometric information, voice data, and image data of the input user in the user information storage unit 14 in association with the acquired time. The emotion change analysis unit 15 calculates an emotion value based on the input user's biometric information, voice data, and image data corresponding to the comment acquired by the comment acquisition unit 11 (step S23). The emotion visualization unit 18 generates an image or an icon based on the emotion value calculated by the emotion change analysis unit 15 (step S24).

表示生成部17は、コメント表示端末7からコメントの表示指示を取得したか否かを判定する(ステップS25)。コメントの表示指示を取得しなかった場合(ステップS25;NO)、処理を終了する。コメントの表示指示を取得した場合(ステップS25;YES)、表示生成部17は、コメントをコメント記憶部12から読み出し、感情可視化部18が生成した画像またはアイコンを用いて、コメントを表示する表示画面を生成する(ステップS26)。そして、表示生成部17は、生成した表示画面をコメント表示端末7に送信して(ステップS27)、処理を終了する。   The display generation unit 17 determines whether or not a comment display instruction has been acquired from the comment display terminal 7 (step S25). If a comment display instruction has not been acquired (step S25; NO), the process ends. When the display instruction of the comment is acquired (step S25; YES), the display generation unit 17 reads the comment from the comment storage unit 12, and displays the comment using the image or icon generated by the emotion visualization unit 18. Is generated (step S26). And the display production | generation part 17 transmits the produced | generated display screen to the comment display terminal 7 (step S27), and complete | finishes a process.

以上説明したように実施の形態2の行動促進システム102によれば、コメントごとに算出した感情値に従ってコメントの表示を変化させることで、入力ユーザの感情を当該コメントを閲覧ユーザの直感に訴えることができる。   As described above, according to the action promotion system 102 of the second embodiment, by changing the display of the comment according to the emotion value calculated for each comment, the comment of the input user is appealed to the intuition of the viewing user. Can do.

(実施の形態3)
図13は、実施の形態3に係る行動促進システムの構成例を示す図である。実施の形態3の行動促進システム103は、行動促進システム101の情報選択部16と、行動促進システム102の感情可視化部18とを両方備える。
(Embodiment 3)
FIG. 13 is a diagram illustrating a configuration example of an action promoting system according to the third embodiment. The behavior promotion system 103 according to the third embodiment includes both the information selection unit 16 of the behavior promotion system 101 and the emotion visualization unit 18 of the behavior promotion system 102.

図14は、実施の形態3に係るコメントの選択および並び替えならびに感情の可視化の例を説明する図である。図8の例と同様に、図14の例では、トピックを映画として、その映画を見た入力ユーザが個々に感想を書き込むような映画批評サイトを想定する。また、当該映画批評サイトの1つの映画についてのコメントは5個までしか表示されない制限があることとする。情報選択部16は、感情変化解析部15が算出した感情値が大きいコメントから順に5個のコメントを選択し、大きい順に表示順序を決定する。感情可視化部18がコメントごとの感情値の大きさによって表示するフォントサイズを変更する方法を採用し、表示生成部17は、感情値が大きいコメントほどフォントサイズを大きくした表示画面を生成する。図14の例では、ユーザB>ユーザA>ユーザD>ユーザE>ユーザCの順に感情値が大きい。   FIG. 14 is a diagram for explaining an example of comment selection and rearrangement and emotion visualization according to the third embodiment. Similar to the example of FIG. 8, the example of FIG. 14 assumes a movie critique site where a topic is a movie and an input user who views the movie individually writes comments. Further, it is assumed that there is a limit that only 5 comments can be displayed for one movie on the movie criticism site. The information selection unit 16 selects five comments in descending order of the emotion value calculated by the emotion change analysis unit 15 and determines the display order in descending order. The emotion visualization unit 18 employs a method of changing the font size to be displayed according to the size of the emotion value for each comment, and the display generation unit 17 generates a display screen with a larger font size for a comment with a larger emotion value. In the example of FIG. 14, the emotion values increase in the order of user B> user A> user D> user E> user C.

図15は、実施の形態3に係る行動促進の動作の一例を示すフローチャートである。まず、コメント取得部11は、コメント入力端末6から入力ユーザのコメントを取得する(ステップS31)。コメント取得部11は、取得した入力ユーザのコメントを取得した時刻と対応付けてコメント記憶部12に記憶させる。ユーザ情報取得部13は、コメント入力端末6から入力ユーザの生体情報、音声データや画像データを取得する(ステップS32)。   FIG. 15 is a flowchart illustrating an example of an action promoting operation according to the third embodiment. First, the comment acquisition unit 11 acquires an input user's comment from the comment input terminal 6 (step S31). The comment acquisition unit 11 stores the acquired comment of the input user in the comment storage unit 12 in association with the acquisition time. The user information acquisition unit 13 acquires the input user's biometric information, audio data, and image data from the comment input terminal 6 (step S32).

ユーザ情報取得部13は、取得した入力ユーザの生体情報、音声データや画像データを取得した時刻と対応付けてユーザ情報記憶部14に記憶させる。感情変化解析部15は、コメント取得部11が取得したコメントに対応する入力ユーザの生体情報、音声データや画像データに基づいて、感情値を算出する(ステップS33)。情報選択部16は、感情変化解析部15が算出した感情値に基づいて、表示するコメントを選択し、表示順序を決定する(ステップS34)。情報選択部16は、選択して表示順序を決定したコメントをコメント記憶部12に記憶させる。感情可視化部18は、感情変化解析部15が算出した感情値に基づいて、画像またはアイコンを生成する(ステップS35)。   The user information acquisition unit 13 stores the acquired biometric information, voice data, and image data of the input user in the user information storage unit 14 in association with the acquired time. The emotion change analysis unit 15 calculates an emotion value based on the input user's biometric information, voice data, and image data corresponding to the comment acquired by the comment acquisition unit 11 (step S33). The information selection unit 16 selects a comment to be displayed based on the emotion value calculated by the emotion change analysis unit 15, and determines the display order (step S34). The information selection unit 16 causes the comment storage unit 12 to store a comment that has been selected and whose display order has been determined. The emotion visualization unit 18 generates an image or an icon based on the emotion value calculated by the emotion change analysis unit 15 (step S35).

表示生成部17は、コメント表示端末7からコメントの表示指示を取得したか否かを判定する(ステップS36)。コメントの表示指示を取得しなかった場合(ステップS36;NO)、処理を終了する。コメントの表示指示を取得した場合(ステップS36;YES)、表示生成部17は、情報選択部16が選択したコメントをコメント記憶部12から読み出し、感情可視化部18が生成した画像またはアイコンを用いて、情報選択部16が決定した順序でコメントを表示する表示画面を生成する(ステップS37)。そして、表示生成部17は、生成した表示画面をコメント表示端末7に送信して(ステップS38)、処理を終了する。   The display generation unit 17 determines whether or not a comment display instruction has been acquired from the comment display terminal 7 (step S36). If a comment display instruction has not been acquired (step S36; NO), the process ends. When an instruction to display a comment is acquired (step S36; YES), the display generation unit 17 reads the comment selected by the information selection unit 16 from the comment storage unit 12, and uses the image or icon generated by the emotion visualization unit 18. Then, a display screen for displaying comments in the order determined by the information selection unit 16 is generated (step S37). And the display production | generation part 17 transmits the produced | generated display screen to the comment display terminal 7 (step S38), and complete | finishes a process.

以上説明したように実施の形態3の行動促進システム103によれば、入力ユーザの音声データ、画像、生体情報、行動情報およびコメントの文章解析結果に基づいて、トピックに関するコメントを入力したユーザの感情をより精密に解析して、解析結果に基づいてコメントを選択して並べ替え、かつ、コメントごとに算出した感情値に従ってコメントの表示を変化させることで、入力ユーザの感情を当該コメントを閲覧ユーザの直感に訴え、当該トピックに関連する行動をより促進することが期待できる。   As described above, according to the action promoting system 103 of the third embodiment, the emotion of the user who has input a comment regarding the topic based on the voice analysis of the input user, the image, the biological information, the action information, and the comment analysis result of the comment. By analyzing comments more precisely, selecting and rearranging comments based on the analysis results, and changing the display of the comment according to the emotion value calculated for each comment, the user viewing the comment with the emotion of the input user Can be expected to promote actions related to the topic.

図16は、本発明の実施の形態に係る行動促進装置のハードウェア構成の一例を示す図である。行動促進装置1は、図16に示すように、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および送受信部26を備える。主記憶部22、外部記憶部23、操作部24、表示部25および送受信部26はいずれも内部バス20を介して制御部21に接続されている。   FIG. 16 is a diagram illustrating an example of a hardware configuration of the behavior promoting device according to the embodiment of the present invention. As shown in FIG. 16, the behavior promoting device 1 includes a control unit 21, a main storage unit 22, an external storage unit 23, an operation unit 24, a display unit 25, and a transmission / reception unit 26. The main storage unit 22, the external storage unit 23, the operation unit 24, the display unit 25, and the transmission / reception unit 26 are all connected to the control unit 21 via the internal bus 20.

制御部21はCPU(Central Processing Unit)等から構成され、外部記憶部23に記憶されている制御プログラム29に従って、行動促進装置1のコメント取得部11、ユーザ情報取得部13、感情変化解析部15、情報選択部16、表示生成部17および感情可視化部18の各処理を実行する。   The control unit 21 includes a CPU (Central Processing Unit) and the like, and in accordance with a control program 29 stored in the external storage unit 23, the comment acquisition unit 11, the user information acquisition unit 13, and the emotion change analysis unit 15 of the behavior promoting device 1 Each process of the information selection unit 16, the display generation unit 17, and the emotion visualization unit 18 is executed.

主記憶部22はRAM(Random-Access Memory)等から構成され、外部記憶部23に記憶されている制御プログラム29をロードし、制御部21の作業領域として用いられる。   The main storage unit 22 is composed of a RAM (Random-Access Memory) or the like, loads a control program 29 stored in the external storage unit 23, and is used as a work area of the control unit 21.

外部記憶部23は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、行動促進装置1の処理を制御部21に行わせるためのプログラムをあらかじめ記憶し、また、制御部21の指示に従って、このプログラムが記憶するデータを制御部21に供給し、制御部21から供給されたデータを記憶する。コメント記憶部12およびユーザ情報記憶部14は、外部記憶部23に構成される。   The external storage unit 23 includes a nonvolatile memory such as a flash memory, a hard disk, a DVD-RAM (Digital Versatile Disc Random Access Memory), a DVD-RW (Digital Versatile Disc ReWritable), and controls the processing of the action promoting device 1. A program to be executed by the unit 21 is stored in advance, and data stored by the program is supplied to the control unit 21 in accordance with an instruction from the control unit 21, and the data supplied from the control unit 21 is stored. The comment storage unit 12 and the user information storage unit 14 are configured in the external storage unit 23.

操作部24はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス20に接続するインタフェース装置から構成されている。閾値を設定する場合などは、操作部24を介して、指示が制御部21に供給される。   The operation unit 24 includes a pointing device such as a keyboard and mouse, and an interface device that connects the keyboard and pointing device to the internal bus 20. For example, when setting a threshold value, an instruction is supplied to the control unit 21 via the operation unit 24.

表示部25は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、閾値を設定する場合などは、操作画面を表示する。   The display unit 25 includes a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays an operation screen when setting a threshold value.

送受信部26は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはLAN(Local Area Network)インタフェースから構成されている。送受信部26は、ネットワークを介して、コメント入力端末6およびコメント表示端末7に接続する。   The transmission / reception unit 26 includes a network termination device or a wireless communication device connected to the network, and a serial interface or a LAN (Local Area Network) interface connected thereto. The transmission / reception unit 26 is connected to the comment input terminal 6 and the comment display terminal 7 via a network.

図1、図7または図13に示す行動促進装置1のコメント取得部11、コメント記憶部12、ユーザ情報取得部13、ユーザ情報記憶部14、感情変化解析部15、情報選択部16、表示生成部17および感情可視化部18の処理は、制御プログラム29が、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および送受信部26を資源として用いて処理することによって実行する。   The comment acquisition unit 11, the comment storage unit 12, the user information acquisition unit 13, the user information storage unit 14, the emotion change analysis unit 15, the information selection unit 16, and the display generation of the action promoting device 1 illustrated in FIG. The processing of the unit 17 and the emotion visualization unit 18 is performed by the control program 29 using the control unit 21, the main storage unit 22, the external storage unit 23, the operation unit 24, the display unit 25, and the transmission / reception unit 26 as resources. Execute.

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。   In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.

制御部21、主記憶部22、外部記憶部23、内部バス20などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する行動促進装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで行動促進装置1を構成してもよい。   A central part that performs control processing including the control unit 21, the main storage unit 22, the external storage unit 23, the internal bus 20, and the like can be realized by using a normal computer system without using a dedicated system. . For example, a computer program for executing the above operation is stored and distributed in a computer-readable recording medium (flexible disk, CD-ROM, DVD-ROM, etc.), and the computer program is installed in the computer. Thus, the behavior promoting device 1 that executes the above-described processing may be configured. Further, the action promoting device 1 may be configured by storing the computer program in a storage device included in a server device on a communication network such as the Internet and downloading the computer program by a normal computer system.

また、行動促進装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。   Further, when the functions of the action promoting device 1 are realized by sharing of an OS (operating system) and an application program, or by cooperation between the OS and the application program, only the application program portion is stored in a recording medium or a storage device. May be.

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。   It is also possible to superimpose a computer program on a carrier wave and distribute it via a communication network. For example, the computer program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the computer program may be distributed via the network. The computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。   A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.

(付記1)
入力ユーザが入力したコメントを取得する第1取得手段と、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得手段と、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析手段と、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成手段と、
前記表示画面を閲覧ユーザの端末に送信する送信手段と、
を備えることを特徴とする行動促進装置。
(Appendix 1)
First acquisition means for acquiring a comment input by an input user;
Second acquisition means for acquiring at least two of the input user's biological information, audio data, image data, and action information indicating the action of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis means for calculating the emotional value by judging the psychological state of time,
Generating means for generating a display screen for changing the display feature amount for each comment based on the emotion value;
A transmission means for transmitting the display screen to the terminal of the browsing user;
An action promoting device comprising:

(付記2)
前記解析手段は、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間前までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記1に記載の行動促進装置。
(Appendix 2)
The analysis means determines a temporal change from a comment input time of the input user to the biometric information, the audio data, the image data, and / or the behavior information from a predetermined time on a predetermined condition to determine the emotion The action promoting device according to appendix 1, wherein a value is calculated.

(付記3)
前記解析手段は、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間後までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記1または2に記載の行動促進装置。
(Appendix 3)
The analysis means determines a temporal change from a comment input time of the biometric information, the voice data, the image data, and / or the action information of the input user from a predetermined time on a predetermined condition, and the emotion The behavior promoting device according to appendix 1 or 2, wherein a value is calculated.

(付記4)
前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報を記憶する記憶手段をさらに備え、
前記解析手段は、前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報と、コメント入力時の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報とをそれぞれ比較して、前記入力ユーザがコメント入力時に平常であったか否かを判定し、平常でなかった前記コメントについてのみ、前記時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記2または3に記載の行動促進装置。
(Appendix 4)
The apparatus further comprises storage means for storing the biological information, the audio data, the image data, and / or the behavior information of the input user at normal times,
The analysis means includes the biological information, the voice data, the image data and / or the behavior information of the input user in the normal time, the biological information of the input user at the time of inputting a comment, the voice data, and the image data. And / or comparing the behavior information with each other to determine whether or not the input user is normal at the time of comment input, and for the comment that is not normal, the temporal change is determined under a predetermined condition. The behavior promotion device according to appendix 2 or 3, wherein the emotion value is calculated.

(付記5)
前記解析手段は、前記入力ユーザが前記コメントを入力する前の所定の期間または所定の個数の前記入力ユーザの他のコメントの前記感情値よりも、前記コメントの前記感情値が所定の閾値以上大きい場合は、前記コメントの前記感情値を所定の値大きくする補正をすることを特徴とする付記1ないし4のいずれか1項に記載の行動促進装置。
(Appendix 5)
The analysis means is configured such that the emotion value of the comment is greater than a predetermined threshold value by a predetermined period before the input user inputs the comment or the emotion value of other comments of the input user by a predetermined number. In the case, the action promoting device according to any one of appendices 1 to 4, wherein correction is performed to increase the emotion value of the comment by a predetermined value.

(付記6)
前記生成手段は、前記感情値が大きい順に前記コメントを選択し、前記感情値が大きい順に表示する前記表示画面を生成することを特徴とする付記1ないし5のいずれか1項に記載の行動促進装置。
(Appendix 6)
The action promotion according to any one of appendices 1 to 5, wherein the generation unit generates the display screen that selects the comments in descending order of the emotion value and displays the comments in descending order of the emotion value. apparatus.

(付記7)
前記生成手段は、前記感情値の大きさに従って、前記コメントの表示の大きさ、色、タイプフェイス、文字飾り、枠、背景、伴って表示するアイコンおよび強調文字のうち少なくとも1つを変えた前記表示画面を生成することを特徴とする付記1ないし6のいずれか1項に記載の行動促進装置。
(Appendix 7)
The generation unit changes the display size, color, typeface, character decoration, frame, background, icon to be displayed along with the highlighted character, and the highlighted character according to the size of the emotion value. The action promoting device according to any one of appendices 1 to 6, wherein a display screen is generated.

(付記8)
前記コメントの文章から該コメントの入力ユーザの感情を表す語句を抽出する抽出手段をさらに備え、
前記解析手段は、前記コメントに対応する前記入力ユーザの前記生体情報、前記音声データ、前記画像データ、前記行動情報および前記入力ユーザの感情を表す語句のうち、少なくとも2つの組み合わせに基づいて前記感情値を算出することを特徴とする付記1ないし7のいずれか1項に記載の行動促進装置。
(Appendix 8)
An extraction means for extracting a phrase representing the emotion of the input user of the comment from the sentence of the comment;
The analysis means is configured to determine the emotion based on a combination of at least two of the biological information of the input user corresponding to the comment, the voice data, the image data, the behavior information, and a phrase representing the emotion of the input user. 8. The behavior promoting device according to any one of appendices 1 to 7, wherein a value is calculated.

(付記9)
通信ネットワークを経由して、入力ユーザがコメントを入力し、閲覧ユーザが前記コメントを閲覧するシステムにおいて実行される行動促進方法であって、
前記入力ユーザが入力した前記コメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を前記閲覧ユーザの端末に送信する送信ステップと、
を備えることを特徴とする行動促進方法。
(Appendix 9)
An action promoting method executed in a system in which an input user inputs a comment via a communication network and a browsing user browses the comment,
A first acquisition step of acquiring the comment input by the input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to the terminal of the browsing user;
An action promoting method characterized by comprising:

(付記10)
前記解析ステップでは、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間前までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記9に記載の行動促進方法。
(Appendix 10)
In the analyzing step, a temporal change from a comment input time of the input user to the biometric information, the audio data, the image data, and / or the action information until a predetermined time is determined based on a predetermined condition, and the emotion The behavior promotion method according to appendix 9, wherein a value is calculated.

(付記11)
前記解析ステップでは、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間後までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記9または10に記載の行動促進方法。
(Appendix 11)
In the analyzing step, a time change from a comment input time of the biometric information, the voice data, the image data, and / or the behavior information of the input user to a predetermined time is determined based on a predetermined condition and the emotion The action promoting method according to appendix 9 or 10, wherein a value is calculated.

(付記12)
前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報を記憶する記憶ステップをさらに備え、
前記解析ステップでは、前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報と、コメント入力時の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報とをそれぞれ比較して、前記入力ユーザがコメント入力時に平常であったか否かを判定し、平常でなかった前記コメントについてのみ、前記時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする付記10または11に記載の行動促進方法。
(Appendix 12)
A storage step of storing the biological information, the voice data, the image data, and / or the behavior information of the input user in a normal time;
In the analysis step, the input user's normal biological information, the voice data, the image data and / or the behavior information, and the input user's biological information, voice data, and image data when inputting a comment And / or comparing the behavior information with each other to determine whether or not the input user is normal at the time of comment input, and for the comment that is not normal, the temporal change is determined under a predetermined condition. The behavior promotion method according to appendix 10 or 11, wherein the emotion value is calculated.

(付記13)
前記解析ステップでは、前記入力ユーザが前記コメントを入力する前の所定の期間または所定の個数の前記入力ユーザの他のコメントの前記感情値よりも、前記コメントの前記感情値が所定の閾値以上大きい場合は、前記コメントの前記感情値を所定の値大きくする補正をすることを特徴とする付記9ないし12のいずれか1項に記載の行動促進方法。
(Appendix 13)
In the analysis step, the emotion value of the comment is greater than a predetermined threshold value by a predetermined period before the input user inputs the comment or the emotion value of other comments of the input user by a predetermined number. In the case, the action promotion method according to any one of appendices 9 to 12, wherein correction is performed to increase the emotion value of the comment by a predetermined value.

(付記14)
前記生成ステップでは、前記感情値が大きい順に前記コメントを選択し、前記感情値が大きい順に表示する前記表示画面を生成することを特徴とする付記9ないし13のいずれか1項に記載の行動促進方法。
(Appendix 14)
14. The action promotion according to any one of appendices 9 to 13, wherein, in the generation step, the comments are selected in descending order of the emotion value, and the display screen is displayed in order of the emotion value in descending order. Method.

(付記15)
前記生成ステップでは、前記感情値の大きさに従って、前記コメントの表示の大きさ、色、タイプフェイス、文字飾り、枠、背景、伴って表示するアイコンおよび強調文字のうち少なくとも1つを変えた前記表示画面を生成することを特徴とする付記9ないし14のいずれか1項に記載の行動促進方法。
(Appendix 15)
In the generation step, the comment display size, color, typeface, character decoration, frame, background, at least one of icons to be displayed and highlighted characters are changed according to the emotion value. 15. The action promoting method according to any one of appendices 9 to 14, wherein a display screen is generated.

(付記16)
前記コメントの文章から該コメントの入力ユーザの感情を表す語句を抽出する抽出ステップをさらに備え、
前記解析ステップでは、前記コメントに対応する前記入力ユーザの前記生体情報、前記音声データ、前記画像データ、前記行動情報および前記入力ユーザの感情を表す語句のうち、少なくとも2つの組み合わせに基づいて前記感情値を算出することを特徴とする付記9ないし15のいずれか1項に記載の行動促進方法。
(Appendix 16)
An extraction step of extracting a phrase representing the emotion of the input user of the comment from the comment text;
In the analyzing step, the emotion is based on a combination of at least two of the biological information of the input user corresponding to the comment, the voice data, the image data, the behavior information, and a phrase representing the emotion of the input user. 16. The behavior promotion method according to any one of appendices 9 to 15, wherein a value is calculated.

(付記17)
コンピュータに、
入力ユーザが入力したコメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を閲覧ユーザの端末に送信する送信ステップと、
を実行させることを特徴とするプログラム。
(Appendix 17)
On the computer,
A first acquisition step of acquiring a comment input by an input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to a browsing user's terminal;
A program characterized by having executed.

1 行動促進装置
6 コメント入力端末
7 コメント表示端末
11 コメント取得部
12 コメント記憶部
13 ユーザ情報取得部
14 ユーザ情報記憶部
15 感情変化解析部
16 情報選択部
17 表示生成部
18 感情可視化部
21 制御部
22 主記憶部
23 外部記憶部
24 操作部
25 表示部
26 送受信部
29 制御プログラム
61 入力部
62 検出部
63 表示部
71 入力部
72 表示部
101、102、103 行動促進システム
1 action promotion device
6 Comment input terminal
7 Comment display terminal
11 Comment acquisition department
12 Comment storage
13 User information acquisition unit
14 User information storage
15 Emotion change analysis part
16 Information selection part
17 Display generator
18 Emotion Visualization Department
21 Control unit
22 Main memory
23 External storage
24 Operation unit
25 Display section
26 Transceiver
29 Control program
61 Input section
62 Detector
63 Display
71 Input section
72 Display Units 101, 102, 103 Action Promotion System

Claims (10)

入力ユーザが入力したコメントを取得する第1取得手段と、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得手段と、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析手段と、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成手段と、
前記表示画面を閲覧ユーザの端末に送信する送信手段と、
を備えることを特徴とする行動促進装置。
First acquisition means for acquiring a comment input by an input user;
Second acquisition means for acquiring at least two of the input user's biological information, audio data, image data, and action information indicating the action of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis means for calculating the emotional value by judging the psychological state of time,
Generating means for generating a display screen for changing the display feature amount for each comment based on the emotion value;
A transmission means for transmitting the display screen to the terminal of the browsing user;
An action promoting device comprising:
前記解析手段は、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間前までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする請求項1に記載の行動促進装置。   The analysis means determines a temporal change from a comment input time of the input user to the biometric information, the audio data, the image data, and / or the behavior information from a predetermined time on a predetermined condition to determine the emotion The behavior promoting device according to claim 1, wherein a value is calculated. 前記解析手段は、前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/または前記行動情報のコメント入力時から所定の時間後までの時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする請求項1または2に記載の行動促進装置。   The analysis means determines a temporal change from a comment input time of the biometric information, the voice data, the image data, and / or the action information of the input user from a predetermined time on a predetermined condition, and the emotion The behavior promoting device according to claim 1, wherein a value is calculated. 前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報を記憶する記憶手段をさらに備え、
前記解析手段は、前記入力ユーザの平常時の前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報と、コメント入力時の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび/また前記行動情報とをそれぞれ比較して、前記入力ユーザがコメント入力時に平常であったか否かを判定し、平常でなかった前記コメントについてのみ、前記時間的変化を所定の条件で判断して前記感情値を算出することを特徴とする請求項2または3に記載の行動促進装置。
The apparatus further comprises storage means for storing the biological information, the audio data, the image data, and / or the behavior information of the input user at normal times,
The analysis means includes the biological information, the voice data, the image data and / or the behavior information of the input user in the normal time, the biological information of the input user at the time of inputting a comment, the voice data, and the image data. And / or comparing the behavior information with each other to determine whether or not the input user is normal at the time of comment input, and for the comment that is not normal, the temporal change is determined under a predetermined condition. The behavior promoting device according to claim 2, wherein the emotion value is calculated.
前記解析手段は、前記入力ユーザが前記コメントを入力する前の所定の期間または所定の個数の前記入力ユーザの他のコメントの前記感情値よりも、前記コメントの前記感情値が所定の閾値以上大きい場合は、前記コメントの前記感情値を所定の値大きくする補正をすることを特徴とする請求項1ないし4のいずれか1項に記載の行動促進装置。   The analysis means is configured such that the emotion value of the comment is greater than a predetermined threshold value by a predetermined period before the input user inputs the comment or the emotion value of other comments of the input user by a predetermined number. 5. The behavior promoting device according to claim 1, wherein correction is performed to increase the emotion value of the comment by a predetermined value. 6. 前記生成手段は、前記感情値が大きい順に前記コメントを選択し、前記感情値が大きい順に表示する前記表示画面を生成することを特徴とする請求項1ないし5のいずれか1項に記載の行動促進装置。   The behavior according to claim 1, wherein the generation unit generates the display screen that selects the comments in descending order of the emotion value and displays the comments in descending order of the emotion value. Promotion device. 前記生成手段は、前記感情値の大きさに従って、前記コメントの表示の大きさ、色、タイプフェイス、文字飾り、枠、背景、伴って表示するアイコンおよび強調文字のうち少なくとも1つを変えた前記表示画面を生成することを特徴とする請求項1ないし6のいずれか1項に記載の行動促進装置。   The generation unit changes the display size, color, typeface, character decoration, frame, background, icon to be displayed along with the highlighted character, and the highlighted character according to the size of the emotion value. The action promoting device according to claim 1, wherein a display screen is generated. 前記コメントの文章から該コメントの入力ユーザの感情を表す語句を抽出する抽出手段をさらに備え、
前記解析手段は、前記コメントに対応する前記入力ユーザの前記生体情報、前記音声データ、前記画像データ、前記行動情報および前記入力ユーザの感情を表す語句のうち、少なくとも2つの組み合わせに基づいて前記感情値を算出することを特徴とする請求項1ないし7のいずれか1項に記載の行動促進装置。
An extraction means for extracting a phrase representing the emotion of the input user of the comment from the sentence of the comment;
The analysis means is configured to determine the emotion based on a combination of at least two of the biological information of the input user corresponding to the comment, the voice data, the image data, the behavior information, and a phrase representing the emotion of the input user. The action promoting device according to claim 1, wherein a value is calculated.
通信ネットワークを経由して、入力ユーザがコメントを入力し、閲覧ユーザが前記コメントを閲覧するシステムにおいて実行される行動促進方法であって、
前記入力ユーザが入力した前記コメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を前記閲覧ユーザの端末に送信する送信ステップと、
を備えることを特徴とする行動促進方法。
An action promoting method executed in a system in which an input user inputs a comment via a communication network and a browsing user browses the comment,
A first acquisition step of acquiring the comment input by the input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to the terminal of the browsing user;
An action promoting method characterized by comprising:
コンピュータに、
入力ユーザが入力したコメントを取得する第1取得ステップと、
前記入力ユーザの生体情報、音声データ、画像データおよび前記入力ユーザの行動を示す行動情報のうち少なくとも2つを取得する第2取得ステップと、
前記コメントを入力した時を含む期間の前記入力ユーザの前記生体情報、前記音声データ、前記画像データおよび前記行動情報のうち、少なくとも2つの組み合わせに基づいて、所定の条件で前記入力ユーザのコメント入力時の心理状態を判断して感情値を算出する解析ステップと、
前記感情値に基づいて、前記コメントごとの表示の特徴量を変えて表示する表示画面を生成する生成ステップと、
前記表示画面を閲覧ユーザの端末に送信する送信ステップと、
を実行させることを特徴とするプログラム。
On the computer,
A first acquisition step of acquiring a comment input by an input user;
A second acquisition step of acquiring at least two of the input user's biological information, voice data, image data, and behavior information indicating the behavior of the input user;
The input user's comment input under a predetermined condition based on a combination of at least two of the biological information, the voice data, the image data, and the behavior information of the input user during a period including the time when the comment is input An analysis step to determine the psychological state of the time and calculate the emotion value;
Based on the emotion value, a generation step for generating a display screen to be displayed by changing the display feature amount for each comment;
A transmission step of transmitting the display screen to a browsing user's terminal;
A program characterized by having executed.
JP2010263272A 2010-11-26 2010-11-26 Action motivating device, action motivating method and program Pending JP2012113589A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010263272A JP2012113589A (en) 2010-11-26 2010-11-26 Action motivating device, action motivating method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010263272A JP2012113589A (en) 2010-11-26 2010-11-26 Action motivating device, action motivating method and program

Publications (1)

Publication Number Publication Date
JP2012113589A true JP2012113589A (en) 2012-06-14

Family

ID=46497726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010263272A Pending JP2012113589A (en) 2010-11-26 2010-11-26 Action motivating device, action motivating method and program

Country Status (1)

Country Link
JP (1) JP2012113589A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013128715A1 (en) * 2012-03-01 2013-09-06 株式会社ニコン Electronic device
JP2016058089A (en) * 2014-09-05 2016-04-21 株式会社カカオ Interfacing method for user feedback
JP2016122249A (en) * 2014-12-24 2016-07-07 株式会社Nttドコモ Information processing device, action support method, and program
JP2016122360A (en) * 2014-12-25 2016-07-07 Kddi株式会社 Program, device and method for detecting place influencing human psychological state from comment sentence
JP2016192187A (en) * 2015-03-31 2016-11-10 パイオニア株式会社 User state prediction system
JP2017156854A (en) * 2016-02-29 2017-09-07 Kddi株式会社 Speech semantic analysis program, apparatus and method for improving comprehension accuracy of context semantic through emotion classification
JP2019053460A (en) * 2017-09-14 2019-04-04 大日本印刷株式会社 Color change device and program
CN109753889A (en) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 Service evaluation method, apparatus, computer equipment and storage medium
JP2020009027A (en) * 2018-07-04 2020-01-16 学校法人 芝浦工業大学 Live production system and live production method
JP6877801B1 (en) * 2020-11-11 2021-05-26 株式会社Htsライズ State visualization device, state visualization method and state visualization program
CN114385108A (en) * 2021-12-23 2022-04-22 咪咕音乐有限公司 Comment display method, device and storage medium in music playing process
WO2022158264A1 (en) * 2021-01-22 2022-07-28 株式会社エナジード Non-cognitive skills training assistance server, non-cognitive skills training assistance system, non-cognitive skills training assistance method, and non-cognitive skills training assistance program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339446A (en) * 1995-06-09 1996-12-24 Sharp Corp Interactive system
JPH0981632A (en) * 1995-09-13 1997-03-28 Toshiba Corp Information publication device
JP2001083984A (en) * 1999-09-09 2001-03-30 Alpine Electronics Inc Interface device
JP2004200985A (en) * 2002-12-18 2004-07-15 Denso Corp Text conversion system for speech voice
JP2006277567A (en) * 2005-03-30 2006-10-12 Nec Corp Portable terminal with mail creation function using speech emotion recognition, portable terminal system, and mail creation method using speech emotion recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339446A (en) * 1995-06-09 1996-12-24 Sharp Corp Interactive system
JPH0981632A (en) * 1995-09-13 1997-03-28 Toshiba Corp Information publication device
JP2001083984A (en) * 1999-09-09 2001-03-30 Alpine Electronics Inc Interface device
JP2004200985A (en) * 2002-12-18 2004-07-15 Denso Corp Text conversion system for speech voice
JP2006277567A (en) * 2005-03-30 2006-10-12 Nec Corp Portable terminal with mail creation function using speech emotion recognition, portable terminal system, and mail creation method using speech emotion recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小俣 昌樹,内藤 雄也,今宮 淳美: "生体計測とその応用 生体信号に連動する吹き出しオンラインチャットの設計と評価", ヒューマンインタフェース学会誌 VOL.10 NO.2, vol. 第10巻第2号【ISSN】1344-7262, JPN6014028863, 25 May 2008 (2008-05-25), JP, pages 179 - 189, ISSN: 0002852267 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013128715A1 (en) * 2012-03-01 2013-09-06 株式会社ニコン Electronic device
JP2016058089A (en) * 2014-09-05 2016-04-21 株式会社カカオ Interfacing method for user feedback
US10761679B2 (en) 2014-09-05 2020-09-01 Kakao Corp. Interfacing method for user feedback
JP2016122249A (en) * 2014-12-24 2016-07-07 株式会社Nttドコモ Information processing device, action support method, and program
JP2016122360A (en) * 2014-12-25 2016-07-07 Kddi株式会社 Program, device and method for detecting place influencing human psychological state from comment sentence
JP2016192187A (en) * 2015-03-31 2016-11-10 パイオニア株式会社 User state prediction system
JP2017156854A (en) * 2016-02-29 2017-09-07 Kddi株式会社 Speech semantic analysis program, apparatus and method for improving comprehension accuracy of context semantic through emotion classification
JP2019053460A (en) * 2017-09-14 2019-04-04 大日本印刷株式会社 Color change device and program
JP2020009027A (en) * 2018-07-04 2020-01-16 学校法人 芝浦工業大学 Live production system and live production method
JP7216394B2 (en) 2018-07-04 2023-02-01 学校法人 芝浦工業大学 Live production system and live production method
CN109753889A (en) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 Service evaluation method, apparatus, computer equipment and storage medium
JP6877801B1 (en) * 2020-11-11 2021-05-26 株式会社Htsライズ State visualization device, state visualization method and state visualization program
JP2022077196A (en) * 2020-11-11 2022-05-23 株式会社Htsライズ State visualization apparatus, state visualization method, and state visualization program
WO2022158264A1 (en) * 2021-01-22 2022-07-28 株式会社エナジード Non-cognitive skills training assistance server, non-cognitive skills training assistance system, non-cognitive skills training assistance method, and non-cognitive skills training assistance program
CN114385108A (en) * 2021-12-23 2022-04-22 咪咕音乐有限公司 Comment display method, device and storage medium in music playing process
CN114385108B (en) * 2021-12-23 2024-03-22 咪咕音乐有限公司 Comment display method, comment display equipment and storage medium in music playing process

Similar Documents

Publication Publication Date Title
JP2012113589A (en) Action motivating device, action motivating method and program
US11929072B2 (en) Using textual input and user state information to generate reply content to present in response to the textual input
US10146882B1 (en) Systems and methods for online matching using non-self-identified data
US8903176B2 (en) Systems and methods using observed emotional data
US20160359777A1 (en) System and method for increasing clarity and expressiveness in network communications
US9256825B2 (en) Emotion script generating, experiencing, and emotion interaction
KR20180137490A (en) Personal emotion-based computer-readable cognitive memory and cognitive insights for memory and decision making
EP3644173A1 (en) Information processing device, information processing method, and program
JP2011039860A (en) Conversation system, conversation method, and computer program using virtual space
US20200364765A1 (en) Method for managing item recommendation using degree of association between language unit and usage history
JP2014167722A (en) Merchandise information providing system and program for providing merchandise information
JP6077165B1 (en) Generating device, generating method, and generating program
JP2017167752A (en) Device, method, and program for determination
JP2007334732A (en) Network system and network information transmission/reception method
JP5881647B2 (en) Determination device, determination method, and determination program
KR101811751B1 (en) Advertisement providing server using chatbot
KR101543393B1 (en) Method and apparatus for recommending contents adapted to situation of an user of a mobile terminal
KR101894060B1 (en) Advertisement providing server using chatbot
JP2015036886A (en) Information processing device, storage medium, and method
JP7019984B2 (en) Information presentation system, information presentation method and program
WO2022145041A1 (en) Video meeting evaluation terminal, video meeting evaluation system, and video meeting evaluation program
JP6253817B2 (en) Generating device, generating method, and generating program
WO2022145038A1 (en) Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program
WO2022145039A1 (en) Video meeting evaluation terminal, video meeting evaluation system and video meeting evaluation program
WO2022145040A1 (en) Video meeting evaluation terminal, video meeting evaluation system, and video meeting evaluation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141118