JP2015169702A - Emotion determination device and emotion determination method - Google Patents
Emotion determination device and emotion determination method Download PDFInfo
- Publication number
- JP2015169702A JP2015169702A JP2014042577A JP2014042577A JP2015169702A JP 2015169702 A JP2015169702 A JP 2015169702A JP 2014042577 A JP2014042577 A JP 2014042577A JP 2014042577 A JP2014042577 A JP 2014042577A JP 2015169702 A JP2015169702 A JP 2015169702A
- Authority
- JP
- Japan
- Prior art keywords
- information
- emotion
- character
- user terminal
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、感情判断装置および感情判断方法に関する。 The present invention relates to an emotion determination device and an emotion determination method.
従来、入力判断部１２１により、入力された言語情報が感情表現を示す言語情報であることが判断され、ユーザ協調性制御部１２３により、入力された言語情報が感情を表す言語情報であることを認識してユーザの感情を把握する技術が知られている。（特許文献１）。 Conventionally, the input determination unit 121 determines that the input language information is language information indicating emotional expression, and the user cooperation control unit 123 determines that the input language information is language information indicating emotion. A technique for recognizing and grasping a user's emotion is known. (Patent Document 1).
ところで、人の感情は言語以外の情報にも端的に反映される。特に、人の感情は人の表情や会話、行動などに、より強く反映される。 By the way, human emotions are directly reflected in information other than language. In particular, human emotions are more strongly reflected in human facial expressions, conversations, and actions.
しかしながら、上述したようなユーザの感情を把握する技術では、入力された言語情報のみに基づいてユーザの感情を把握することはできるが、人の表情や会話、行動などが記録されている可能性のある、音声・画像・動画情報などの非言語情報に基づいて人の感情を判断できないため、人の感情をより正確に把握することができないという問題があった。 However, with the technology for grasping the user's emotion as described above, it is possible to grasp the user's emotion based only on the input language information, but there is a possibility that a person's facial expression, conversation, behavior, etc. are recorded. There is a problem in that it is impossible to determine a person's feelings more accurately because the person's feelings cannot be determined based on the non-linguistic information such as voice / image / video information.
そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、音声・画像・動画情報などの非文字情報に基づいて人の感情を判断することにより、人の感情をより正確に把握することを目的の一つとし得る。 Accordingly, some aspects of the present invention have been made in view of such circumstances, and by determining a person's emotion based on non-text information such as voice, image, and video information, the person's emotion can be more accurately determined. One of the purposes can be to grasp.
上記課題を解決するために、本発明の一側面に係る感情判断装置は、非文字情報と、前記非文字情報を取得した位置を示す取得位置情報、前記非文字情報を取得した時間を示す時間情報、及び前記非文字情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである非文字関連情報と、を取得する情報取得部と、前記非文字情報を前記非文字関連情報と関連付けて記憶する非文字情報記憶部と、前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する感情判断部と、を備える。 In order to solve the above problem, an emotion determination apparatus according to one aspect of the present invention provides non-character information, acquisition position information indicating a position where the non-character information is acquired, and time indicating a time when the non-character information is acquired. Information and non-character related information that is at least one of environmental information indicating the environment of the position where the non-character information is acquired, an information acquisition unit that acquires the non-character information and the non-character related information A non-character information storage unit that stores the associated information; and an emotion determination unit that determines a human emotion based on the non-character information and the non-character related information.
また、本発明の一側面に係る感情判断方法は、非文字情報と、前記非文字情報を取得した位置を示す取得位置情報、前記非文字情報を取得した時間を示す時間情報、及び前記非文字情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである非文字関連情報と、を取得し、前記非文字情報を前記非文字関連情報と関連付けて記憶し、前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する。 The emotion determination method according to one aspect of the present invention includes non-character information, acquisition position information indicating a position where the non-character information is acquired, time information indicating a time when the non-character information is acquired, and the non-character. Non-character related information that is at least one of environment information indicating the environment of the position where the information was acquired, and stores the non-character information in association with the non-character related information, and the non-character information A human emotion is determined based on the non-character related information.
また、本発明の一側面に係るプログラムは、コンピュータに、非文字情報と、前記非文字情報を取得した位置を示す取得位置情報、前記非文字情報を取得した時間を示す時間情報、及び前記非文字情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである非文字関連情報と、を取得する機能と、前記非文字情報を前記非文字関連情報と関連付けて記憶する機能と、前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する機能と、を実行させる。 A program according to one aspect of the present invention provides a computer with non-character information, acquisition position information indicating a position where the non-character information is acquired, time information indicating a time when the non-character information is acquired, and the non-character information. A function of acquiring non-character related information that is at least one of environment information indicating an environment of the position where the character information has been acquired, and a function of storing the non-character information in association with the non-character related information; A function of judging a human emotion based on the non-character information and the non-character-related information.
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。 In the present invention, the “part” does not simply mean a physical means, but includes a case where the function of the “part” is realized by software. Also, even if the functions of one “unit” or device are realized by two or more physical means or devices, the functions of two or more “units” or devices are realized by one physical means or device. May be.
本発明によれば、音声・画像・動画情報などの非文字情報に基づいて人の感情を判断するので、人の感情をより正確に把握することができる。 According to the present invention, since a person's emotion is determined based on non-character information such as voice, image, and moving image information, the person's emotion can be grasped more accurately.
以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The following embodiments are exemplifications for explaining the present invention, and are not intended to limit the present invention only to the embodiments. The present invention can be variously modified without departing from the gist thereof. Furthermore, in each drawing, the same components are denoted by the same reference numerals as much as possible, and redundant description is omitted.
まず、図１を参照して本発明の実施形態に係るシステムの全体構成を説明する。
図１は、本発明の第１実施形態に係る感情判断システム１００の一実施形態を示す概略構成図（システム構成図）である。
First, an overall configuration of a system according to an embodiment of the present invention will be described with reference to FIG.
FIG. 1 is a schematic configuration diagram (system configuration diagram) showing an embodiment of an
図１に示すように、本発明の実施の形態に係る感情判断システム１００は、例示的に、感情判断サーバ１、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅ、及びネットワーク５０を含んで構成されている。また、ネットワーク５０は、例示的に、情報管理サーバ３ａ、３ｂ、３ｃを含んで構成されている。
As shown in FIG. 1, the
感情判断サーバ１は、ネットワーク５０に接続されたサーバ用コンピュータであり、そのサーバ用コンピュータにおいて、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）が本発明に係るサーバ用プログラムを実行することにより、本発明に係る感情判断装置を機能的に実現させ、本発明に係る感情判断方法を実施するものである。
The
ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅは、ネットワーク５０に接続されたスマートフォンなどの携帯電話、タブレット端末、ラップトップ又はノートブック型コンピュータ等を含む、少なくとも情報を感情判断サーバ１との間で送受信する送受信機能を有する装置で構成されている。よって、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅは、デスクトップコンピュータなど事業所内に備え付けられている端末であってもよい。また、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅは、図３にて後述するが、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅが備えるディスプレイにマップＭを表示し、人の感情情報ＦＩをさらに表示する機能を有する装置で構成されている。
The
ネットワーク５０は、所定のワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり、例えばインターネットである。ネットワーク５０の具体的な構成は、感情判断サーバ１及び情報管理サーバ３ａ、３ｂ、３ｃの間で任意の情報の送受信が可能なように含んでいれば特に制限されない。ネットワーク５０は、感情判断サーバ１に接続され、感情判断サーバ１がネットワーク５０内の情報管理サーバ３ａ、３ｂ、３ｃと相互に通信可能に接続されている。
The
情報管理サーバ３ａ、３ｂ、３ｃは、感情判断サーバ１と同様に、ネットワーク５０に接続されたサーバ用コンピュータであり、そのサーバ用コンピュータにおいて図示しないＣＰＵが所定のサーバ用プログラムを実行することにより、サーバ機能を発現するものである。
The
情報管理サーバ３ａ、３ｂ、３ｃは、ネットワーク５０に接続され、図示しない端末装置（例えば、スマートフォンなどの携帯電話、タブレット端末、ラップトップ又はノートブック型コンピュータ等）、監視カメラなどの屋外に設置されている情報処理装置（不図示）、又は屋内に設置されている情報処理装置（不図示）などからの情報を収集する情報管理手段の例示である。例えば、このような情報管理サーバ３ａ、３ｂ、３ｃは、個人のウェブページ、ブログ、ＳＮＳ（ソーシャルネットワークサービス）、インターネット掲示板などのサービスを提供する管理業者や企業、個人のサーバである。情報管理サーバ３ａ、３ｂ、３ｃは、不特定多数の人が、ウェブページ、ブログ、ＳＮＳ（ソーシャルネットワークサービス）、インターネット掲示板などのいわゆるＣＧＭ（Consumer Generated Media）上に記載したテキスト（文書）などの文字情報を取得し、記憶する。また、情報管理サーバ３ａ、３ｂ、３ｃは、ＣＧＭ上に存在する音声情報、画像情報、動画情報、人・端末装置の動作情報、生体情報などの非文字情報を取得し、記憶する。さらに、情報管理サーバ３ａ、３ｂ、３ｃは、情報管理サーバ３ａ、３ｂ、３ｃと通信可能な端末装置（不図示）が取得又は保有する、音声情報、画像情報、動画情報、人・端末装置の動作情報、生体情報などの非文字情報を取得し、記憶する。情報管理サーバ３ａ、３ｂ、３ｃは、これらの取得および記憶動作を、定期的にまたは不定期に繰り返して、ネットワーク５０に新規に提供された情報をタイムリーに取得し、記憶している。
The
音声情報は、例えば、発声速度、声の強弱、声質、声の平均ピッチ、声のピッチ範囲、声のピッチ変化、発声の明瞭性などの情報を含む。画像情報・動画情報は、端末装置に備え付けのカメラ、屋外に設置されているカメラ（例えば監視カメラ）などによって撮影された写真、動画などを含む。人・端末装置の動作情報は、端末装置を所持している人の動きに基づく情報を含む。人・端末装置の動作情報は、例えば、端末装置を所持している人が、手に持っていたり、端末装置を置いたり、元気に歩いたり、とぼとぼ歩いたり、ゆっくり走ったり、急速に走ったり、スキップしたり、するような動きを反映する情報を含む。生体情報は、体温、心拍数、呼吸数などの情報を含む。これらの情報は、各情報の絶対値である必要はなく、程度（大きい、小さい、高い、低いなど）を示すものであってもよい。 The voice information includes, for example, information such as voice rate, voice strength, voice quality, voice average pitch, voice pitch range, voice pitch change, and voice clarity. The image information / moving image information includes a photograph, a moving image, and the like taken by a camera provided in the terminal device, a camera (for example, a surveillance camera) installed outdoors, and the like. The operation information of the person / terminal device includes information based on the movement of the person holding the terminal device. The operation information of the person / terminal device is, for example, that the person holding the terminal device holds it in his hand, puts the terminal device, walks well, walks slowly, runs slowly, runs rapidly , Including information that reflects movements such as skipping or doing. The biological information includes information such as body temperature, heart rate, and respiratory rate. These pieces of information need not be absolute values of each piece of information, and may indicate the degree (large, small, high, low, etc.).
また、情報管理サーバ３ａ、３ｂ、３ｃは、非文字情報を取得した位置を示す取得位置情報、非文字情報を取得した時間を示す時間情報、及び非文字情報を取得した位置の環境を示す環境情報のうち少なくとも一つである非文字関連情報を取得し、記憶する。
In addition, the
取得位置情報は、例えば、ＧＰＳ（Global Positioning System）などの測位システムによる緯度経度の座標情報、住所や部屋番号などの地点情報などを含む。なお、取得位置情報は、非文字情報と独立して取得されるものであってもよいし、非文字情報である画像情報に埋め込まれている（記録されている）Ｅｘｉｆ（Exchangeable image file format）情報などの情報であってもよい。環境情報は、天気、気温、明るさ、室内であるか室外であるか、を示す情報などを含む。これらの情報は、絶対値である必要はなく、程度（明るい、暗い、高い、低いなど）を示すものであってもよい。 The acquired position information includes, for example, latitude and longitude coordinate information by a positioning system such as GPS (Global Positioning System), point information such as an address and a room number, and the like. Note that the acquisition position information may be acquired independently of non-character information, or Exif (Exchangeable image file format) embedded (recorded) in image information that is non-character information. Information such as information may be used. The environmental information includes information indicating weather, temperature, brightness, indoor or outdoor, and the like. These pieces of information do not need to be absolute values, and may indicate the degree (bright, dark, high, low, etc.).
なお、感情判断サーバ１は、情報管理サーバ３ａ、３ｂ、３ｃから非文字情報及び非文字関連情報を受信する。また、情報管理サーバ３ａ、３ｂ、３ｃは、非文字情報及び非文字関連情報のみ取得、記憶、送信するわけでなく、文字情報及び文字情報を取得した位置を示す取得位置情報、文字情報を取得した時間を示す時間情報、及び文字情報を取得した位置の環境を示す環境情報などを含む文字関連情報を取得、記憶、送信することができるように構成されている。
The
このように、感情判断サーバ１と情報管理サーバ３ａ、３ｂ、３ｃのそれぞれとの間、感情判断サーバ１とユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅのそれぞれとの間において、互いに通信可能に設定されることにより、感情判断システム１００が構成される。
As described above, communication between the
なお、感情判断サーバ１は、所定のネットワーク内に分散された複数のサーバにより、１つの感情判断サーバ１として機能するように構成されていてもよい。
The
図２は、本発明の第１実施形態に係る感情判断サーバ１の一実施形態を示す機能的構成を示すブロック図である。図２に示すように、感情判断サーバ１は、機能的に、情報処理部１０、非文字情報記憶部１２、及び感情情報記憶部１４を含んで構成されている。
FIG. 2 is a block diagram showing a functional configuration showing an embodiment of the
感情判断サーバ１の上記構成は、記憶領域に格納されているソフトウェアプログラムを図示しないＣＰＵが実行することにより機能的に実現することができる。なお、感情判断サーバ１は、上記機能を持つものであれば、特に制限はなく、クラウド・コンピューティングなどで実現される場合も含む。
The configuration of the
情報処理部１０は、非文字情報及び非文字関連情報以外の様々な情報を処理する機能ブロックであり、機能的に、情報取得部２０、属性決定部２２、感情判断部２４、感情情報提供先特定部２６、及び感情情報提供部２８を含んで構成されている。
The
情報取得部２０は、情報管理サーバ３ａ、３ｂ、３ｃから非文字情報及び非文字関連情報を取得する機能ブロックである。
The
非文字情報記憶部１２は、情報取得部２０が取得した非文字情報及び非文字関連情報について、非文字情報を非文字関連情報と関連付けて記憶する機能ブロックである。また、非文字情報記憶部１２は、非文字情報及び非文字関連情報を、短期的に又は長期的に保持・管理できるように、そして容易に検索・抽出・出力などができるように構成されている。
The non-character
属性決定部２２は、非文字情報に基づいて非文字情報に対応づけられる人の属性を決定する機能ブロックである。具体的に、属性決定部２２は、情報取得部２０が取得し、又は非文字情報記憶部１２に記憶されている、非文字情報に含まれる声質に関する情報に基づいて、その声を発した人の属性を決定する。属性決定部２２は、例えば、情報取得部２０が取得し、又は非文字情報記憶部１２に記憶されている、動画から動画に映っている人の属性を決定可能に構成されていている。また、属性決定部２２は、非文字情報に基づいて非文字情報に対応づけられる人の属性を決定した際には、決定された人の属性を示す決定属性情報を生成する。なお、属性決定部２２は、非文字情報の情報元である端末装置、情報処理装置又はユーザ端末５にあらかじめ設定された、人の属性に基づく属性情報を取得することにより、属性を決定するように構成されていてもよい。
The
ここで、「属性」とは、物体の性質や特徴のことをいい、人の属性とは、人の年齢、生年月日、性別、国籍、身長、体重等に限られず、人の好み・趣味・趣向、家族構成、知人・友人・同僚関係などの人間関係、社会的ステータス等も広く含む。 Here, “attributes” refers to the nature and characteristics of an object, and human attributes are not limited to a person's age, date of birth, gender, nationality, height, weight, etc. -Widely includes preferences, family structure, human relationships such as acquaintances / friends / colleague relationships, social status, etc.
感情判断部２４は、非文字情報と非文字関連情報とに基づいて人の感情を判断する機能ブロックである。感情判断部２４は、例えば、人の感情として「幸せ」、「喜び」、「楽しみ」、「嬉しい」、「怒り」、「悲しみ」、「驚き」、「怨み（恨み）」、「嫌悪」などを判断するように構成される。感情判断部２４は、例えば、非文字情報である笑顔の子供が写っている画像情報と、その子供が遊園地にいる場合の画像情報の取得位置情報と、に基づいてその子供の感情を判断する。この場合、感情判断部２４は、画像情報からは子供が笑顔であると判断でき、取得位置情報からは、その子供が遊園地にいる（遊園地で遊んでいる）と判断できる。よって、感情判断部２４は、その子供の感情は「楽しみ」、「喜び」、「嬉しさ」などのポジティブな感情を持っていることを判断することができる。これにより、感情判断部２４は、笑顔の子供が写っている画像情報のみに基づいて人の感情を判断する場合よりも、より正確に人の感情を判断することができる。
The
また、感情判断部２４は、人が複数の感情を持っている又は表現している場合は、同時に複数の感情を判断するように構成されていてもよい。さらに、感情判断部２４は、人の複数の感情を判断した場合は、その複数の感情のそれぞれの割合を判断するように構成されていてもよい。感情判断部２４は、例えば、人が「喜び」と「幸せ」の感情を持っている又は表現している場合、「喜び」については６０％、「幸せ」については４０％というように、感情の割合を判断するように構成される。
In addition, the
さらに、感情判断部２４は、属性決定部２２により非文字情報に基づいて非文字情報に対応づけられる人の属性を決定し、非文字情報及び決定された人の属性を示す決定属性情報にさらに基づいて人の感情を判断する機能ブロックである。具体的に、属性決定部２２により、人の声に関する情報（例えば発声速度）に基づいて、その人の声に関する情報に対応づけられる人の年齢（属性）が決定される。感情判断部２４は、人の発声速度だけではなく、決定されたその人の年齢にさらに基づいて、その人の感情を判断することにより、より正確に人の感情を判断することができる。
Further, the
さらに、感情判断部２４は、人の感情を判断した際には、感情の判断結果に基づいて人の感情情報を生成する機能ブロックである。
Furthermore, the
感情情報記憶部１４は、感情判断部２４により生成された、人の感情を示す感情情報を非文字関連情報と関連付けて記憶する機能ブロックである。感情情報記憶部１４は、属性決定部２２により、決定属性情報が生成された場合、非文字情報と決定属性情報とを関連付けて記憶するように構成されていてもよい。また、感情情報記憶部１４は、非文字情報、非文字関連情報、及び属性情報などを、短期的に又は長期的に保持・管理できるように、そして容易に検索・抽出・出力などができるように構成されている。
The emotion
感情情報提供先特定部２６は、感情判断部２４により判断された人の感情を示す感情情報の提供先を特定する機能ブロックである。感情情報提供先特定部２６は、複数のユーザ端末の間で感情情報を授受する場合に機能するオプショナルな機能ブロックである。例えば、感情情報提供先特定部２６は、図１に示すユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅのうち少なくとも一つからの指示に基づいて感情情報を提供する提供先を特定する。また、感情情報提供先特定部２６は、図１に不図示であるなんらかの事業者からの指示に基づいて感情情報の提供先を特定するように構成されていてもよい。
The emotion information
感情情報提供先特定部２６は、感情情報を提供することを指示するユーザ端末５ａ（第１ユーザ端末）の位置を示す第１位置情報と、ユーザ端末５ａとは異なるユーザ端末５ｂ（第２ユーザ端末）の位置を示す第２位置情報と、に基づいてユーザ端末５ａとユーザ端末５ｂとの距離を測定し、測定した距離に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する機能ブロックである。
The emotion information provision
具体的には、感情判断サーバ１は、各ユーザ端末５ａ、５ｂに対して各ユーザ端末５ａ、５ｂの位置情報を問い合わせて、各ユーザ端末５ａ、５ｂから、各ユーザ端末５ａ、５ｂの位置情報を受信できる問い合わせ情報受信部（不図示）を備えている。問い合わせ情報受信部が受信した各ユーザ端末５ａ、５ｂの位置情報に基づいて、感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、測定した距離に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する。
Specifically, the
感情情報提供先特定部２６は、例えば、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断するように構成される。また、感情情報提供先特定部２６は、例えば、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断するように構成される。
For example, the emotion information
また、感情情報提供先特定部２６は、例えば、ユーザ端末５ａとユーザ端末５ｂ及びユーザ端末５ｃそれぞれとの距離を測定し、ユーザ端末５ａにより近いユーザ端末５を選択し、選択されたユーザ端末５を感情情報の提供先として特定するように構成されていてもよい。
The emotion information
さらに、感情情報提供先特定部２６は、感情情報を提供することを指示するユーザ端末５ａ（第１ユーザ端末）の第１ユーザの属性を示す第１属性情報と、ユーザ端末５ａとは異なるユーザ端末５ｂの第２ユーザの属性を示す第２属性情報と、に基づいて第１ユーザと第２ユーザとの関連性を判断し、判断した関連性に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する機能ブロックである。
Further, the emotion information provision
具体的には、感情判断サーバ１は、各ユーザ端末５ａ、５ｂに対して各ユーザ端末５ａ、５ｂのユーザの属性情報を問い合わせて、各ユーザ端末５ａ、５ｂから、各ユーザ端末５ａ、５ｂのユーザの属性情報を受信できる問い合わせ情報受信部（不図示）を備えている。問い合わせ情報受信部が受信した各ユーザ端末５ａ、５ｂのユーザの属性情報に基づいて、感情情報提供先特定部２６は、ユーザ端末５ａのユーザとユーザ端末５ｂのユーザとの関連性を判断し、判断した関連性に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する。
Specifically, the
感情情報提供先特定部２６は、例えば、ユーザ端末５ａのユーザとユーザ端末５ｂのユーザとの関連性（趣味・趣向が合うか合わないか、知り合いであるかないか、親族であるかないか、同僚であるかないなどの親密度）を判断し、両者の関連性がない又は低い（趣味・趣向が合わない、知り合いでない、親族でない、同僚でないなど親密度が低い）と判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断するように構成される。また、感情情報提供先特定部２６は、例えば、ユーザ端末５ａのユーザとユーザ端末５ｂのユーザとの関連性を判断し、両者の関連性が有る又は高い（趣味・趣向が合う、知り合いである、親族である、同僚であるなど親密度が高い）と判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断するように構成される。
The emotion information providing
また、感情情報提供先特定部２６は、例えば、ユーザ端末５ａのユーザとユーザ端末５ｄのユーザ及びユーザ端末５ｅのユーザそれぞれとの関連性を測定し、ユーザ端末ユーザ端末５ｄよりユーザ端末５ｅを選択し、選択されたユーザ端末５ｅを感情情報の提供先として特定するように構成されていてもよい。
The emotion information providing
なお、感情情報提供先特定部２６は、ユーザの指示により、感情情報の提供範囲又は提供先が予め設定されるように構成されていてもよい。例えば、感情情報提供先特定部２６は、感情情報の提供範囲又は提供先として、あらゆるユーザ端末５を特定しない、すなわち、どのユーザ端末５にも感情情報が提供されない（完全非公開）ように構成されていてもよい。また、感情情報提供先特定部２６は、感情情報の提供範囲又は提供先として、すべてのユーザ端末５を特定する、すなわち、すべてのユーザ端末５に感情情報が提供される（完全公開、全世界公開）ように構成されていてもよい。さらに、感情情報提供先特定部２６は、感情情報の提供範囲又は提供先として、一部のユーザ端末５を特定する、すなわち、一部のユーザ端末５に感情情報が提供される（例えば、友人まで公開、友人の友人まで公開、ある国のユーザまで公開など）ように構成されていてもよい。さらにまた、感情情報提供先特定部２６は、ユーザ端末５ａから遠くに存在するユーザ端末５ｄを、感情情報の提供先として特定してもよい。例えば、ユーザ端末５ａのユーザと他のユーザ端末５のユーザが友人関係である場合であって、ユーザ端末５ａのユーザが、ユーザ端末５のユーザに対して、今後両ユーザが向かう先の位置又は範囲の感情情報を予め提供・共有したい場合、感情情報提供先特定部２６は、ユーザ端末５ａの指示により、ユーザ端末５ａとユーザ端末５との距離が遠い場合であっても、感情情報の提供先として、ユーザ端末５を特定するように構成されていてもよい。
In addition, the emotion information provision destination specific |
感情情報提供部２８は、感情情報提供先特定部２６により特定された感情情報の提供先に少なくとも感情情報を提供する機能ブロックである。また、感情情報提供部２８は、感情情報記憶部１４に記憶されている、少なくとも感情情報を取得し提供するように構成されている。
The emotion
図３は、本発明の第１実施形態に係る感情情報の提供の一例を示す図である。図３に示すように、ユーザ端末５は表示部を備えており、当該表示部に地図Ｍ、エリアＡｒ、及び人の感情情報ＦＩを表示している。これにより、ユーザ端末５のユーザは、地図Ｍ上のどの位置でどのような感情を持つ人がいるのか、又は、いたのかを知ることができる。
FIG. 3 is a diagram illustrating an example of provision of emotion information according to the first embodiment of the present invention. As illustrated in FIG. 3, the
具体的には、図２に示す、感情判断サーバ１の感情判断部２４により、複数の異なる位置で取得した複数の非文字情報（例えば、笑顔の人が写っている画像情報）とそれぞれの画像情報の取得位置情報とに基づいて人の感情を判断する。図３に示すように、感情情報ＦＩは、「笑顔」となっており、感情判断部２４では、人の感情は「楽しみ」、「喜び」、「嬉しさ」などのポジティブな感情であったと判断したことになる。なお、画像情報の取得位置情報として、画像情報に文字情報として記録された位置情報（Ｅｘｉｆ情報）を用いることも可能である。また、感情判断部２４は、ユーザ端末５、他の端末装置又は情報処理装置に位置情報を問い合わせることなく、ネットワーク上で公開しているすべての（位置情報が記録された）画像情報から、人の感情を判断できるように構成されていてもよい。
Specifically, a plurality of non-character information (for example, image information showing a smiling person) acquired at a plurality of different positions by the
感情判断サーバ１の感情情報提供先特定部２６により、感情情報ＦＩの提供先としてユーザ端末５が特定され、感情判断サーバ１の感情情報提供部２８は、感情情報提供先特定部２６により特定されたユーザ端末５に複数の感情情報ＦＩ及び取得位置情報を提供する。
The emotion information providing
ユーザ端末５は、提供された複数の感情情報ＦＩに基づいて複数の笑顔画像（感情情報ＦＩ）を生成する。生成された複数の笑顔画像を、マップＭ上の取得位置情報に対応した複数の位置に表示する。また、ユーザ端末５は、複数の取得位置情報に基づいてある一定の範囲に感情情報ＦＩを表示する際は、図３に示すエリアＡｒのような表示を追加するように構成されていてもよい。これにより、ユーザ端末５のユーザは、どのエリアの感情情報ＦＩであるかを、より明確に認識することができる。
The
なお、ユーザ端末５が生成した笑顔画像（感情情報ＦＩ）は、感情判断サーバ１においてあらかじめ生成された上で、感情判断サーバ１から提供されるように構成されていてもよい。
The smile image (emotion information FI) generated by the
また、感情情報提供部２８は、感情情報提供先特定部２６により特定された提供先に、複数人の感情情報をある一定量まとめて提供するように構成されていてもよい。さらに、感情情報提供部２８は、感情情報提供先特定部２６により特定された複数の提供先に同時に、感情情報を提供するように構成されていてもよい。
The emotion
さらに、感情情報提供部２８は、感情情報記憶部１４に記憶されている少なくとも非文字情報から生成した提案情報などの追加情報を、感情情報提供先特定部２６により特定された提供先に提供するように構成されていてもよい。提案情報は、例えば、人の集客方法に関する情報が含まれる。また、その他の追加情報は、例えば、ある一定のエリアごとに、それらのエリアに居住している複数人がどのような感情を持っているのかなどを分析した情報などが含まれる。
Further, the emotion
図４は、本発明の第１実施形態に係る感情情報の提供のフローの一例を示すフローチャートである。図４のうち、ステップＳ５およびステップＳ６は、感情情報提供先特性部２６および感情情報提供部２８を機能させる場合に必要となるオプショナルなステップである。
FIG. 4 is a flowchart showing an example of a flow of providing emotion information according to the first embodiment of the present invention. In FIG. 4, step S5 and step S6 are optional steps required when the emotion information providing destination
図２に示す情報取得部２０は、音声・画像・動画情報などの非文字情報を取得する（図４に示すステップ１）。
The
図２に示す非文字情報記憶部１２は、非文字情報を非文字関連情報と関連づけて記憶する（図４に示すステップ２）。
The non-character
図２に示す属性決定部２２は、非文字情報に対応づけられる人の属性を決定する（図４に示すステップ３）。
The
図２に示す感情判断部２４は、非文字情報と非文字関連情報とに基づいて人の感情を判断する。また、非文字情報及び属性決定部２２により決定された人の属性を示す決定属性情報にさらに基づいて人の感情を判断する（図４に示すステップ４）。
The
図２に示す感情情報提供先特定部２６は、感情判断部２４により判断された人の感情を示す感情情報の提供先を特定する（図４に示すステップ５）。
The emotion information providing
図２に示す感情情報提供部２８は、感情情報提供先特定部２６により特定された感情情報の提供先に感情情報を提供する（図４に示すステップ６）。
The emotion
（第２実施形態）
第２実施形態では、複数のユーザ端末５の間で感情情報を授受する場合を想定しているのに対して、第１実施形態では、単一のユーザ端末５に感情情報を提供する場合を想定している点で相違する。
(Second Embodiment)
In the second embodiment, it is assumed that emotion information is exchanged between a plurality of
図５は、本発明の第２実施形態に係る感情情報の提供のフローの一例を示すフローチャートである。図５のうち、ステップＳ１５およびステップＳ１６は、感情情報提供先特性部２６および感情情報提供部２８を機能させる場合に必要となるオプショナルなステップである。
FIG. 5 is a flowchart showing an example of a flow of providing emotion information according to the second embodiment of the present invention. In FIG. 5, step S15 and step S16 are optional steps required when the emotion information providing destination
図１に示す感情判断サーバ１は、図１に示すネットワーク５０内の情報管理サーバ３ａ、３ｂ、３ｃが保有している非文字情報及び非文字関連情報を取得する（図５に示すステップ１０）。
The
図１に示すユーザ端末５ａ（第１ユーザ端末）は、図１に示す感情判断サーバ１に対して、感情情報を提供することを指示する（図５に示すステップ１１）。
The
感情判断サーバ１は、ユーザ端末５ａに対してユーザ端末５ａの位置情報を送信するよう問い合わせる（図５に示すステップ１２）。
The
ユーザ端末５ａは、感情判断サーバ１の問い合わせに基づいてユーザ端末５ａの位置情報を感情判断サーバ１に送信する（図５に示すステップ１３）。
The
感情判断サーバ１は、ユーザ端末５ｂに対してユーザ端末５ｂの位置情報を送信するよう問い合わせる（図５に示すステップ１４）。
The
ユーザ端末５ｂは、感情判断サーバ１の問い合わせに基づいてユーザ端末５ｂの位置情報を感情判断サーバ１に送信する（図５に示すステップ１５）。
The
図２に示す、感情判断サーバ１の感情情報提供先特定部２６は、ユーザ端末５ａの位置情報及びユーザ端末５ｂの位置情報に基づいてユーザ端末５ａとユーザ端末５ｂとの距離を測定し、測定した距離に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する。
The emotion information providing
感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断する。又は、感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断する。
The emotion information provision
図２に示す、感情判断サーバ１の感情情報提供部２８は、感情情報提供先特定部２６がユーザ端末５ｂを感情情報の提供先として特定すると判断した場合は、感情情報をユーザ端末５ｂに送信する（図５に示すステップ１６）。一方で、感情判断サーバ１の感情情報提供部２８は、感情情報提供先特定部２６がユーザ端末５ｂを感情情報の提供先として特定しないと判断した場合は、感情情報をユーザ端末５ｂに送信しない。
The emotion
（第３実施形態）
第３実施形態は、複数のユーザ端末５の間で感情情報を授受することを想定している点で第２実施形態と共通しているが、第２実施形態では提供先を特定するのに、取得位置情報を用いているのに対して、第３実施形態では提供先を特定するために、属性情報を用いている点が相違している。
(Third embodiment)
The third embodiment is common to the second embodiment in that it is assumed that emotion information is exchanged between a plurality of
図６は、本発明の第３実施形態に係る感情情報の提供のフローの一例を示すフローチャートである。図６のうち、ステップＳ２５およびステップＳ２６は、感情情報提供先特性部２６および感情情報提供部２８を機能させる場合に必要となるオプショナルなステップである。
FIG. 6 is a flowchart showing an example of a flow of providing emotion information according to the third embodiment of the present invention. In FIG. 6, step S25 and step S26 are optional steps required when the emotion information providing destination
図１に示す感情判断サーバ１は、図１に示すネットワーク５０内の情報管理サーバ３ａ、３ｂ、３ｃが保有している非文字情報及び非文字関連情報を取得する（図６に示すステップ２０）。
The
図１に示すユーザ端末５ａ（第１ユーザ端末）は、図１に示す感情判断サーバ１に対して、感情情報を提供することを指示する（図６に示すステップ２１）。
The
感情判断サーバ１は、ユーザ端末５ａに対してユーザ端末５ａの属性情報を送信するよう問い合わせる（図６に示すステップ２２）。
The
ユーザ端末５ａは、感情判断サーバ１の問い合わせに基づいてユーザ端末５ａの属性情報を感情判断サーバ１に送信する（図６に示すステップ２３）。
The
感情判断サーバ１は、ユーザ端末５ｂに対してユーザ端末５ｂの属性情報を送信するよう問い合わせる（図６に示すステップ２４）。
The
ユーザ端末５ｂは、感情判断サーバ１の問い合わせに基づいてユーザ端末５ｂの属性情報を感情判断サーバ１に送信する（図６に示すステップ２５）。
The
図２に示す、感情判断サーバ１の感情情報提供先特定部２６は、ユーザ端末５ａの属性情報及びユーザ端末５ｂの属性情報に基づいてユーザ端末５ａとユーザ端末５ｂとの関連性を判断し、判断した関連性に基づいてユーザ端末５ｂを感情情報の提供先として特定するか否かを判断する。
The emotion information providing
感情情報提供先特定部２６は、両者の関連性がない又は低いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断する。又は、感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの関連性を判断し、両者の関連性が有る又は高いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断する。
When the emotion information
図２に示す、感情判断サーバ１の感情情報提供部２８は、感情情報提供先特定部２６がユーザ端末５ｂを感情情報の提供先として特定すると判断した場合は、感情情報をユーザ端末５ｂに送信する（図６に示すステップ２６）。一方で、感情判断サーバ１の感情情報提供部２８は、感情情報提供先特定部２６がユーザ端末５ｂを感情情報の提供先として特定しないと判断した場合は、感情情報をユーザ端末５ｂに送信しない。
The emotion
上記により、音声・画像・動画情報などの非文字情報に基づいて人の感情を判断することにより、人の感情をより正確に把握することができる。 As described above, by determining a person's emotion based on non-character information such as voice, image, and moving image information, the person's emotion can be grasped more accurately.
（他の実施形態）
なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。
(Other embodiments)
In addition, this embodiment is for making an understanding of this invention easy, and does not limit this invention and interpret it. The present invention can be changed / improved without departing from the gist thereof, and the present invention includes equivalents thereof.
本実施形態では、感情判断サーバ１、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅ、及び情報管理サーバ３ａ、３ｂ、３ｃが処理する情報として、非文字情報及び非文字関連情報を例に挙げて説明をしているが、文字情報及び文字関連情報を排除しているわけでない。上記各構成は、文字情報及び文字関連情報についても、処理可能なように構成されていてもよい。
In the present embodiment, the non-character information and the non-character related information are exemplified as information processed by the
また、感情判断システム１００は、図１に示した構成要素を全て含むものではなく、その一部の構成要素により構成されるものであってもよい。例えば、図１には、情報管理サーバ３ａ、３ｂ、３ｃは三つ、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅは五つ、示されているが、数に制限はない。さらに、本実施形態では、感情判断部２４は、感情判断サーバ１に例示的に含まれているが、感情判断部２４は、ユーザ端末５ａ、５ｂ、５ｃ、５ｄ、５ｅに含まれるように構成されていてもよい。
Moreover, the
さらに、図５及び図６に示すステップは必ずしもこのステップ通りに実行されなくてもよく、適宜変更されてよい。例えば、図５のＳ１２及びＳ１３が実行される前に、Ｓ１４及びＳ１５が実行されてもよいし、図６のＳ２２及びＳ２３が実行される前に、Ｓ２４及びＳ２５が実行されてもよい。 Furthermore, the steps shown in FIG. 5 and FIG. 6 do not necessarily have to be executed according to these steps, and may be changed as appropriate. For example, S14 and S15 may be executed before S12 and S13 in FIG. 5 are executed, and S24 and S25 may be executed before S22 and S23 in FIG. 6 are executed.
１：感情判断サーバ
３ａ、３ｂ、３ｃ：情報管理サーバ
５、５ａ、５ｂ、５ｃ、５ｄ、５ｅ：ユーザ端末
１０：情報処理部
１２：非文字情報記憶部
１４：感情情報記憶部
２０：情報取得部
２２：属性決定部
２４：感情判断部
２６：感情情報提供先特定部
２８：感情情報提供部
Ｍ：マップ
Ａｒ：エリア
ＦＩ：感情情報
５０：ネットワーク
１００：感情判断システム
1:
そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、画像情報に基づいて人の感情を判断することにより、人の感情をより正確に把握することを目的の一つとし得る。 Accordingly, some aspects of the present invention have been made in view of such circumstances, and one of the purposes is to more accurately grasp a person's emotion by judging the person's emotion based on image information. Can do.
上記課題を解決するために、本発明の一側面に係る感情判断装置は、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得する情報取得部と、前記画像情報を前記画像関連情報と関連付けて記憶する非文字情報記憶部と、前記画像情報と前記画像関連情報とに基づいて人の感情を判断する感情判断部と、を備える。 In order to solve the above problems, the emotion determination device according to one aspect of the present invention, image information, the acquisition position information indicating the position acquired image information, the image information acquired time information indicating the time, and at least one image-related information and is, an information acquisition section that acquires, non-text information storing the image information the image related information in association with one of the environmental information indicating the environment of the position acquired the image information A storage unit; and an emotion determination unit that determines a human emotion based on the image information and the image- related information.
また、本発明の一側面に係る感情判断方法は、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得し、前記画像情報を前記画像関連情報と関連付けて記憶し、前記画像情報と前記画像関連情報とに基づいて人の感情を判断する。 The emotion determination method according to an aspect of the present invention includes an image information acquisition position information indicating the position acquiring the image information, time information indicating a time obtained the image information, and acquires the image information acquires, image-related information and at least one of environmental information indicating the environment of the location, the image information stored in association with the image-related information, based on the image information and the image-related information Judge the feelings of people.
また、本発明の一側面に係るプログラムは、コンピュータに、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得する機能と、前記画像情報を前記画像関連情報と関連付けて記憶する機能と、前記画像情報と前記画像関連情報とに基づいて人の感情を判断する機能と、を実行させる。 The program according to one aspect of the present invention, obtains the computer, and image information, acquiring position information indicating the position acquiring the image information, time information indicating a time obtained the image information, and the image information the function of acquiring the image related information and, said at least one of environmental information indicating the position of the environment with the function of storing the image information in association with the image-related information, the image associated with the image information And a function of judging a person's emotion based on the information.
本発明によれば、画像情報に基づいて人の感情を判断するので、人の感情をより正確に把握することができる。 According to the present invention, since a person's emotion is judged based on image information, a person's emotion can be grasped more accurately.
感情情報提供先特定部２６は、例えば、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が遠いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断するように構成される。また、感情情報提供先特定部２６は、例えば、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断するように構成される。
For example, the emotion information
感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が遠いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定しないと判断する。又は、感情情報提供先特定部２６は、ユーザ端末５ａとユーザ端末５ｂとの距離を測定し、両者の距離が近いと判断した場合、ユーザ端末５ｂを感情情報の提供先として特定すると判断する。
The emotion information
そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、画像情報と、画像関連情報と、画像情報に基づいて決定される、画像情報に対応づけられる人の属性を示す決定属性情報と、に基づいて人の感情を判断することにより、人の感情をより正確に把握することを目的の一つとし得る。 Therefore, some aspects of the present invention have been made in view of such circumstances, and show image information, image-related information, and attributes of a person associated with the image information determined based on the image information. One of the purposes can be to grasp a person's emotion more accurately by judging the person's emotion based on the decision attribute information .
上記課題を解決するために、本発明の一側面に係る感情判断装置は、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得する情報取得部と、前記画像情報を前記画像関連情報と関連付けて記憶する非文字情報記憶部と、前記画像情報と、前記画像関連情報と、前記画像情報に基づいて決定される、前記画像情報に対応づけられる人の属性を示す決定属性情報と、に基づいて人の感情を判断する感情判断部と、を備える。 In order to solve the above problem, an emotion determination apparatus according to an aspect of the present invention includes image information, acquisition position information indicating a position where the image information is acquired, time information indicating a time when the image information is acquired, and An information acquisition unit that acquires image-related information that is at least one of environment information indicating the environment at the position where the image information was acquired, and non-character information that stores the image information in association with the image-related information A person's emotion is determined based on the storage unit, the image information, the image-related information, and determined attribute information that is determined based on the image information and indicates an attribute of the person associated with the image information. An emotion determination unit.
また、本発明の一側面に係る感情判断方法は、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得し、前記画像情報を前記画像関連情報と関連付けて記憶し、前記画像情報と、前記画像関連情報と、前記画像情報に基づいて決定される、前記画像情報に対応づけられる人の属性を示す決定属性情報と、に基づいて人の感情を判断する。 In addition, the emotion determination method according to one aspect of the present invention acquires image information, acquisition position information indicating a position where the image information is acquired, time information indicating a time when the image information is acquired, and the image information. Image related information that is at least one of environmental information indicating an environment of the position, and stores the image information in association with the image related information, the image information, the image related information , A person's emotion is judged based on the determination attribute information which shows the attribute of the person matched with the said image information determined based on image information .
また、本発明の一側面に係るプログラムは、コンピュータに、画像情報と、前記画像情報を取得した位置を示す取得位置情報、前記画像情報を取得した時間を示す時間情報、及び前記画像情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである画像関連情報と、を取得する機能と、前記画像情報を前記画像関連情報と関連付けて記憶する機能と、前記画像情報と、前記画像関連情報と、前記画像情報に基づいて決定される、前記画像情報に対応づけられる人の属性を示す決定属性情報と、に基づいて人の感情を判断する機能と、を実行させる。 A program according to an aspect of the present invention acquires, in a computer, image information, acquisition position information indicating a position where the image information is acquired, time information indicating a time when the image information is acquired, and the image information. A function of acquiring image related information that is at least one of environment information indicating the environment of the position, a function of storing the image information in association with the image related information, the image information, and the image The function of determining the emotion of the person based on the related information and the determination attribute information indicating the attribute of the person associated with the image information determined based on the image information is executed.
本発明によれば、画像情報と、画像関連情報と、画像情報に基づいて決定される、画像情報に対応づけられる人の属性を示す決定属性情報と、に基づいて人の感情を判断するので、人の感情をより正確に把握することができる。 According to the present invention, since a person's emotion is determined based on image information, image-related information, and determined attribute information that is determined based on the image information and indicates the attribute of the person associated with the image information . , Can understand the emotions of people more accurately.
Claims (8)
前記非文字情報を前記非文字関連情報と関連付けて記憶する非文字情報記憶部と、
前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する感情判断部と、
を備える感情判断装置。 Non-character information, acquisition position information indicating a position where the non-character information is acquired, time information indicating a time when the non-character information is acquired, and environment information indicating an environment of the position where the non-character information is acquired An information acquisition unit for acquiring at least one non-character related information;
A non-character information storage unit for storing the non-character information in association with the non-character related information;
An emotion determination unit that determines a person's emotion based on the non-character information and the non-character-related information;
Emotion determination device comprising:
前記感情判断部は、前記非文字情報及び決定された前記人の属性を示す決定属性情報にさらに基づいて前記人の感情を判断する、
請求項１に記載の感情判断装置。 An attribute determining unit that determines an attribute of a person associated with the non-character information based on the non-character information;
The emotion determination unit determines the emotion of the person based on the non-character information and the determined attribute information indicating the determined attribute of the person;
The emotion determination apparatus according to claim 1.
特定された前記提供先に前記感情情報を提供する感情情報提供部と、をさらに備える、
請求項１又は２に記載の感情判断装置。 An emotion information provider identifying unit that identifies a provider of emotion information indicating the emotion of the person determined by the emotion determination unit;
An emotion information providing unit that provides the emotion information to the specified providing destination;
The emotion judgment device according to claim 1 or 2.
請求項３に記載の感情判断装置。 The emotion information providing destination specifying unit includes first position information indicating a position of a first user terminal that instructs to provide the emotion information, and a second position indicating a position of a second user terminal different from the first user terminal. And measuring the distance between the first user terminal and the second user terminal based on the position information, and determining whether to specify the second user terminal as the providing destination based on the measured distance. To
The emotion determination apparatus according to claim 3.
請求項３に記載の感情判断装置。 The emotion information provision destination specifying unit includes first attribute information indicating an attribute of the first user of the first user terminal instructing to provide the emotion information, and a second user terminal different from the first user terminal. Based on the second attribute information indicating the attribute of the second user, the relevance between the first user and the second user is determined, and the second user terminal is provided based on the determined relevance To determine whether to identify as,
The emotion determination apparatus according to claim 3.
請求項１〜５のいずれか一つに記載の感情判断装置。 An emotion information storage unit for storing emotion information indicating the determined emotion of the person in association with the non-character related information;
The emotion judgment device according to any one of claims 1 to 5.
前記非文字情報を前記非文字関連情報と関連付けて記憶し、
前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する、
感情判断方法。 Non-character information, acquisition position information indicating a position where the non-character information is acquired, time information indicating a time when the non-character information is acquired, and environment information indicating an environment of the position where the non-character information is acquired And at least one non-character related information,
Storing the non-character information in association with the non-character related information;
Determining a human emotion based on the non-character information and the non-character-related information;
Emotion judgment method.
非文字情報と、前記非文字情報を取得した位置を示す取得位置情報、前記非文字情報を取得した時間を示す時間情報、及び前記非文字情報を取得した前記位置の環境を示す環境情報のうち少なくとも一つである非文字関連情報と、を取得する機能と、
前記非文字情報を前記非文字関連情報と関連付けて記憶する機能と、
前記非文字情報と前記非文字関連情報とに基づいて人の感情を判断する機能と、
を実行させるためのプログラム。 On the computer,
Non-character information, acquisition position information indicating a position where the non-character information is acquired, time information indicating a time when the non-character information is acquired, and environment information indicating an environment of the position where the non-character information is acquired A function of acquiring at least one non-character related information;
A function of storing the non-character information in association with the non-character related information;
A function of judging human emotion based on the non-character information and the non-character-related information;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014042577A JP2015169702A (en) | 2014-03-05 | 2014-03-05 | Emotion determination device and emotion determination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014042577A JP2015169702A (en) | 2014-03-05 | 2014-03-05 | Emotion determination device and emotion determination method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015169702A true JP2015169702A (en) | 2015-09-28 |
Family
ID=54202518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014042577A Pending JP2015169702A (en) | 2014-03-05 | 2014-03-05 | Emotion determination device and emotion determination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015169702A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018061840A1 (en) * | 2016-09-29 | 2018-04-05 | 株式会社村田製作所 | Information display program, data transmission program, data transmission device, data transmission method, information provision device, and information provision method |
| WO2018150720A1 (en) * | 2017-02-20 | 2018-08-23 | ソニー株式会社 | Information processing system and information processing method |
| JP2019518247A (en) * | 2016-03-31 | 2019-06-27 | シェン ツェン クアン−チ ヘチョン テクノロジー リミティッド | Cloud-based equipment and operation method thereof |
| CN110021308A (en) * | 2019-05-16 | 2019-07-16 | 北京百度网讯科技有限公司 | Voice mood recognition methods, device, computer equipment and storage medium |
| US11272888B1 (en) | 2021-06-22 | 2022-03-15 | Nft Ip Holdings Llc | Devices and systems that measure, quantify, compare, package, and capture human content in databases |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003110703A (en) * | 2001-10-02 | 2003-04-11 | Sony Corp | Information communication system, information communication method and computer program |
| JP2010054568A (en) * | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | Emotional identification device, method and program |
| JP2012146216A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
| JP2013210813A (en) * | 2012-03-30 | 2013-10-10 | Nec Casio Mobile Communications Ltd | Terminal device, emotion information sharing method, and program |
| JP2013222347A (en) * | 2012-04-17 | 2013-10-28 | Canon Inc | Minute book generation device and minute book generation method |
-
2014
- 2014-03-05 JP JP2014042577A patent/JP2015169702A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003110703A (en) * | 2001-10-02 | 2003-04-11 | Sony Corp | Information communication system, information communication method and computer program |
| JP2010054568A (en) * | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | Emotional identification device, method and program |
| JP2012146216A (en) * | 2011-01-13 | 2012-08-02 | Nikon Corp | Electronic device and program for controlling the same |
| JP2013210813A (en) * | 2012-03-30 | 2013-10-10 | Nec Casio Mobile Communications Ltd | Terminal device, emotion information sharing method, and program |
| JP2013222347A (en) * | 2012-04-17 | 2013-10-28 | Canon Inc | Minute book generation device and minute book generation method |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019518247A (en) * | 2016-03-31 | 2019-06-27 | シェン ツェン クアン−チ ヘチョン テクノロジー リミティッド | Cloud-based equipment and operation method thereof |
| WO2018061840A1 (en) * | 2016-09-29 | 2018-04-05 | 株式会社村田製作所 | Information display program, data transmission program, data transmission device, data transmission method, information provision device, and information provision method |
| JPWO2018061840A1 (en) * | 2016-09-29 | 2019-08-29 | 株式会社村田製作所 | Information display program, data transmission program, data transmission apparatus, data transmission method, information provision apparatus, and information provision method |
| WO2018150720A1 (en) * | 2017-02-20 | 2018-08-23 | ソニー株式会社 | Information processing system and information processing method |
| JPWO2018150720A1 (en) * | 2017-02-20 | 2019-12-19 | ソニー株式会社 | Information processing system and information processing method |
| JP7052734B2 (en) | 2017-02-20 | 2022-04-12 | ソニーグループ株式会社 | Information processing system and information processing method |
| US11413519B2 (en) | 2017-02-20 | 2022-08-16 | Sony Corporation | Information processing system and information processing method |
| CN110021308A (en) * | 2019-05-16 | 2019-07-16 | 北京百度网讯科技有限公司 | Voice mood recognition methods, device, computer equipment and storage medium |
| CN110021308B (en) * | 2019-05-16 | 2021-05-18 | 北京百度网讯科技有限公司 | Speech emotion recognition method and device, computer equipment and storage medium |
| US11272888B1 (en) | 2021-06-22 | 2022-03-15 | Nft Ip Holdings Llc | Devices and systems that measure, quantify, compare, package, and capture human content in databases |
| US11382570B1 (en) | 2021-06-22 | 2022-07-12 | Nft Ip Holdings Llc | Encrypted securitized databases for devices and systems that measure, quantify, compare, package, and capture data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11637797B2 (en) | Automated image processing and content curation | |
| US10664512B1 (en) | Query matching to media collections in a messaging system | |
| CN108885639B (en) | Content collection navigation and automatic forwarding | |
| US20190236450A1 (en) | Multimodal machine learning selector | |
| US11676378B2 (en) | Providing travel-based augmented reality content with a captured image | |
| US11966853B2 (en) | Machine learning modeling using social graph signals | |
| US11601391B2 (en) | Automated image processing and insight presentation | |
| US11769500B2 (en) | Augmented reality-based translation of speech in association with travel | |
| US11574005B2 (en) | Client application content classification and discovery | |
| US11983461B2 (en) | Speech-based selection of augmented reality content for detected objects | |
| JP2015169702A (en) | Emotion determination device and emotion determination method | |
| KR20240024347A (en) | Messaging system for resurfacing content items | |
| KR20220155601A (en) | Voice-based selection of augmented reality content for detected objects | |
| KR20230031915A (en) | Third-Party Fixes to the Camera User Interface | |
| US11544921B1 (en) | Augmented reality items based on scan | |
| US9875512B2 (en) | Photo and video sharing | |
| US20220319082A1 (en) | Generating modified user content that includes additional text content | |
| US11645324B2 (en) | Location-based timeline media content system | |
| US20210304449A1 (en) | Machine learning-based modification of image content | |
| US11651280B2 (en) | Recording medium, information processing system, and information processing method | |
| US11108581B1 (en) | Group contact lists generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150630 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160122 |