JP2005032167A - Apparatus, method, and system for information retrieval, client device, and server device - Google Patents
Apparatus, method, and system for information retrieval, client device, and server device Download PDFInfo
- Publication number
- JP2005032167A JP2005032167A JP2003273381A JP2003273381A JP2005032167A JP 2005032167 A JP2005032167 A JP 2005032167A JP 2003273381 A JP2003273381 A JP 2003273381A JP 2003273381 A JP2003273381 A JP 2003273381A JP 2005032167 A JP2005032167 A JP 2005032167A
- Authority
- JP
- Japan
- Prior art keywords
- content
- information
- user
- search
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
この発明は、例えば、ユーザからの要求に応じて情報を検索して提供するようにする装置、方法、システムに関する。 The present invention relates to an apparatus, method, and system for searching and providing information in response to a request from a user, for example.
例えば、インターネットを通じて提供されるオンラインショップなどのように、過去の購買履歴やユーザ(購買者)の嗜好に関する情報などの事前入力情報を考慮して、ユーザが購入を希望するであろうコンテンツ(書籍、映画、音楽データ等が記録されたCD(Compact Disc)、イベントチケットなど)に関する情報を提供し、コンテンツやチケットなどの購買を補助するようにするサービスが行われている。 For example, content (books) that users would like to purchase in consideration of prior input information such as past purchase history and information on user (buyer) preferences, such as online shops offered through the Internet Information on CDs (Compact Discs) on which movies, music data, etc. are recorded, event tickets, etc.) is provided, and services for assisting the purchase of contents, tickets, etc. are provided.
この場合、購入後のコンテンツの体験効果(満足度や快適度など)が反映されないため、過去に不満に感じたコンテンツの購入履歴も含んだ推奨サービスが実施されることになる。つまり、オンラインショッピングで購入した書籍があまりおもしろくなかった場合でも、その購入履歴は残るので、その購入履歴に基づいて、好みでないジャンルの書籍や好みでない作家の書籍についても推奨されてしまう場合もある。 In this case, since the experience effect (satisfaction level, comfort level, etc.) of the content after purchase is not reflected, the recommended service including the purchase history of the content that has been dissatisfied in the past is implemented. In other words, even if a book purchased through online shopping is not very interesting, its purchase history will remain, and based on the purchase history, books of unfavorable genres and books of unfavorable authors may be recommended. .
また、ユーザのコンテンツに対する嗜好も常に同じではなく、その日の気分や体調などによって変化する場合もある。しかし、上述のような、コンテンツの推奨サービスを受けるにあたって、毎回、自己の嗜好に関する情報を入力しなければならないのは面倒であるし、また、ユーザ自身が自己の体調や気分を正確に把握し、これに応じた情報を事前入力情報として入力するようにすることは難しい。 Also, the user's preference for content is not always the same, and may change depending on the mood and physical condition of the day. However, it is cumbersome to input information about one's preferences every time when receiving the recommended content service as described above, and the user himself / herself accurately grasps his / her physical condition and mood. It is difficult to input information corresponding to this as pre-input information.
そこで、履歴情報や事前入力情報だけによらず、ユーザ毎に異なる客観的な情報を用いて、コンテンツの推奨サービスを行うようにすることが考えられている。例えば、特許文献1(特開2002−222209号公報)には、ユーザの感情リズム値を用いる方式が提案されている。 In view of this, it is considered to provide a content recommendation service using objective information that is different for each user, regardless of only history information or pre-input information. For example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2002-222209) proposes a method using a user's emotion rhythm value.
この特許文献1に記載の方式は、レンタル用コンテンツについて、喜怒哀楽の内のどの感情を刺激する要素を含むかを予め調べて分類しておき、分類したそれぞれのコンテンツのレンタル周期から、各感情の周期を正弦波関数で表し、この正弦波関数とユーザの生年月日データと性別データとに基づいて、そのユーザの各感情リズム値を得て、この感情リズム値に基づいて、そのユーザに適したコンテンツの推奨を行うようにするものである。
In the method described in
この特許文献1に記載の方式を用いることにより、ユーザの感情リズムというユーザ毎に得られる客観的な情報に基づいて、コンテンツの推奨を行うことができ、履歴情報や事前入力情報だけによらず、ユーザに対して新たな基準に基づいて、コンテンツを推奨するための情報を提供し、コンテンツを推奨するサービス自体に新たな価値を付加することができるようにされる。
By using the method described in
上述した特許文献は以下のとおりである。
ところで、上述したように、特許文献1に記載の方式の場合、ユーザの感情リズム値は、予め分類されたレンタル用コンテンツのレンタル周期とユーザの生年月日と性別とに基づいて求められる。レンタル用コンテンツのレンタル周期は、レンタル用コンテンツの数や種類、客層などにより影響を受ける。このため、レンタル用コンテンツのレンタル周期が用いられて得られるユーザの感情リズム値を基準として用いてコンテンツを推奨する場合には、ユーザに提供する情報の信憑性が問題となる場合があると考えられる。
By the way, as described above, in the case of the method described in
そこで、履歴情報や事前入力情報、その他、ユーザからの情報ではない外的情報を用いることなく、各ユーザの感情状態を正確に分析して、ユーザ毎に適切なコンテンツを推奨できるようにし、ユーザが目的とするコンテンツを迅速かつ正確に見つけ出すことができるようにすることが望まれている。 Therefore, it is possible to accurately analyze the emotional state of each user without using history information, prior input information, or other external information that is not information from the user, and to recommend appropriate content for each user. It is desired to be able to find the target content quickly and accurately.
以上のことにかんがみ、この発明は、履歴情報や事前入力情報だけでなく、ユーザ毎の感情状態、あるいは、感情状態の変化に応じて、ユーザ毎に適切なコンテンツの検索および推奨ができるようにする装置、方法、システムを提供することを目的とする。 In view of the above, the present invention enables not only history information and pre-input information but also search and recommendation of appropriate content for each user according to the emotional state for each user or the change in emotional state. An object of the present invention is to provide an apparatus, a method, and a system.
上記課題を解決するため、請求項1に記載の発明の情報検索装置は、
ユーザから1種類以上の生体情報を検出する検出手段と、
前記検出手段により検出された1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記ユーザに対して推奨するコンテンツを検索する検索手段と、
前記検索手段においての検索結果を通知する通知手段と
を備えることを特徴とする。
In order to solve the above-described problem, an information search apparatus according to the invention described in
Detecting means for detecting one or more types of biological information from the user;
Analysis means for analyzing the emotional state of the user from one or more types of biological information detected by the detection means;
Search means for searching for recommended content for the user based on the analysis result by the analysis means;
Notification means for notifying the search result in the search means.
この請求項1に記載の情報検索装置によれば、検出手段により、ユーザの1種類以上の生体情報が検出され、これが解析手段により解析されて、生体情報の供給元であるユーザの感情状態が解析される。この解析手段の解析結果に基づいて、すなわち、ユーザの感情状態に応じて、検索手段により当該ユーザに対して推奨するコンテンツが検索され、この検索結果が通知手段を通じてユーザに通知される。 According to the information retrieval apparatus of the first aspect, the detection unit detects one or more types of biological information of the user, which is analyzed by the analysis unit, and the emotional state of the user who is the supply source of the biological information is determined. Analyzed. Based on the analysis result of the analysis means, that is, according to the emotional state of the user, the search means searches for content recommended for the user, and the search result is notified to the user through the notification means.
これにより、ユーザが自分では客観的に認識が難しい自己の感情状態が、自己の生体情報から自動的に解析され、その解析結果に応じて、そのユーザに対して、そのユーザの感情状態に応じたコンテンツが検索され、これが推奨するようにされる。すなわち、ユーザの感情状態に基づく、コンテンツの検索、推奨が実現される。 As a result, the user's own emotional state that is difficult for the user to recognize objectively is automatically analyzed from his / her own biological information, and the user's emotional state is determined according to the analysis result. Searched content is retrieved and recommended. That is, content search and recommendation based on the emotional state of the user are realized.
したがって、ユーザは、多数のコンテンツの中から、自己の感情状態に応じて検索されたコンテンツの推奨を受けることができるようにされる。そして、推奨されたコンテンツの中から好みのコンテンツを選択し、これを体験(利用)することができるようにされる。 Therefore, the user can receive the recommendation of the searched content according to his / her emotional state from among a large number of contents. Then, the user can select a favorite content from the recommended content and experience (use) it.
この発明により、ユーザの生体情報を解析することによりユーザの感情情報を得て、この感情情報を用いることにより、ユーザに対し、より個人性にマッチしたコンテンツの推奨を行うことができる。つまり、ユーザが自分の感情状態を分析したり、また、複雑な操作を行ったりすることなく、ユーザの感情状態を自動的に解析して、この解析結果に応じて、ユーザに合ったコンテンツを推奨するようにすることができるようにされる。 According to the present invention, it is possible to obtain user emotion information by analyzing the biological information of the user, and to use this emotion information to recommend content that matches the individuality to the user. In other words, without analyzing the user's emotional state or performing complicated operations, the user's emotional state is automatically analyzed, and content suitable for the user is determined according to the analysis result. Be able to make recommendations.
したがって、ユーザ側から見ると、自分の感情状態が客観的に把握され、この把握された感情状態をも考慮して、自分により適したコンテンツの検索、推奨サービスを受けることができるようにされる。 Therefore, when viewed from the user side, his / her emotional state is objectively grasped, and the content search / recommendation service more suitable for himself / herself can be received in consideration of the grasped emotional state. .
以下、図を参照しながら、この発明による装置、方法、システムの一実施の形態について説明する。 Hereinafter, an embodiment of an apparatus, method, and system according to the present invention will be described with reference to the drawings.
なお、以下の実施の形態においては、次の順序にしたがって説明する。
1:第1の実施の形態(コンテンツ推奨装置について)
1−1:コンテンツ推奨装置の概要について
1−2:記録装置部11の構成について
1−3:感情解析処理部120における感情解析の一例について
1−4:コンテンツ推奨装置の動作の概要について
1−5:コンテンツの推奨の具体例について
1−6:コンテンツ体験(利用)時の動作について
1−7:コンテンツ推奨装置の動作のまとめ
2:第2の実施の形態(コンテンツ検索推奨システムについて)
2−1:コンテンツ検索推奨システムの概要
2−2:クライアント端末1について
2−3:サーバ装置2について
2−4:コンテンツ検索推奨システムの動作について
3:その他
The following embodiments will be described in the following order.
1: First embodiment (about content recommendation device)
1-1: Overview of content recommendation device 1-2: Configuration of
1-3: An example of emotion analysis in the emotion
1-4: Outline of operation of content recommendation device
1-5: Specific examples of content recommendations
1-6: Operation during content experience (use)
1-7: Summary of operation of content recommendation device
2: Second embodiment (about content search recommendation system)
2-1: Overview of content search recommendation system 2-2: About
2-4: Operation of content search recommendation system 3: Others
[1:第1の実施の形態(コンテンツ推奨装置について)]
[1−1:コンテンツ推奨装置の概要について]
まず、この発明による情報検索装置、情報検索方法の一実施の形態が適用されたコンテンツ推奨装置について説明する。図1は、この実施の形態のコンテンツ推奨装置を説明するためのブロック図である。この実施の形態のコンテンツ推奨装置は、一般のユーザ(エンドユーザ)に利用される装置である。コンテンツ推奨装置は、ユーザからのスケジュール情報の入力を受け付けて、これを管理するスケジュール帳機能を備えるものである。
[1: First embodiment (about content recommendation device)]
[1-1: Overview of content recommendation device]
First, a content recommendation device to which an embodiment of an information search device and an information search method according to the present invention is applied will be described. FIG. 1 is a block diagram for explaining a content recommendation device according to this embodiment. The content recommendation device of this embodiment is a device used by a general user (end user). The content recommendation device is provided with a schedule book function that receives input of schedule information from the user and manages this.
また、コンテンツ推奨装置は、詳しくは後述もするように、ユーザの体温や脈拍などの種々の生体情報を継続的に検出して蓄積し、この蓄積した生体情報に基づいて、ユーザの感情状態を分析することができるものである。そして、この実施の形態のコンテンツ推奨装置は、ユーザが目的とする日にコンテンツの利用スケジュールを入力した場合に、感情状態をも考慮してそのユーザにとって適切なコンテンツを検索し、これをユーザに推奨することができるものである。 In addition, as will be described in detail later, the content recommendation device continuously detects and accumulates various biological information such as the user's body temperature and pulse, and based on the accumulated biological information, the user's emotional state is detected. It can be analyzed. Then, when the user inputs a content usage schedule on a target date, the content recommendation device according to this embodiment searches the content appropriate for the user in consideration of the emotional state, and sends this to the user. It can be recommended.
つまり、この実施の形態のコンテンツ推奨装置は、スケジュール帳機能とコンテンツ検索推奨機能とを備えた情報検索装置であり、スケジュール帳機能に連動させて、自己の感情状態をも考慮した適切なコンテンツの検索推奨機能を実現するようにしたものである。そして、この実施の形態のコンテンツ推奨装置は、例えば、パーソナルコンピュータや電子手帳、PDA(Personal Digital Assistants)などの種々の情報処理装置に適用可能なものである。 In other words, the content recommendation device according to this embodiment is an information search device having a schedule book function and a content search recommendation function, and is linked to the schedule book function to obtain an appropriate content considering its own emotional state. The search recommendation function is realized. The content recommendation device according to this embodiment is applicable to various information processing devices such as a personal computer, an electronic notebook, and a PDA (Personal Digital Assistants).
以下、この実施の形態のコンテンツ推奨装置について具体的に説明する。図1に示すように、この実施の形態のコンテンツ推奨装置は、制御部30に対して、感情状態の評価処理系10と、コンテンツ検索推奨処理系20とが接続されて構成されたものである。
Hereinafter, the content recommendation apparatus of this embodiment will be described in detail. As shown in FIG. 1, the content recommendation device of this embodiment is configured by connecting an emotion state
感情状態の評価処理系10は、映像、音声、生体情報および感情記録装置部(以下、単に記録装置部という。)11と、複合情報データベース12と、スケジュールベースアプリケーション部13とからなっている。また、コンテンツ検索推奨処理系20は、通信部21と、コンテンツ情報データベース22と、ユーザ情報データベース23と、コンテンツ推奨処理部24とからなっている。
The emotion state
制御部30は、この実施の形態のコンテンツ推奨装置の各部を制御するものであり、CPU(Central Processing Unit)31、メモリー部32、ユーザインターフェイス(以下、ユーザI/Fと略称する。)33とがシステムバス34を通じて接続されて形成されたものである。
The
制御部30のメモリー部32は、図示しないが、プログラムや処理に必要なデータが記録されてROM(Read Only Memory)と、各種の処理において作業領域(ワークエリア)として用いられるRAM(Random Access Memory)などを備えたものである。また、制御部30のユーザI/F33は、ユーザからの指示入力や各種の情報入力を受け付けるキー操作部やポインティングデバイスなどからなる情報受付部と、LCD(Liquid Crystal Display)などの表示素子やスピーカーなどの情報提供部とからなるものである。
Although not shown, the
そして、感情状態の評価処理系10の記録装置部11は、当該コンテンツ推奨装置のユーザの生体情報を検出し、これを所定の記録媒体に記録すると共に、その記録した生体情報に基づいてユーザの感情状態を解析し、この解析結果も所定の記録媒体に記録するようにするものである。ここで生体情報を解析することにより得られるユーザの感情状態は、詳しくは後述もするように、このコンテンツ推奨装置のユーザに適したコンテンツを検索し、これを推奨する場合に用いられることになる。
Then, the
なお、この記録装置部11は、この実施の形態のコンテンツ推奨装置の本体部分に対して着脱可能とされており、ユーザは記録装置部11をコンテンツ推奨装置から取り外し、例えば、上着のポケットなどに入れるなどして容易に持ち運ぶことができるようにされている。これにより、コンテンツ推奨装置のユーザは、常時、自己の生体情報を、記録装置部11を通じて検出し、蓄積することができるようにされる。
The
記録装置部11により検出された生体情報と感情状態の解析結果は、後述もするように、記録装置部11が備える記録部と、当該コンテンツ推奨装置の複合情報データベース12とが協働して管理を行うようにしている。記録装置部11の記録部と、複合情報データベース12とは、種々の記録装置により実現可能であるが、この実施の形態においては、例えば、ハードディスクドライブにより実現されているものである。
The biometric information detected by the
そして、後述もするように、記録装置部11が備える記録部には、生体情報や感情状態の解析情報である実データが記録保持され、また、複合情報データベース12には、生体情報や感情状態の解析情報のいわゆるインデックス情報が記憶保持される。
As will be described later, the recording unit included in the
すなわち、複合情報データベース12には、図2Aに示すように、例えば、複合情報ID、タイトル、日付、時刻、データ参照先などの情報が登録される。ここで、複合情報IDは、記録装置部11で記録され蓄積されるデータファイルに割り当てられる固有の識別子である。タイトルはデータファイルのタイトル(名称)を表すものであり、例えば再生時にユーザに対してデータの内容を示す場合などに用いられる。
That is, as shown in FIG. 2A, for example, information such as a composite information ID, title, date, time, and data reference destination is registered in the
また、日付は、この記録装置部11が記録を開始した日付を表す。時刻は、記録装置部11がデータの記録を開始した時刻を表す。日付と時刻に関しては、データファイル内に記述されている場合はその値を用いるようにすることも可能である。データ参照先は、記録装置部11に記録され蓄積されているデータファイルの参照先(例えばファイル名)を表すものである。
The date represents the date when the
なお、記録装置部11が当該コンテンツ推奨装置から取り外されている間に蓄積された生体情報に対するインデックス情報(複合情報)は、例えば、記録装置部11がコンテンツ推奨装置に装着された場合に、コンテンツ推奨装置1の制御部30の機能により、複合情報データベース12に形成される。
The index information (composite information) for the biometric information accumulated while the
一方、記録装置部11の記憶部に記録されるデータのファイルフォーマットは種々の態様が考えられるが、例えば、映像、音声、タイムスタンプ、複数の生体信号(例えば、脳波、筋電、心拍、脈波(脈拍)など)、位置(記録装置部11が使用される位置)、天候などの種々の情報が同期した形式で、すなわち、同じ時期に取得された情報については、その取得時期の関連性を維持した状態で記録するようにされている。
On the other hand, the file format of the data recorded in the storage unit of the
このように、記録装置部11と複合情報データベース12とにより、ユーザから検出される生体情報と、この生体情報に応じて解析される感情状態とを管理することができるようにされる。さらに、位置や天候などといった情報も関連付けて管理することもできるようにされる。
As described above, the
また、図1において、感情状態の評価処理系10のスケジュールベースアプリケーション部13は、いわゆるトランザクション処理を行うことにより、スケジュール帳機能と連動した態様で、この実施の形態のコンテンツ推奨装置のユーザに対して、コンテンツの推奨機能を提供することを実現する部分である。
In FIG. 1, the schedule-based
この実施の形態において、スケジュールベースアプリケーション部13は、ユーザからの指示入力に応じて、入力されたスケジュールを管理する処理や、後述するコンテンツ推奨処理部24の処理結果に応じて、推奨されたコンテンツをユーザに対して通知するための処理などを行う処理部131と、ユーザの生体情報や感情情報などの処理に必要なパラメータを格納する記憶部132とから構成される。
In this embodiment, the schedule-based
なお、処理部131の機能は、例えばROM32に記録されるプログラムをCPU31において実行することにより実現することも可能である。すなわち、処理部131の機能は、制御部30において実行されるソフトウエアによって実現することも可能である。また、記憶部132は、RAMやEEPROM(Electrically Erasable and Programmable ROM)などの半導体メモリーやハードディスクによって構成することが可能である。
Note that the function of the
このように、この実施の形態のコンテンツ推奨装置においては、記録装置部11と、複合情報データベース12と、スケジュールベースアプリケーション部13とにより、生体情報の測定(検出)、生体情報の蓄積、生体情報を用いた感情状態の評価と把握などの主に感情状態の評価に関する処理を行うようにしている。
Thus, in the content recommendation device of this embodiment, the
また、コンテンツ推奨処理系20の通信部21は、例えば、インターネットなどの広域通信ネットワーク等に接続し、通信処理を行うようにするためのものであり、この実施の形態のコンテンツ推奨装置が種々のコンテンツについての情報を収集する場合などに用いられるものである。
Further, the
また、コンテンツ推奨処理系20のコンテンツ情報データベース22は、例えば、通信部21を通じて受け付けられる、種々の情報提供機関から提供されるユーザが利用可能なコンテンツについての情報を記憶保持するものである。ここで、情報提供機関は、それが設置されている、あるいは、担当することになる、競技場、ホール、映画館、美術館などのチケットの売れ行きや、それらの場所で提供される催し物などのコンテンツについての関心度などについての情報を提供するものであり、例えば、パーソナルコンピュータなどにより実現される。
In addition, the
コンテンツ情報データベース22の内容は、例えば、定期的に最新情報の更新が行われる。このコンテンツ情報データベース22には、例えば図2Bに示すように、コンテンツID、品目、在庫数、単価、在庫期間、有効期間、類型、在庫場所、利用場所、問合せ状況、および販売実績などの情報が登録されている。
For example, the latest information is periodically updated in the
コンテンツ情報データベース22のコンテンツIDは、コンテンツ(例えば、イベントのチケット等)に割り当てられた固有の識別子であり、インターネットで広く共通に利用されるものである。品目は、コンテンツの名称を表す。在庫数はコンテンツの在庫数を表す。また、単価は、推奨するコンテンツの単位当たりの販売価格を表す。在庫期間は、推奨するコンテンツの在庫期間を表す。
The content ID in the
また、有効期間は、推奨するコンテンツの有効期間を表す。類型は、推奨するコンテンツの分類を表す。例えば、推奨するコンテンツがチケットの場合、そのチケットが対象とするイベントの分類(音楽、観光などの分類)が類型により表される。また、推奨するコンテンツが映画の場合には、悲しい内容、明るい内容、リラックスを促進できる内容など、その内容の分類やコンテンツの特性を表すこともできるようにされる。 The effective period represents the effective period of the recommended content. The type represents a classification of recommended content. For example, if the recommended content is a ticket, the classification of events (classification of music, tourism, etc.) targeted by the ticket is represented by type. In addition, when the recommended content is a movie, the content classification and content characteristics such as sad content, bright content, and content that can promote relaxation can be expressed.
在庫場所は、推奨するコンテンツを管理している担当店名、担当地域などを表す。利用場所は推奨するコンテンツを体験する場所(例えば、推奨するコンテンツがチケットの場合、そのチケットで体験できるイベントが行われる場所)を表す。問合せ状況は、推奨するコンテンツに関して、情報提供機関にどの程度の問合せが行われているかに基づいて算出されるレベル(関心度)を表す。販売実績は、推奨するコンテンツに関して、販売開始時刻からどの程度販売されたかに基づいて算出されるレベル(人気度)を表す。 The inventory location represents the name of the store in charge, the region in charge, etc. managing the recommended content. The use place represents a place where the recommended content is experienced (for example, when the recommended content is a ticket, an event where an event that can be experienced with the ticket is performed). The inquiry status represents a level (degree of interest) calculated based on how much inquiry is made to the information provider regarding the recommended content. The sales record represents a level (popularity) calculated based on how much the recommended content has been sold since the sales start time.
この他、ユーザの感情状態に応じたコンテンツを推奨するために、各コンテンツがユーザの感情にどのように作用するかなどのコンテンツの特性の評価を行っておき、この特性の評価結果を示す情報をも記憶保持するようにしておくことにより、コンテンツの検索を効率的に行うようにすることができる。 In addition, in order to recommend content according to the user's emotional state, information on the evaluation results of the content, such as how each content affects the user's emotion, is evaluated and information indicating the evaluation result of this property It is possible to efficiently search for content by storing and holding the content.
このように、コンテンツ情報データベース22は、ユーザが利用可能なコンテンツについての上述した種々の情報について記憶保持しているものであり、例えば、ハードディスクドライブにより実現されるものである。もちろん、ハードディスク以外にも、光ディスクなどを用いることも可能であり、光ディスクの場合には、予めコンテンツに関する情報が記録されたCD−ROMを用いることができる。また、記録可能な光ディスクを用いることにより、通信部21を通じて取得する外部からのコンテンツに関する情報をハードディスクの場合と同様に記憶保持することもできるようにされる。
As described above, the
また、ユーザ情報データベース23は、いわゆるセッション管理のための情報を格納する部分である。このユーザ情報データベース23は、例えば、図2Cに示すように、ユーザID、コンテンツID、ステータス、購入数、購入日、購入時刻、購入場所、有効期間、感情情報などの情報が登録されると共に、ユーザ情報エリアが登録されたものである。
The
ユーザ情報データベース23において、ユーザIDは、ユーザに割り当てられた固有の識別子であり、例えば、スケジュールベースアプリケーション部13の記憶部132に登録されていたものである。このユーザIDは通常は必要ないが、例えば、通信I/F21を通じて通信を行うような場合には必要になるものである。コンテンツIDは、ユーザが推奨を希望しているコンテンツの名称と、それを識別するIDを表す。
In the
ステータスは、推奨を受けたコンテンツの受け入れ状態(拒否、保留、確定、キャンセル)を表す。購入数は、ユーザが購入したコンテンツの数を表す。この購入数は、例えばユーザの購入単位の把握や、購入数に応じた還元サービスの提供などに利用される。購入日は、ユーザがコンテンツを購入した日付を表し、例えば、ユーザの季節によるサービスの利用情報を把握する場合に利用される。 The status represents an acceptance state (rejection, hold, confirmation, cancellation) of the recommended content. The number of purchases represents the number of contents purchased by the user. The number of purchases is used, for example, for grasping the purchase unit of the user, providing a return service according to the number of purchases, and the like. The purchase date represents the date when the user purchased the content, and is used, for example, when grasping service usage information according to the user's season.
購入時刻は、ユーザがコンテンツを購入した時刻(時間帯)を表す。この購入時刻は、ユーザの時間帯によるサービスの利用状況把握などに利用される。購入場所は、コンテンツを販売した担当店名、担当地域などを表す。この購入場所は、例えばユーザがコンテンツを購入した地域区分の把握などに利用される。 The purchase time represents the time (time zone) when the user purchased the content. This purchase time is used for grasping the service usage status according to the user's time zone. The purchase location represents the name of the store in charge, the region in charge, etc. This purchase place is used, for example, for grasping the region classification where the user purchased the content.
有効期間は、推奨したコンテンツの有効期間を表す。この有効期間は、コンテンツに付随するサービスの提供を受ける期間の判定に用いられる。また、感情情報は、上述もしたように、記録装置部11において検出されて蓄積された生体情報を解析することにより得られた当該コンテンツ推奨装置のユーザの感情状態を示す情報や後述もするように、感情状態を示す情報を感情の種別毎に累積することにより得られる感情分布を示す情報が格納される。
The effective period represents the effective period of the recommended content. This valid period is used to determine the period during which the service accompanying the content is provided. In addition, as described above, the emotion information is information indicating the emotional state of the user of the content recommendation device obtained by analyzing the biological information detected and accumulated in the
ユーザ情報エリアには、ユーザに関する情報、例えば現住所などの個人情報が登録される。このユーザ情報エリアに登録されている情報は、推奨したコンテンツが例えばチケットの場合、そのチケットにより入場するイベント会場までの自宅からの交通ルートを検索するような場合に利用される。 In the user information area, information related to the user, for example, personal information such as the current address is registered. The information registered in the user information area is used when the recommended content is a ticket, for example, when searching for a traffic route from home to the event venue where the recommended content is entered.
このように、ユーザ情報データベース23は、コンテンツ検索推奨機能を用いようとしているユーザについての種々の情報を記憶保持するようにするものであり、例えば、ハードディスクドライブにより実現されるものである。もちろん、記録可能な光ディスクなどの記録媒体を用いることも可能である。
As described above, the
また、コンテンツ推奨処理系20は、コンテンツ推奨処理部24を備えている。このコンテンツ推奨処理系20は、図1に示したように、人気度集計部241、関心度集計部242、感情予想部243を備えたものである。
The content
コンテンツ推奨処理部24の人気度集計部241は、すでに販売されているコンテンツの売れ行きに関する情報を集計する部分であり、関心度集計部242は、今後販売、あるいはすでに販売されているコンテンツの問い合わせや情報参照の程度を集計する部分である。また、感情予想部243は、ユーザがコンテンツを体験した場合の感情の変化を予想する部分である。
The popularity
なお、これら人気度集計部241、関心度集計部242、感情予想部243のそれぞれにより実現される機能は、CPU31で実行されるソフトウエアによっても実現することができる。
It should be noted that the functions realized by each of the popularity
そして、この図1に示したコンテンツ推奨装置により、上述のように、コンテンツ推奨装置のユーザ(使用者)の生体情報が測定(検出)されて蓄積され、これが解析されて当該ユーザの感情状態が把握され、この感情状態をも考慮したコンテンツの検索推奨が行われる。そして、この実施の形態においては、検索対象のコンテンツに関する情報は、当該コンテンツ推奨装置のコンテンツ情報データベースに格納されており、これを用いることができるようにされる。 Then, as described above, the biometric information of the user (user) of the content recommendation device is measured (detected) and accumulated by the content recommendation device shown in FIG. 1, and this is analyzed to determine the emotional state of the user. It is grasped and the search of the content in consideration of this emotional state is recommended. In this embodiment, the information related to the search target content is stored in the content information database of the content recommendation device, and can be used.
そして、この第1の実施の形態においては、生体情報を検出する検出手段としての機能と、感情状態を解析する解析手段としての機能とは、詳しくは後述もするように、主に記録装置部11が実現し、また、コンテンツ検索手段としての機能は、CPU31、コンテンツ推奨処理部24、コンテンツ情報データベース22により実現し、また、通知手段としての機能は、スケジュールベースアプリケーション部13、ユーザI/F33の情報提供部によって実現される。
In the first embodiment, the function as the detecting means for detecting the biological information and the function as the analyzing means for analyzing the emotional state are mainly recorded in the recording device section as will be described in detail later. 11 is realized by the
また、コンテンツ利用後のユーザの感情状態を予測する予測手段は、コンテンツ推奨処理部24の感情予測部243が実現し、予測通知手段としての機能は、主にユーザI/F33の情報提供部が実現する。また、コンテンツ利用後のユーザの感情状態を評価する評価手段は、CPU31などにより実現される。また、ユーザからの予定表情報などの入力を受け付ける受付手段としての機能は、ユーザI/F33の情報受付部により実現される。
The prediction means for predicting the emotional state of the user after using the content is realized by the
[1−2:記録装置部11の構成例について]
次に、図1に示したように構成されるコンテンツ推奨装置の記録装置部11の構成例について説明する。図3は、図1に示したコンテンツ推奨装置の記録装置部11の構成例を説明するためのブロック図である。図3に示すように、この実施の形態のコンテンツ推奨装置の記録装置部11は、撮像部111、A/Dコンバータ112、撮像部信号処理部113、撮像部コントローラ114、CPU115、RAM116、生体情報入力部117、A/Dコンバータ118、生体情報入力部コントローラ119、感情解析処理部120、記録部コントローラ121、記録部122、ネットワークインターフェイス(図3においてはネットワークI/Fと記載。)123、表示部コントローラ124、表示部125、再生処理部126を備えたものである。
[1-2: Configuration Example of Recording Device Unit 11]
Next, a configuration example of the
撮像部111は、レンズ機構や例えばCCD(Charge Coupled Device)のようなイメージセンサーを備え、被写体の画像を撮像し、その撮像した画像をアナログ映像信号として後段の回路に出力することができるものである。撮像部111からのアナログ映像信号は、A/Dコンバータ112によりデジタル信号に変換され、これが撮像部信号処理部113に供給される。
The
撮像部信号処理部113は、例えば、MPEG(Moving Picture Experts Group)方式などの画像圧縮方式を用いて画像圧縮処理を行う。この撮像部信号処理部113、および、撮像部111、A/Dコンバータ112は、主に撮像部コントローラ114によって制御するようにされている。すなわち、撮像部コントローラ114は、撮像部111、A/Dコンバータ112、撮像部信号処理部113からなる撮像系を制御して、被写体の画像を適正に撮像することができるようにするものである。
The imaging unit
そして、撮像部信号処理部113において、画像圧縮処理された後の画像データは、CPU115によって、RAM116が作業領域として用いられ、適切な記録フォーマットの画像データに変換される。この記録フォーマットに変換された画像データが、記録部コントローラ121に供給され、この記録部コントローラ121によって、記録部122のデータ格納領域に記録される。なお、記録部122は、例えば、ハードディスクドライブや大容量記録型光ディスクであって、記録部コントローラ121により、そのデバイスに適切な信号フォーマットで、前述の記録フォーマットに変換された画像データなどが記録される。
The image data after the image compression processing in the imaging unit
生体情報入力部117は、詳しくは後述もするが、この実施の形態のコマンド推奨装置のユーザの種々の生体情報を受け付ける部分である。生体情報検出部117で受け付けられた生体情報は、A/Dコンバータ118でデジタル信号に変換され、生体信号入力部コントローラ119およびCPU115、RAM116によって、適切な記録フォーマットに変換され、記録部コントローラ121によって、記録部122に記録されることになる。
The biometric information input unit 117 is a part that receives various types of biometric information of the user of the command recommendation device of this embodiment, which will be described in detail later. The biological information received by the biological information detection unit 117 is converted into a digital signal by the A /
受け付けた生体情報が例えば脳波の場合には、生体情報入力部117は、数マイクロボルトの電位の変化として検出される脳波情報を増幅し、数種類の周波数帯域にフィルタリング処理を行い、デジタル信号に変換され、記録部コントローラ121を通じて記録部122に記録されることになる。
When the received biometric information is, for example, an electroencephalogram, the biometric information input unit 117 amplifies the electroencephalogram information detected as a change in potential of several microvolts, performs a filtering process on several frequency bands, and converts it into a digital signal And recorded in the
あるいは、生体情報検出部117で受け付けられた生体情報は、A/Dコンバータ118でデジタル信号に変換されたのち、感情解析処理部10に供給され、ここで後述もするように、所定の方式にしたがって感情解析を行い、この結果得られた感情状態を示す情報をCPU115、RAM116によって、適切な記録フォーマットに変換し、これを記録部コントローラ121によって、記録部122に記録するようにしてもよい。
Alternatively, the biological information received by the biological information detection unit 117 is converted into a digital signal by the A /
また、ここでは、撮像部111を通じて取得した被写体の画像データや生体情報入力部117を通じて取得したユーザの生体情報や生体情報を解析することによって得られる感情状態を示す情報を記録部122に記録するものとして説明したが、これに限るものではない。
Also, here, the image data of the subject acquired through the
例えば、ネットワークI/F123を通じてインターネットなどのネットワークに接続し、ネットワーク上に設けられた所定のサーバ装置に送信して、そのサーバ装置に画像データや生体情報、感情状態を示す情報を記憶保持させるようにするようにすることも可能である。同様にして、クライアント端末1とは別に設けられた記録装置にデータを記録するようにすることも可能である。
For example, it is connected to a network such as the Internet through the network I /
また、上述もしたように、感情解析処理部120は、例えば、生体情報入力部117を通じて入力を受け付けた種々の生体情報、または、記録部122に記録された生体情報を、後述もするが、感情モデルを解析する方法で感情状態の抽出を行う。ここで抽出された感情状態を示す情報は、サーバ装置2に送信され、感情状態をも考慮したコンテンツの検索推奨サービスが行われることになる。
In addition, as described above, the emotion
再生処理部126は、記録部122から出力される画像データを再生する処理を行うものであり、画像圧縮処理された画像データの伸張処理等を行って再生用の画像データを形成することができるものである。
The
再生処理部126において処理された画像データは、表示部コントローラ124に供給される。表示部コントローラ124は、表示部125に供給する形式の画像信号を形成し、これを表示部125に供給する。表示部125は、LCDなどのディスプレイであり、表示部コントローラ124からの画像信号に応じた画像を自己の表示画面に表示する。
The image data processed by the
このように、記録装置部11は、ユーザの生体情報の入力を受け付けて、これを記録部122に記録したり、また、受け付けた生体情報や記録部122に記録された生体情報を分析して、ユーザの感情状態を抽出したりすることができると共に、被写体の画像を撮像して、これ記録部122に記録することができるものである。
As described above, the
ここで、上述した生体情報入力部117、A/Dコンバータ118、生体信号入力部コントローラ119のより具体的な構成例について説明する。図4に、生体情報入力部117、A/Dコンバータ118、生体信号入力部コントローラ119のそれぞれについての構成例を示す。図4に示すように、ここでは、ユーザの生体情報として、脳波、心電、脈波(脈拍)、体温、筋電等を検出する場合を例にして説明する。
Here, a more specific configuration example of the above-described biological information input unit 117, A /
生体情報入力部117は、人間が自発的・誘発的に発する生体信号、この実施の形態においては、脳波、心電、脈波、体温、筋電などを検出するための電極(センサー)71a、71b、71c、71d、71e、…と、検出された生体信号を増幅するための増幅部72a、72b、72c、72d、72e、…とからなっている。ここで、電極71a、71b、71c、71d、71e、…は脳波をはじめとする生体電気現象や脳磁気をはじめとする生体磁気現象を測定(検出)する機能を有する。
The biological information input unit 117 is an electrode (sensor) 71a for detecting a biological signal spontaneously and inductively generated by a human, in this embodiment, an electroencephalogram, an electrocardiogram, a pulse wave, a body temperature, a myoelectricity, and the like. 71b, 71c, 71d, 71e,... And amplification units 72a, 72b, 72c, 72d, 72e,... For amplifying the detected biological signal. Here, the
電極71a、71b、71c、71d、71e、…を通じて検出するようにされた各生体情報は、対応する増幅部72a、72b、72c、72d、72e、…に供給され、ここで増幅され、増幅後に、A/Dコンバータ118に供給される。この実施の形態においては、A/Dコンバータ118は、図4に示すように、供給される生体情報に応じた複数個のA/Dコンバータ81a、81b、81、81d、81e、…を備えたものであり、供給される生体情報(アナログ信号)をデジタル信号に変換する。
Each biological information detected through the
例えば、脳波の電位レベルは一般には50μV(マイクロボルト)程度、心電の電位レベルは1mV(ミリボルト)程度と生体信号の種類により異なる。このため、各A/Dコンバータ81a、81b、81c、81d、81e、…においてのA/D変換時の量子化ビット数は、増幅された各種生体信号の電位レベルを下回らない程度の精度を有するようにされている。
For example, the potential level of the electroencephalogram is generally about 50 μV (microvolt), and the potential level of the electrocardiogram is about 1 mV (millivolt), which varies depending on the type of biological signal. Therefore, the number of quantization bits at the time of A / D conversion in each of the A /
そして、A/D変換された後の各生体情報は、生体情報入力部コントローラ119に供給される。生体情報入力部コントローラ119は、デジタル化された各種生体信号を受信するための受信部91と、それらの生体情報を後述の感情解析処理部120、記録部122、表示部125、再生処理部126で利用可能な信号にするための処理を行う生体信号処理部92と、処理された生体信号をバス127に出力するための送信部93とから構成される。
Each biometric information after A / D conversion is supplied to the biometric information
受信部91は、もとの生体信号が再現される程度の間隔のデジタル信号のサンプリング周波数を有し、A/Dコンバータ81a、81b、81c、81d、81e、…から出力される生体情報を受信して、これを後段の生体信号処理部92に供給する。
The receiving
生体信号処理部92は、受信部91からの生体情報の供給を受けて、供給を受けた生体情報のそれぞれについて、例えば振幅調整や帯域通過のためのフィルタ演算処理、FFTやウェーブレット解析をはじめとする時間−周波数解析、あるいは、ニューラルネットやカオス解析をはじめとする非線形解析などを行って、後段の感情解析処理部120、記録部122、表示部125、再生処理部126で利用可能な形式の信号に変換し、変換後の生体情報(生体信号)を送信部93に供給する。
The biological
送信部93は、バス127に対し逐次適切なタイミングで、上述のように処理されて形成された生体信号を出力し、上述もしたように、記録部コントローラ121を通じて記録部122に記録するようにしたり、また、感情解析処理部120に供給して、生体情報の解析を行うようにし、感情状態を抽出したりするなどの処理が行われることになる。
The
[1−3:感情解析処理部120における感情解析の一例について]
次に、図3に示したように構成される記録装置部11の感情解析処理部120において行われる解析処理の一例について説明する。感情解析処理部120は、図4に示したように構成される、生体情報入力部117、A/Dコンバータ118、生体情報入力部コントローラ119を通じて、測定(検出)され、デジタル化され、必要な信号処理や解析処理が行われて得られた複数の生体情報が入力される。
[1-3: Example of Emotion Analysis in Emotion Analysis Processing Unit 120]
Next, an example of analysis processing performed in the emotion
感情解析処理部120には、生体情報入力部コントローラ119からバス127を通じて生体情報が供給される場合もあれば、記録部122に記憶された生体情報が、記録部コントローラ121を通じて読み出されて、これがバス127を通じて供給される場合もある。また、ネットワークI/F123を通じて外部機器や外部サーバに記憶するようにした生体情報の供給を受けることもできるようにされている。
In some cases, biometric information is supplied to the emotion
感情解析処理部120では、複数の生体情報の入力を受け付けて、これらの複数の入力を元に解析処理を行い、感情モデルで定義される複数の感情パラメータ値を出力する。感情モデルとしては、2軸モデル、3軸モデル、6軸モデルがある。これらのモデルの一例を図5に示す。
The emotion
2軸モデルは、最も簡易なモデルであり、図5Aに示すように、例えば、感情状態として、快適方向または不快方向を示す第1軸と、興奮、緊張方向またはリラックス方向を示す第2軸との2軸により、感情モデルを形成し、感情状態を把握するようにするものである。 The two-axis model is the simplest model. As shown in FIG. 5A, for example, as an emotional state, a first axis indicating a comfortable direction or an uncomfortable direction, and a second axis indicating an excitement, a tension direction, or a relaxation direction, The two axes are used to form an emotion model and grasp the emotional state.
3軸モデルは、図5Bに示すように、感情状態として、快適方向または不快方向を示す第1軸と、興奮方向または沈静方向を示す第2軸と、緊張方向または弛緩方向を示す第3軸との3軸により、感情モデルを形成し、感情状態を把握するようにするものである。 As shown in FIG. 5B, the three-axis model includes, as emotional states, a first axis indicating a comfortable direction or an uncomfortable direction, a second axis indicating an excitement direction or a calm direction, and a third axis indicating a tension direction or a relaxation direction. The three models are used to form an emotion model and grasp the emotional state.
6軸モデルは、図5Cに示すように、怒りの度合いを示す第1軸と、恐れの度合いを示す第2軸と、悲しみの度合いを示す第3軸と、喜びの度合いを示す第4軸と、嫌悪の度合いを示す第5軸と、驚きの度合いを示す第6軸との6軸により、感情モデルを形成し、感情状態を把握するようにするものである。 As shown in FIG. 5C, the six-axis model includes a first axis indicating the degree of anger, a second axis indicating the degree of fear, a third axis indicating the degree of sadness, and a fourth axis indicating the degree of joy. Then, an emotion model is formed by the six axes of the fifth axis indicating the degree of disgust and the sixth axis indicating the degree of surprise, and the emotion state is grasped.
そして、感情解析処理部120は、上述した感情モデルのいずれかを用いるようにし、例えば、学習済み、あるいは、ユーザ個別に再学習を行った3層バックプロバゲーション、自己組織化マップ(SOM : Self Organizing Map)等のニューラルネットワークの手法を利用して、入力を受け付けた複数種類の生体情報から感情パラメータの解析処理を行って、感情パラメータ値を求めることになる。
Then, the emotion
このように、この実施の形態のコンテンツ推奨装置の記録装置部11の感情解析処理部120においては、所定の感情モデルとニューラルネットワークの手法を用いて、複数種類の生体情報を解析することによって、それらの生体情報の提供元であるユーザの感情状態を感情パラメータ値として把握することが可能となる。
Thus, in the emotion
そして、例えば、喜びの感情が表れている期間、悲しみの感情が表れている期間、怒りの感情が表れている期間、恐れの感情が表れている期間などを把握することができるようにされる。そして、後述もするように、例えば、1週間、6ヶ月などの所定期間におけるユーザの感情分布、すなわち、喜びの感情が何%、悲しみの感情が何%というように、各感情の分布を把握することが可能となる。 And, for example, it is possible to grasp the period in which feelings of joy appear, the period in which feelings of sadness appear, the period in which feelings of anger appear, the period in which feelings of fear appear, etc. . Then, as will be described later, for example, the distribution of each user's emotions in a predetermined period such as one week, six months, etc., that is, what percentage of joy feelings and what percentage of sadness feelings is grasped. It becomes possible to do.
また、生体情報を用いた感情状態の解析の具体例としては、以下のように、種々のものが考えられる。例えば、リラックス状態の評価については、生体情報として脳波を用いることができる。一般的にはα波の周波数成分とβ波の周波数成分の比をとり、α波成分の割合が大きくなるほどリラックス状態にあることが知られている。また、呼吸や心拍の周期の安定性や脈拍の振幅増加量に基づいて、評価することも可能である。 Further, as specific examples of the analysis of the emotional state using the biological information, various types can be considered as follows. For example, for evaluation of the relaxed state, an electroencephalogram can be used as biological information. In general, it is known that the ratio of the frequency component of the α wave and the frequency component of the β wave is taken, and the more the ratio of the α wave component is, the more relaxed the state is. It is also possible to make an evaluation based on the stability of the cycle of breathing and heartbeat and the amount of increase in pulse amplitude.
また、驚きの評価については、皮膚の電気抵抗値を用いることができる。一般的には驚きや恐怖、心配によって皮膚電気抵抗値が上昇することが知られており、この皮膚電気抵抗値によって、感情状態の1つである驚きの評価を行うことができる。また、喜びを評価する場合には、心拍数、皮膚温度(体温)、心電(心電図周波数)を用いて評価することが可能である。すなわち、喜びの感情が大きい時には、心拍数が下がり、皮膚温度が上がり、心電図周波数が上がることが知られている。 For surprising evaluation, the electrical resistance value of the skin can be used. In general, it is known that the electrical resistance value of the skin increases due to surprise, fear, or worry. By this electrical resistance value of the skin, it is possible to evaluate surprise, which is one of emotional states. When joy is evaluated, it can be evaluated using heart rate, skin temperature (body temperature), and electrocardiogram (electrocardiogram frequency). That is, it is known that when the emotion of joy is great, the heart rate decreases, the skin temperature increases, and the electrocardiogram frequency increases.
また、一般に、精神的、心理的に安定な状態にある場合は、末梢血管が拡張し動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。逆に、精神的、心理的に高い緊張状態にある場合は、末梢血管が収縮し動脈血流入が減るため、心拍や脈拍は速まり、体温は下降傾向にある。このような生理的な変化に応じて、感情状態を評価し、把握することが可能となる。 In general, in a mentally and psychologically stable state, peripheral blood vessels are dilated and arterial blood flows, so that the heart rate and pulse change slowly, and the body temperature tends to rise. On the other hand, in a high mental and psychological tension state, peripheral blood vessels contract and arterial blood flow decreases, so the heart rate and pulse rate increase, and the body temperature tends to decrease. It is possible to evaluate and grasp the emotional state according to such physiological changes.
なお、上述のような生理指標とともに、表情による筋電の変化や画像による表情認識、加速度センサーや傾斜センサーなどによる姿勢認識、音声認識などを複合的に用いることによって、ユーザの怒りや悲しみなどの感情状態を評価するようにしてもよい。 In addition to the physiological indices as described above, the combined use of myoelectric changes by facial expressions, facial expression recognition by images, posture recognition by acceleration sensors, tilt sensors, etc., voice recognition, etc., such as user anger and sadness The emotional state may be evaluated.
すなわち、人間の顔面の筋電の変化によって、泣いているのか、笑っているのか、怒っているのかなどを把握することが可能であるし、同様に、画像による表情認識によっても泣いているのか、笑っているのか、怒っているのかなどを把握することが可能である。 In other words, it is possible to grasp whether the person is crying, laughing, or angry by changing the myoelectricity on the human face. It is possible to know whether you are laughing or angry.
また、加速度センサーや傾斜センサーを用いることにより、ユーザの姿勢を判断し、胸をはった状態か、前屈みの状態などかを検出することにより、感情状態を評価する場合の情報として用いることが可能である。 Also, it can be used as information when evaluating emotional state by determining the posture of the user by using an acceleration sensor or tilt sensor and detecting whether the chest is in a bent state or a forward bent state. Is possible.
また、音声認識の結果を感情状態を評価する場合の情報として用いることも可能である。例えば、喜んでいる場合などには、人の声は比較的に高くなり、逆に、落ち込んでいる場合などには、人の声は比較的に低くなるという傾向にあり、これを利用することにより、感情状態を評価することが可能である。また、音声信号の大きさ(レベル)に基づいて、感情状態を評価することも可能である。 Moreover, it is also possible to use the result of speech recognition as information when evaluating the emotional state. For example, when you are happy, the voice of the person is relatively high, and when you are depressed, the voice of the person tends to be relatively low. Thus, it is possible to evaluate the emotional state. It is also possible to evaluate the emotional state based on the magnitude (level) of the audio signal.
このように、この実施の形態のクライアント端末1は、ユーザの生体情報を継続的に検出して、検出した生体情報を分析することにより感情状態を評価、把握することができるものである。そして、把握したユーザの感情状態を含む、コンテンツの検索推奨要求をサーバ装置2に送信し、自己の感情状態をも考慮して、利用に適したコンテンツを検索して推奨するように要求することができるようにしている。
As described above, the
[1−4:コンテンツ推奨装置の動作の概要について]
次に、上述したように構成される、この実施の形態のコンテンツ推奨装置の動作の概要について説明する。上述もしたように、この実施の形態のコンテンツ推奨装置は、記録装置部11を備え、当該コンテンツ推奨装置のユーザの複数種類の生体情報を継続的に検出して、これを所定の記憶部に記憶するようにしている。
[1-4: Outline of operation of content recommendation device]
Next, an outline of the operation of the content recommendation device of this embodiment configured as described above will be described. As described above, the content recommendation device of this embodiment includes the
また、コンテンツ推奨装置1は、いわゆるスケジュール帳機能を備えており、所定の操作を行うことにより、スケジュールの入力画面をユーザI/F33の表示素子の表示画面に表示し、スケジュールの空き部分に、その日に体験(利用)するようにしたいイベント種別(例えば、映画、コンサート、読書、旅行など)を入力し、これをスケジュール情報として保持することができるものである。
In addition, the
ユーザからの情報入力を受けるインターフェイスとしては、表示画面に表示されるリスト(選択項目リスト)から目的とする項目をクライアント端末1に接続されるマウスなどのポインティングデバイスを用いて選択するようにしたり、コンテンツ推奨装置にユーザI/Fとして接続される、例えば、キーボードを通じて入力したり、また、タッチパネルを用いた手書き入力による文字認識や、音声入力による音声認識など、さまざまな手段で構成することができる。
As an interface for receiving information input from the user, a target item can be selected from a list (selection item list) displayed on the display screen using a pointing device such as a mouse connected to the
そして、イベント種別が入力されると、この実施の形態のコンテンツ推奨装置は、収集した生体情報に基づいて、ユーザの過去から現在までの感情状態を解析し、この解析の結果得られた感情状態を示す情報(感情情報)をも考慮して、ユーザが目的とする種別のコンテンツを体験しようとする予定日(希望日)におけるコンテンツの推奨を要求するようにする。 When the event type is input, the content recommendation device according to this embodiment analyzes the emotional state of the user from the past to the present based on the collected biological information, and the emotional state obtained as a result of the analysis In consideration of the information (emotion information) indicating the content, the user is requested to recommend the content on the scheduled date (desired date) when the user wants to experience the target type of content.
この実施の形態のコンテンツ推奨装置は、コンテンツの体験希望の日時が現在日時に近い場合(例えば現在〜数日以内の場合)には、ユーザの最近の指定区間(例えば1週間)の感情分布を用いてコンテンツの推奨を行う。感情分布の評価は、上述もしたように、記録装置部11を通じて取得された生体情報を解析することにより得られた感情状態を示す情報であって、記録装置部11により蓄積されている過去の指定時点から現在までの生体情報を感情解析処理部120により解析、あるいはすでに解析され蓄積されている感情状態を示す情報(感情情報)が用いられる。
In the content recommendation device of this embodiment, when the desired date and time of the content is close to the current date and time (for example, within the current to several days), the emotion distribution of the user's latest designated section (for example, one week) is displayed. To recommend content. As described above, the evaluation of the emotion distribution is information indicating an emotional state obtained by analyzing the biological information acquired through the
コンテンツの体験希望の日時が現在日時から遠い場合(例えば十数日以上の場合)、人間の精神状態や感情状態が大きく変動する場合もあり、上述の体験希望日が現在日時に近い場合と同様の処理を行っても精度が低い場合もあると考えられる。そこで、イベントのエントリー期日と後述する人気度、関心度により絞込みを行った候補に対し、過去から現在までの感情情報を参考にして、コンテンツ検索推奨要求元のユーザに対して適切だと思われるコンテンツの推奨を行う。 When the desired date / time of the content is far from the current date / time (for example, more than a dozen days), the mental state and emotional state of the human may fluctuate significantly, as is the case when the desired date of experience is close to the current date / time. Even if this process is performed, the accuracy may be low. Therefore, it seems that it is appropriate for the user who requested the content search with reference to emotion information from the past to the present for candidates narrowed down by the entry date of the event and the popularity and interest described below Make content recommendations.
なお、この実施の形態のコンテンツ推奨装置における感情解析処理は、例えばイベントの体験期日あるいはイベントのチケット購入の期日などの条件に基づいて、ユーザに対して推奨コンテンツの利用日を確定するようにする確定処理を求め、その確定した利用日のユーザの直前の感情解析を行うようにする。 Note that the emotion analysis process in the content recommendation device according to this embodiment is such that the use date of the recommended content is determined for the user based on conditions such as the event expiry date or the event ticket purchase date. A confirmation process is requested, and the emotion analysis immediately before the user on the confirmed usage date is performed.
この場合、過去から現在までの所定期間の感情状態を解析することになるが、例えば、以下の方法で解析する。すなわち、この実施の形態のコンテンツ推奨装置の記録装置部11により取得され記録部122に記録された生体信号から感情解析を行うときに、長期レンジの感情分布と短期レンジの感情分布を求め、長期レンジの感情分布を基準値として、現在の感情推移を評価する。
In this case, the emotional state for a predetermined period from the past to the present is analyzed. For example, the emotional state is analyzed by the following method. That is, when the emotion analysis is performed from the biological signal acquired by the
この評価は、例えばニューラルネットワークのような非線形解析により学習させた感情モデルを用いることができる。そして、コンテンツ推奨装置は、ユーザの感情分布に基づき、そのユーザに適したコンテンツを検索して推奨する。このとき、それぞれの感情に対してユーザの感情予測結果により重み付けされた数のコンテンツを提示する。 For this evaluation, for example, an emotion model learned by nonlinear analysis such as a neural network can be used. And a content recommendation apparatus searches and recommends the content suitable for the user based on a user's emotion distribution. At this time, the number of contents weighted by the user's emotion prediction result is presented for each emotion.
同時に、コンテンツ推奨装置は、これらのコンテンツを体験した後(コンテンツを利用した後)の感情状態を予測し、これを表示するなどしてコンテンツ推奨装置のユーザに提供する。コンテンツ体験後の感情状態の予測は、例えば、上述の感情モデルに対して、期待する入力として、コンテンツ体験後(コンテンツ利用後)の感情値を与えることで行う。 At the same time, the content recommendation device predicts the emotional state after experiencing these contents (after using the content), and provides it to the user of the content recommendation device by displaying it. The prediction of the emotional state after the content experience is performed, for example, by giving an emotion value after the content experience (after using the content) as an expected input to the above-described emotion model.
すなわち、ユーザに推奨するようにしたコンテンツが利用された場合に、そのコンテンツがユーザの感情状態にどの程度影響を及ぼすかは、予めコンテンツのそれぞれについて評価されている各コンテンツの特性から予測することができるので、ユーザの感情状態がコンテンツの利用によりどの位変化するかを示すことにより、コンテンツ体験後の感情状態をユーザに通知するようにする。クライアント端末1のユーザは、コンテンツ利用後の自己の感情状態の予測をも考慮して、体験する(利用する)コンテンツの選択を行うことができるようにされる。
In other words, when the content recommended to the user is used, the extent to which the content affects the emotional state of the user is predicted from the characteristics of each content evaluated in advance for each content. Therefore, the user is notified of the emotional state after the content experience by indicating how much the emotional state of the user changes due to the use of the content. The user of the
なお、コンテンツ情報データベース22に格納されている各コンテンツについてのデータのそれぞれには、上述もしたように、例えば、類型などによりイベントの分類やコンテンツの特性を示すことができるようにされるので、この特性によって、当該コンテンツがユーザに与える影響を予測することができる。例えば、ある映画のコンテンツについては、喜び感を所定ポイント上昇させる特性があると評価されている場合には、その特性からユーザの感情状態の喜び感を所定ポイント分上昇させることが予測することができる。
In addition, since each of the data about each content stored in the
[1−5:コンテンツ推奨処理の具体例について]
次に、上述したように、コンテンツ推奨装置の記録装置部11によって継続的に検出される生体情報を解析することにより得られるユーザの感情状態を考慮して行うコンテンツの推奨処理の具体例について説明する。以下においては、上述もしたように、取得した生体情報を、所定の感情モデルを用い、ニューラルネットワークの手法を利用して、解析することにより得られた感情状態を、感情状態ごと、所定期間ごとに累積処理するようにして、その所定期間における感情分布を求め、この所定期間における感情分布に基づいて、コンテンツの推奨を行う場合を例にして説明する。
[1-5: Specific example of content recommendation processing]
Next, as described above, a specific example of the content recommendation processing performed in consideration of the emotional state of the user obtained by analyzing the biological information continuously detected by the
上述のようにして求められたユーザの最近1週間の感情分布が以下に示すように、
喜び 20%
悲しみ 15%
驚き 15%
怒り 45%
リラックス 5%
であったとする。
As shown below, the emotion distribution of the user for the last week determined as described above is as follows:
Sadness 15%
Surprise 15%
Angry 45%
Relax 5%
Suppose that
また、当該ユーザの最近6ヶ月間の感情分布が以下に示すように、
喜び 20%
悲しみ 10%
驚き 20%
怒り 25%
リラックス 25%
であったとする。
In addition, the emotion distribution of the user over the last 6 months is as follows:
10% sadness
20% surprise
Anger 25%
Relax 25%
Suppose that
上述の解析結果に基づき、最近6ヶ月の感情状態をユーザの基準値とみなし、感情の変化率を求める。変化率は例えば以下に示す(1)式のように求められる。
D(En)=(Enb−Ena)/t …(1)
En :感情の種類(喜び、悲しみ、驚き、怒り、リラックスの場合、n=1〜5)
Ena:短期レンジの感情Enの全体に占める割合
Enb:長期レンジの感情Enの全体に占める割合
t :短期レンジから長期レンジまでの時間
D(En):感情Enの変化率。
Based on the above analysis result, the emotional state of the last 6 months is regarded as the reference value of the user, and the emotion change rate is obtained. The rate of change is obtained, for example, by the following equation (1).
D (En) = (Enb−Ena) / t (1)
En: types of emotions (in the case of joy, sadness, surprise, anger, relaxation, n = 1-5)
Ena: ratio of the short-term range of emotion En to the whole Enb: ratio of the long-term range of emotion En to the whole t: time from the short-term range to the long-term range D (En): rate of change of the emotion En.
この例では、E1は喜び、E2は悲しみ、E3は驚き、E4は怒り、E5はリラックスを表すものとする。上述の評価式である(1)式に基づき、当該ユーザは最近1週間はリラックスが不足し、怒りが絶えないという評価になる。このため、リラックス感を増やす方向に変化させ、怒りを減らす方向に変化させることが可能なコンテンツを推奨することが望まれる。 In this example, E1 is joyful, E2 is sad, E3 is surprised, E4 is angry, and E5 is relaxed. Based on the above-described evaluation formula (1), the user has an evaluation that he / she is not relaxed and is always angry for the last week. For this reason, it is desirable to recommend content that can be changed in a direction that increases relaxation and can be changed in a direction that reduces anger.
このように、最近6ヶ月の感情状態を基準値として用いるのは、より正確に感情状態を把握するためである。すなわち、生体情報は感情に応じて変化する場合だけでなく、通常の身体活動によっても変化する。このため、比較的に短い期間においては、身体活動に伴う生体情報の変化が、感情状態の変化として検出されてしまう場合もある。このような感情状態のいわゆるノイズ性の変化を除去し、できるだけ正確に感情状態を把握するために、最近6ヶ月の感情状態を基準値として用いるようにしているのである。 As described above, the emotional state of the last six months is used as the reference value in order to more accurately grasp the emotional state. In other words, the biological information changes not only when it changes according to emotions but also when it changes due to normal physical activity. For this reason, in a relatively short period, a change in biological information accompanying physical activity may be detected as a change in emotional state. In order to eliminate such a so-called noise change of the emotional state and grasp the emotional state as accurately as possible, the emotional state of the last six months is used as a reference value.
そして、スケジュール帳の体験希望(利用希望)のコンテンツの種別(コンテンツを識別するID)が映画になっている場合であって、このユーザに10本の映画を推奨する場合は、例えば以下のような方針で割り当てる。 And when the type of content (ID for identifying the content) in the schedule book (desired to use) is a movie, and ten movies are recommended for this user, for example, Allocate according to proper policy.
変化率の絶対値が大きい上位2つの感情(上記の例では怒りとリラックス)を求め、これら2つの感情を快方に向かわせる(好ましい方向に向かわせる)推奨比率を算出する。このとき、人間の感情を快方に導く感情(喜び、リラックスなど)や不快に導く感情(悲しみ、怒りなど)、快方にも不快にも導く感情(驚きなど)の種類により重み付けを考慮して推奨比率を算出してもよい。 The top two emotions (in the above example, anger and relaxation) with the highest absolute value of the rate of change are obtained, and the recommended ratios that direct these two emotions in a pleasant way (direct in the preferred direction) are calculated. At this time, weighting is considered according to the types of emotions that lead human emotions to pleasure (joy, relaxation, etc.), emotions that lead to discomfort (sadness, anger, etc.), and emotions that lead to both comfort and discomfort (surprise, etc.). The recommended ratio may be calculated.
ここでは、リラックスと怒りの変化率の絶対値が大きな値をとる。リラックスが不足しているので、リラックスできる映画を5本、驚きは若干減少しているので3本、喜びは安定しているので2本、悲しみや怒りが増えているので、これらを助長させような効果のある映画は推奨しないようにする。したがって、この例において推奨する映画は、
喜びの映画 2本
悲しみの映画 0本
驚きの映画 3本
怒りの映画 0本
リラックスの映画 5本
となる。
Here, the absolute value of the rate of change of relaxation and anger takes a large value. Because there is a lack of relaxation, there are 5 movies that can be relaxed, 3 because surprises are slightly reduced, 2 because joy is stable, and sorrow and anger are increasing, so let's encourage them Do not recommend movies that have a positive effect. Therefore, the recommended movie in this example is
2 movies of joy 0 movies of
また、推奨するコンテンツについての情報を提示する際に、その推奨するコンテンツの人気度や関心度を表示するなどしてユーザに通知するようにする。例えば、コンテンツの人気度は、チケットの発売開始時刻と購入状況や予約状況から求める。購入数、予約数の累積値の全販売数に占める割合や、購入数、予約数の増加率を人気度として用いることができる。 Further, when presenting information about recommended content, the popularity and interest level of the recommended content is displayed to notify the user. For example, the popularity of content is obtained from the ticket sales start time, purchase status, and reservation status. The ratio of the cumulative value of the number of purchases and the number of reservations to the total number of sales and the increase rate of the number of purchases and the number of reservations can be used as the popularity.
また、例えば、コンテンツに対する関心度は、情報公開時刻から現在に至るまでの情報閲覧者数(アクセス数)や問い合わせ数から求める。公式Webサイトに寄せられた質問の数やWebページのアクセス数を関心度として用いることができる。 Further, for example, the degree of interest in content is obtained from the number of information viewers (access count) and the number of inquiries from the information disclosure time to the present. The number of questions sent to the official website and the number of web page accesses can be used as the degree of interest.
また、時間を前後して、同じ日に映画を見に行く予定を入力することにより、コンテンツの検索推奨サービスを複数回受けている場合には、前回の推奨リストとの差分を提示するようにすることもできる。 Also, by entering the schedule to go to the movie on the same day before and after the time, if you have received a content search recommendation service multiple times, show the difference from the previous recommendation list You can also
つまり、前回推奨されているコンテンツの他に、新たに推奨されたコンテンツがある場合には、前回推奨されたコンテンツに加えて、新たに推奨されたコンテンツを推奨するようにし、また、前回推奨されたが今回推奨されていないコンテンツがある場合には、そのコンテンツについては今回の推奨リストから外すか、今回は推奨されていないコンテンツであることが分かるように通知するようにする。もちろん、前回の推奨結果と今回の推奨結果との両方をユーザに提示することも可能である。 In other words, in addition to the previously recommended content, if there is newly recommended content, the newly recommended content is recommended in addition to the previously recommended content. However, if there is content that is not recommended this time, the content is removed from the current recommendation list, or notification is made so that it can be understood that the content is not recommended this time. Of course, both the previous recommended result and the current recommended result can be presented to the user.
なお、ユーザが予め希望していたコンテンツがある場合やユーザが何らかの理由で希望していたが除外されてしまったコンテンツについては推奨リストに対して、コンテンツの追加やコンテンツの修正を行うようにすることができる。そして、コンテンツの推奨リストを更新して、推奨内容を確定する。 In addition, when there is content that the user has requested in advance or content that the user has desired for some reason but has been excluded, the content is added to the recommended list or the content is corrected. be able to. Then, the content recommendation list is updated to confirm the recommended content.
上述したコンテンツの推奨処理は、ユーザがスケジュール帳を参照する時点で、そのときの現在の感情状態を反映させて毎回行われる。また、ここでは、推奨するコンテンツが映画の場合を例にして説明した。しかし、推奨可能なコンテンツは映画だけはない。上述もしたように、コンサート、演劇、スポーツの試合、展覧会、個展などの各種のイベント、遊園地などのいわゆるテーマパークの利用などについても推奨することができるようにされる。 The content recommendation process described above is performed each time the user refers to the schedule book, reflecting the current emotional state at that time. Here, the case where the recommended content is a movie has been described as an example. But movies aren't the only recommended content. As described above, it is also possible to recommend various events such as concerts, plays, sports games, exhibitions, solo exhibitions, and so-called theme parks such as amusement parks.
なお、推奨するようにしたイベントのエントリー期日(参加申込期日)、定員数が迫ってきた場合に、ユーザにアナウンスをし、スケジュール帳の参照を促すように構成することも可能である。すなわち、サーバ装置2は、情報提供機関4からの情報に基づいて、エントリー期日や申込み状況を知り、これに基づいて音声や振動などにより、スケジュール帳の参照を促すようにすることができる。
It is also possible to make a configuration so that when the recommended entry date (participation application deadline) and capacity are approaching, the user is notified and the schedule book is referred to. That is, the
[1−6:コンテンツ体験(利用)時の動作について]
さらに、この実施の形態においては、推奨を受けたコンテンツの体験(利用)時に同時に生体情報を測定(検出)する。コンテンツの体験時において測定する生体情報は、前述した場合と同様に、例えば、脳波、心電、脈波、体温、筋電などである。そして、このコンテンツ体験時において測定した生体情報についても、上述もしたように、感情モデルに従い、ニューラルネットワークの手法を用いて、コンテンツ体験時の感情状態を評価する。
[1-6: Operation during content experience (use)]
Furthermore, in this embodiment, biological information is measured (detected) simultaneously with the experience (use) of the recommended content. The biological information measured during the content experience is, for example, brain waves, electrocardiograms, pulse waves, body temperature, and myoelectricity, as in the case described above. As described above, the biological information measured during the content experience is evaluated according to the emotion model by using a neural network technique according to the emotion model.
そして、コンテンツ体験時の感情状態の評価結果をサーバ装置2に送信し、感情の評価として、例えば快適感を求めることにより、選択したコンテンツが満足したものであったか、不満であったかを判定することができる。また、不満に感じたコンテンツに関しては、今後の推奨時に類似内容の推奨数を調節するなどの改善策を講じることが可能となる。
And the evaluation result of the emotional state at the time of content experience is transmitted to the
なお、コンテンツの体験時に計測された生体情報や評価された感情状態は、コンテンツ推奨装置の記録装置部11の機能により複合情報データベース12に格納され、それまでに計測された生体情報や解析の結果得られた感情状態とを合わせて管理することができるようにされる。これらの情報は、次回のコンテンツ検索推奨サービスを受ける場合において、利用することができるようにされる。
The biometric information measured during the content experience and the evaluated emotional state are stored in the
[1−7:コンテンツ推奨装置の動作のまとめ]
次に、この第1の実施の形態のコンテンツ推奨装置の動作について、図6、図7のフローチャートを参照しながらまとめる。
[1-7: Summary of operation of content recommendation device]
Next, the operation of the content recommendation device according to the first embodiment will be summarized with reference to the flowcharts shown in FIGS.
図6は、この実施の形態のコンテンツ推奨装置の記録装置部11における生体情報の測定および蓄積動作を説明するためのフローチャートであり、図7は、この実施の形態のコンテンツ推奨装置のコンテンツ推奨時の動作を説明するためのフローチャートである。まず、図6のフローチャートを参照しながらこの実施の形態のコンテンツ推奨装置の記録装置部11の動作について説明する。
FIG. 6 is a flowchart for explaining the measurement and storage operation of biometric information in the
記録装置部11は、上述もしたように、画像を撮像したり、ユーザの生体情報を測定し、測定結果を蓄積したりしていくものである。画像の撮像は、例えば、ユーザからの指示に応じて行うことができるものである。ここでは、コンテンツの推奨時に考慮される感情状態を得るために必要なユーザの生体情報の測定、蓄積処理について説明する。
As described above, the
図3に示したように構成される記録装置部11の生体情報入力部117の電極などのセンサー部分をユーザの身体に装着し、記録装置部11の電源を投入すると、記録装置部11のCPU115は、図6に示す処理を実行するようにする。まず、生体情報入力部コントローラ119などを制御して、生体情報入力部117、A/Dコンバータ118を通じて、生体情報測定、収集処理を行うようにする(ステップS1)。
When a sensor portion such as an electrode of the biometric information input unit 117 of the
生体情報入力部コントローラ119は、生体情報入力部117、A/Dコンバータ118を通じて供給される生体情報を調整したり、解析したりするなどの生体信号処理を行い、コンテンツ推奨装置において利用可能な形式の生体情報を形成する(ステップS2)。そして、調整、解析後の生体情報を生体情報入力部コントローラ119から送出して、記憶部コントローラ121を通じて記録部122に保存するようにして、生体情報を蓄積していくようにする。
The biometric information
そして、記録装置部11の電源が落とされるなど、所定の終了の事象が発生したか否かを判断する(ステップS4)。ステップS4の判断処理において、終了の事象は発生していないと判断したときには、ステップS1からの処理を繰り返し、生体情報の測定、蓄積処理を続行する。また、ステップS4の判断処理において、終了の事象が発生したと判断したときには、この図6に示す処理を終了する。このようにして、ユーザの生体情報が測定され、これが利用可能な形式とされて蓄積されていくことになる。
Then, it is determined whether or not a predetermined end event has occurred, for example, the
次に、図7のフローチャートを参照しながら、この実施の形態のコンテンツ推奨装置におけるコンテンツ推奨時の動作について説明する。この実施の形態のコンテンツ推奨装置のユーザI/F33の入力受付部を通じて、スケジュール帳機能の実行が指示されると、コンテンツ推奨装置のCPU31は、図7に示す処理を開始する。
Next, the operation at the time of content recommendation in the content recommendation device of this embodiment will be described with reference to the flowchart of FIG. When the execution of the schedule book function is instructed through the input reception unit of the user I /
そして、コンテンツ推奨装置のCPU31は、スケジュール帳機能を実行し、ユーザインターフェイス33の情報提供部の表示素子にスケジュールの記入、参照の画面を表示して、スケジュールの記入、変更などのスケジュール情報の入力を受け付けるようにする(ステップS11)。ここでは、例えば、カレンダ表示される該当日付の記入欄に、映画、コンサート、読書、旅行などの利用したいイベント種別を入力することになる。
Then, the
ステップS11において、スケジュール情報が入力されると、コンテンツ推奨装置のCPU31は、記録装置部11を制御し、蓄積した生体情報を解析することにより、ユーザの感情状態を把握し、これをユーザ情報データベースに登録する(ステップS12)。そして、CPU31は、ユーザ情報データベース23に登録された当該ユーザ情報の感情状態を示す情報に基づいて、コンテンツ情報データベース22に蓄積されているコンテンツに関する情報の中から、ユーザに推奨するコンテンツを検索する(ステップS13)。
In step S11, when the schedule information is input, the
この後、コンテンツ推奨装置のCPU31は、コンテンツ推奨処理部24の人気度集計部241、関心度集計部242を制御し、コンテンツ情報データベース22の該当コンテンツの問合せ状況(関心度)、販売状況(人気度)を考慮して、推奨するコンテンツを絞り込むとともに、コンテンツ体験後のユーザの感情状態を予測するようにする(ステップS14)。
Thereafter, the
そして、CPU31は、コンテンツの検索、絞込みの結果を例えば一覧表示することにより、ユーザに対してコンテンツを推奨するようにする(ステップS15)。そして、CPU31は、同じ予定日に同じイベント種別のコンテンツについて推奨を行っているか否かを判断する(ステップS16)。
Then, the
ステップS16の判断処理において、同じ予定日に同じイベント種別のコンテンツについて推奨を行っていると判断したときには、前回の推奨リストの内容と、今回の推奨リストの内容が比較可能なようにしてユーザに提示する(ステップS17)。 If it is determined in the determination process in step S16 that content of the same event type is recommended on the same scheduled date, the content of the previous recommendation list and the content of the current recommendation list can be compared to the user. Present (step S17).
ステップS17の処理の後、または、ステップS16の判断処理において、同じ予定日に同じイベント種別のコンテンツについて推奨を行っていないと判断したときには、CPU31は、今回のコンテンツの推奨リストに対して、コンテンツを追加したり修正したりする処理を行うか否かの選択入力を、ユーザI/F33の情報入力部を通じて受け付けるようにし、推奨リストに対して追加、修正を行うか否かを判断する(ステップS18)。
After the process in step S17 or in the determination process in step S16, if it is determined that no recommendation is made for the content of the same event type on the same scheduled date, the
ステップS18において、推奨リストに対して追加、修正を行うことが選択されたと判断したときには、CPU31は、ユーザI/F33の情報入力部を通じて、推奨リストに対するコンテンツの追加や修正などを受け付ける(ステップS19)。このステップS19の処理の後、または、ステップS18において、推奨リストに対して追加、修正を行うことが選択されていないと判断したときには、CPU31は、ユーザに提示するようにした推奨リストを最新の状態に更新する(ステップS20)。
When it is determined in step S18 that addition or correction to the recommended list has been selected, the
そして、CPU31は、コンテンツの推奨リストの内容を確定するか否かの指示入力を、ユーザI/F33の情報入力部を通じて受け付けるようにし、推奨リストの内容を確定することが指示されたか否かを判断する(ステップS21)。
Then, the
ステップS21の判断処理において、コンテンツの推奨リストの内容を確定することが指示されたと判断したときには、CPU31は、コンテンツの推奨リストの内容を確定し、これを指示された予定日にユーザが体験を希望するコンテンツの推奨リストとして、例えばスケジュールベースアプリケーション部13の記憶部132に記憶させ、スケジュール帳機能により利用できるようにし(ステップS22)、この図7に示す処理を終了する。
If it is determined in step S21 that the content recommendation list has been instructed, the
一方、ステップS21の判断処理において、コンテンツの推奨リストの内容を確定することが指示されていないと判断したときには、CPU31は、ステップS19からの処理を繰り返し、コンテンツの推奨リストに対する追加、修正を行うことができるようにする。
On the other hand, when it is determined in the determination process in step S21 that it is not instructed to confirm the content of the recommended content list, the
このように、この実施の形態のコンテンツ推奨装置によれば、時間情報(時間経過)と感情状態とから感情分布(感情推移)が把握でき、この感情分布を考慮して、ユーザの内面により作用可能な適切なコンテンツを当該ユーザに推奨することができる。また、スケジュール帳機能とコンテンツの検索推奨機能とを連動させることで、煩わしい入力作業などを伴うことなく、スケジュール情報の入力というスケジュール帳機能の利用過程において、コンテンツの検索、推奨を行うようにすることができる。 Thus, according to the content recommendation device of this embodiment, the emotion distribution (emotion transition) can be grasped from the time information (elapsed time) and the emotional state, and this emotion distribution is taken into account to act more on the inner surface of the user. Appropriate possible content can be recommended to the user. In addition, by linking the schedule book function with the recommended content search function, content search and recommendation can be performed in the process of using the schedule book function of inputting schedule information without any cumbersome input work. be able to.
また、蓄積された生体情報を解析することにより得られる感情情報から、コンテンツの体験日までの感情推移を予測することで、ユーザに対しより豊富なコンテンツ情報を提示することができる。 Further, by predicting the emotion transition from the emotion information obtained by analyzing the accumulated biological information to the content experience date, abundant content information can be presented to the user.
なお、推奨されたコンテンツの体験時の生体情報を測定し、これをコンテンツ推奨装置にフィードバックするようにすることによって、推奨したコンテンツに対するユーザの満足度を正確に把握することができ、これを次回の推奨時に用いることができるため、より確度の高い推奨処理を行うことができるようにされる。 In addition, by measuring the biometric information at the time of experience of the recommended content and feeding it back to the content recommendation device, the user's satisfaction with the recommended content can be accurately grasped. Therefore, it is possible to perform a highly accurate recommendation process.
なお、感情状態の解析は、上述もしたように、記録部122に記録、蓄積された生体情報を解析することにより行うようにしてもよいし、また、記録装置部11において、検出された生体情報をリアルタイムに処理して感情状態を解析し、この解析結果を記録部122に記録して、これを用いてコンテンツの検索、推奨を行うようにしてもよい。
The analysis of the emotional state may be performed by analyzing the biometric information recorded and accumulated in the
[2:第2の実施の形態(コンテンツ検索推奨システムについて)]
次に、この発明による情報検索システム、情報検索方法、クライアント装置、サーバ装置の一実施の形態が適用されて形成されたコンテンツ検索推奨システムについて説明する。
[2: Second embodiment (content search recommendation system)]
Next, a content search recommendation system formed by applying one embodiment of an information search system, an information search method, a client device, and a server device according to the present invention will be described.
この発明による情報検索システムが適用されたコンテンツ検索推奨システムは、家庭内などの閉じたエリア内において、いわゆるローカルエリアネットワークシステムとして形成することも可能であるが、ここでは、まず、公衆電話網やインターネットなどの広域通信ネットワークを介在させて形成するコンテンツ検索推奨システムの場合を例にして説明する。 The content search recommendation system to which the information search system according to the present invention is applied can be formed as a so-called local area network system in a closed area such as a home. Here, first, a public telephone network, A case of a content search recommendation system formed through a wide-area communication network such as the Internet will be described as an example.
[2−1:コンテンツ検索推奨システムの概要]
図8は、この実施の形態のコンテンツ検索推奨システムを説明するための図である。この実施の形態のコンテンツ検索推奨システムは、図8に示すように、公衆電話網やインターネットなどの広域通信ネットワーク5に対して、クライアント端末1a、1b、…、とサーバ装置2とが接続されて形成される。
[2-1: Overview of content search recommendation system]
FIG. 8 is a diagram for explaining the content search recommendation system of this embodiment. As shown in FIG. 8, in the content search recommendation system of this embodiment, client terminals 1a, 1b,... And a
各クライアント端末1a、1b、…は、この発明によるクライアント装置が適用されたものであり、そのそれぞれがほぼ同様の構成を有するものである。また、サーバ装置2は、この発明によるサーバ装置が適用されたものである。
Each of the client terminals 1a, 1b,... Is one to which the client device according to the present invention is applied, and each has a substantially similar configuration. The
さらに、図8に示すように、通信ネットワーク5には、認証局3が接続されると共に、競技場、ホール、映画館、美術館などに設置され、それらの場所で提供されるコンテンツについての情報を提供する例えばパーソナルコンピュータなどの端末装置が情報提供機関4として通信ネットワーク5に接続することもできるようにされている。
Further, as shown in FIG. 8, the
そして、クライアント端末1a、1b、…のそれぞれは、一般のユーザ(エンドユーザ)に利用される装置である。これらクライアント端末1a、1b、…のそれぞれは、ユーザからのスケジュール情報の入力を受け付けて、これを管理するスケジュール帳機能を備えるものである。 Each of the client terminals 1a, 1b,... Is a device used by a general user (end user). Each of these client terminals 1a, 1b,... Has a schedule book function for receiving schedule information from the user and managing it.
また、クライアント端末1a、1b、…のそれぞれは、詳しくは後述もするように、ユーザの体温や脈拍などの種々の生体情報を検出して蓄積し、この蓄積した生体情報に基づいて、ユーザの感情状態を分析することができるものである。そして、この実施の形態のクライアント端末1a、1b、…のそれぞれは、ユーザが目的とする日にコンテンツの利用スケジュールを入力した場合に、感情状態の分析結果および自機の識別情報(識別ID)を含み、自己の感情状態をも考慮した適切なコンテンツについての情報提供を要求するためのコンテンツ検索推奨要求を、通信ネットワーク5を通じて、サーバ装置2に送信することができるものである。
Further, as will be described in detail later, each of the client terminals 1a, 1b,... Detects and accumulates various biological information such as the user's body temperature and pulse, and based on the accumulated biological information, The emotional state can be analyzed. Then, each of the client terminals 1a, 1b,... In this embodiment, when the user inputs a content use schedule on a target date, the analysis result of the emotional state and the identification information (identification ID) of the own device A content search recommendation request for requesting provision of information on appropriate content in consideration of the emotional state of the user can be transmitted to the
つまり、クライアント端末1a、1b、…のそれぞれは、スケジュール帳機能に連動させて、自己の感情状態をも考慮した適切なコンテンツについての情報提供を要求するためのコンテンツ検索推奨要求を、サーバ装置2に送信することにより、コンテンツの検索および推奨サービスを受けることができるようにしたものである。 In other words, each of the client terminals 1a, 1b,... Sends a content search recommendation request for requesting provision of information about appropriate content in consideration of its own emotional state in conjunction with the schedule book function. By sending to, you can receive content search and recommended services.
サーバ装置2は、ユーザが利用可能なコンテンツのそれぞれについての特性を把握している。そして、サーバ装置2は、クライアント装置1a、1b、…からのコンテンツ検索推奨要求を受信すると、受信したユーザの感情状態の分析結果と、ユーザが利用可能なコンテンツの特性とに基づいて、そのユーザに対して提供するのに適したコンテンツを検索し、この検索結果をコンテンツの推奨情報として、要求元のクライアント装置に返信することができるものである。
The
これにより、例えば、ユーザの感情状態が、例えば、ストレスが多く、怒りの感情の割合が高い状態にあるときには、ストレスを低減させ、怒りを抑制するような、楽しいコンテンツを検索し、これを推奨するなど、ユーザの感情状態に応じたコンテンツの検索、推奨ができるようにしている。換言すれば、サーバ装置2は、ユーザからの要求に応じて、コンテンツ検索推奨サービスを提供することができるものである。
Thus, for example, when the emotional state of the user is, for example, in a state where there is a lot of stress and a high proportion of angry emotions, it is recommended to search for fun content that reduces stress and suppresses anger. For example, the content can be searched and recommended according to the emotional state of the user. In other words, the
なお、この実施の形態において、認証局3は、サーバ装置2からの依頼に基づいて、当該サーバ装置2にアクセスしてきたクライアント端末1a、1b、…が、サーバ装置2にアクセス可能であって、情報の提供が可能な端末か否かの認証を行うものである。通常、サーバ装置2の運営者とクライアント端末1a、1b、…のユーザとは、契約関係が存在し、認証局3は、サーバ装置2と契約関係にあるクライアント端末の識別情報などの登録を受け付けて、これを保持している。
In this embodiment, the
これにより、認証局3において、サーバ装置2に対してアクセスしてきたクライアント端末が、サーバ装置2から情報の提供を受けることができるものかの認証を行うことができるようにしている。なお、この実施の形態において、クライアント端末1a、1b、…は、特に示した場合を除き、サーバ装置2との間に契約関係が成立し、サーバ装置2からコンテンツ検索推奨サービスの提供を受けることができるものである。
As a result, the
また、情報提供機関4は、それが設置されている、あるいは、担当することになる、競技場、ホール、映画館、美術館などのチケットの売れ行きや、それらの場所で提供される催し物などのコンテンツについての関心度などについての情報を提供するものである。これらの情報をもクライアント端末のユーザに提供できるようにしておくことにより、コンテンツを選択する際の参考とすることができるようにしている。
The
なお、図8においては、サーバ装置2は1つしか記載しなかったが、同様のサービスを提供する複数のサーバ装置が存在する場合もある。この場合には、多数のクライアント端末からのアクセスを分散させ、良好な通信環境を確保することが可能となる。
In FIG. 8, only one
そして、上述の説明からも分かるように、この実施の形態のクライアント端末1a、1b、…のそれぞれは、図1を用いて説明した第1の実施の形態のコンテンツ推奨装置の主に感情状態の評価処理系10が行う処理を行うものであり、また、サーバ装置2は、図1を用いて説明した第1の実施の形態のコンテンツ推奨装置の主にコンテンツ検索推奨処理系20が行う処理を行うものである。これら、クライアント端末1a、1b、…のそれぞれと、サーバ装置2とが協働することにより、第1の実施の形態のコンテンツ推奨装置と同様の機能を実現するようにしている。
As can be seen from the above description, each of the client terminals 1a, 1b,... Of this embodiment is mainly an emotional state of the content recommendation device of the first embodiment described with reference to FIG. The processing performed by the
以下に、この実施の形態のコンテンツ検索推奨システムにおけるクライアント端末1a、1b、…と、サーバ装置2との構成と動作について具体的に説明する。なお、上述もしたように、クライアント端末1a、1b、…のそれぞれは、同様の構成を有するものである。このため、以下においては、クライアント端末1a、1b、…のそれぞれをクライアント端末1として説明する。
Hereinafter, the configuration and operation of the client terminals 1a, 1b,... And the
[2−2:クライアント端末1について]
図9は、図8に示したコンテンツ検索推奨システムを構成するクライアント端末1を説明するためのブロック図である。この実施の形態のクライアント端末1は、上述した第1の実施の形態において、図1を用いて説明したコンテンツ推奨装置のコンテンツ検索推奨処理系20を除いた部分、すなわち、制御部30と感情状態の評価処理系10とにより構成されるものである。このため、この実施の形態のクライアント端末1の構成を示す図9において、図1に示した第1の実施の形態のコンテンツ推奨装置と同様に構成される部分には同じ参照符号を付し、その詳細な説明については省略することとする。
[2-2: About the client terminal 1]
FIG. 9 is a block diagram for explaining the
なお、図9において、制御部100は、図1に示した第1の実施の形態のコンテンツ推奨装置の制御部30に相当し、CPU31、メモリー部32、ユーザI/F33に相当するCPU101、メモリー部102、ユーザI/F103がシステムバス14を通じて接続されて構成されたものである。また、スケジュールベースアプリケーション部13には、通信ネットワーク5を通じてサーバ装置2との間で通信を行うようにするための通信部133が設けられている。
9, the
これら制御部100および通信部133以外の各部分は、図1に示した第1の実施の形態のコンテンツ推奨装置の感情状態の評価処理系10と同様に構成されるものである。したがって、この実施の形態のクライアント端末1の映像、音声、生体情報および感情記憶装置部(以下、単に記憶装置部という。)11は、図3に示した構成を有し、生体情報入力部117、A/Dコンバータ118、生体情報入力部コントローラ119は、図4に示した構成を有するものである。また、この実施の形態のクライアント端末1の複合情報データベース12は、図2Aに示した各情報を記憶保持するものである。
Each part other than the
そして、この実施の形態のクライアント端末1の場合には、記録装置部11により、ユーザの生体情報を測定(検出)し、記録装置部11の記録部122と複合情報データベース12とにより、測定した生体情報を蓄積して管理することができるようにしている。また、記録装置部11の記録部122と複合情報データベース12とにより蓄積して管理している生体情報を記録装置部11の感情解析処理部120によって解析することにより、感情状態を把握することができるようにしている。
In the case of the
さらに、スケジュールベースアプリケーション部13の機能により、スケジュール帳機能を実現し、このスケジュール帳機能に連動して、ユーザの感情状態をも考慮したコンテンツの検索推奨サービスを受けるために、ユーザの感情状態を示す情報やユーザ識別ID等を含むコンテンツ検索推奨要求を形成して、サーバ装置2に送信すると共に、サーバ装置からのコンテンツ推奨リストを受信して、これをユーザに提示することができるようにされる。
Furthermore, the function of the schedule
[2−3:サーバ装置2について]
図10は、図8に示したコンテンツ検索推奨システムを構成するサーバ装置2を説明するためのブロック図である。この実施の形態のサーバ装置2は、上述した第1の実施の形態において、図1を用いて説明したコンテンツ推奨装置の感情状態の評価処理部10を除いた部分、すなわち、制御部30とコンテンツ検索推奨処理系20とにより構成されるものである。このため、この実施の形態のサーバ装置2の構成を示す図10において、図1に示した第1の実施の形態のコンテンツ推奨装置と同様に構成される部分には同じ参照符号を付し、その詳細な説明については省略することとする。
[2-3: Server apparatus 2]
FIG. 10 is a block diagram for explaining the
なお、図10において、制御部200は、図1に示した第1の実施の形態のコンテンツ推奨装置の制御部30に相当し、CPU31、メモリー部32、ユーザI/F33に相当するCPU201、メモリー部202、ユーザI/F203がシステムバス27を通じて接続されて構成されたものである。これら制御部200以外の各部分は、図1に示した第1の実施の形態のコンテンツ推奨装置のコンテンツ検索推奨処理系20と同様に構成されるものである。
10, the
したがって、コンテンツ情報データベース22は、図2Bに示した情報を記憶保持し、ユーザ情報データベースは、図2Cに示した情報を記憶保持し、制御部200を通じて参照することはもちろん、必要に応じて、追加、変更、削除などをも行うことができるようにされている。
Therefore, the
そして、この実施の形態のサーバ装置2の制御部200は、通信部21を通じてクライアント端末1からのコンテンツ検索推奨要求を受信すると、その要求に含まれる感情状態を示す情報に基づいて、コンテンツ情報データベース22に保持されているデータを参照して、要求元のユーザに適したコンテンツを検索する。
And the
そして、制御部200は、コンテンツ推奨処理部24を制御して、コンテンツ情報データベース22の各データの問合せ状況、販売実績に応じて、人気度、関心度を集計するようにして、検索したコンテンツの絞込みを行い、さらに、推奨するコンテンツの体験後の感情状態の予想をも行うようにして、コンテンツの推奨リストを形成し、これを通信部21を通じて要求元のクライアント装置1に送信する。要求元のクライアント端末1は、コンテンツ検索推奨要求に含まれているユーザ識別IDによって特定することが可能である。
Then, the
この後、クライアント装置1は、受信した推奨リストをユーザI/F103を通じて提供し、図7に示したフローチャートのステップS16からの処理と同様に、前回の推奨リストと比較できるようにし、コンテンツリストの追加や修正を行って、推奨リストを確定し、これをクライアント端末1に保持し利用することができるようにされる。
Thereafter, the
これによって、クライアント端末1のユーザは、目的とする日において利用に適したコンテンツを推奨してもらい、その推奨されたコンテンツの中から自分にあったコンテンツを利用できるようにしたり、そのコンテンツを利用するためのチケットを購入するようにしたりするなどのことができるようにされる。
As a result, the user of the
なお、コンテンツの検索にあたっては、サーバ装置2は、自己のコンテンツ情報データベース22の情報だけでなく、通信ネットワーク5に接続された情報提供機関4にアクセスして、情報提供機関4の持つ情報によってコンテンツの検索を行うようにすることもできる。また、サーバ装置2は、コンテンツ検索推奨サービスを提供するプロバイダやコンテンツ販売店などによって運営するようにされる。
When searching for content, the
また、この第2の実施の形態において、情報提供機関4は、インターネットなどの通信ネットワークを介してサーバ装置2からの要求に応答することができるようにされている。そして、推奨対象のコンテンツに関する情報(例えば、コンテンツ名称、値段、有効期間、販売開始日時、問い合わせ状況、販売実績など)を提供する。情報提供機関4は、コンテンツを提供することになるコンテンツ販売店に設置されるものだけでなく、コンテンツを体験する劇場や競技場などの施設に設置されるものも含まれる。
In the second embodiment, the
そして、この第2の実施の形態においては、生体情報を検出する検出手段としての機能と、感情状態を解析する解析手段としての機能とは、クライアント端末1の記録装置部11が実現し、また、コンテンツ検索手段としての機能は、サーバ装置2のCPU201、コンテンツ推奨処理部24、コンテンツ情報データベース22により実現し、また、通知手段としての機能は、クライアント端末1のスケジュールベースアプリケーション部13、ユーザI/F103の情報提供部によって実現される。
In the second embodiment, the
また、コンテンツ利用後のユーザの感情状態を予測する予測手段は、サーバ装置2のコンテンツ推奨処理部24の感情予測部243が実現し、予測通知手段としての機能は、クライアント端末1の主にユーザI/F33の情報提供部が実現する。また、コンテンツ利用後のユーザの感情状態を評価する評価手段は、クライアント端末1のCPU101などにより実現される。また、ユーザからの予定表情報などの入力を受け付ける受付手段としての機能は、クライアント端末のユーザI/F103の情報受付部により実現される。
Further, the prediction means for predicting the emotional state of the user after using the content is realized by the
また、クライアント端末1において主にサーバ装置2との間で行う通信処理を実現するための送信手段や受信手段の機能は通信部133が実現し、サーバ装置2の主にクライアント端末1との間で行う通信処理を実現するための送信手段や受信手段は通信部21が実現するようにしている。
In addition, the
[2−4:コンテンツ検索推奨システムの動作について]
次に、この第2の実施の形態のコンテンツ検索推奨システムの動作について、図11、図12のタイミングチャートを参照しながら説明する。なお、上述の実施の形態においては、コンテンツの人気度や関心度は、コンテンツ情報データベース22の情報を用いる場合を説明したが、ここでは、コンテンツの人気度や関心度を示す情報は最新のものを使用するため、情報提供機関4に問合せるととともに、当該問合せの事実についても情報提供機関の持つ情報(問い合わせ状況など)に反映させるようにしているものである。
[2-4: Operation of content search recommendation system]
Next, the operation of the content search recommendation system according to the second embodiment will be described with reference to the timing charts of FIGS. In the above-described embodiment, the case where the information of the
クライアント端末1においては、記録装置部11の機能により、ユーザの生体情報の測定、蓄積が継続的に行われている。そして、クライアント端末1のスケジュール帳機能が用いられて、例えば、何月何日に映画を見るなどというようなスケジュール情報が入力されると、図11に示すように、クライアント端末1は、目的とするコンテンツのイベント種別と自己の識別ID(ユーザID)を含むコンテンツ検索推奨要求を形成し、これをサーバ装置2に送信する(ステップS31)。
In the
サーバ装置2は、クライアント端末1からのコンテンツ検索推奨要求を受信すると、これに含まれるユーザIDに基づいて、サーバ装置2は、コンテンツ検索推奨サービスの提供を受けられるユーザか否かの認証を取るために、ユーザIDを含むユーザの認証要求を認証局3に送信する(ステップS32)。認証局3は、認証要求に含まれるユーザIDに基づいて、会員登録されているユーザ情報を参照することにより認証確認処理(認証処理)を行い(ステップS33)、その結果をサーバ装置2に返信する(ステップS34)。
When the
認証が取れなかった場合には、サーバ装置2は、認証が取れないためにコンテンツ検索推奨サービスを受けられない旨を要求元のクライアント端末1に通知するステップS35)。また、認証が取れた場合には、サーバ装置2は、ユーザID、イベント種別(コンテンツ内容)などのユーザから提供される情報をユーザ情報データベース23に供給して、これらを記録するように要求する(ステップS36)。ユーザ情報データベース23は、要求のあったユーザ情報を記録処理して(ステップS37)、記録済応答をサーバ装置2に返信する(ステップS38)。
If the authentication is not successful, the
ユーザ情報の記録済応答が返信されてくると、サーバ装置2は、コンテンツ検索推奨要求の送信元のクライアント端末1に対して、生体情報を解析して感情状態を把握するようにする要求を形成して送信する(ステップS39)。この要求に応じて、クライアント端末1は、生体情報を解析して感情状態を把握し、例えば、所定期間における感情分布を求めて、これをサーバ装置2に送信する。
When the recorded response of the user information is returned, the
サーバ装置2は、クライアント端末1からの感情分布を受信すると、これをユーザ情報データベース23に供給して、当該ユーザのデータとして記録するように要求する(ステップS41)。ユーザ情報データベース23は、要求のあったユーザ情報を記録処理して(ステップS42)、記録済応答をサーバ装置2に返信する(ステップS43)。
Upon receiving the emotion distribution from the
そして、サーバ装置2は、当該ユーザの感情分布やイベント種別などに基づいて、当該ユーザに適したコンテンツを検索するように要求を出す(ステップS44)。この要求に応じて、コンテンツ情報データベース22においては、検索処理を行って、ユーザに適したコンテンツを検索し(ステップS45)、その検索結果をサーバ装置2に通知する(ステップS46)。
Then, the
検索結果の通知を受けると、サーバ装置2は、図12に示すように、検索の結果得られたコンテンツの人気度、関心度を通知するように、そのコンテンツに関連する情報提供機関4に要求する(ステップS47)。この要求に応じて、情報適用機関4は、要求のあったコンテンツについての人気度を示す情報、関心度を示す情報を取得し(ステップS48)、これをサーバ装置2に返信する(ステップS49)。
Upon receiving the notification of the search result, the
この後、サーバ装置2は、人気度、関心度をも考慮して、推奨するコンテンツを絞り込むと共に、その推奨するコンテンツを体験した場合のユーザの感情状態の予測処理を行う(ステップS50)。この予測処理の結果や人気度、関心度をも含め、コンテンツ推奨結果、すなわちコンテンツの推奨リストを要求元のクライアント端末1に送信する(ステップS51)。
Thereafter, the
クライアント端末1においては、ユーザにより、前回の推奨リストとの比較や推奨コンテンツの追加や削除が行われ、コンテンツの推奨リストの確定操作が行われると、確定要求を形成し、これをサーバ装置2に送信する(ステップS52)。サーバ装置2は、確定要求を受信すると、人気度を示す情報や関心度を示す情報を取得したコンテンツに関する情報の、それらの情報を更新するようにする要求(更新要求)を形成し、これを該当する情報提供機関4に送信する(ステップS53)。
In the
これを受けて、情報提供機関4は、目的とするコンテンツについての情報を更新する(ステップS54)。すなわち、今回の一連の処理により、推奨されたコンテンツについては、問合せ回数が増えると共に、チケットなどの場合であって、購入するようにされた場合には、販売実績が増えることになる。そして、当該情報提供機関4は、更新結果応答をサーバ装置2に送信する(ステップS55)。
In response to this, the
サーバ装置2は、情報提供機関4からの更新結果応答を受信すると、コンテンツ情報データベース22の該当コンテンツの情報についても、情報提供機関4が有するコンテンツについての情報と同じように更新する要求を形成し、これをコンテンツ情報データベース22に供給して(ステップS56)、コンテンツ情報データベース22の情報も更新するようにする(ステップS57)。更新が終了すると、コンテンツ情報データベース22は、サーバ装置2に対して、更新結果応答を返信する(ステップS58)。
When the
サーバ装置2は、これら一連の更新結果を要求元のクライアント端末1に送信して通知し(ステップS59)、要求元のユーザがチケットを購入するようにするなどの操作を行っている場合には、それらの情報について更新するように、ユーザ情報データベース23に要求し(ステップS60)、ユーザ情報データベース23の該当情報を更新する(ステップS61)。
The
ステップS61における更新が終了した後には、ユーザ情報データベース23かサーバ装置2に対して更新結果応答が提供され(ステップS62)、この後、サーバ装置2は、要求元のクライアント端末1に対して、一連のコンテンツ検索推奨サービスが終了したことを通知する(ステップS63)。そして、ユーザにも一連のコンテンツ検索推奨サービスが終了したことが表示情報などとして通知され、コンテンツ検索推奨処理が終了するようにされる。
After the update in step S61 is completed, an update result response is provided to the
このように、この第2の実施の形態のコンテンツ検索推奨システムにおいても、上述した第1の実施の形態のコンテンツ推奨装置の場合と同様に、時間情報(時間経過)と感情状態とから感情分布(感情推移)が把握でき、この感情分布を考慮して、ユーザの内面により作用可能な適切なコンテンツを当該ユーザに推奨することができる。 As described above, in the content search recommendation system according to the second embodiment as well, in the same manner as the content recommendation device according to the first embodiment described above, the emotion distribution is determined from the time information (elapsed time) and the emotion state. (Emotion transition) can be grasped, and in consideration of this emotion distribution, appropriate content that can act on the inner surface of the user can be recommended to the user.
また、スケジュール帳機能とコンテンツの検索推奨機能とを連動させることで、煩わしい入力作業などを伴うことなく、スケジュール情報の入力というスケジュール帳機能の利用過程において、コンテンツの検索、推奨を行うようにすることができる。 In addition, by linking the schedule book function with the recommended content search function, content search and recommendation can be performed in the process of using the schedule book function of inputting schedule information without any cumbersome input work. be able to.
また、蓄積された生体情報を解析することにより得られる感情情報から、コンテンツの体験日までの感情推移を予測することで、ユーザに対しより豊富なコンテンツ情報を提示することができる。 Further, by predicting the emotion transition from the emotion information obtained by analyzing the accumulated biological information to the content experience date, abundant content information can be presented to the user.
なお、推奨されたコンテンツの体験時の生体情報を測定し、これをサーバ装置2に対してフィードバックするようにすることによって、推奨したコンテンツに対するユーザの満足度を正確に把握することができ、これを次回の推奨時に用いることができるため、より確度の高い推奨処理を行うことができるようにされる。
In addition, by measuring the biological information at the time of the experience of the recommended content and feeding it back to the
すなわち、満足度があまり得られなかったコンテンツについては、再度の推奨をしないようにしたり、満足度が得られなかったコンテンツと同じ種類のコンテンツや、満足度が得られなかったコンテンツと同じ作家のコンテンツについては、推奨の優先順位を下げたりして、信頼性の高いコンテンツ推奨処理を行うようにすることができる。 In other words, content that did not get much satisfaction was not recommended again, the same type of content as content that did not get satisfaction, or content of the same author as content that did not get satisfaction For content, it is possible to perform highly reliable content recommendation processing by reducing the priority of recommendation.
また、この第2の実施の形態のコンテンツ検索推奨システムの場合には、サーバ装置2は、通信ネットワーク5上に設けられるので、クライアント端末1は、コンテンツ情報データベースのような大量の情報を持たなくても済む。また、より多くのコンテンツの最新情報を用いてコンテンツの検索推奨を行うようにすることができるようにされる。
Further, in the case of the content search recommendation system according to the second embodiment, since the
なお、ここでは、クライアント端末1、サーバ装置2、認証局3、情報提供機関4は、例えば、インターネットなどの広域の通信ネットワーク5を通じて接続される場合を例にして説明したが、これに限るものではない。
Here, the
例えば、図13に示すように、所定のLAN9に、この発明によるクライアント端末1、サーバ装置2を接続して、いわゆるホームネットワークシステムを構築した場合にもこの発明を実現することができる。この場合、ハードディスクレコーダ7a、DVD(Digital Versatile Disc)レコーダ7b、VTR(Video Tape Recorder)7cなどが保持するコンテンツに対して、推奨を行うことも可能であるし、通信部6を通じて広域の通信ネットワークにも接続して、より多くのコンテンツに関する情報をサーバ装置2が収集して、これらをも対象にして、コンテンツの検索および推奨を行うようにすることも可能である。
For example, as shown in FIG. 13, the present invention can also be realized when a so-called home network system is constructed by connecting the
なお、図13に示した表示装置8は、ハードディスクレコーダ7a、DVDレコーダ7b、VTR7cからの情報を再生することができるほか、クライアント端末1やサーバ装置2からの要求に応じて、種々のメッセージなどを表示するなどのこともできるようにされる。
The
なお、この第2の実施の形態のコンテンツ検索推奨システムにおいては、生体情報を解析して、ユーザの感情状態を解析する処理は、クライアント端末1側で行うものとして説明したが、これに限るものではない。例えば、クライアント端末側では、ユーザの生体情報を継続的に検出して蓄積していき、スケジュール情報が入力された場合に、それまでに蓄積されている生体情報をサーバ装置2に送信するようにして、サーバ装置2側で生体情報を解析し、ユーザの感情状態を得るようにしてもよい。
In the content search recommendation system according to the second embodiment, the process of analyzing the biometric information and analyzing the emotional state of the user has been described as being performed on the
クライアント端末1から生体情報をサーバ装置2に送信するようにし、サーバ装置2の制御部200がクライアント端末1の感情解析処理部120としての機能を実現するようにすればよい。これ以外の処理は、上述した第2の実施の形態のコンテンツ検索推奨システムとほぼ同様である。
The biometric information may be transmitted from the
[3:その他]
[多様な推奨方式]
この発明においては、コンテンツ情報データベースやユーザ情報データベースを用いることで、感情に基づくコンテンツ推奨内容をさらに詳細に分析し、提示することができる。例えば、コンテンツ情報データベースの利用場所の情報を用いることで、ユーザに対し、場所別の絞込みを行ったコンテンツの推奨ができる。
[3: Others]
[Various recommended methods]
In the present invention, by using the content information database or the user information database, it is possible to analyze and present the recommended content based on emotion in more detail. For example, by using the information on the usage location of the content information database, it is possible to recommend content that has been narrowed down by location to the user.
これによりユーザは感情情報に加えて、例えば同一場所での利用に関するポイント還元サービスなどの情報を考慮したコンテンツの選択を行うことができる。また、ユーザ情報データベースの購入日の情報を用いることで、ユーザに対し、感情解析を行った上で季節を考慮したコンテンツの推奨ができる。これによりユーザは、例えばリラックスできる雰囲気で季節の食材を提供するレストランのチケットを購入することができる。 Thereby, in addition to emotion information, the user can select content in consideration of information such as a point reduction service related to use at the same place, for example. In addition, by using the purchase date information in the user information database, it is possible to recommend content to the user in consideration of the season after performing emotion analysis. This allows the user to purchase a restaurant ticket that provides seasonal ingredients in a relaxing atmosphere, for example.
[課金システムとの連動]
情報提供機関あるいは別の機関により用意される課金システムと連動させることで、推奨されるコンテンツの購入手続きを可能にするシステムを構築することもできる。例えば、第2の実施の形態のコンテンツ検索推奨システムの場合には、サーバ装置2から推奨されたコンテンツを利用したい場合、クライアント端末1は、サーバ装置2を介して、あるいは直接に、情報提供機関4にコンテンツの提供を要求し、コンテンツの提供に際して認証処理を行い、認証されたクライアント端末1に対してコンテンツを提供すると共に、そのクライアント端末1のユーザに対して課金を発生させるようにしてもよい。
[Interaction with billing system]
It is also possible to construct a system that enables a recommended content purchase procedure by linking with a charging system prepared by an information providing organization or another organization. For example, in the case of the content search recommendation system according to the second embodiment, when it is desired to use the content recommended by the
この場合の決済の方式は、クレジットカード番号を登録しておくようにして、クレジットカードを用いての決済を行うようにしてもよいし、また、銀行口座を登録しておくと共に、その銀行口座について、自動引き落としの登録をしておくことにより、銀行口座からの自動引き落としで決済することも可能である。また、請求書を発行し、これをユーザに送付し、ユーザが金融機関を通じて振込みをするなどの方法を取ることも可能である。 In this case, the settlement method may be such that a credit card number is registered and settlement using a credit card is performed, or a bank account is registered and the bank account is registered. By registering for automatic debit, it is also possible to settle by automatic debit from a bank account. It is also possible to issue a bill, send it to the user, and transfer the money through the financial institution.
また、課金を発生させる機関は、情報提供機関4だけでなく、必ずサーバ装置2を経由するようにシステムを構築することにより、サーバ装置2が課金を発生させ、これを請求するようにすることも可能であるし、あるいは、認証局3が課金を発生させる機関としての機能を持つようにすることも可能である。
In addition, not only the
[映像や音声との連動]
また、コンテンツ体験時のユーザの映像や音声を記録装置により記録し、これらのデータをコンテンツ推奨時に映像や音声の認識装置を用いて利用することで、本発明の一部を構成する感情モデル解析部の出力をより確度の高いものにする。例えば、感情モデルの出力と、画像認識によるユーザの表情の評価や音声認識による感嘆語やイントネーションの認識などを組み合わせることで、より複雑な感情に対応したコンテンツの推奨を行うことができる。
[Linking with video and audio]
Also, the user's video and audio at the time of content experience are recorded by a recording device, and these data are used by the video and audio recognition device at the time of content recommendation, so that the emotion model analysis that constitutes a part of the present invention Make the output of the part more accurate. For example, it is possible to recommend content corresponding to more complex emotions by combining the output of the emotion model with the evaluation of the user's facial expression by image recognition, the recognition of exclamation words and intonation by voice recognition, and the like.
この場合には、第1の実施の形態、第2の実施の形態とも記録装置部11の撮像部111、A/Dコンバータ112、撮像部信号処理部113からなる撮像系を用いることで可能となる。なお、撮像系には、マイクロホン、音声用A/Dコンバータ、音声信号処理部などを設けておくことにより、画像と共に、ユーザの音声をも収音し、上述したように、ユーザの感情の解析を行うようにすることができる。
In this case, both the first embodiment and the second embodiment can be realized by using an imaging system including the
[グループによる運用]
また、個人間でスケジュールの公開を認めた場合、グループIDやグループパスワードを発行するなどの方法で、グループによるコンテンツ推奨を行うことも可能である。例えば、グループ内の個々の人間の感情に基づいて推奨されたすべてのコンテンツを呈示したり、個々の人間の感情を統合し、グループとしての感情を求め、この感情からコンテンツを推奨したりするなどの方法が考えられる。
[Operation by group]
In addition, when the release of the schedule is permitted among individuals, it is also possible to make a content recommendation by a group by issuing a group ID or a group password. For example, presenting all recommended content based on the emotions of individual humans in the group, or integrating individual human emotions, seeking emotions as a group, and recommending content from these emotions Can be considered.
これは、いわば、グループを形成する各個人の生体情報から、そのグループの平均的な感情状態を把握し、これに応じて、そのグループに適したコンテンツの推奨を行うようにするものであり、多数人から構成されるグループにおいて、1つのコンテンツしか利用できない場合であっても、その構成メンバーのそれぞれを考慮し、そのグループにとって、適したコンテンツの推奨が可能となり、利用するコンテンツがなかなか決まらないなどのグループにおいてよく発生する問題を効率よく解決することができる。 In other words, from the biometric information of each individual who forms a group, the average emotional state of the group is grasped, and according to this, content suitable for the group is recommended. Even if only one piece of content can be used in a group consisting of a large number of people, it is possible to recommend content that is appropriate for the group in consideration of each of its members, and it is difficult to determine the content to use. It is possible to efficiently solve problems that frequently occur in groups such as.
例えば、誕生日会やホームパーティなどにおいて、出席者全員の感情状態を考慮して、映画のコンテンツを選択するようにしたり、また、各種のコンテンツの鑑賞会において、鑑賞するコンテンツを選択したりする場合に、各出席者の生体情報から各出席者の感情状態を把握し、その把握した感情状態に基づいて、その集まり(グループ)に適したコンテンツを推奨するようにすることが可能となる。 For example, at the birthday party or home party, select the content of the movie in consideration of the emotional state of all attendees, or select the content to be viewed at various content appreciation parties. In this case, it is possible to grasp the emotional state of each attendee from the biometric information of each attendee and recommend content suitable for the group (group) based on the grasped emotional state.
[用いる生体情報の種類について]
上述した実施の形態においては、測定する生体情報としては、脳波、心電、脈波、体温、筋電を用いるものとして説明したが、これに限るものではない。例えば、呼吸数や呼吸量等の呼吸情報、血圧情報、皮膚の発汗情報、皮膚抵抗情報、体動情報、脳磁図情報、瞳孔径、マイクロバイブレーション情報、生化学反応情報など種々のものを用いることが可能である。
[Types of biometric information used]
In the above-described embodiment, the biological information to be measured has been described as using brain waves, electrocardiograms, pulse waves, body temperature, and myoelectrics, but is not limited thereto. For example, use various information such as respiratory information such as respiratory rate and respiratory volume, blood pressure information, skin sweat information, skin resistance information, body movement information, magnetoencephalogram information, pupil diameter, microvibration information, biochemical reaction information, etc. Is possible.
すなわち、用いることが可能な、生体情報としては、心拍情報、脈拍情報、呼吸情報、血圧情報、心電図情報、脳波情報、皮膚の発汗情報、皮膚抵抗情報、体動情報、脳磁図情報、筋電情報、体表面温度、瞳孔径の大きさ、マイクロバイブレーション情報、生化学反応情報などの種々のものの1つ以上を用いるようにし、この測定した生体情報を解析することにより、感情状態を把握するようにすればよい。 That is, biological information that can be used includes heart rate information, pulse information, respiratory information, blood pressure information, electrocardiogram information, electroencephalogram information, skin sweat information, skin resistance information, body motion information, magnetoencephalogram information, myoelectric information. Use one or more of information, body surface temperature, pupil size, microvibration information, biochemical reaction information, etc., and analyze the measured biological information to understand the emotional state You can do it.
また、人間の身体が自発的、誘発的に発する上述した生体情報を解析することにより、感情状態を把握する場合に限るものではない。例えば、所定のリズムで操作ボタンスイッチを一定時間、押下操作することを要求するようにし、所定のリズムに対するユーザの操作ボタンスイッチの押下操作リズムのずれを検出することにより、ユーザの感情の安定度や興奮度などを把握するようにしたり、また、所定時間内に操作ボタンスイッチをできるだけ多く押下操作することを要求するようにし、その押下操作の回数により、ユーザの感情の安定度や興奮度などを把握するようにしたりするなど、ユーザの操作入力を受け付けて、その入力情報に基づいて当該ユーザの感情状態を把握するようにしてもよい。 Further, the present invention is not limited to the case where the emotional state is grasped by analyzing the above-described biological information spontaneously and inductively generated by the human body. For example, it is required to press the operation button switch at a predetermined rhythm for a certain period of time, and by detecting a shift in the rhythm of pressing the operation button switch of the user with respect to the predetermined rhythm, the stability of the emotion of the user Or the degree of excitement, or request that the operation button switch be pressed as many times as possible within a predetermined time, and depending on the number of pressing operations, the stability of the user's emotion, excitement, etc. For example, the user's operation input may be received, and the emotional state of the user may be determined based on the input information.
すなわち、生体情報は、心拍、心電、脳波などのユーザの身体が自発的、誘発的に発する情報だけでなく、上述のように、押下ボタンスイッチの押下リズムや押下回数などのユーザの意思によって行われるユーザの動作から得られる情報も広義には生体情報であり、このようなユーザの能動的な動作から得られるユーザについての情報も生体情報として用いることが可能である。 That is, the biological information is not only information that the user's body voluntarily and triggers such as heartbeat, electrocardiogram, electroencephalogram, but also the user's intention such as the pressing rhythm and the number of pressings of the pressing button switch as described above. Information obtained from the user's action performed is also biological information in a broad sense, and information about the user obtained from such a user's active action can also be used as the biological information.
また、推奨するコンテンツは、上述もしたように、映画、音楽、書籍などのデータとして、オンラインやCDやDVDや半導体メモリーなどの記録媒体に記録されて提供可能なもの他、コンサート、演劇、スポーツの試合などの種々のイベントや、美術館、博物館、遊園地、映画館などの、種々の情報やいわゆるアトラクションなどを提供するものも含まれる。この他にも、ユーザの感情状態に応じて、推奨可能なもの、例えば、料理などの飲食物や、洋服の組み合わせなどの種々のものを推奨する場合にこの発明を利用することが可能である。 In addition, as described above, recommended contents include data that can be recorded online and recorded on recording media such as CDs, DVDs, and semiconductor memories, as well as data for movies, music, books, etc., concerts, plays, sports Various events such as games, and various information such as art museums, museums, amusement parks, movie theaters, and so-called attractions are also included. In addition to this, it is possible to use the present invention when recommending various items that can be recommended according to the emotional state of the user, for example, food and drink such as dishes, and combinations of clothes. .
10…感情状態の評価処理系、11…映像、音声、生体情報および感情記録装置部(記録装置部)、111…撮像部、112…A/Dコンバータ、113…撮像部信号処理部、114…撮像部コントローラ、115…CPU、116…RAM、117…生体情報入力部、118…A/Dコンバータ、119…生体情報入力部コントローラ、120…感情解析処理部、121…記録部コントローラ、122…記録部、123…ネットワークインターフェイス、124…表示部コントローラ、125…表示部、12…複合情報データベース、13…スケジュールベースアプリケーション部、131…処理部、132…記憶部、20…コンテンツ検索推奨処理系、21…通信部、22…コンテンツ情報データベース、23…ユーザ情報データベース、24…コンテンツ推奨処理部、241…人気度集計部、242…関心度集計部、243…感情予想部、30…制御部、31…CPU、32…メモリー部、33…ユーザインターフェイス
DESCRIPTION OF
Claims (32)
前記検出手段により検出された1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記ユーザに対して推奨するコンテンツを検索する検索手段と、
前記検索手段においての検索結果を通知する通知手段と
を備えることを特徴とする情報検索装置。 Detecting means for detecting one or more types of biological information from the user;
Analysis means for analyzing the emotional state of the user from one or more types of biological information detected by the detection means;
Search means for searching for recommended content for the user based on the analysis result by the analysis means;
An information search apparatus comprising: notification means for notifying a search result in the search means.
少なくとも前記検索手段により検索されたコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測手段と、
前記予測手段における予測結果を通知する予測通知手段と
を備えることを特徴とする情報検索装置。 The information search device according to claim 1,
Prediction means for predicting the emotional state of the user after use of the content based on at least the characteristics of the content searched by the search means;
An information search apparatus comprising: a prediction notification means for notifying a prediction result in the prediction means.
前記検出手段は、コンテンツ利用時の前記ユーザの生体情報をも検出することができるものであり、
コンテンツ利用時において前記検出手段により検出される前記生体情報に基づいて、利用したコンテンツについての評価を行う評価手段と
を備え
前記検索手段は、前記評価手段における評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とする情報検索装置。 The information search device according to claim 1 or 2, wherein
The detection means can also detect the user's biometric information when using content,
Evaluation means for evaluating the used content based on the biometric information detected by the detection means at the time of using the content. The search means is recommended to the user in consideration of the evaluation result in the evaluation means. An information search apparatus characterized by selecting content to be performed.
ユーザからの予定表情報の入力を受け付ける受付手段を備え、
前記検索手段は、前記受付手段を通じて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とを考慮して推奨するコンテンツを検索することを特徴とする情報検索装置。 The information search device according to claim 1, claim 2, or claim 3,
A reception means for receiving input of schedule information from the user,
The information search apparatus, wherein the search means searches for recommended content in consideration of a scheduled date and a type of content scheduled to be used in the schedule information received through the receiving means.
前記検出ステップにおいて検出した1種類以上の前記生体情報から、前記生体情報の発生元である前記ユーザの感情状態を解析する解析ステップと、
前記解析ステップにおいての解析結果に基づいて、前記ユーザに対して推奨するコンテンツを検索する検索ステップと、
前記検索ステップにおいて得られる検索の結果を通知する通知ステップと
を有することを特徴とする情報検索方法。 A detection step of detecting one or more types of biological information from the user;
An analysis step of analyzing an emotional state of the user who is a generation source of the biological information from one or more types of the biological information detected in the detection step;
A search step for searching for content recommended for the user based on the analysis result in the analysis step;
A notification step of notifying a search result obtained in the search step.
少なくとも前記検索ステップにおいての検索の結果得られるコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測ステップと、
前記予測ステップにおいての予測結果を通知する予測通知ステップと
を有することを特徴とする情報検索方法。 The information search method according to claim 5,
A prediction step of predicting the emotional state of the user after use of the content based on characteristics of the content obtained as a result of the search in at least the search step;
A prediction notification step of notifying a prediction result in the prediction step.
前記検出ステップにおいては、コンテンツ利用時の前記ユーザの生体情報をも検出するようにしており、
コンテンツ利用時において前記検出ステップにおいて検出される前記生体情報に基づいて、利用したコンテンツについての評価を行う評価ステップを有し、
前記検索ステップにおいては、前記評価ステップにおける評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とする情報検索方法。 The information search method according to claim 5 or 6, wherein
In the detection step, the biometric information of the user at the time of using the content is also detected.
An evaluation step for evaluating the used content based on the biometric information detected in the detection step when using the content;
In the search step, the content to be recommended to the user is selected in consideration of the evaluation result in the evaluation step.
ユーザからの予定表情報の入力を受け付ける受付ステップとを有し、
前記検索ステップにおいては、前記受付ステップにおいて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とを考慮してコンテンツの検索を行うようにすることを特徴とする情報検索方法。 An information search method according to claim 5, claim 6 or claim 7,
A reception step for receiving input of schedule information from the user,
In the search step, the content search is performed in consideration of a scheduled date in the schedule information received in the reception step and a type of content scheduled to be used. .
前記クライアント装置は、
ユーザから1種類以上の生体情報を検出する検出手段と、
前記検出手段により検出された1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段からの感情状態の解析結果を前記サーバ装置に送信する解析結果送信手段と、
前記サーバ装置から送信されてくる推奨するコンテンツについての情報を受信する受信手段と、
前記受信手段を通じて受信した推奨するコンテンツに関する情報を通知する通知手段と
を備え、
前記サーバ装置は、
前記クライアント装置からの前記感情状態の解析結果を受信する解析結果受信手段と、
前記解析結果受信手段を通じて受信した前記感情状態の解析結果に基づいて、前記ユーザに対して提供を推奨するコンテンツを検索する検索手段と、
前記検索手段の検索の結果得られた推奨するコンテンツに関する情報を要求元の前記クライアント装置に送信する送信手段と
を備えることを特徴とする情報検索システム。 An information retrieval system formed by connecting a client device and a server device through a predetermined network,
The client device is
Detecting means for detecting one or more types of biological information from the user;
Analysis means for analyzing the emotional state of the user from one or more types of biological information detected by the detection means;
Analysis result transmission means for transmitting the analysis result of the emotional state from the analysis means to the server device;
Receiving means for receiving information about recommended content transmitted from the server device;
Notification means for notifying information on recommended content received through the receiving means,
The server device
Analysis result receiving means for receiving an analysis result of the emotional state from the client device;
Search means for searching for content recommended for the user based on the analysis result of the emotional state received through the analysis result receiving means;
An information retrieval system comprising: a transmission unit configured to transmit information regarding recommended content obtained as a result of the search by the search unit to the client device that is a request source.
前記クライアント装置は、
前記サーバ装置から送信されてくるコンテンツ利用後におけるユーザの感情状態の予測結果を受信する予測結果受信手段と、
前記予測結果受信手段を通じて受け付けた前記予測結果を通知する予測通知手段と
を備え、
前記サーバ装置は、
少なくとも前記検索手段により検索されたコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測手段と、
前記予測手段における予測結果を前記クライアント装置に送信する予測結果送信手段と
を備えることを特徴とする情報検索システム。 The information search system according to claim 9,
The client device is
A prediction result receiving means for receiving a prediction result of a user's emotional state after using the content transmitted from the server device;
Prediction notification means for notifying the prediction result received through the prediction result receiving means,
The server device
Prediction means for predicting the emotional state of the user after use of the content based on at least the characteristics of the content searched by the search means;
An information retrieval system comprising: a prediction result transmission unit configured to transmit a prediction result in the prediction unit to the client device.
前記クライアント装置において、
前記検出手段は、コンテンツ利用時の前記ユーザの生体情報をも検出することができるものであり、
前記クライアント装置は、
コンテンツ利用時において前記検出手段により検出される前記生体情報に基づいて、利用したコンテンツについての評価を行う評価手段と、
前記評価手段における評価結果を前記サーバ装置に送信する評価結果送信手段と
を備え、
前記サーバ装置は、
前記クライアント装置からの前記評価結果を受信する評価結果受信手段を備え、
前記サーバ装置において、
前記検索手段は、前記評価手段における評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とする情報検索システム。 The information search system according to claim 9 or 10,
In the client device,
The detection means can also detect the user's biometric information when using content,
The client device is
Evaluation means for evaluating the used content based on the biometric information detected by the detection means when using the content;
Evaluation result transmission means for transmitting the evaluation result in the evaluation means to the server device,
The server device
An evaluation result receiving means for receiving the evaluation result from the client device;
In the server device,
The information search system, wherein the search means selects content to be recommended to a user in consideration of an evaluation result in the evaluation means.
前記クライアント装置は、
ユーザからの予定表情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた予定表情報を前記サーバ装置に送信する送信手段と
を備え、
前記サーバ装置は、
前記クライアント装置からの前記予定表情報を受信する予定表情報受信手段を備え、
前記サーバ装置において、
前記検索手段は、前記予定表情報受信手段を通じて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とを考慮してコンテンツを検索することを特徴とする情報検索システム。 An information search system according to claim 9, claim 10 or claim 11,
The client device is
Accepting means for accepting input of calendar information from a user;
Transmitting means for transmitting the schedule information received through the receiving means to the server device,
The server device
A schedule information receiving means for receiving the schedule information from the client device;
In the server device,
The information search system, wherein the search means searches for content in consideration of a scheduled date in the schedule information received through the schedule information receiving means and a type of content scheduled to be used.
前記クライアント装置は、
ユーザから1種類以上の生体情報を検出する検出手段と、
前記検出手段により検出された1種類以上の前記生体情報を前記サーバ装置に送信する生体情報送信手段と、
前記サーバ装置から送信されてくる推奨するコンテンツについての情報を受信する受信手段と、
前記受信手段を通じて受信した推奨するコンテンツに関する情報を通知する通知手段と
を備え、
前記サーバ装置は、
前記クライアント装置からの1種類以上の生体情報を受信する生体情報受信手段と、
前記生体情報受信手段を通じて受信した1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記ユーザに対して提供を推奨するコンテンツを検索する検索手段と、
前記検索手段の検索の結果得られた推奨するコンテンツに関する情報を要求元の前記クライアント装置に送信する送信手段と
を備えることを特徴とする情報検索システム。 An information retrieval system formed by connecting a client device and a server device through a predetermined network,
The client device is
Detecting means for detecting one or more types of biological information from the user;
Biometric information transmitting means for transmitting one or more types of biometric information detected by the detecting means to the server device;
Receiving means for receiving information about recommended content transmitted from the server device;
Notification means for notifying information on recommended content received through the receiving means,
The server device
Biometric information receiving means for receiving one or more types of biometric information from the client device;
Analyzing means for analyzing the emotional state of the user from one or more types of the biological information received through the biological information receiving means;
Search means for searching for content recommended to be provided to the user based on the analysis result by the analysis means;
An information retrieval system comprising: a transmission unit configured to transmit information regarding recommended content obtained as a result of the search by the search unit to the client device that is a request source.
前記クライアント装置は、
前記サーバ装置から送信されてくるコンテンツ利用後におけるユーザの感情状態の予測結果を受信する予測結果受信手段と、
前記予測結果受信手段を通じて受け付けた前記予測結果を通知する予測通知手段と
を備え、
前記サーバ装置は、
少なくとも前記検索手段により検索されたコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測手段と、
前記予測手段における予測結果を前記クライアント装置に送信する予測結果送信手段と
を備えることを特徴とする情報検索システム。 The information search system according to claim 13,
The client device is
A prediction result receiving means for receiving a prediction result of a user's emotional state after using the content transmitted from the server device;
Prediction notification means for notifying the prediction result received through the prediction result receiving means,
The server device
Prediction means for predicting the emotional state of the user after use of the content based on at least the characteristics of the content searched by the search means;
An information retrieval system comprising: a prediction result transmission unit configured to transmit a prediction result in the prediction unit to the client device.
前記クライアント装置において、
前記検出手段は、コンテンツ利用時の前記ユーザの生体情報をも検出することができるものであり、
前記生体情報送信手段は、コンテンツ利用時に前記検出手段により検出された前記生体情報をも前記サーバ装置に送信することができるものであり、
前記サーバ装置において、
前記生体情報受信手段は、コンテンツ利用時に前記クライアント装置の前記検出手段により検出され、前記クライアント装置の前記生体情報送信手段から送信された前記生体情報をも受信することができるものであり、
前記サーバ装置は、
前記生体情報受信手段を通じて受信したコンテンツ利用時に前記クライアント装置の前記検出手段により検出される前記1つ以上の前記生体情報に基づいて、利用されたコンテンツについての評価を行う評価手段を備え、
前記サーバ装置の前記検索手段は、前記評価手段における評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とする情報検索システム。 The information search system according to claim 13 or claim 14,
In the client device,
The detection means can also detect the user's biometric information when using content,
The biometric information transmitting means can transmit the biometric information detected by the detecting means when using content to the server device,
In the server device,
The biometric information receiving means is capable of receiving the biometric information detected by the detecting means of the client device at the time of content use and transmitted from the biometric information transmitting means of the client device,
The server device
Evaluation means for evaluating the used content based on the one or more biometric information detected by the detecting means of the client device when using the content received through the biometric information receiving means;
The information search system, wherein the search unit of the server device selects a content to be recommended to a user in consideration of an evaluation result in the evaluation unit.
前記クライアント装置は、
ユーザからの予定表情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた予定表情報を前記サーバ装置に送信する送信手段と
を備え、
前記サーバ装置は、
前記クライアント装置からの前記予定表情報を受信する予定表情報受信手段を備え、
前記サーバ装置の前記検索手段は、前記予定表情報受信手段を通じて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とを考慮してコンテンツを検索することを特徴とする情報検索システム。 The information search system according to claim 13, 14 or 15,
The client device is
Accepting means for accepting input of calendar information from a user;
Transmitting means for transmitting the schedule information received through the receiving means to the server device,
The server device
A schedule information receiving means for receiving the schedule information from the client device;
The search unit of the server device searches for content in consideration of a scheduled date in the schedule information received through the schedule information receiving unit and a type of content scheduled to be used. Search system.
ユーザから1種類以上の生体情報を検出する検出手段と、
前記検出手段により検出された1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段からの感情状態の解析結果を前記サーバ装置に送信する解析結果送信手段と、
前記サーバ装置から送信されてくる推奨するコンテンツについての情報を受信する受信手段と、
前記受信手段を通じて受信した推奨するコンテンツに関する情報を通知する通知手段と
を備えることを特徴とするクライアント装置。 The client device of the information search system in which a client device and a server device are connected through a predetermined network to provide a content recommendation service through the client device and the server device,
Detecting means for detecting one or more types of biological information from the user;
Analysis means for analyzing the emotional state of the user from one or more types of biological information detected by the detection means;
Analysis result transmission means for transmitting the analysis result of the emotional state from the analysis means to the server device;
Receiving means for receiving information about recommended content transmitted from the server device;
A client device comprising: notification means for notifying information on recommended content received through the receiving means.
前記サーバ装置から送信されてくるコンテンツ利用後におけるユーザの感情状態の予測結果を受信する予測結果受信手段と、
前記予測結果受信手段を通じて受け付けた前記予測結果を通知する予測通知手段と
を備えることを特徴とするクライアント装置。 The client device according to claim 17, comprising:
A prediction result receiving means for receiving a prediction result of a user's emotional state after using the content transmitted from the server device;
A client apparatus comprising: a prediction notifying unit that notifies the prediction result received through the prediction result receiving unit.
前記検出手段は、コンテンツ利用時の前記ユーザの生体情報をも検出することができるものであり、
コンテンツ利用時において前記検出手段により検出される前記生体情報に基づいて、利用したコンテンツについての評価を行う評価手段と、
前記評価手段における評価結果を前記サーバ装置に送信する評価結果送信手段と
を備えることを特徴とするクライアント装置。 The client device according to claim 17 or 18, wherein:
The detection means can also detect the user's biometric information when using content,
Evaluation means for evaluating the used content based on the biometric information detected by the detection means when using the content;
An evaluation result transmission means for transmitting an evaluation result in the evaluation means to the server device.
ユーザからの予定表情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた予定表情報を前記サーバ装置に送信する送信手段と
を備えることを特徴とするクライアント装置。 A client device according to claim 17, 18 or 19, comprising:
Accepting means for accepting input of calendar information from a user;
A client device comprising: a transmission unit that transmits the schedule information received through the reception unit to the server device.
ユーザから1種類以上の生体情報を検出する検出手段と、
前記検出手段により検出された1種類以上の前記生体情報を前記サーバ装置に送信する生体情報送信手段と、
前記サーバ装置から送信されてくる推奨するコンテンツについての情報を受信する受信手段と、
前記受信手段を通じて受信した推奨するコンテンツに関する情報を通知する通知手段と
を備えることを特徴とするクライアント装置。 The client device of the information search system in which a client device and a server device are connected through a predetermined network to provide a content recommendation service through the client device and the server device,
Detecting means for detecting one or more types of biological information from the user;
Biometric information transmitting means for transmitting one or more types of biometric information detected by the detecting means to the server device;
Receiving means for receiving information about recommended content transmitted from the server device;
A client device comprising: notification means for notifying information on recommended content received through the receiving means.
前記サーバ装置から送信されてくるコンテンツ利用後におけるユーザの感情状態の予測結果を受信する予測結果受信手段と、
前記予測結果受信手段を通じて受け付けた前記予測結果を通知する予測通知手段と
を備えることを特徴とするクライアント装置。 The client device according to claim 21, wherein
A prediction result receiving means for receiving a prediction result of a user's emotional state after using the content transmitted from the server device;
A client apparatus comprising: a prediction notifying unit that notifies the prediction result received through the prediction result receiving unit.
前記検出手段は、コンテンツ利用時の前記ユーザの生体情報をも検出することができるものであり、
前記生体情報送信手段は、コンテンツ利用時に前記検出手段により検出された前記生体情報をも前記サーバ装置に送信することができるものであることを特徴とするクライアント装置。 The client device according to claim 21 or claim 22, wherein
The detection means can also detect the user's biometric information when using content,
The client apparatus characterized in that the biometric information transmitting means can also transmit the biometric information detected by the detecting means when using content to the server apparatus.
ユーザからの予定表情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた予定表情報を前記サーバ装置に送信する送信手段と
を備えることを特徴とするクライアント装置。 A client device according to claim 21, claim 22 or claim 23,
Accepting means for accepting input of calendar information from a user;
A client device comprising: a transmission unit that transmits the schedule information received through the reception unit to the server device.
前記クライアント装置からの前記感情状態の分析結果を受信する分析結果受信手段と、
前記分析結果受信手段を通じて受信した前記感情状態の分析結果に基づいて、前記ユーザに対して提供を推奨するコンテンツを検索する検索手段と、
前記検索手段の検索の結果得られた推奨するコンテンツに関する情報を要求元の前記クライアント装置に送信する送信手段と
を備えることを特徴とするサーバ装置。 The server device of the information search system in which a client device and a server device are connected through a predetermined network to provide a recommended content service through the client device and the server device,
Analysis result receiving means for receiving an analysis result of the emotional state from the client device;
Search means for searching for content recommended for the user based on the analysis result of the emotional state received through the analysis result receiving means;
A server device comprising: a transmission unit configured to transmit information related to a recommended content obtained as a result of the search by the search unit to the requesting client device.
少なくとも前記検索手段により検索されたコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測手段と、
前記予測手段における予測結果を前記クライアント装置に送信する予測結果送信手段と
を備えることを特徴とするサーバ装置。 The server device according to claim 25, wherein
Prediction means for predicting the emotional state of the user after use of the content based on at least the characteristics of the content searched by the search means;
A server apparatus comprising: a prediction result transmission unit configured to transmit a prediction result in the prediction unit to the client device.
前記クライアント装置からの前記評価結果を受信する評価結果受信手段を備え、
前記検索手段は、前記評価手段における評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とするサーバ装置。 27. The server device according to claim 25 or claim 26, wherein:
An evaluation result receiving means for receiving the evaluation result from the client device;
The search unit selects a content to be recommended to a user in consideration of an evaluation result in the evaluation unit.
前記クライアント装置からの前記予定表情報を受信する予定表情報受信手段を備え、
前記検索手段は、前記分析手段による分析結果に加えて、前記予定表情報受信手段を通じて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とをも考慮してコンテンツを検索することを特徴とするサーバ装置。 A server device according to claim 25, claim 26 or claim 27,
A schedule information receiving means for receiving the schedule information from the client device;
The search means searches for content in consideration of the scheduled date of the schedule information received through the schedule information receiving means and the type of content scheduled to be used in addition to the analysis result by the analysis means. And a server device.
前記クライアント装置からの1種類以上の生体情報を受信する生体情報受信手段と、
前記生体情報受信手段を通じて受信した1種類以上の前記生体情報から、前記ユーザの感情状態を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記ユーザに対して提供を推奨するコンテンツを検索する検索手段と、
前記検索手段の検索の結果得られた推奨するコンテンツに関する情報を要求元の前記クライアント装置に送信する送信手段と
を備えることを特徴とするサーバ装置。 The server device of the information search system in which a client device and a server device are connected through a predetermined network to provide a recommended content service through the client device and the server device,
Biometric information receiving means for receiving one or more types of biometric information from the client device;
Analyzing means for analyzing the emotional state of the user from one or more types of the biological information received through the biological information receiving means;
Search means for searching for content recommended to be provided to the user based on the analysis result by the analysis means;
A server device comprising: a transmission unit configured to transmit information related to a recommended content obtained as a result of the search by the search unit to the requesting client device.
少なくとも前記検索手段により検索されたコンテンツについての特性に基づいて、当該コンテンツの利用後における前記ユーザの感情状態を予測する予測手段と、
前記予測手段における予測結果を前記クライアント装置に送信する予測結果送信手段と
を備えることを特徴とするサーバ装置。 30. The server device according to claim 29, wherein:
Prediction means for predicting the emotional state of the user after use of the content based on at least the characteristics of the content searched by the search means;
A server apparatus comprising: a prediction result transmission unit configured to transmit a prediction result in the prediction unit to the client device.
前記生体情報受信手段は、コンテンツ利用時に前記クライアント装置において検出され、前記クライアント装置から送信された前記生体情報をも受信することができるものであり、
前記生体情報受信手段を通じて受信したコンテンツ利用時に前記クライアント装置において検出された1つ以上の前記生体情報に基づいて、利用されたコンテンツについての評価を行う評価手段を備え、
前記検索手段は、前記評価手段における評価結果を考慮して、ユーザに推奨するようにするコンテンツを選択することを特徴とするサーバ装置。 The server device according to claim 29 or claim 30, wherein
The biometric information receiving means is capable of receiving the biometric information detected by the client device when content is used and transmitted from the client device,
An evaluation unit that evaluates the used content based on one or more of the biometric information detected in the client device when using the content received through the biometric information receiving unit;
The search unit selects a content to be recommended to a user in consideration of an evaluation result in the evaluation unit.
前記クライアント装置からの予定表情報を受信する予定表情報受信手段を備え、
前記検索手段は、前記予定表情報受信手段を通じて受け付けた前記予定表情報の内の予定日と利用を予定するコンテンツの種別とを考慮してコンテンツを検索することを特徴とするサーバ装置。 The server device according to claim 29, claim 30, or claim 31,
A schedule information receiving means for receiving schedule information from the client device;
The server device, wherein the search unit searches for content in consideration of a scheduled date in the schedule information received through the schedule information receiving unit and a type of content scheduled to be used.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003273381A JP2005032167A (en) | 2003-07-11 | 2003-07-11 | Apparatus, method, and system for information retrieval, client device, and server device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003273381A JP2005032167A (en) | 2003-07-11 | 2003-07-11 | Apparatus, method, and system for information retrieval, client device, and server device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005032167A true JP2005032167A (en) | 2005-02-03 |
Family
ID=34210636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003273381A Pending JP2005032167A (en) | 2003-07-11 | 2003-07-11 | Apparatus, method, and system for information retrieval, client device, and server device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005032167A (en) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227236A (en) * | 2005-02-17 | 2006-08-31 | Seiko Epson Corp | Image recording device, image recording method and control program |
JP2006350476A (en) * | 2005-06-13 | 2006-12-28 | Sony Computer Entertainment Inc | Content distribution device and system |
JP2007207153A (en) * | 2006-02-06 | 2007-08-16 | Sony Corp | Communication terminal, information providing system, server device, information providing method, and information providing program |
JP2008043751A (en) * | 2006-08-10 | 2008-02-28 | Avago Technologies General Ip (Singapore) Private Ltd | System and method for performing program control using wavelet analysis of user interface signal |
JP2008090373A (en) * | 2006-09-29 | 2008-04-17 | Olympus Corp | Information transfer system |
JP2009140010A (en) * | 2007-12-03 | 2009-06-25 | Sony Corp | Information processing device, information processing terminal, information processing method, and program |
JP2010520017A (en) * | 2007-03-07 | 2010-06-10 | エムセンス コーポレイション | Method and system for measuring and evaluating "thinking" responses to audiovisual or interactive media, products or activities using physiological signals |
JP2010218491A (en) * | 2009-03-19 | 2010-09-30 | Nomura Research Institute Ltd | Content distribution system, content distribution method, and computer program |
JP2010233719A (en) * | 2009-03-30 | 2010-10-21 | Nippon Telegr & Teleph Corp <Ntt> | Action choice presentation method and apparatus |
JP2011248020A (en) * | 2010-05-25 | 2011-12-08 | Sony Corp | Search device, search method, and program |
US8175988B2 (en) | 2007-06-26 | 2012-05-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2012169918A (en) * | 2011-02-15 | 2012-09-06 | Nippon Telegr & Teleph Corp <Ntt> | Device, method and program for determining group behavior |
JP2014007532A (en) * | 2012-06-22 | 2014-01-16 | Sharp Corp | Portable terminal device |
JP2014502454A (en) * | 2010-11-12 | 2014-01-30 | マイクロソフト コーポレーション | Present and customize content based on audience |
WO2014171373A1 (en) * | 2013-04-17 | 2014-10-23 | ソニー株式会社 | Information processing device, information processing method, and program |
CN104376039A (en) * | 2014-10-10 | 2015-02-25 | 安徽华米信息科技有限公司 | Network content pushing method, device and system |
JP2015195014A (en) * | 2014-03-28 | 2015-11-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | information presentation method |
JP2016048495A (en) * | 2014-08-28 | 2016-04-07 | 京セラ株式会社 | Portable terminal, recommendation program, recommendation system, and recommendation method |
JP5905652B1 (en) * | 2015-01-30 | 2016-04-20 | 株式会社Ubic | Data evaluation system, data evaluation method, and data evaluation program |
JP2016085741A (en) * | 2014-10-22 | 2016-05-19 | 株式会社きもちラボ | Action/feeling estimation system and action/feeling estimation device |
JPWO2016136104A1 (en) * | 2015-02-23 | 2017-11-30 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
CN107807947A (en) * | 2016-09-09 | 2018-03-16 | 索尼公司 | The system and method for providing recommendation on an electronic device based on emotional state detection |
JP2018139087A (en) * | 2017-02-24 | 2018-09-06 | 沖電気工業株式会社 | Emotion estimating server, emotion estimating method, presenting device and emotion estimating system |
WO2020196498A1 (en) * | 2019-03-26 | 2020-10-01 | ミツフジ株式会社 | Information provision program, terminal device, information provision system, and information provision method |
JP2020166850A (en) * | 2019-03-26 | 2020-10-08 | ミツフジ株式会社 | Information providing program, terminal device, information providing system, and information providing method |
JP2020185322A (en) * | 2019-05-17 | 2020-11-19 | 旭化成株式会社 | Content distribution device, user apparatus, system, content distribution method, program, and computer readable storage medium |
JP2021068090A (en) * | 2019-10-21 | 2021-04-30 | パナソニックIpマネジメント株式会社 | Content recommendation system |
WO2023032204A1 (en) * | 2021-09-06 | 2023-03-09 | 日本電気株式会社 | Recommendation device, system, method, and computer-readable medium |
WO2024101254A1 (en) * | 2022-11-09 | 2024-05-16 | ソニーセミコンダクタソリューションズ株式会社 | Magnetic detecting device, and decoding system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11244383A (en) * | 1998-03-02 | 1999-09-14 | Pioneer Electron Corp | Audio system |
JP2000268047A (en) * | 1999-03-17 | 2000-09-29 | Sony Corp | Information providing system, client, information providing server and information providing method |
JP2001092832A (en) * | 1999-09-21 | 2001-04-06 | Matsushita Electric Ind Co Ltd | Information recommending method |
JP2001249949A (en) * | 2000-03-07 | 2001-09-14 | Nec Corp | Feeling generation method, feeling generator and recording medium |
JP2001282847A (en) * | 2000-04-03 | 2001-10-12 | Nec Corp | Sensibility adaptive type information-providing device and machine-readable recording medium recording program |
JP2003016095A (en) * | 2001-06-28 | 2003-01-17 | Sony Corp | Apparatus for information processing, method therefor, network system, recording medium and program |
JP2004070510A (en) * | 2002-08-02 | 2004-03-04 | Sharp Corp | Device, method and program for selecting and providing information, and recording medium for program for selecting and providing information |
-
2003
- 2003-07-11 JP JP2003273381A patent/JP2005032167A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11244383A (en) * | 1998-03-02 | 1999-09-14 | Pioneer Electron Corp | Audio system |
JP2000268047A (en) * | 1999-03-17 | 2000-09-29 | Sony Corp | Information providing system, client, information providing server and information providing method |
JP2001092832A (en) * | 1999-09-21 | 2001-04-06 | Matsushita Electric Ind Co Ltd | Information recommending method |
JP2001249949A (en) * | 2000-03-07 | 2001-09-14 | Nec Corp | Feeling generation method, feeling generator and recording medium |
JP2001282847A (en) * | 2000-04-03 | 2001-10-12 | Nec Corp | Sensibility adaptive type information-providing device and machine-readable recording medium recording program |
JP2003016095A (en) * | 2001-06-28 | 2003-01-17 | Sony Corp | Apparatus for information processing, method therefor, network system, recording medium and program |
JP2004070510A (en) * | 2002-08-02 | 2004-03-04 | Sharp Corp | Device, method and program for selecting and providing information, and recording medium for program for selecting and providing information |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006227236A (en) * | 2005-02-17 | 2006-08-31 | Seiko Epson Corp | Image recording device, image recording method and control program |
JP2006350476A (en) * | 2005-06-13 | 2006-12-28 | Sony Computer Entertainment Inc | Content distribution device and system |
US8024420B2 (en) | 2005-06-13 | 2011-09-20 | Sony Computer Entertainment Inc. | Content delivery apparatus and system |
JP2007207153A (en) * | 2006-02-06 | 2007-08-16 | Sony Corp | Communication terminal, information providing system, server device, information providing method, and information providing program |
US8041801B2 (en) | 2006-02-06 | 2011-10-18 | Sony Corporation | Information recommendation system based on biometric information |
US7976380B2 (en) | 2006-08-10 | 2011-07-12 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System and method for using wavelet analysis of a user interface signal for program control |
JP2008043751A (en) * | 2006-08-10 | 2008-02-28 | Avago Technologies General Ip (Singapore) Private Ltd | System and method for performing program control using wavelet analysis of user interface signal |
JP2008090373A (en) * | 2006-09-29 | 2008-04-17 | Olympus Corp | Information transfer system |
JP2010520017A (en) * | 2007-03-07 | 2010-06-10 | エムセンス コーポレイション | Method and system for measuring and evaluating "thinking" responses to audiovisual or interactive media, products or activities using physiological signals |
US8175988B2 (en) | 2007-06-26 | 2012-05-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
US8694495B2 (en) | 2007-12-03 | 2014-04-08 | Sony Corporation | Information processing device, information processing terminal, information processing method, and program |
JP4538756B2 (en) * | 2007-12-03 | 2010-09-08 | ソニー株式会社 | Information processing apparatus, information processing terminal, information processing method, and program |
US9342576B2 (en) | 2007-12-03 | 2016-05-17 | Sony Corporation | Information processing device, information processing terminal, information processing method, and program |
JP2009140010A (en) * | 2007-12-03 | 2009-06-25 | Sony Corp | Information processing device, information processing terminal, information processing method, and program |
JP2010218491A (en) * | 2009-03-19 | 2010-09-30 | Nomura Research Institute Ltd | Content distribution system, content distribution method, and computer program |
JP2010233719A (en) * | 2009-03-30 | 2010-10-21 | Nippon Telegr & Teleph Corp <Ntt> | Action choice presentation method and apparatus |
JP2011248020A (en) * | 2010-05-25 | 2011-12-08 | Sony Corp | Search device, search method, and program |
JP2014502454A (en) * | 2010-11-12 | 2014-01-30 | マイクロソフト コーポレーション | Present and customize content based on audience |
JP2012169918A (en) * | 2011-02-15 | 2012-09-06 | Nippon Telegr & Teleph Corp <Ntt> | Device, method and program for determining group behavior |
JP2014007532A (en) * | 2012-06-22 | 2014-01-16 | Sharp Corp | Portable terminal device |
WO2014171373A1 (en) * | 2013-04-17 | 2014-10-23 | ソニー株式会社 | Information processing device, information processing method, and program |
JPWO2014171373A1 (en) * | 2013-04-17 | 2017-02-23 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP2015195014A (en) * | 2014-03-28 | 2015-11-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | information presentation method |
JP2016048495A (en) * | 2014-08-28 | 2016-04-07 | 京セラ株式会社 | Portable terminal, recommendation program, recommendation system, and recommendation method |
CN104376039A (en) * | 2014-10-10 | 2015-02-25 | 安徽华米信息科技有限公司 | Network content pushing method, device and system |
US10033821B2 (en) | 2014-10-10 | 2018-07-24 | Anhui Huami Information Technology Co., Ltd. | Method, apparatus, and system for pushing network content |
JP2016085741A (en) * | 2014-10-22 | 2016-05-19 | 株式会社きもちラボ | Action/feeling estimation system and action/feeling estimation device |
JP5905652B1 (en) * | 2015-01-30 | 2016-04-20 | 株式会社Ubic | Data evaluation system, data evaluation method, and data evaluation program |
JPWO2016136104A1 (en) * | 2015-02-23 | 2017-11-30 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
US11049147B2 (en) | 2016-09-09 | 2021-06-29 | Sony Corporation | System and method for providing recommendation on an electronic device based on emotional state detection |
KR20180028939A (en) * | 2016-09-09 | 2018-03-19 | 소니 주식회사 | System and method for providing recommendation on an electronic device based on emotional state detection |
KR102013493B1 (en) * | 2016-09-09 | 2019-08-22 | 소니 주식회사 | System and method for providing recommendation on an electronic device based on emotional state detection |
CN107807947A (en) * | 2016-09-09 | 2018-03-16 | 索尼公司 | The system and method for providing recommendation on an electronic device based on emotional state detection |
CN107807947B (en) * | 2016-09-09 | 2022-06-10 | 索尼公司 | System and method for providing recommendations on electronic devices based on emotional state detection |
JP2018139087A (en) * | 2017-02-24 | 2018-09-06 | 沖電気工業株式会社 | Emotion estimating server, emotion estimating method, presenting device and emotion estimating system |
WO2020196498A1 (en) * | 2019-03-26 | 2020-10-01 | ミツフジ株式会社 | Information provision program, terminal device, information provision system, and information provision method |
JP2020166850A (en) * | 2019-03-26 | 2020-10-08 | ミツフジ株式会社 | Information providing program, terminal device, information providing system, and information providing method |
JP2020185322A (en) * | 2019-05-17 | 2020-11-19 | 旭化成株式会社 | Content distribution device, user apparatus, system, content distribution method, program, and computer readable storage medium |
JP2021068090A (en) * | 2019-10-21 | 2021-04-30 | パナソニックIpマネジメント株式会社 | Content recommendation system |
JP7417889B2 (en) | 2019-10-21 | 2024-01-19 | パナソニックIpマネジメント株式会社 | Content recommendation system |
WO2023032204A1 (en) * | 2021-09-06 | 2023-03-09 | 日本電気株式会社 | Recommendation device, system, method, and computer-readable medium |
WO2024101254A1 (en) * | 2022-11-09 | 2024-05-16 | ソニーセミコンダクタソリューションズ株式会社 | Magnetic detecting device, and decoding system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005032167A (en) | Apparatus, method, and system for information retrieval, client device, and server device | |
US10387898B2 (en) | Crowd-based personalized recommendations of food using measurements of affective response | |
US11494390B2 (en) | Crowd-based scores for hotels from measurements of affective response | |
US10198505B2 (en) | Personalized experience scores based on measurements of affective response | |
US11269891B2 (en) | Crowd-based scores for experiences from measurements of affective response | |
Wrzus et al. | Lab and/or field? Measuring personality processes and their social consequences | |
Tracy et al. | Emerging insights into the nature and function of pride | |
CN102933136A (en) | Mental state analysis using web services | |
JP6692239B2 (en) | Information processing device, information processing system, terminal device, information processing method, and information processing program | |
JP2018518783A (en) | System and method for implementing remote care services | |
CN105845144A (en) | Intelligent health management system for realizing animal sound and form translation function | |
Li et al. | Using facial electromyography to test the peak–end rule in tourism advertising | |
Hidding et al. | Co-creating a 24-hour movement behavior tool together with 9–12-year-old children using mixed-methods: MyDailyMoves | |
Hambrick et al. | Examining elite parasport athletes with sport involvement and sports equipment | |
JP2005124909A (en) | Method for presenting emotional information, emotional information display device, and method for retrieving information content | |
Elefant et al. | Effects of music therapy on facial expression of individuals with Parkinson’s disease: A pilot study | |
JP2024115503A (en) | Information processing system and information processing method | |
Kalender et al. | Courtesy work: Care practices for quality assurance in a cohort study | |
JP4200370B2 (en) | Recording apparatus, recording / reproducing apparatus, reproducing apparatus, recording method, recording / reproducing method, and reproducing method | |
Luo et al. | A preliminary study of an intelligent grip force collector and service system for the elderly | |
JP2005044120A (en) | Information storage apparatus, information retrieval apparatus, information storage method, information retrieval method, information storage system, information retrieval system, client apparatus and server apparatus | |
KR102439704B1 (en) | Platform system for a self-improvementing and thereof operating method | |
US20110184826A1 (en) | Method and system for selling consumer services | |
CN110809489B (en) | Information processing apparatus, information processing method, and storage medium | |
JP7307576B2 (en) | Program and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090722 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090806 |