JP2017021613A - Cross-modal perception analysis system, presentation information determination system, information presentation system, cross-modal perception analysis program, presentation information determination program, and information presentation program - Google Patents
Cross-modal perception analysis system, presentation information determination system, information presentation system, cross-modal perception analysis program, presentation information determination program, and information presentation program Download PDFInfo
- Publication number
- JP2017021613A JP2017021613A JP2015139322A JP2015139322A JP2017021613A JP 2017021613 A JP2017021613 A JP 2017021613A JP 2015139322 A JP2015139322 A JP 2015139322A JP 2015139322 A JP2015139322 A JP 2015139322A JP 2017021613 A JP2017021613 A JP 2017021613A
- Authority
- JP
- Japan
- Prior art keywords
- information
- presentation
- cross
- user
- sensory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 230000008447 perception Effects 0.000 title abstract 16
- 238000009826 distribution Methods 0.000 claims abstract description 129
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 208000035239 Synesthesia Diseases 0.000 claims abstract description 9
- 230000001953 sensory effect Effects 0.000 claims description 121
- 230000035807 sensation Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 23
- 239000003086 colorant Substances 0.000 description 10
- 230000008451 emotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、利用者の感覚をクロスモーダルに分析する技術および利用者の感覚に応じた情報を特定し、提示する技術に関する。 The present invention relates to a technique for analyzing a user's sense in a cross-modal manner and a technique for specifying and presenting information corresponding to the user's sense.
従来、インターネットを介したニュース等の情報の閲覧やショッピングの場面において、情報の提供者が利用者の興味を推定して、情報を提示することが行われている。例えば、協調性フィルタリング技術では、閲覧履歴が利用者の嗜好を反映していると考え、利用者の閲覧履歴と類似する閲覧履歴を有する他の利用者の嗜好に基づいて、提示する情報を決定している。 2. Description of the Related Art Conventionally, when browsing information such as news via the Internet or shopping, an information provider estimates the user's interest and presents the information. For example, in collaborative filtering technology, the browsing history is considered to reflect the user's preference, and information to be presented is determined based on the preferences of other users who have a browsing history similar to the user's browsing history. doing.
また、利用者に提示する情報を選択する際に、利用者の感性等を用いる提案も行われている。例えば、特許文献１の技術では、利用者に対して質問を行い、それに対する回答に基づいて利用者の感性グループを判定し、その感性グループに応じた情報を提供している。 In addition, proposals have been made that use the user's sensitivity when selecting information to be presented to the user. For example, in the technique of Patent Document 1, a question is asked to a user, a user's sensitivity group is determined based on an answer to the question, and information corresponding to the sensitivity group is provided.
しかしながら、従来の協調性フィルタリングでは、提供する情報やその情報に付随する文字情報に基づいて提供する情報の選択を行なっているため、文字情報に現れていない嗜好には対応できない。 However, in the conventional collaborative filtering, since the information to be provided is selected based on the information to be provided and the character information attached to the information, the preference that does not appear in the character information cannot be handled.
一方、特許文献１の技術では、利用者の感性に基づいて提供する情報の選択を行なっているため、上述の問題を解決できる可能性がある。しかしながら、利用者は質問に対して文字情報で回答を行う必要があるため、回答内容によっては十分に利用者の感性を把握できないおそれがある。 On the other hand, in the technique of Patent Document 1, since the information to be provided is selected based on the user's sensibility, the above problem may be solved. However, since the user needs to answer the question with text information, there is a possibility that the user's sensibility may not be sufficiently grasped depending on the contents of the answer.
本発明は上記課題に鑑みてなされたものであり、その目的は、利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するとともに提示する技術を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for quantitatively analyzing a user's sense and specifying and presenting information corresponding to the user's sense. .
本発明のクロスモーダル感覚分析システムの好適な実施形態の一つでは、第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部と、前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、前記行動情報から複数の前記第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えている。 In one preferred embodiment of the cross-modal sensory analysis system of the present invention, a plurality of first sensory values related to the first type of sensory sense and a second type of sensory that generates synesthesia between the first sensory value. A cross-modal data storage unit for storing cross-modal data associated with sensory value distribution information indicating the distribution state of the second sensory value, and acquiring user behavior information including information indicating the second sensory value A behavior information acquisition unit, a behavior analysis unit for obtaining user sensory value distribution information indicating a distribution state of the plurality of second sensory values from the behavior information, the sensory value distribution information, and the user sensory value distribution information, And a cross-modal data specifying unit that specifies the cross-modal data that matches the behavior information as user cross-modal data.
この構成では、利用者の行動に基づいて、利用者の第２種別の感覚に関する感覚値（第２感覚値）の分布状態が利用者感覚値分布情報として求められ、この利用者感覚値分布情報とクロスモーダルデータの感覚値分布情報とを比較することにより、利用者の行動情報に適合したクロスモーダルデータ、すなわち、感覚を特定（分析）することができる。 In this configuration, based on the user's behavior, the distribution state of the sensory value (second sensory value) related to the user's second type of sensation is obtained as the user sensory value distribution information. By comparing the sensory value distribution information of the cross-modal data with the cross-modal data, it is possible to specify (analyze) the cross-modal data that matches the user's behavior information, that is, the sensory sense.
本発明の提示情報決定システムの好適な実施形態の一つでは、上述のクロスモーダル感覚分析システムと、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第２感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えている。 In a preferred embodiment of the presentation information determination system of the present invention, the above-described cross-modal sensory analysis system and a plurality of presentation candidate information are classified and stored in at least one of a plurality of categories, and each category is stored. Presentation information category data in which the presentation candidate information classified into each category is associated with presentation information category sensory value distribution information indicating a distribution state of the second sensory value acquired from the presentation candidate information. The presenting information category to be used as the presenting information to the user by comparing the presenting information storage unit to be stored and the sensory value distribution information of the user cross-modal data and the presenting information category sensory value distribution information A presentation information determination unit that determines data.
この構成では、利用者への提示に利用される情報も複数のカテゴリに分類され、一のカテゴリに分類されている複数の提示候補情報から取得される第２感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報が求められている。利用者に提示すべき情報を決定する際には、この提示情報カテゴリ感覚値分布情報と、利用者感覚値分布情報との比較が行われる。 In this configuration, the information used for presentation to the user is also classified into a plurality of categories, and the presentation information indicating the distribution state of the second sensory values acquired from the plurality of presentation candidate information classified into one category Category sensory value distribution information is required. When determining the information to be presented to the user, the presentation information category sense value distribution information is compared with the user sense value distribution information.
本発明では、複数の第２感覚値から分布状態を求めている。そのため、第２感覚値は数値化可能である必要がある。そのような感覚値としては「色」がある。すなわち、第２種別の感覚は色に関する感覚である。このような場合には、提示候補情報には画像データを含めることが好ましい。また、このような場合の本発明の情報提示システムの好適な実施形態の一つでは、上述の提示情報決定システムと、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、表示装置と、画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えている。 In the present invention, the distribution state is obtained from a plurality of second sensory values. Therefore, the second sensory value needs to be quantifiable. Such sensory values include “color”. That is, the second type of sensation is a sensation relating to color. In such a case, it is preferable to include image data in the presentation candidate information. Moreover, in one of the suitable embodiment of the information presentation system of this invention in such a case, the above-mentioned presentation information determination system and the image process according to the said user cross modal data are performed with respect to the said image data An image processing unit, a display device, and a display control unit that causes the display device to display the presentation candidate information including the image data subjected to image processing.
この構成では、利用者に提示される画像データに対して、利用者クロスモーダルデータに応じた画像処理が施されるため、利用者の嗜好に近付けた情報を提示することができる。 In this configuration, the image data presented to the user is subjected to image processing according to the user cross-modal data, so that information close to the user's preference can be presented.
本発明のクロスモーダル感覚分析プログラムの好適な実施形態の一つでは、第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部から情報を取得するクロスモーダルデータ取得機能と、前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、前記行動情報から複数の第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させる。このクロスモーダル感覚分析プログラムは上述のクロスモーダル感覚分析システムと同様の作用効果を奏する。 In one preferred embodiment of the cross-modal sensation analysis program of the present invention, a plurality of second sensations related to a first sensation value related to the first sensation and a second sensation that generates synesthesia between the first sensation values. A cross-modal data acquisition function for acquiring information from a cross-modal data storage unit that stores cross-modal data associated with sensory value distribution information indicating a distribution state of the second sensory value, and information indicating the second sensory value A behavior information acquisition function for acquiring user behavior information, a behavior analysis function for obtaining user sensory value distribution information indicating a distribution state of a plurality of second sensory values from the behavior information, and the sensory value distribution information And the user sense value distribution information by comparing the cross modal data that matches the behavior information as user cross modal data. Darudeta realizing a specific function, to the computer. This cross-modal sensory analysis program has the same effects as the above-described cross-modal sensory analysis system.
本発明の提示情報決定プログラムの好適な実施形態の一つでは、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第２感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部から情報を取得する提示情報取得機能と、上述のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる。この提示情報決定プログラムも上述の提示情報決定システムと同様の作用効果を奏する。 In one preferred embodiment of the presentation information determination program of the present invention, a plurality of presentation candidate information is classified and stored in at least one of a plurality of categories, and each category is classified into each category. Information from a presentation information storage unit that stores presentation information category data in which the presentation candidate information and presentation information category sensory value distribution information indicating the distribution state of the second sensory value acquired from the presentation candidate information are associated with each other. By comparing the presentation information acquisition function to be acquired, the sensory value distribution information of the user cross-modal data specified by the above-described cross-modal sensory analysis program, and the presentation information category sensory value distribution information, A presentation information determination unit function for determining the presentation information category data to be used as presentation information to the user. To realize the over data. This presentation information determination program also has the same effect as the above-described presentation information determination system.
本発明の、上述の提示情報決定プログラムによって決定された前記提示情報カテゴリデータに基づいて利用者に情報を提示する情報提示プログラムの好適な実施形態の一つでは、前記第２種別の感覚は色に関する感覚であり、前記提示候補情報は画像データを含み、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる。この情報提示プログラムも上述の情報提示システムと同様の作用効果を奏する。 In one preferred embodiment of the information presentation program for presenting information to the user based on the presentation information category data determined by the presentation information determination program described above, the second type sense is color The presentation candidate information includes image data, and includes an image processing function for performing image processing on the image data according to the user cross-modal data, and the image data subjected to image processing. And a display control function for displaying the presentation candidate information on a display device. This information presentation program also has the same effects as the information presentation system described above.
以下に図面を用いて、本発明に係る情報提示システムの実施形態を説明する。図１は、本実施形態における情報提示システムのシステム構成図である。本実施形態では、サーバＳとユーザ端末ＴとがネットワークＮを介して接続されている。なお、図では３台のユーザ端末Ｔが示されているが、ユーザ端末Ｔの台数は適宜変更可能である。 Embodiments of an information presentation system according to the present invention will be described below with reference to the drawings. FIG. 1 is a system configuration diagram of an information presentation system in the present embodiment. In the present embodiment, the server S and the user terminal T are connected via the network N. Although three user terminals T are shown in the figure, the number of user terminals T can be changed as appropriate.
サーバＳは、汎用コンピュータにより構成することができ、本発明のクロスモーダル感覚分析システムおよび提示情報決定システムとして機能する。一方、ユーザ端末Ｔは利用者が操作するものであり、ユーザ端末Ｔ１のように汎用コンピュータで構成することもできるし、ユーザ端末Ｔ２のように、いわゆるスマートフォンやタブレット型コンピュータにより構成することができる。当然ながら、ユーザ端末Ｔはこれらに限定されるものではなく、他の機器によって構成することもできる。また、ネットワークＮは、例えば、インターネット回線，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），携帯電話網により構成することができる。 The server S can be configured by a general-purpose computer and functions as a cross-modal sensory analysis system and a presentation information determination system of the present invention. On the other hand, the user terminal T is operated by a user, and can be constituted by a general-purpose computer like the user terminal T1, or can be constituted by a so-called smartphone or tablet computer like the user terminal T2. . Of course, the user terminal T is not limited to these, and can be configured by other devices. The network N can be constituted by, for example, an Internet line, a LAN (Local Area Network), and a mobile phone network.
図２は、本実施形態における情報提示システムの機能ブロック図である。図に示すように、サーバＳは、クロスモーダルデータ記憶部１１，行動情報取得部１２，行動解析部１３，クロスモーダルデータ特定部１４，提示情報記憶部１５，提示情報決定部１６，画像処理部１７，利用者感覚値分布情報記憶部１８を備えている。本実施形態では、上述したように、サーバＳは汎用コンピュータで構成されているため、行動情報取得部１２，行動解析部１３，クロスモーダルデータ特定部１４，提示情報決定部１６，画像処理部１７は、これらの機能部を実現するためのプログラムがサーバＳに読み込まれ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｇ Ｕｎｉｔ）と協働することによって構成される。 FIG. 2 is a functional block diagram of the information presentation system in the present embodiment. As shown in the figure, the server S includes a cross-modal data storage unit 11, a behavior information acquisition unit 12, a behavior analysis unit 13, a cross-modal data identification unit 14, a presentation information storage unit 15, a presentation information determination unit 16, and an image processing unit. 17. A user sense value distribution information storage unit 18 is provided. In the present embodiment, as described above, since the server S is configured by a general-purpose computer, the behavior information acquisition unit 12, the behavior analysis unit 13, the cross-modal data specification unit 14, the presentation information determination unit 16, and the image processing unit 17 are included. Is configured by a program for realizing these functional units being read into the server S and cooperating with a CPU (Central Processing Unit).
クロスモーダルデータ記憶部１１は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、複数のクロスモーダルデータを記憶している。図３はクロスモーダルデータ記憶部１１に記憶されている複数のクロスモーダルデータの例である。 The cross modal data storage unit 11 is configured by a non-volatile storage medium such as a hard disk drive, and stores a plurality of cross modal data. FIG. 3 is an example of a plurality of cross-modal data stored in the cross-modal data storage unit 11.
本発明におけるクロスモーダルデータは、各々のカテゴリに対して複数の種別の感覚に関する感覚値が関連付けられたデータである。図３の例では、各々のファッションスタイルカテゴリに対して、感覚種別：音楽情報に関する感覚，質感，感情，色のそれぞれに対する感覚値が関連付けられている。本実施形態では、音楽情報に関する感覚として調性を用いているが、これに限定されるものではない。例えば、ファッションスタイルカテゴリＩに対しては、「ハ長調」，「ざらっとした白(コンクリートの打ちっ放しみたいな)」，「おおらか，純粋」，「色分布１」が割り当てられており、これらの感覚値の集合がクロスモーダルデータである。すなわち、図３の例は、７つのクロスモーダルデータを表している。 The cross-modal data in the present invention is data in which sensory values relating to a plurality of types of sensory senses are associated with each category. In the example of FIG. 3, each fashion style category is associated with a sensory type: a sensory value for each of the senses, textures, emotions, and colors related to music information. In the present embodiment, tonality is used as a sensation regarding music information, but the present invention is not limited to this. For example, for fashion style category I, “C major”, “rough white (like a concrete breakthrough)”, “rough, pure”, “color distribution 1” are assigned. A set of sensory values is cross-modal data. That is, the example of FIG. 3 represents seven cross modal data.
なお、感覚値とは、ある刺激によって生じる具体的な感覚の内容を示すものである。本実施形態では、「調性，質感，感情」が本発明における第１種別の感覚であり、「色」が本発明における第２種別の感覚である。詳細は後述するが、「色」に関する感覚値は単一の値ではなく、複数の値の分布情報として表現されており、感覚値分布情報と称する。そのため、本発明の第２種別の感覚に関する感覚値は数値的に表現可能である必要がある。 The sensory value indicates the specific sensory content generated by a certain stimulus. In this embodiment, “tonality, texture, and emotion” are the first type of sensation in the present invention, and “color” is the second type of sensation in the present invention. Although details will be described later, the sensory value related to “color” is not a single value but is expressed as distribution information of a plurality of values, and is referred to as sensory value distribution information. Therefore, the sensory value related to the second type of sensation of the present invention needs to be numerically expressible.
行動情報取得部１２は、利用者がユーザ端末Ｔを操作した内容を示す行動情報を取得する。 The behavior information acquisition unit 12 acquires behavior information indicating the content of the user operating the user terminal T.
行動解析部１３は、行動情報取得部１２が取得した行動情報の内容を解析する。具体的には、各々の行動情報から色の情報を抽出し、色の分布を利用者感覚値分布情報として求める。 The behavior analysis unit 13 analyzes the content of the behavior information acquired by the behavior information acquisition unit 12. Specifically, color information is extracted from each action information, and a color distribution is obtained as user sense value distribution information.
クロスモーダルデータ特定部１４は、各クロスモーダルデータの感覚値分布情報と利用者感覚値分布情報とを比較し、利用者に適合するクロスモーダルデータを特定する。詳細な特定方法は後述する。 The cross-modal data specifying unit 14 compares the sensory value distribution information of each cross-modal data with the user sensory value distribution information, and specifies cross-modal data suitable for the user. A detailed specifying method will be described later.
提示情報記憶部１５は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、利用者に提示するための複数の情報（提示候補情報）を記憶している。複数の提示候補情報は、複数のカテゴリに分類されており、また、各々のカテゴリに分類された提示候補情報の各々から取得された色の分布情報（以下、提示情報カテゴリ感覚値分布情報と称する）が求められている。このカテゴリ毎の提示候補情報の集合と提示情報カテゴリ感覚値分布情報との対を提示情報カテゴリデータと称する。図４は提示情報カテゴリデータの例であり、この例では４組の提示情報カテゴリデータが表されている。図中の矩形が各々の提示候補情報を示しており、各々の提示情報カテゴリデータが、提示候補情報の集合と提示情報カテゴリ感覚値分布情報とによって構成されていることが示されている。 The presentation information storage unit 15 is configured by a nonvolatile storage medium such as a hard disk drive, and stores a plurality of information (presentation candidate information) to be presented to the user. The plurality of presentation candidate information is classified into a plurality of categories, and color distribution information acquired from each of the presentation candidate information classified into each category (hereinafter referred to as presentation information category sense value distribution information). ) Is required. A pair of the set of presentation candidate information for each category and the presentation information category sense value distribution information is referred to as presentation information category data. FIG. 4 shows an example of presentation information category data. In this example, four sets of presentation information category data are represented. Each rectangle in the figure represents each piece of presentation candidate information, and each piece of presentation information category data is composed of a set of pieces of presentation candidate information and presentation information category sense value distribution information.
提示情報決定部１６は、クロスモーダルデータ特定部１４によって特定された利用者クロスモーダルデータの感覚値分布情報と、各々の提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報とを比較し、利用者クロスモーダルデータに適合する提示情報カテゴリデータを特定する。 The presentation information determining unit 16 compares the sensory value distribution information of the user cross-modal data specified by the cross-modal data specifying unit 14 with the presentation information category sensory value distribution information of each of the presentation information category data. Specify presentation information category data that matches cross-modal data.
本実施形態では、提示候補情報には画像データが含まれており、画像処理部１７は、提示情報カテゴリデータの提示候補情報に含まれる画像データに対して、画像処理を施す。 In the present embodiment, the presentation candidate information includes image data, and the image processing unit 17 performs image processing on the image data included in the presentation candidate information of the presentation information category data.
利用者感覚値分布情報記憶部１８は、利用者の行動から取得される第２種別の感覚、すなわち、「色」に関する感覚値の分布状態を示す、利用者感覚値分布情報を利用者毎に記憶している。利用者感覚値分布情報記憶部１８は、ハードディスクドライブ等の不揮発性記憶媒体で構成することができる。 The user sense value distribution information storage unit 18 stores, for each user, user sense value distribution information that indicates a second type of sense acquired from the user's behavior, that is, a sense value distribution state related to “color”. I remember it. The user sense value distribution information storage unit 18 can be configured by a nonvolatile storage medium such as a hard disk drive.
一方、ユーザ端末Ｔは、表示装置２１，入力装置２２，ＧＵＩ部２３，操作情報取得部２４を備えている。本実施形態では、上述したように、ユーザ端末Ｔは、汎用コンピュータ，スマートフォンやタブレット型コンピュータで構成されているため、操作情報取得部２４は、この機能を実現するためのプログラムがユーザ端末Ｔに読み込まれ、ＣＰＵと協働することによって構成される。 On the other hand, the user terminal T includes a display device 21, an input device 22, a GUI unit 23, and an operation information acquisition unit 24. In the present embodiment, as described above, since the user terminal T is configured by a general-purpose computer, a smartphone, or a tablet computer, the operation information acquisition unit 24 stores a program for realizing this function in the user terminal T. It is configured by reading and cooperating with the CPU.
表示装置２１は、ディスプレイ装置である。特に、ユーザ端末Ｔがスマートフォンやタブレット型コンピュータの場合には、液晶ディスプレイである。一方、入力装置は、キーボードやマウスであり、特にユーザ端末Ｔがスマートフォンやタブレット型コンピュータの場合には、表示装置２１上に形成されたタッチパネルである。 The display device 21 is a display device. In particular, when the user terminal T is a smartphone or a tablet computer, it is a liquid crystal display. On the other hand, the input device is a keyboard or a mouse. In particular, when the user terminal T is a smartphone or a tablet computer, the input device is a touch panel formed on the display device 21.
ＧＵＩ部２３は、利用者に提示するための情報や、利用者からの情報を取得するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示装置２１上に表示し、入力装置２１からの入力信号を取得する。 The GUI unit 23 displays information to be presented to the user, a GUI (Graphical User Interface) for obtaining information from the user, and the like on the display device 21, and acquires an input signal from the input device 21. To do.
〔クロスモーダルデータ〕
上述したように、本実施形態では、クロスモーダルデータは、「調性，色，質感，感情」に関する値（感覚値）の組として表現されており、「色」に関する感覚値は複数の色の分布状態として表現されている。以下に、クロスモーダルデータの作成方法の例を説明する。
[Cross Modal Data]
As described above, in this embodiment, the cross-modal data is expressed as a set of values (sensory values) related to “tonality, color, texture, and emotion”, and the sensory values related to “color” are a plurality of colors. Expressed as a distribution state. Below, the example of the production method of cross-modal data is demonstrated.
クロスモーダルデータは、共感覚者の意識データに基づいて生成されている。共感覚者とは、ある種別の感覚に対する刺激を受けた際に、異なる種別の感覚を感得できる人である。例えば、音を聴いた際に色を感じたり、文字を見た際に色を感じたり、という例が知られている。このような共感覚者に対して、「色」を提示して、どのような「調性」，「質感」，「感情」を感じるか、もしくは、「調性」，「質感」，「感情」を提示して、どのような「色」を感じるかを調査する。このとき、一の「調性」，「質感」，「感情」と関連する「色」は一意となるのではなく、複数得られる。そのため、本発明においては、「色」に関する感覚値は、分布状態を表す分布情報として表現している。本実施形態では、この「色」の分布情報が本発明における感覚値分布情報となる。 The cross-modal data is generated based on the sympathetic consciousness data. A synesthesia is a person who can sense a different type of sensation when receiving a stimulus for a certain type of sensation. For example, there are known examples of feeling color when listening to sounds and feeling color when looking at characters. For such synesthesia, “color” is presented and what “tonality”, “texture”, “emotion” is felt, or “tonality”, “texture”, “emotion” ”And investigate what kind of“ color ”you feel. At this time, a plurality of “colors” associated with one “tonality”, “texture”, and “emotion” are not unique. Therefore, in the present invention, the sensory value related to “color” is expressed as distribution information indicating the distribution state. In the present embodiment, this “color” distribution information is sensory value distribution information in the present invention.
本実施形態では、図５に示すマンセルチップとよばれる色見本を用いて、色空間を２次元に離散的に表現している。図に示すように、マンセルチップＭには互いに異なる色を有する複数の色チップｃが形成されている。共感覚者に対して、このマンセルチップＭ上の各色チップｃを提示した際に感じた「色」以外の種別の感覚に関する感覚値を取得、または、「色」以外の種別の感覚に関する感覚値を与えた際に感じた色に最も近似する色チップｃを取得する。このようにして、多数のデータを収集すると、各々のクロスモーダルデータの「調性」，「質感」，「感情」に関する感覚値に対して、複数の色が関連付けられる。 In this embodiment, the color space is discretely expressed in two dimensions using a color sample called a Munsell chip shown in FIG. As shown in the figure, the Munsell chip M is formed with a plurality of color chips c having different colors. A sensory value related to a sense of a type other than “color” felt when presenting each color chip c on the Munsell chip M to a synesthesia, or a sensory value related to a sense of a type other than “color” To obtain the color chip c that most closely approximates the color felt. When a large number of data is collected in this way, a plurality of colors are associated with sensory values relating to “tonality”, “texture”, and “emotion” of each cross-modal data.
次に、クロスモーダルデータ毎に、関連付けられている「色」の分布情報（感覚値分布情報）を求める。本実施形態では、感覚値分布情報は、マンセルチップＭの色チップｃの配列と同じ形状をもつ２次元配列で表現している。すなわち、マンセルチップの配列がｎ×ｍであれば、感覚値分布情報はｎ×ｍの２次元ヒストグラムとして表現される。以下の説明では、感覚値分布情報である２次元ヒストグラムをＨ［］［］と表記する。 Next, for each cross-modal data, the associated “color” distribution information (sensory value distribution information) is obtained. In this embodiment, the sensory value distribution information is expressed by a two-dimensional array having the same shape as the array of the color chips c of the Munsell chip M. That is, if the Munsell chip array is n × m, the sensory value distribution information is expressed as an n × m two-dimensional histogram. In the following description, a two-dimensional histogram that is sensory value distribution information is expressed as H [] [].
具体的には、クロスモーダルデータ毎に、そのクロスモーダルデータに含まれている（関連付けられている）各々の色と近似する色チップの座標を求め、その座標に対応するヒストグラムの度数をインクリメントする。例えば、色ｃがマンセルチップの（ｘ，ｙ）の位置に配置されている色チップに近似する場合、Ｈ［ｘ］［ｙ］＝Ｈ［ｘ］［ｙ］＋１とする。 Specifically, for each cross-modal data, the coordinates of the color chip that approximates each color included in (associated with) the cross-modal data are obtained, and the histogram frequency corresponding to the coordinates is incremented. . For example, when the color c approximates the color chip arranged at the position (x, y) of the Munsell chip, it is assumed that H [x] [y] = H [x] [y] +1.
このような処理を行うと、図６に示すような２次元ヒストグラム（感覚値分布情報）が得られる。なお、後述の処理では正規化された感覚値分布情報を使用する。 When such processing is performed, a two-dimensional histogram (sensory value distribution information) as shown in FIG. 6 is obtained. In the process described later, normalized sensory value distribution information is used.
〔提示候補情報〕
提示候補情報は、後述する処理によって利用者に対して提示される可能性のある情報である。本実施形態では、衣服，小物，アクセサリー等の情報、特に、コーディネート情報（以下、衣服情報と総称する）を用いる。衣服情報には、少なくとも衣服（単品またはコーディネートされた複数の衣服）の画像データ含まれている。
[Presentation candidate information]
The presentation candidate information is information that may be presented to the user by a process described later. In the present embodiment, information on clothes, accessories, accessories, and the like, in particular, coordinate information (hereinafter collectively referred to as clothes information) is used. The clothing information includes at least image data of clothing (single item or a plurality of coordinated clothing).
この衣服情報は、ファッションコーディネータ等によって、複数のカテゴリに分類されている。なお、本実施形態では、このカテゴリはクロスモーダルデータのファッションスタイルカテゴリに対応させているが、他のカテゴリを用いても構わない。 This clothing information is classified into a plurality of categories by a fashion coordinator or the like. In the present embodiment, this category corresponds to the fashion style category of cross-modal data, but other categories may be used.
このようにして、分類された提示候補情報から、各々のカテゴリの提示情報カテゴリ感覚値分布情報を求める。この提示情報カテゴリ感覚値分布情報も上述の感覚値分布情報と同様の大きさの２次元ヒストグラムとして表現される。具体的には、カテゴリ毎に、そのカテゴリに属する各々の提示候補情報から画像データを抽出し、その画像データの代表色に近似するマンセルチップ上の色チップを検索し、その色チップの座標に対応するヒストグラムの階級の度数をインクリメントする。なお、画像データの代表色は、画像処理によって画像データ中から衣服部分のピクセル値を取得して算出してもよいし、画像データ中または画像データに付随するテキストに含められた色情報を用いることができる。また、代表色としては、平均値や最頻値等を用いることができる。さらに、複数の代表色を用いても構わない。その場合には、各々の代表色に対する重みを求め、その重みに応じてヒストグラムに加算することが好ましい。衣服が複数色から構成されている場合や、衣服情報がコーディネート情報の場合には、このような複数の代表色を用いることが好ましい。このようにして求められた２次元ヒストグラムが提示情報カテゴリ感覚値分布情報となる。 In this way, the presentation information category sense value distribution information of each category is obtained from the classified presentation candidate information. This presentation information category sensory value distribution information is also expressed as a two-dimensional histogram having the same size as the sensory value distribution information described above. Specifically, for each category, image data is extracted from each candidate presentation information belonging to the category, a color chip on the Munsell chip that approximates the representative color of the image data is searched, and the coordinates of the color chip are used. Increment the frequency of the corresponding histogram class. Note that the representative color of the image data may be calculated by obtaining pixel values of the clothing portion from the image data by image processing, or using color information included in the image data or text accompanying the image data. be able to. As the representative color, an average value, a mode value, or the like can be used. Further, a plurality of representative colors may be used. In this case, it is preferable to obtain a weight for each representative color and add it to the histogram according to the weight. When the clothes are composed of a plurality of colors, or when the clothes information is coordinate information, it is preferable to use a plurality of such representative colors. The two-dimensional histogram obtained in this way becomes the presentation information category sense value distribution information.
〔感覚分析処理の流れ〕
次に、図７のフローチャートを用いて、本実施形態における感覚分析処理の流れを説明する。なお、これらの処理に先立って、上述した処理により複数のクロスモーダルデータが生成され、クロスモーダルデータ記憶部１１に記憶されている。
[Flow of sensory analysis processing]
Next, the flow of sensory analysis processing in the present embodiment will be described using the flowchart of FIG. Prior to these processes, a plurality of cross-modal data is generated by the above-described process and stored in the cross-modal data storage unit 11.
この処理は、利用者が情報提示システムにログインすることにより開始される（＃０１）。利用者が、ユーザ端末Ｔを操作し、情報提示システム用のプログラムを起動すると、表示装置２１にユーザＩＤとパスワードを入力するためのＧＵＩが表示され、利用者は自身のユーザＩＤとパスワードを入力する。これらの情報はサーバＳに送信され、サーバＳにおいて登録されているユーザＩＤおよびパスワードと照合され、その認証結果はユーザ端末Ｔに送信される。ユーザ端末Ｔは認証が成功すると、以下の処理を実行する。なお、情報提示システムへのログインは、上述のような明示的に行うだけでなく、情報提示システム用のプログラムが起動された際に、自動的にユーザＩＤ等をサーバＳに送信することで行うこともできる。この場合には、ユーザＩＤとしてユーザ端末ＴへのログインＩＤを用いることもでき、特に、ユーザ端末Ｔがスマートフォンの場合には、端末識別番号や電話番号等の端末を一意に特定可能な情報を用いることができる。 This process is started when the user logs in to the information presentation system (# 01). When the user operates the user terminal T and starts the program for the information presentation system, a GUI for inputting the user ID and password is displayed on the display device 21, and the user inputs his user ID and password. To do. These pieces of information are transmitted to the server S, collated with the user ID and password registered in the server S, and the authentication result is transmitted to the user terminal T. When the authentication is successful, the user terminal T executes the following processing. The login to the information presentation system is not only performed explicitly as described above, but is also performed by automatically transmitting a user ID or the like to the server S when the information presentation system program is started. You can also In this case, a login ID to the user terminal T can be used as the user ID. In particular, when the user terminal T is a smartphone, information such as a terminal identification number and a telephone number can be uniquely specified. Can be used.
利用者がユーザ端末Ｔを操作すると、その操作の内容を示す操作情報が操作情報取得部２４によって取得される（＃０２）。操作情報を取得する対象となる操作の種類やその内容は特に限定はされないが、本実施形態では、ウェブブラウザを用いたウェブページの閲覧に関する操作情報を取得する。特に、本実施形態では、第２種別の感覚として「色」を使用し、提示情報として衣服の情報を想定しているため、ここでのウェブページはファッション系情報が提供されているページが好ましく、以下の説明ではウェブページは衣服の画像が掲載されたページとする。このとき、操作情報としては、例えば｛ユーザＩＤ，閲覧開示日時，閲覧時間，ウェブページのＵＲＬ｝を用いる。ここで、ユーザＩＤはログイン時に用いたものを用いる。取得された操作情報は、操作情報取得部２４からネットワークＮを介して行動情報取得部１２に送信される。なお、操作情報を取得した時点で操作情報をサーバＳに送信してもよいし、複数の操作情報を一時的に記憶しておき、所定のタイミングでまとめてサーバＳに送信しても構わない。 When the user operates the user terminal T, operation information indicating the content of the operation is acquired by the operation information acquisition unit 24 (# 02). There are no particular limitations on the type of operation for which operation information is to be acquired and its contents, but in this embodiment, operation information related to browsing a web page using a web browser is acquired. In particular, in the present embodiment, “color” is used as the second type of sensation and clothing information is assumed as the presentation information. Therefore, the web page here is preferably a page on which fashion information is provided. In the following description, it is assumed that the web page is a page on which images of clothes are posted. At this time, for example, {user ID, browsing disclosure date, browsing time, web page URL} is used as the operation information. Here, the user ID used at the time of login is used. The acquired operation information is transmitted from the operation information acquisition unit 24 to the behavior information acquisition unit 12 via the network N. Note that the operation information may be transmitted to the server S when the operation information is acquired, or a plurality of operation information may be temporarily stored and transmitted to the server S at a predetermined timing. .
操作情報を取得した行動情報取得部１２は、操作情報を解析し、ユーザＩＤおよび「色」に関する特徴量（以下、色特徴量と称する）を取得する（＃０３）。具体的には、行動情報取得部１２は、操作情報に含まれているＵＲＬを用いてウェブページにアクセスし、そのページに含まれている衣服の画像データを取得する。そして、その衣服の画像データから色特徴量を抽出する。色特徴量としては、画像データに含まれている衣服部分を構成する画素色から取得することができる。当然ながら、色特徴量の取得方法はこれに限定されるものではなく、ページや画像データ中に衣服の色特徴量を埋め込んでおき、ページや画像データから直接的に取得する等、他の方法を用いることができる。 The behavior information acquisition unit 12 that has acquired the operation information analyzes the operation information and acquires a feature amount (hereinafter referred to as a color feature amount) related to the user ID and “color” (# 03). Specifically, the behavior information acquisition unit 12 accesses a web page using a URL included in the operation information and acquires image data of clothes included in the page. Then, a color feature amount is extracted from the image data of the clothes. The color feature amount can be acquired from the pixel color constituting the clothing portion included in the image data. Of course, the method of acquiring the color feature amount is not limited to this, and other methods such as embedding the color feature amount of the clothing in the page or image data and acquiring it directly from the page or image data, etc. Can be used.
本実施形態では、色特徴量として、上述したように、画像データに含まれている衣服部分の色、より具体的には、衣服部分を構成する複数の画素の代表色を色特徴量として使用する。代表色としては、最頻色や平均色を用いることができる。また、上述の提示情報カテゴリ感覚値分布情報と同様に複数の代表色を使用しても構わない。なお、以下の説明では色特徴量はＲＧＢ表色系で表現されているものとする。 In the present embodiment, as described above, as the color feature amount, the color of the clothing portion included in the image data, more specifically, the representative colors of a plurality of pixels constituting the clothing portion are used as the color feature amount. To do. As the representative color, a mode color or an average color can be used. Also, a plurality of representative colors may be used in the same manner as the above-described presentation information category sense value distribution information. In the following description, it is assumed that the color feature amount is expressed in the RGB color system.
行動情報取得部１２によって色特徴量が取得されると、行動解析部１３がその色特徴量を用いて取得されたユーザＩＤに対応する利用者の利用者感覚値分布情報を更新する（＃０４）。具体的には、行動解析部１３は以下の処理を行う。なお、マンセルチップ上の各々の色チップの色（以下、チップ色と略称する）はＨＳＶ表色系で表現されているものとする。 When the color feature amount is acquired by the behavior information acquisition unit 12, the behavior analysis unit 13 updates the user sense value distribution information of the user corresponding to the user ID acquired using the color feature amount (# 04). ). Specifically, the behavior analysis unit 13 performs the following processing. It is assumed that the color of each color chip on the Munsell chip (hereinafter abbreviated as “chip color”) is expressed in the HSV color system.
先ず、行動解析部１３は、取得したユーザＩＤに対応する利用者の利用者感覚値分布情報を利用者感覚値分布情報記憶部１８から取得するとともに、取得したＲＧＢ表色系の色特徴量をＨＳＶ表色系での色に変換する。なお、ＲＧＢ表色系からＨＳＶ表色系への変換方法は公知の方法を用いることができるため、詳細な説明は省略する。次に、行動解析部１３は、ＨＳＶ表色系に変換された色特徴量と、各々のチップ色との距離を算出する。ＨＳＶ表色系は均等色表色系であるため、この距離としては、例えばユークリッド距離を用いることができる。そして、行動解析部１３は、色特徴量と最も距離が近いチップ色を特定し、そのチップ色を持つ色チップの座標を求める。そして、その座標に対応する利用者感覚値分布情報の階級の度数をインクリメントし、更新した利用者感覚値分布情報を利用者感覚値分布情報記憶部１８に記憶させる。 First, the behavior analysis unit 13 acquires the user sense value distribution information of the user corresponding to the acquired user ID from the user sense value distribution information storage unit 18 and obtains the acquired RGB color system color feature amount. Convert to color in HSV color system. In addition, since a well-known method can be used for the conversion method from RGB color system to HSV color system, detailed description is abbreviate | omitted. Next, the behavior analysis unit 13 calculates the distance between the color feature amount converted into the HSV color system and each chip color. Since the HSV color system is a uniform color system, for example, the Euclidean distance can be used as this distance. Then, the behavior analysis unit 13 specifies the chip color that is closest to the color feature amount, and obtains the coordinates of the color chip having the chip color. Then, the frequency of the class of the user sense value distribution information corresponding to the coordinates is incremented, and the updated user sense value distribution information is stored in the user sense value distribution information storage unit 18.
上述の＃０２〜＃０４の処理が所定のタイミングに到達するまで繰り返される（＃０５）。なお、所定のタイミングとは、一定期間が経過した時点，利用者が所定の操作を行なった時点，利用者が所定のウェブページにアクセスした時点等、様々なものを用いることができる。 The above-described processes of # 02 to # 04 are repeated until a predetermined timing is reached (# 05). The predetermined timing may be various, such as when a certain period has elapsed, when a user performs a predetermined operation, or when a user accesses a predetermined web page.
所定のタイミングに到達すると（＃０５のＹｅｓ分岐）、クロスモーダルデータ特定部１４は、利用者感覚値分布情報記憶部１８から、利用者に対応する利用者感覚分布情報を取得するとともに、クロスモーダルデータ記憶部１１に記憶されている複数のクロスモーダルデータから、利用者感覚値分布情報に最も近い感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する（＃０６）。本実施形態では、クロスモーダルデータ特定部１４は、各々のクロスモーダルデータの感覚値分布情報と、利用者感覚値分布情報との距離を算出し、最も距離が近いクロスモーダルデータを利用者クロスモーダルデータとする。分布情報どうしの距離は様々な方法で規定することができるが、本実施形態では、Ｅａｒｔｈ Ｍｏｖｅｒ距離を用いる。 When the predetermined timing is reached (Yes branch of # 05), the cross-modal data specifying unit 14 acquires the user sense distribution information corresponding to the user from the user sense value distribution information storage unit 18, and also cross-modal. From the plurality of cross-modal data stored in the data storage unit 11, the cross-modal data having the sensory value distribution information closest to the user sensory value distribution information is specified as the user cross-modal data (# 06). In the present embodiment, the cross-modal data specifying unit 14 calculates the distance between the sensory value distribution information of each cross-modal data and the user sensory value distribution information, and the cross-modal data having the closest distance is calculated as the user cross-modal data. Data. The distance between the distribution information can be defined by various methods. In the present embodiment, the Earth Move distance is used.
Ｅａｒｔｈ Ｍｏｖｅｒ距離は、ｍ個の特徴量からなる分布Ｐ＝｛ｐｉ｝とｎ個の特徴量からなる分布Ｑ＝｛ｑｊ｝との間の距離を規定するものである。各々の特徴量ｐｉ，ｑｊには重みｗｐｉ，ｗｑｊが与えられており、特徴量ｐｉとｑｊとの間の距離ｄｉｊが規定されている。また、分布Ｐから分布Ｑに遷移するために、特徴量ｐｉから特徴量ｑｊへの最適な特徴量の輸送コストをｆｉｊとする。このとき、分布Ｐと分布Ｑとの間のＥａｒｔｈ Ｍｏｖｅｒ距離ＥＭＤ（Ｐ，Ｑ）は以下の式で求めることができる。
このＥａｒｔｈ Ｍｏｖｅｒ距離を用いて感覚値分布情報と利用者感覚値分布情報との間の距離を求める場合には、正規化された感覚値分布情報および正規化された利用者感覚値分布情報がそれぞれ分布Ｐ，Ｑに相当する。また、感覚値分布情報および利用者感覚値分布情報の特徴量は正規化されたヒストグラムの度数（スカラー量）であるため、ｄｉｊ＝｜ｐｉ−ｑｊ｜であり、また、ｗｐｉ＝ｐｉ，ｗｑｊ＝ｑｊである。 When the distance between the sensory value distribution information and the user sensory value distribution information is obtained using the Earth Move distance, the normalized sensory value distribution information and the normalized user sensory value distribution information are respectively It corresponds to the distributions P and Q. In addition, since the feature values of the sensory value distribution information and the user sensory value distribution information are normalized histogram frequencies (scalar amounts), d ij = | p i −q j |, and w pi = p i , w qj = q j .
このように定義されたＥａｒｔｈ Ｍｏｖｅｒ距離を用いて、各々のクロスモーダルデータの感覚値分布情報と利用者感覚値分布情報との距離を算出し、利用者感覚値分布情報との距離が最短となる感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する。 The distance between the sensory value distribution information of each cross-modal data and the user sensory value distribution information is calculated using the Earth Mover distance defined as described above, and the distance from the user sensory value distribution information becomes the shortest. Cross modal data having sensory value distribution information is specified as user cross modal data.
このようにして利用者クロスモーダルデータを特定することにより、利用者、特に利用者の行動（操作）に適合した感覚値を求めることができる。 By specifying the user cross-modal data in this way, it is possible to obtain a sensory value adapted to the behavior (operation) of the user, particularly the user.
〔情報提示処理の流れ〕
次に、上述の処理によって求められた利用者クロスモーダルデータに基づいて、利用者に対して情報を提示する処理の流れを説明する。なお、提示情報記憶部１５には、上述の処理によって提示候補情報が記憶されている。また、上述の処理によって、ファッションスタイルカテゴリ「ＶＩ」のクロスモーダルデータが、利用者クロスモーダルデータとして求められたものとする。
[Information presentation process flow]
Next, the flow of processing for presenting information to the user based on the user cross-modal data obtained by the above-described processing will be described. In addition, presentation candidate information is stored in the presentation information storage unit 15 by the above-described processing. Further, it is assumed that the cross-modal data of the fashion style category “VI” is obtained as user cross-modal data by the above-described processing.
上述の感覚分析処理によって利用者クロスモーダルデータが特定されると、その情報が提示情報決定部１６に伝えられる。すると、提示情報決定部１６は、利用者クロスモーダルデータに基づいて、利用者に提示するために使用する提示情報カテゴリデータを特定する（＃０７）。具体的には、提示情報カテゴリデータのカテゴリ毎に、利用者クロスモーダルデータの利用者感覚値分布情報と、提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報との距離を求め、最も距離の近い提示情報カテゴリ感覚値分布情報を持つ提示情報カテゴリデータを特定する。この例では、４組（「ｉ」から「ｉｖ」）の提示カテゴリデータから、ファッションスタイルカテゴリ「ＶＩ」のクロスモーダルデータの感覚値分布情報と、最も近い距離となる提示情報カテゴリ感覚値分布情報を持つ提示カテゴリデータ特定する。この距離の算出は、正規化された提示情報カテゴリ感覚値分布情報と正規化された利用者感覚値分布情報とに対してＥａｒｔｈ Ｍｏｖｅｒ距離を用いて算出する。以下では、この処理によって、「ｉｉ」の提示情報カテゴリデータが特定されたとして説明を行う。 When the user cross-modal data is specified by the sensory analysis process described above, the information is transmitted to the presentation information determination unit 16. Then, the presentation information determination unit 16 specifies presentation information category data used for presentation to the user based on the user cross-modal data (# 07). Specifically, for each category of the presentation information category data, the distance between the user sense value distribution information of the user cross-modal data and the presentation information category sense value distribution information of the presentation information category data is obtained, and the closest distance is obtained. Presentation information category data having presentation information category sense value distribution information is specified. In this example, the sensory value distribution information of the cross-modal data of the fashion style category “VI” and the presentation information category sensory value distribution information that is the closest distance from four groups (“i” to “iv”) of the presentation category data. Specify presentation category data with This distance is calculated using the Earth Move distance for the normalized presentation information category sensory value distribution information and the normalized user sensory value distribution information. In the following description, it is assumed that the presentation information category data “ii” is specified by this process.
この提示情報決定部１６の処理によって、提示情報カテゴリデータが特定され、利用者に提示すべき情報の絞り込みを行うことができる。この特定された提示情報カテゴリデータに含まれている提示候補情報が利用者への情報提示に使用される。この例では、「ｉｉ」の提示情報カテゴリデータに含まれている６つの提示候補情報が利用者への情報提示に用いられる。なお、提示情報カテゴリデータには複数の提示候補情報が含まれているため、これらの提示候補情報に対して提示順位を付与しても構わない。例えば、利用者感覚値分布情報の頻度の高い階級に対応するチップ色との色空間での距離に基づいて提示順位を付与することができる。なお、提示情報カテゴリデータに含まれる全ての提示候補情報を提示せずに、所定数の提示候補情報のみを提示情報としても構わない。 By the processing of the presentation information determination unit 16, presentation information category data is specified, and information to be presented to the user can be narrowed down. Presentation candidate information included in the specified presentation information category data is used for presenting information to the user. In this example, six pieces of presentation candidate information included in the presentation information category data “ii” are used for presenting information to the user. Note that since the presentation information category data includes a plurality of pieces of presentation candidate information, presentation ranks may be assigned to these pieces of presentation candidate information. For example, the presentation order can be given based on the distance in the color space with the chip color corresponding to the class with high frequency of the user sense value distribution information. It should be noted that not all of the presentation candidate information included in the presentation information category data may be presented, but only a predetermined number of presentation candidate information may be used as the presentation information.
提示情報決定部１６によって、提示情報が決定されると、画像処理部１７は各々の提示情報に含まれる画像データに対して画像処理を施す（＃０８）。画像処理の方法としては、例えば、利用者感覚値分布情報に応じて、画像データに対してカラーグレーディングを施す。これにより、提示される画像データは、より利用者の色に関する嗜好に近づけることができる。このように画像処理が施された画像データは、画像データに付随する情報とともに、ユーザ端末Ｔに送信される。 When the presentation information is determined by the presentation information determination unit 16, the image processing unit 17 performs image processing on the image data included in each presentation information (# 08). As an image processing method, for example, color grading is performed on image data in accordance with user sense value distribution information. Thereby, the presented image data can be made closer to the user's preference regarding the color. The image data subjected to the image processing in this way is transmitted to the user terminal T together with information accompanying the image data.
画像データ等を受信したユーザ端末Ｔでは、ＧＵＩ部２３によって、画像データ等が表示装置２１に表示され、利用者に提示される（＃０９）。 In the user terminal T that has received the image data or the like, the GUI unit 23 displays the image data or the like on the display device 21 and presents it to the user (# 09).
このように、本発明によれば、利用者の行動に基づいて、その行動から得られる感覚値と共感覚性を有する他の種別の感覚の感覚値を分析したり、提示すべき情報を特定したりすることができる。 Thus, according to the present invention, based on the user's behavior, the sensory value obtained from the behavior and the sensory value of other types of sensations having synesthesia are analyzed, or information to be presented is specified. You can do it.
〔別実施形態〕
（１）サーバＳの各機能部の配置は、上述の実施形態に限定されるものではなく、適宜変更可能である。例えば、一部または全ての機能部をユーザ端末Ｔに配置することができる。また、複数のサーバＳを設置し、機能部を分散配置することも可能である。
[Another embodiment]
(1) The arrangement of the functional units of the server S is not limited to the above-described embodiment, and can be changed as appropriate. For example, some or all of the functional units can be arranged on the user terminal T. It is also possible to install a plurality of servers S and distribute functional units in a distributed manner.
（２）上述の実施形態では、第２の種別の感覚を「色」としたが、これに限定されるものではなく、感覚値が数値化可能な感覚であれば第２の種別の感覚として用いることができる。 (2) In the above-described embodiment, the second type of sensation is “color”, but the present invention is not limited to this, and the sensation value can be quantified as a sensation of the second type. Can be used.
（３）上述の実施形態では、提示情報として衣服情報を用いたが、これに限定されるものではなく、第２の種別の感覚に関する感覚値が取得できるものであれば他の情報を提示情報として用いることができる。この際、使用する提示情報の内容に応じて、上述の実施形態におけるファッションスタイルカテゴリを適宜変更すればよい。 (3) In the above-described embodiment, the clothing information is used as the presentation information. However, the present invention is not limited to this, and other information is provided as long as the sensory value related to the second type of sensation can be acquired. Can be used as At this time, the fashion style category in the above-described embodiment may be appropriately changed according to the content of the presentation information to be used.
（４）上述の実施形態では、利用者の行動情報は操作情報に基づいて取得したが、これに限定されるものではない。例えば、利用者からのアンケート結果に基づいて取得することもできる。もちろん、他の方法を用いても構わない。 (4) In the above-described embodiment, the user behavior information is acquired based on the operation information, but the present invention is not limited to this. For example, it can be acquired based on a questionnaire result from a user. Of course, other methods may be used.
（５）上述の実施形態では、プログラムがサーバＳやユーザ端末Ｔに読み込まれることにより各機能部が構成されたが、各機能部をハードウェアで構成しても構わない。 (5) In the above-described embodiment, each function unit is configured by reading the program into the server S or the user terminal T. However, each function unit may be configured by hardware.
本発明は、利用者の感覚（クロスモーダルデータ）の解析や、解析された感覚に基づいた情報提示等に利用することができる。感覚に基いた情報提示は、さらに、インターネットショッピング等にも利用することができる。 The present invention can be used for analysis of a user's sense (cross-modal data), information presentation based on the analyzed sense, and the like. Information presentation based on senses can also be used for Internet shopping and the like.
１１：クロスモーダルデータ記憶部
１２：行動情報取得部
１３：行動解析部
１４：クロスモーダルデータ特定部
１５：提示情報記憶部
１６：提示情報決定部
１７：画像処理部
２１：表示装置
２３：ＧＵＩ部（表示制御部）
11: Cross-modal data storage unit 12: Behavior information acquisition unit 13: Behavior analysis unit 14: Cross-modal data identification unit 15: Presentation information storage unit 16: Presentation information determination unit 17: Image processing unit 21: Display device 23: GUI unit (Display control unit)
Claims (6)
前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、
前記行動情報から複数の前記第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、
前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えたクロスモーダル感覚分析システム。 Associating a first sensory value related to a first type of sensation with sensory value distribution information indicating a distribution state of a plurality of second sensory values related to a second type of sensation that causes synesthesia between the first sensory values A cross-modal data storage unit for storing the cross-modal data;
A behavior information acquisition unit for acquiring user behavior information including information indicating the second sense value;
A behavior analysis unit for obtaining user sensory value distribution information indicating a distribution state of the plurality of second sensory values from the behavior information;
A cross modal data specifying unit that specifies the cross modal data that matches the behavior information as user cross modal data by comparing the sensory value distribution information and the user sense value distribution information. Modal sensory analysis system.
複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報と、当該提示候補情報から取得された前記第２感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報と、を関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、
前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えた提示情報決定システム。 A cross-modal sensory analysis system according to claim 1;
A plurality of presentation candidate information is classified and stored in at least one of a plurality of categories, and for each category, the presentation candidate information classified into each category and the second obtained from the presentation candidate information A presentation information storage unit that stores presentation information category data associated with presentation information category sensory value distribution information indicating a distribution state of sensory values;
A presentation information determination unit that determines the presentation information category data to be used as presentation information to the user by comparing the sense value distribution information of the user cross-modal data with the presentation information category sense value distribution information. And a presentation information determination system.
前記提示候補情報は画像データを含み、
請求項２記載の提示情報決定システムと、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、
表示装置と、
画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えた情報提示システム。 The second type of sensation is a color sensation,
The presentation candidate information includes image data,
A presentation information determination system according to claim 2;
An image processing unit for performing image processing on the image data according to the user cross-modal data;
A display device;
And a display control unit configured to display the presentation candidate information including the image data subjected to image processing on the display device.
前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、
前記行動情報から複数の前記第２種感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、
前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させるクロスモーダル感覚分析プログラム。 Associating a first sensory value related to a first type of sensation with sensory value distribution information indicating a distribution state of a plurality of second sensory values related to a second type of sensation that causes synesthesia between the first sensory values A cross-modal data acquisition function for acquiring information from a cross-modal data storage unit for storing the cross-modal data;
A behavior information acquisition function for acquiring user behavior information including information indicating the second sensory value;
A behavior analysis function for obtaining user sensory value distribution information indicating a distribution state of a plurality of the second type sensory values from the behavior information;
A cross-modal data specifying function for specifying the cross-modal data matching the behavior information as user cross-modal data by comparing the sensory value distribution information and the user sensory value distribution information; Is a cross-modal sensory analysis program.
請求項４記載のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる提示情報決定プログラム。 A plurality of presentation candidate information is classified and stored in at least one of a plurality of categories, and for each category, the presentation candidate information classified into each category and the second obtained from the presentation candidate information A presentation information acquisition function for acquiring information from a presentation information storage unit that stores presentation information category data associated with presentation information category sensory value distribution information indicating a distribution state of sensory values;
5. The presentation to the user by comparing the sensory value distribution information of the user cross-modal data specified by the cross-modal sensory analysis program according to claim 4 and the presentation information category sensory value distribution information. A presentation information determination program for causing a computer to realize a presentation information determination unit function for determining the presentation information category data used as information.
前記第２種別の感覚は色に関する感覚であり、
前記提示候補情報は画像データを含み、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、
画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる情報提示プログラム。
An information presentation program for presenting information to a user based on the presentation information category data determined by the presentation information determination program according to claim 5,
The second type of sensation is a color sensation,
The presentation candidate information includes image data,
An image processing function for performing image processing on the image data according to the user cross-modal data;
An information presentation program for causing a computer to realize a display control function for causing the display device to display the presentation candidate information including the image data subjected to image processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139322A JP6656570B2 (en) | 2015-07-13 | 2015-07-13 | Cross-modal sensory analysis system, presentation information determination system, information presentation system, cross-modal sensory analysis program, presentation information determination program, and information presentation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139322A JP6656570B2 (en) | 2015-07-13 | 2015-07-13 | Cross-modal sensory analysis system, presentation information determination system, information presentation system, cross-modal sensory analysis program, presentation information determination program, and information presentation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017021613A true JP2017021613A (en) | 2017-01-26 |
| JP6656570B2 JP6656570B2 (en) | 2020-03-04 |
Family
ID=57889562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015139322A Active JP6656570B2 (en) | 2015-07-13 | 2015-07-13 | Cross-modal sensory analysis system, presentation information determination system, information presentation system, cross-modal sensory analysis program, presentation information determination program, and information presentation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6656570B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299216A (en) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | A kind of cross-module state Hash search method and system merging supervision message |
| JP2020061000A (en) * | 2018-10-11 | 2020-04-16 | 富士通株式会社 | Image search program, image search device, and image search method |
| CN111353076A (en) * | 2020-02-21 | 2020-06-30 | 华为技术有限公司 | Method for training cross-modal retrieval model, cross-modal retrieval method and related device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916797A (en) * | 1995-06-30 | 1997-01-17 | Fuji Xerox Co Ltd | Image analyzing and expression adding device |
| JP2005235066A (en) * | 2004-02-23 | 2005-09-02 | Seiko Epson Corp | Device, method and program of image correction |
| JP2011221606A (en) * | 2010-04-05 | 2011-11-04 | Sony Corp | Information processing method and graphical user interface |
| JP2013206030A (en) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | Content display device |
-
2015
- 2015-07-13 JP JP2015139322A patent/JP6656570B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916797A (en) * | 1995-06-30 | 1997-01-17 | Fuji Xerox Co Ltd | Image analyzing and expression adding device |
| JP2005235066A (en) * | 2004-02-23 | 2005-09-02 | Seiko Epson Corp | Device, method and program of image correction |
| JP2011221606A (en) * | 2010-04-05 | 2011-11-04 | Sony Corp | Information processing method and graphical user interface |
| JP2013206030A (en) * | 2012-03-28 | 2013-10-07 | Dainippon Printing Co Ltd | Content display device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020061000A (en) * | 2018-10-11 | 2020-04-16 | 富士通株式会社 | Image search program, image search device, and image search method |
| CN109299216A (en) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | A kind of cross-module state Hash search method and system merging supervision message |
| CN111353076A (en) * | 2020-02-21 | 2020-06-30 | 华为技术有限公司 | Method for training cross-modal retrieval model, cross-modal retrieval method and related device |
| CN111353076B (en) * | 2020-02-21 | 2023-10-10 | 华为云计算技术有限公司 | Method for training cross-modal retrieval model, cross-modal retrieval method and related device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6656570B2 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9607010B1 (en) | Techniques for shape-based search of content | |
| US10534801B2 (en) | Map screen determining method and apparatus | |
| US20170262959A1 (en) | Browsing interface for item counterparts having different scales and lengths | |
| US20140095308A1 (en) | Advertisement distribution apparatus and advertisement distribution method | |
| US20170228745A1 (en) | Tools and methods for capturing and measuring human perception and feelings | |
| JP6212013B2 (en) | Product recommendation device and product recommendation method | |
| US11397764B2 (en) | Machine learning for digital image selection across object variations | |
| CN104202718A (en) | Method and device for providing information for user | |
| CN111159570B (en) | Information recommendation method and server | |
| CN109903127A (en) | Group recommendation method and device, storage medium and server | |
| US10026176B2 (en) | Browsing interface for item counterparts having different scales and lengths | |
| CN108256537A (en) | A kind of user gender prediction method and system | |
| JP2013149140A (en) | Information processing device and information processing method | |
| Zailskaitė-Jakštė et al. | Brand communication in social media: The use of image colours in popular posts | |
| CN114936301B (en) | Intelligent household building material data management method, device, equipment and storage medium | |
| CN105279569A (en) | Career path navigation | |
| JP5042346B2 (en) | Information display apparatus, method and program | |
| CN112837108A (en) | Information processing method and device and electronic equipment | |
| CN112100221A (en) | Information recommendation method and device, recommendation server and storage medium | |
| JP6656570B2 (en) | Cross-modal sensory analysis system, presentation information determination system, information presentation system, cross-modal sensory analysis program, presentation information determination program, and information presentation program | |
| US9449025B1 (en) | Determining similarity using human generated data | |
| So | Measuring aesthetic preferences of neural style transfer: More precision with the two-alternative-forced-choice task | |
| CN113821296B (en) | Visual interface generation method, electronic equipment and storage medium | |
| CN111475628A (en) | Session data processing method, device, computer equipment and storage medium | |
| US20210357553A1 (en) | Apparatus and method for option data object performance prediction and modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6656570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |