JP2021064291A - 情報処理装置、プログラム及び情報処理システム - Google Patents

Abstract

【課題】ユーザによって指定された画像又は音に応じた香り又は味の物体に関する情報をそのユーザに提供する。【解決手段】情報提供システムの情報処理装置１０において、第１受付部１３は、センサ装置４０のセンシング面にカードが置かれると、そのカードのタグに記憶されたカードＩＤの読み取り結果に基づいて、どのカード（つまり、どの画像）がセンシング面のどこに置かれたかを特定する。表現提示部１５１は、ユーザによって指定された画像に対応する関連表現群を、当該ユーザに提示する。第２受付部１４は、表現提示部１５１によって提示された関連表現群のうち少なくとも１以上の関連表現に対するユーザの選択を受け付ける。情報提供部１５２は、表現提示部１５１によって表示された関連表現群のうちユーザにより選択された関連表現に応じた香りの物体に関する情報をユーザに提供する。【選択図】図６

Description

本発明は、物体の香り又は味に関する情報を提供するための技術に関する。

香りは、人間の感情や行動、記憶を司る大脳辺縁系に働きかけることで様々な効用を人間に与えることが知られている。例えば特許文献１には、香りを嗅いだ被験者に対し、その香りを嗅いだことによって想起された心的事象について質問を提示し、その回答を数値として取得することが記載されている。

特開２０１６−１８０８３０号公報

ところで、或る香りがどのようなものであるかを的確に表現することは、それほど簡単ではない。これは、大半の人間にとっては香りに関して表現する機会が少ないために、香りを表現する語彙に乏しかったり、また、香りとその香りの表現との対応関係を正確に認識できていなかったり、という事情があるためだと考えられる。

上記のように香りを表現する行為とは逆に、或る表現からその表現に合った香りを創造することができれば、ユーザにとって新しい体験になり得る。例えばユーザ自らが画像や音楽を指定すると、その画像や音楽のイメージに合った香りを創り出すというような、今までにない新しいサービスの提供が考えられる。このようなサービスは、物体の香りに限らず、物体の味についても適用可能である。

そこで、本発明は、ユーザによって指定された画像又は音に応じた香り又は味の物体に関する情報をそのユーザに提供することを目的とする。

上記課題を解決するため、本発明は、ユーザによる画像又は音の指定を受け付ける第１受付部と、ユーザによって指定された画像又は音に対応する表現群を、当該ユーザに提示する表現提示部と、提示された前記表現群のうち少なくとも１以上の表現に対するユーザの選択を受け付ける第２受付部と、ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部とを備えることを特徴とする情報処理装置を提供する。

前記表現提示部は、ユーザにより指定された画像又は音を象徴するオブジェクトがユーザに示されている位置に対応する表示エリアに、当該画像又は当該音に対応する表現群を表示するようにしてもよい。

前記表現提示部は、ユーザにより指定された画像又は音に対応する表現を、当該ユーザの香り又は味に関する嗜好に応じた表示態様で表示するようにしてもよい。

前記表現提示部は、ユーザにより指定された画像又は音に対応する表現を、当該表現の属性に応じた表示態様で表示するようにしてもよい。

前記情報提供部は、ユーザにより選択された前記表現が提示されている位置と、ユーザにより選択された前記表現に応じた香り又は味の物体が存在する位置とを関連付ける表示を行うようにしてもよい。

前記情報提供部は、ユーザにより選択された前記表現と、ユーザにより選択された前記表現に応じた香り又は味の物体との関係性に応じた表示態様で前記表示を行うようにしてもよい。

前記第２受付部が、提示された前記表現群のうち複数の表現に対するユーザの選択を受け付けた場合に、前記情報提供部は、選択された前記複数の表現に対する優先度をそれぞれ特定し、特定した優先度に応じた態様で、前記物体に関する情報をユーザに提供するようにしてもよい。

また、本発明は、コンピュータを、ユーザによる画像又は音の指定を受け付ける第１受付部と、ユーザによって指定された画像又は音に対応する表現群を、当該ユーザに提示する表現提示部と、提示された前記表現群のうち少なくとも１以上の表現に対するユーザの選択を受け付ける第２受付部と、ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部として機能させるためのプログラムを提供する。

また、本発明は、操作装置と、表示装置と、前記操作装置を用いたユーザの操作による画像又は音の指定を受け付ける第１受付部と、ユーザによって指定された画像又は音に対応する表現群を、前記表示装置を制御して当該ユーザに提示する表現提示部と、提示された前記表現群のうち少なくとも１以上の表現に対する、前記操作装置を用いたユーザの選択を受け付ける第２受付部と、前記表示装置を制御して、ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部とを備える情報処理装置とを備えることを特徴とする情報処理システムを提供する。

本発明によれば、ユーザによって指定された画像又は音に応じた香り又は味の物体に関する情報をそのユーザに提供することが可能となる。

本発明の一実施形態に係る情報提供システムの全体構成を例示するブロック図である。 情報提供システムの構造を例示する側面図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置が記憶するカードＤＢの一例を示す図である。 情報処理装置が記憶するサンプルＤＢの一例を示す図である。 情報処理装置の機能構成の一例を示すブロック図である。 情報処理装置の動作の一例を示すフローチャートである。 情報提供システムの利用時において、センサ装置のセンシング面を上方から見たときの様子を例示する平面図である。 情報提供システムの利用時において、センサ装置のセンシング面を上方から見たときの様子を例示する平面図である。 情報提供システムの利用時において、センサ装置のセンシング面を上方から見たときの様子を例示する平面図である。 情報提供システムの利用時において、センサ装置のセンシング面を上方から見たときの様子を例示する平面図である。 情報提供システムの利用時において、センサ装置のセンシング面を上方から見たときの様子を例示する平面図である。

［構成］
本発明の一実施形態に係る情報提供システム１の全体構成について説明する。情報提供システム１は、ユーザが指定した画像に合う香りの物体を知るための情報提供を行うシステムである。情報提供システム１は、図１に示すように情報処理装置１０と、プロジェクタ装置２０と、センサ装置４０と、複数のサンプル６０と、複数のカード７０とを備えている。情報処理装置１０、プロジェクタ装置２０及びセンサ装置４０は、有線又は無線によって通信可能に接続されている。情報処理装置１０は、本発明に係る情報処理装置の一例であり、情報提供システム１において中枢的な制御を司る装置である。プロジェクタ装置２０は、ユーザに対して情報を表示する表示装置の一例である。センサ装置４０は、ユーザの操作を受け付ける操作装置の一例である。

複数のサンプル６０はいずれも、ユーザの嗅覚を刺激する香りを発する物体である。例えば、サンプル６０は、香りを発する自然物（例えばラベンダーという植物そのもの）であってもよいし、その香りを含む人工生成物（例えばラベンダーの香りが抽出された揮発性の液体や、その液体をしみこませたシートなど）であってもよい。本実施形態では、サンプル６０として、香りを発する自然物から抽出された香りを含むアロマオイルと呼ばれる液体を収容した円筒状の蓋付き小瓶を用いる。各サンプル６０には、そのサンプルの名称（例えば「ラベンダー」という植物の名称）が記されたシールや札が付されている。ユーザはこの名称を参照することによって、各サンプルを視覚的に識別する。

複数のカード７０は、それぞれ異なる画像が標記された媒体である。つまり、カード７０は、画像を象徴するオブジェクトである。カード７０に記された画像は、予め用意されたものであり、例えば風景、絵画、人物、動物、植物、地図、抽象画等の画像である。

図２は、情報提供システム１の構造を例示する側面図、より具体的には、プロジェクタ装置２０、センサ装置４０、サンプル６０及びカード７０を水平方向から見たときの位置関係を例示する図である。センサ装置４０は、例えば薄い矩形の板状であり、その上面が水平なセンシング面となっている。サンプル６０には、各サンプル６０を識別する識別情報（サンプルＩＤという）を記憶した記憶媒体であるタグ６１が設けられている。カード７０には、各カード７０を識別する識別情報（カードＩＤという）を記憶した記憶媒体であるタグ７１が設けられている。

センサ装置４０は、センシング面にサンプル６０が置かれると、例えばＮＦＣ（Near Field Communication）と呼ばれる近距離無線通信規格を用いて、そのサンプル６０のタグ６１に記憶されたサンプルＩＤを読み取るとともに、そのサンプル６０が置かれた位置（つまりセンシング面におけるタグ６１の読み取り位置）を検出する。また、センサ装置４０は、センシング面にカード７０が置かれると、ＮＦＣ等の近距離無線通信規格を用いて、そのカード７０のタグ７１に記憶されたカードＩＤを読み取るとともに、そのカード７０が置かれた位置（つまりセンシング面におけるタグ７１の読み取り位置）を検出する。さらに、センサ装置４０は、いわゆるタッチスクリーンとしても機能し、例えばユーザの指や所定の操作子でセンシング面がタッチされると、センシング面においてタッチされた位置を検出する。サンプル６０が置かれた位置やユーザによりタッチされた位置は、センシング面の或る位置を原点とした２次元座標平面におけるＸ，Ｙ座標として表現される。

プロジェクタ装置２０は、センサ装置４０の上方（例えば部屋の天井）に設置されている。プロジェクタ装置２０は、図２の破線で示すようにセンサ装置４０のセンシング面の全範囲を投影範囲としており、上記Ｘ，Ｙ座標に基づいて、センシング面の任意の位置に光を投影して画像を表示することができるようになっている。つまり、センサ装置４０のセンシング面は、画像が表示される表示面としても機能する。

図３は、情報処理装置１０のハードウェア構成を例示する図である。情報処理装置１０は、ＣＰＵ１０１（Central Processing Unit）、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、補助記憶装置１０４及び通信ＩＦ（Interface）１０５を有するコンピュータである。

ＣＰＵ１０１は、各種の演算を行うプロセッサである。ＲＯＭ１０２は、例えば情報処理装置１０の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置１０４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などの不揮発性の記憶装置であり、情報処理装置１０において用いられるプログラム及びデータを記憶する。ＣＰＵ１０１はこのプログラムを実行することにより、後述する機能を実現し、また、後述する動作を実行する。通信ＩＦ１０５は、所定の通信規格に従って通信を行うためのインターフェースである。この通信規格は、有線通信の規格であってもよいし、無線通信の規格であってもよい。なお、情報処理装置１０は、図３に例示した構成以外に、例えば液晶ディスプレイ等の表示装置やキーボード等の操作装置などの、他の構成を含んでいてもよい。

補助記憶装置１０４は、図４に示すようなカードデータベース（以下、データベースをＤＢと表現する）と、図５に示すようなサンプルＤＢとを記憶している。図４に示すように、カードＤＢにおいては、各々のカードＩＤと、そのカードＩＤに対応するカードに表記された画像の属性と、その画像に対応付けられている、香りに関する１以上の表現（関連表現という）と、これらの関連表現の各々を表示するときの表示態様が含まれている。関連表現群は、画像に関連する表現群であるが、風景や絵画のような画像に比べると、香りをユーザが想起しやすい、つまり香りを意味する表現として慣用されている表現群である。関連表現は、例えば名詞や形容詞等のあらゆる品詞を用いた表現であってもよいし、複数の単語から成る言葉や文章であってもよい。このような画像と関連表現とその表示態様との関係は、このシステム管理者等によって、それぞれの画像を見たときのイメージを参考にして予め決められてこのカードＤＢに格納される。さらに、これらの画像と関連表現とその表示態様との関係は、このシステムを利用したユーザの反応に関する履歴やアンケート等を参考にして、このシステム管理者等によってさらに最適化されてこのカードＤＢに格納されてもよい。センサ装置４０にカード７０が置かれると、そのカード７０の周囲に、そのカード７０に表記された画像（画像）に対応付けられた関連表現群が表示されるようになっている。

関連表現の表示態様は、例えば、関連表現を表示する位置、関連表現を表示する位置とカード７０の位置との距離、カード７０に対する関連表現の表示位置の方向、関連表現を表示するときの色、関連表現を表示するときの大きさ、表現を表示するときのフォント、関連表現を表示するときの修飾、関連表現を表示する時間、関連表現を表示する時期、関連表現の動き（表現の空間的な変化又は時間的な変化を含む）、又は、関連表現に用いられる言語等を含む。この表示態様は、画像と関連表現との関係や、関連表現の属性に応じて変わる。画像と関連表現との関係とは、例えば画像と関連表現との関係の強さ／大きさであり、両者の関係が強い（つまり画像から関連表現を連想しやすい）場合には、カード７０の近くにその関連表現を表示するとか、その関連表現を大きく又は目立つ色で表示するとか、その関連表現を振動するように動くことで目立つように表示するといった例が考えられる。画像と関連表現との関係の強さ／大きさは、このシステム管理者等によって、画像を見たときのイメージを参考にして決められる。関連表現の属性とは、例えば、関連表現から受けるイメージ、関連表現の品詞の別、関連表現に用いる文字の種別（ひらがな、カタカナ、漢字、アルファベット等）、関連表現を構成する文字数／単語数等を含む。例えば「甘い」という関連表現は、暖色で表示したり、丸ゴシック体で表示する例が考えられる。

図４の例では、カードＩＤ「ＣＩＤ００１」のカード７０には或る「風景」の画像が記されており、関連表現１として「甘い」、関連表現２として「さわやか」…が設定されている。これらの関連表現のうち、「甘い」という関連表現１の表示態様は、関連表現を表示する位置とカード７０の位置との距離が「２単位」であり（１単位は、センシング面において任意に決められる長さ）、色は「赤」であり、フォントは「ゴシック体」であり、サイズ（大きさ）は「２５ポイント」であり、動きは「点滅」である。なお、関連表現Ｎにおいて、Ｎの値が小さいほど、画像との関係が強い又は大きいことを意味している。つまり、図４の例において、画像に対して関係が最も強い又は最も大きい関連表現は、「甘い」である。

次に、サンプルＤＢにおいては、図５に示すように、各々のサンプルＩＤと、そのサンプルＩＤに対応するサンプル６０によって刺激される嗅覚に関する１以上の表現（つまりサンプル６０の香りを表した１以上の表現）が対応付けられている。この表現は、上述したカードＤＢにおける関連表現群と同じものが用いられる。図５の例では、サンプルＩＤ「ＳＩＤ００１」のサンプル６０のサンプル名称は「Ａ」であり、そのサンプル６０の香りを表す表現１として「甘い」、表現２として「花」、表現３として「春」…が設定されている。なお、表現Ｍにおいて、Ｍの値が小さいほど、サンプル６０との関係が強い又は大きいことを意味している。つまり、図５の例において、サンプル「Ａ」に対して関係が最も強い又は最も大きい表現は、「甘い」である。

次に、図６は、情報処理装置１０の機能構成の一例を示すブロック図である。情報処理装置１０は、サンプル特定部１１、サンプル位置特定部１２、第１受付部１３、第２受付部１４、表現提示部１５１及び情報提供部１５２という機能を実現する。なお、表現提示部１５１及び情報提供部１５２によって出力部１５が構成される。

サンプル特定部１１は、センサ装置４０のセンシング面にサンプル６０が置かれると、そのサンプル６０のタグ６１に記憶されたサンプルＩＤの読み取り結果に基づいて、どのサンプル６０がセンシング面に置かれたかを特定する。

サンプル位置特定部１２は、センサ装置４０のセンシング面にサンプル６０が置かれると、そのサンプル６０のタグ６１に記憶されたサンプルＩＤが読み取られた位置に基づいて、サンプル６０がセンシング面のどの位置に置かれたか（つまりセンサ装置４０においてサンプル６０が置かれる操作がなされた位置）を特定する。

第１受付部１３は、センサ装置４０のセンシング面にカード７０が置かれると、そのカード７０のタグ７１に記憶されたカードＩＤの読み取り結果に基づいて、どのカード７０（つまり、どの画像）がセンシング面のどこに置かれたかを特定する。

表現提示部１５１は、ユーザによって指定された画像に対応する関連表現群を、当該ユーザに提示する。より具体的には、表現提示部１５１は、プロジェクタ装置２０を制御して、第１受付部１３により特定されたカード７０の位置に対応する表示領域に、そのカード７０に表記された画像に対応付けられている関連表現群を表示する。このとき、表現提示部１５１は、カードＤＢにおいて、第１受付部１３により特定された関連表現に対応する表示態様で表示する。カード７０の位置に対応する表示領域とは、例えばそのカード７０の位置から決められた距離の範囲内のセンシング面上の領域であり、具体的には、センシング面においてカード７０の位置を中心とした半径１０センチ以内の円形の領域であるという例が考えられる。ただし、カード７０の位置に対応する表示領域はこの例に限らず、表示された表現がどのカード７０に関する表現であるかをユーザが認識することができるような領域であればよい。

表現提示部１５１は、上述したような関連表現群を表示するべく、記憶部１５１１及び表現生成部１５１２という構成を含む。記憶部１５１１は、図４に例示したカードＤＢを記憶する。表現生成部１５１２は、カードＤＢを参照して、第１受付部１３により特定されたカード７０に表記された画像に対応付けられている関連表現群を特定し、特定した関連表現群をカード７０の位置に対応する表示領域に表示するためのデータを生成する。

第２受付部１４は、表現提示部１５１によって提示された関連表現群のうち少なくとも１以上の関連表現に対するユーザの選択を受け付ける。

情報提供部１５２は、表現提示部１５１によって表示された関連表現群のうちユーザにより選択された関連表現に応じた香りの物体に関する情報をユーザに提供する。具体的には、情報提供部１５２は、図５に例示したサンプルＤＢを参照して、ユーザにより選択された関連表現と、その関連表現によって表される香りの物体（サンプル）との関係を示す画像である関係画像を表示する。つまり、情報提供部１５２は、ユーザにより選択された関連表現が提示されている位置と、ユーザにより選択された関連表現に応じた香りの物体（サンプル）が存在する位置とを関連付ける表示を行う。ここで、第２受付部１４が、ユーザに提示された関連表現群のうち複数の関連表現に対するユーザの選択を受け付けた場合に、情報提供部１５２は、選択された複数の関連表現に対する優先度をそれぞれ特定し、特定した優先度に基づいて、当該複数の表現に応じた香りの物体（サンプル）を特定し、その物体（サンプル）に関する情報をユーザに提供する。例えばユーザにより複数の関連表現が順番に指定された場合、その指定された順番が早いほうの関連表現の優先度が高くなる。

［動作］
次に、図７のフローチャートに沿って、本実施形態の動作を説明する。まず、ユーザは、サンプル６０に付されたサンプルの名称を参考にして、興味があるサンプル６０をいくつか選び、これらをセンサ装置４０のセンシング面に置く。

ここで、図８は、センサ装置４０のセンシング面を上方から見たときの様子を例示する平面図である。この例では、センサ装置４０のセンシング面に、６つのサンプル６０ａ〜６０ｆが置かれている。このとき、情報処理装置１０のサンプル特定部１１及びサンプル位置特定部１２は、センサ装置４０によるサンプルＩＤの読み取り結果に基づいて、どのサンプルＩＤのサンプル６０がセンシング面のどの位置に置かれているかを特定する（図７のステップＳ１１）。これにより、サンプル６０ａ〜６０ｆが図８に例示した各々の位置に置かれたことが特定される。

次に、ユーザは、カード群７０に表記された画像を見て、自身が好む画像や対応する香りを知りたいと思う画像のカード７０を選び、センサ装置４０のセンシング面に置く。図９は、センサ装置４０のセンシング面を上方から見たときの様子を例示する平面図である。この例では、センサ装置４０のセンシング面に、或る画像が標記されたカード７０が置かれている。このとき、情報処理装置１０の第１受付部１３は、センサ装置４０によるカードＩＤの読み取り結果に基づいて、どのカードＩＤのカード７０がセンシング面のどの位置に置かれているかを特定する（図７のステップＳ１２）。これにより、カード７０が図９に例示した位置に置かれたことが特定される。

次に、表現提示部１５１は、カード７０のカードＩＤをキーにして、カードＤＢにおいてそのカードＩＤに対応する画像を特定して、対応する関連表現を検索する（図７のステップＳ１３，Ｓ１４）。そして、表現提示部１５１は、プロジェクタ装置２０を制御して、第１受付部１３により特定されたカード７０の位置に対応する表示領域に、ステップＳ１４で検索した関連表現を、その関連表現について対応付けられた表示態様で表示する（図７のステップＳ１５）。

これにより、図１０に例示するように、カード７０に表記された画像に関連する関連表現が、例えばそのカード７０の位置を中心とした任意の大きさの円の内部に表示される。これら関連表現は、前述したとおり、カードＤＢによって規定された表示態様で表示される。例えば図１０の例では、カード７０の周囲に、「甘い」「さわやか」「苦い」「軽い」「温もり」「花」「朝」というような関連表現群が、それぞれについて決められた表示態様で表示されている。

次に、ユーザは、表示されている関連表現群のうち、自身が香りのイメージとして好む関連表現を選択し、その関連表現に対して、それ以外の関連表現よりも高い優先度を指定する操作を行う。この操作は、例えば優先したい関連表現をタッチする、優先したい関連表現をいわゆるピンチアウト操作でより大きく表示させる、優先したい関連表現をいわゆるドラッグ操作でカード７０のより近くに移動させる等である。一方、ユーザは優先したくない関連表現を指定する操作を行い、その結果として、優先したい関連表現を指定するようにしてもよい。ユーザは優先したくない関連表現を指定する操作とは、例えば優先したくない関連表現を所定の操作で非表示とする、優先したくない関連表現をタッチする、優先したくない関連表現をいわゆるピンチイン操作で小さく表示させる、優先したくない関連表現をいわゆるドラッグ操作でカード７０からより遠くに移動させる等の操作である。これらの操作は第２受付部１４により受け付けられる。

情報提供部１５２は、このような操作がなされると（図７のステップＳ１６；ＹＥＳ）、ユーザによりどの関連表現が選択されたかを特定し、さらに、選択された各関連表現に対して指定された優先度を特定する（図７のステップＳ１７）。このとき、どの関連表現に対して高い優先度が特定されたかをユーザが分かるように、表現提示部１５１がその関連表現の背景を特定の色の画像で表示したり、その関連表現を反転表示したりすることが望ましい。ここでは、図１０に例示した「甘い」「さわやか」「苦い」「軽い」「温もり」「花」「朝」のうち、ユーザは「甘い」と「さわやか」という関連表現を順番にタッチすることで、「甘い」に対して第１順位の優先度が指定され、「さわやか」に対して第２順位の優先度が指定されたと仮定する。

次に、情報提供部１５２は、サンプルＤＢにおいて、ステップＳ１１において特定されたサンプルＩＤ群のうち、ステップＳ１７において特定された優先度の高い関連表現と同じ表現に対応付けられているサンプルＩＤを検索する（図７のステップＳ１８）。この検索の結果、優先度の高い関連表現と同じ表現に対応付けられたサンプルＩＤがあれば（図７のステップＳ１９；ＹＥＳ）、情報提供部１５２は、プロジェクタ装置２０を制御して関係画像を表示する（ステップＳ２０）。この関係画像は、例えば、優先度の高い関連表現の表示位置と、検索されたサンプルＩＤに対応するサンプル６０が置かれた位置とを結ぶ線状の画像である。

これにより、図１１に例示するように、ユーザにより最も高い優先度が指定された「甘い」という関連表現と、その「甘い」という関連表現に対応付けられたサンプル（ここでは、サンプル６０ａ及びサンプル６０ｃとする）とを結ぶ線状の関係画像Ｒ１，Ｒ２が表示される。この関係画像Ｒ１，Ｒ２により、ユーザは、自身が指定した「甘い」という関連表現の香りを発するサンプルとして、サンプル６０ａ及びサンプル６０ｃがあることが分かる。また、ユーザにより次に高い優先度が指定された「さわやか」という関連表現と、その「さわやか」という関連表現に対応付けられたサンプル（ここでは、サンプル６０ｅとする）とを結ぶ線状の関係画像Ｒ３が表示される。この関係画像Ｒ３により、ユーザは、「さわやか」という関連表現の香りを発するサンプルとして、サンプル６０ｅがあることが分かる。なお、図１１において、どの関連表現に対して高い優先度が指定されたかは、その関連表現の背景を特定の色の画像Ｓ１，Ｓ２で表示することで、ユーザに分かるようにしている。高い優先度が指定された複数の関連表現における優先度の高低は、画像Ｓ１，Ｓ２の色や大きさを変えることで、ユーザに分かるようにしている。

この関係画像の色、太さ、大きさ、動き等の表示態様は、関連表現に対して指定された優先度に応じて異なる。例えば、関連表現に対して指定された優先度が高いほど、その関連表現とサンプル６０とを結ぶ関係画像がより目立つような色、太さ、大きさ、動き等の表示態様となるし、その優先度が低いほどその逆の表示態様となる。図１１の例では、第１順位の「甘い」という関連表現に対する関係画像は、第２順位の「さわやか」という関連表現に対する関係画像よりも濃い色の画像になっている。つまり、情報提供部１５２は、関連表現と、その関連表現によって表される香りの物体との関係を、特定された優先度に応じた表示態様で表示する。

また、この関係画像の色、太さ、大きさ、動き等の表示態様は、関連表現と、その関連表現によって表される香りのサンプル６０との関係に応じて異なる。例えば、関連表現とサンプル６０との関係が強い場合には、関係画像がより目立つような色、太さ、大きさ、動き等の表示態様となるし、関係が弱い場合にはその逆の表示態様となる。関連表現とサンプル６０との関係の強さ／大きさは、前述したように、サンプルＤＢにおいて表現に付された「Ｍ」という数値によって特定し得る。つまりＭが小さいほど、関連表現とサンプル６０との関係が強い又は大きい。図１１の例では、「甘い」という関連表現に対してサンプル６０ｃはより強い関係があるため、「甘い」という関連表現とサンプル６０ｃとを結ぶ関係画像Ｒ１は、「甘い」という関連表現とサンプル６０ａとを結ぶ関係画像Ｒ２よりも太い画像になっている。

ユーザはこれらの表示を見て、画像及び関連表現とサンプル６０との関係を意識しながら、サンプル６０を嗅ぐことで、自身が指定した画像のイメージに合う香りを発する物体を知ることができる。ユーザがさらに他の画像について試してみたい場合には、いったん終了操作を行い（ステップＳ２１；ＹＥＳ）、今度は別のカード７０をセンサ装置４０のセンシング面に置くことで上記のステップＳ１１〜Ｓ２０が繰り返される。

以上説明した実施形態によれば、ユーザは自身が指定した画像に合う香りを発する物体を知ることが可能となる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。

［変形例１］
本発明は、香りを対象としたものに限らず、味を対象としたもの（例えばワイン、日本酒、スパイス、調味料等）にも適用可能である。つまり、実施形態における「香り」を「味」に置き換えて本発明を実施してもよい。

［変形例２］
本発明において、ユーザが指定する対象は画像に限らず音であってもよい。例えば、カード７０には、様々な音楽のＣＤジャケットの写真が記されており、ユーザはそのカード７０群から好きなものを選び、センサ装置４０の上に置く。カード７０の裏面には音楽のＩＤを格納したタグ７１が設けられており、センサ装置４０はそのタグ７１からＩＤを読み取って、ユーザが選択した音楽を再生するとともに、その（音楽）音を特定する。つまり、この場合、カード７０は、ユーザにより指定された音を象徴するオブジェクトに相当する。

［変形例３］
上記実施形態において、ユーザが関連表現群から指定した関連表現を、優先度の高い関連表現として特定していたが、優先度を特定する方法はこれに限らない。例えば、ユーザの属性、嗜好又は行動のうち少なくともいずれかに関するデータを蓄積しておき、その蓄積内容からユーザの属性、嗜好又は行動のうち少なくともいずれかに合致する関連表現（例えば２０代女性が好む表現、映画を趣味としたユーザが好む表現、旅行好きなユーザが好む表現等）を推定して優先度を特定してもよい。ユーザの属性、嗜好又は行動と、そのような属性、嗜好又は行動のユーザが高い優先度を指定する関連表現との関係は、例えばユーザが好む関連表現として指定した履歴に基づいてディープラーニング等の機械学習により学習したアルゴリズムを用いて特定すればよい。

［変形例４］
上記実施形態においては、１つの画像が指定される例で説明したが、複数の画像が指定されてもよい。この場合、表現提示部１５１は、指定された複数の画像のいずれにも対応付けられていて、且つ、画像に比べてユーザが香りを想起しやすい表現として決められている関連表現群を優先的に表示するようにしてもよい。例えば「初恋」と記されたカード７０と「青空」と記されたカード７０がセンサ装置４０のセンシング面に置かれた場合を想定する。この例において、「初恋」という画像には、「甘い」「さわやか」「苦い」「軽い」「温もり」「花」「朝」という関連表現群が対応付けられており、「青空」という画像には、「さわやか」「透明感」「すっきり」「爽快」「朝」という関連表現群が対応付けられているとする。このような場合は、表現提示部１５１は、これらの画像に共通する関連表現である「さわやか」「朝」を、その共通性が分かるように、例えば太い線、目立つ色、目立つ動き、大きい文字等の優先的な表示を行う。以上は、画像に限らず、音であっても同様である。

［変形例５］
上記実施形態において、優先度が高い関連表現として複数のものが特定された場合、図１１に例示したように、優先度が高い関連表現の各々とサンプル６０との関係が表示されていたが、これ以外に、優先度が高い複数の関連表現全体とサンプル６０との関係が表示されてもよい。具体的には、情報提供部１５２は、図１２に例示するように、ユーザにより高い優先度が指定された「甘い」という関連表現及び「さわやか」という関連表現と、「甘い」という関連表現に対応付けられたサンプル６０ａ、６０ｃ及び「さわやか」という関連表現に対応付けられたサンプル６０ｅとを結ぶ線状の関係画像Ｒ１，Ｒ２，Ｒ３を表示する。つまり、情報提供部１５２は、優先度が高い（優先度が閾値を超える）関連表現が複数ある場合には、当該複数の関連表現と、当該複数の関連表現の全てによって表される香りの物体との関係を表示するようにしてもよい。

［変形例６］
図１１において、ユーザが例えば「甘い」という関連表現を指定すると、「甘酸っぱい」「蜂蜜の甘さ」「ほんのりした甘さ」などの、「甘い」という関連表現に類似する類似表現群がさらに表示され、ユーザはその中から任意の類似表現について高い優先度を指定すると、指定された類似表現とサンプル６０との関係が表示されるようにしてもよい。つまり、表現提示部１５１は、関連表現に類似する表現である類似表現群を表示し、第２受付部１４は、表示された類似表現群についての優先度を特定し、情報提供部１５２は、表示された類似表現群のうち少なくとも１以上の類似表現と、当該類似表現によって表される香りの物体との関係を、特定された優先度に応じた表示態様で表示するようにしてもよい。

［変形例７］
この表示態様は、画像と関連表現との関係や、関連表現の属性に応じて変わる。画像と関連表現との関係とは、例えば画像と関連表現との関係の強さ／大きさであり、両者の関係が強い（つまり画像から関連表現を連想しやすい）場合には、カード７０の近くにその関連表現を表示するとか、その関連表現を大きく又は目立つ色で表示するとか、その関連表現を振動するように動くことで目立つように表示するといった例が考えられる。画像と関連表現との関係の強さ／大きさは、このシステム管理者等によって、画像を見たときのイメージを参考にして決められる。関連表現の属性とは、例えば、関連表現から受けるイメージ、関連表現の品詞の別、関連表現に用いる文字の種別（ひらがな、カタカナ、漢字、アルファベット等）、関連表現を構成する文字数／単語数等を含む。例えば「甘い」という関連表現は、暖色で表示したり、丸ゴシック体で表示する例が考えられる。

［変形例８］
関係画像は、図１１，１２に例示した線状の画像に限らず、関連表現とその関連表現によって表されるサンプル６０とが関係していることが分かるような画像であればよい。例えば、図１１，１２において、「甘い」という関連表現を囲む円環画像と、その「甘い」という表現によって表されるサンプル６０ａ，６０ｃの位置を囲む円環画像とを、関係画像としてもよい。同様に、図１１，１２において、「さわやか」という関連表現を囲む円環画像と、その「さわやか」という表現によって表されるサンプル６０ｅｃの位置を囲む円環画像とを、関係画像としてもよい。

［変形例９］
上記実施形態において、情報提供部１５２は、高い優先度の関連表現と、その関連表現によって表される香りの物体との関係を、その優先度に応じた表示態様で表示していたが、これに限らず、全ての関連表現と、各々の関連表現によって表される香りの物体との関係を示す関係画像を表示し、且つ、その関係画像を特定された優先度に応じた表示態様で表示すればよい。例えば図１１の例において、情報提供部１５２は、「甘い」「さわやか」「苦い」「軽い」「温もり」「花」「朝」という各関連表現と、各々の関連表現に対応付けられたサンプル６０とを結ぶ関係画像を表示する。このとき、情報提供部１５２は、優先度が高い関連画像とサンプル６０との関係画像については、それ以外の関係画像とは異なる色、太さ、大きさ、動き等の表示態様で表示する。つまり、情報提供部１５２は、表示された関連表現群に含まれる少なくとも１以上の関連表現と、当該関連表現によって表される香りの物体との関係を、特定された優先度に応じた表示態様で表示すればよい。

［変形例１０］
表示装置や操作装置は、図１で例示したプロジェクタ装置２０やセンサ装置４０に限定されない。例えば表示装置は、実施形態のように操作装置であるセンサ装置４０のセンシング面に画像を投影するものに限らず、例えば操作装置自体が表示装置であってもよい。また、表示装置は壁面に画像を表示するものであってもよい（壁面に画像を投影する場合や壁面自体が表示装置である場合を含む）。また、表示装置はいわゆる拡張現実を実現する表示装置であってもよい。具体的には、スマートホンやタブレット或いはグラス型ウェアラブル装置の撮像装置でサンプル６０を撮像すると、その撮像画像中のサンプル６０の周囲に、対応する表現群を表示するものであってもよい。また、操作装置は、ユーザの操作を画像認識技術によって検知する装置であってもよい。

［変形例１１］
表現の提示の形態は、実施形態のような２次元的な表示であってもよいし、３次元的な表示であってもよい。

本発明は、情報処理装置１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、情報処理装置１０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…情報提供システム、２０…プロジェクタ装置、４０…センサ装置、６０…サンプル、６１…タグ、７０…カード、７１…タグ、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…補助記憶装置、１０５…通信ＩＦ、１１…サンプル特定部、１２…サンプル位置特定部、１３…第１受付部、１４…第２受付部、１５…出力部、１５１…表現提示部、１５１１…記憶部、１５１２…表現生成部、１５２…情報提供部。

Claims (9)

1. ユーザによる画像又は音の指定を受け付ける第１受付部と、
   ユーザによって指定された画像又は音に対応する表現群を、当該ユーザに提示する表現提示部と、
   提示された前記表現群のうち少なくとも１以上の表現に対するユーザの選択を受け付ける第２受付部と、
   ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部と
   を備えることを特徴とする情報処理装置。
2. 前記表現提示部は、
   ユーザにより指定された画像又は音を象徴するオブジェクトがユーザに示されている位置に対応する表示エリアに、当該画像又は当該音に対応する表現群を表示する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記表現提示部は、ユーザにより指定された画像又は音に対応する表現を、当該ユーザの香り又は味に関する嗜好に応じた表示態様で表示する
   ことを特徴とする請求項２記載の情報処理装置。
4. 前記表現提示部は、ユーザにより指定された画像又は音に対応する表現を、当該表現の属性に応じた表示態様で表示する
   ことを特徴とする請求項２記載の情報処理装置。
5. 前記情報提供部は、
   ユーザにより選択された前記表現が提示されている位置と、ユーザにより選択された前記表現に応じた香り又は味の物体が存在する位置とを関連付ける表示を行う
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記情報提供部は、
   ユーザにより選択された前記表現と、ユーザにより選択された前記表現に応じた香り又は味の物体との関係性に応じた表示態様で前記表示を行う
   ことを特徴とする請求項５記載の情報処理装置。
7. 前記第２受付部が、提示された前記表現群のうち複数の表現に対するユーザの選択を受け付けた場合に、
   前記情報提供部は、選択された前記複数の表現に対する優先度をそれぞれ特定し、特定した優先度に応じた態様で、前記物体に関する情報をユーザに提供する
   ことを特徴とする請求項１〜６のいずれか1項に記載の情報処理装置。
8. コンピュータを、
   ユーザによる画像又は音の指定を受け付ける第１受付部と、
   ユーザによって指定された画像又は音に対応する表現群を、当該ユーザに提示する表現提示部と、
   提示された前記表現群のうち少なくとも１以上の表現に対するユーザの選択を受け付ける第２受付部と、
   ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部と
   して機能させるためのプログラム。
9. 操作装置と、
   表示装置と、
   前記操作装置を用いたユーザの操作による画像又は音の指定を受け付ける第１受付部と、ユーザによって指定された画像又は音に対応する表現群を、前記表示装置を制御して当該ユーザに提示する表現提示部と、提示された前記表現群のうち少なくとも１以上の表現に対する、前記操作装置を用いたユーザの選択を受け付ける第２受付部と、前記表示装置を制御して、ユーザにより選択された前記表現に応じた香り又は味の物体に関する情報をユーザに提供する情報提供部とを備える情報処理装置と
   を備えることを特徴とする情報処理システム。

Images