JP2016192118A - 情報処理システム、情報処理装置、および情報処理プログラム並びに情報処理方法 - Google Patents

Abstract

【課題】商品を構成する成分が人体に影響を及ぼすものであるか否かの判定を支援する情報処理システムを提供する。【解決手段】無線通信端末３００は、商品に付された標識を認識する撮像部３５６と、認識した標識をデコードするデコード部３６０と、ユーザによって登録される物質を記憶する第１の記憶部３０００と、デコードすることによって得られる標識の識別情報と、第１の記憶部に記憶した物質情報とを含む判定依頼要求を送信し、判定依頼要求に対する判定依頼応答を受信する送受信部３５２と、判定依頼応答に含まれる画像情報に基づいて、画像を表示する表示制御部３５８とを有する。【選択図】図４

Description

本発明は、情報処理システムに関する。

拡張現実(AR: Augmented Reality)技術を利用して、店舗内の商品の商品情報をリアルタイムに提供できる技術が知られている（例えば、特許文献１参照）。この技術によれば、撮像した画像に含まれる商品の位置に基づいて、取得した商品情報を現実空間に重畳して表示するための拡張現実画像を生成する。

食品などの商品の原材料情報などの成分情報を拡張現実技術によって提供する場合を考える。この場合、食品を購入する人は、食品に重畳して表示される原材料情報を参照し、購入するか否かを判断する必要がある。例えば、食品を購入する人が食物アレルギーを有する場合、該食品に重畳して表示される原材料情報を参照し、食物アレルギーの原因となる原材料が含まれるか否かを細心の注意を払って判定しなければならない。

食物アレルギーの原因となる原材料が含まれるか否かを判定することは、食品を購入する人にとっては、時間や労力を要し、とても大きな負荷となる。特に、商店、コンビニエンスストア、スーパー、ショッピングモール、デパートの食材売場などの小売店の調理食材において、その調理食材に食物アレルギーの原因となる原材料が含まれるか否かを判定することは非常に困難である。

そこで、本発明は、商品を構成する成分が人体に影響を及ぼすものであるか否かの判定を支援することを目的とする。

開示の一実施の形態の情報処理システムは、
通信デバイスと、第１のサーバと、第２のサーバとを有する情報処理システムであって、
前記通信デバイスは、
商品に付された標識を認識する撮像部と、
該撮像部によって認識した標識をデコードするデコード部と、
ユーザによって登録される物質を記憶する第１の記憶部と、
前記デコード部によってデコードすることによって得られる前記標識の識別情報と、前記第１の記憶部に記憶した物質情報とを含む判定依頼要求を送信し、該判定依頼要求に対する判定依頼応答を受信する送受信部と、
該判定依頼応答に含まれる画像情報に基づいて、画像を表示する表示制御部と
を有し、
前記第１のサーバは、
商品に付される標識の識別情報と、該商品の成分情報とを関連付けて記憶する第２の記憶部と、
前記判定依頼要求に含まれる標識の識別情報に基づいて、前記第２の記憶部から前記商品の成分情報を取得する取得部と、
該取得部によって取得した前記商品の成分情報に前記判定依頼要求に含まれる前記物質情報に一致するものがあるか否かを判定する判定部と、
該判定部による判定結果を前記第２のサーバに送信する送信部と
を有し、
前記第２のサーバは、
前記第１のサーバによって送信される判定結果に応じて、判定結果を表す画像を生成する画像生成部と、
前記第１のサーバによって送信される判定結果を受信するとともに、前記画像生成部によって生成した画像の画像情報を含む前記判定依頼応答を前記通信デバイスに送信する第２の送受信部と
を有する。

開示の実施の形態によれば、商品を構成する成分が人体に影響を及ぼすものであるか否かの判定を支援することができる。

一実施の形態に係る情報処理システムの構成例を示す図である。 一実施の形態に係る第１のサーバ、および第２のサーバのハードウェア構成例を示す図である。 一実施の形態に係る無線通信端末のハードウェア構成例を示す図である。 一実施の形態に係る情報処理システムの機能ブロック図である。 一実施の形態に係る情報処理システムの動作を示すシーケンスチャートである。 初期登録ガイドの一例を示す図である。 重畳画像の一例を示す図である。

次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。

＜情報処理システム＞
図１は、本実施の形態に係る情報処理システムの構成例を示す。情報処理システムは、第１のサーバ１００、第２のサーバ２００、および無線通信端末３００を備える。

第１のサーバ１００は、ＰＣなどの端末装置を適用でき、無線通信端末３００などの外部によって送信される、食品に貼付されたラベルの撮像画像、該ラベルの撮像画像から認識される拡張現実(AR: Augmented Reality)マーカ（以下、「ＡＲマーカ」という）のマーカＩＤなどの標識情報、および禁止物質を示す情報（以下、「禁止物質情報」という）を受信する。ここで、マーカＩＤは、ラベルの撮像画像に対して、付加情報を表示する位置を指定するための標識である。また、禁止物質情報とは、ユーザにとって食物アレルギーの原因となる原材料などの人体に影響を及ぼすものを示す情報である。

第１のサーバ１００は、マーカＩＤと、該マーカＩＤを取得できるＡＲマーカが貼付された食品に含まれる原材料、および原材料のうち食物アレルギーの原因となるものを関連付けて記憶する。第１のサーバ１００は、マーカＩＤに基づいて、食物アレルギーの原因となる原材料を示す情報（以下、「アレルギー情報」という）を取得し、該アレルギー情報に、禁止物質情報と一致するものがあるか否かを判断する。

第１のサーバ１００は、該アレルギー情報に禁止物質情報と一致するものがある場合、該禁止物質情報とともに送信されたマーカＩＤを取得できるＡＲマーカが貼付された食品に禁止物質となる原材料が含まれると判断する。また、第１のサーバ１００は、該アレルギー情報に禁止物質情報と一致するものがない場合、該禁止物質情報とともに送信されたマーカＩＤを取得できるＡＲマーカが貼付された食品に禁止物質となる原材料が含まれないと判断する。第１のサーバ１００は、ラベルの撮像画像とともに、食品に禁止物質となる原材料が含まれるか否かを表す情報（以下、「禁止物質含有情報」という）を第２のサーバ２００に送信する。

第２のサーバ２００は、ＰＣなどの端末装置を適用できる。第２のサーバ２００は、第１のサーバ１００によって送信される、禁止物質含有情報が禁止物質情報が含まれるか否かのいずれかを示すかに基づいて、無線通信端末３００によって撮像されたラベルの撮像画像に重畳する拡張現実画像を生成する。第２のサーバ２００は、無線通信端末３００によって撮像されたラベルの撮像画像に拡張現実画像を重畳した画像（以下、「重畳画像」という）を無線通信端末３００に送信する。

無線通信端末３００は、スマートフォン、タブレット端末、ウェアラブルデバイス、通信機能を有するデジタルカメラなどを適用できる。ウェアラブルデバイスには、腕時計型のものやヘッドマウントディスプレイ、ＡＲメガネ、スマートグラス等が含まれる。無線通信端末３００は、禁止物質情報を記憶する。ここで、禁止物質情報とは、上述したように、ユーザにとって食物アレルギーの原因となる原材料などの人体に影響を及ぼすものを示す情報であり、ユーザによって予め設定される。

無線通信端末３００は、食品に貼付されたラベルを撮影する操作が行われることによって、撮影範囲に捉えられた画像からＡＲマーカを認識し、ＡＲマーカ部分の画像を取得する。無線通信端末３００は、ＡＲマーカ部分の画像をデコードすることによってマーカＩＤを取得し、該マーカＩＤとともに、禁止物質情報を第１のサーバ１００に送信する。無線通信端末３００は、第２のサーバ２００によって送信される重畳画像を受信し、該重畳画像を表示する。

無線アクセスポイント４００は、第１のサーバ１００および第２のサーバ２００と、無線通信端末３００との間の通信経路を構築する。無線アクセスポイント４００は、イーサネット（登録商標）などのＬＡＮ(Local Area Network)などの通信ネットワーク５０と接続されるとともに、ＩＥＥＥ８０２．１１などの無線ＬＡＮの規格にしたがって、無線通信端末３００と通信を行う。

＜＜実施の形態のハードウェア構成＞＞
次に、本実施の形態のハードウェア構成を説明する。

＜第１のサーバ＞
図２は、本実施の形態に係る第１のサーバのハードウェア構成図である。第１のサーバ１００は、第１のサーバ１００全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ(Read Only Memory)１０２、およびＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３を備えている。さらに、第１のサーバ１００は、第１のサーバ用プログラム等の各種データを記憶するＨＤ１０４、およびＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)１０５を備えている。さらに、第１のサーバ１００は、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ１０８、および通信ネットワーク５０を利用してデータ伝送をするためのネットワークＩ／Ｆ(Interface)１０９を備えている。さらに、第１のサーバ１００は、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)１１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ１１４、および、上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、上記第１のサーバ用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記第１のサーバ用プログラムは、ＨＤ１０４ではなくＲＯＭ１０２に記憶されるようにしてもよい。ここで、第１のサーバ用プログラムには、食品に食物アレルギー物質などの禁止物質が含まれるか否かを判定する禁止物質含有判定アプリケーション（第１のサーバ用）が含まれる。

また、第２のサーバ２００は、上記第１のサーバと同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ１０４には、第２のサーバ２００を制御するための第２のサーバ用プログラムが記録されている。この場合も、第２のサーバ用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記第２のサーバ用プログラムは、ＨＤ１０４ではなくＲＯＭ１０２に記憶されるようにしてもよい。ここで、第２のサーバ用プログラムには、食品に食物アレルギー物質などの禁止物質が含まれるか否かを判定する禁止物質含有判定アプリケーション（第２のサーバ用）が含まれる。

＜無線通信端末３００＞
図３は、本発明の本実施の形態に係る無線通信端末３００のハードウェア構成図である。図３に示されているように、本実施の形態の無線通信端末３００は、無線通信端末３００全体の動作を制御するＣＰＵ３０１、およびＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶したＲＯＭ３０２を備えている。さらに、無線通信端末３００は、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３、無線通信端末用プログラム、画像データ、および音声データ等の各種データを記憶するフラッシュメモリ３０４、およびＣＰＵ３０１の制御にしたがってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ(Solid State Drive)３０５を備えている。さらに、無線通信端末３００は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０７、無線通信端末３００の宛先を選択する場合などに操作される操作ボタン３０８、無線通信端末３００の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ３０９、および通信ネットワーク５０を利用してデータ伝送をするためのネットワークＩ／Ｆ３１１を備えている。

また、無線通信端末３００は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ３１２、このカメラ３１２の駆動を制御する撮像素子Ｉ／Ｆ３１３、音声を入力する内蔵型のマイク３１４、音声を出力する内蔵型のスピーカ３１５、ＣＰＵ３０１の制御に従ってマイク３１４およびスピーカ３１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ３１６、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ３１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ３１８、および上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ(Charge Coupled Device)等が用いられる。

外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、および外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。

なお、記録メディア３０６は、無線通信端末３００に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

更に、上記無線通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア３０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記無線通信端末用プログラムは、フラッシュメモリ３０４ではなくＲＯＭ３０２に記憶させるようにしてもよい。ここで、無線通信端末用プログラムには、食品に食物アレルギー物質などの禁止物質が含まれるか否かを判定する禁止物質含有判定アプリケーション（無線通信端末用）が含まれる。

＜実施の形態の機能構成＞
次に、本実施の形態の機能構成について説明する。図４は、本実施の形態の情報処理システムを構成する第１のサーバ１００、第２のサーバ２００、および無線通信端末３００の機能ブロック図である。図４では、第１のサーバ１００、第２のサーバ２００、および無線通信端末３００が、通信ネットワーク５０を介してデータ通信することができるように接続されている。

＜第１のサーバの機能構成＞
第１のサーバ１００は、送受信部１５２、アレルギー情報取得部１５４、禁止物質情報判定部１５６、および記憶・読出部１５８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された第１のサーバ用プログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。また、第１のサーバ１００は、図２に示されているＲＯＭ１０２、およびＨＤ１０４の両方又は一方によって構築される記憶部１０００を有している。

（食品情報管理テーブル）
記憶部１０００には、表１に示されているような食品情報管理テーブルによって構成されている食品情報管理ＤＢ１００１が構築されている。

この食品情報管理テーブルには、食品に貼付されるラベルに含まれるＡＲマーカのマーカＩＤに対して、食品名、および食品の識別情報である食品ＩＤがそれぞれが関連付けられて管理される。例えば、表１に示されている食品情報管理テーブルにおいて、マーカＩＤ「M0001」の食品名は「AAAA」で、食品ＩＤは「S0001」であることが示されている。

（原材料情報管理テーブル）
記憶部１０００には、表２、表３に示されているような原材料情報管理テーブルによって構成されている原材料情報管理ＤＢ１００２が構築されている。

この原材料情報管理テーブルには、食品ＩＤに対して、原材料名、および原材料の識別情報である原材料ＩＤがそれぞれが関連付けられて管理される。例えば、表２に示されている原材料情報管理テーブル（その１）において、食品ＩＤ「S0001」の原材料名は「ピーナッツ」、「食物油脂」、「大豆」、「食塩」、「米」などである。また、原材料名「ピーナッツ」の原材料ＩＤは「g0001」であり、原材料名「食物油脂」の原材料ＩＤは「g0002」であり、原材料名「大豆」の原材料ＩＤは「g0003」であり、原材料名「食塩」の原材料ＩＤは「g0004」であり、原材料名「米」の原材料ＩＤは「g0005」である。また、例えば、表３に示されている原材料情報管理テーブル（その２）において、食品ＩＤ「S0002」の原材料名は「米」、「食物油脂」、「でん粉」、「砂糖」などである。また、原材料名「米」の原材料ＩＤは「g0005」であり、原材料名「食物油脂」の原材料ＩＤは「g0002」であり、原材料名「でん粉」の原材料ＩＤは「g0006」であり、原材料名「砂糖」の原材料ＩＤは「g0009」である。

（アレルギー情報管理テーブル）
記憶部１０００には、表４、表５に示されているようなアレルギー情報管理テーブルによって構成されているアレルギー情報管理ＤＢ１００３が構築されている。

このアレルギー情報管理テーブルには、食品ＩＤの各々に対して、各食品ＩＤに関連付けられた食品に含まれるアレルギーのアレルギー名、およびアレルギーの識別情報であるアレルギーＩＤがそれぞれが関連付けられて管理される。例えば、表４に示されているアレルギーＩＤ管理テーブル（その１）において、食品ＩＤ「S0001」に関連付けられた食品に含まれるアレルギーのアレルギー名は「卵」、「乳」、「小麦」、「えび」などである。また、アレルギー名「卵」のアレルギーＩＤは「ａ0001」であり、アレルギー名「乳」のアレルギーＩＤは「a0002」であり、アレルギー名「小麦」のアレルギーＩＤは「a0003」であり、アレルギー名「えび」のアレルギーＩＤは「a0004」である。

また、例えば、表５に示されているアレルギーＩＤ管理テーブル（その２）において、食品ＩＤ「S0002」に関連付けられた食品に含まれるアレルギーのアレルギー名は「卵」、「乳」、「小麦」、「えび」などである。また、アレルギー名「卵」のアレルギーＩＤは「a0001」であり、アレルギー名「乳」のアレルギーＩＤは「a0002」であり、アレルギー名「小麦」のアレルギーＩＤは「a0003」であり、アレルギー名「えび」のアレルギーＩＤは「a0004」である。

（第１のサーバの各機能構成）
第１のサーバ１００の各機能構成について詳細に説明する。なお、以下では、第１のサーバ１００の各機能構成を説明するにあたって、図２に示されている各構成要素のうち、第１のサーバ１００の各機能構成を実現させるための主な構成要素との関係も説明する。

図４に示されている第１のサーバ１００の送受信部１５２は、図２に示されているＣＰＵ１０１からの命令、および図２に示されているネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク５０を介して第２のサーバ２００、又は無線通信端末３００と各種データ（または情報）の送受信を行う。例えば、送受信部１５２は、第３世代携帯電話(3G)、第４世代携帯電話(4G)などの携帯電話の通信規格、ＷｉＦｉ(Wireless Fidelity)などの無線ＬＡＮ(Local Area Network)の規格にしたがって通信ネットワーク５０を介して無線によって第２のサーバ２００、又は無線通信端末３００と各種データ（または情報）の送受信を行うようにしてもよい。また、送受信部１５２は、通信ネットワーク５０を介して有線によって第２のサーバ２００、又は無線通信端末３００と各種データ（または情報）の送受信を行うようにしてもよい。

アレルギー情報取得部１５４は、図２に示されているＣＰＵ１０１からの命令によって実現され、無線通信端末３００によって送信されるマーカＩＤに基づいて、アレルギー情報を取得する。アレルギー情報を取得する際に、アレルギー情報取得部１５４は、食品情報管理ＤＢ１００１に格納される食品情報管理テーブルを参照して、マーカＩＤに関連付けられた食品ＩＤを取得する。さらに、アレルギー情報取得部１５４は、原材料情報管理ＤＢ１００２に格納される原材料情報管理テーブルを参照して、食品ＩＤに関連付けられた原材料ＩＤを取得する。さらに、アレルギー情報取得部１５４は、アレルギー情報管理ＤＢ１００３に格納されるアレルギー情報管理テーブルを参照して、原材料ＩＤに関連付けられたアレルギーＩＤを取得する。アレルギー情報取得部１５４は、アレルギーＩＤを禁止物質情報判定部１５６に入力する。

禁止物質情報判定部１５６は、図２に示されているＣＰＵ１０１からの命令によって実現され、アレルギー情報取得部１５４によって入力されたアレルギーＩＤに、無線通信端末３００によって送信される禁止物質情報と一致するものがあるか否かを判定する。禁止物質情報判定部１５６は、アレルギーＩＤに禁止物質情報と一致するものがある場合、該禁止物質情報とともに送信されたマーカＩＤを取得できるＡＲマーカが貼付された食品に禁止物質となる原材料が含まれると判断する。また、禁止物質情報判定部１５６は、アレルギーＩＤに禁止物質情報と一致するものがない場合、禁止物質情報とともに送信されたマーカＩＤを取得できるＡＲマーカが貼付された食品に禁止物質となる原材料が含まれないと判断する。

禁止物質情報判定部１５６は、ラベルの撮像画像とともに、食品に禁止物質となる原材料が含まれるか否かを表す禁止物質含有情報を送受信部１５２から第2のサーバ２００に送信する。

記憶・読出部１５８は、図２に示されているＣＰＵ１０１からの命令、および図２に示されているＨＤＤ１０５によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする処理を行う。

＜第２のサーバの機能構成＞
第２のサーバ２００は、送受信部２５２、拡張現実画像生成部２５４、および重畳画像生成部２５６を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された第２のサーバ用プログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は機能する手段である。また、第２のサーバ２００は、図２に示されているＲＡＭ１０３、およびＨＤ１０４の両方又は一方によって構築される記憶部１０００を有している。

（第２のサーバの各機能構成）
次に、第２のサーバ２００の各機能構成について詳細に説明する。なお、以下では、第２のサーバ２００の各機能構成を説明するにあたって、図２に示されている各構成要素のうち、第２のサーバ２００の各機能構成を実現させるための主な構成要素との関係も説明する。

図４に示されている第２のサーバ２００の送受信部２５２は、図２に示されているＣＰＵ１０１からの命令、および図２に示されているネットワークＩ／Ｆ１０９によって実現され、通信ネットワーク５０を介して第１のサーバ１００、又は無線通信端末３００と各種データ（または情報）の送受信を行う。例えば、送受信部２５２は、3G、4Gなどの携帯電話の通信規格、ＷｉＦｉなどの無線ＬＡＮの規格にしたがって通信ネットワーク５０を介して無線によって第１のサーバ１００、又は無線通信端末３００と各種データ（または情報）の送受信を行うようにしてもよい。また、送受信部２５２は、通信ネットワーク５０を介して有線によって第１のサーバ１００、又は無線通信端末３００と各種データ（または情報）の送受信を行うようにしてもよい。

拡張現実画像生成部２５４は、図２に示されているＣＰＵ１０１からの命令によって実現され、第１のサーバ１００によって送信される禁止物質含有情報に基づいて、食品の画像に重畳する拡張現実画像を生成する。拡張現実画像生成部２５４は、拡張現実画像を重畳画像生成部２５６に入力する。例えば、拡張現実画像生成部２５４は、禁止物質含有情報が禁止物質を含有することを示す場合、禁止物質を含有することを直感的に理解させることができる拡張現実画像を生成する。具体的には、拡張現実画像生成部２５４は、禁止物質を含有することを直感的に理解させることができる拡張現実画像として「×」、「ＮＧ」などの拡張現実画像を生成できる。また、例えば、拡張現実画像生成部２５４は、禁止物質含有情報が禁止物質を含有しないことを示す場合、禁止物質を含有しないことを直感的に理解させることができる拡張現実画像を生成する。具体的には、拡張現実画像生成部２５４は、禁止物質を含有しないことを直感的に理解させることができる拡張現実画像として「○」、「ＯＫ」などの拡張現実画像を生成できる。拡張現実画像生成部２５４は、ユーザの使用する言語や、国などに応じて、禁止物質を含有するかしないかを直感的に理解させることができる拡張現実画像を変更するようにしてもよい。

重畳画像生成部２５６は、図２に示されているＣＰＵ１０１からの命令によって実現され、拡張現実画像生成部２５４によって入力される拡張現実画像を、送受信部２５２によって入力されるラベルの撮像画像に重畳することによって、重畳画像を生成する。重畳画像生成部２５６は、重畳画像を送受信部２５２から無線通信端末３００に送信する。

＜無線通信端末の機能構成＞
無線通信端末３００は、送受信部３５２、操作入力受付部３５４、撮像部３５６、表示制御部３５８、マーカデコード部３６０、食物アレルギー含有判定依頼部３６２、および記憶・読出部３６４を有している。これら各部は、図３に示されている各構成要素のいずれかが、フラッシュメモリ３０４からＲＡＭ３０３上に展開された無線通信端末用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は機能する手段である。また、無線通信端末３００は、図３に示されているフラッシュメモリ３０４によって構築される記憶部３０００を有している。

（禁止物質情報管理テーブル）
記憶部３０００には、表６に示されているような禁止物質情報管理テーブルによって構成されている禁止物質情報管理ＤＢ３００１が構築されている。

この禁止物質情報管理テーブルには、アレルギー名、およびアレルギーの識別情報であるアレルギーＩＤに対して、ユーザにとって食物アレルギーの原因となる原材料などの人体に影響を及ぼすものであるか否かを示す禁止状況がそれぞれが関連付けられて管理される。例えば、表６に示されている禁止物質情報管理テーブルにおいて、アレルギー名「卵」のアレルギーＩＤは「a0001」で、禁止状況は「許可」でありユーザにとって食物アレルギーの原因となる原材料などの人体に影響を及ぼすものでないことが示されている。

（無線通信端末の各機能構成）
次に、無線通信端末３００の各機能構成について詳細に説明する。なお、以下では、無線通信端末３００の各機能構成を説明するにあたって、図３に示されている各構成要素のうち、無線通信端末３００の各機能構成を実現させるための主な構成要素との関係も説明する。

図４に示されている無線通信端末３００の送受信部３５２は、図３に示されているＣＰＵ３０１からの命令、および図３に示されているネットワークＩ／Ｆ３１１によって実現され、通信ネットワーク５０を介して第１のサーバ１００、又は第２のサーバ２００と各種データ（または情報）の送受信を行う。例えば、送受信部３５２は、3G、4Gなどの携帯電話の通信規格、ＷｉＦｉなどの無線ＬＡＮの規格にしたがって通信ネットワーク５０を介して無線によって第１のサーバ１００、又は第２のサーバ２００と各種データ（または情報）の送受信を行うようにしてもよい。また、送受信部３５２は、通信ネットワーク５０を介して有線によって第１のサーバ１００、又は第２のサーバ２００と各種データ（または情報）の送受信を行うようにしてもよい。

操作入力受付部３５４は、図３に示されているＣＰＵ３０１からの命令、並びに図３に示されている操作ボタン３０８および電源スイッチ３０９によって実現され、ユーザによる各種入力を受け付ける。例えば、操作入力受付部３５４は、禁止物質含有判定アプリケーションをダウンロードする操作や、インストールする操作を受け付ける。さらに、操作入力受付部３５４は、禁止物質含有判定アプリケーションを起動する操作を受け付ける。また、例えば、操作入力受付部３５４は、禁止物質情報を登録する操作を受け付ける。

撮像部３５６は、図３に示されているＣＰＵ３０１からの命令、並びに図３に示されているカメラ３１２および撮像素子Ｉ／Ｆ３１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。撮像部３５６は、禁止物質含有判定アプリケーションを起動することによって動作を開始し、食品に貼付されたラベルを撮影する操作が行われた際に、撮影範囲に捉えられた画像からＡＲマーカを認識し、ＡＲマーカ部分の画像を取得する。撮像部３５６は、ＡＲマーカ部分の画像をマーカデコード部３６０に入力する。

表示制御部３５８は、図３に示されているＣＰＵ３０１からの命令、および図３に示されているディスプレイ３１７によって実現される。表示制御部３５８は、撮像部３５６によって撮像を行う際に食品に貼付されたラベルを表示したり、第２のサーバ２００によって送信される重畳画像ををディスプレイ３１７に表示したりする制御を行う。

マーカデコード部３６０は、図３に示されているＣＰＵ３０１からの命令によって実現される。マーカデコード部３６０は、撮像部３５６によって入力されるＡＲマーカ部分の画像からＡＲマーカを認識し、該ＡＲマーカをデコードすることによってマーカＩＤを取得する。

食物アレルギー含有判定依頼部３６２は、図３に示されているＣＰＵ３０１からの命令によって実現される。食物アレルギー含有判定依頼部３６２は、ユーザが操作ボタン３０８を操作することによって操作入力受付部３５４によって受け付けられる禁止物質含有判定アプリケーションの起動要求にしたがって、禁止物質含有判定アプリケーションが起動された後、食物アレルギー含有判定を要求する。具体的には、食物アレルギー含有判定依頼部３６２は、撮像部３５６からラベルの撮像画像を取得し、マーカデコード部３６０からマーカＩＤを取得する。さらに、食物アレルギー含有判定依頼部３６２は、記憶・読出部３６４に、記憶部３０００の禁止物質情報管理部ＤＢ３００１に格納されている禁止物質情報管理テーブルを読み出させることによって禁止物質情報を取得する。食物アレルギー含有判定依頼部３６２は、ラベルの撮像画像、マーカＩＤ、および禁止物質情報を第１のサーバ１００に送信することによってラベルが貼付された食品に禁止物質が含有されているか否かの判定を依頼する。食物アレルギー含有判定依頼部３６２は、該依頼の応答として第２のサーバ２００によって送信される重畳画像を取得し、表示制御部３５８に表示させる。

＜情報処理システムの動作＞
図５は、本実施の形態に係る情報処理システムの動作を示す。

ユーザが無線通信端末３００の操作ボタン３０８を操作することによって禁止物質含有判定アプリケーション（アプリ）を起動すると、図４に示されている操作入力受付部３５４は、食物アレルギー含有判定の要求を受け付ける（ステップＳ５０２）。

操作入力受付部３５４は、食物アレルギー含有判定の要求を受け付けると、食物アレルギー含有判定依頼部３６２に、食物アレルギー含有判定を要求する。食物アレルギー含有判定依頼部３６２は、操作入力受付部３５４によって要求された食物アレルギー含有判定の要求に応じて、撮像部３５６にカメラ３１２を起動させる（ステップＳ５０４）。

食物アレルギー含有判定依頼部３６２は、アプリの起動が初期起動であるか否かを判断する（ステップＳ５０６）。

初期起動であると判断した場合（ステップＳ５０６：ＹＥＳ）、食物アレルギー含有判定依頼部３６２は、表示制御部３５８に初期登録ガイドを表示させる（ステップＳ５０８）。

図６は、初期登録ガイドの一例を示し、初期登録ガイドには言語を設定する言語設定欄が設けられる。言語設定欄には、日本語、英語、中国語、韓国語、フランス語などの複数の言語とともに、言語の各々にラジオボタンが関連付けられる。いずれかのラジオボタンを選択することによって、使用する言語を設定できる。また、初期登録ガイドには、アレルゲンなどの禁止物質情報を設定するアレルゲン設定欄が設けられる。アレルゲン設定欄には、穀物・ごま、肉・魚介・卵、野菜・果物などのカテゴリ毎に、各カテゴリに属するアレルゲンとともに、アレルゲンの各々にラジオボタンが関連付けられる。ラジオボタンを選択することによって、禁止物質を設定できる。例えば、穀物・ごまに属するアレルゲンとして、小麦、そば、ごま、大豆、米などが用意され、肉・魚介・卵に属するアレルゲンとして、魚などが用意される。さらに、初期登録ガイドにおいて、禁止物質の許容量を設定できるようにしてもよい。これによって、禁止物質の含有量が禁止物質の許容量以上であるか否かに基づいて、食品に禁止物質となる原材料が含まれるか否かを判断できる。また、禁止物質の摂取量が許容量に近づいた場合に、ユーザに警告することができる。さらに、初期登録ガイドにおいて、個人的または家族的に食することを希望しない禁止物質を設定できるようにしてもよい。これによって、ハラールに対応できる。

さらに、図６に示される例では、痛風、高血圧などのユーザの状態に応じて禁止物質を設定できる「病状別簡易設定」ボタンが設けられる。「病状別簡易設定」ボタンが押し下げられることによって、痛風、高血圧などのユーザの状態とともに、ユーザの状態の各々について、禁止物質の候補や、該禁止物質の許容量を設定する欄が表示される。ユーザは、禁止物質の候補から禁止物質とすべきものや、その許容量を設定できる。これによって、ユーザの状態に応じて、アレルゲンや、禁止物質の許容量を設定できる。

初期起動でないと判断した場合（ステップＳ５０６：ＮＯ）、食物アレルギー含有判定依頼部３６２は、表示制御部３５８に初期登録ガイドを表示させるか否かを判断する（ステップＳ５１０）。

ステップＳ５０８において表示制御部３５８に初期登録ガイドを表示させた後、またはステップＳ５１０において表示制御部３５８に初期登録ガイドを表示させると判断した場合、食物アレルギー含有判定依頼部３６２は、ユーザに禁止物質を登録させる（ステップＳ５１２）。食物アレルギー含有判定依頼部３６２は、記憶・読出部３６４に禁止物質情報管理ＤＢ３００１の禁止物質管理テーブルにユーザによって登録された禁止物質を格納させる。

無線通信端末３００の撮像部３５６は、ユーザによって食品に貼付されたラベルを被写体とするようにカメラ３１２が向けられることによって、撮影範囲に捉えられた画像からＡＲマーカを認識し、マーカデコード部３６０は該ＡＲマーカのマーカＩＤを取得する（ステップＳ５１４）。

無線通信端末３００の食物アレルギー含有判定依頼部３６２は、記憶・読出部３６４に記憶部３０００の禁止物質情報管理ＤＢ３００１の禁止物質情報管理テーブルに格納された禁止物質情報を取得させる。さらに、食物アレルギー含有判定依頼部３６２は、禁止物質情報、ラベルの撮像画像、およびマーカＩＤを送受信部３５２から第１のサーバ１００に送信させる（ステップＳ５１６）。

第１のサーバ１００の送受信部１５２は、無線通信端末３００によって送信される禁止物質情報、ラベルの撮像画像、およびマーカＩＤを受信する。アレルギー情報取得部１５４は、マーカＩＤに基づいて、アレルギー情報を取得する（ステップＳ５１８）。

第１のサーバ１００の禁止物質情報判定部１５６は、送受信部１５２によって受信した禁止物質情報、およびアレルギー情報取得部１５４によって取得したアレルギー情報に基づいて、アレルギー情報に禁止物質情報と一致するものがあるか否かを判断する（ステップＳ５２０）。

第１のサーバ１００は、ラベルの撮像画像とともに、禁止物質含有情報を第２のサーバ２００に送信する（ステップＳ５２２）。

第２のサーバ２００の送受信部２５２は、第１のサーバ１００によって送信されるラベルの撮像画像、および禁止物質含有情報を受信する。拡張現実画像生成部２５４は、禁止物質含有情報が、食品に禁止物質となる原材料が含まれることを示すか否かを判断する（ステップＳ５２４）。

禁止物質含有情報が食品に禁止物質となる原材料が含まれないことを示す場合（ステップＳ５２４：ＮＯ）、拡張現実画像生成部２５４は、禁止物質となる原材料が含まれないことを示す画像を生成する（ステップＳ５２６）。

禁止物質含有情報が食品に禁止物質となる原材料が含まれることを示す場合（ステップＳ５２４：ＹＥＳ）、拡張現実画像生成部２５４は、禁止物質となる原材料が含まれることを示す画像を生成する（ステップＳ５２８）。

重畳画像生成部２５６は、ステップＳ５２６において生成した禁止物質となる原材料が含まれないことを示す画像またはステップＳ５２８において生成した禁止物質となる原材料が含まれることを示す画像をラベルの撮像画像に重畳することによって重畳画像を生成する（ステップＳ５３０）。

第２のサーバ２００の送受信部２５２は、重畳画像を無線通信端末３００に送信する（ステップＳ５３０）。つまり、送受信部２５２は、無線通信端末３００によって送信されるラベルの撮像画像に禁止物質となる原材料が含まれないことを示す画像または禁止物質となる原材料が含まれることを示す画像を重畳した重畳画像を無線通信端末３００に送信する。これによって、第２のサーバ２００から無線通信端末３００に禁止物質となる原材料が含まれないことを示す情報または禁止物質となる原材料が含まれることを示す情報を送信する場合と比較して、信頼性を向上させることができる。

無線通信端末３００の送受信部３５２は、第２のサーバ２００によって送信された重畳画像を受信すると、表示制御部３５８は、該重畳画像をディスプレイ３１７に表示するように制御する（ステップＳ５３４）。

図７は、重畳画像の一例を示す。図７に示される例では、ラベルの撮像画像に禁止物質となる原材料が含まれることを示す画像（「ＮＧ」）が重畳されたものが示される。この禁止物質となる原材料が含まれることを示す画像は、ステップ５０８において登録される言語にしたがって作成される。さらに、図７に示される例では、商品名、原材料、禁止物質となる原材料、この食品と同じ工場の製造ラインで製造されている食品の原材料のうち、禁止物質となるものについても表示される。これによって、食品の流通経路を生産段階から最終消費段階まで追跡したトレーサビリティを使用して、禁止物質となる原材料が含まれるか否かを通知できる。

図５に戻り説明を続ける。ユーザが無線通信端末３００の操作ボタン３０８を操作することによって終了する操作が行われたか否かを判断する（ステップＳ５３６）。終了する操作が行われた場合（ステップＳ５３６：ＹＥＳ）、終了する。終了する操作が行われない場合（ステップＳ５３６：ＮＯ）、ステップＳ５１０に戻る。

本実施の形態に係る情報処理システムにおいて、無線通信端末３００に、選択した食品に貼付されたＡＲマーカのマーカＩＤの履歴を記憶しておくようにしてもよい。そして、ユーザが同じマーカＩＤのＡＲマーカが貼付された食品の食物アレルギー含有判定を依頼し、且つ該マーカＩＤがマーカＩＤの履歴に含まれる場合には、無線通信端末３００は、第１のサーバ１００に禁止物質情報、ラベルの撮像画像、およびマーカＩＤを送信することなく、以前に選択されたことを表示するようにしてもよい。これによって、ユーザに早く通知できるとともに、情報処理システムの処理負荷を低減できる。

本実施の形態に係る情報処理システムにおいて、無線通信端末３００に、選択した食品について禁止物質の成分量を累積するようにしてもよい。これによって、無線通信端末３００は、禁止物質の成分量の累積値が許容量に近づいた場合に、ユーザに警告することができる。

本実施の形態に係る情報処理システムによれば、食品ラベルの撮像画像に禁止物質となる原材料が含まれるか否かを示す画像が重畳されたものが表示される。これによって、食品を購入する人に直感的に禁止物質となる原材料が含まれるか否かを知らせることができるため、その購入を支援することができる。つまり、食物アレルギーを有する購入者は、食物アレルギーを起こすことなどによって禁止物質となる原材料が含まれる食品を直感的に知ることができる。これによって、購買プロセスを大幅に効率化でき、顧客の囲い込みや、食品の差別化を図ることができる。また、ユーザは、食品を安心して購入することができる。

さらに、多国語に対応しているため、外国人に対しても、食物アレルギーを起こすことなどによって禁止物質となる原材料が含まれる食品を直感的に知らせることができる。

＜変形例（その１）＞
本変形例に係る情報処理システムは、上述した実施の形態を適用できる。

本変形例に係る情報処理システムでは、無線通信端末３００の撮像部３５６は、図３に示されているＣＰＵ３０１からの命令、並びに図３に示されているカメラ３１２および撮像素子Ｉ／Ｆ３１３によって実現される。撮像部３５６は、被写体を撮像して、この撮像して得た画像データを出力する際に複数の被写体を撮像して、これらの撮像して得た複数の画像データを出力する。この複数の画像データには、撮影範囲における座標情報が含まれる。撮像部３５６は、禁止物質含有判定アプリケーションを起動することによって動作を開始し、食品に貼付されたラベルを撮影する操作が行われた際に、撮影範囲に捉えられた複数の画像の各々からＡＲマーカを認識し、ＡＲマーカ部分の画像を取得する。撮像部３５６は、ＡＲマーカ部分の画像をマーカデコード部３６０に入力する。

表示制御部３５８は、図３に示されているＣＰＵ３０１からの命令、および図３に示されているディスプレイ３１７によって実現される。表示制御部３５８は、撮像部３５６によって撮像を行う際に複数の食品の各々に貼付されたラベルを表示したり、第２のサーバ２００によって送信される複数の重畳画像を座標情報にしたがってディスプレイ３１７に表示したりする制御を行う。

食物アレルギー含有判定依頼部３６２は、図３に示されているＣＰＵ３０１からの命令によって実現される。食物アレルギー含有判定依頼部３６２は、ユーザが操作ボタン３０８を操作することによって操作入力受付部３５４によって受け付けられる禁止物質含有判定アプリケーションの起動要求にしたがって、禁止物質含有判定アプリケーションが起動された後、食物アレルギー含有判定を要求する。具体的には、食物アレルギー含有判定依頼部３６２は、撮像部３５６から複数のラベルの撮像画像を取得し、マーカデコード部３６０から複数のマーカＩＤを取得する。さらに、食物アレルギー含有判定依頼部３６２は、記憶・読出部３６４に、記憶部３０００の禁止物質情報管理部ＤＢ３００１に格納されている禁止物質情報管理テーブルを読み出させることによって禁止物質情報を取得する。食物アレルギー含有判定依頼部３６２は、複数のラベルの撮像画像、複数のマーカＩＤ、および禁止物質情報を第１のサーバ１００に送信することによってラベルが貼付された食品に禁止物質が含有されているか否かの判定を依頼する。ここで、複数のラベルの撮像画像の各々に、ラベルのマーカのマーカＩＤが関連付けられる。

本変形例によれば、複数の食品の各々について、食品ラベルの撮像画像に禁止物質となる原材料が含まれるか否かを示す画像が重畳されたものを一度に表示できる。これによって、ユーザは、食品に近づくことなく、離れた位置から複数の食品の各々について禁止物質となる原材料が含まれるか否かを直感的に知ることができる。

＜変形例（その２）＞
本変形例に係る情報処理システムは、上述した実施の形態を適用できる。ただし、図４において、第２のサーバ２００の重畳画像生成部２５６は省略される。

本変形例に係る情報処理システムでは、無線通信端末３００の食物アレルギー含有判定依頼部３６２は、図３に示されているＣＰＵ３０１からの命令によって実現される。食物アレルギー含有判定依頼部３６２は、ユーザが操作ボタン３０８を操作することによって操作入力受付部３５４によって受け付けられる禁止物質含有判定アプリケーションの起動要求にしたがって、禁止物質含有判定アプリケーションが起動された後、食物アレルギー含有判定を要求する。具体的には、食物アレルギー含有判定依頼部３６２は、マーカデコード部３６０からマーカＩＤを取得する。さらに、食物アレルギー含有判定依頼部３６２は、記憶・読出部３６４に、記憶部３０００の禁止物質情報管理部ＤＢ３００１に格納されている禁止物質情報管理テーブルを読み出させることによって禁止物質情報を取得する。食物アレルギー含有判定依頼部３６２は、マーカＩＤ、および禁止物質情報を第１のサーバ１００に送信することによってラベルが貼付された食品に禁止物質が含有されているか否かの判定を依頼する。

食物アレルギー含有判定依頼部３６２は、該依頼の応答として第２のサーバ２００によって送信される禁止物質となる原材料が含まれるか否かを示す画像を取得し、表示制御部３５８に入力する。表示制御部２３８は、撮像部３５６からラベルの撮像画像を取得し、該ラベルの撮像画像と禁止物質となる原材料が含まれるか否かを示す画像とを重畳することによって重畳画像を生成して表示する。

第２のサーバ２００の拡張現実画像生成部２５４は、図２に示されているＣＰＵ１０１からの命令によって実現され、第１のサーバ１００によって送信される禁止物質含有情報に基づいて、食品の画像に重畳する拡張現実画像を生成する。拡張現実画像生成部２５４は、拡張現実画像を送受信部２５２から無線通信端末３００に送信する。例えば、拡張現実画像生成部２５４は、禁止物質含有情報が禁止物質を含有することを示す場合、禁止物質を含有することを直感的に理解させることができる拡張現実画像を生成する。具体的には、拡張現実画像生成部２５４は、禁止物質を含有することを直感的に理解させることができる拡張現実画像として「×」、「ＮＧ」などの拡張現実画像を生成できる。また、例えば、拡張現実画像生成部２５４は、禁止物質含有情報が禁止物質を含有しないことを示す場合、禁止物質を含有しないことを直感的に理解させることができる拡張現実画像を生成する。具体的には、拡張現実画像生成部２５４は、禁止物質を含有しないことを直感的に理解させることができる拡張現実画像として「○」、「ＯＫ」などの拡張現実画像を生成できる。拡張現実画像生成部２５４は、ユーザの使用する言語や、国などに応じて、禁止物質を含有するかしないかを直感的に理解させることができる拡張現実画像を変更するようにしてもよい。

本変形例によれば、無線通信端末３００から第１のサーバ１００にラベルの撮像画像が送信されないため、第１のサーバ１００に送信するデータ量を減少させることができる。さらに、無線通信端末３００において重畳画像が生成されるため、第２のサーバ２００の処理負荷を低減できる。

上述した実施の形態、および変形例を適宜組み合わせることも可能である。

〔実施形態の補足〕
上記実施形態における第１のサーバ１００、第２のサーバ２００、および無線通信端末３００は、単一のコンピュータによって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

また、上記各実施形態の第１のサーバ用プログラム、第２のサーバ用プログラム、又は無線通信端末用プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ、メディア、フラッシュメモリなどは、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記第１のサーバ用プログラム、第２のサーバ用プログラム、又は無線通信端末用プログラムが利用者等に提供される場合に用いられる。

また、上記実施形態では、ＡＲマーカを認識する場合について説明したが、これに限るものではなく、バーコードなどの一次元のコードや、ＱＲ(Quick Response)などの二次元コートも適用できる。

また、上記実施形態では、拡張現実画像を重畳することによって、ユーザに食物アレルギーとなる原材料が含まれるか否かを通知する場合について説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、食品に接触した感覚によって禁止物質となる原材料が含まれるか否かが通知される。更に、ユーザに禁止物質となる原材料が含まれるか否かが、嗅覚（smell）データによって通知されてもよい。この場合、食品の匂い（臭い）によって禁止物質となる原材料が含まれるか否かが通知される。

上述した実施の形態において、無線通信端末は通信デバイスの一例であり、第１のサーバ、および第２のサーバは情報処理装置の一例である。また、マーカデコード部はデコード部の一例であり、記憶部３０００は第１の記憶部の一例であり、記憶部１０００は第２の記憶部の一例であり、アレルギー情報取得部１５４は取得部の一例であり、禁止物質情報判定部１５６は判定部の一例であり、拡張現実画像生成部は画像生成部の一例である。

本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアでまたはそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。

５０ 通信ネットワーク
１００ 第１のサーバ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤ
１０５ ＨＤＤ
１０６ メディア
１０７ メディアドライブ
１０８ ディスプレイ
１０９ ネットワークＩ／Ｆ
１１０ バスライン
１１１ キーボード
１１２ マウス
１１３ ＣＤ−ＲＯＭ
１１４ ＣＤ−ＲＯＭドライブ
１５２ 送受信部
１５４ アレルギー情報取得部
１５６ 禁止物質情報判定部
１５８ 記憶・読出部
２００ 第２のサーバ
２５２ 送受信部
２５４ 拡張現実画像生成部
２５６ 重畳画像生成部
３００ 無線通信端末
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ フラッシュメモリ
３０５ ＳＳＤ
３０６ 記録メディア
３０７ メディアドライブ
３０８ 操作ボタン
３０９ 電源スイッチ
３１０ バスライン
３１１ ネットワークＩ／Ｆ
３１２ カメラ
３１３ 撮像素子Ｉ／Ｆ
３１４ マイク
３１５ スピーカ
３１６ 音声入出力Ｉ／Ｆ
３１７ ディスプレイ
３１８ 外部機器接続Ｉ／Ｆ
３５２ 送受信部
３５４ 操作入力受付部
３５６ 撮像部
３５８ 表示制御部
３６０ マーカデコード部
３６２ 食物アレルギー含有判定依頼部
３６４ 記憶・読出部
４００ 無線アクセスポイント
１０００、３０００ 記憶部
１００１ 食品情報管理ＤＢ
１００２ 原材料情報管理ＤＢ
１００３ アレルギー情報管理ＤＢ
３００１ 禁止物質情報管理ＤＢ

国際公開第２０１２／０５６４９９号

Claims (9)

1. 通信デバイスと、第１のサーバと、第２のサーバとを有する情報処理システムであって、
   前記通信デバイスは、
   商品に付された標識を認識する撮像部と、
   該撮像部によって認識した標識をデコードするデコード部と、
   ユーザによって登録される物質を記憶する第１の記憶部と、
   前記デコード部によってデコードすることによって得られる前記標識の識別情報と、前記第１の記憶部に記憶した物質情報とを含む判定依頼要求を送信し、該判定依頼要求に対する判定依頼応答を受信する送受信部と、
   該判定依頼応答に含まれる画像情報に基づいて、画像を表示する表示制御部と
   を有し、
   前記第１のサーバは、
   商品に付される標識の識別情報と、該商品の成分情報とを関連付けて記憶する第２の記憶部と、
   前記判定依頼要求に含まれる標識の識別情報に基づいて、前記第２の記憶部から前記商品の成分情報を取得する取得部と、
   該取得部によって取得した前記商品の成分情報に前記判定依頼要求に含まれる前記物質情報に一致するものがあるか否かを判定する判定部と、
   該判定部による判定結果を前記第２のサーバに送信する送信部と
   を有し、
   前記第２のサーバは、
   前記第１のサーバによって送信される判定結果に応じて、判定結果を表す画像を生成する画像生成部と、
   前記第１のサーバによって送信される判定結果を受信するとともに、前記画像生成部によって生成した画像の画像情報を含む前記判定依頼応答を前記通信デバイスに送信する第２の送受信部と
   を有する、情報処理システム。
2. 前記撮像部は、食品に付された標識を認識し、
   前記第１の記憶部には、ユーザによって登録される摂取を禁止する物質が記憶され、
   前記第２の記憶部には、食品に付される標識の識別情報と、該食品の成分情報とが関連付けて記憶される、請求項１に記載の情報処理システム。
3. 前記画像生成部は、前記判定結果に応じて、前記商品に拡張現実を重畳することによって表示する画像を生成し、
   表示制御部は、前記商品に前記拡張現実を重畳した画像を表示する、請求項１に記載の情報処理システム。
4. 前記第１の記憶部には、ユーザによって登録される物質、および該物質の許容量が記憶され、
   前記判定部は、前記商品の成分情報に、前記判定依頼要求に含まれる前記物質情報に一致し、且つ該物質の許容量以上のものがあるか否かを判定する、請求項１に記載の情報処理システム。
5. 商品に付される標識の識別情報と、該商品の成分情報とを関連付けて記憶する記憶部と、
   通信デバイスによって送信される判定依頼要求に含まれる商品に付された標識の識別情報に基づいて、前記記憶部から前記商品の成分情報を取得する取得部と、
   該取得部によって取得した前記商品の成分情報に前記判定依頼要求に含まれる、ユーザによって登録される物質情報に一致するものがあるか否かを判定する判定部と、
   該判定部による判定結果に応じて、判定結果を表す画像を生成する画像生成部と、
   前記通信デバイスによって送信される判定依頼要求を受信し、画像生成部によって生成した画像の画像情報を含む判定依頼応答を前記通信デバイスに送信する送受信部と
   を有する、情報処理装置。
6. 通信デバイスに、
   商品に付された標識を認識させ、
   該認識した標識をデコードさせ、
   該デコードすることによって得られる前記標識の識別情報と、ユーザによって登録される物質情報とを含む判定依頼要求を送信させ、
   該判定依頼要求に対する判定依頼応答を受信させ、
   該判定依頼応答に含まれる画像情報に基づいて、前記商品の成分に前記物質情報に一致するものがあるか否かを表す画像を表示させる、情報処理プログラム。
7. 情報処理装置に、
   通信デバイスによって送信される判定依頼要求を受信させ、
   該判定依頼要求に含まれる商品に付された標識の識別情報に基づいて、商品に付される標識の識別情報と、該商品の成分情報とを関連付けて記憶する記憶部から前記商品の成分情報を取得させ、
   該取得した前記商品の成分情報に前記判定依頼要求に含まれる、ユーザによって登録される物質情報に一致するものがあるか否かを判定させ、
   該判定結果に応じて、判定結果を表す画像を生成させ、
   該生成した画像の画像情報を含む判定依頼応答を前記通信デバイスに送信させる、情報処理プログラム。
8. 通信デバイスによって実行される情報処理方法であって、
   商品に付された標識を認識し、
   該認識した標識をデコードし、
   該デコードすることによって得られる前記標識の識別情報と、ユーザによって登録される物質情報とを含む判定依頼要求を送信し、
   該判定依頼要求に対する判定依頼応答を受信し、
   該判定依頼応答に含まれる画像情報に基づいて、前記商品の成分に前記物質情報に一致するものがあるか否かを表す画像を表示する、情報処理方法。
9. 情報処理装置によって実行される情報処理方法であって、
   通信デバイスによって送信される判定依頼要求を受信し、
   該判定依頼要求に含まれる商品に付された標識の識別情報に基づいて、商品に付される標識の識別情報と、該商品の成分情報とを関連付けて記憶する記憶部から前記商品の成分情報を取得し、
   該取得した前記商品の成分情報に前記判定依頼要求に含まれる、ユーザによって登録される物質情報に一致するものがあるか否かを判定し、
   該判定結果に応じて、判定結果を表す画像を生成し、
   該生成した画像の画像情報を含む判定依頼応答を前記通信デバイスに送信する、情報処理方法。

Images