JP2019185250A

JP2019185250A - 消費財調達支援システム

Info

Publication number: JP2019185250A
Application number: JP2018073066A
Authority: JP
Inventors: 和則藤沢; Kazunori Fujisawa
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-04-05
Filing date: 2018-04-05
Publication date: 2019-10-24
Anticipated expiration: 2038-04-05
Also published as: JP6548771B1; US11769160B2; US20210019695A1; WO2019194060A1

Abstract

【課題】より最適な商品提案等を行なえる消費財調達支援システムを提供する。【解決手段】顧客の端末と通信し、前記顧客の端末による商品（消費財）の撮影画像を管理する情報処理サーバを有する消費財調達支援システムであって、前記情報処理サーバは、前記顧客の端末により撮影された商品（消費財）の撮影画像に基づいて前記商品（消費財）の認識処理を行い、前記認識処理を行った結果抽出された商品候補を前記顧客の端末上に表示させ、前記顧客に前記商品候補から実際に購入済みの商品を選択させることにより、未購入商品を判定することを特徴とする。【選択図】図１

Description

本発明は、広く一般家庭等における日常生活を支援するシステム等に関し、より詳細には、日用品や家電製品等の消費財の購入や調達を支援する消費財調達支援システム等に関する。

従来、商品や商品情報を提供することにより一般家庭等における日常生活やユーザの日常行動を支援するための技術が提供されてきた。

例えば、生活実態及び意思決定プロセスを分析し、身近な家事労働を軽減する目的として、冷蔵庫に保存する食品の出入庫やその鮮度維持の状態を観測するセンサと、その観測結果から最適管理モデル、例えば献立や食料品購入計画を提案し、さらに食料等の手配手段まで成す生活支援システムが提案されている（特許文献１）。

すわなち、特許文献１には、諸現象を随時観測して客観的な指標を出力する観測手段と、その指標を分析し前記諸現象に関連した予報を発する予報手段と、その予報若しくは前記指標により家庭生活及び／又は社会経済を支援するようにしたことを特徴とする生活支援システムであって、家族構成に基づいてその消費財の需要を予測する消費財需要予測手段と、その消費財の需要に対応する消費財調達手段と、前記家庭生活に供する保存手段に保存される消費財の品目と、その品目毎の入出庫量、滞留期間及び品質状態を観測する観測手段と、前記観測した結果を前記需要と比較してそれらの乖離を無くすように前記消費財調達手段を制御するプログラムを備えたことを特徴とするシステムが開示されている。

また、商品の買い忘れが発生するのを抑制するシステムも提案されている（特許文献２）。

すなわち、特許文献２には、店舗に設置された画像形成装置と情報処理装置とが通信可能に接続された購入品管理システムであって、前記情報処理装置は、ユーザごとに、前記店舗でのユーザの購入履歴とユーザの識別情報とを対応付けて記憶しており、前記画像形成装置は、前記識別情報の入力をユーザから受け付け、前記情報処理装置または前記画像形成装置は、前記画像形成装置に前記識別情報が入力されると、前記画像形成装置に入力された前記識別情報に対応する前記購入履歴を対象履歴として抽出するとともに、前記対象履歴で示される商品のうち、所定条件を満たす商品をユーザが購入しようとする購入予定品であると予測し、前記画像形成装置は、前記購入予定品を報知するための報知情報を印刷することを特徴とする購入品管理システムが開示されている。

また、ユーザ行動を予測してアイテム提供を行うことが可能な情報処理装置等も提案されている（特許文献３）。

すなわち、特許文献３には、ユーザの行動を検知したセンシングデータを取得する取得部と、前記取得したセンシングデータに基づいてユーザ状況を認識する認識部と、前記認識したユーザ状況に応じてユーザ行動を予測する行動予測部と、前記予測したユーザ行動に応じてアイテム（商品）をユーザに提供するための情報を提示する提示部とを備える情報処理装置が開示されている。

特表２００３−３０４２１号公報特開２０１７−１１７１１４号公報ＷＯ２０１５／１８２２００

しかしながら、特許文献１〜３に開示された従来技術においては、顧客やユーザに最適な商品提案を行うために顧客やユーザの購入・閲覧・検索などの行動実績や行動履歴をもとにして顧客やユーザが「次に購入したいであろう商品」を予測・推定する等の種々の方法がとられていた。

すなわち、例えば、顧客やユーザが自社からではなく他社から購入した商品や他社から受けたサービスについては把握することができず、顧客やユーザにとって本当に有用な商品提案に結び付けることが困難な状況にあった。

したがって、これまで収集が難しかった自社からの「未購入商品情報」や「未提供サービス」をも含めた最適な商品提案またはサービス提案の実現が期待される。

そこで、本発明の一実施形態にかかる消費財調達支援システムは、顧客の端末と通信し、前記顧客の端末による商品（消費財）の撮影画像を管理する情報処理サーバを有する消費財調達支援システムであって、前記情報処理サーバは、前記顧客の端末により撮影された商品（消費財）の撮影画像に基づいて前記商品（消費財）の認識処理を行い、前記認識処理を行った結果抽出された商品候補を前記顧客の端末上に表示させ、前記顧客に前記商品候補から実際に購入済みの商品を選択させることにより、未購入商品を判定することを特徴とする。

本発明の一実施形態にかかる消費財調達支援システムによれば、これまで把握できなかった情報に基づいた、より最適な商品提案またはサービス提案が可能になるなど顧客やユーザの日常生活のみならず行動の至便性をも向上させうるシステム等を提供できる。

本発明の一実施形態にかかる消費財調達支援システムの全体構成例を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理サーバの機能ブロック構成を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置（ユーザ端末）の外観構成例を説明する説明図である。本発明の一実施形態にかかる情報処理装置（ユーザ端末）を構成するハードウェアの機能ブロック構成を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける基本動作処理フローのバリエーションを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける動作の流れやシステム処理フローを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける動作の流れやシステム処理フローを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける動作の流れやシステム処理フローを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける動作の流れやシステム処理フローを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置（ユーザ端末または顧客端末）の表示例を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置（ユーザ端末または顧客端末）の表示例を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置（ユーザ端末または顧客端末）の表示例を説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける処理フローを説明する説明図である。本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置（ユーザ端末または顧客端末）の表示例を説明する説明図である。

［本発明の基本概念および機能的構成例］
本発明の一実施形態においては、近年利用が広っている画像認識技術（Vision技術）を用いて、ユーザ（顧客）の未購入商品情報を収集する仕組みが構築される。そして、構築された仕組みを用いて従前収集が困難であった未購入商品（自社から購入されたのではなく他社から購入された商品）に関する情報を補完することで、当該ユーザ（顧客）に対するより最適な商品提案等を実現するものである。

したがって、本発明の一実施形態にかかるシステムは、以下の主要な仕組み（（１）〜（３））を構成要素として備え、それぞれの機能が実現されるように構成される（仔細は、図を参照するなどして後述する）。

（１）商品の画像特徴データを蓄積するための『商品画像登録システム（サーバ）』
まず、カメラ機能付き端末等に介して店側が販売する全ての商品の画像を収集・登録することによって当サーバへのデータの蓄積が行われる。
また、蓄積された商品画像データからは、各商品の特徴量データが抽出されてさらに蓄積保存される。
（２）ユーザ（顧客）が利用する次のような機能を備えるカメラ機能付き端末に実装されるアプリや情報処理サーバに実装されるサービス機能等
・端末のカメラ機能で取得した商品画像から特徴量を抽出する機能。
・抽出した特徴量を『商品画像登録システム（サーバ）』内の『商品画像特徴データベース』と照合し、商品マッチングを行う機能。
・商品マッチングの結果抽出された候補商品リストをユーザ（顧客）の端末画面に出力表示させる機能。
・端末画面に出力された候補商品リストからユーザ（顧客）に購入済み商品として登録しても良い商品を選択させる機能。
・選択させた商品情報のみを自社の『商品提案システム（サーバ）』内の『顧客別実績あり商品情報データベース』に送信・登録させる機能。
（３）次のような機能を備える『商品提案システム（サーバ）』
・ユーザ（顧客）から画像認識により収集した商品情報を『顧客別実績あり商品情報データベース』に登録・蓄積させる機能。
・自社での購入・閲覧・検索・商品レビュー登録などの実績あり商品情報を「顧客別実績あり商品情報データベース」に登録・蓄積させる機能。
・顧客別実績あり商品情報を基に「リピート購入商品管理データベース」や「レコメンド商品管理データベース」を参照するなどして『顧客別提案商品テーブル』を生成させる機能。
・『顧客別提案商品テーブル』からユーザ（顧客）の利用端末の画面や専用ホームページ画面などに提案商品を通知・案内させる機能。

上記の仕組みを連携させることにより、これまで収集が難しかった未購入商品情報をも含めた、より最適な商品提案が実現されるものである。

［その他の応用：冷蔵庫内管理］
また、本発明の他の実施形態にかかる消費財調達支援システムにおいては、冷蔵庫内の消費財管理も行わせることができる。本発明の一実施形態にかかる消費財調達支援システムは、図示しないカメラ機能及び通信機能付冷蔵庫とも連動させることができ、顧客ごとの冷蔵庫管理をさせることもできる。この冷蔵庫管理は、後述する本発明の一実施形態を踏まえれば容易に適用可能であることが理解できるであろう。

以下、本発明の一実施形態にかかる消費財調達支援システムについて、図面を参照しながら詳細に説明する。

［物体認識機能］
まず、本発明はこれに限定されるものではないが、本発明の一実施形態にかかる消費財調達支援システムにおいては、端末（ユーザ端末等）や機器（上述の冷蔵庫など）に備わるカメラ機能を介して、商品等の消費財を識別ないし認識させることができる。そして、この場合の認識処理には既存の物体認識処理技術を採用することができる。この処理ルーチンについて、図９を参照して説明する。

図９は、一例として、ユーザ（顧客）の有する端末に備わったカメラで撮影され情報処理サーバ（後述）へ送信された商品等の消費財の静止画像ないし動画像から物体認識処理により物体（商品等の消費財）を特定する場合のフローを含む、詳細な処理フロー例を示している。ここでの物体認識処理は、公知の技術を使って実現することができる。典型的な手順としては、まず、一般物体認識処理によって物体のカテゴリ（人間であるか消費財であるか。人間である場合には男性か女性か。消費財である場合にはどのようなカテゴリの消費財か等）を特定した後に、補助データ等を使用してその物体の個別の特定（消費財であればその商品名の特定等）を進めていく。

図９において、ステップＳ９０１で処理を開始すると、ステップＳ９０２へ進み、まず、カテゴリ等を分類するための一般物体認識処理が行われる。一般物体認識処理には、例えば、ＢＯＦ（Bag-Of-Features）の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ（物体の一般名称）の認識まで行われる。

次に、ステップＳ９０３において、個別物体画像の切り出し処理が行われる。例えば、撮影されているフレーム中に、シンクの保管庫内の消費財が写し込まれていたとすると、一般物体認識処理の段階で、「シンク」「保管庫」「（保管されている）消費財（商品）」等の物体が認識され、本ステップでフレーム中の「シンク」や「保管庫」や「商品」が切り出される（ただし、本フローで認識が必要なのは、「（保管されている）消費財（商品）」であるので、切り出しは「（保管されている）消費財（商品）」の画像だけで足りる場合がある）。そして、切り出された「（保管されている）消費財（商品）」のそれぞれの個別物体画像について、特定物体認識処理が行われる（Ｓ９０４）。

ステップＳ９０４の特定物体認識処理では、単一物体や人物の顔等の画像のほか、商品構造のＣＡＤデータ等の複数レイヤの設計データ（これらのデータは情報処理サーバの図示しないデータベースに格納されている）を使用することができる。そして、かかる画像や設計データから抽出された特徴点及び特徴量と、スキャン画像（静止画のみならず動画像の場合もある）より生成される特徴量データとが比較され、特定物体として認識される。ここで、特徴量データの生成方法や比較の方法には、大きくは次の２種類の手法が知られている。

１つ目は、商品等の物体を構成する最小単位（設計データなどで表されている）ごとの３次元情報を元に、あらゆる角度から２次元平面に写像した画像を生成して、それらの写像画像から目的の物体の特定に用いる特徴量などを生成しておく手法である。ここでの特徴量の生成は、一例として、輪郭抽出法、ＳＩＦＴ法、ＳＵＲＦ法などが採用される。また、比較処理においては、その特徴量を元に入力画像から特徴量を抽出して出現部位や頻度などを比較する。

２つ目は、商品等の物体を構成する最小単位（設計データなど）の集合からなる３次元形状情報を投影角度や拡大率などを変えながら２次元平面に写像するプロセスを評価関数として、物体の特徴点および特徴量との差異を一致度として判定する手法である。

上述した公知の手法を使用して、物体の特定ができた場合（ステップＳ９０５において、Ｙｅｓ）には、ステップＳ９０７へ進むが、できなかった場合（ステップＳ９０５において、Ｎｏ）には、ステップＳ９０６へ進み、商品であれば他のコード（商品コードなど）の読み取り等の別の手法による入力処理をさせることができる。

そして、ステップＳ９０７では、特定された商品等に対応するパラメータ値（特定された商品を表わすデータそのもの）を情報処理サーバのデータベースから読み出す。

次に、ステップＳ９０８へ進み、読み出されたパラメータ値を例えば商品のステータスに紐付ける。そして、本フローとしては処理を終了する（ステップＳ９０９）。

なお、本フロー説明としてはステップＳ９０９で終了しているが、システムが運用されている間は、もちろんこうした認識処理は継続して行われている。そして、あるユーザ（顧客）が別の部屋の消費財等を撮影したとか、浴室の中には現在どんな消費財が備わっているかを撮影したとか、といった家庭内の状況管理情報が逐次更新される。

図１に、本発明の一実施形態にかかる消費財調達支援システムの全体構成例を示す。

図１に示されるように、消費財調達支援システム１０は、その一実施形態における構成として、情報処理サーバ（群）１１（以下、情報処理サーバ１１ともいう）と、ユーザ（顧客）や、必要に応じて店側スタッフ等がそれぞれ使用する各種情報処理装置（図において、例示的に、携帯情報端末またはタブレット端末１２ａ〜１２ｄ、携帯電話１３、ＰＣ１４〜１５。以下、総称して「各種端末」または単に「端末」とも言うこともある）とを有する。情報処理サーバ１１、各種端末間は、図１に示されるように専用回線やインターネット等の公衆回線（有線の回線として、１７ａ〜１９）で相互に通信可能に接続されている。また、回線は有線であっても無線であってもよく、無線の場合、携帯情報端末またはタブレット端末１２ａ〜１２ｄ及び携帯電話１３は、無線で図示しない基地局やアクセスポイント等を介してインターネット１９に乗り入れ、更に回線１８を介して情報処理サーバ１１と相互に通信可能に接続される。

ここで、アクセスポイントとは、ＰＣやスマートフォンなどの無線端末を相互に接続したり、他のネットワークに接続させたりするための無線機である。典型的には、ＯＳＩ参照モデルにおける第１層（物理層）及び第２層（データリンク層）の通信プロトコルで作動するデバイスである。

なお、本願の出願時点での携帯電話や携帯情報端末またはタブレットは、パーソナルコンピュータ（ＰＣ）と同等の処理能力（通信処理速度や画像処理能力等）を備えているものも多く、小型のコンピュータとも言うべきものである。

また、本発明の実施に必要なプログラムまたはソフトウェアは、通常、ＰＣや携帯情報端末の記憶部におけるＨＤＤ、ＳＳＤ等にインストールまたは記憶され、プログラムまたはソフトウェアの実行時には、必要に応じて記憶部内のメモリにその全部又は一部のソフトウェアモジュールとして読み出され、ＣＰＵにおいて演算実行される。

あるいは、ブラウザベースのコンピュータまたは携帯情報端末を採用することもできる。この場合は、必要に応じて他のサーバやコンピュータから端末にプログラムが配信され、端末上のブラウザではこれを実行するという構成になる。

また、情報処理サーバ１１のハードウェア構成も、基本的にはＰＣを採用することができる（念のため、図２を参照して後述する）。なお、本発明はこれに限定されるものではないが、情報処理サーバ１１は、必要に応じてそのハードウェアスペックを上げるにあたり、複数のＰＣ（一例として、数十台〜数万台）を並列的に作動させることによって大規模データの処理に適した構成をとることもできる。

一方で、システム構成によっては、上記の情報処理端末のうちの一部（例えば、店舗側（スタッフ側）端末とした場合の端末１４、１５など）に情報処理サーバ１１の一部又は全部の機能を担わせることもできる。

図２に、本発明の一実施形態にかかる消費財調達支援システムにおける情報処理サーバ１１の機能ブロック図を示す。例示的に、情報処理サーバの動作は、以下に説明するハードウェアの個々の動作、及びソフトウェアとこれらハードウェアとの連携動作によって実現されている。

図２において、ハードウェアブロック全体としての情報処理サーバ２００は、大別すると、各種比較・演算処理を行うためのＣＰＵ２０１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の記憶部２０２と、キーボードやポインティングデバイス等の入力部２０３と、ディスプレイやスピーカ等の出力部２０４と、各種信号制御のための制御部２０５と、通信（インタフェース）部２０６（無線、有線を問わない）と、時刻等を計時するための計時部２０７と、電源部２０８とからなる。

これらのモジュールは必要に応じて適宜通信バスや給電線（図２においては、便宜上各線が適宜区分された結線２９９としてひとまとめに表す）によって接続されている。

また、本発明の実施に必要な情報処理サーバ２００上で実行されるプログラムまたはソフトウェアは、通常、記憶部２０２を構成するハードディスクドライブ、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、フラッシュメモリ等にインストールまたは記憶され、プログラムまたはソフトウェアの実行時には、必要に応じて記憶部２０２内のメモリにその全部又は一部のソフトウェアモジュールとして読み出され、ＣＰＵ２０１において演算実行される。

なお、演算実行は必ずしもＣＰＵ２０１等の中央処理部で行われる必要はなく、図示しないディジタルシグナルプロセッサ（ＤＳＰ）等の補助演算装置を用いることもできる。

図３に、本発明の一実施形態にかかる消費財調達支援システムにおける情報処理装置としてのタブレット端末１２ａ〜１２ｄの外観構成を示す。図３において、情報処理装置（タブレット端末）３２は、筐体部３２１とディスプレイ３２２と筐体３２１の下部中央部に設けられたハードウェアボタン３２３とからなる。ディスプレイ３２２は典型的には液晶ディスプレイ（ＬＣＤ）等で構成され、文字や静止画像や動画など様々な情報を表示することができる。また、ディスプレイ３２２にメニューボタンやソフトウェアキーボードを表示させ、これを指またはタッチペン（不図示）等で触れることによりタブレット端末３２への指示（コマンド）とすることができる。この点で上記ハードウェアボタン３２３は必須の構成要素ではないが、本発明の説明の便宜上、一定の機能を担うボタンとして実装されている。もちろん、これらハードウェアボタン３２３を、ディスプレイ３２２の一部に表示させたメニューボタンで代替させることも可能である。

また、ディスプレイ３２２には、マルチタッチ入力パネルが含まれており、タッチ入力パネル上でのタッチ入力位置座標が入力デバイスインタフェース（不図示）を介してタブレット端末３２の処理系（ＣＰＵ）へ送信され処理される。そして、このマルチタッチ入力パネルは、パネルに対する複数の接触点を同時に感知することができるよう構成されている。この検出（センサ）については様々な方法で実現することができ、必ずしも接触センサに限られず、例えば、光学式のセンサを利用してパネルに対する指示点を抽出することも可能である。さらに、センサには、接触式のセンサや光学式のセンサのほか、人の肌の接触を感知する静電容量方式のセンサを用いることも可能である。

また、図３には現れていないが、タブレット端末３２は、マイクやスピーカを備えることもできる。この場合にはマイクより拾ったユーザの声などを判別して入力コマンドとすることも可能である。さらに、図３には現れていないが、タブレット端末３２の背面等にＣＭＯＳ等のカメラデバイスを実装させることもできる（以下、情報処理装置またはユーザ端末によって何かを撮影するという説明がある場合には、このカメラデバイスを介して被写体が撮影されることを意味する）。

図４に、本発明の一実施形態にかかるタブレット端末３２を構成するハードウェアの機能ブロック図を例示する。タブレット端末３２の動作は、以下に説明するハードウェアの個々の動作、及びソフトウェアとこれらハードウェアとの連携動作によって実現されている。

図４において、ハードウェアブロック全体としてのタブレット端末４００は、大別すると、図３におけるハードウェアボタン３２３、ディスプレイ３２２に設けられたマルチタッチ入力パネル、マイク等で構成される入力部４０１と、プログラムやデータ等を記憶するためのハードディスク、ＲＡＭ及び／又はＲＯＭ等で構成される記憶部４０２と、プログラムによって様々な数値計算や論理演算を行うＣＰＵによって構成される中央処理部４０３と、ディスプレイ３２２等で構成される表示部４０４と、チップや電気系統等の制御を行うための制御部４０５と、インターネットにアクセスするためのスロットや光通信を行うためのポート、及び通信インタフェースから構成される通信インタフェース部４０６と、スピーカやバイブレーション、赤外線プロジェクター等の出力部４０７と、時刻等を計時するための計時部４０８と、ＣＭＯＳ等のイメージセンサや赤外線センサ、慣性センサ等からなるセンサ部４０９と、装置内の各モジュールに電源を供給するための電源部４１０とからなり、これらのモジュールは必要に応じて適宜通信バスや給電線（図４においては、便宜上各線が適宜区分された結線４９９としてひとまとめに表す）によって接続されている。
なお、センサ部４０９には、タブレット端末４００（１２ａ〜１２ｄ）の位置を特定するためのＧＰＳセンサモジュールを含めることとしても良い。また、センサ部４０９を構成するＣＭＯＳ等のイメージセンサや赤外線センサ等によって検知された信号は、入力部４０１において入力情報として処理することができる。

また、本発明の実施に必要なタブレット端末４００上で実行されるプログラムまたはソフトウェアは、通常、記憶部４０２を構成するハードディスクドライブ、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、フラッシュメモリ等にインストールまたは記憶され、プログラムまたはソフトウェアの実行時には、必要に応じて記憶部４０２内のメモリにその全部又は一部のソフトウェアモジュールとして読み出され、ＣＰＵ４０３において演算実行される。

なお、演算実行は必ずしもＣＰＵ等の中央処理部４０３で行われる必要はなく、図示しないディジタルシグナルプロセッサ（ＤＳＰ）等の補助演算装置を用いることもできる。

［情報処理サーバ群を構成するサーバ及びデータベース等］
本発明の一実施形態にかかる消費財調達支援システムにおける情報処理サーバ（群）１１については、これらに限定されるものではないが（例えば、図示しないユーザ（顧客）管理ＤＢなどがある）、主要なものとして次のような各種サーバ及びデータベース（以下、ＤＢともいう）等が構築され、図２を参照して後述する各種端末からの要求等をトリガとして、直接または間接的に参照あるいはアクセスされる。

［Ａ］商品画像登録サーバ
このサーバには、自社（自店）のみならず他社（他店）でも取扱い可能なあらゆる消費財（商品）に関する画像データが登録されて管理されている。取扱いには店頭販売のみならず、ネットワークを介した電子商取引も含まれる。一実施形態において、当サーバは次のようなデータベースまたはテーブルを備える。
（ａ）商品画像ＤＢ
このＤＢには、商品ＳＫＵ（Stock Keeping Unit）ごとに１枚以上の画像データ（画像オブジェクト）が画像ファイル（jpgファイルなど）として管理保管されている。
（ｂ）商品画像特徴量ＤＢ
このＤＢには、商品ＳＫＵごとに管理されている１以上の画像オブジェクトにおける特徴量（Ｘ_１１，Ｘ_１２，Ｘ_１３，Ｘ_１４，…，Ｘ_２１，Ｘ_２２，Ｘ_２３，Ｘ_２４…などで表わされる）が管理保管されている。
なお、上記（ａ）及び（ｂ）のＤＢを「商品画像特徴データベース」ともいう。

［Ｂ］商品情報管理サーバ
このサーバには、商品ＳＫＵごとに「商品名称」や「商品価格」等の属性情報が登録されて管理されている。一実施形態において、当サーバは次のようなデータベースまたはテーブルを備える。
（ａ）商品情報マスタテーブル
「商品名称」や「商品価格」等の属性情報が管理保管されている。

［Ｃ］商品提案サーバ
このサーバには、顧客（顧客ＩＤ）ごとに「商品ＳＫＵ（ＪＡＮ等の商品コードに紐付け可能である）」、「購入有無フラグ（有の場合、日付登録可）」、「閲覧有無フラグ（有の場合、日付登録可）」、「検索有無フラグ（有の場合、日付登録可）」、「レビュー有無フラグ（有の場合、日付登録可）」、「画像登録有無フラグ（有の場合、日付登録可）」等が登録されて管理されており、他のテーブル等を参照してユーザ（顧客）に最適な商品提案を行う。一実施形態において、当サーバは次のようなデータベースまたはテーブルを備える。
（ａ）顧客別実績あり商品情報ＤＢ
上述した、顧客（顧客ＩＤ）ごとの「商品ＳＫＵ（ＪＡＮ等の商品コードに紐付け可能である）」、「購入有無フラグ」、「閲覧有無フラグ」、「検索有無フラグ」、「レビュー有無フラグ」、「画像登録有無フラグ」等が管理保管されている。顧客ごとの商品に対する行動履歴（行動実績）を管理するための商品情報ＤＢである。
このＤＢは、後述する「購入実績ＤＢ」、「閲覧実績ＤＢ」、「検索実績ＤＢ」、「商品レビュー実績ＤＢ」、「画像登録商品情報ＤＢ」と連動しており、これらのＤＢの更新等に伴い、顧客別実績あり商品情報ＤＢも適宜更新管理される。
（ｂ）リピート購入商品管理ＤＢ
顧客ごと、あるいは商品ごとのリピート購入回数を管理保管しており、併せて、当該商品が購入された日付や地域等の関連情報が管理保管されている。
（ｃ）商品レコメンド管理ＤＢ
顧客ごと、あるいは商品ごとのレコメンド情報が管理保管されている。
（ｄ）顧客別提案商品テーブル
顧客ごとに、種々のパラメータや実績からお薦めすべき商品がケースごとにランク付けされるなどして管理保管されている。
（ｅ）購入実績ＤＢ
顧客ごと、あるいは商品ごとの購入実績情報が管理保管されている。具体的には、図示しない店頭端末（あるいは店頭サーバ）や電子商取引サーバと連動しており、購入（販売）実績が発生すると、このＤＢの更新がなされる。
（ｆ）閲覧実績ＤＢ
顧客ごと、あるいは商品ごとの電子商取引用のＷｅｂ販売ページ上での閲覧実績情報が管理保管されている。
（ｇ）検索実績ＤＢ
顧客ごと、あるいは商品ごとの電子商取引用のＷｅｂ販売ページ上での検索実績情報が管理保管されている。
（ｈ）商品レビュー実績ＤＢ
顧客ごと、あるいは商品ごとの電子商取引用のＷｅｂ販売ページ上での商品レビュー実績情報が管理保管されている。
（ｉ）画像登録商品情報ＤＢ
このＤＢは、本発明の一実施形態において特徴のあるＤＢのひとつであり、一例として、ユーザ端末を介してユーザ（顧客）から指示されることによって特定された、画像認識された商品のうち既に購入された商品に関する情報が管理保管されている。

以上に述べたサーバは、自身が管理するＤＢやテーブルを更新管理しつつ、互いに連携して図２に示す情報処理サーバ（群）１１を構成する。

次に、図５に、図１で例示した本発明の一実施形態に係るシステムまたは装置等における基本動作のバリエーションを示す。

図５において、「ユーザ端末」は、図１における端末１２ａ等に対応し、「情報処理サーバ」は、図１における情報処理サーバ（群）１１に対応する。また、図５中、ｔ１〜ｔ１０は時系列の流れを示し、経時的に後述する動作や処理が行われるものである。

なお、実施形態において例示される動作または処理時刻（ｔ１等）は、本発明の概念の理解の容易のために例示されたものであり、本発明が実施形態において例示される個別の時系列関係に制限されることはない。

まず、日時ｔ１において、ユーザ（顧客）は、ユーザ端末を介して情報処理サーバから自身のユーザ端末を本発明にかかる情報処理端末として動作させるためのアプリケーションソフトウェアをダウンロードする（ステップＳ５０１）。このアプリケーションソフトウェアは、本発明にかかるプログラムの一部又は全部を処理するためのクライアントソフトウェアまたはアプリケーションソフトウェアである。そして、ダウンロードしたアプリケーションソフトウェアをユーザ端末にインストールする（ステップＳ５０２）。このとき、時刻ｔ２において、ユーザ端末からは、必要に応じてユーザ登録としてユーザ自身のメールアドレスのほか、次表のようなプロフィール情報を情報処理サーバへアップロード（ステップＳ５０３）して登録管理させることもできる（ステップＳ５０４）。

以上のデータ項目は、ユーザデータとして情報処理サーバ上の記憶装置（図示しない顧客管理ＤＢ等）に保存される（ステップＳ５０５）。時刻ｔ３以降は、ユーザ（顧客）が情報処理端末を操作することによりアプリを開始する（サーバは端末に対してサービス提供を開始する）ことができる。

次に、ユーザ端末にアプリをダウンロード及びインストールしたユーザは、時刻ｔ４においてアプリケーションソフトウェアを起動する（ステップＳ５０６）。時刻ｔ４〜時刻ｔ５まで、例示的にユーザは情報処理サーバから情報処理端末に対して提供されるサービスを受けている。

時刻ｔ５になると、ユーザはいったん本発明の一実施形態にかかるアプリケーションソフトウェアを中断または終了する。このとき、必要に応じて、アプリケーションのステータス情報を情報処理サーバへ転送し（ステップＳ５０７）、サーバではこれを受信して当該ユーザのユーザ情報としてのステータス情報を更新（ステップＳ５０８）及び保存（ステップＳ５０９）する。図６においては、これらの処理は、時刻ｔ６までに完了している。

なお、本発明の一実施形態にかかるアプリケーションソフトウェアを情報処理端末にインストールした後は、端末上で少なくとも一部をクローズドに実行可能な形態とすることも可能であり、この場合は、上述のステップＳ５０４〜ステップＳ５０５、並びに、ステップＳ５０８〜ステップＳ５０９を省略することができ、必要な情報があれば端末上のメモリに保存管理される。

次に、図５において、時刻ｔ７〜時刻ｔ１０では、本発明の一実施形態にかかるアプリケーションソフトウェアの少なくとも一部を情報処理サーバにおいて実施する場合の実施形態例を示している。この場合、ユーザ（顧客）は、ログイン動作と、コマンド送信という２つの典型的なユーザ端末操作を行い、情報処理サーバから必要なデータ送信を受け、あるいは、サービス提供を受けることとなる。

例えば、図５の時刻ｔ７において、ユーザは自身の情報処理端末を介してサーバへのログイン処理を行う（ステップＳ５１０）と、情報処理サーバでは必要な認証処理が適宜行われ（ステップＳ５１１）、時刻ｔ８において、ユーザがサービス提供を受けられるためのデータを送信する（ステップＳ５１２）。例えば、端末からのコマンドを受信可能に構成されたトップメニュー画面や、アプリケーションの起動画面等である。
時刻ｔ９において、ユーザは情報処理端末を介して何らかのコマンドを送信する（ステップＳ５１３）。このコマンドは、メニュー画面に表示されたメニューの選択でもよく、アプリケーション起動画面であれば、アプリケーションを開始するための開始コマンドの場合もある。サーバ側では、このコマンドを受けて、サービス処理を開始する（ステップＳ５１４）。そして、時刻ｔ１０において、端末の要求に応じたサービスがサーバから端末へ提供される（ステップＳ５１５）。

なお、図５には図示していないが、時刻ｔ１０以降も、端末からは随時コマンドを送信することができ（例えば、メッセージ送信コマンドやメニュー選択コマンドなど）、都度、サーバでは端末からのコマンド受信を受けてサービスを提供することができる（例えば、受信したメッセージを他端末に転送したり、メッセージ解析をしてその結果を返信したりするなど）。

次に、図６〜７を参照して本発明の一実施形態にかかる消費財調達支援システムにおける商品情報登録処理フローを説明する。この商品情報登録処理フローには大きく分けて２種類あり、１つは（本発明はこれに限定されるものではないが）店側のスタッフ等の手により端末等の情報処理装置のカメラ機能を介して商品画像情報を収集・登録する流れ（図６を参照して後述）であり、もう１つは同じく（本発明はこれに限定されるものではないが）スタッフ等の手により情報端末等の情報処理装置からテキスト情報等として入力・登録する流れ（図７を参照して後述）である。

図６のステップＳ６０１において登録処理を開始するとステップＳ６０２へ進み、スタッフ等により端末のカメラ機能を使って商品画像が撮影されて端末に取り込まれる。次にステップＳ６０３へ進み、端末に取り込まれた商品画像データは情報処理サーバ（群のうち、一例として、商品画像登録サーバ）へ送信される。

情報処理サーバでは商品画像データが登録される（ステップＳ６０４）。このとき、一実施形態において、サーバ上では下表のようなデータ構造により商品画像ＤＢ内で管理される。
ここで、「オブジェクト」は１つの商品に対する１枚の画像である（１つの商品を多面的に撮影すれば、その分だけオブジェクト数は増える。６面図ならば６枚という具合である）。そして、オブジェクトごとに対応する画像ファイル（一例として、jpgファイル）が紐付けられる。画像ファイルそれ自体のデータは別のメモリエリアに保管される。

ステップＳ６０５では、情報処理サーバにおいて、商品ごとに商品画像データ（上述のとおり、複数の画像オブジェクトからなる）から特徴抽出処理が行われる。この特徴抽出処理は、商品画像データを解析して商品画像における特徴量を抽出するものであり、具体的には、次表のような特徴量が抽出され商品画像特徴ＤＢに管理保管される。
上表のとおり、特徴量は、１つの商品における画像オブジェクトごとに解析されて抽出される。

ステップＳ６０５で抽出された特徴量は、一実施形態において上表のように整理されて商品ごとに管理保管される（ステップＳ６０６）。
以上のデータは、商品画像特徴データベース（商品画像ＤＢ及び商品画像特徴量ＤＢを含む）において管理保管される。

次に、ステップＳ６０７へ進み、本フローとしては終了する。

図７には、スタッフ等の手により情報端末等の情報処理装置からテキスト情報等として商品情報が入力及び登録されるフローが示されている。ステップＳ７０１において登録処理を開始するとステップＳ７０２へ進み、商品情報入力端末（情報処理装置）から商品情報が入力される。典型的にはテキストとして入力される。

次に、端末に入力された商品情報は情報処理サーバへ送信され（ステップＳ７０３）、情報処理サーバにおいて商品情報として登録される（ステップＳ７０４）。
情報処理サーバにおいて登録される商品情報は、一例として次表のようなテーブルに整理されて管理保管される。

次に、ステップＳ７０５へ進み、本フローとしては終了する。

図８に、本発明の一実施形態にかかる消費財調達支援システムにおけるユーザ端末での商品認識処理フローを示す。以下、ユーザ端末画面例（図１０〜１２）を参照しながら説明する。

ステップＳ８０１において処理を開始するとステップＳ８０２へ進み、ユーザ端末による自宅内の商品（消費財）の撮影が行われる。その様子を例示的に図１０（Ａ）及び図１０（Ｂ）に示す。図１０（Ａ）には、ユーザの自宅内のキッチンの様子が示されており、同図（Ａ）には、シンク１０５０とシンク保管庫内の商品（消費財）１０５１及び１０５２が示されている。一例として、１０５１は醤油Ａであり、１０５２は酢Ｘであるものとする。ユーザはこれを自身の端末のカメラ機能を介して撮影する。その様子を図１０（Ｂ）に示す。同図１０（Ｂ）には、ユーザ端末１０００の筐体１０１０上のディスプレイ部に、「・・・商品を撮影中・・・」とのメッセージ１０２０とともに撮影中の（撮影された）画像１０３０が表示されている。そして、画像１０３０にはシンク保管庫内の醤油Ａ（１０３１）及び酢Ｘ（１０３２）が映し出されている。なお、１０３１は１０５１に対応し、１０３２は１０５２に対応する。また、ユーザ端末１０００の画像認識モジュールあるいは情報処理サーバ内の画像認識サービスモジュールによって画像１０３０内の物体１０３１及び１０３２の輪郭点あるいは特徴点がプロットされている様子が示されている（同図（Ｂ）中の多数の点である）。なお、これらの輪郭点あるいは特徴点は、画像認識処理の前段階として例示的に示されるものであり、必ずしも必須の表現ではなく、画像認識処理手法によって様々な表示方法がある。

なお、これらの画像認識処理が情報処理サーバ内のサービスモジュールによって実行されている場合には、ユーザ端末１０００によって撮像された静止画あるいは動画が逐次情報処理サーバへ送信され、情報処理サーバ内で認識された（あるいは認識されている）結果がほぼリアルタイムでユーザ端末１０００へフィードバックされることとなる。

ステップＳ８０３では、ユーザ端末１０００の画像認識モジュール及び／又は情報処理サーバ内の画像認識サービスモジュールによって画像１０３０内の物体１０３１及び１０３２の物体認識処理が実施される。その具体例は、図９を参照して既に説明したとおりである。

ステップＳ８０４では、認識された商品（消費財）リストがユーザ端末の画面上に表示される。この様子を図１１に例示する。図１１には、ユーザ端末１１００の筐体１１１０上のディスプレイ部に、「購入済み商品はどれでしょう？」とのメッセージ１１２０とともに認識された商品（消費財）がリスト表示欄１１３０に表示されている。表示欄１１３０には、「醤油Ａ４５０ｍｌ」「酢Ｘ５００ｍｌ」「○酢５００ｍｌ」が表示されている様子が分かる。

なお、リスト表示欄１１３０に表示されている商品（消費財）のリストは、システムにおいて認識された商品（消費財）の候補であり、確実に特定された商品ではないことに留意されたい。

次に、ステップＳ８０５に進み、リスト表示欄１１３０に表示された商品（消費財）候補のうち、ユーザが実際に購入したのはどの商品（消費財）であったかの入力を受付ける。本ステップで購入済み商品の指示（チェック）があった場合（Ｙｅｓの場合）には、ステップＳ８０６へ進むが、指示（チェック）がなかった場合（Ｎｏの場合）には、ステップＳ８０７へスキップする。

ここで、図１２を参照して、購入済み商品が指示（チェック）されている様子を例示する。図１２には、ユーザ端末１２００の筐体１２１０上のディスプレイ部に、「チェック商品を登録します」とのメッセージ１２２０とともにリスト表示欄１２３０に表示された商品「醤油Ａ４５０ｍｌ」「酢Ｘ５００ｍｌ」「○酢５００ｍｌ」が表示されている。

ユーザは、シンク１０５０の保管庫内の商品（消費財）１０５１及び１０５２を実際に購入したのであるから、認識された候補商品のうち該当する商品のチェック欄１２３１及び１２３２にチェックを入れる（このとき、上述のメッセージ１２２０と後述するボタン１２４１とが表示されるように制御することもできる）。

ボタン表示欄１２４０には、商品登録ボタン１２４１が表示されており、ユーザがこのボタンを押下することによって、その時点でチェック済の商品がユーザの購入済み商品として情報処理サーバへアップロードされる（ステップＳ８０６）。そして、ステップＳ８０７へ進む。

ステップＳ８０７では、アプリを終了するか否かが判断され、終了する（Ｙｅｓ）場合には、ステップＳ８０８へ進み、本フローとしては終了するが、そうでない（Ｎｏ）場合には、ステップＳ８０２へ復帰する。

なお、ステップＳ８０６にて情報処理サーバに送信される購入済み商品情報は、一実施形態において、商品提案サーバの画像登録商品情報ＤＢへ登録（新規追加）されて、必要に応じて顧客別実施あり商品情報ＤＢにて管理される。

ここで、重要な点は、ステップＳ８０５及びステップＳ８０６で抽出されてデータベースにて管理されることとなった「ユーザの購入済み商品」の中には、自社ないし自店舗（システム提供側）から購入されずに他社ないし他店舗から購入された商品（消費財）に関する情報も抽出及び管理可能となる点である。この点は、従前収集が困難であった未購入商品（自社から購入されたのではなく他社から購入された商品）に関する情報の補完となり、ユーザ（顧客）に対するより最適な商品提案等の実現に大きく寄与する。

［顧客別実績あり商品情報ＤＢの構造］
本発明の一実施形態において、未購入商品に関する情報が補完された顧客別実績あり商品情報ＤＢの構造は、次表に示されるとおりである。

上表において、「顧客ＩＤ」は顧客ごとの識別子であり、「商品ＳＫＵ」は商品を構成する単位ユニットでありＪＡＮコードなどの識別コードに紐付けることができる。
また、「購入」は購入有無フラグであり、一実施形態において自社（自店舗）から購入されたのか否かのフラグ情報とされる（有の場合、購入日付を登録可能である。以下、フラグ有りの項目について同様）。なお、「購入」には、店舗購入のほか、電子商取引を介した購入も含まれる。
また、「閲覧」は自社（自店舗）のＷｅｂサイト上での閲覧有無フラグであり、「検索」は自社（自店舗）のＷｅｂサイト上での検索有無フラグであり、「レビュー」は自社（自店舗）のＷｅｂサイト上でのレビュー記入有無フラグであり、有の場合はレビューコメントへのリンクないし紐付けがなされる。
そして、「画像」は画像登録有無フラグであり、「日付」は一例として該当レコードの最終更新日付等である。

ここで、ステップＳ８０５及びステップＳ８０６で抽出されてデータベースにて管理されることとなった「ユーザの購入済み商品」は、顧客Ｃ００１が購入した商品Ａ１１１及びＣ１１１であり、画像登録商品情報フラグがオン（○印）になっている。また、商品Ａ１１１及びＣ１１１については、購入有無フラグがオフになっていることから、商品Ａ１１１及びＣ１１１は、自社（自店舗）ではなく他社から購入された商品であることが分かる。
このように、自社（自店舗）ではなく他社から購入された商品（消費財）が既にユーザ宅等に備えられていることは別途フラグ（他社購入済みフラグ）を設けて管理させることもできる。

さらに、認識された商品（消費財）について、その残量（その商品容器の中身の残量をいう。以下、同じ）まで認識できる場合には、自社（自店舗）から購入された商品（消費財）であるか他社から購入された商品であるかに関わらず、その残量を数値化して（例えば、百分率などで）管理させることができる。この数値化された残量情報は、別途管理される図示しない「商品ごとの消費期間（商品として使い切ってしまわれるまでの平均期間）」あるいは図示しない「顧客ごとの消費期間（その顧客がその商品を使い切ってしまうまでの平均期間）」が参照されたうえで、後述するレコメンド情報に使用されることができる。

図１３に、本発明の一実施形態にかかる消費財調達支援システムにおけるユーザ（顧客）の端末への商品提案処理フローを示す。この処理は、システム運営者の任意のタイミングで開始させることができる。一実施形態において、定期／不定期に、あるいは、ユーザ（顧客）の購入・閲覧・検索・画像登録等のアクションをトリガとするなどである。
本発明はこれに限定されるものではないが、本発明の一実施形態にかかる消費財調達支援システムにおいて、本処理フローは商品提案サーバが主体となって処理する。

図１３のステップＳ１３０１において処理を開始すると、ステップＳ１３０２へ進み、提案根拠やそれに基づくユーザ（顧客）の実績情報が抽出される。これらは、一実施形態において顧客別実績あり商品情報データベースを参照して処理される。より具体的には、ある画像登録商品情報が更新されたタイミングでそれが自社（自店舗）からの購入品かどうかが確認され、他社購入品であった場合に残量や消費期間等の関係から自社からの購入提案が可能かどうかを判断する（ここでは割引率との関係等も考慮されうる）ための種々の情報が抽出される。

次に、ステップＳ１３０３へ進み、リピート購入商品管理ＤＢや商品レコメンド管理ＤＢが参照され、顧客へ最適な提案をするための前処理が実施される。そして、ステップＳ１３０４へ進み、顧客別に提案可能な商品の最適化処理が行われる。この最適化処理の結果は顧客別提案商品テーブルとして出力される（ステップＳ１３０５）。

ステップＳ１３０６では、所定のトリガ（定期／不定期、あるいは、ユーザのアクションをきっかけとしたもの）にもとづき、顧客への提案商品への通知がなされる。この通知例には、プッシュ通知や、アプリ画面・ホームページ上での通知や、メール案内等が挙げられる。

図１４に、ユーザ（顧客）端末への上述の通知例を示す。図１４には、ユーザ端末１４００の筐体１４１０上のディスプレイ部に、「通知」とのメッセージ１４２０とともに通知画面１４３０に表示されたお買い得情報が表示されている。
この通知を受けたユーザ（顧客）は、本発明の一実施形態にかかる消費財調達支援システムの判断により通知内容の商品（図１４中の「醤油Ａ」）を必要としている可能性が高く、このお買い得情報が有用な情報となる。

最後に、ステップＳ１３０７に進み、本フローとしては処理を終了する。

以上、具体例に基づき、消費財調達支援システム等の実施形態を説明したが、本発明の実施形態としては、システム又は装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ハードディスク、メモリカード）等としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。

さらに、プログラムは、必ずしも制御基板上のＣＰＵにおいてのみ、全ての処理が実施される必要はなく、必要に応じて基板に付加された拡張ボードや拡張ユニットに実装された別の処理ユニット（ＤＳＰ等）によってその一部又は全部が実施される構成とすることもできる。

本明細書（特許請求の範囲、要約、及び図面を含む）に記載された構成要件の全て及び／又は開示された全ての方法又は処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。

また、本明細書（特許請求の範囲、要約、及び図面を含む）に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一又は均等となる特徴の一例にすぎない。

さらに、本発明は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本発明は、本明細書（特許請求の範囲、要約、及び図面を含む）に記載された全ての新規な特徴又はそれらの組合せ、あるいは記載された全ての新規な方法又は処理のステップ、又はそれらの組合せに拡張することができる。

１１情報処理サーバ（群）
１２ａ〜１２ｄタブレット端末（ユーザ端末装置の一形態）
１３携帯電話（ユーザ端末装置の一形態）
１４〜１５ＰＣ（ユーザ端末装置及び／または店舗側端末の一形態）
１７ａ〜１７ｂ、１８通信回線
１９公衆回線（専用線、インターネット等）

Claims

顧客の端末と通信し、前記顧客の端末による商品（消費財）の撮影画像を管理する情報処理サーバを有する消費財調達支援システムであって、
前記情報処理サーバは、
前記顧客の端末により撮影された商品（消費財）の撮影画像に基づいて前記商品（消費財）の認識処理を行い、
前記認識処理を行った結果抽出された商品候補を前記顧客の端末上に表示させ、
前記顧客に前記商品候補から実際に購入済みの商品を選択させることにより、未購入商品を判定する
ことを特徴とする消費財調達支援システム。
前記情報処理サーバは、前記未購入商品に基づいて前記顧客への商品提案を行うことを特徴とする請求項１に記載のシステム。
前記顧客への前記商品提案は、前記未購入商品の残量に基づいて決定されることを特徴とする請求項１または２に記載のシステム。
顧客の端末と通信し、前記顧客の端末による商品（消費財）の撮影画像を管理する情報処理サーバを有する消費財調達支援システム上で実行されるプログラムであって、前記システム上で実行されたき、
前記情報処理サーバに、
前記顧客の端末により撮影された商品（消費財）の撮影画像に基づいて前記商品（消費財）の認識処理を行わせるステップと、
前記認識処理を行った結果抽出された商品候補情報を前記顧客の端末上に表示させるために送信させるステップと、
前記顧客の端末を介して前記顧客に前記商品候補から実際に購入済みの商品を選択させることにより、未購入商品を判定させるステップと
を実行するプログラム。
前記情報処理サーバに、前記未購入商品に基づいて前記顧客への商品提案を行わせることを特徴とする請求項４に記載のプログラム。
前記顧客への前記商品提案は、前記未購入商品の残量に基づいて決定されることを特徴とする請求項４または５に記載のプログラム。