JP2019117437A - 物品特定装置、物品特定方法、及びプログラム - Google Patents

物品特定装置、物品特定方法、及びプログラム Download PDF

Info

Publication number
JP2019117437A
JP2019117437A JP2017249720A JP2017249720A JP2019117437A JP 2019117437 A JP2019117437 A JP 2019117437A JP 2017249720 A JP2017249720 A JP 2017249720A JP 2017249720 A JP2017249720 A JP 2017249720A JP 2019117437 A JP2019117437 A JP 2019117437A
Authority
JP
Japan
Prior art keywords
article
information
image
candidate
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017249720A
Other languages
English (en)
Other versions
JP7167437B2 (ja
Inventor
昌希 内田
Masaki Uchida
昌希 内田
靖寿 松葉
Yasuhisa Matsuba
靖寿 松葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2017249720A priority Critical patent/JP7167437B2/ja
Publication of JP2019117437A publication Critical patent/JP2019117437A/ja
Application granted granted Critical
Publication of JP7167437B2 publication Critical patent/JP7167437B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】撮像画像に基づく被写体の認識精度を向上させることが可能な物品特定装置等を提供する。【解決手段】ユーザ端末は、物品を撮像して得られた撮像画像をサーバ装置へ送信する。サーバ装置は、識別器を用いて、ユーザ端末から取得した撮像画像中に存在する物品候補を特定する。サーバ装置は、特定した物品候補が正解であるか否かを示す正解情報をユーザ端末から取得する。サーバ装置は、ユーザ端末から取得した正解情報及び撮像画像を用いて、前記識別器の再学習を行う。【選択図】図2

Description

本発明は、物品特定装置、物品特定方法、及びプログラムに関する。
商品を撮像した撮像画像に対して画像認識を行い、撮像された商品を特定する技術がある。例えば特許文献1では、ディープラーニングによる認識モデルを用いて、事前に登録された商品から、撮像画像中の商品を認識するシステムが開示されている。特許文献1に開示されたシステムでは、所定の商品認識エリアに置かれた商品が例えば上から又は横から撮像され、得られた撮像画像に基づいて被写体の商品が特定される。
特許第6209717号公報
特許文献1のように認識モデルを用いて被写体の商品を認識する構成では、商品を撮像する際の撮像環境によっては高い精度で商品を認識することができない虞がある。例えば被写体の背景、被写体に対する撮像方向、周囲の明るさ等の撮像環境が異なる状況で商品が撮像された場合に、被写体の商品を正確に特定することは難しい。これは、認識モデルを構築する際に、あらゆる撮像環境で撮像した画像を用いることが難しいからである。
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、撮像画像に基づく被写体の認識精度を向上させることが可能な物品特定装置等を提供することにある。
本発明の一態様に係る物品特定装置は、画像を取得する画像取得部と、取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定する候補特定部と、特定した前記物品候補に係る情報を出力する出力部と、出力した前記物品候補が正解であるか否かを示す正解情報を取得する情報取得部と、取得した前記正解情報及び前記画像取得部が取得した画像を用いて、前記識別器の再学習を行う学習部とを備えることを特徴とする。
本発明の一態様にあっては、撮像画像に基づいて被写体の物品を認識する精度を向上させることができる。
物品特定システムの構成例を示す模式図である。 サーバ装置及びユーザ端末の構成例を示すブロック図である。 サーバ装置の制御部によって実現される機能を示すブロック図である。 物品特定システムが行う処理の説明図である。 ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。 ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。 ユーザ端末の画面例を示す模式図である。 ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。 ユーザ端末の画面例を示す模式図である。 ユーザ情報DBの構成例を示す模式図である。 ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。 ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。 ユーザ端末の画面例を示す模式図である。 ユーザ端末の画面例を示す模式図である。 ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。 ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。 ユーザ端末の画面例を示す模式図である。 受信履歴DBの構成例を示す模式図である。 サーバ装置が行う判断処理の手順を示すフローチャートである。 ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。
(実施形態1)
図1は、物品特定システムの構成例を示す模式図である。本実施形態では、商品等の物品を撮像して得られた撮像画像に基づいて、撮像画像中の被写体の物品を特定する物品特定システムについて説明する。物品特定システム100は、サーバ装置(情報処理装置)10及び複数のユーザ端末20を含み、サーバ装置10及び各ユーザ端末20は、インターネット等のネットワークNを介して通信接続されている。ユーザ端末20は、ユーザによる操作に従って商品等の物品を撮像し、得られた撮像画像をサーバ装置10へ送信する。サーバ装置10は、ユーザ端末20から取得した撮像画像に対して予め学習済みの学習モデルを参照し、撮像画像に含まれる物品(商品)を特定する。サーバ装置10は、複数台設けられてもよいし、1台の装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。
図2は、サーバ装置10及びユーザ端末20の構成例を示すブロック図である。サーバ装置10は、サーバコンピュータ、パーソナルコンピュータ等である。サーバ装置10は、制御部11、記憶部12、通信部13等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラムを適宜実行することにより、本開示の物品特定装置が行うべき種々の情報処理、制御処理等をサーバ装置10に行わせる。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部12に記憶される制御プログラムには、本開示のプログラムである物品特定プログラム12aが含まれる。また記憶部12は、例えば機械学習処理によって構築されたCNN(Convolution Neural Network)モデルの物品識別器12bを記憶している。物品識別器12bは、物品の撮像画像に基づいて、撮像画像中の被写体における外観の形状、色等の複数の特徴量から、被写体の物品が、予め学習された複数の物品のいずれであるかを特定するためのニューラルネットワークである。サーバ装置10は、物品識別器12bを用いて、撮像画像中の被写体の物品を特定する。
通信部13は、ネットワークNに接続するためのインタフェースであり、ネットワークNを介して外部装置との間で情報の送受信を行う。
本実施形態のサーバ装置10は、上述した構成のほかに表示部及び入力部等を備えていてもよい。なお、表示部は制御部11からの指示に従って各種の情報を表示し、入力部はユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。サーバ装置10は、通信部13を介して外部装置から物品特定プログラム12a及び物品識別器12bを取得して記憶部12に記憶してもよい。また、サーバ装置10が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から物品特定プログラム12a及び物品識別器12bを読み出して記憶部12に記憶してもよい。
ユーザ端末20は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。ユーザ端末20は、制御部21、記憶部22、通信部23、表示部24、入力部25、カメラ26等を含み、これらの各部はバスを介して相互に接続されている。制御部21は、CPU、MPU又はGPU等の1又は複数のプロセッサを含む。制御部21は、記憶部22に記憶してある制御プログラムを適宜実行することにより、ユーザ端末20が行うべき種々の情報処理、制御処理等を行う。
記憶部22は、RAM、フラッシュメモリ、ハードディスク、SSD等を含む。記憶部22は、制御部21が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部22は、制御部21が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部22に記憶される制御プログラムには、物品照会アプリケーションプログラム(以下、物品照会アプリという)22aが含まれる。物品照会アプリ22aは、例えば通信部23を介して外部装置から取得されて記憶部22に記憶される。なお、ユーザ端末20が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、物品照会アプリ22aは可搬型記憶媒体から読み出されて記憶部22に記憶されてもよい。
通信部23は、ネットワークNに接続するためのインタフェースであり、ネットワークNを介して外部装置との間で情報の送受信を行う。表示部24は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、制御部21からの指示に従って各種の情報を表示する。入力部25は、表示部24の表面に配置されたタッチセンサ又は押下式のボタンであり、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部21へ送出する。なお、タッチセンサである入力部25は、表示部24と一体としてタッチパネルを構成する。
カメラ26は、レンズ及び撮像素子等を有し、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ26は、制御部21からの指示に従って撮影を行い、取得した画像データ(撮影画像)を逐次制御部21へ送出する。なお、ユーザ端末20は、カメラ26が内蔵された構成のほかに、外部カメラの接続が可能な接続部を備える構成でもよい。この場合、接続部は、外部カメラにて取得された画像データの入力を受け付け、入力された画像データを逐次制御部21へ送出する。
ユーザ端末20は、カメラ26、表示部24、通信部23を有する情報機器であれば、どのような機器でもよい。
次に、サーバ装置10において制御部11が物品特定プログラム12aを実行することによって実現される機能について説明する。図3は、サーバ装置10の制御部11によって実現される機能を示すブロック図、図4は、物品特定システム100が行う処理の説明図である。サーバ装置10の制御部11は、記憶部12に記憶してある物品特定プログラム12aを実行した場合、候補特定部10a、表示情報生成部10b、学習部10cの各機能を実現する。なお、本実施形態では、これらの各機能を制御部11が物品特定プログラム12aを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
本実施形態の物品特定システム100では、ユーザはユーザ端末20を用いて商品等の物品を撮像し、得られた撮像画像をサーバ装置10へ送信する。サーバ装置10の制御部(画像取得部)11は、通信部13を介してユーザ端末20(外部装置)から撮像画像を取得する。図4Aは、ユーザ端末20を用いて撮像した画像の例を示す。ユーザ端末20は、図4Aに示すように物品(商品)の外観(パッケージ)を撮像する。図4Aに示す画像は、ペットボトルに入ったオレンジジュースの撮像画像であり、例えばペットボトルを持つユーザ(撮像者)の手及び背景等も撮像画像に含まれるが、図4Aでは省略している。
候補特定部10aは、ユーザ端末20から取得した撮像画像に対して物品識別器12bを用いて、撮像画像中の被写体の物品が、物品識別器12bで識別可能な商品(物品)のいずれであるかを特定する。なお、本実施形態の物品識別器12bは、例えばペットボトルに入った飲料及び調味料を含む所定の商品についての画像特徴量を学習済みであるとする。例えばサーバ装置10は、事前登録されている商品(例えば企業の自社商品)を撮像した教師用画像に、各商品を示す情報がラベル付けされた教師データを取得し、教師用画像から商品容器の色、形状等の特徴量を学習する機械学習処理を行い、各商品を識別する物品識別器12b(学習モデル)を構築しておく。なお、教師用画像は、商品を正面から撮像した画像、背面から撮像した画像等、複数の方向から撮像した画像を用いることが望ましい。
物品識別器12bは、予め登録された識別可能な商品のそれぞれについて、撮像画像中の被写体である可能性を示す確信度を算出する。物品識別器12bは、例えばsoftmax関数を用いて確信度を算出し、確信度は0から1までの数値で示される。候補特定部10aは、物品識別器12bで算出された各商品の確信度に基づいて、撮像画像中の被写体である可能性が高い商品(以下では商品候補という)を特定する。例えば候補特定部10aは、確信度が高い順に所定数(例えば3つ)の商品を抽出し、被写体の商品候補(物品候補)に特定してもよい。また候補特定部10aは、確信度が最も高い商品を被写体の商品候補に特定してもよい。更に候補特定部10aは、物品識別器12bで算出された各商品の確信度が所定値以上である商品を被写体の商品候補に特定してもよく、所定値以上の確信度である商品がない場合には被写体の商品候補はないと特定してもよい。
表示情報生成部10bは、候補特定部10aによる特定結果を示す表示情報を生成する。具体的には、表示情報生成部10bは、例えば図4Bに示すように、候補特定部10aによって特定された撮像画像中の被写体の各商品候補のサンプル画像を表示するための表示情報を生成する。図4Bに示す画面は、ユーザ端末20を用いて撮像された撮像画像24aと、候補特定部10aが被写体の商品候補に特定した各商品のサンプル画像24bとを表示する。サーバ装置10は、表示情報生成部10bが生成した表示情報を、候補特定部10aによる特定結果として通信部(出力部)13からユーザ端末20へ送信する。ユーザ端末20の制御部21は、通信部23を介してサーバ装置10から表示情報を受信し、受信した表示情報に基づいて図4Bに示すような画面を表示する。
ここで、本実施形態の物品特定システム100では、ユーザ端末20に表示された画面は、表示された商品候補のサンプル画像24bに対して入力部25を介して選択操作が可能に構成されている。ユーザ端末20のユーザは、表示されたサンプル画像24bを確認し、自身が撮像した商品(物品)のサンプル画像24bがあれば、このサンプル画像24bに対して選択操作を行う。表示中のサンプル画像24bに対して選択操作された場合、ユーザ端末20の制御部21は、選択操作された商品候補が被写体の商品(正解の商品)であることを受け付ける。図4Bに示す画面例では、ユーザは、例えば左側に表示されたオレンジジュースのサンプル画像24bをタップして選択する。そして制御部21は、入力部25を介してユーザが選択した商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付ける。ユーザ端末20は、受け付けた正解情報をサーバ装置10へ送信する。
サーバ装置10の制御部(情報取得部)11は、ユーザ端末20が送信した正解情報を取得する。学習部10cは、ユーザ端末20から受信した正解情報と、既にユーザ端末20から受信した撮像画像とに基づいて、物品識別器12bの再学習を行う。例えば学習部10cは、ユーザ端末20から受信した撮像画像を教師用画像とし、この教師用画像に、ユーザ端末20から受信した正解情報が示す正解の商品の情報をラベル付けした教師データを生成する。そして学習部10cは、生成した教師データを物品識別器12bに入力する。これにより、物品識別器12bは、教師用画像から商品容器の色、形状等の特徴量を学習して再構築を行う。
次に、物品特定システム100において各装置による物品特定処理について説明する。図5は、ユーザ端末20及びサーバ装置10が行う処理の手順を示すフローチャートである。以下の処理は、ユーザ端末20の記憶部22に記憶してある制御プログラムに従って制御部21によって実行され、サーバ装置10の記憶部12に記憶してある制御プログラムに従って制御部11によって実行される。
ユーザ端末20のユーザは、入力部25を介して物品照会アプリ22aの起動を指示する。ユーザ端末20の制御部21は、入力部25を介して物品照会アプリ22aの起動指示を受け付けた場合、記憶部22に記憶してある物品照会アプリ22aを起動する(S1)。物品照会アプリ22aを起動した場合、制御部21は、カメラ26を起動し(S2)、カメラ26にて撮像画像を取得する(S3)。制御部21は、例えば図4Aに示すように物品(商品)の外観(パッケージ)を撮像した画像を取得する。制御部21は、入力部25を介してユーザからの撮像指示を受け付けた場合に、撮像画像をカメラ26にて取得してもよい。起動中のカメラ26は所定のタイミングで画像を取得し、取得された画像は表示部24に送出されて表示される。よってユーザは、表示部24に表示された画像を見ながら、所望のタイミングで撮像指示を行うことができる。
制御部21は、取得した撮像画像をサーバ装置10へ送信する(S4)。なお、制御部21は、自端末20の識別情報と共に撮像画像を送信する。サーバ装置10の宛先は、例えば物品照会アプリ22aに組み込まれている。制御部21は、取得した撮像画像をサーバ装置10へ送信する際に、一旦撮像画像を表示部24に表示し、ユーザからの送信指示を受け付けた後にサーバ装置10へ送信してもよい。サーバ装置10の制御部11は、ユーザ端末20が送信した撮像画像を、ユーザ端末20の識別情報と共に取得する(S5)。
制御部11は、撮像画像に対して物品識別器12bを用いて、撮像画像中の被写体の物品が、物品識別器12bで識別可能な商品のいずれであるかを特定する(S6)。制御部11は、撮像画像中の被写体である可能性が高い商品候補を特定し、特定結果をユーザ端末20へ送信する(S7)。制御部11は、例えば図4Bに示すような、被写体の商品候補に特定した各商品のサンプル画像を表示するための表示情報を生成し、特定結果としてユーザ端末20へ送信する。ユーザ端末20の制御部21は、サーバ装置10から特定結果を取得し、例えば図4Bに示すような表示画面を表示部24に表示する(S8)。
制御部21は、表示画面において入力部25を介してユーザから商品候補に対する選択を受け付け、これにより、選択された商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付ける(S9)。そして制御部21は、受け付けた正解情報をサーバ装置10へ送信する(S10)。ここでも制御部21は、自端末20の識別情報と共に正解情報を送信する。
サーバ装置10の制御部(情報取得部)11は、ユーザ端末20が送信した正解情報をユーザ端末20の識別情報と共に取得する(S11)。そして制御部11は、ステップS5で取得した撮像画像と、ステップS11で取得した正解情報とに基づいて物品識別器12bの再学習を行う(S12)。なお、制御部11は、ステップS5で取得した撮像画像(教師用画像)に、ステップS11で取得した正解情報が示す正解の商品の情報をラベル付けして教師データを生成して記憶部12に記憶しておき、ある程度の量の教師データが蓄積された後に、物品識別器12bの再学習を行う構成でもよい。
本実施形態では、ユーザがユーザ端末20を用いて撮像した画像に基づいて、サーバ装置10が被写体の物品(商品)を特定し、特定された商品が正解であるか否かをユーザが入力する。これにより、サーバ装置10による商品の特定結果に対してユーザが評価を行うことができる。また、ユーザによる評価結果を用いて物品識別器12bが逐次学習を行うことができる。更に、ユーザがユーザ端末20を用いて撮像した画像を教師データに用いるので、被写体の背景、被写体に対する撮像方向、周囲の明るさ等の撮像環境が異なる状況で物品を撮像した撮像画像を教師データに用いることが可能となる。このような教師データを用いて物品識別器12bの再学習を行うので、物品識別器12bによる物品の識別精度を向上させることができる。
(実施形態2)
実施形態2の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関する情報を提供する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
本実施形態の物品特定システム100における物品特定処理について説明する。図6は、ユーザ端末20及びサーバ装置10が行う処理の手順の一部を示すフローチャート、図7は、ユーザ端末20の画面例を示す模式図である。図6に示す処理は、図5に示した実施形態1の処理において、ステップS12の処理の後にステップS21及びS22の処理を追加したものである。図6では、図5中のステップS1〜S10の図示を省略する。
本実施形態の物品特定システム100において、ユーザ端末20及びサーバ装置10は、図5中のステップS1〜S12の処理を行う。その後、サーバ装置10の制御部(物品情報出力部)11は、ステップS11で取得した正解情報が示す商品に応じた商品情報(物品情報)をユーザ端末20へ出力する(S21)。なお、物品識別器12bで識別可能な各商品に応じた商品情報は予め記憶部12に記憶されており、制御部11は、正解情報が示す商品に応じた商品情報を記憶部12から読み出してユーザ端末20へ出力する。制御部11は、例えば図7に示すように、ユーザが正解であると選択した商品のサンプル画像24cが表示され、この商品に関する商品情報を提供するウェブサイトへのリンクL1、及びこの商品を販売する販売サイトへのリンクL2が設定された表示画面を生成し、商品情報として出力する。
ユーザ端末20の制御部21は、サーバ装置10から商品情報を取得し、例えば図7に示すような表示画面を表示部24に表示し(S22)、処理を終了する。図7に示す画面において、入力部25を介していずれかのリンクL1,L2が選択操作された場合、ユーザ端末20の制御部21は、操作されたリンク先のサイトにアクセスし、所定の商品情報又は販売サイトのウェブページを取得する。なお、図7に示す画面において、商品情報を取得するためのリンクL1の代わりに商品情報自体が表示されてもよく、商品の販売サイトへのリンクL2の代わりに販売サイトのウェブページが表示されてもよい。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、ユーザがユーザ端末20を用いて撮像した商品に応じた情報をユーザ端末20で確認することができる。
(実施形態3)
実施形態3の物品特定システムについて説明する。本実施形態では、喘息等の呼吸器系疾患に対する薬剤を家庭で吸入するための吸入器を撮像して得られた撮像画像に基づいて、被写体の呼吸器を特定する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置10において、物品識別器12bは、呼吸器系疾患に対する薬剤を吸入するための吸入器についての画像特徴量を学習済みであるとする。例えばサーバ装置10は、事前登録されている吸入器を撮像した教師用画像に、各吸入器を示す情報がラベル付けされた教師データを取得し、教師用画像から吸入器の外観の色、形状等の特徴量を学習する機械学習処理を行い、各吸入器を識別する物品識別器12bを構築しておく。
本実施形態の物品特定システム100における物品特定処理について説明する。図8は、ユーザ端末20及びサーバ装置10が行う処理の手順の一部を示すフローチャート、図9は、ユーザ端末20の画面例を示す模式図である。図8に示す処理は、図5に示した実施形態1の処理において、ステップS7〜S8の処理の代わりにステップS31〜S34の処理を行うものである。図8では、図5中のステップS1〜S4の図示を省略する。
本実施形態の物品特定システム100において、ユーザ端末20及びサーバ装置10は、図5中のステップS1〜S6の処理を行う。そして、サーバ装置10の制御部11は、物品識別器12bによる特定結果に基づいて、撮像画像中の被写体である可能性が高い吸入器(以下では吸入器候補という)を複数特定する(S31)。ここでは、例えば、物品識別器12bが識別可能な吸入器のそれぞれについて算出した確信度が所定値以上であり、確信度が高い順に所定数(例えば2つ)の吸入器を吸入器候補に特定する。
本実施形態のサーバ装置10の制御部11は、被写体の吸入器候補に特定した各吸入器のサンプル画像を表示するための表示情報を生成する(S32)。制御部11は、例えば図9Aに示すように、ユーザ端末20(カメラ26)にて取得された撮像画像24aと、サーバ装置10で吸入器候補に特定された各吸入器のサンプル画像24bとを表示する表示画面を生成する。ここで本実施形態では、制御部11は、各吸入器候補のサンプル画像24bを、物品識別器12bが算出した確信度に応じた態様で表示する表示画面を生成する。図9Aには、物品識別器12bが算出した確信度が高いほど、各吸入器候補のサンプル画像24bを大きく表示する例を示す。図9Aに示す例では、右側のサンプル画像24bの吸入器候補よりも左側のサンプル画像24bの吸入器候補の方が確信度が高いので、左側のサンプル画像24bが右側のサンプル画像24bよりも大きく表示されている。なお、制御部11は、図9Bに示すように、各吸入器候補のサンプル画像24bに、物品識別器12bがそれぞれ算出した確信度を付加して表示する表示画面を生成してもよい。図9Bでは各吸入器候補に対応付けて0.6,0.3の確信度が表示されている。
制御部11は、生成した表示情報をユーザ端末20へ送信する(S33)。ユーザ端末20の制御部21は、サーバ装置10から表示情報を取得し、図9A,Bに示すような表示画面を表示部24に表示する(S34)。図9A,Bに示す画面においても、表示されたサンプル画像24bに対して入力部25を介して選択操作されることにより、選択操作された吸入器候補が被写体の吸入器(正解の吸入器)であることを受け付けるように構成されている。よって、ユーザ端末20の制御部21及びサーバ装置10の制御部11は、ステップS9以降の処理を行う。なお、ステップS9では、ユーザ端末20の制御部21は、図9A,Bに示す画面において、入力部25を介してユーザから吸入器候補に対する選択を受け付けた場合、選択された吸入器候補を示す情報と、この吸入器候補が正解の吸入器であることを示す情報とを含む正解情報を受け付ける。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、物品識別器12bで算出された確信度に応じた態様で、各吸入器候補のサンプル画像24bを表示できるので、確信度の高い吸入器候補を目立つように表示することができる。これにより、ユーザが表示中の吸入器候補から正解の吸入器を選択する際に、より容易に適切な吸入器の選択が可能となる。
本実施形態の構成は実施形態2にも適用可能であり、実施形態2に適用した場合であっても実施形態2と同様の効果が得られる。実施形態2に適用した場合、例えばサーバ装置10の記憶部12に、各吸入器の使用方法、取り扱い方法等の吸入器情報を記憶しておく。そして、サーバ装置10は、ユーザ端末20から取得した正解情報が示す吸入器に応じて、吸入器の使用方法、取り扱い方法等の吸入器情報をユーザ端末20へ出力する。これにより、ユーザがユーザ端末20を用いて撮像した被写体の吸入器に関する情報をユーザ端末20で確認することができる。よって、ユーザは、吸入器の使用方法、取り扱い方法等を自宅等で再確認することができ、誤った方法での使用を回避できる。なお、吸入器に関する情報は、図7に示すように、所定のウェブサイトへのリンクが設定された画面情報であってもよい。
(実施形態4)
実施形態4の物品特定システムについて説明する。本実施形態では、吸入器を撮像して得られた撮像画像に基づいて被写体の呼吸器を特定するシステムであって、予めユーザ登録しているユーザによって利用される物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置10は、物品特定システム100を利用するためにユーザ登録したユーザのユーザ情報が登録してあるユーザ情報データベース(以下では、ユーザ情報DBという)を記憶部12に記憶している。
図10は、ユーザ情報DBの構成例を示す模式図である。ユーザ情報DBには、ユーザ登録したユーザのユーザID、ユーザ認証用のパスワード、薬品情報が対応付けて登録されている。サーバ装置10において、制御部11は、通信部13を介して例えばユーザ端末20からユーザ情報の変更又は追加を受け付けた場合、ユーザ情報DBの登録内容を更新する。なお、薬品情報は、例えば各ユーザに処方されている薬剤に関する情報及び服用タイミングを含み、薬剤を処方した主治医等によってサーバ装置10のユーザ情報DBに登録されてもよい。また、薬品情報は、薬剤の服用に使用する吸入器の使用方法、取り扱い方法等の吸入器情報を含んでも良い。ユーザ情報DBは、サーバ装置10に接続された外部の記憶装置等に記憶されてもよく、ネットワークNを介してサーバ装置10に接続された別の記憶装置に記憶されてもよい。
本実施形態の物品特定システム100における物品特定処理について説明する。図11及び図12は、ユーザ端末20及びサーバ装置10が行う処理の手順を示すフローチャート、図13は、ユーザ端末20の画面例を示す模式図である。
ユーザ端末20の制御部21は、入力部25を介して物品照会アプリ22aの起動指示を受け付けた場合、記憶部22に記憶してある物品照会アプリ22aを起動する(S41)。物品照会アプリ22aを起動した場合、制御部21は、カメラ26を起動し(S42)、撮像画像を取得する(S43)。制御部21は、ユーザ情報を入力するための入力画面を表示部24に表示する(S44)。制御部21は、例えば図13Aに示すように、ステップS43でカメラ26にて取得した撮像画像24dを表示し、ユーザID及びパスワードの入力欄を有する入力画面を表示する。
ユーザは、入力画面において入力部25を介してユーザID及びパスワードを入力する。これにより、制御部21は、入力部25を介してユーザID及びパスワードのユーザ情報を受け付ける(S45)。図13Aに示す入力画面には送信ボタンが表示されており、ユーザ端末20の制御部21は、ユーザが入力部25を介して送信ボタンを操作することにより、送信指示を受け付ける。制御部21は、送信指示を受け付けた場合、ステップS43で取得した撮像画像と、ステップS45で受け付けたユーザ情報とをサーバ装置10へ送信する(S46)。なお、制御部21は、撮像画像とユーザ情報とを各別にサーバ装置10へ送信してもよい。例えば、制御部21はユーザ情報を先にサーバ装置10へ送信し、サーバ装置10にてユーザ認証された場合に、制御部21が撮像画像をサーバ装置10へ送信する構成でもよい。また、サーバ装置10にて一旦ユーザ認証された後は、制御部21は撮像画像のみをサーバ装置10へ送信すればよい。
サーバ装置10の制御部11は、ユーザ端末20が送信した撮像画像及びユーザ情報を取得する(S47)。制御部11は、取得した撮像画像に対して物品識別器12bを用いて、撮像画像中の被写体(物品)が、物品識別器12bで識別可能な吸入器のいずれであるかを特定する(S48)。なお、制御部11は、ユーザ端末20から取得したユーザ情報に基づいてユーザ認証を行い、認証できた場合に、ステップS48以降の処理を行うようにしてもよい。具体的には、制御部11は、ユーザ端末20から取得したユーザID及びパスワードをユーザ情報DBの登録情報と比較照合し、ユーザ情報DBに登録されていた場合、認証できたと判断してもよい。
制御部11は、ユーザ認証を行った場合、ユーザ情報DBに記憶してあるユーザ情報に含まれる薬品情報を考慮して、撮像画像中の被写体が、物品識別器12bで識別可能な吸入器のいずれであるかを特定してもよい。撮像画像中の被写体は、この画像を撮像したユーザに処方された薬剤を服用するための吸入器である可能性が高い。よって、物品識別器12bにて特定した吸入器候補の中に、ユーザ情報に含まれる薬品情報のいずれかがある場合、被写体は薬品情報が示す吸入器である可能性が高い。従って、制御部11は、物品識別器12bにて特定した吸入器候補から、ユーザ情報の薬品情報に含まれる吸入器を抽出し、抽出した吸入器を被写体の吸入器候補に特定する。
制御部11は、特定結果をユーザ端末20へ送信する(S49)。ここでは、制御部11は、図4Bに示すような画面を表示するための表示情報を生成して送信する。なお、ここでは、図4Bに示す画面において、商品候補のサンプル画像24bは、吸入器のサンプル画像である。ユーザ端末20の制御部21は、サーバ装置10から特定結果を取得し、図4Bに示すような表示画面を表示部24に表示する(S50)。そして制御部21は、表示画面において入力部25を介してユーザから吸入器候補に対する選択を受け付けた場合、選択された吸入器候補を示す情報と、この吸入器候補が正解であることを示す情報とを含む正解情報を受け付ける(S51)。そして制御部21は、受け付けた正解情報をサーバ装置10へ送信する(S52)。
サーバ装置10の制御部11は、ユーザ端末20が送信した正解情報を取得し(S53)、ステップS47で取得した撮像画像と、ステップS53で取得した正解情報とに基づいて物品識別器12bの再学習を行う(S54)。その後、サーバ装置10の制御部11は、ステップS53で取得した正解情報が示す吸入器について、ユーザ情報DBに登録してある薬品情報を読み出し、ユーザ端末20へ出力する(S55)。制御部11は、例えば図13Bに示すような画面を表示するための表示情報を生成してユーザ端末20へ出力する。図13Bに示す画面では、ユーザが正解であると選択した吸入器のサンプル画像24e、及びこの吸入器を用いた薬剤の服用タイミングに関する情報が表示され、この吸入器の使用方法を案内するウェブサイトへのリンクL3、及びこの吸入器を用いて服用する薬剤に関する薬品情報を提供するウェブサイトへのリンクL4が設定されている。
ユーザ端末20の制御部21は、サーバ装置10から薬品情報を取得し、例えば図13Bに示すような表示画面を表示部24に表示し(S56)、処理を終了する。なお、図13Bに示す画面において、リンクL3の代わりに吸入器の使用方法自体が表示されてもよく、リンクL4の代わりに薬剤に関する薬品情報自体が表示されてもよい。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、予めユーザ登録しておくことにより、ユーザがユーザ端末20を用いて撮像した被写体(吸入器)に関する情報だけでなく、ユーザに応じた情報をユーザ端末20のユーザに提供することができる。また本実施形態において、サーバ装置10が、ユーザ端末20からの撮像画像に基づいて特定した被写体の物品(商品、薬品)の受信履歴(特定履歴)を蓄積し、蓄積した受信履歴を、各ユーザの物品の使用履歴又は購入履歴として扱ってもよい。この場合、例えばサーバ装置10は、蓄積した受信履歴から、各ユーザの物品の使用頻度又は購入頻度を算出し、算出した使用頻度又は購入頻度に基づいて物品の宣伝メッセージ等をユーザ毎に送信することができる。よって、ユーザ毎に宣伝を行うことができ、また、使用経験又は購入経験のあるユーザに効率良く宣伝することができる。本実施形態の構成は実施形態2,3にも適用可能であり、実施形態2,3に適用した場合であっても実施形態2,3と同様の効果が得られる。
(実施形態5)
実施形態5の物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。図14は、ユーザ端末20の画面例を示す模式図である。本実施形態では、サーバ装置10が物品識別器12bによる商品候補(吸入器候補)の特定結果をユーザ端末20へ送信する際に、制御部11は、図14に示すような画面を表示するための表示情報を生成して送信する。図14に示す画面では、吸入器候補に特定された各吸入器のサンプル画像24bが、撮像画像24a中の被写体の向き(被写体に対する撮像方向)と同じ向きになるように表示されている。なお、本実施形態のサーバ装置10では、サンプル画像24bとして、物品識別器12bにて識別可能な物品(吸入器)を複数の方向から撮像した画像を記憶部12に記憶している。
本実施形態の物品特定システムにおいて、ユーザ端末20及びサーバ装置10は、実施形態1で説明した図5に示す処理と同様の処理を行う。なお、図5中のステップS7において、本実施形態のサーバ装置10の制御部11は、図14に示すように、物品識別器12bによって吸入器候補に特定された吸入器のサンプル画像24bを、撮像画像24a中の被写体と同じ向きに表示するための表示情報を生成する。例えば制御部11は、吸入器候補の複数のサンプル画像24bから、撮像画像24a中の被写体と同じ向きで撮像されたサンプル画像24bを記憶部12から読み出し、読み出したサンプル画像24bを用いて表示情報を生成する。また制御部11は、吸入器候補のサンプル画像24bに対して、撮像画像24a中の被写体と同じ向きとなるように画像処理を行い、処理後のサンプル画像24bを用いて表示情報を生成してもよい。また、サンプル画像24bとして、それぞれの吸入器の全周面を撮像した画像を合成した3Dモデル画像を用いてもよい。この場合、制御部11は、3Dモデル画像のサンプル画像24bから、撮像画像24a中の被写体と同じ向きから吸入器を見た状態の2D画像を生成し、生成した2D画像を用いて表示情報を生成してもよい。
本実施形態では、サーバ装置10で吸入器候補に特定された各吸入器のサンプル画像24bが、ユーザ端末20で撮像された被写体の撮像状態に応じた状態で表示される。具体的には、サンプル画像24bが、ユーザ端末20で撮像された被写体と同じ向きで表示されるので、各吸入器候補をより見易く表示できる。これにより、ユーザが表示中の吸入器候補から正解の吸入器を選択する際に、より容易に適切な吸入器の選択が可能となる。
本実施形態において、各商品(吸入器)のサンプル画像に、各商品(吸入器)の3Dモデル画像を用いた場合、例えばユーザが表示画面中のサンプル画像24bに対してスライド操作等の操作を行うことにより、表示中のサンプル画像24bの向きを変更することができる。例えば、ユーザが表示画面中のサンプル画像24bに対して操作を行った場合、ユーザ端末20は、ユーザの操作に係る操作情報をサーバ装置10へ送信する。そして、サーバ装置10の制御部11は、受信した操作情報に応じた向きにサンプル画像24bを回転させてユーザ端末20へ送信する。これにより、3次元においてユーザが所望する方向から商品(吸入器)を見た状態のサンプル画像24bをユーザ端末20に表示させることができる。よって、ユーザが表示中の商品候補(吸入器候補)から正解を選択する際に、各商品候補を見分けやすく、選択間違いを抑制できる。なお、ユーザ端末20の制御部21が、ユーザの操作に応じて、表示中のサンプル画像24bを回転させる処理を行ってもよい。
(実施形態6)
実施形態6の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関して物品情報、販売サイト、問い合わせ先を案内する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
本実施形態の物品特定システム100における物品特定処理について説明する。図15及び図16は、ユーザ端末20及びサーバ装置10が行う処理の手順を示すフローチャート、図17は、ユーザ端末20の画面例を示す模式図である。本実施形態の物品特定システム100において、ユーザ端末20の制御部21は、入力部25を介して物品照会アプリ22aの起動指示を受け付けた場合、記憶部22に記憶してある物品照会アプリ22aを起動する(S61)。物品照会アプリ22aを起動した場合、制御部21は、図17に示すような選択画面を表示部24に表示する(S62)。図17に示す選択画面は、物品特定システム100にて特定された物品に関して行うべき処理を選択するための画面であり、物品の使い方を調べる処理、同じ物品を買う処理、物品に関する問い合わせを行う処理の選択が可能に構成されている。
制御部21は、選択画面において入力部25を介してユーザが選択した処理を受け付ける(S63)。そして制御部21は、カメラ26を起動し(S64)、カメラ26にて撮像画像を取得する(S65)。制御部21は、取得した撮像画像と、ステップS63で受け付けた処理を示す処理情報とをサーバ装置10へ送信する(S66)。サーバ装置10の制御部11は、ユーザ端末20が送信した撮像画像及び処理情報を取得する(S67)。制御部11は、取得した撮像画像に対して物品識別器12bを用いた物品特定を行い(S68)、撮像画像中の被写体である可能性が高い商品を特定する。制御部11は、特定結果をユーザ端末20へ送信する(S69)。
ユーザ端末20の制御部21は、サーバ装置10から特定結果を取得し、例えば図4に示すような表示画面を表示部24に表示する(S70)。制御部21は、表示画面において入力部25を介してユーザによって選択された商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付け(S71)、受け付けた正解情報をサーバ装置10へ送信する(S72)。サーバ装置10の制御部11は、ユーザ端末20が送信した正解情報を取得し(S73)、ステップS67でユーザ端末20から取得した撮像画像と、ステップS73で取得した正解情報とに基づいて物品識別器12bの再学習を行う(S74)。
また制御部11は、ステップS73で取得した正解情報が示す商品について、ステップS67でユーザ端末20から取得した処理情報が示す処理に応じた商品情報を取得する(S75)。なお、各商品の各処理に応じた商品情報は、例えば記憶部12に記憶されており、制御部11は商品情報を記憶部12から読み出す。各商品の各処理に応じた商品情報は、サーバ装置10に接続された外部の記憶装置、又はネットワークNを介してサーバ装置10と通信可能な外部の記憶装置等に記憶されてもよい。この場合、制御部11は、商品情報を外部の記憶装置から取得する。制御部11は、取得した商品情報をユーザ端末20へ出力する(S76)。
ユーザ端末20の制御部21は、サーバ装置10から商品情報を取得し、表示画面を表示部24に表示する(S77)。ここでの表示画面は、図17に示す選択画面を介してユーザが選択した処理に応じた情報を表示する。例えば図17に示す選択画面を介して物品の使い方を調べる処理が選択されていた場合、ユーザ端末20は、図7中のリンクL1が設定された表示画面をサーバ装置10から取得して表示する。また、図17に示す選択画面を介して同じ物品を買う処理が選択されていた場合、ユーザ端末20は、図7中のリンクL2が設定された表示画面をサーバ装置10から取得して表示する。なお、それぞれの表示画面において、リンクL1の代わりに商品の使い方を含む商品情報自体が表示されてもよく、リンクL2の代わりに販売サイトのウェブページが表示されてもよい。また、図17に示す選択画面を介して物品に関する問い合わせを行う処理が選択されていた場合、ユーザ端末20は、問い合わせ先の電話番号が表示された表示画面、又はネットワークNを介して問い合わせを行うウェブサイトへのリンクが設定された表示画面等をサーバ装置10から取得して表示する。なお、ユーザ端末20は、所定のコールセンターに電話の発信を行ってもよい。
本実施形態では、上述した実施形態1と同様の効果が得られる。また本実施形態では、ユーザ端末20が物品照会アプリ22aを起動した時点で、ユーザが撮像した物品(商品)に対して行いたい処理を選択するので、ユーザは選択した処理に応じた情報をユーザ端末20で確認することができる。本実施形態の構成は実施形態2〜5にも適用可能であり、実施形態2〜5に適用した場合であっても実施形態2〜5と同様の効果が得られる。なお、実施形態2〜5に適用した場合、ユーザ端末20は、物品照会アプリ22aを起動した後に、図17に示すような選択画面を表示し、サーバ装置10で商品を特定した後に行うべき処理の選択を受け付ける構成とすればよい。
(実施形態7)
実施形態7の物品特定システムについて説明する。本実施形態では、サーバ装置10がユーザ端末20から受信した撮像画像(教師用画像)に正解情報に基づくラベル付けを行った教師データを物品識別器12bの再学習に利用するか否かを、正解情報に応じて切り替える物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
本実施形態のユーザ端末20及びサーバ装置10は、図5に示した実施形態1の処理と同様の処理を行う。なお、本実施形態のサーバ装置10は、図5中のステップS11の処理の後、ステップS5でユーザ端末20から取得した撮像画像と、ステップS11でユーザ端末20から取得した正解情報とを、記憶部12に記憶してある受信履歴データベース(以下、受信履歴DBという)に蓄積する。図18は、受信履歴DBの構成例を示す模式図である。受信履歴DBには、撮像画像及び正解情報の送信元のユーザ端末20又はユーザを識別するためのユーザ識別情報、受信した撮像画像及び正解情報が対応付けて登録されている。正解情報は、ユーザ端末20においてユーザによって正解の商品であると選択された商品候補を示す商品IDと、この商品候補に対してサーバ装置10の物品識別器12bが算出された確信度とを含む。なお、サーバ装置10からユーザ端末20へ送信される特定結果に、各商品候補の確信度が含まれる場合、ユーザ端末20からサーバ装置10へ送信される正解情報に、正解の商品(選択された商品候補)に対する確信度を含めてもよい。
本実施形態のサーバ装置10は、図18に示すように受信履歴を蓄積しており、所定のタイミングで、受信履歴に基づいて、撮像画像を送信するユーザ端末20又はユーザ端末20のユーザが、物品識別器12bの学習対象とすべきであるか否かの判断処理を行う。この判断処理は、例えば1日毎、1週間毎のように定期的に行ってもよく、所定量の受信履歴が蓄積される都度行ってもよい。
図19は、サーバ装置10が行う判断処理の手順を示すフローチャートである。サーバ装置10の制御部11は、判断処理を行うタイミングが到来した場合、図18に示す受信履歴DBから、1つのユーザ識別情報に対応する正解情報を読み出す(S81)。制御部11は、読み出した正解情報において、確信度が所定値未満(例えば0.5未満)の正解情報の数と、確信度が所定値以上の正解情報の数とを計数し、確信度が所定値未満の正解情報の割合を算出する(S82)。制御部11は、算出した割合が所定割合以上(例えば60%以上)であるか否かを判断し(S83)、所定割合以上であると判断した場合(S83:YES)、このユーザ識別情報を、物品識別器12bの学習対象としないユーザ又はユーザ端末20の情報として記憶部12に記憶する(S84)。確信度が所定値未満の正解情報の割合が所定割合以上である場合、このユーザは、複数の商品候補に対して悪意を持って、正解ではない商品候補を正解であると選択している可能性が高い。よって、確信度が低い商品候補を正解の商品であると選択する割合が高いユーザからの情報(撮像画像及び正解情報)を、物品識別器12bの学習対象から除外する。
ステップS82で算出した割合が所定割合未満であると判断した場合(S83:NO)、制御部11は、ステップS84の処理をスキップする。制御部11は、受信履歴DBに記憶してある全ての受信履歴に対して処理を終了したか否かを判断しており(S85)、終了していないと判断した場合(S85:NO)、ステップS81の処理に戻る。そして、制御部11は、未処理のユーザ識別情報について、ステップS81〜S84の処理を行う。全ての受信履歴に対して処理を終了したと判断した場合(S85:YES)、制御部11は処理を終了する。このような処理により、サーバ装置10は、物品識別器12bの学習対象とすべきでないユーザ又はユーザ端末20の識別情報を記憶部12に記憶することができる。
上述したように、本実施形態では、サーバ装置10が、物品識別器12bの学習対象とすべきでないユーザ又はユーザ端末20のユーザ識別情報を記憶部12に記憶している。このような構成の物品特定システム100における物品特定処理について説明する。図20は、ユーザ端末20及びサーバ装置10が行う処理の手順の一部を示すフローチャートである。図20に示す処理は、図5に示した実施形態1の処理において、ステップS11の処理とステップS12の処理との間にステップS91の処理を追加したものである。図20では、図5中のステップS1〜S10の図示を省略する。
本実施形態の物品特定システム100において、ユーザ端末20及びサーバ装置10は、図5中のステップS1〜S11の処理を行う。そして、サーバ装置10の制御部11は、ステップS5で取得した撮像画像及びステップS11で取得した正解情報の送信元が、物品識別器12bの学習対象とすべきユーザ又はユーザ端末20であるか否かを判断する(S91)。具体的には、制御部11は、送信元のユーザ端末20又はユーザ端末20のユーザの識別情報を特定し、特定した識別情報が、物品識別器12bの学習対象とすべきでないユーザ又はユーザ端末20の識別情報として記憶部12に記憶してあるか否かを判断する。特定した識別情報が、学習対象とすべきでないユーザ又はユーザ端末20の識別情報として記憶部12に記憶されていない場合、ここでの送信元は学習対象とすべきユーザ又はユーザ端末20であると判断する。
制御部11は、送信元が学習対象とすべきユーザ又はユーザ端末20であると判断した場合(S91:YES)、ステップS12の処理に移行し、ユーザ端末20から取得した撮像画像及び正解情報に基づいて物品識別器12bの再学習を行う(S12)。送信元が学習対象とすべきユーザ又はユーザ端末20でないと判断した場合(S91:NO)、制御部11はステップS12の処理をスキップして処理を終了する。
本実施形態では、ユーザ端末20で撮像した画像に基づいてサーバ装置10の物品識別器12bが特定した被写体の商品候補に対して、正解ではない商品候補を正解であると故意に選択した可能性の高いユーザを特定できる。また、このようなユーザによって得られた教師データを物品識別器12bの学習対象から除外することができ、物品識別器12bによる物品識別精度の低下を回避できる。本実施形態の構成は実施形態2〜5にも適用可能であり、実施形態2〜5に適用した場合であっても実施形態2〜5と同様の効果が得られる。
上述した各実施形態では、飲料商品を撮像した画像に基づいてサーバ装置10がいずれの商品であるかを特定する構成や、吸入器を撮像した画像に基づいてサーバ装置10がいずれの吸入器であるかを特定する構成について説明した。本実施形態の物品特定システム100は、種々の物品の特定処理に適用可能である。例えば、物品識別器12bで識別可能な対象物の種類、分類を決定し、種類、分類毎に対象物を撮像した教師用画像に、各対象物を示す情報がラベル付けされた教師データを用いて機械学習処理を行うことにより、種類、分類毎に物品識別器12bを構築しておく。また、ユーザ端末20に、それぞれの物品識別器12bに応じた物品照会アプリ22aを適宜インストールすることにより、それぞれの物品照会アプリ22aを介して、対応する物品識別器12bを有するサーバ装置10と通信して物品特定処理を行うことが可能となる。対象物の種類は例えば飲料、調味料、お菓子、洗剤、化粧品、吸入器、薬品等、様々なものとすることができる。
上述した各実施形態において、サーバ装置10の物品識別器12bの再学習を行う際に、ユーザによって正解であると選択された物品について既に物品識別器12bが0.8以上の確信度を算出している場合、このときの撮像画像及び正解情報による教師データを、物品識別器12bの学習対象から除外してもよい。このように、ユーザ端末20で撮像された画像において、物品識別器12bの再学習の際に教師データに用いるか否かを適宜切り替えるように構成してもよい。
上述した各実施形態では、サーバ装置10が、ユーザ端末20から取得した撮像画像中の被写体の物品候補を特定し、特定結果をユーザ端末20へ送信し、正解である物品を示す正解情報をユーザ端末20から取得する構成について説明した。このほかに、例えばサーバ装置10が、通信ケーブルを介して接続されたカメラ等の撮像装置から取得した撮像画像、又は内蔵されたカメラにて撮像した撮像画像に対して、物品識別器12bを用いて被写体の物品候補を特定する構成としてもよい。また、サーバ装置10は、特定結果を、自装置10に設けられた表示部に表示してもよく、表示した物品候補中の正解の物品に対する選択を、自装置10に設けられた入力部を介して受け付けてもよい。このような構成とした場合であっても、サーバ装置10は、物品識別器12bを用いた物品の特定結果に対するユーザの評価を取得することができる。また、種々の撮像環境で得られた撮像画像を教師データに用いて物品識別器12bの再学習を行うことができるので、物品識別器12bによる物品の識別精度を向上させることができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
100 物品特定システム
10 サーバ装置(物品特定装置、情報処理装置)
11 制御部
12 記憶部
20 ユーザ端末(外部装置)
21 制御部
22 記憶部
10a 候補特定部
10c 学習部
12a 物品特定プログラム
12b 物品識別器

Claims (10)

  1. 画像を取得する画像取得部と、
    取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定する候補特定部と、
    特定した前記物品候補に係る情報を出力する出力部と、
    出力した前記物品候補が正解であるか否かを示す正解情報を取得する情報取得部と、
    取得した前記正解情報及び前記画像取得部が取得した画像を用いて、前記識別器の再学習を行う学習部と
    を備えることを特徴とする物品特定装置。
  2. 前記候補特定部は、複数の前記物品候補のそれぞれに対して前記画像中の物品である可能性を示す確信度を算出し、算出した確信度が高い複数の物品候補を特定し、
    前記出力部は、特定された前記物品候補を、それぞれの前記確信度に応じた態様で表示する指示を出力し、
    前記情報取得部は、前記複数の物品候補のうちの正解である物品を示す正解情報を取得する
    ことを特徴とする請求項1に記載の物品特定装置。
  3. 前記情報取得部が取得した前記正解情報に基づいて正解である物品に応じた物品情報を出力する物品情報出力部
    を備えることを特徴とする請求項1又は2に記載の物品特定装置。
  4. 前記画像取得部は、前記画像及びユーザ情報を取得し、
    前記物品情報出力部は、取得した前記ユーザ情報に応じた前記物品情報を出力する
    ことを特徴とする請求項3に記載の物品特定装置。
  5. 前記画像取得部は、前記画像及びユーザ情報を取得し、
    前記出力部は、前記候補特定部が特定した前記物品候補から前記ユーザ情報に応じた物品候補を抽出し、抽出した前記物品候補に係る情報を出力する
    ことを特徴とする請求項1から4までのいずれかひとつに記載の物品特定装置。
  6. 前記出力部は、前記画像中の物品の撮像方向に応じた、前記候補特定部が特定した前記物品候補の画像を出力する
    ことを特徴とする請求項1から5までのいずれかひとつに記載の物品特定装置。
  7. 前記識別器は、複数の物品画像から複数の物品のそれぞれにおける特徴量を学習させた識別器であり、
    前記候補特定部は、前記複数の物品から前記画像中の物品候補を特定する
    ことを特徴とする請求項1から6までのいずれかひとつに記載の物品特定装置。
  8. 前記画像取得部は、外部装置で撮像された撮像画像を取得し、
    前記候補特定部は、取得した前記撮像画像中の被写体に対応する物品候補を特定する
    ことを特徴とする請求項1から7までのいずれかひとつに記載の物品特定装置。
  9. 画像を取得し、
    取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定し、
    特定した前記物品候補に係る情報を出力し、
    出力した前記物品候補が正解であるか否かを示す正解情報を取得し、
    取得した前記正解情報及び前記画像を用いて、前記識別器の再学習を行う
    処理を情報処理装置が実行することを特徴とする物品特定方法。
  10. コンピュータに、
    画像を取得し、
    取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定し、
    特定した前記物品候補に係る情報を出力し、
    出力した前記物品候補が正解であるか否かを示す正解情報を取得し、
    取得した前記正解情報及び前記画像を用いて、前記識別器の再学習を行う
    処理を実行させることを特徴とするプログラム。
JP2017249720A 2017-12-26 2017-12-26 物品特定装置 Active JP7167437B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017249720A JP7167437B2 (ja) 2017-12-26 2017-12-26 物品特定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017249720A JP7167437B2 (ja) 2017-12-26 2017-12-26 物品特定装置

Publications (2)

Publication Number Publication Date
JP2019117437A true JP2019117437A (ja) 2019-07-18
JP7167437B2 JP7167437B2 (ja) 2022-11-09

Family

ID=67304439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017249720A Active JP7167437B2 (ja) 2017-12-26 2017-12-26 物品特定装置

Country Status (1)

Country Link
JP (1) JP7167437B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541907A (zh) * 2020-04-23 2020-08-14 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质
WO2021145228A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置および情報処理方法
JP2021114097A (ja) * 2020-01-17 2021-08-05 株式会社日立ソリューションズ・クリエイト 画像判定システム
JP2021113457A (ja) * 2020-01-20 2021-08-05 株式会社大林組 地質評価システム、地質評価方法及び地質評価プログラム
JP2021163256A (ja) * 2020-03-31 2021-10-11 株式会社デンソーテン 情報処理方法および情報処理プログラム
JP7147087B1 (ja) 2022-02-09 2022-10-04 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP2017130216A (ja) * 2008-08-08 2017-07-27 株式会社ニコン 検索支援システム、検索支援方法、及び検索支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208372A1 (en) * 2001-11-05 2004-10-21 Boncyk Wayne C. Image capture and identification system and process
JP2017130216A (ja) * 2008-08-08 2017-07-27 株式会社ニコン 検索支援システム、検索支援方法、及び検索支援プログラム
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
JP2017111731A (ja) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7357551B2 (ja) 2020-01-17 2023-10-06 株式会社日立ソリューションズ・クリエイト 画像判定システム
WO2021145228A1 (ja) * 2020-01-17 2021-07-22 ソニーグループ株式会社 情報処理装置および情報処理方法
JP2021114097A (ja) * 2020-01-17 2021-08-05 株式会社日立ソリューションズ・クリエイト 画像判定システム
JP2021113457A (ja) * 2020-01-20 2021-08-05 株式会社大林組 地質評価システム、地質評価方法及び地質評価プログラム
JP7424066B2 (ja) 2020-01-20 2024-01-30 株式会社大林組 地質評価システム、地質評価方法及び地質評価プログラム
JP2021163256A (ja) * 2020-03-31 2021-10-11 株式会社デンソーテン 情報処理方法および情報処理プログラム
CN111541907B (zh) * 2020-04-23 2023-09-22 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质
CN111541907A (zh) * 2020-04-23 2020-08-14 腾讯科技(深圳)有限公司 物品显示方法、装置、设备及存储介质
JP2023116326A (ja) * 2022-02-09 2023-08-22 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム
JP2023116379A (ja) * 2022-02-09 2023-08-22 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム
WO2023153400A1 (ja) * 2022-02-09 2023-08-17 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム
JP7394191B2 (ja) 2022-02-09 2023-12-07 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム
JP7147087B1 (ja) 2022-02-09 2022-10-04 日本発條株式会社 情報処理システム、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP7167437B2 (ja) 2022-11-09

Similar Documents

Publication Publication Date Title
JP2019117437A (ja) 物品特定装置、物品特定方法、及びプログラム
US11915288B2 (en) Useful and novel shopping application
CN107924522B (zh) 用于购买的增强现实设备、系统和方法
US9832353B2 (en) Methods for encoding, decoding and interpreting auxiliary data in media signals
US10346893B1 (en) Virtual dressing room
CN110826528A (zh) 时尚偏好分析
WO2016003506A1 (en) Account recommendations
KR102474047B1 (ko) 사진 또는 비디오에서 잠재적 목록에 대한 관심 수집
US20130254066A1 (en) Shared user experiences
WO2015186393A1 (ja) 情報処理装置、情報提示方法、プログラム、およびシステム
KR101756840B1 (ko) 촬영 이미지를 이용한 의사 전달 방법 및 장치
US20120226586A1 (en) Computer systems and methods for interactive shopping experience in retail stores
US20160132708A1 (en) Displaying method and decoding method for a dynamic recognizable two-dimensional code
KR20190028461A (ko) 센서 기반 제품 추천
US20190325497A1 (en) Server apparatus, terminal apparatus, and information processing method
JP2018128955A (ja) スクリーンショット画像解析装置、スクリーンショット画像解析方法、およびプログラム
JP5600148B2 (ja) 映像配信装置、映像配信方法及び映像配信プログラム
JPWO2018066102A1 (ja) 情報提供システム、情報提供装置、情報提供方法、及びプログラム
CN109792557A (zh) 在渲染期间利用一个或多个效果来增强由客户端设备获得的视频数据的架构
WO2019192455A1 (zh) 门店系统、物品搭配方法、装置及电子设备
US20160267497A1 (en) Measuring an organization's impact in a social networking system based off member interactions with organization content
JP2019212039A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2020108324A1 (zh) 订单货物提取方法、订单处理方法及装置、设备和介质
TWI682288B (zh) 關聯資料建立系統與方法
CN108121969A (zh) 用于处理图像的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221010

R150 Certificate of patent or registration of utility model

Ref document number: 7167437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150