JP2019117437A - 物品特定装置、物品特定方法、及びプログラム - Google Patents
物品特定装置、物品特定方法、及びプログラム Download PDFInfo
- Publication number
- JP2019117437A JP2019117437A JP2017249720A JP2017249720A JP2019117437A JP 2019117437 A JP2019117437 A JP 2019117437A JP 2017249720 A JP2017249720 A JP 2017249720A JP 2017249720 A JP2017249720 A JP 2017249720A JP 2019117437 A JP2019117437 A JP 2019117437A
- Authority
- JP
- Japan
- Prior art keywords
- article
- information
- image
- candidate
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 100
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 239000003814 drug Substances 0.000 description 23
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 229940079593 drug Drugs 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000011194 food seasoning agent Nutrition 0.000 description 2
- 235000015205 orange juice Nutrition 0.000 description 2
- 208000023504 respiratory system disease Diseases 0.000 description 2
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- -1 inhalers Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、物品特定システムの構成例を示す模式図である。本実施形態では、商品等の物品を撮像して得られた撮像画像に基づいて、撮像画像中の被写体の物品を特定する物品特定システムについて説明する。物品特定システム100は、サーバ装置(情報処理装置)10及び複数のユーザ端末20を含み、サーバ装置10及び各ユーザ端末20は、インターネット等のネットワークNを介して通信接続されている。ユーザ端末20は、ユーザによる操作に従って商品等の物品を撮像し、得られた撮像画像をサーバ装置10へ送信する。サーバ装置10は、ユーザ端末20から取得した撮像画像に対して予め学習済みの学習モデルを参照し、撮像画像に含まれる物品(商品)を特定する。サーバ装置10は、複数台設けられてもよいし、1台の装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。
本実施形態のサーバ装置10は、上述した構成のほかに表示部及び入力部等を備えていてもよい。なお、表示部は制御部11からの指示に従って各種の情報を表示し、入力部はユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。サーバ装置10は、通信部13を介して外部装置から物品特定プログラム12a及び物品識別器12bを取得して記憶部12に記憶してもよい。また、サーバ装置10が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から物品特定プログラム12a及び物品識別器12bを読み出して記憶部12に記憶してもよい。
ユーザ端末20は、カメラ26、表示部24、通信部23を有する情報機器であれば、どのような機器でもよい。
実施形態2の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関する情報を提供する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態3の物品特定システムについて説明する。本実施形態では、喘息等の呼吸器系疾患に対する薬剤を家庭で吸入するための吸入器を撮像して得られた撮像画像に基づいて、被写体の呼吸器を特定する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置10において、物品識別器12bは、呼吸器系疾患に対する薬剤を吸入するための吸入器についての画像特徴量を学習済みであるとする。例えばサーバ装置10は、事前登録されている吸入器を撮像した教師用画像に、各吸入器を示す情報がラベル付けされた教師データを取得し、教師用画像から吸入器の外観の色、形状等の特徴量を学習する機械学習処理を行い、各吸入器を識別する物品識別器12bを構築しておく。
実施形態4の物品特定システムについて説明する。本実施形態では、吸入器を撮像して得られた撮像画像に基づいて被写体の呼吸器を特定するシステムであって、予めユーザ登録しているユーザによって利用される物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置10は、物品特定システム100を利用するためにユーザ登録したユーザのユーザ情報が登録してあるユーザ情報データベース(以下では、ユーザ情報DBという)を記憶部12に記憶している。
ユーザ端末20の制御部21は、入力部25を介して物品照会アプリ22aの起動指示を受け付けた場合、記憶部22に記憶してある物品照会アプリ22aを起動する(S41)。物品照会アプリ22aを起動した場合、制御部21は、カメラ26を起動し(S42)、撮像画像を取得する(S43)。制御部21は、ユーザ情報を入力するための入力画面を表示部24に表示する(S44)。制御部21は、例えば図13Aに示すように、ステップS43でカメラ26にて取得した撮像画像24dを表示し、ユーザID及びパスワードの入力欄を有する入力画面を表示する。
実施形態5の物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。図14は、ユーザ端末20の画面例を示す模式図である。本実施形態では、サーバ装置10が物品識別器12bによる商品候補(吸入器候補)の特定結果をユーザ端末20へ送信する際に、制御部11は、図14に示すような画面を表示するための表示情報を生成して送信する。図14に示す画面では、吸入器候補に特定された各吸入器のサンプル画像24bが、撮像画像24a中の被写体の向き(被写体に対する撮像方向)と同じ向きになるように表示されている。なお、本実施形態のサーバ装置10では、サンプル画像24bとして、物品識別器12bにて識別可能な物品(吸入器)を複数の方向から撮像した画像を記憶部12に記憶している。
実施形態6の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関して物品情報、販売サイト、問い合わせ先を案内する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態7の物品特定システムについて説明する。本実施形態では、サーバ装置10がユーザ端末20から受信した撮像画像(教師用画像)に正解情報に基づくラベル付けを行った教師データを物品識別器12bの再学習に利用するか否かを、正解情報に応じて切り替える物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態1の各装置と同じ構成を有するので、構成については説明を省略する。
10 サーバ装置(物品特定装置、情報処理装置)
11 制御部
12 記憶部
20 ユーザ端末(外部装置)
21 制御部
22 記憶部
10a 候補特定部
10c 学習部
12a 物品特定プログラム
12b 物品識別器
Claims (10)
- 画像を取得する画像取得部と、
取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定する候補特定部と、
特定した前記物品候補に係る情報を出力する出力部と、
出力した前記物品候補が正解であるか否かを示す正解情報を取得する情報取得部と、
取得した前記正解情報及び前記画像取得部が取得した画像を用いて、前記識別器の再学習を行う学習部と
を備えることを特徴とする物品特定装置。 - 前記候補特定部は、複数の前記物品候補のそれぞれに対して前記画像中の物品である可能性を示す確信度を算出し、算出した確信度が高い複数の物品候補を特定し、
前記出力部は、特定された前記物品候補を、それぞれの前記確信度に応じた態様で表示する指示を出力し、
前記情報取得部は、前記複数の物品候補のうちの正解である物品を示す正解情報を取得する
ことを特徴とする請求項1に記載の物品特定装置。 - 前記情報取得部が取得した前記正解情報に基づいて正解である物品に応じた物品情報を出力する物品情報出力部
を備えることを特徴とする請求項1又は2に記載の物品特定装置。 - 前記画像取得部は、前記画像及びユーザ情報を取得し、
前記物品情報出力部は、取得した前記ユーザ情報に応じた前記物品情報を出力する
ことを特徴とする請求項3に記載の物品特定装置。 - 前記画像取得部は、前記画像及びユーザ情報を取得し、
前記出力部は、前記候補特定部が特定した前記物品候補から前記ユーザ情報に応じた物品候補を抽出し、抽出した前記物品候補に係る情報を出力する
ことを特徴とする請求項1から4までのいずれかひとつに記載の物品特定装置。 - 前記出力部は、前記画像中の物品の撮像方向に応じた、前記候補特定部が特定した前記物品候補の画像を出力する
ことを特徴とする請求項1から5までのいずれかひとつに記載の物品特定装置。 - 前記識別器は、複数の物品画像から複数の物品のそれぞれにおける特徴量を学習させた識別器であり、
前記候補特定部は、前記複数の物品から前記画像中の物品候補を特定する
ことを特徴とする請求項1から6までのいずれかひとつに記載の物品特定装置。 - 前記画像取得部は、外部装置で撮像された撮像画像を取得し、
前記候補特定部は、取得した前記撮像画像中の被写体に対応する物品候補を特定する
ことを特徴とする請求項1から7までのいずれかひとつに記載の物品特定装置。 - 画像を取得し、
取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定し、
特定した前記物品候補に係る情報を出力し、
出力した前記物品候補が正解であるか否かを示す正解情報を取得し、
取得した前記正解情報及び前記画像を用いて、前記識別器の再学習を行う
処理を情報処理装置が実行することを特徴とする物品特定方法。 - コンピュータに、
画像を取得し、
取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定し、
特定した前記物品候補に係る情報を出力し、
出力した前記物品候補が正解であるか否かを示す正解情報を取得し、
取得した前記正解情報及び前記画像を用いて、前記識別器の再学習を行う
処理を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249720A JP7167437B2 (ja) | 2017-12-26 | 2017-12-26 | 物品特定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017249720A JP7167437B2 (ja) | 2017-12-26 | 2017-12-26 | 物品特定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019117437A true JP2019117437A (ja) | 2019-07-18 |
JP7167437B2 JP7167437B2 (ja) | 2022-11-09 |
Family
ID=67304439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017249720A Active JP7167437B2 (ja) | 2017-12-26 | 2017-12-26 | 物品特定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7167437B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111541907A (zh) * | 2020-04-23 | 2020-08-14 | 腾讯科技(深圳)有限公司 | 物品显示方法、装置、设备及存储介质 |
WO2021145228A1 (ja) * | 2020-01-17 | 2021-07-22 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
JP2021114097A (ja) * | 2020-01-17 | 2021-08-05 | 株式会社日立ソリューションズ・クリエイト | 画像判定システム |
JP2021113457A (ja) * | 2020-01-20 | 2021-08-05 | 株式会社大林組 | 地質評価システム、地質評価方法及び地質評価プログラム |
JP2021163256A (ja) * | 2020-03-31 | 2021-10-11 | 株式会社デンソーテン | 情報処理方法および情報処理プログラム |
JP7147087B1 (ja) | 2022-02-09 | 2022-10-04 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040208372A1 (en) * | 2001-11-05 | 2004-10-21 | Boncyk Wayne C. | Image capture and identification system and process |
JP2010218372A (ja) * | 2009-03-18 | 2010-09-30 | Olympus Corp | サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法 |
JP2017111731A (ja) * | 2015-12-18 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、情報処理方法、プログラム |
JP2017130216A (ja) * | 2008-08-08 | 2017-07-27 | 株式会社ニコン | 検索支援システム、検索支援方法、及び検索支援プログラム |
-
2017
- 2017-12-26 JP JP2017249720A patent/JP7167437B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040208372A1 (en) * | 2001-11-05 | 2004-10-21 | Boncyk Wayne C. | Image capture and identification system and process |
JP2017130216A (ja) * | 2008-08-08 | 2017-07-27 | 株式会社ニコン | 検索支援システム、検索支援方法、及び検索支援プログラム |
JP2010218372A (ja) * | 2009-03-18 | 2010-09-30 | Olympus Corp | サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法 |
JP2017111731A (ja) * | 2015-12-18 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、情報処理方法、プログラム |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7357551B2 (ja) | 2020-01-17 | 2023-10-06 | 株式会社日立ソリューションズ・クリエイト | 画像判定システム |
WO2021145228A1 (ja) * | 2020-01-17 | 2021-07-22 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
JP2021114097A (ja) * | 2020-01-17 | 2021-08-05 | 株式会社日立ソリューションズ・クリエイト | 画像判定システム |
JP2021113457A (ja) * | 2020-01-20 | 2021-08-05 | 株式会社大林組 | 地質評価システム、地質評価方法及び地質評価プログラム |
JP7424066B2 (ja) | 2020-01-20 | 2024-01-30 | 株式会社大林組 | 地質評価システム、地質評価方法及び地質評価プログラム |
JP2021163256A (ja) * | 2020-03-31 | 2021-10-11 | 株式会社デンソーテン | 情報処理方法および情報処理プログラム |
CN111541907B (zh) * | 2020-04-23 | 2023-09-22 | 腾讯科技(深圳)有限公司 | 物品显示方法、装置、设备及存储介质 |
CN111541907A (zh) * | 2020-04-23 | 2020-08-14 | 腾讯科技(深圳)有限公司 | 物品显示方法、装置、设备及存储介质 |
JP2023116326A (ja) * | 2022-02-09 | 2023-08-22 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2023116379A (ja) * | 2022-02-09 | 2023-08-22 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
WO2023153400A1 (ja) * | 2022-02-09 | 2023-08-17 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP7394191B2 (ja) | 2022-02-09 | 2023-12-07 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP7147087B1 (ja) | 2022-02-09 | 2022-10-04 | 日本発條株式会社 | 情報処理システム、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7167437B2 (ja) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019117437A (ja) | 物品特定装置、物品特定方法、及びプログラム | |
US11915288B2 (en) | Useful and novel shopping application | |
CN107924522B (zh) | 用于购买的增强现实设备、系统和方法 | |
US9832353B2 (en) | Methods for encoding, decoding and interpreting auxiliary data in media signals | |
US10346893B1 (en) | Virtual dressing room | |
CN110826528A (zh) | 时尚偏好分析 | |
WO2016003506A1 (en) | Account recommendations | |
KR102474047B1 (ko) | 사진 또는 비디오에서 잠재적 목록에 대한 관심 수집 | |
US20130254066A1 (en) | Shared user experiences | |
WO2015186393A1 (ja) | 情報処理装置、情報提示方法、プログラム、およびシステム | |
KR101756840B1 (ko) | 촬영 이미지를 이용한 의사 전달 방법 및 장치 | |
US20120226586A1 (en) | Computer systems and methods for interactive shopping experience in retail stores | |
US20160132708A1 (en) | Displaying method and decoding method for a dynamic recognizable two-dimensional code | |
KR20190028461A (ko) | 센서 기반 제품 추천 | |
US20190325497A1 (en) | Server apparatus, terminal apparatus, and information processing method | |
JP2018128955A (ja) | スクリーンショット画像解析装置、スクリーンショット画像解析方法、およびプログラム | |
JP5600148B2 (ja) | 映像配信装置、映像配信方法及び映像配信プログラム | |
JPWO2018066102A1 (ja) | 情報提供システム、情報提供装置、情報提供方法、及びプログラム | |
CN109792557A (zh) | 在渲染期间利用一个或多个效果来增强由客户端设备获得的视频数据的架构 | |
WO2019192455A1 (zh) | 门店系统、物品搭配方法、装置及电子设备 | |
US20160267497A1 (en) | Measuring an organization's impact in a social networking system based off member interactions with organization content | |
JP2019212039A (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理システム | |
WO2020108324A1 (zh) | 订单货物提取方法、订单处理方法及装置、设备和介质 | |
TWI682288B (zh) | 關聯資料建立系統與方法 | |
CN108121969A (zh) | 用于处理图像的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7167437 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |