JP2023153316A - 処理装置、処理方法及びプログラム - Google Patents
処理装置、処理方法及びプログラム Download PDFInfo
- Publication number
- JP2023153316A JP2023153316A JP2023135342A JP2023135342A JP2023153316A JP 2023153316 A JP2023153316 A JP 2023153316A JP 2023135342 A JP2023135342 A JP 2023135342A JP 2023135342 A JP2023135342 A JP 2023135342A JP 2023153316 A JP2023153316 A JP 2023153316A
- Authority
- JP
- Japan
- Prior art keywords
- product
- recognition
- image
- cameras
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 105
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 27
- 238000011156 evaluation Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】顧客が手にとった商品を精度よく認識する。【解決手段】本開示の処理装置は、商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得部と、画像に基づき商品を認識する認識部と、複数のカメラが生成した複数の画像各々内で商品が存在する領域の大きさに基づき、認識に用いる画像を決定する決定部と、を有する。【選択図】図2
Description
本発明は、処理装置、処理方法及びプログラムに関する。
非特許文献1及び2は、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。
特許文献1は、3台のカメラ各々が生成した手術画像に対して画像認識を行い、画像認識の結果に基づき各画像の術野露出度を算出し、3枚の手術画像の中から術野露出度が最も大きい画像を選択してディスプレイに表示する技術を開示している。
宮田拓弥、"Amazon Goの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、2016年12月10日、[2019年12月6日検索]、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html>
"NEC、レジレス店舗「NEC SMART STORE」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、2020年2月28日、[2020年3月27日検索]、インターネット<URL: https://japan.cnet.com/article/35150024/>
顧客が手に取った商品を精度よく認識する技術が望まれている。例えば、非特許文献1及び2に記載のレジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムにおいては、顧客が手にとった商品を精度よく認識する技術が必要となる。その他、顧客の嗜好調査やマーケティング調査等の目的で顧客の店内行動を調査する場合にも、当該技術は有用である。
本発明の課題は、顧客が手にとった商品を精度よく認識する技術を提供することである。
本発明によれば、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段と、
前記画像に基づき前記商品を認識する認識手段と、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段と、
を有する処理装置が提供される。
商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段と、
前記画像に基づき前記商品を認識する認識手段と、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段と、
を有する処理装置が提供される。
また、本発明によれば、
コンピュータが、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得し、
前記画像に基づき前記商品を認識し、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する処理方法が提供される。
コンピュータが、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得し、
前記画像に基づき前記商品を認識し、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する処理方法が提供される。
また、本発明によれば、
コンピュータを、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段、
前記画像に基づき前記商品を認識する認識手段、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段、
として機能させるプログラムが提供される。
コンピュータを、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段、
前記画像に基づき前記商品を認識する認識手段、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段、
として機能させるプログラムが提供される。
本発明によれば、顧客が手にとった商品を精度よく認識する技術が実現される。
<第1の実施形態>
「概要」
顧客が手にとった商品の画像内での大きさ(画像内で当該商品が占める領域の大きさ)が小さい場合、その商品の外観の特徴量をその画像から抽出し難くなる。結果、商品認識の精度が低くなり得る。このため、商品認識の精度を高める観点から、できるだけ画像内で大きくなるように商品を撮影し、その画像に基づき商品認識を行うことが好ましい。
「概要」
顧客が手にとった商品の画像内での大きさ(画像内で当該商品が占める領域の大きさ)が小さい場合、その商品の外観の特徴量をその画像から抽出し難くなる。結果、商品認識の精度が低くなり得る。このため、商品認識の精度を高める観点から、できるだけ画像内で大きくなるように商品を撮影し、その画像に基づき商品認識を行うことが好ましい。
そこで、本実施形態では、顧客が手にとった商品を複数の位置及び複数の方向から複数のカメラで撮影する。このように構成することで、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、いずれかのカメラにおいて、画像内で十分に大きくなるようにその商品を撮影できる可能性が高くなる。
処理装置は、複数のカメラが生成した複数の画像各々を解析して各画像に含まれる商品(顧客が手にとった商品)を認識する。そして、処理装置は、複数の画像各々内で商品が存在する領域(画像内での大きさ)が最も大きい画像に基づく認識結果を、最終認識結果として出力する。
「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。
次に、処理装置のハードウエア構成の一例を説明する。
処理装置の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、処理装置のハードウエア構成を例示するブロック図である。図1に示すように、処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。処理装置は周辺回路4Aを有さなくてもよい。なお、処理装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び/又は論理的に一体となった1つの装置で構成されてもよい。処理装置が物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
「機能構成」
図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、認識部12と、決定部13とを有する。
図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、認識部12と、決定部13とを有する。
取得部11は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する。取得部11への画像の入力は、リアルタイム処理で行われてもよいし、バッチ処理で行われてもよい。いずれの処理とするかは、例えば認識結果の利用内容に応じて決定することができる。
ここで、複数のカメラについて説明する。本実施形態では顧客が手にとった商品を複数の方向及び複数の位置から撮影できるように複数のカメラ(2台以上のカメラ)が設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きで複数のカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。
カメラは動画像を常時(例えば、営業時間中)撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置(商品陳列棚の前等)に存在する人を検出している間のみこれらの撮影を実行してもよい。
ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図3に示す例では、商品陳列棚1毎に2つのカメラ2が設置されている。図4は、図3の枠4を抽出した図である。枠4を構成する2つの部品各々には、カメラ2と照明(不図示)とが設けられる。
照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、LEDなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がLEDの場合、照明が延在する方向(図において上下方向)に、複数のLEDが並んでいる。
そしてカメラ2は、直線状に延伸する枠4の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図4の左側の枠4の部品において、カメラ2は下方及び右斜め下を撮影範囲としている。また、図4の右側の枠4の部品において、カメラ2は上方及び左斜め上を撮影範囲としている。
図3に示すように、枠4は、商品載置スペースを構成する商品陳列棚1の前面フレーム(又は両側の側壁の前面)に取り付けられる。枠4の部品の一方は、一方の前面フレームに、カメラ2が下方に位置する向きに取り付けられ、枠4の部品の他方は、他方の前面フレームに、カメラ2が上方に位置する向きに取り付けられる。そして、枠4の部品の一方に取り付けられたカメラ2は、商品陳列棚1の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠4の部品の他方に取り付けられたカメラ2は、商品陳列棚1の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、2つのカメラ2で商品陳列棚1の開口部の全範囲を撮影することができる。結果、商品陳列棚1から取り出されている商品(顧客が手にとった商品)を2つのカメラ2で撮影することが可能となる。
例えば図3及び図4に示す構成を採用した場合、図5に示すように、どの位置に陳列されている商品6を商品陳列棚1から取り出すかに応じて、2つのカメラ2各々が生成する画像内における商品6の大きさが異なり得る。より上段に陳列されており、より図中左側に陳列されている商品6ほど、図中左上に位置するカメラ2が生成する第1の画像7内における大きさが大きくなり、図中右下に位置するカメラ2が生成する第2の画像8における大きさが小さくなる。そして、より下段に陳列されており、より図中右側に陳列されている商品6ほど、図中右下に位置するカメラ2が生成する第2の画像8内における大きさが大きくなり、図中左上に位置するカメラ2が生成する第1の画像7内における大きさが小さくなる。図5においては、第1の画像7及び第2の画像8内に存在する同一商品を枠Wで囲っている。図示するように、各画像内におけるその商品の大きさは互いに異なり得る。
図2に戻り、認識部12は、複数のカメラが生成した複数の画像各々に基づき商品を認識する。
ここで、各画像に対して行われる認識処理の具体例を説明する。まず、認識部12は、画像から抽出した物体の外観の特徴量と、予め登録された複数の商品各々の外観の特徴量とを照合し、照合結果に基づき、商品ごとに画像に含まれる物体が各商品である信頼度(確信度、類似度等という)を算出する。信頼度は、例えば、マッチングした特徴量の数や予め登録された特徴量の数に対するマッチングした特徴量の数の割合等に基づき算出される。
そして、認識部12は、算出した信頼度に基づき、認識結果を決定する。認識結果は、例えば画像に含まれる商品の商品識別情報となる。例えば、認識部12は、信頼度が最も高い商品をその画像に含まれる商品として決定してもよいし、その他の基準で認識結果を決定してもよい。以上により、画像毎の認識結果が得られる。
なお、予め、複数の商品各々の画像と各商品の識別情報(ラベル)とを紐づけた教師データに基づく機械学習で、画像内の商品を認識する推定モデル(クラス分類器)が生成されていてもよい。そして、認識部12は、当該推定モデルに取得部11が取得した画像を入力することで、商品認識を実現してもよい。
認識部12は、取得部11が取得した画像をそのまま推定モデルに入力してもよいし、取得部11が取得した画像に対して加工を行った後、加工後の画像を推定モデルに入力してもよい。
ここで、加工の一例を説明する。まず、認識部12は、従来の物体認識技術に基づき、画像内に存在する物体を認識する。そして、認識部12は、その物体が存在する一部領域を画像から切り出し、切り出した一部領域の画像を推定モデルに入力する。なお、物体認識は、取得部11が取得した複数の画像各々に対して行ってもよいし、取得部11が取得した複数の画像を結合した後、結合後の1つの画像に対して行ってもよい。後者にすると、画像認識を行う画像ファイルの数が少なくなり、処理効率が向上する。
決定部13は、複数の画像各々に基づく複数の認識結果(商品識別情報等)に基づき最終認識結果(商品識別情報等)を決定して出力する。
より具体的には、決定部13は、複数の画像各々内で商品が存在する領域の大きさを算出し、当該大きさが最も大きい画像に基づく認識結果を、最終認識結果として決定して出力する。
当該大きさは、商品が存在する領域の面積で示されてもよいし、当該領域の外周の長さで示されてもよいし、その他で示されてもよい。これら面積や長さは例えばピクセル数で示すことができるが、これに限定されない。
商品が存在する領域は、商品及びその周辺を含む矩形領域であってもよいし、商品のみが存在する商品の輪郭に沿った形状の領域であってもよい。いずれを採用するかは、例えば画像内の商品(物体)を検出する手法に基づき決定することができる。例えば、画像内の矩形領域毎に商品(物体)が存在するか判断する手法を採用する場合、商品が存在する領域は、商品及びその周辺を含む矩形領域とすることができる。一方、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を採用する場合、商品が存在する領域は、商品のみが存在する商品の輪郭に沿った形状の領域とすることができる。
なお、本実施形態では、決定部13が出力した最終認識結果(認識された商品の商品識別情報)に対するその後の処理内容は特段制限されない。
例えば、最終認識結果は、非特許文献1及び2に開示のようなレジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムにおける決済処理で利用されてもよい。以下、一例を説明する。
まず、店舗システムは、認識された商品の商品識別情報(最終認識結果)を、その商品を手にとった顧客を特定する情報に紐づけて登録する。例えば、店内には、商品を手にとった顧客の顔を撮影するカメラが設置されており、店舗システムは、当該カメラが生成した画像から顧客の顔の外観の特徴量を抽出してもよい。そして、店舗システムは、当該顔の外観の特徴量(顧客を特定する情報)に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報(単価、商品名等)を登録してもよい。その他の商品情報は、予め店舗システムに記憶されている商品マスタ(商品識別情報と、その他の商品情報とを紐づけた情報)から取得することができる。
その他、予め、顧客の顧客識別情報(会員番号、氏名等)と、顔の外観の特徴量とが紐づけて任意の場所(店舗システム、センターサーバ等)に登録されていてもよい。そして、店舗システムは、商品を手にとった顧客の顔を含む画像から顧客の顔の外観の特徴量を抽出すると、当該予め登録された情報に基づきその顧客の顧客識別情報を特定してもよい。そして、店舗システムは、特定した顧客識別情報に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報を登録してもよい。
また、店舗システムは、登録内容に基づき決済金額を算出し、決済処理を実行する。例えば、顧客がゲートから退場したタイミングや、顧客が出口から店舗外に出たタイミング等で、決済処理が実行される。これらのタイミングの検出は、ゲートや出口に設置されたカメラが生成した画像で顧客の退店を検出することで実現されてもよいし、ゲートや出口に設置された入力装置(近距離無線通信するリーダ等)に対する退店する顧客の顧客識別情報の入力で実現されてもよいし、その他の手法で実現されてもよい。決済処理の詳細は、予め登録されたクレジットカード情報に基づくクレジットカードでの決済処理であってもよいし、予めチャージされたお金に基づく決済であってもよいし、その他であってもよい。
決定部13が出力した最終認識結果(認識された商品の商品識別情報)のその他の利用場面として、顧客の嗜好調査やマーケティング調査等が例示される。例えば、各顧客が手に取った商品を各顧客に紐づけて登録することで、各顧客が興味を有する商品などを分析することができる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性(性別、年代、国籍等)を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。
次に、図6のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、取得部11は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する(S10)。例えば、取得部11は、図3乃至図5に示す商品陳列棚1に設置された2つのカメラ2各々が生成した第1の画像7及び第2の画像8を取得する。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する(S11)。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う(S12)。例えば、認識部12は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部12は、切り出した一部領域の画像を、予め用意された推定モデル(クラス分類器)に入力することで、商品認識処理を実行する。
次に、決定部13は、S12での複数の画像各々に基づく複数の認識結果に基づき最終認識結果を決定する(S13)。具体的には、決定部13は、S11での物体検出結果に基づき複数の画像各々内で商品(物体)が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
次に、決定部13は、決定した最終認識結果を出力する(S14)。
以降、同様の処理を繰り返す。
「作用効果」
以上説明した本実施形態の処理装置10によれば、顧客が手にとった商品を複数の位置及び複数の方向から撮影する複数のカメラが生成した複数の画像を、解析対象として取得する。このため、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、商品が十分に大きく写っている画像を解析対象として取得できる可能性が高くなる。
以上説明した本実施形態の処理装置10によれば、顧客が手にとった商品を複数の位置及び複数の方向から撮影する複数のカメラが生成した複数の画像を、解析対象として取得する。このため、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、商品が十分に大きく写っている画像を解析対象として取得できる可能性が高くなる。
そして、処理装置10は、複数のカメラが生成した複数の画像の中から商品認識に適した一枚を特定し、特定した画像に基づく商品の認識結果を採用する。具体的には、処理装置10は、商品が最も大きく写っている画像を特定し、その画像に基づく商品の認識結果を採用する。
このような処理装置10によれば、商品が十分に大きく写っている画像に基づき商品認識を行い、その結果を出力することができる。結果、顧客が手にとった商品を精度よく認識することが可能となる。
<第2の実施形態>
本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。
本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。
図7のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、取得部11は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する(S20)。例えば、取得部11は、図3乃至図5に示す商品陳列棚1に設置された2つのカメラ2各々が生成した第1の画像7及び第2の画像8を取得する。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する(S21)。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う(S22)。例えば、認識部12は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部12は、切り出した一部領域の画像を、予め用意された推定モデル(クラス分類器)に入力することで、商品認識処理を実行する。
次に、決定部13は、複数の画像各々に基づく複数の認識結果が一致するか判断する(S23)。
一致する場合(S23のYes)、決定部13は、一致した認識結果を最終認識結果として決定する。
一方、一致しない場合(S23のNo)、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部13は、複数の画像各々内で商品(物体)が存在する領域の大きさに基づき最終認識結果を決定する(S24)。具体的には、決定部13は、S21での物体検出結果に基づき複数の画像各々内で商品(物体)が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
次に、決定部13は、決定した最終認識結果を出力する(S26)。
以降、同様の処理を繰り返す。
処理装置10のその他の構成は、第1の実施形態と同様である。
以上説明した本実施形態の処理装置10によれば、第1の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、複数の画像各々内で商品(物体)が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。
<第3の実施形態>
本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値(設計的事項)未満であり、信頼度が最も高い認識結果が間違っていることも想定される場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であり、信頼度が最も高い認識結果が間違っていることがあまり想定されない場合、信頼度が最も高い認識結果を最終認識結果として決定する。認識結果の信頼度は第1の実施形態で説明した通りである。
本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値(設計的事項)未満であり、信頼度が最も高い認識結果が間違っていることも想定される場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であり、信頼度が最も高い認識結果が間違っていることがあまり想定されない場合、信頼度が最も高い認識結果を最終認識結果として決定する。認識結果の信頼度は第1の実施形態で説明した通りである。
図8のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、取得部11は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する(S30)。例えば、取得部11は、図3乃至図5に示す商品陳列棚1に設置された2つのカメラ2各々が生成した第1の画像7及び第2の画像8を取得する。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する(S31)。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う(S32)。例えば、認識部12は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部12は、切り出した一部領域の画像を、予め用意された推定モデル(クラス分類器)に入力することで、商品認識処理を実行する。
次に、決定部13は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する(S33)。なお、2つの画像に基づく2つの認識結果のみが得られている場合、2つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。
閾値以上である場合(S33のYes)、決定部13は、信頼度が最も高い認識結果を最終認識結果として決定する(S35)。
一方、閾値未満である場合(S33のNo)、決定部13は、複数の画像各々内で商品(物体)が存在する領域の大きさに基づき最終認識結果を決定する(S34)。具体的には、決定部13は、S31での物体検出結果に基づき複数の画像各々内で商品(物体)が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
次に、決定部13は、決定した最終認識結果を出力する(S36)。
以降、同様の処理を繰り返す。
処理装置10のその他の構成は、第1の実施形態と同様である。
以上説明した本実施形態の処理装置10によれば、第1の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、複数の画像各々内で商品(物体)が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。
<第4の実施形態>
本実施形態の処理装置10は、第2の実施形態及び第3の実施形態の構成を組み合わせた構成である。
本実施形態の処理装置10は、第2の実施形態及び第3の実施形態の構成を組み合わせた構成である。
すなわち、本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。
また、本実施形態の処理装置10は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値(設計的事項)未満である場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上である場合、信頼度が最も高い認識結果を最終認識結果として決定する。
図9のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、取得部11は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する(S40)。例えば、取得部11は、図3乃至図5に示す商品陳列棚1に設置された2つのカメラ2各々が生成した第1の画像7及び第2の画像8を取得する。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する(S41)。
次に、認識部12は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う(S42)。例えば、認識部12は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部12は、切り出した一部領域の画像を、予め用意された推定モデル(クラス分類器)に入力することで、商品認識処理を実行する。
次に、決定部13は、複数の画像各々に基づく複数の認識結果が一致するか判断する(S43)。
一致する場合(S43のYes)、決定部13は、一致した認識結果を最終認識結果として決定する。
一方、一致しない場合(S43のNo)、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部13は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する(S44)。なお、2つの画像に基づく2つの認識結果のみが得られている場合、2つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。
閾値以上である場合(S44のYes)、決定部13は、信頼度が最も高い認識結果を最終認識結果として決定する(S46)。
一方、閾値未満である場合(S44のNo)、決定部13は、複数の画像各々内で商品(物体)が存在する領域の大きさに基づき最終認識結果を決定する(S45)。具体的には、決定部13は、S41での物体検出結果に基づき複数の画像各々内で商品(物体)が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。
次に、決定部13は、決定した最終認識結果を出力する(S48)。
以降、同様の処理を繰り返す。
処理装置10のその他の構成は、第1乃至第3の実施形態と同様である。
以上説明した本実施形態の処理装置10によれば、第1乃至第3の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、複数の画像各々内で商品(物体)が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数をより減らすことができる。結果、コンピュータの処理負担がより軽減する。
<第5の実施形態>
本実施形態の処理装置10は、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する処理の詳細が、第1乃至第4の実施形態と異なる。
本実施形態の処理装置10は、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する処理の詳細が、第1乃至第4の実施形態と異なる。
決定部13は、認識結果の信頼度、画像内で商品が存在する領域の大きさに基づき、複数の画像各々の認識結果の評価値を算出し、その評価値に基づき最終認識結果を決定する。決定部13は、認識結果の信頼度が高いほど、また、画像内で商品が存在する領域が大きいほど、高い評価値を算出する。そして、決定部13は、評価値が最も高い認識結果を、最終認識結果として決定する。評価値の算出方法(計算式等)の詳細は設計的事項である。
なお、決定部13は、さらに、予め設定された複数のカメラ各々の重み付け値に基づき、上記評価値を算出してもよい。商品認識に有用な画像を生成しやすいカメラほど、重み付け値が高くなる。そして、重み付け値が高いカメラが生成した画像の認識結果ほど、評価値が高くなる。
例えば、商品認識に有用な画像を生成しやすい位置及び向きで設置されているカメラほど、重み付け値が高くなる。商品認識に有用な画像は、商品の外観の特徴的な部分(パッケージの表側)を含む画像や、顧客の身体の一部(手等)やその他の障害物により商品が隠れていない(隠れている部分がより少ない)画像などである。
その他、例えばカメラのスペック等に基づき、カメラの重み付け値が決定されてもよい。スペックが優れたカメラほど、商品認識に有用な画像を生成しやすい。
なお、ここでは、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど高い評価値が算出されるとしたが、その他、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど低い評価値が算出されるようにしてもよい。この場合、決定部13は、評価値が最も低い認識結果を、最終認識結果として決定する。
例えば、図6のフローチャートのS13の処理や、図7のフローチャートのS24の処理や、図8のフローチャートのS33の処理や、図9のフローチャートのS45の処理等を、上述した決定部13の処理に置き換えることができる。
処理装置10のその他の構成は、第1乃至第4の実施形態と同様である。
以上説明した本実施形態の処理装置10によれば、第1乃至第4の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、画像内で商品が存在する領域の大きさのみならず、認識結果の信頼度や各画像を生成したカメラの評価(位置、向き、スペック等に基づく重み付け値)等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。
<第6の実施形態>
本実施形態では、顧客が手に取った商品を2台のカメラで撮影する。例えば図3乃至図5の構成を採用してもよい。
本実施形態では、顧客が手に取った商品を2台のカメラで撮影する。例えば図3乃至図5の構成を採用してもよい。
そして、取得部11は、2台のカメラの一方(以下、「第1のカメラ」)が生成した第1の画像、及び、2台のカメラの他方(以下、「第2のカメラ」)が生成した第2の画像を取得する。
決定部13は、第1の画像内で商品(物体)が存在する領域の大きさL1及び第2の画像内で商品(物体)が存在する領域の大きさL2の比であるL1/L2を算出する。
そして、決定部13は、L1/L2が予め設定された閾値以上である場合、第1の画像像に基づく認識結果を最終認識結果として決定する。
一方、L1/L2が閾値未満である場合、決定部13は、第2の画像像に基づく認識結果を最終認識結果として決定する。
当該比の閾値は1と異なる値とすることができる。例えば、第1のカメラの方が第2のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は1より小さい値となる。一方、第2のカメラの方が第1のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は1より大きい値となる。「商品認識に有用な画像」は第4の実施形態で説明した通りである。
処理装置10のその他の構成は、第1乃至第5の実施形態と同様である。
以上説明した本実施形態の処理装置10によれば、第1乃至第5の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、各画像を生成したカメラの評価(位置、向き、スペック等に基づく重み付け値)等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
1. 顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
を有する処理装置。
2. 前記決定手段は、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する1に記載の処理装置。
3. 前記決定手段は、
前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する1又は2に記載の処理装置。
4. 前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する1から3のいずれかに記載の処理装置。
5. 顧客が手にとった商品を撮影する複数のカメラは2台であり、
前記取得手段は、前記2台のカメラの一方が生成した第1の画像、及び、前記2台のカメラの他方が生成した第2の画像を取得し、
前記決定手段は、前記第1の画像内で前記商品が存在する領域の大きさL1及び前記第2の画像内で前記商品が存在する領域の大きさL2の比であるL1/L2が閾値以上である場合、前記第1の画像像に基づく認識結果を前記最終認識結果として決定し、
L1/L2が閾値未満である場合、前記第2の画像像に基づく認識結果を前記最終認識結果として決定する1から3のいずれかに記載の処理装置。
6. 前記閾値は、1と異なる値である5に記載の処理装置。
7. 前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する1から3のいずれかに記載の処理装置。
8. 前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する7に記載の処理装置。
9. コンピュータが、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法。
10. コンピュータを、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
として機能させるプログラム。
1. 顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
を有する処理装置。
2. 前記決定手段は、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する1に記載の処理装置。
3. 前記決定手段は、
前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する1又は2に記載の処理装置。
4. 前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する1から3のいずれかに記載の処理装置。
5. 顧客が手にとった商品を撮影する複数のカメラは2台であり、
前記取得手段は、前記2台のカメラの一方が生成した第1の画像、及び、前記2台のカメラの他方が生成した第2の画像を取得し、
前記決定手段は、前記第1の画像内で前記商品が存在する領域の大きさL1及び前記第2の画像内で前記商品が存在する領域の大きさL2の比であるL1/L2が閾値以上である場合、前記第1の画像像に基づく認識結果を前記最終認識結果として決定し、
L1/L2が閾値未満である場合、前記第2の画像像に基づく認識結果を前記最終認識結果として決定する1から3のいずれかに記載の処理装置。
6. 前記閾値は、1と異なる値である5に記載の処理装置。
7. 前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する1から3のいずれかに記載の処理装置。
8. 前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する7に記載の処理装置。
9. コンピュータが、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法。
10. コンピュータを、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
として機能させるプログラム。
Claims (10)
- 商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段と、
前記画像に基づき前記商品を認識する認識手段と、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段と、
を有する処理装置。 - 前記決定手段は、前記複数の画像各々内で前記商品が存在する領域が大きい画像を、前記認識に用いる画像と決定する、請求項1に記載の処理装置。
- 前記認識手段は、前記複数の画像各々に基づき前記商品を認識し、
前記決定手段は、前記複数の画像各々に基づく複数の認識結果、及び、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき、最終認識結果を決定する、請求項1又は2に記載の処理装置。 - 前記決定手段は、
前記複数の画像各々に基づく前記認識手段による認識の結果の信頼度、及び前記複数のカメラ各々の重み付け値の少なくとも一方と、前記複数の画像各々内で前記商品が存在する領域の大きさとに基づき、前記認識に用いる前記画像を決定する請求項1から3のいずれか1項に記載の処理装置。 - 前記複数のカメラ各々の重み付け値は、前記複数のカメラ各々の位置、向き、又はスペックに基づき決定される請求項4に記載の処理装置。
- 1つの商品陳列棚に対して前記複数のカメラが設置され、
前記複数のカメラは、前記商品陳列棚から取り出される前記商品を撮影する請求項1から5のいずれか1項に記載の処理装置。 - 前記複数のカメラの中の1つは、下方を向いた状態で撮影し、
前記複数のカメラの中の他の1つは、上方を向いた状態で撮影する請求項6に記載の処理装置。 - 前記商品陳列棚は、複数段の商品陳列領域を有し、
前記複数のカメラの中の1つは、前記商品陳列棚の最上段に設置され、下方を向いた状態で撮影し、
前記複数のカメラの中の他の1つは、前記商品陳列棚の最下段に設置され、上方を向いた状態で撮影する請求項6又は7に記載の処理装置。 - コンピュータが、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得し、
前記画像に基づき前記商品を認識し、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する処理方法。 - コンピュータを、
商品を撮影する複数のカメラのそれぞれが生成した画像を取得する取得手段、
前記画像に基づき前記商品を認識する認識手段、
前記複数のカメラが生成した複数の画像各々内で前記商品が存在する領域の大きさに基づき、前記認識に用いる画像を決定する決定手段、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023135342A JP7525022B2 (ja) | 2023-08-23 | 処理装置、処理方法及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017231 WO2021214880A1 (ja) | 2020-04-21 | 2020-04-21 | 処理装置、処理方法及びプログラム |
JP2022516525A JP7343047B2 (ja) | 2020-04-21 | 2020-04-21 | 処理装置、処理方法及びプログラム |
JP2023135342A JP7525022B2 (ja) | 2023-08-23 | 処理装置、処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022516525A Division JP7343047B2 (ja) | 2020-04-21 | 2020-04-21 | 処理装置、処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023153316A true JP2023153316A (ja) | 2023-10-17 |
JP7525022B2 JP7525022B2 (ja) | 2024-07-30 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US20230141150A1 (en) | 2023-05-11 |
WO2021214880A1 (ja) | 2021-10-28 |
JPWO2021214880A1 (ja) | 2021-10-28 |
JP7343047B2 (ja) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
JP5984096B2 (ja) | 物体を識別する方法及び機構 | |
WO2019165892A1 (zh) | 自动售货方法、装置和计算机可读存储介质 | |
JP4717934B2 (ja) | 関係分析方法、関係分析プログラム、および、関係分析装置 | |
KR101216115B1 (ko) | 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템 | |
EP3185146A1 (en) | Information processing apparatus | |
US11068873B1 (en) | Methods, systems, apparatuses, and devices for facilitating advertising of a product | |
CN111222870A (zh) | 结算方法、装置和系统 | |
JP2023121779A (ja) | 情報処理システム、顧客特定装置、情報処理方法及びプログラム | |
CA3223381A1 (en) | Item identification using digital image processing | |
JP7343047B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7525022B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7396476B2 (ja) | 処理装置、処理方法及びプログラム | |
Zhang et al. | Action Recognition by Joint Spatial‐Temporal Motion Feature | |
JP7428241B2 (ja) | 処理装置、処理方法及びプログラム | |
WO2021245835A1 (ja) | 処理装置、処理方法及びプログラム | |
JP7435758B2 (ja) | 処理システム、処理方法及びプログラム | |
JP7380869B2 (ja) | 処理装置、前処理装置、処理方法、及び前処理方法 | |
US20230222685A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
JP7338706B2 (ja) | 処理装置、処理方法及びプログラム | |
JP2024528528A (ja) | デジタル画像処理を用いたアイテム識別 | |
JP2024011853A (ja) | 商品配置評価プログラム、商品配置評価方法、商品配置評価装置および商品配置評価システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240618 |