JP2021508398A - 小売チェックアウト端末生鮮食品識別システム - Google Patents

小売チェックアウト端末生鮮食品識別システム Download PDF

Info

Publication number
JP2021508398A
JP2021508398A JP2020554328A JP2020554328A JP2021508398A JP 2021508398 A JP2021508398 A JP 2021508398A JP 2020554328 A JP2020554328 A JP 2020554328A JP 2020554328 A JP2020554328 A JP 2020554328A JP 2021508398 A JP2021508398 A JP 2021508398A
Authority
JP
Japan
Prior art keywords
images
image
neural network
classification model
pos system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020554328A
Other languages
English (en)
Inventor
ハーツ マーセル
ハーツ マーセル
サンプソン クリストファー
サンプソン クリストファー
Original Assignee
ティリター ピーティーワイ リミテッド
ティリター ピーティーワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017905146A external-priority patent/AU2017905146A0/en
Application filed by ティリター ピーティーワイ リミテッド, ティリター ピーティーワイ リミテッド filed Critical ティリター ピーティーワイ リミテッド
Publication of JP2021508398A publication Critical patent/JP2021508398A/ja
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Strategic Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

システムおよび方法が開示され、該システムおよび方法は、第１の数の画像から始まって、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像に対してニューラルネットワークを訓練することによって、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成することと、分類モデルをプロセッサに埋め込むことと、カテゴリ化のために画像を受信することと、を含み、プロセッサはＰＯＳシステムと通信しており、プロセッサが分類モデルを実行して、画像のカテゴリ化のパーセンテージ尤度をＰＯＳシステムに出力する。
【選択図】図１１

Description

本発明は、小売チェックアウト端末生鮮食品識別システムに関し、より具体的には、端末で獲得した画像データを提示すると、使用中に生鮮食品タイプを視覚的に分類する、生鮮食品学習セットを使用した機械学習を用いるシステムに関する。さらに、本発明の機械学習システムは、生鮮食品小売環境に固有の制限に対処するように、特定の方式で訓練される。本発明のシステムおよび方法論は、異なるタイプの小売チェックアウト端末に対する広い用途を有するが、以下では、主にセルフサービス・チェックアウト端末を参照して記載する。しかしながら、本発明は、提供する実施形態の目的の範囲内にあるこの特定の用途に必ずしも限定されないことが認識されるべきである。
買物客が品目をスキャンし、略自律的に支払いを済ませることができるセルフサービスレジが、現在ますます一般的になっている。
新鮮な果物、野菜などの生鮮食品の場合、バーコードは包装された商品上でスキャンされることがあるが、ユーザは画面表示から選択を行う必要がある。
しかしながら、生鮮食品品目は不注意または不正によって誤分類されている場合が多く、かかる方策は不正確である。
本発明は、従来技術の欠陥の少なくとも一部を克服するか、もしくは実質的に改善する方法を提供するか、または少なくとも代替案を提供することを目的とする。
本明細書において何らかの従来技術の情報を参照する場合、かかる参照は、オーストラリアまたは他のいずれかの国において、当該情報が当該分野の一般的知識の一部を形成することを容認するものではないことが理解されるべきである。
欧州特許出願公開第０６８５８１４号明細書（Ｄ１）
本明細書では、生鮮食品を視覚的に識別する小売チェックアウト端末生鮮食品識別システムであって、機械学習を使用して訓練されるシステムが提供される。システムは、買物客が選択するように画面表示するため、１つまたは複数の予測生鮮食品タイプをチェックアウトシステムに出力することができるようにして、従来のチェックアウトＰＯＳシステムと統合してもよい。
システムの撮像構成要素は、照明（一般的に、ＬＥＤ照明）と、任意に適切な均一な背景と、可視スペクトルカメラとを備える機械的ジグを備えてもよい。
カメラは、農産物の種類を分類するために、提示された生鮮食品の画像を獲得する。
実施形態では、システムは、ニューラルネットワーク最適化による教師あり機械学習を用いる。
さらに詳細に後述するように、本発明のシステムは、所望のまたは適切な検出精度を維持しながら、生鮮食品識別システムに固有の特定の制限に対処するように、特定の方式で訓練される。
具体的には、多数の小売業者にわたる制御されない環境を考慮に入れるように、大きいデータセットを利用して、検出精度を増加させることができる。しかしながら、問題があることには、特に小売業者の生鮮食品品目の在庫が比較的少ない場合、かかる大きいデータセットは利用可能でないことがある。
さらに、大きいデータセットが利用可能な場合、代替の解決策では、データが収集されなかった場面に合わせて性能を一般化することはできなかった。記載する方法は、ＰＯＳの適用例に見られる多種多様な環境に合わせて一般化するモデルを生成することができるように、データを収集し拡大する方法について記載することによって、この問題を解決する。
さらに、本発明のシステムは、理想的には、システムを低コストで構築することが可能であるように、処理および記憶に関して計算要件を最小限に抑えるように適応される。さらに、システムは、画像解像度の制限（７４０×４８０ピクセルまでなど）に対処してもよい。
さらに、チェックアウト端末における光度および照明色の揺らぎが、提示された生鮮食品品目の撮像に影響することがある。
具体的には、一実施形態または好ましい実施形態では、本発明のシステムは、組み合わされて完全な特徴ベクトルを形成する色ヒストグラム特徴ベクトルおよびハラリックテクスチャ特徴を備える、生鮮食品画像データから抽出した２つの特徴ベクトルを獲得し利用する。これら２つの特徴ベクトルの組合せおよび使用方法は、小売農産物識別システムの固有の制限を所与として、十分な精度および他の利点を提供する実験中に見出されたものである。
実施形態では、高性能モデルをより小さい学習データセットで訓練することが可能になるように、ヒストグラムが増大した幅の様々なバンドにバンド化されて、色ヒストグラム特徴ベクトル長さを低減する。これは、多数の訓練画像を収集することが現実的でない、小中規模の生鮮食品販売業者にとって重要な考慮点である。このように、訓練モデルに利用可能な特徴を低減することによって、小さい固定サイズのデータセットにおいて性能を改善することができる。実施形態では、ニューラルネットワークの精度を最適化するように、バンドの数が最適化されてもよい。
さらに、実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のハラリックテクスチャ特徴が使用される。
また、これらのテクスチャ特徴のサブセレクションは、サンプルセットおよび計算上の制限に対処するのに、再びニューラルネットワークの精度を最適化する際に選択されてもよい。
ニューラルネットワークは、上記に示唆したように、特定の食料雑貨商に対して数が制限されることがある、生鮮食品学習セットを使用して訓練される。例えば、サンプルセット訓練データは、特定の小売店が一般に在庫を持っている生鮮食品品目のみであってもよい。
完全な特徴ベクトルが各画像に対して計算され、次に、ニューラル重み付けおよび構造を含む、ニューラルネットワークを最適化するのに使用される。
訓練されると、システムは、チェックアウト端末で提示される学習データセットのカテゴリに属する未知の入力生鮮食品品目の画像を獲得するように展開される。展開されたシステムは、同様に、収集画像から完全な特徴ベクトルを生成し、訓練済みニューラルモデルを使用して予測を生成する。予測は次に、チェックアウトシステムに転送され、既定の通信プロトコルを使用して処理される。
そのため、この構成によれば、消費者は画面上の生鮮食品品目から選択する必要はなく、単に生鮮食品品目をカメラの前に置いて識別させればよい。実施形態では、生鮮食品品目をある程度の精度で判定できない場合、展開されたシステムは、可能性がある複数の分類をチェックアウトシステムに送信してもよく、チェックアウトシステムが次に、消費者が選択するように、生鮮食品品目のサブセレクションを画面上に提示してもよい。
展開システム上に展開されると、最適化されたニューラルネットワークモデルには、各生鮮食品カテゴリのデジタル署名／色ヒストグラムに関する特定の情報は含まれないことに留意すべきである。そのため、展開システムは、生鮮食品カテゴリを識別するのに、大型のメモリまたは顕著な計算能力は要さず、計算および記憶、またしたがってコストが低減されるという利点が得られる。
農産物認識システムが開示されている（特許文献１参照。）。Ｄ１によれば、処理済み画像が参照画像と比較されて、一致すると対象が認識される。しかしながら、対照的に、本発明のシステムは、展開されたシステムに対して参照画像を展開するのを回避することができ、訓練済みニューラルネットワークモデルを提供するだけでよく、それによって展開されたシステムの計算ストレージが低減される。
さらに、Ｄ１は色およびテクスチャを含む画像特徴について言及しているが、Ｄ１は、本発明のシステムのように、色特徴ベクトルおよびテクスチャ特徴ベクトルのみの組合せを含む、完全な特徴ベクトルを利用していない。
さらに、Ｄ１は、計算要件を低減することを目的としておらず、したがって、学習セットの制限に対処するように精度を最適化するためにバンドの数および幅を最適化するのはもちろん、本発明のシステムのように、色ヒストグラムをバンド化することは目的としていない。さらに、Ｄ１は、かかる制限にさらに対処するためのテクスチャ特徴のサブセレクションを開示していない。
そのため、上記を念頭に置いて、複数の実施形態が本明細書で開示される。画像カテゴリ化の方法およびシステムが開示され、方法およびシステムは、前処理の際に、第１の数の画像から始まって、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像に対してニューラルネットワークを訓練することによって、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成することと、分類モデルを、画像を受信してカテゴリ化するプロセッサに埋め込むことと、を含み、プロセッサはＰＯＳシステムと通信しており、プロセッサが、分類モデルを実行して、画像のカテゴリ化のパーセンテージ尤度をＰＯＳシステムに出力する。
一実施形態によれば、小売チェックアウト端末生鮮食品識別方法およびシステムが提供され、方法およびシステムは、少なくとも１つの可視スペクトルカメラと、可視スペクトルカメラと動作可能に通信しているプロセッサと、システムバスを通じてプロセッサと動作可能に通信している、デジタルデータを格納するメモリデバイスと、チェックアウトシステムインターフェースとを備え、使用の際、システムは訓練可能であり、プロセッサは、可視スペクトルカメラを使用して、生鮮食品画像データを生鮮食品学習セットから受信するように構成され、メモリデバイスは、各生鮮食品画像に対して完全な特徴ベクトルを生成するように構成された、特徴ベクトル生成コントローラを備え、完全な特徴ベクトルは、色ヒストグラム特徴ベクトルと、テクスチャ特徴ベクトルと、優勢色セグメントベクトルと、事前訓練済み畳み込みニューラルネットワークとの組み合わせを含み、メモリデバイスは、ニューラルネットワークモデルを最適化するニューラルネットワーク最適化コントローラを備え、ニューラルネットワーク最適化コントローラは、完全な特徴ベクトルを利用してニューラルネットワークモデルを最適化するように構成され、最適化されたニューラルネットワークモデルはシステムに対して展開され、システムは、生鮮食品分類を予測するように展開可能であり、プロセッサは、可視スペクトルカメラを介して画像データを受信するように構成され、特徴ベクトル生成コントローラは、色ヒストグラム特徴ベクトルおよびテクスチャ特徴ベクトルを含む、画像データに対する完全な特徴ベクトルを計算し、完全な特徴ベクトルを、ニューラルネットワークモデルを用いて最適化されたニューラルネットワークに入力して、生鮮食品分類予測を出力し、システムは、チェックアウトシステムインターフェースを介して生鮮食品分類予測を出力する。
別の実施形態では、画像カテゴリ化のシステムの方法が開示され、方法は、第１の数の画像から始まって、第１の数の画像に対してデジタル操作を実施することによって、第２の数の画像を生成するステップと、ａ．特徴検出器として使用される大きいデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、ｂ．色空間ヒストグラム、ｃ．数値特徴ベクトルによるテクスチャ特徴、および、ｄ．優勢色セグメント化にしたがって、第２の数の画像から特徴を抽出するステップと、抽出された特徴に対して、ニューラルを訓練し、ニューラルネットワークを訓練して、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成するステップと、を含む。
また、製品をカテゴリ化する方法およびシステムが開示され、方法およびシステムは、第１の数の画像を投入することと、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を特徴抽出器として実行することを含む、第２の数の画像から特徴抽出することと、次いで、ニューラルネットワークによって第２の数の画像を処理することによって、画像のカテゴリ化のパーセンテージ尤度を提供する、分類モデルを生成することと、を含む。
さらに、販売場所（ＰＯＳ）システムの外部にあるシステムの方法が開示され、外部システムは、プロセッサを備え、画像を獲得し、画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、プロセッサに組み込まれた分類モデルを実行し、外部システムは、フォーマットされた通信をＰＯＳシステムに対するプロトコルを含む出力として生成し、ＰＯＳシステムは、外部システムの分類モデルによる出力のフォーマットされた通信を受信する。
さらに、画像データセットを拡大する方法およびシステムが開示され、方法およびシステムは、前処理の際に、第１の数の画像から始まって、第１の数の画像をセグメント化することと、第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、第２の数の画像から特徴を抽出することと、第２の数の画像をニューラルネットワークによって処理することと、それにより、展開のための分類モデルを生成することと、を含み、画像のセグメント化は展開時には実施されない。
更なる特徴は、色ヒストグラム特徴ベクトルがスケールに合わせて正規化されてもよいことを含む。
スケールは０〜１の間であってもよい。
特徴ベクトル生成コントローラは、色ヒストグラム特徴ベクトルを個別のバンドへとバンド化するように構成されてもよい。
ニューラルネットワーク最適化コントローラは、個別のバンドの数を最適化するように構成されてもよい。
個別のバンドは５〜１００の間のバンドを含んでもよい。
個別のバンドは１０のバンドを含んでもよい。
テクスチャ特徴ベクトルは複数のテクスチャ特徴を含んでもよい。
テクスチャ特徴は、少なくとも、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数のサブセットを含んでもよい。
ニューラルネットワーク最適化コントローラは、ニューラルネットワークの精度を最適化するため、複数のテクスチャ特徴のサブセットを選択するように構成されてもよい。
複数のテクスチャ特徴のサブセットは、８〜１２個の間のテクスチャ特徴を含んでもよい。
テクスチャ特徴は１０の特徴ベクトルを含んでもよい。
ニューラルネットワーク最適化コントローラは、隠れ層のニューロンの数を最適化するように構成されてもよい。
ニューロンの数は１００〜１２０の間であってもよい。
ニューロンの数は１１６であってもよい。
本発明の他の態様も開示される。
本発明の範囲内にある他の任意の形態にかかわらず、本開示の好ましい実施形態について、単なる例として、添付図面を参照して以下に記載する。
一実施形態による小売チェックアウト端末生鮮食品識別システム１００を示す図である。
異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。 異なる種類の果物からの例示の色ヒストグラムベクトルおよび関連するバンド化された色ヒストグラムを示す図である。
図２〜図６と同じ果物に対する例示のハラリック特徴ベクトルを示す図である。
それによる試験結果および層最適化を示す図である。
色バンド最適化による試験結果を示す図である。
テクスチャ特徴最適化による試験結果を示す図である。
試験結果検出精度を示す図である。
第１の数の画像を前処理して第２の数の画像を生成することを示す図である。
第２の数の画像の特徴抽出、および第２の数の画像に基づいてカテゴリ化モデルを生成する学習プロセスを示す図である。
ＰＯＳシステムと使用中である展開されたカテゴリ化モデルを示す図である。
図１は、セルフサービス端末のために生鮮食品分類を予測するように訓練される、小売チェックアウト端末生鮮食品識別システム１００を示している。
システム１０２は、デジタルデータを処理するプロセッサ１０５を備える。プロセッサ１０５とシステムバスを通じて動作可能に通信されているのは、メモリデバイス１０６である。メモリデバイス１０６は、コンピュータプログラムコード命令および関連データを含む、デジタルデータを格納するように構成される。そのため、使用の際、プロセッサ１０５は、これらのコンピュータプログラムコード命令および関連データをメモリ１０６から取り出して、解釈し実行する。
図１に示される実施形態では、メモリデバイス１０６のコンピュータプログラムコード命令は、さらに詳細に後述する、様々なコンピュータプログラムコードコントローラに論理的に分割されるものとして示されている。
使用の際、システム１０２は、生鮮食品学習セット１０１を利用して訓練される。
これに関して、システム１０２は、訓練システム１０６として、また共有または別個の構成部分を含んでもよいそれぞれの動作に対して展開されたシステム１１４として動作してもよい。上記に示唆したように、展開されたシステム１０４は、処理および格納要件が低い低コストのコンピューティングデバイスの形態をとってもよい。
システム１０２は、画像データを獲得する機械的ジグ１１５を備えてもよい。これに関して、ジグ１１５は、可視スペクトルカメラ１０４および関連する照明と、画像獲得プロセスを最適化する適切な均一な表面背景（図示なし）を備えてもよい。そのため、訓練中、使用中、生鮮食品の品目は、画像データをそこから獲得するために可視スペクトルカメラ１０４の前に置かれるか、または別の形で画像データベースからロードされる。
訓練プロセス中、プロセッサ１０６は、生鮮食品学習セット１０１からカメラ１０４が獲得した画像データセット１０７をメモリ１０６に格納する。実施形態では、特定の食料雑貨商に関して、該食料雑貨商は、農産物の各種類のサンプルセットをシステムに提供して学習させてもよい。
メモリ１０５は、画像の生鮮食品を含む部分を均一な背景からクロッピングしセグメント化する、画像クロッピングおよびセグメント化コントローラ１０８を備えてもよい。実施形態では、画像セグメント化は大津のアルゴリズムを用いてもよい。
画像クロッピングおよびセグメント化コントローラ１０８は、生鮮食品品目画像を均一な背景から分離して、好ましい黒い背景に生鮮食品品目のみを含む完全な特徴ベクトルを生成するのに使用する。このプロセスにより、あらゆる背景の影響が最小限に抑えられ、ニューラルネットワークモデルに必要な訓練が低減されて、より小さい学習データセット１０１を使用して良好な予測性能を達成することが可能になる。
その後、光度補正コントローラ１０９が画像データの光度を調節してもよい。
光度は、ＲＧＢデータ画像の平均グレースケール輝度を正規化することによって、データ収集および予測プロセスの一部として補正される。ＲＧＢ画像は、標準色グレースケール変換を使用して、等価のグレースケールに変換されてもよい。全てのＲＧＢ画像を正規化してほぼ等しい平均グレースケール輝度を有するようにするのに、平均グレースケール画像輝度セットポイントが、一般的にはダイナミックレンジの真ん中が選択される。
光度補正は、以下の計算ステップを含んでもよい。
Ｉｘｙｚでｘ×ｙピクセルの画像を表す。この場合、ｚ＝｛ｒ，ｇ，ｂ｝は、ＲＧＢ画像の各色成分を表す。
ＩｇでＩｘｙｚのｘ×ｙピクセルのグレースケール表現を表す。Ｉｇ＾はＩｇの平均輝度を表す。
Ｉｓｐを平均グレースケール輝度セットポイントとする。
この場合、ＩＬＣは光度補正画像である。
ＩＬＣ＝Ｉｇ＾−Ｉｓｐ
メモリデバイス１０６は、色ヒストグラム特徴ベクトル１１１とハラリックテクスチャ特徴ベクトル１１２の組合せを含む、完全な特徴ベクトル１１０を生成するように構成された、特徴ベクトル生成コントローラをさらに備えてもよい。
色ヒストグラム
各生鮮食品品目の色ヒストグラムは、この生鮮食品品目のデジタル署名ベクトルの特徴として使用される。一連の色ヒストグラムはテクスチャ特徴とともに、ニューラルネットワークモデル１１３を訓練するのに使用される。
図２〜図６は、異なる種類のリンゴに対する例示のＲＧＢ色ヒストグラムを示している。
色ヒストグラムは、ＲＧＢ画像を撮影し、ｘ軸ビンとしての全ての可能な色強度値を使用してヒストグラムを作成し、各強度の発生頻度を収集することによって作成されてもよい。
色ヒストグラムは、バンド化された色ヒストグラムの最大頻度を１にスケーリングすることによって正規化されてもよい。他の全てのヒストグラム値は、同じスケーリング因子によって線形的に低減されるので、全ての色ヒストグラム値は０〜１の間となる。
好ましい実施形態では、ヒストグラムビン幅は「バンド化」プロセスで増加される。このプロセスによって、色ヒストグラム特徴ベクトル長さが低減されて、より小さい学習データセットを使用して高性能モデルを訓練することが可能になる。
これは、多数の画像を収集することが現実的でない、小中規模の生鮮食品販売業者にとって重要な特徴である。訓練モデルに利用可能な特徴を低減することによって、小さい固定サイズのデータセットにおいて性能を改善することができる。バンド化プロセスは、色ヒストグラムのビンの数を低減することによって実施される。全色ヒストグラムのビンは、より大きい各ビンに対して連続的に割り当てられ均等に分配されてもよい。より大きいビンの頻度は、このビンに割り当てられたより小さいビンにおける頻度を平均することによって計算されてもよい。結果は、図２Ｂ〜図４Ｂに示されるようなバンド化された色ヒストグラムである。
実施形態では、ビンの数／幅は、ニューラルネットワークを最適化するときに最適化されてもよい。
色ヒストグラムおよびバンド化された色ヒストグラムの計算は、次のことを含んでもよい。
完全なヒストグラム：
Ｉｘｙｚでｘ×ｙピクセルの画像を表す。この場合、ｚ＝｛ｒ，ｇ，ｂ｝は、ＲＧＢ画像の各色成分を表す。
アイバーソンの記法は、ここでは次式のように定義される。
式中、ｎは色深度であり、ヒストグラムビンは次式のように計算される。
ヒストグラムベクトルの３つの成分は次のようになる。
ＦＲ＝（ｒ０，ｒ１，・・・，ｒｎ−１）
ＦＧ＝（ｇ０，ｇ１，・・・，ｇｎ−１）
ＦＢ＝（ｂ０，ｂ１，・・・，ｂｎ−１）
最大正規化色ヒストグラムベクトルは次式の通りである。
完全なヒストグラムのベクトルは次式のように構築される。
バンド化されたヒストグラム：
ｂがバンドの数である場合、バンド幅はｎ＝として計算される。
バンド化されたヒストグラムのビンは次式のように計算される。
注：ｎがｂの整数倍でない場合、ｂ−１は（ｍ−１）成分の平均となる。
バンド化されたヒストグラムのベクトルの３つの成分は次のようになる。
ＢＲ＝（ｒ０，ｒ１，・・・，ｒｎ−１）
ＢＧ＝（ｇ０，ｇ１，・・・，ｇｎ−１）
ＢＢ＝（ｂ０，ｂ１，・・・，ｂｎ−１）
バンド化されたヒストグラムのベクトルは次式のように構築される。
実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のテクスチャ特徴（例えば、ハラリックテクスチャ特徴）が使用される。これらの特徴の数学的計算は一般的な最新技術であり、ここに提示される。
これら１４個のテクスチャ特徴は、組み合わされてベクトルとなり、ニューラルネットワーク予測子を訓練するための一連の特徴として使用される。具体的には、図７は、上記で言及したリンゴの品種それぞれに対してテクスチャ特徴ベクトルが収集されていることを示している。
完全な特徴ベクトル１１０は次に、ニューラルネットワークモデル１１３を最適化するのに利用される。
システム１００が出力する予測は、インターフェースを介してセルフサービス端末１１９に送られ、画面１２０に予測品目が画面表示されてもよい。かかる予測は、チェックアウトの目的で、農産物データベース１２２と相互参照されてもよい。上記に示唆したように、品目をある程度の精度で予測できない場合、ユーザに選択させるために一組の農産物品目から可能性のある候補を含む、サブセレクションインターフェース１２１が画面１２０に提示されてもよい。
ニューラルネットワーク最適化−例示の試験結果
最適化中、ニューラルネットワーク層の数、各層のニューラルネットワークノードの数、色ヒストグラムバンドの数、テクスチャ特徴の数といったパラメータが変動することがある。
システムは、ニューラルネットワークモデル１１３の検出精度を最適化するのに、上記パラメータの最適化を自動化してもよい。
例えば、後述する例示の試験結果に関して、以下の６つのカテゴリに対して使用される２８６６画像の色ヒストグラムおよびテクスチャ特徴ベクトルが、図２〜図７に提供される。
１．リンゴ−グラニー・スミス
２．リンゴ−ピンク・レディー
３．リンゴ−レッド・デリシャス
４．リンゴ−ロイヤル・ガラ
５．ミカン−インペリアル
６．オレンジ−ネーブル
さらに詳細に後述するような訓練中、システムは、１３７の隠れ層ニューロンを有し、バンド化された色ヒストグラムに対して全てのテクスチャ特徴および１０のバンドを利用する、単一の隠れ層を備えるように、ニューラルネットワークモデル１１３を最適化した。
図８〜図１０は、最適化プロセスを例証する様々な性能プロットを提供する。
様々なモデル構成それぞれについて、訓練、検証、および試験のセットの無作為な選択を使用して２２のモデルを開発した。
次に、２２回の工程を使用して以下が計算されプロットされる試験セットを使用して、性能をチェックした。
ａ．平均値
ｂ．平均に対する９５％信頼区間
ｃ．最小値
最良のニューラルネットワークモデル構成の選択は、これらのパラメータに基づく
最良に機能するモデルが、最大平均値、最小信頼区間、および低い信頼区間に近い最小値を有する場合。モデル性能をこれらのパラメータに基づいて比較する。この方策に基づいてモデルを選択することによって、小さいデータセットに対して最適性能が見出される解決策が提供される。モデル性能を向上する一般的な解決策は、データセットサイズを増大することであるが、上記に示唆したように、特に生鮮食品市場の場合、限定的な生鮮食品学習セット１０１しか利用できないことがある。そのため、本出願の場合、精度を最適化するのに学習セットのサイズを増大させる従来の方策を適用することは不可能である。
隠れ層最適化
図８は、隠れ層最適化を示しており、図から分かるように、平均性能は、１１６の隠れニューロンが使用される場合は約７８％で非常に一定したピークに達しているが、約１４０の隠れニューロンを使用することによって幅広く変動するモデル性能がもたらされる。
色バンド最適化
図９は、小さい生鮮食品学習セット１０１に対して最適性能を達成するために、色バンド最適化がいかに重要であるかも示している。具体的には、２５６個の完全色バンドが使用される場合、性能は１１６の隠れ層ニューロンでピークに達し、平均は約７８％である。１０個の色バンドでは、性能は約８７％でピークに達する。
テクスチャ特徴最適化
図１０は、テクスチャ特徴の数の最適化を示している。
５個、１０個、および１４個のテクスチャ特徴を有するモデルは約８７％の平均性能を有するが、１０個のテクスチャ特徴を有するモデルはより一定した性能をもたらし、したがってこの特定の用途に対する最良の選択であろう。
図１１は、この例示の試験によるシステム１００の最終性能を示している。
上述したように、画像カテゴリ化の方法およびシステムの複数の実施形態が開示される。具体的には、組み合わされて完全な特徴ベクトルを形成する色ヒストグラム特徴ベクトルおよびハラリックテクスチャ特徴を備える、生鮮食品画像データから抽出した２つの特徴ベクトルを利用する一実施形態について、詳細に考察する。つまり、上記では、特徴ベクトル生成コントローラの２つの特徴抽出プロセスを利用する方法およびシステムが開示されている。別の方法として、以下の特徴抽出プロセスにしたがって画像データセットを処理する、特徴ベクトル生成コントローラが開示される。
ａ．特徴検出器として使用される、大きな関連性のない、および／または独立したデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、
ｂ．色空間ヒストグラム、
ｃ．数値特徴ベクトルによるテクスチャ特徴、および、
ｄ．優勢色セグメント化
したがって、カテゴリ化モデルの実行に影響を及ぼす特徴ベクトル生成コントローラは、展開時に利用されるプロセッサに埋め込まれてもよい。
上述したように、展開場所で画像を獲得するカメラを含む展開システム１０２は、処理および格納要件が低い低コストのコンピューティングデバイスの形態をとってもよい。展開システム１０２は、ＰＯＳシステムの外部にインストールすることができ、またはＰＯＳシステムに統合されてもよい。外部にあっても統合されても、本明細書に記載のシステムおよび方法を商用設備に関連付けるためには、画像のカテゴリ化のパーセンテージ尤度を迅速、信頼性高く、また安価に提供することが好ましい。現在のＰＯＳシステムは、本明細書に記載のシステムおよび方法と外部で協働することができる。したがって、本明細書に記載のシステムおよび方法は、画像のカテゴリ化のパーセンテージ尤度を、開示するプロトコルを用いてＰＯＳシステムと通信するように設計される。
上述したように、入力画像に対してニューラルネットワークを訓練するために、学習セットが提供される。図１では、画像クロップおよびセグメント化１０８、ならびに光度補正１０９を含むデジタル操作が、学習セットに対して実施される。訓練システムの更なる詳細が図１２に提供され、画像データセットは、「第１の数の画像」に対するデジタル操作の結果として生成される「第２の数の画像」である。
図１２は、第１の数の画像を前処理して第２の数の画像を生成することを示している。第１の数の画像は、例えば、ステップ１５０および１５２で提供されてもよい、１つの種類の果物の１００の画像であってもよい。第１の数の画像は、製品画像の背景が除去１５４されて、マスキングされた製品画像１５６を生成することを含めて、さらに処理されてもよい。次に、画像１５２および１５６に、反転、回転、シアー、ズーム、および傾斜を含む拡張技術１５８、ならびに照明色および明るさのシフトおよび色変動雑音を含む、照明および製品のばらつきを扱う拡張が施される。この拡張プロセスは、元の画像セットを１０倍超に拡大してもよい。この拡大した製品画像セットは、分類モデルが展開されるべき空の場面を含む背景セットと組み合わされてもよく、重なり合う画像は、場面シミュレーション１６０に関して無作為または作為的であって、第２の増加した数の製品画像１６２を生成する。背景セットは、１０超の場面を含んでもよく、拡張に加えて堅牢性を提供するため、様々な照明条件を含んでもよい。予期される展開環境全体にわたって性能を最大限にするため、背景セットは、照明および色のばらつきを含めて、記載したように拡張されてもよい。背景セットは、展開に関して予期される全ての環境の包括的表現であってもよい。最初の第１の数の画像、例えば１００の画像から、ニューラルネットワークを訓練するための十分な量的ばらつきを含む、製品画像の増加および場面シミュレーションの１００００を超える数の画像（セグメント化画像または非セグメント化画像であってもよい）が生成されてもよく、それによってニューラルネットワークは、照明、背景、および自然物のばらつきに関する変動に対して堅牢になる。
他のタイプの画像も、上述したように処理して、高価なデータ収集プロセスなしに条件をシミュレートすることができる。例えば、製品が半透明の包装に入れられた場合の分類性能を堅牢にするため、マスキングした農産物画像と混合した袋のテクスチャの画像を使用して、品目の上にある袋のシミュレーションが利用されてもよい。さらに、例えば、マスクと組み合わせた手の画像を使用することによって、製品と併せた手のシミュレーションが利用されてもよい。ばら物などの農産物ではない製品に対して、同じプロセスを利用することができる。利益として、バーコードを有さない品目を、バーコードを有しているかのように展開場所で迅速に処理できるということがある。
次に図１３を参照すると、図１３は、第２の数の画像の特徴抽出、および第２の数の画像に基づいてカテゴリ化モデルを生成する学習プロセスを示している。特徴抽出プロセスは、事前訓練畳み込みニューラルネットワーク１８０ａ、ＣＮＮを利用して高度特徴抽出を使用することを含んでもよい。ＣＮＮは、大きいデータセット、例えば数百万の画像に対して事前訓練され、次に一般的特徴抽出／検出を送達するように切り捨てられてもよい。高性能の低計算アーキテクチャ、例えばモバイルネットアーキテクチャを選択することが有益である。この方策は、事前訓練済みＣＮＮが様々な場面で高度な特徴を識別することができるので、はるかに高い性能をもたらす。色およびテクスチャなどのより一般的な特徴と組み合わせて、非常に優れたレベルの性能および一般化を達成することができる。この方策は、一般的に、ＣＮＮアーキテクチャが利用可能なデータセットに対して明確に訓練されるであろう、製品識別の最新技術とは対照的であることに留意されたい。これらのアーキテクチャは多種多様な用途で良好に機能することが実証されているが、カテゴリ当たり１０００を大幅に超える著しい数の画像がなければ、これらのモデルを訓練することは困難なことが分かっており、モデルは一般化されない。
生成された第２の増加した数の製品画像１６２が受信されて、量的特徴を抽出することができる。上述したように、特徴抽出は、特徴検出器１８０ｂとして使用される第１の画像セットとは別個の大きいデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、Ｒ、Ｇ、Ｂ色ヒストグラムなどの色空間ヒストグラム１８２（色バンドが最適化されてもよい）、ハラリックテクスチャ特徴を使用するテクスチャ特徴などの数値特徴ベクトル１８４によるテクスチャ特徴、およびＫ平均色セグメント化を使用した優勢色セグメントなどの優勢色セグメント化１８６、ならびに考察したような、大きいデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）である、事前訓練済みＣＮＮ １８０ｂを含むことができる。
完全に接続されたフィードフォワードニューラルネットワーク１８８は、入力画像１６２から抽出された特徴を訓練する。フィードフォワードニューラルネットワークは、各カテゴリのスコアを生成して分類モデル１９０を出力してもよく、分類モデルは、特徴ベクトル生成コントローラで実行して、展開場所で受信される画像の予測を行うことができる。分類モデル１９０は、特徴ベクトル生成コントローラとして埋め込まれ、図１の安価なプロセッサ１０５に組み込まれてもよい。本明細書に開示するシステムおよびプロセスの商業的側面にしたがって、記載したプロセスを通して到達したカテゴリ化モデルを実行する利益は、該カテゴリ化モデルの実行には、展開場所で迅速に出力するための処理能力がほとんど必要なく、画像またはデータ署名の格納が不要な点である。
図１４を参照すると、図１４は、ＰＯＳシステムと使用中である展開されたカテゴリ化モデルを示しており、つまり、開示の方法およびシステムは、展開場所において販売場所（ＰＯＳ）システム１９６の外部にあるシステム１９４を含むことができ、外部システムは、プロセッサ１０５を備え、例えば可視スペクトルカメラ１９８で、未知の生鮮製品品目２００の画像を獲得し、画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、プロセッサ１０５に組み込まれた分類モデルを実行する。ＰＯＳシステム展開における画像特徴抽出は、訓練で使用したのと同じパラメータおよび構成を利用する。あるいは、展開された特徴抽出は、後述する非セグメント化などのばらつきを含んでもよい。訓練データは、ローカルではなくクラウドに格納される。小さい訓練済みカテゴリ化モデルのみがプロセッサ１０５に埋め込まれるので、データのサイズの数分の一である特徴ベクトル生成コントローラが展開される。例えば、１００のカテゴリに対する訓練データは、展開されたモデルおよびコードベースが１５０ＭＢ未満の場合、４０ＧＢ超であってもよい。
外部システム１９４は、ＰＯＳシステムに対するプロトコルを含む出力として、フォーマットされた通信を生成してもよく、ＰＯＳシステム１９６は、外部システムの分類モデルによる出力のフォーマットされた通信を受信する。前処理に応じて、また第１の数の画像から始まって、第１の数の画像のセグメント化が処理されてもよく、可視スペクトルカメラ１９８から受信した画像のセグメント化は展開時に実施されない。あるいは、可視スペクトルカメラ１９８は３−Ｄカメラであってもよいので、セグメント化は展開時に実施されずに、むしろ深度の閾値化によって達成される。処理を迅速に行うことが可能になるように、展開時に必要な処理量を制限する、様々な調節が行われてもよい。本発明のシステムおよび方法は迅速に動作し、視覚システム１９４のハードウェアは安価であることが意図される。
セグメント化（背景なしの前景におけるマスキングされた画像の農産物のみの抽出）は、上述したように、展開場所における処理効率に影響を及ぼすことがある。言及したように、予測は非セグメント化またはセグメント化画像に対して実行されてもよい。セグメント化画像の場合、背景シミュレーションは不要である。セグメント化の堅牢性は方策に応じて決まる。閾値背景減算：１以上の画像を使用して背景のモデル（例えば、ガウス型、ＫＮＮ）を作成する。農産物画像と比較してマスクを作成する。立体撮像を使用して深度情報を取得し、既知の背景深度に基づいてマスクを作成する。非セグメント化の場合、場面シミュレーションを使用して、様々な環境において農産物を認識するようにシステムを教育してもよい。
別の実施形態では、展開されたシステムは、複数の視野角を組み合わせて特徴の統計的分散を増加させてもよい。画像を組み合わせて（繋ぎ合わせて）単一の画像にし、上述した予測プロセスを通して実行することによって、複数のカメラが実現されてもよい。視野角を増強するためにミラーが使用されてもよく、同じ繋ぎ合わせプロセスで分散の増加が使用されてもよい。自動露出調節またはＨＤＲ対応カメラでは、照明は達成されないことがある。カメラは、スキャナまたは校正専用照明／レーザーのレーザーもしくは外部照明を使用して、生で校正することができる。開示のシステムおよび方法は、十分な予測スコアに達しない場合に、バーコードなしの品目の選択を使用不能にするためだけに実現されてもよい。
事前訓練済みＣＮＮを含む、特徴抽出のアルゴリズム命令は、訓練済みニューラルネットワークとともに、低コストのシングルボードコンピュータなどのＰＯＳシステムに通信している外部システムで展開されるか、または通信が仮想的に促進されるＰＯＳ機械上で直接展開されてもよい。
図１３に示されるように、ＰＯＳシステムとの通信は、画像の２００のカテゴリ化のパーセンテージ尤度を提供するＪＳＯＮドキュメントを送信する、ＨＴＴＰサーバで実現されてもよい。ＨＴＴＰサーバはイーサネット（登録商標）接続を使用するが、Ｗｉｆｉ、シリアル、または他のデジタルデータ転送メカニズムに適応することができる。
開示のシステムおよび方法は、マスキングされた画像の閾値評価を使用するオブジェクト検出、外部入力による始動（生鮮食品ボタンの押下げ、スケールの安定）、必要に応じて外部システムが常に利用可能な結果を安定して作成する実行予測、および／または農産物が存在するかを評価し、十分な確信に達したときに外部システムを始動するための、一貫した予測の使用といった、様々な予測の選択肢を提供することができる。特定のカテゴリは、ＰＯＳシステムでアクティブではない場合は不要なことがある。ランク付けされた結果が提供された場合に任意の切り捨てスコアとともに１つまたは複数の結果を表示できるように、最小限の上位スコアが達成されてもよい。
開示のシステムは、既定のプロトコルを介してＰＯＳと通信する便利な方法を含む。デバイスによって行われる予測は、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクト表記法（ＪＳＯＮ）ファイルに格納されてもよく、ほとんどのプログラミング言語に簡単に統合することが可能である。ＪＳＯＮファイルは、周期的にまたはＰＯＳが要求したときに、ＨＴＴＰサーバまたはシリアルリンクを介して供給されてもよい。以下の情報のフォーマットを可能にする、他の標準的なデータ構造、例えばＸＭＬが使用されてもよい。
開示のシステムおよび方法は、生鮮食品および一括購入品目などのバーコードなしの品目を、カメラを使用してＰＯＳシステムで識別する、拡張可能な解決策を提供する。開示のシステムおよび方法の解決策によって、新しい品目の追加が可能になる。開示のシステムおよび方法によって、有益には、照明、背景、および季節による変動を考慮に入れて教育することができる、高レベルの特徴関係を学習することによって、一般的解決策が可能になる。開示のシステムおよび方法は高価なハードウェアを回避し、したがって、実装コストが低いことにより拡張可能である。また、クラウドＡＰＩサービスの使用を妨げる恐れがある、高いインターネット帯域幅およびサーバのコストが回避される。
上述の記載は、説明の目的で、本発明の徹底的な理解を提供するために特定の命名法を使用した。しかしながら、本発明を実施するために具体的な詳細は不要であることが、当業者には明白となるであろう。したがって、本発明の特定の実施形態に関する上述の記載は、例証および説明の目的で提示されるものである。記載は、包括的であること、または本発明を開示される正確な形態に限定することを意図せず、当然ながら、上述の教示に照らして、多くの修正および変形が可能である。実施形態は、本発明およびこの実用的用途の原理を最適に説明するために選択し記載したものであり、それによって当業者が、想起される特定の用途に最適に適合するような様々な修正を伴う本発明および様々な実施形態を最適に利用することができる。以下の特許請求の範囲およびこれらの等価物は本発明の範囲を定義するものとする。
実施形態では、角二次モーメント、コントラスト、相関、平方和：分散、逆差分モーメント、総平均、総分散、総エントロピー、エントロピー、差分分散、差分エントロピー、相関１の情報測度、相関２の情報測度、最大相関係数を含む、１４個のテクスチャ特徴（例えば、ハラリックテクスチャ特徴）が使用される。これらの特徴の数学的計算は一般的な最新技術である。

Claims (27)

  1. 品目が背景画像セットとして認識されることとなる第１の数の背景の画像を受信することと、
    元の品目画像セットにおいて認識されるべき品目の元の数の画像を受信することと、
    前記元の品目画像セットにおける前記画像の前記背景をマスキングして、マスキングされた品目画像セットを生成することと、
    前記マスキングされた品目画像セットをデジタル拡張して、前記マスキングされた品目画像セットよりも多数の前記品目の画像を含む、拡張された品目画像セットを生成することと、
    前記拡張された品目画像セットの前記画像を前記背景画像セットの画像に重畳して、訓練画像セットを生成することによって、ニューラルネットワークを訓練するのに十分な量的ばらつきを提供することと、
    前記訓練画像セットから特徴を抽出することと、
    前記訓練画像セットに対してニューラルネットワークを訓練することによって、画像のカテゴリ化の予測を提供する分類モデルを生成することと、
    を前処理に含むとともに、
    前記分類モデルをプロセッサに組み込むことと、
    カテゴリ化のための画像を受信することと、
    を含み、
    前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記受信した画像に対して前記分類モデルを実行して前記画像のカテゴリ化の予測を前記ＰＯＳシステムに出力する画像カテゴリ化方法。
  2. カテゴリ化のための画像の前処理が、前記画像を獲得することと、前記特徴を抽出することと、前記抽出された特徴を前記分類モデルの前記ニューラルネットワークに適用して、前記画像のカテゴリ化のパーセンテージ尤度を生成することと、を含む請求項１に記載の方法。
  3. 前処理の際に、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）が、特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練される請求項１に記載の方法。
  4. 前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１に記載の方法。
  5. 前記特徴抽出が、
    ａ．前記事前訓練済みＣＮＮと、
    ｂ．色空間ヒストグラムと、
    ｃ．数値特徴ベクトルによるテクスチャ特徴と、
    ｄ．優勢色セグメント化と、
    を含む請求項３に記載の方法。
  6. 前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１に記載の方法。
  7. 販売場所（ＰＯＳ）システムの外部にあるシステムの方法であって、前記外部システムが、プロセッサを備え、画像を獲得し、前記画像のカテゴリのパーセンテージ尤度に対する出力スコアとして提供する、前記プロセッサに組み込まれた分類モデルを実行し、前記外部システムが、フォーマットされた通信を前記ＰＯＳシステムに対するプロトコルを含む出力として生成し、ＰＯＳシステムが、前記外部システムの分類モデルによる前記出力の前記フォーマットされた通信を受信する方法。
  8. プロセッサに組みこまれた前記モデルが、前処理の際に、第１の数の画像から始まって、該第１の数の画像の拡張によって第２の数の画像を生成し、該第２の数の画像から特徴を抽出し、前記第２の数の画像をニューラルネットワークによって処理することによって前記分類モデルを生成して、前記画像のカテゴリ化のパーセンテージ尤度を提供する請求項７に記載のシステム。
  9. 前処理の際に、前記ニューラルネットワークが、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む請求項８に記載のシステム。
  10. 前記ニューラルネットワークが全結合型ニューラルネットワークである請求項８に記載のシステム。
  11. 前記特徴抽出が、
    ａ．前記事前訓練済みＣＮＮと、
    ｂ．色空間ヒストグラムと、
    ｃ．数値特徴ベクトルによるテクスチャ特徴と、
    ｄ．優勢色セグメント化と、
    を含む請求項９に記載のシステム。
  12. 第１の数の画像を投入することと、該第１の数の画像の拡張によって第２の数の画像を生成することと、該第２の数の画像から特徴を抽出することと、を含み、該特徴を抽出することが、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を高度エッジおよび形状識別子として実行し、ニューラルネットワークによって前記第２の数の画像を処理することによって、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成する製品カテゴリ化方法。
  13. 前記分類モデルを生成することが、前記第２の数の画像の特徴抽出を前処理することを含む請求項１２に記載の方法。
  14. 前記特徴抽出が、
    ａ．前記事前訓練済みＣＮＮと、
    ｂ．色空間ヒストグラムと、
    ｃ．数値特徴ベクトルによるテクスチャ特徴と、
    ｄ．優勢色セグメント化と、
    を含む請求項１２に記載の方法。
  15. 前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１２に記載の方法。
  16. 前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる請求項１２に記載の方法。
  17. 前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項１６に記載の方法。
  18. 前処理の際に、第１の数の画像から始まって、該第１の数の画像をセグメント化することと、前記第１の数の画像に対するデジタル操作によって第２の数の画像を生成することと、前記第２の数の画像から特徴を抽出することと、前記第２の数の画像をニューラルネットワークによって処理することと、これによって展開のための分類モデルを生成することと、を含み、画像のセグメント化が展開時に実施されない、画像データセットを拡大する方法。
  19. 展開時に、画像を獲得し、前記特徴を抽出し、前記抽出された特徴を前記分類モデルの前記ニューラルネットワークに適用して、前記画像のカテゴリ化のパーセンテージ尤度を生成する請求項１８に記載の方法。
  20. 前処理の際に、前記特徴抽出が、形状およびエッジ検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む請求項１８に記載の方法。
  21. 前記ニューラルネットワークが全結合型ニューラルネットワークである請求項１８に記載の方法。
  22. 前記特徴抽出が、
    ａ．前記事前訓練済みＣＮＮと、
    ｂ．色空間ヒストグラムと、
    ｃ．数値特徴ベクトルによるテクスチャ特徴と、
    ｄ．優勢色セグメント化と、
    を含む請求項２０に記載の方法。
  23. 展開のため、前記分類モデルが、ＰＯＳシステムの外部にあって該ＰＯＳシステムと通信しているプロセッサに組み込まれる、請求項１８に記載の方法。
  24. 前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリの前記パーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２３に記載の方法。
  25. 第１の数の画像から始まって、該第１の数の画像に対してデジタル操作を実施することによって、第２の数の画像を生成することと、
    ａ．特徴検出器として使用される、大きな関連性のない、または独立したデータセットに対して訓練された、事前訓練済み畳み込みニューラルネットワーク（ＣＮＮ）、
    ｂ．色空間ヒストグラム、
    ｃ．数値特徴ベクトルによるテクスチャ特徴、および、
    ｄ．優勢色セグメント化
    にしたがって、第２の数の画像から特徴を抽出することと、
    抽出された特徴に対して、ニューラルネットワークを訓練して、画像のカテゴリ化のパーセンテージ尤度を提供する分類モデルを生成することと、
    を含む画像カテゴリ化方法。
  26. 前記分類モデルをプロセッサに組み込むことと、
    カテゴリ化のために画像を受信することと、
    を含み、
    前記プロセッサがＰＯＳシステムと通信し、前記プロセッサが前記分類モデルを実行して、前記画像のカテゴリ化のパーセンテージ尤度を前記ＰＯＳシステムに出力する請求項２５に記載の方法。
  27. 前記ＰＯＳシステムが、前記分類モデルによるフォーマットされた出力の通信を受信し、前記フォーマットされた出力が、前記画像のカテゴリのパーセンテージ尤度のスコアを前記ＰＯＳシステムに提供するプロトコルを含む請求項２６に記載の方法。
JP2020554328A 2017-12-21 2018-12-20 小売チェックアウト端末生鮮食品識別システム Ceased JP2021508398A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2017905146A AU2017905146A0 (en) 2017-12-21 A retail checkout terminal fresh produce identification system
AU2017905146 2017-12-21
PCT/AU2018/051369 WO2019119047A1 (en) 2017-12-21 2018-12-20 A retail checkout terminal fresh produce identification system

Publications (1)

Publication Number Publication Date
JP2021508398A true JP2021508398A (ja) 2021-03-04

Family

ID=66992404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554328A Ceased JP2021508398A (ja) 2017-12-21 2018-12-20 小売チェックアウト端末生鮮食品識別システム

Country Status (8)

Country Link
US (1) US11720939B2 (ja)
EP (1) EP3729375A4 (ja)
JP (1) JP2021508398A (ja)
CN (1) CN111587450A (ja)
AU (1) AU2018390987A1 (ja)
CA (1) CA3086248A1 (ja)
RU (1) RU2769888C2 (ja)
WO (1) WO2019119047A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3834135A4 (en) 2018-08-07 2022-05-04 BlinkAI Technologies, Inc. IMAGE ENHANCEMENT ARTIFICIAL INTELLIGENCE TECHNIQUES
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US11650164B2 (en) * 2019-05-15 2023-05-16 Getac Technology Corporation Artificial neural network-based method for selecting surface type of object
US11244443B2 (en) * 2019-07-28 2022-02-08 Advantest Corporation Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
US20210042528A1 (en) * 2019-08-09 2021-02-11 Malay Kundy System and method for loss prevention at a self-checkout scanner level
US11743418B2 (en) 2019-10-29 2023-08-29 Accel Robotics Corporation Multi-lighting conditions rapid onboarding system for visual item classification
US11205094B2 (en) 2019-10-29 2021-12-21 Accel Robotics Corporation Multi-angle rapid onboarding system for visual item classification
US11275972B2 (en) * 2019-11-08 2022-03-15 International Business Machines Corporation Image classification masking
EP3862962A1 (en) 2020-02-10 2021-08-11 Mettler-Toledo (Albstadt) GmbH Method and appartus for identifying an item selected from a stock of items
US20210300433A1 (en) * 2020-03-27 2021-09-30 Washington University Systems and methods for defending against physical attacks on image classification
US11720650B2 (en) 2020-10-30 2023-08-08 Tiliter Pty Ltd. Methods and apparatus for training a classification model based on images of non-bagged produce or images of bagged produce generated by a generative model
US11341698B1 (en) * 2020-12-18 2022-05-24 Tiliter Pty Ltd. Methods and apparatus for simulating images of produce with markings from images of produce and images of markings
WO2022177947A1 (en) * 2021-02-17 2022-08-25 Accel Robotics Corporation Multi-lighting conditions rapid onboarding system for visual item classification
US20230100172A1 (en) * 2021-09-30 2023-03-30 Toshiba Global Commerce Solutions Holdings Corporation Item matching and recognition system
US20230297990A1 (en) * 2022-03-18 2023-09-21 Toshiba Global Commerce Solutions Holdings Corporation Bi-optic object classification system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009091353A1 (en) * 2008-01-14 2009-07-23 Henty David L Produce identification and pricing system for checkouts
JP2014092975A (ja) * 2012-11-05 2014-05-19 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
JP3776500B2 (ja) * 1996-03-26 2006-05-17 オリンパス株式会社 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
US6260023B1 (en) * 1999-06-14 2001-07-10 Ncr Corporation Transaction processing system including a networked produce recognition system
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
KR20070023357A (ko) * 2005-08-24 2007-02-28 주식회사 케이티 사람 영역의 매스크 이미지를 이용한 배경 변조 장치 및 그방법
RU2470363C2 (ru) * 2011-02-14 2012-12-20 Общество с ограниченной ответственностью "Адривер" Способ электронной продажи товаров и услуг
RU2453919C1 (ru) * 2011-03-28 2012-06-20 Закрытое акционерное общество "Лаборатория Касперского" Способ выявления спама в растровом изображении
CN102663780B (zh) * 2012-03-16 2015-04-15 安科智慧城市技术（中国）有限公司 遗留物属性的判断方法及系统
US9147104B2 (en) * 2012-11-05 2015-09-29 The United States Of America As Represented By The Secretary Of The Air Force Systems and methods for processing low contrast images
WO2016123538A1 (en) * 2015-01-29 2016-08-04 Clear Research Corporation Mobile visual commerce system
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108460389B (zh) * 2017-02-20 2021-12-03 阿里巴巴集团控股有限公司 一种识别图像中对象的类型预测方法、装置及电子设备
US10607116B1 (en) * 2018-10-30 2020-03-31 Eyezon Ltd Automatically tagging images to create labeled dataset for training supervised machine learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009091353A1 (en) * 2008-01-14 2009-07-23 Henty David L Produce identification and pricing system for checkouts
JP2014092975A (ja) * 2012-11-05 2014-05-19 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems

Also Published As

Publication number Publication date
EP3729375A4 (en) 2021-09-22
RU2020124183A (ru) 2022-01-21
CN111587450A (zh) 2020-08-25
US20200364501A1 (en) 2020-11-19
CA3086248A1 (en) 2019-06-27
EP3729375A1 (en) 2020-10-28
AU2018390987A1 (en) 2020-08-06
WO2019119047A1 (en) 2019-06-27
RU2020124183A3 (ja) 2022-01-21
US11720939B2 (en) 2023-08-08
RU2769888C2 (ru) 2022-04-07

Similar Documents

Publication Publication Date Title
JP2021508398A (ja) 小売チェックアウト端末生鮮食品識別システム
US11000107B2 (en) Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and method for recommending makeup
US10546217B2 (en) Training a neural network using augmented training datasets
Gómez-Sanchís et al. Hyperspectral system for early detection of rottenness caused by Penicillium digitatum in mandarins
JP4668680B2 (ja) 属性識別システムおよび属性識別辞書生成装置
KR20190134933A (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
US20140307917A1 (en) Robust feature fusion for multi-view object tracking
US20230134967A1 (en) Method for recognizing activities using separate spatial and temporal attention weights
US20210166417A1 (en) Image processing for occluded item recognition
US11861669B2 (en) System and method for textual analysis of images
Durairajah et al. Automatic vision based classification system using DNN and SVM classifiers
Xu et al. Shadow detection and removal in apple image segmentation under natural light conditions using an ultrametric contour map
Meerdink et al. Multitarget multiple-instance learning for hyperspectral target detection
Soleimanipour et al. A vision-based hybrid approach for identification of Anthurium flower cultivars
AU2019291969A1 (en) Computer vision systems and methods for automatically detecting, classifying, and pricing objects captured in images or videos
Mazarire et al. Exploring machine learning algorithms for mapping crop types in a heterogeneous agriculture landscape using Sentinel-2 data. A case study of Free State Province, South Africa
CN105989571B (zh) 基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制
Victoriano et al. Automated detection and identification of olive fruit fly using yolov7 algorithm
Lestari et al. Quality Detection of Export Purple Sweet Potatoes Using Yolov4-Tiny
Kavitha et al. Feature selection method for classifying hyper spectral image based on particle swarm optimization
US20140254864A1 (en) System and method for gesture detection through local product map
JP6375778B2 (ja) 画像処理方法および画像処理装置
Lim et al. Multi-pedestrian detection and tracking using unified multi-channel features
Kim et al. Facial Shape Recognition Using Self Organized Feature Map (SOFM)
IRAWAN et al. Classification of Rice Image Varieties in Karawang City using Support Vector Machine Algorithm

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230627