CN111062404A - 自动建立物件辨识模型的方法 - Google Patents

自动建立物件辨识模型的方法 Download PDF

Info

Publication number
CN111062404A
CN111062404A CN201910238279.XA CN201910238279A CN111062404A CN 111062404 A CN111062404 A CN 111062404A CN 201910238279 A CN201910238279 A CN 201910238279A CN 111062404 A CN111062404 A CN 111062404A
Authority
CN
China
Prior art keywords
identification information
sample images
identification
cloud server
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910238279.XA
Other languages
English (en)
Inventor
简慧宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhan Intelligent System Co ltd
Original Assignee
Xinhan Intelligent System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhan Intelligent System Co ltd filed Critical Xinhan Intelligent System Co ltd
Publication of CN111062404A publication Critical patent/CN111062404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种自动建立物件辨识模型的方法。方法是经由影像采集装置对实体物件的外观的不同视角进行拍摄以获得多张样本影像，设定多张样本影像的识别信息，依据供应商选择操作选择多个云端服务供应商的其中之一，传送多张样本影像及识别信息至所选择的云端训练服务供应商的云端服务器以使云端服务器对多张样本影像执行学习训练，及自云端服务器接收对应识别信息的物件辨识模型。本发明可大幅缩短开发时间，并大幅提升研发效率。

Description

自动建立物件辨识模型的方法
技术领域
本发明涉及物件辨识领域，并特别涉及一种自动建立物件辨识模型的方法。
背景技术
于现有技术中，当欲对特定实体物件进行物件辨识时，研发人员必须经由反覆观察实体物件来自行归纳用以辨识此实体物件的辨识规则，这会耗费大量开发时间，并大幅降的研发效率。
有鉴于此，目前急需一种可自动建立物件辨识模型的方法被提出。
发明内容
为了解决上述技术问题，本发明目的在于提供一种自动建立物件辨识模型的方法，可供使用者选择适合的云端服务供应商来自动产生物件辨识模型。
于一实施例中，一种自动建立物件辨识模型的方法，包括以下步骤：
a)于一训练模式下经由一第一影像采集装置对一第一实体物件的外观的不同视角进行拍摄以获得多张样本影像；
b)设定该多张样本影像的一识别信息，其中该识别信息是用以描述该第一实体物件；
c)依据一供应商选择操作选择多个云端服务供应商的其中之一；
d)传送该多张样本影像及该识别信息至所选择的该云端训练服务供应商的一云端服务器以使该云端服务器对该多张样本影像执行一学习训练；及
e)自该云端服务器接收对应该识别信息的一物件辨识模型。
于一实施例中，该自动建立物件辨识模型的方法还包括以下步骤：
f1)于一辨识模式下经由一第二影像采集装置拍摄一第二实体物件以取得一检测影像；及
f2)依据该物件辨识模型对该检测影像执行一物件辨识处理以判断该第二实体物件是否属于该识别信息。
于一实施例中，该步骤a)包括以下步骤：
a1)进入该训练模式；
a2)控制放置该第一实体物件的一拍摄架转动一预设角度；
a3)控制固定设置的各该第一影像采集装置拍摄该第一实体物件以获得该样本影像；及
a4)重复执行该步骤a2)至该步骤a3)直到该实体物件的所有该视角拍摄完成。
于一实施例中，于该步骤c)之后，该步骤d)之前还包括以下步骤：
g1)依据所选择的该云端服务供应商选择多个前置处理的至少其中之一；及
g2)对该多张样本影像执行所选择的该前置处理；
其中，该步骤d)是传送处理后的该多张样本影像及该识别信息至该云端服务器。
于一实施例中，该多个前置处理包括一底色抽换处理及一物件框选处理。
于一实施例中，该多个云端服务供应商包括Microsoft Azure CustomVisionService及Google Cloud AutoML Vision。
于一实施例中，于该步骤e)之前还包括以下步骤：
h1)依据该物件辨识模型对该多张样本影像分别执行一物件辨识处理以判断各该样本影像是否属于该识别信息；及
h2)依据属于该识别信息的该多张样本影像的数量计算一精准度。
于一实施例中，该自动建立物件辨识模型的方法还包括一步骤i)于该精准度低于一预设精准度时，将不属于该识别信息的该样本影像及该识别信息传送至该云端服务器以使该云端服务器对不属于该识别信息的该样本影像再次执行该学习训练。
于一实施例中，该步骤e)是于该精准度不低于该预设精准度时，自该云端服务器下载该物件辨识模型。
于一实施例中，该步骤e)是自该云端服务器下载该物件辨识模型的一深度学习套件，该深度学习套件为Caffe、TensorFlow、CoreML、CNTK或ONNX。
本发明可基于机器学习来自动建立对实体物件的物件辨识模型，而可大幅缩短开发时间。并且，本发明可供开发人员选择适合的云端服务供应商，而可大幅提升研发效率。
附图说明
图1为本发明一实施例的物件辨识模型建立系统的架构图；
图2为本发明一实施例的拍摄实体物件的示意图；
图3为本发明一实施例的辨识实体物件的示意图；
图4为本发明第一实施例的自动建立物件辨识模型的方法的流程图；
图5为本发明第二实施例的辨识实体物件的流程图；
图6为本发明第三实施例的拍摄实体物件的流程图；
图7为本发明第四实施例的自动建立物件辨识模型的方法的流程图。
附图标记：
10…本地主机
11…影像采集装置
111、112、113…第一影像采集装置
12…拍摄架
120…旋转装置
121…承载台
20…因特网
21…云端服务器
30…第一实体物件
31、32、33、34、35、36、37、38、39…第二实体物件
4…货架
40、41、42、43…区域
50、51、52、53、54…第二影像采集装置
6…人员
S10-S15…第一建立步骤
S20-S24…物件辨识步骤
S30-S31…拍摄步骤
S400-S411…第二建立步骤
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本发明主要是提供一自动建立物件辨识模型的技术，可供使用者选择合适的云端服务供应商，并透过此云端服务供应商所提供的机器学习服务来对指定的实体物件的影像进行训练以产生用以辨识此指定的实体物件的物件辨识模型。接着，使用者可使用此物件辨识模型来对生活中的实体物件进行物件辨识以判断当前的实体物件是否为指定的实体物件。
具体而言，前述物件辨识模型为数据模型，并记录有用以辨识对应的实体物件的多个辨识规则。计算机装置(如后述的本地主机10)可依据前述多个辨识规则来判断给定影像(如后述检测影像)中是否包括对应的实体物件的影像。
更进一步地，本发明所产生的物件辨识模型可适用于无人商店、无人出租店、无人仓储等应用。
请参阅图1，为本发明一实施例的物件辨识模型建立系统的架构图。本发明的物件辨识模型建立系统主要包括一或多个影像采集装置(图1以一个影像采集装置11为例)、拍摄架12及连接上述装置的本地主机10。
影像采集装置11用以拍摄放置于拍摄架12上的实体物件以取得样本影像。于一实施例中，影像采集装置11可包括彩色追踪摄影机(如RGB摄影机)。前述彩色追踪摄影机用以取得拍摄架12(包括所放置的实体物件)的彩色样本影像。
拍摄架12用以放置实体物件以供影像采集装置11进行拍摄。于一实施例中，拍摄架12可设置有旋转装置(如旋转台或轨道装置)。旋转装置可自动或由使用者推动来旋转拍摄架12以使影像采集装置11可对拍摄架12上的实体物件的不同视角进行拍摄，但不以此限定。
于一实施例中，拍摄架12是固定设置，旋转装置可设置于影像采集装置11。旋转装置可自动或由使用者推动来使影像采集装置11绕行拍摄架12移动，而可对拍摄架12上的实体物件的不同视角进行拍摄。
本地主机10连接因特网20，并可经由因特网20连接不同云端服务供应商的云端服务器21。本地主机10于训练模式下可依据使用者操作将样本照片传送至指定的云端服务供应商以经由云端机器学习获得对应的物件辨识模型。
于一实施例中，本地主机10包括非瞬时计算机可读取媒体，并储存有计算机程序，前述计算机程序记录有计算机可读取的程序码。本地主机10的处理器可执行前述计算机程序来实现本发明各实施例的自动建立物件辨识模型的方法。
续请一并参阅图4，为本发明第一实施例的自动建立物件辨识模型的方法的流程图。本发明各实施例的自动建立物件辨识模型的方法可由图1所示系统来加以实现。本实施例的自动建立物件辨识模型的方法包括以下步骤。
步骤S10：本地主机10于训练触发条件满足时进入训练模式。于一实施例中，前述训练触发条件可为收到特定使用者操作(如训练模式启用键被按下)或检测到特定状态(如检测到实体物件被放置于拍摄架12)，不加以限定。
步骤S11：本地主机10控制影像采集装置11(即第一影像采集装置)对拍摄架12上的实体物件(即第一实体物件)的外观的不同视角进行拍摄以获得分别对应实体物件的不同视角的多张样本影像。
于一实施例中，本地主机10可经由旋转装置控制影像采集装置11绕行实体物件，并于每绕行特定角度时控制各影像采集装置11拍摄实体物件的当前视角的一张样本影像。
于一实施例中，本地主机10可经由旋转装置控制拍摄台12旋转，并于每旋转特定角度时控制各影像采集装置11拍摄实体物件的当前视角的一张样本影像。
步骤S12：本地主机10对所产生的多张样本影像设定识别信息。具体而言，本地主机10可包括人机界面(如触控屏幕、键盘、按键组、显示器、其他输入/输出装置或上述装置任意组合)，使用者可经由人机界面来输入用以描述当前拍摄的实体物件的识别信息(如商品名称、颜色、规格、型号、识别码等等)。
步骤S13：本地主机10经由人机界面接受使用者的供应商选择操作，并依据供应商选择操作选择多个云端服务供应商的其中之一。
于一实施例中，本地主机10可经由人机界面(如显示器)提供可选择的云端服务供应商的选项以供使用者依据需求进行选择(如选择使用者已完成注册的云端服务供应商、服务质量较佳的云端服务供应商、费用较低廉的云端服务供应商等等)。
于一实施例中，于使用者选择云端服务供应商后，本地主机10可进一步经由人机界面来接受使用者输入的所选择的云端服务供应商的注册数据(如使用者账号及密码)。
于一实施例中，云端服务供应商可包括Microsoft Azure Custom VisionService(微软公司的自订视觉服务)及/或Google CloudAutoMLVision(谷歌公司的云端自动机器学习视觉服务)。
步骤S14：本地主机10传送多张样本影像及识别信息至所选择的云端训练服务供应商的云端服务器21。接着，云端服务器21对多张样本影像执行学习训练以产生一组物件辨识模型。
前述云端服务器21执行学习训练来产生物件辨识模型属于云端处理技术领域的常见技术，其详细实施方式于此不再赘述。
于一实施例中，本地主机10可进一步传送注册数据至云端服务器21，云端服务器21可先依据注册数据进行验证，并于判断此注册数据具有学习训练权限(如学习训练的可使用次数大于零)后才执行学习训练。
步骤S15：云端服务器21完成学习训练可通知本地主机10，本地主机10于收到通知后可自云端服务器21接收对应所上传的识别信息的物件辨识模型。前述物件辨识模型是用来辨识步骤S11所拍摄的实体物件。由此，使用者可获得一组实体物件的的物件辨识模型。
于一实施例中，使用者可将拍摄架12上的实体物件更换为另一实体物件，并操作本地主机10再次执行步骤S10-S15以取得另一种实体物件的另一物件辨识模型，以此类推。
由此，使用者可经由本发明取得多种实体物件的多个物件辨识模型，而可实现多种实体物件的辨识。
本发明可基于机器学习来自动建立对实体物件的物件辨识模型，而可大幅缩短开发时间。并且，本发明可供开发人员选择适合的云端训练服务供应商，而可大幅提升研发效率。
续请一并参阅图5，为本发明第二实施例的辨识实体物件的流程图。本实施例的自动建立物件辨识模型的方法包括用以实现物件辨识功能的以下步骤。
步骤S20：本地主机10于辨识触发条件满足时进入训练模式。于一实施例中，前述辨识触发条件可为收到特定使用者操作(如辨识模式启用键被按下)。
于一实施例中，本地主机10于进入训练模式后可自动载入所储存的一或多个物件辨识模型，以致能所对应的一或多个实体物件的物件辨识。
步骤S21：本地主机10控制影像采集装置11(即第二影像采集装置)对实体物件(第二实体物件)进行拍摄以取得一张检测影像。
于一实施例中，本地主机10于辨识模式下可侦测拍摄触发条件是否满足，并于拍摄触发条件满足时控制影像采集装置11进行拍摄。
于一实施例中，本地主机10于辨识模式下控制影像采集装置11持续进行拍摄检测影像，并于拍摄触发条件满足时保留当前拍摄的检测影像。
前述辨识触发条件可为收到特定使用者操作(如辨识模式启用键被按下)或检测到特定状态(如检测到人员进入影像采集装置11的拍摄范围或检测到第二实体物件被移动)，不加以限定。
步骤S22：本地主机10依据所载入的物件辨识模型对检测影像执行物件辨识处理以判断所拍摄的第二实体物件是否属于任一所载入的物件辨识模型所对应的识别信息。
于一实施例中，本地主机10是依据各物件辨识模型的多个辨识规则对检测影像进行物件辨识处理以判断检测影像中是否包括对应此物件辨识模型的第一实体物件的影像。若检测影像中包括对应的第一实体物件的影像，则本地主机10判断所拍摄的第二实体物件属于此物件辨识模型所对应的识别信息(如第一实体物件与第二实体物件为相同商品，即用以描述第一实体物件的识别信息可用来描述所拍摄的第二实体物件)。
步骤S23：本地主机10于取得所拍摄的第二实体物件的识别信息后可依据识别信息执行预设程序。
于一实施例中，以无人商店为例，本地主机10可依据识别信息取得第二实体物件的商品信息，并依据商品信息执行加入购物车程序或自动结帐程序。
于一实施例中，以无人仓储为例，本地主机10可依据识别信息取得第二实体物件的货品信息，并依据货品信息执行入仓程序或出仓程序。
步骤S24：本地主机10判断是否结束辨识(如判断使用者是否关闭物件辨识功能，或者关闭影像采集装置11或本地主机10)。
若本地主机10判断结束辨识，则离开辨识模式。否则，再次执行步骤S21至步骤S23以对另一第二实体物件进行物件辨识。
本发明可有效使用所产生的物件辨识模型来实现实体物件的自动辨识，而可省却人力辨识的时间与成本。
值得一提的是，用以执行训练模式的本地主机10与影像采集装置11可与用以执行辨识模式的本地主机10与影像采集装置11为相同装置或不同装置，不加以限定。
续请参阅图3，为本发明一实施例的辨识实体物件的示意图。图3是以无人商店为例说明本发明所产生的物件辨识模型的一种实施方式。具体而言，无人商店的货架4可包括区域40-43。区域40放置有第二实体物件31-33并设置有第二影像采集装置51，区域41放置有第二实体物件34-36并设置有第二影像采集装置52，区域42放置有第二实体物件37-39并设置有第二影像采集装置53、54。第二实体物件31-39分别对应不同的商品。
本地主机10于进入辨识模式后可载入第二实体物件31-39所分别对应的九组物件辨识模型以致能九种第二实体物件31-39的辨识功能。
于人员6进入检测区域43后，本地主机10可取得人员6的身份数据(如经由第二影像采集装置50进行脸部辨识或经由RFID读取器检测人员6所携带的RFID标签)。接着，当人员6拿取任一第二实体物件(以拿取第二实体物件31为例)后，本地主机10可经由第二影像采集装置50或区域40的第二影像采集装置51拍摄人员6所拿取的第二实体物件31的检测影像，并使用所载入的物件辨识模型对检测影像进行物件辨识。并且，于辨识成功后本地主机10可取得第二实体物件31的识别信息(即辨识成功的物件辨识模型所对应的识别信息)。
接着，本地主机10可取得对应此识别信息的货品数据，并连结货品数据与人员6的身份数据(如将货品数据加入人员6的身份数据所对应的购物车清单)。
由此，本发明所产生的物件辨识模型可有效应用于无人商店的货品辨识。
续请一并参阅图2及图6，图2为本发明一实施例的拍摄实体物件的示意图，图6为本发明第三实施例的拍摄实体物件的流程图。
本实施例的物件辨识模型建立系统包括固定设置的三组第一影像采集装置111-113。第一影像采集装置111用以拍摄第一实体物件30的上表面，第一影像采集装置112用以拍摄第一实体物件30的侧表面，第一影像采集装置113用以拍摄第一实体物件的下表面。拍摄架12包括高透光的承载台121(如透明压克力板)，并设置于旋转装置120(于本实施中为旋转基座)而可受控制来进行旋转。
相较于图4的实施例所示的自动建立物件辨识模型的方法，本实施例的自动建立物件辨识模型的方法的步骤S11包括以下步骤。
步骤S30：于第一实体物件30被放置于承载台121且本地主机10进入训练模式后，本地主机10经由旋转装置120控制拍摄架12转动预设角度(如10度)以使第一实体物件30随着转动预设角度。
步骤S31：本地主机10控制第一影像采集装置111-113对第一实体物件30的不同视角进行拍摄以获得三张不同视角的样本影像。
步骤S32：本地主机10判断是否结束拍摄，如是否已拍摄第一实体物件30的所有视角或旋转装置120累积的悬旋转角度不小于临界值(如360度)。
若本地主机10判断结束拍摄，则执行步骤S12。否则，本地主机10重复执行步骤S30至步骤S31直到第一实体物件30的所有视角拍摄完成。
举例来说，本地主机10经由旋转装置120控制拍摄架12再次转动预设角度以使第一实体物件30的不同视角朝向第一影像采集装置111-113，并再次控制第一影像采集装置111-113对第一实体物件30的不同视角进行拍摄以获得三张不同视角的样本影像，以此类推。
由此，本发明可取得第一实体物件30的所有视角的样本影像。
续请一并参阅图7，为本发明第四实施例的自动建立物件辨识模型的方法的流程图。相较于图4的实施例所示的自动建立物件辨识模型的方法，本实施例的自动建立物件辨识模型的方法还包括用以实现前置处理(预处理)功能的步骤S404与步骤S405及用以实现精准度计算功能的步骤S407与步骤S408。本实施例的自动建立物件辨识模型的方法包括以下步骤。
步骤S400：本地主机10进入训练模式。
步骤S401：本地主机10控制影像采集装置11对拍摄架12上的实体物件的不同视角进行拍摄以获得分别对应实体物件的不同视角的多张样本影像。
步骤S402：本地主机10经由人机界面来接收用以描述当前拍摄的实体物件的识别信息。
步骤S403：本地主机10经由人机界面接受供应商选择操作，并据以选择多个云端服务供应商的其中之一。
步骤S404：本地主机10依据所选择的云端服务供应商选择一或多个前置处理。
具体而言，由于各服务云端服务供应商对于可接受的样本影像的格式或影像内容略有不同，本发明可预先依据各服务云端服务供应商对于上传影像的要求编写多个不同的前置处理程序，并将前置处理程序储存于本地主机10。前述各前置处理程序于被执行后可对样本影像执行对应的前置处理。
于一实施例中，前述多个前置处理可包括底色抽换处理及物件框选处理。
举例来说，若所选择的云端服务供应商是MicrosoftAzure CustomVisionService，则本地主机10可选择底色抽换处理。
于另一例子中，若所选择的云端服务供应商是Google Cloud AutoMLVision，则本地主机10可选择物件框选处理。
步骤S405：本地主机10对多张样本影像执行所选择的前置处理。
以底色抽换处理为例，本地主机10可自动修改样本影像的背景颜色来使各样本影像具有不同的背景颜色。
以物件框选处理为例，本地主机10可自动识别各样本影像中的实体物件的影像，并对所识别出的影像执行框选处理(如以包围框标示实体物件的影像，或者保留实体物件的影像并删除其他部分)。
步骤S406：本地主机10传送处理后的多张样本影像及识别信息至所选择的云端训练服务供应商的云端服务器21以使云端服务器21对多张样本影像执行学习训练并产生一组物件辨识模型。
步骤S407：于物件辨识模型产生后，本地主机10可控制云端服务器21使用所产生的物件辨识模型对所上传的多张样本影像执行物件辨识处理以判断各样本影象是否属于识别信息(即样本影像符合此物件辨识处理的辨识规则)。
步骤S408：本地主机10可控制云端服务器21依据多张样本影像的物件辨识计算此物件辨识模型的精准度。
于一实施例中，本地主机10依据属于识别信息的多张样本影像的数量计算精准度。更进一步地，本地主机10可将属于识别信息的多张样本影像的数量除以多张样本影像的总数量以获得前述精准度。
步骤S409：本地主机10判断所计算出的精准度是否不低于预设精准度(如60％)。
若精准度不低于预设精准度，则本地主机10判断此物件辨识模型符合需求，而不需再次进行学习训练，并执行步骤S410。若精准度低于预设精准度，则本地主机10判断此物件辨识模型精准度不足，需再次进行学习训练，并执行步骤S411。
步骤S410：本地主机10自云端服务器21下载此物件辨识模型。
于一实施例中，本地主机10自云端服务器21下载此物件辨识模型的深度学习套件。
于一实施例中，前述深度学习套件可为Caffe、TensorFlow、CoreML、CNTK或ONNX。
若精准度低于预设精准度，则本地主机10执行步骤S411：本地主机10选择不属于识别信息的样本影像。
接着，本地主机10再次执行步骤S406至步骤S409，以将所选择的不属于识别信息的样本影像及识别信息传送至相同云端服务供应商的云端服务器21以使云端服务器对不属于识别信息的样本影像再次执行学习训练并产生重新训练后的物件辨识模型。
本发明经由于自动计算精准度并于精准度不足时重复执行学习训练，可有效确保获得的物件辨识模型具有高精准度，进而提升后续物件辨识的正确率。
以上所述仅为本发明的较佳具体实例，非因此即侷限本发明的专利范围，故举凡运用本发明内容所为的等效变化，均同理皆包含于本发明的保护范围内，合予陈明。

Claims (10)

1.一种自动建立物件辨识模型的方法，其特征在于，包括以下步骤：
a)于训练模式下经由第一影像采集装置对第一实体物件的外观的不同视角进行拍摄以获得多张样本影像；
b)设定该多张样本影像的识别信息，其中该识别信息是用以描述该第一实体物件；
c)依据供应商选择操作选择多个云端服务供应商的其中之一；
d)传送该多张样本影像及该识别信息至所选择的该云端训练服务供应商的云端服务器以使该云端服务器对该多张样本影像执行学习训练；及
e)自该云端服务器接收对应该识别信息的物件辨识模型。
2.如权利要求1所述的自动建立物件辨识模型的方法，其特征在于，还包括以下步骤：
f1)于辨识模式下经由第二影像采集装置拍摄第二实体物件以取得检测影像；及
f2)依据该物件辨识模型对该检测影像执行物件辨识处理以判断该第二实体物件是否属于该识别信息。
3.如权利要求1所述的自动建立物件辨识模型的方法，其特征在于，该步骤a)包括以下步骤：
a1)进入该训练模式；
a2)控制放置该第一实体物件的拍摄架转动预设角度；
a3)控制固定设置的各该第一影像采集装置拍摄该第一实体物件以获得该样本影像；及
a4)重复执行该步骤a2)至该步骤a3)直到该实体物件的所有该视角拍摄完成。
4.如权利要求1所述的自动建立物件辨识模型的方法，其特征在于，于该步骤c)之后，该步骤d)之前还包括以下步骤：
g1)依据所选择的该云端服务供应商选择多个前置处理的至少其中之一；及
g2)对该多张样本影像执行所选择的该前置处理；
其中，该步骤d)是传送处理后的该多张样本影像及该识别信息至该云端服务器。
5.如权利要求4所述的自动建立物件辨识模型的方法，其特征在于，该多个前置处理包括底色抽换处理及物件框选处理。
6.如权利要求4所述的自动建立物件辨识模型的方法，其特征在于，该多个云端服务供应商包括Microsoft Azure Custom Vision Service及Google Cloud AutoML Vision。
7.如权利要求1所述的自动建立物件辨识模型的方法，其特征在于，于该步骤e)之前还包括以下步骤：
h1)依据该物件辨识模型对该多张样本影像分别执行物件辨识处理以判断各该样本影像是否属于该识别信息；及
h2)依据属于该识别信息的该多张样本影像的数量计算精准度。
8.如权利要求7所述的自动建立物件辨识模型的方法，其特征在于，该自动建立物件辨识模型的方法还包括步骤i)于该精准度低于预设精准度时，将不属于该识别信息的该样本影像及该识别信息传送至该云端服务器以使该云端服务器对不属于该识别信息的该样本影像再次执行该学习训练。
9.如权利要求7所述的自动建立物件辨识模型的方法，其特征在于，该步骤e)是于该精准度不低于该预设精准度时，自该云端服务器下载该物件辨识模型。
10.如权利要求1所述的自动建立物件辨识模型的方法，其特征在于，该步骤e)是自该云端服务器下载该物件辨识模型的深度学习套件，该深度学习套件为Caffe、TensorFlow、CoreML、CNTK或ONNX。
CN201910238279.XA 2018-10-17 2019-03-27 自动建立物件辨识模型的方法 Pending CN111062404A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107136558 2018-10-17
TW107136558A TWI684925B (zh) 2018-10-17 2018-10-17 自動建立物件辨識模型的方法

Publications (1)

Publication Number Publication Date
CN111062404A true CN111062404A (zh) 2020-04-24

Family

ID=70279627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910238279.XA Pending CN111062404A (zh) 2018-10-17 2019-03-27 自动建立物件辨识模型的方法

Country Status (3)

Country Link
US (1) US20200126253A1 (zh)
CN (1) CN111062404A (zh)
TW (1) TWI684925B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881187A (zh) * 2020-08-03 2020-11-03 深圳诚一信科技有限公司 一种自动建立数据处理模型的方法及相关产品

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
CN111325273A (zh) * 2020-02-19 2020-06-23 杭州涂鸦信息技术有限公司 一种基于用户自主标定的深度学习模型的建立方法及系统
TWI743777B (zh) * 2020-05-08 2021-10-21 國立勤益科技大學 具智能圖像辨識的商品搜尋輔助系統
CN114282586A (zh) * 2020-09-27 2022-04-05 中兴通讯股份有限公司 一种数据标注方法、系统和电子设备
US11568578B2 (en) 2020-12-28 2023-01-31 Industrial Technology Research Institute Method for generating goods modeling data and goods modeling data generation device
US11960569B2 (en) * 2021-06-29 2024-04-16 7-Eleven, Inc. System and method for refining an item identification model based on feedback

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217678A1 (en) * 2009-02-09 2010-08-26 Goncalves Luis F Automatic learning in a merchandise checkout system with visual recognition
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
US20150109451A1 (en) * 2013-10-17 2015-04-23 Mashgin Inc. Automated object recognition kiosk for retail checkouts
TW201640419A (zh) * 2015-05-13 2016-11-16 盾心科技股份有限公司 影像辨識與監控系統及其實施方法
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
US20170372127A1 (en) * 2016-06-24 2017-12-28 Skusub LLC System and Method for Part Identification Using 3D Imaging
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统
TWM558943U (zh) * 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統
CN108154082A (zh) * 2016-12-02 2018-06-12 经纬航太科技股份有限公司 航拍影像自动物体侦测的方法及系统
US20180211138A1 (en) * 2017-01-20 2018-07-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
CN108596137A (zh) * 2018-05-02 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于图像识别算法的商品扫描录入方法
CN108647671A (zh) * 2018-06-28 2018-10-12 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜
CN208027472U (zh) * 2018-02-06 2018-10-30 合肥美的智能科技有限公司 售货柜

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632874B2 (en) * 2014-01-24 2017-04-25 Commvault Systems, Inc. Database application backup in single snapshot for multiple applications
US20160350391A1 (en) * 2015-05-26 2016-12-01 Commvault Systems, Inc. Replication using deduplicated secondary copy data

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217678A1 (en) * 2009-02-09 2010-08-26 Goncalves Luis F Automatic learning in a merchandise checkout system with visual recognition
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
US20150109451A1 (en) * 2013-10-17 2015-04-23 Mashgin Inc. Automated object recognition kiosk for retail checkouts
TW201640419A (zh) * 2015-05-13 2016-11-16 盾心科技股份有限公司 影像辨識與監控系統及其實施方法
US20170372127A1 (en) * 2016-06-24 2017-12-28 Skusub LLC System and Method for Part Identification Using 3D Imaging
CN108154082A (zh) * 2016-12-02 2018-06-12 经纬航太科技股份有限公司 航拍影像自动物体侦测的方法及系统
US20180211138A1 (en) * 2017-01-20 2018-07-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
TWM558943U (zh) * 2017-11-22 2018-04-21 Aiwin Technology Co Ltd 運用深度學習技術之智慧影像資訊及大數據分析系統
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统
CN208027472U (zh) * 2018-02-06 2018-10-30 合肥美的智能科技有限公司 售货柜
CN108596137A (zh) * 2018-05-02 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于图像识别算法的商品扫描录入方法
CN108647671A (zh) * 2018-06-28 2018-10-12 武汉市哈哈便利科技有限公司 一种光学标识视觉识别方法及基于该方法的无人售货柜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881187A (zh) * 2020-08-03 2020-11-03 深圳诚一信科技有限公司 一种自动建立数据处理模型的方法及相关产品

Also Published As

Publication number Publication date
TW202016797A (zh) 2020-05-01
TWI684925B (zh) 2020-02-11
US20200126253A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN111062404A (zh) 自动建立物件辨识模型的方法
US11720871B2 (en) Low-cost computerized kiosks for remote collection of electronic devices for value
CN104685462B (zh) 用于图像辨识的自适应阈值处理
CN110033293B (zh) 获取用户信息的方法、装置及系统
US20200134701A1 (en) Associating shoppers together
CN106101540B (zh) 对焦点确定方法及装置
CN108781252B (zh) 一种图像拍摄方法及装置
CN102054165A (zh) 图像处理装置及图像处理方法
JP2018085034A (ja) 物品認識装置
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
CN112508109B (zh) 一种图像识别模型的训练方法及装置
JP2022548730A (ja) 自動ユーザー識別用電子デバイス
CN106471440A (zh) 基于高效森林感测的眼睛跟踪
CN111263955A (zh) 一种目标对象的移动轨迹确定方法和装置
CN111259755A (zh) 数据关联方法、装置、设备及存储介质
CN111178860A (zh) 无人便利店的结算方法、装置、设备及存储介质
CN112368724A (zh) 学习装置、学习系统以及学习方法
CN110992500A (zh) 考勤方法、装置及存储介质、服务器
CN112308869A (zh) 图像采集方法、装置、电子设备及计算机存储介质
JP6567638B2 (ja) 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム
CN109547678B (zh) 一种处理方法、装置、设备及可读存储介质
CN114004891A (zh) 一种基于目标追踪的配网线路巡检方法及相关装置
Chiu et al. Cloud computing based mobile augmented reality interactive system
CN112215068A (zh) 一种店铺内用户行为的监控方法、装置、系统及计算机系统
CN113807150A (zh) 数据处理、姿态预测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200424