CN114503174B - 物体识别装置、物体识别系统以及物体识别方法 - Google Patents

物体识别装置、物体识别系统以及物体识别方法 Download PDF

Info

Publication number
CN114503174B
CN114503174B CN202080068599.6A CN202080068599A CN114503174B CN 114503174 B CN114503174 B CN 114503174B CN 202080068599 A CN202080068599 A CN 202080068599A CN 114503174 B CN114503174 B CN 114503174B
Authority
CN
China
Prior art keywords
learning
commodity
image
object recognition
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080068599.6A
Other languages
English (en)
Other versions
CN114503174A (zh
Inventor
新崎诚
松本裕一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN114503174A publication Critical patent/CN114503174A/zh
Application granted granted Critical
Publication of CN114503174B publication Critical patent/CN114503174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/06—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by returnable containers, i.e. reverse vending systems in which a user is rewarded for returning a container that serves as a token of value, e.g. bottles
    • G07F7/0609—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by returnable containers, i.e. reverse vending systems in which a user is rewarded for returning a container that serves as a token of value, e.g. bottles by fluid containers, e.g. bottles, cups, gas containers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

设为能够反映摄影环境的变化来稳定地实施高精度的物体识别。一种物体识别方法，用摄像机对应该被配置物体(商品)的摄影部(摄影台)进行拍摄，使用物体识别用的机器学习模型来对拍摄得到的图像中包含的物体进行识别，物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的摄影部得到的，在物体识别方法中，在规定的时机判定是否需要进行与物体识别用的机器学习模型有关的更新处理，在需要进行更新处理的情况下，使摄像机进行拍摄未被配置物体的状态的摄影部来重新获取学习用背景图像的处理，将使无背景物体图像与重新获取到的学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行学习处理。

Description

物体识别装置、物体识别系统以及物体识别方法
技术领域
本公开涉及一种使用机器学习模型来识别对象物的物体识别装置、物体识别系统以及物体识别方法。
背景技术
近年，在从摄像机的摄影图像中识别对象物的物体识别的技术中使用基于深度学习等的机器学习模型，由此识别精度飞跃性地提高。如果对该物体识别的技术进行灵活应用，则能够在零售店铺中也导入不经由店员地进行使用者(购物顾客)购入的商品的结算的自助收银机(无人收银机)。由此，能够实现店铺的劳力节省，并且还能够由于结算时间的缩短而提高使用者的便利性。
作为与这样的使用了机器学习模型的物体识别有关的技术，以往已知有以下技术：通过将通过CG(计算机图形)生成的虚拟的物体图像与背景图像合成来生成学习用的图像，并使用该学习用的图像进行学习(深度学习)，来构建物体识别用的机器学习模型(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利第6275362号公报
发明内容
发明要解决的问题
在为了进行使用者所购入的商品的结算而通过物体识别来识别商品时，将使用者所购入的商品放置于摄影台并由摄像机进行拍摄。此时，当装置的环境变化、例如日照的变化等显著时，摄影台的明亮度的状态较大地变化，与此相应地，商品的摄影图像中的背景区域的明亮度的状态较大地变化。因此，识别时间点的图像与学习时间点的图像相差较大，产生物体识别的精度降低的问题。
另一方面，在所述以往的技术中，由于使用通过CG生成的虚拟的物体图像和背景图像来生成学习用的图像，因此能够容易地获取各种状况的学习用的图像。因此，能够构建不易受到环境变化的影响的机器学习模型。然而，实际环境会因各种因素而变化，因此通过CG不能穷尽地生成学习用的图像。因此，期望基于用摄像机实际拍摄得到的图像来获取学习用的图像，并使用该学习用的图像来进行学习。
因此，本公开的主要目的在于提供一种能够反映摄影环境的变化来稳定地实施高精度的物体识别的物体识别装置、物体识别系统以及物体识别方法。
用于解决问题的方案
本公开的物体识别装置构成为，具备：摄像机，其对应该被配置物体的摄影部进行拍摄；以及处理器，其使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，所述处理器在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，所述处理器使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，所述处理器将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
另外，本公开的物体识别系统构成为，具备应该被配置物体的摄影部和对所述摄影部进行拍摄的摄像机，所述物体识别系统使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，所述物体识别系统在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，所述物体识别系统使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，所述物体识别系统将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
另外，本公开的物体识别方法构成为，用摄像机对应该被配置物体的摄影部进行拍摄，使用物体识别用的机器学习模型来对拍摄得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，在所述物体识别方法中，在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
发明的效果
根据本公开，由于更新物体识别用的机器学习模型，因此即使是发生了显著的环境变化的情况，也能够以适合于新的环境的机器学习模型来进行物体识别。由此，能够反映摄影环境的变化来稳定地实施高精度的物体识别。
附图说明
图1是第一实施方式所涉及的商品结算系统的整体结构图。
图2是表示在第一实施方式所涉及的商品学习用服务器装置3中进行的处理的概要的说明图。
图3是表示在第一实施方式所涉及的商品结算装置1中进行的处理的概要的说明图。
图4是表示第一实施方式所涉及的商品结算装置1和商品学习用服务器装置3的概要结构的框图。
图5是表示第一实施方式所涉及的商品结算装置1、商品摄影装置2以及商品学习用服务器装置3的动作过程的序列图。
图6是表示第二实施方式所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
图7是表示第二实施方式的变形例所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
图8是表示第三实施方式所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
图9是表示第三实施方式的变形例所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
图10是表示显示于第三实施方式的变形例所涉及的商品结算装置1的显示器14的画面的说明图。
具体实施方式
为了解决所述问题而完成的第一发明构成为，具备：摄像机，其对应该被配置物体的摄影部进行拍摄；以及处理器，其使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，所述处理器在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，所述处理器使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，所述处理器将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
据此，由于更新物体识别用的机器学习模型，因此即使是发生了显著的环境变化的情况，也能够以适合于新的环境的机器学习模型来进行物体识别。由此，能够反映摄影环境的变化来稳定地实施高精度的物体识别。
另外，第二发明构成为，所述摄像机对在当前时间点未被配置物体的状态的所述摄影部进行拍摄来获取判定用背景图像，在所述判定用背景图像相对于所述学习用背景图像变化了规定限度以上的情况下，所述处理器判定为需要进行所述更新处理。
据此，在判定用背景图像(当前时间点的背景图像)相对于学习用背景图像(学习时间点的背景图像)较大地变化了的情况下，被假定为物体识别处理的精度降低的状态，因此能够适当地进行是否需要进行更新处理的判定。
另外，第三发明构成为，针对多个时间段的各个时间段来构建所述物体识别用的机器学习模型，所述处理器根据所述判定用背景图像相对于所述学习用背景图像变化了所述规定限度以上的时机的时间段，来决定成为所述更新处理的对象的机器学习模型。
据此，根据摄影环境的变化来适当地更新与时间段相应的机器学习模型，由此能够进行适当的物体识别。
另外，第四发明构成为，针对多种天气的各种天气来构建所述物体识别用的机器学习模型，所述处理器根据所述判定用背景图像相对于所述学习用背景图像变化了所述规定限度以上的时机的天气，来决定成为所述更新处理的对象的机器学习模型。
据此，根据摄影环境的变化来适当地更新与天气相应的机器学习模型，由此能够进行适当的物体识别。
另外，第五发明构成为，在本装置的当前时间点的设置位置和朝向中的至少一方从学习时间点起变化了规定限度以上的情况下，所述处理器判定为需要进行所述更新处理。
据此，在装置的设置位置较大地变化了的情况下，识别用物体图像中的背景区域的明亮度的状态出现大的变化，从而被假定为物体识别处理的精度降低的状态，因此能够适当地进行是否需要进行更新处理的判定。
另外，第六发明构成为，所述处理器基于探测到关于本装置的使用者的探测结果与关于被配置于所述摄影部的物体的探测结果不匹配的状态的次数，判定为需要进行所述更新处理。
据此，在关于进行结算操作的使用者的探测结果与关于被配置于摄影位置的物体的探测结果不匹配的状态经常发生的情况下，被假定为物体识别处理的精度降低的状态，因此能够适当地进行是否需要进行更新处理的判定。
另外，第七发明构成为，所述处理器在未探测到所述使用者且识别到所述物体的情况下，判定为关于所述使用者的探测结果与关于所述物体的探测结果不匹配。
据此，在被假定为物体识别处理的精度降低的状态的情况下，能够适当地判定为需要进行更新处理。
另外，第八发明构成为，所述处理器在探测到所述使用者且未识别到所述物体的情况下，判定为关于所述使用者的探测结果与关于所述物体的探测结果不匹配。
据此，在被假定为物体识别处理的精度降低的状态的情况下，能够适当地判定为需要进行更新处理。
另外，第九发明构成为，所述处理器基于探测到使用者对物体识别处理的结果的错误进行修正的操作的次数，判定为需要进行所述更新处理。
据此，在使用者对物体识别处理的结果的错误进行修正的操作经常发生的情况下，被假定为物体识别处理的精度降低的状态，因此能够适当地进行是否需要进行更新处理的判定。
另外，第十发明构成为，所述学习完毕模型数据是在保持所述无背景物体图像的学习装置中生成的，所述物体识别装置还具备通信部，所述通信部向所述学习装置发送所述学习用背景图像，并且从所述学习装置接收所述学习完毕模型数据，在需要进行所述更新处理的情况下，所述处理器从所述通信部发送所述学习用背景图像，使所述学习装置再次进行所述学习处理。
据此，在学习装置中进行对于机器学习模型的学习处理，因此能够减轻物体识别装置的负荷。
另外，第十一发明构成为，所述物体识别装置是用于进行被配置于所述摄影部的物体的结算的结算装置。
据此，能够高精度地进行在店铺销售的商品的结算。
另外，第十二发明构成为一种物体识别系统，该物体识别系统具备应该被配置物体的摄影部和对所述摄影部进行拍摄的摄像机，所述物体识别系统使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，所述物体识别系统在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，所述物体识别系统使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，所述物体识别系统将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
据此，与第一发明同样，能够反映摄影环境的变化来稳定地实施高精度的物体识别。
另外，第十三发明构成为一种物体识别方法，在该物体识别方法中，用摄像机对应该被配置物体的摄影部进行拍摄，使用物体识别用的机器学习模型来对拍摄得到的图像中包含的物体进行识别，所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，在所述物体识别方法中，在规定的时机判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，在需要进行所述更新处理的情况下，使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
据此，与第一发明同样，能够反映摄影环境的变化来稳定地实施高精度的物体识别。
下面，参照附图来说明本公开的实施方式。
(第一实施方式)
图1是第一实施方式所涉及的商品结算系统的整体结构图。
该商品结算系统使得在便利店、超市等零售店铺购入商品的使用者(购物顾客)能够不经由店员地进行商品的结算，该商品结算系统具备商品结算装置1(物体识别装置)、商品摄影装置2、商品学习用服务器装置3(学习装置)以及面部认证用服务器装置4。
商品结算装置1使用商品识别用的机器学习模型，通过图像识别从商品的摄影图像中识别出商品(商品识别处理)，并根据各商品的价格(单价)和数量来计算支付价款的总额(结算处理)。
该商品结算装置1具备：摄影台13(摄影部)，其用于载置使用者购入的商品(对象物)；商品识别用摄像机11，其用于对载置于摄影台13的商品进行拍摄；以及显示器14，其用于显示商品识别结果。另外，商品结算装置1与商品学习用服务器装置3进行网络连接。商品结算装置1从商品学习用服务器装置3接收学习结果、即与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数等)，来构建商品识别用的机器学习模型。商品结算装置1在商品识别时向商品识别用的机器学习模型输入商品识别用摄像机11的摄影图像，并获取从商品识别用的机器学习模型输出的商品识别信息(商品的名称等)。
另外，商品结算装置1进行与用于使用者购入的商品的结算(价款的支付)的面部认证有关的处理。商品结算装置1具备用于拍摄进行商品的结算的使用者的面部的面部认证用摄像机12。另外，商品结算装置1与面部认证用服务器装置4进行网络连接。商品结算装置1向面部认证用服务器装置4发送包含由面部认证用摄像机12获取到的对象者的面部图像的面部认证请求，并从面部认证用服务器装置4接收面部认证的结果。
商品摄影装置2具备：摄影台22，其用于载置作为对象的商品、即在店铺销售的商品；以及摄像机21，其用于对载置于摄影台22的商品进行拍摄。另外，商品摄影装置2与商品学习用服务器装置3进行网络连接。商品摄影装置2用于对被载置于摄影台22的商品进行拍摄，另外用于对没有商品的状态的摄影台22进行拍摄，并将其摄影图像发送到商品学习用服务器装置3。
商品学习用服务器装置3使用从商品摄影装置2获取到的摄影图像，来进行对于商品识别用的机器学习模型的学习(深度学习等)，并将学习结果、即与学习完毕的机器学习模型有关的学习完毕模型数据(设定参数等)发送到商品结算装置1。
面部认证用服务器装置4从商品结算装置1获取对象者的面部图像，来进行将该对象者的面部图像与登记者(已登记的使用者)的面部图像进行比较的面部对照，判定对象者是否是登记者，并输出面部对照是否成功来作为面部对照结果，并在面部对照成功的情况下还输出相应的登记者的姓名等信息来作为面部对照结果。另外，在面部对照中，使用面部对照用的机器学习模型，将对象者的面部图像输入到机器学习模型，获取从机器学习模型输出的面部对照结果。
此外，也可以设为，在使用者的认证中采用密码认证等其它的认证方法。
此外，商品结算装置1是不经由店员地进行商品的结算及结账(价款的支付)的、用于所谓的无人收银机(无人店铺)的装置，但在有人收银机中也能够作为辅助店员的结算及结账作业的装置来构成。另外，还能够作为仅具备与商品结算装置1中的商品结算时的商品识别有关的功能的商品识别装置、不限定于商品识别的装置(物体识别装置)来构成。
接着，对在第一实施方式所涉及的商品学习用服务器装置3中进行的处理进行说明。图2是表示在商品学习用服务器装置3中进行的处理的概要的说明图。
商品摄影装置2在作为商品识别的对象的商品即在店铺销售的商品被载置于摄影台22的状态下进行拍摄，来获取商品图像。另外，商品摄影装置2对没有商品的状态的摄影台22进行拍摄，来获取前景提取用背景摄影。
商品结算装置1用商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄，来获取学习用背景图像，并将该学习用背景图像发送到商品学习用服务器装置3。
商品学习用服务器装置3从商品摄影装置2获取商品图像和前景提取用背景摄影，并基于该商品图像和前景提取用背景摄影来从商品图像中检测前景区域(商品区域)(前景检测处理)。此时，生成覆盖背景区域(除前景区域以外的区域)的掩模图像(表示前景区域的范围的图像)。
接着，商品学习用服务器装置3基于前景检测处理的结果、即掩模图像，来从商品图像中提取前景区域(商品区域)的图像，获取无背景商品图像(无背景物体图像)、即从商品图像中去除了背景区域的图像(商品区域图像)(前景提取处理)。
接着，商品学习用服务器装置3将无背景商品图像(无背景的商品图像)与从商品结算装置1获取到的学习用背景图像(在无商品的状态下拍摄摄影台13得到的背景画面)进行合成，来生成表示在商品结算装置1的摄影台13上虚拟地载置了商品的状态的学习用商品图像(学习用物体图像)(图像合成处理)。此外，图像合成处理即可以是在学习用背景图像上单纯地重叠无背景商品图像的单纯的处理，也可以是以下等更高度的处理：基于图像分析结果、商品的三维形状的信息等对无背景商品图像进行加工并还再现阴影等。
接着，商品学习用服务器装置3将学习用商品图像作为输入用的学习数据，将商品识别信息作为输出用的学习数据，来进行对于商品识别用的机器学习模型的学习处理。在该学习处理中，作为学习结果，获取与学习完毕的机器学习模型有关的学习完毕模型数据(设定参数)。该数据被发送到商品结算装置1。
像这样，在本实施方式中，使用表示在商品结算装置1的摄影台13上虚拟地载置了商品的状态的学习用商品图像，来进行对于商品识别用的机器学习模型的学习处理，因此能够对商品结算装置1构建最优化的机器学习模型。
此外，在本实施方式中，设为使用商品摄影装置2对商品进行拍摄来获取商品图像，并从该商品图像中检测出前景区域(商品区域)(前景检测处理)，从商品图像中提取出无背景商品图像(无背景的商品图像)(前景提取处理)，但是在能够通过商品目录数据等获取到作为对象的全部商品的无背景商品图像的情况下，无需进行商品摄影、前景检测处理以及前景提取处理。
接着，对在第一实施方式所涉及的商品结算装置1中进行的处理进行说明。图3是表示在商品结算装置1中进行的处理的概要的说明图。
商品结算装置1当从商品学习用服务器装置3接收到学习结果、即与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数等)时，基于该学习完毕模型来构建商品识别用的机器学习模型。
接着，商品结算装置1用商品识别用摄像机11拍摄被放置于摄影台13的商品，来获取识别用商品图像(识别用物体图像)。接着，从识别用商品图像中检测出商品的位置，并从识别用商品图像中切出包围一个商品的矩形的图像区域，来获取商品区域图像(商品探测处理)。接着，使用商品识别用的机器学习模型来进行商品识别处理。此时，商品结算装置1将商品区域图像输入到商品识别用的机器学习模型，并获取从商品识别用的机器学习模型输出的商品识别信息(商品的名称等)(商品识别处理)。
此外，也可以设为，商品结算装置1准备多个商品识别用的机器学习模型，来根据环境条件区分使用。
另外，能够与商品识别处理同样，使用机器学习模型来进行商品探测处理。此时，与商品识别用的机器学习模型分开地构建商品探测用的机器学习模型，使用该商品探测用的机器学习模型来进行商品探测处理即可。另外，也可以设为，使用单个机器学习模型来进行商品探测处理和商品识别处理。
另外，在与商品识别用的机器学习模型分开地构建商品探测用的机器学习模型的情况下，与商品识别用的机器学习模型同样，商品探测用的机器学习模型也进行与环境变化相应的更新处理。即，当在商品结算装置1中判定为需要进行更新处理时，在商品学习用服务器装置3中，根据在没有商品的状态下拍摄得到的学习用背景图像来再次生成学习用商品图像，并使用该学习用商品图像来进行与商品区域检测用的机器学习模型有关的学习处理。
像这样，在本实施方式中，使用通过学习处理构建出的商品识别用的机器学习模型来进行商品识别处理，该商品识别用的机器学习模型将基于学习时间点的背景图像(学习用背景图像)合成的学习用商品图像作为学习数据。另一方面，摄影台13的明亮度根据日照、天气的状况而变化。因此，在当前时间点的摄影台13的明亮度的状态相对于学习时间点的摄影台13的明亮度的状态较大地变化时，学习用商品图像的背景区域与识别用商品图像的背景区域相差大，因此商品识别处理的精度降低。
因此，在本实施方式中，用商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄，来获取判定用背景图像(当前时间点的背景图像)，并将该判定用背景图像与上次更新时的学习用商品图像(学习时间点的背景图像)进行比较，根据判定用背景图像是否是相对于学习用背景图像较大地变化的状态来判定是否需要进行更新处理(需要更新与否判定处理)。此外，对于学习时间点的背景图像，不限于使用上次更新时的背景图像，也可以使用将过去多次更新时的背景图像平均化得到的图像等。
此时，将判定用背景图像与学习用背景图像进行比较，来对判定用背景图像是否出现了相对于学习用背景图像超出允许限度的变化进行判定。尤其是摄影台13的明亮度根据日照、天气的状况而整体性地变化或局部性地变化。因此，获取判定用背景图像和学习用背景图像各自的亮度，基于亮度图案(亮度的分布状况)的变化状况进行判定即可。另外，使用背景差分法、分割等方法进行判定即可。
在图3所示的例子中，判定用背景图像A与学习用商品图像是同样的，判定用背景图像B与学习用商品图像相比整体上变暗，另外，判定用背景图像C与学习用商品图像相比局部变暗。在为判定用背景图像A的情况下，判定为不需要进行更新处理，在为判定用背景图像B、C的情况下，由于是商品识别处理的精度降低的状态，因此判定为需要进行更新处理。
此外，最好设为，在将商品结算装置1新设置于店铺时，省略需要更新与否判定处理，通过由作业人员进行指示更新处理的实施的操作(例如按下规定的按钮、输入规定的信号等)，来实施更新处理。
另外，最好设为，在规定的时机定期地实施需要更新与否判定处理。另外，也可以设为，在发生了规定的事件的时机实施需要更新与否判定处理。例如，可以设为，当管理者进行指示需要更新与否判定处理的实施的操作时，实施需要更新与否判定处理。
另外，无需在需要更新与否判定处理中判定为需要进行更新处理的时机立即开始进行更新处理，尽量在早期的适当的时机开始更新处理即可。即，在更新处理中，首先要对没有商品的状态的摄影台13进行拍摄来获取学习用背景图像，但该背景摄影需要在摄影台13上确实不存在商品的时机进行。另一方面，在店铺人多的时间段等，摄影台13上不存在商品的时间极短、或难以为了进行更新处理而停止结算处理。
因此，例如，最好在店铺开始营业时接通了商品结算装置1的电源的时机等没有商品的可能性高的时机开始进行更新处理而进行背景摄影。
另外，也可以设为，将需要进行更新(背景摄影)的意思通知给管理者，当管理者进行指示更新处理的实施的操作时，开始进行更新处理而进行背景摄影。通过像这样设置，能够将是否实施更新处理委任于管理者的判断，因此在店铺暂时空闲的时间段等难以自动地进行判断的时机，商品结算装置1也能够开始进行更新处理。
另外，也可以设为从商品识别用摄像机11的摄影图像中探测被放置于摄影台13的物体，且设为在未探测到摄影台13的物体的时机开始进行过更新处理而进行背景摄影。通过像这样设置，能够自动地判定在摄影台13上没有商品的时机，来开始进行更新处理。另外，也可以是，除了考虑基于摄影图像的判断以外还考虑其它传感器的检测结果(重量传感器、三维传感器等)，在未探测到被放置于摄影台13的物体的情况下，开始进行更新处理。是因为，在产生更新处理的时机，背景图像很可能已经较大地变化，从而仅通过图像有可能无法准确地判断在摄影台13上是否放置有物体。另外，基于同样的理由，也可以设为，不使用摄影图像，基于其它传感器的检测结果来探测在摄影台13上没有物体。此外，在使用其它传感器的情况下，其精度可以比基于摄影图像的判断的精度低。是因为，为了决定是否进行更新处理，只要能够判定在摄影台13上是否配置有物体即可，无需判定到有几个何种物体。
另外，也可以是，基于除从摄影台13得到的信息以外的信息来决定开始进行更新处理的时机。例如，在商品结算装置1前没有人的情况下，在摄影台13上不存在商品的盖然性高，因此也可以设为在商品结算装置1前没有人的时机进行背景摄影。在该情况下，设为从面部认证用摄像机12的摄影图像中探测商品结算装置1前的人的面部，且在未探测到人的面部的情况下判定为在商品结算装置1前没有人即可。另外，也可以设为，从设置于店铺的防犯摄像机的摄影图像中探测商品结算装置1前的人。
另外，可以在执行更新处理的期间，使使用者暂时不能使用商品结算装置1。是因为，在进行更新处理的情况下，背景图像可能相对于已知的模型较大地变化而因此无法进行准确的商品识别、另外有可能使结算处理因更新处理的负荷而停止或者延迟。基于同样的理由，也可以设为，在使用者少的时间段实施更新处理。
接着，对第一实施方式所涉及的商品结算装置1和商品学习用服务器装置3的概要结构进行说明。图4是表示商品结算装置1和商品学习用服务器装置3的概要结构的框图。
商品学习用服务器装置3具备输入输出部31、通信部32、存储器33以及处理器34。
输入输出部31与商品摄影装置2之间进行所需的数据的输入输出。具体地说，从商品摄影装置2输入摄像机21的摄影图像。
通信部32与商品结算装置1之间进行通信。具体地说，接收从商品结算装置1发送的学习用背景图像。另外，将由处理器34生成的学习结果、即与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数等)发送到商品结算装置1。此外，在本公开中，“处理器”并不仅指单个的处理器。“处理器”还被作为意指多个同一目的的处理器或不同目的的处理器(例如通用CPU(Central Processing Unit：中央处理单元)和GPU(Graphical Processing Unit：图形处理单元))共同地进行处理的情况的动作主体的词语来使用。
存储器33存储由处理器34执行的程序等。
处理器34通过执行存储于存储器33的程序，来进行与信息收集有关的各种处理。在本实施方式中，处理器34进行前景检测处理、前景提取处理、图像合成处理以及学习处理等。
在前景检测处理中，处理器34对商品图像内的前景区域(商品区域)和背景区域进行识别，来从商品图像中检测出前景区域(商品区域)。
在前景提取处理中，处理器34基于前景检测处理的结果、即掩模图像(表示前景区域的范围的图像)，来提取前景区域(商品区域)的图像，获取无背景商品图像(商品区域图像)。
在图像合成处理中，处理器34将从商品结算装置1获取到的学习用背景图像与存储于存储器的无背景商品图像进行合成，获取表示在商品结算装置1的摄影台13上虚拟地载置了商品的状态的学习用商品图像。
在学习处理中，处理器34将学习用商品图像作为输入用的学习数据，将商品识别信息作为输出用的学习数据，来进行对于商品识别用的机器学习模型的学习处理，作为学习结果，获取与学习完毕的机器学习模型有关的学习完毕模型数据(设定参数)。在该学习处理中获取到的学习完毕模型数据从通信部32被发送到商品结算装置1。
商品结算装置1具备商品识别用摄像机11、面部认证用摄像机12、显示器14、通信部15、存储器16以及处理器17。
商品识别用摄像机11对被放置于摄影台13的商品进行拍摄。该商品识别用摄像机11的摄影图像被用于对被放置于摄影台13的商品(商品名称)进行识别的用途。
面部认证用摄像机12对在结算台前进行与结算有关的操作的人的面部进行拍摄。该面部认证用摄像机12的摄影图像被用在用于结账的面部认证的用途。
显示器14显示使使用者确认商品识别结果(作为结算对象的商品的名称)是否存在错误的图像。如果商品识别结果没有错误，则使用者能够进行与面部认证有关的操作。另外，在商品识别结果存在错误的情况下，能够进行修正作为结算对象的商品的操作。此外，作为一例，显示器14是显示面板与触摸面板一体化的触摸面板显示器。但是，也可以是显示面板与触摸面板或者键盘等其它输入单元分离的形式。
通信部15与商品学习用服务器装置3之间进行通信。具体地说，在学习时，将在没有商品的状态下对摄影台13进行拍摄得到的图像(学习用背景图像)发送到服务器。另外，从服务器接收通过在服务器中进行的学习处理获取到的与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数)。
存储器16存储由处理器17执行的程序等。
处理器17通过执行存储于存储器16的程序来进行与信息收集有关的各种处理。在本实施方式中，处理器17进行商品探测处理、商品识别处理、结算处理、面部认证处理、需要更新与否判定处理以及更新处理等。
在商品探测处理中，处理器17基于商品识别用摄像机11的摄影图像，来探测被放置于摄影台13的商品。此时，处理器17检测商品的位置，并从摄影图像中切出包围一个商品的矩形的图像区域，来获取商品区域图像。在本实施方式中，在商品探测处理中使用商品探测用的机器学习模型，将商品识别用摄像机11的摄影图像输入到商品探测用的机器学习模型，获取从商品探测用的机器学习模型输出的商品探测结果(有无商品、商品的位置等)。
在商品识别处理中，处理器17基于在商品探测处理中获取到的商品区域图像，来识别被放置于摄影台13的商品。在本实施方式中，在商品识别处理中使用商品识别用的机器学习模型，将商品区域图像输入到商品识别用的机器学习模型，获取从商品识别用的机器学习模型输出的商品识别结果(商品识别信息等)。
此外，还能够在商品结算装置1的摄影台13排列多个商品，并同时识别多个商品。在该情况下，在商品探测处理中，针对多个商品中的每个商品生成被拍有单个商品的商品区域图像，在商品识别处理中，基于每个商品的商品区域图像来识别各商品。
在结算处理中，处理器17基于在商品识别处理中获取到的商品识别信息来结算被放置于摄影台13的商品的价款。即，获取被放置于摄影台13的各商品的金额(单价)，并对该各商品的金额进行总计，来计算价款的总额。
在面部认证处理中，处理器17从面部认证用摄像机12的摄影图像中探测进行商品的结算的人的面部(面部探测)，并从面部认证用摄像机12的摄影图像中切出面部图像，并控制通信部15以向面部认证用服务器装置4发送包含该面部图像的面部认证请求。
在需要更新与否判定处理中，处理器17获取由商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄得到的判定用背景图像(当前时间点的背景图像)，并将该判定用背景图像与上次更新时的学习用商品图像(学习时间点的背景图像)进行比较，根据判定用背景图像是否出现相对于学习用背景图像超过允许限度的变化，来判定是否需要进行更新处理。
在更新处理中，处理器17当在需要更新与否判定处理中判定为需要进行更新处理时，控制通信部15以将当前时间点的学习用背景图像发送到商品学习用服务器装置3。而且，当从商品学习用服务器装置3接收到与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数等)时，基于该数据来重新构建商品识别用的机器学习模型。
此外，对背景图像、即摄影台13的状态产生影响的日照的状态根据时间段而变化。因此，可以设为，商品结算装置1在存储器中存储每个时间段(例如早晨用、白天用、晚上用)的商品识别用的机器学习模型，选择出与当前的时刻对应的商品识别用的机器学习模型来进行商品识别处理。另外，日照的状态受天气的影响，因此也可以设为，商品结算装置1在存储器中存储与天气(例如晴天、阴天等)相应的商品识别用的机器学习模型，选择出与当前的天气对应的商品识别用的机器学习模型来进行商品识别处理。另外，还可以设为，商品结算装置在存储器中存储时间段和天气这两者，选择出与当前的天气和时间段相应的商品识别用的机器学习模型来进行商品识别处理。同样，对于更新处理，也可以选择出与被判定为需要进行更新处理的时间段或者天气对应的商品识别用的机器学习模型来实施。
接着，对第一实施方式所涉及的商品结算装置1、商品摄影装置2以及商品学习用服务器装置3的动作过程进行说明。图5是表示商品结算装置1、商品摄影装置2以及商品学习用服务器装置3的动作过程的序列图。
首先，对图5的(A)所示的学习时的商品结算装置1、商品摄影装置2以及商品学习用服务器装置3的动作过程进行说明。
在学习时，首先在商品摄影装置2中由摄像机21对被放置于摄影台22的商品进行拍摄，来获取商品图像(商品摄影)。然后，将商品图像发送到商品学习用服务器装置3。另外，在商品结算装置1中，由商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄，来获取前景提取用背景图像(背景摄影)。然后，通信部15将前景提取用背景图像发送到商品学习用服务器装置3。
接着，在商品学习用服务器装置3中，处理器34从商品图像中提取出前景区域(商品的图像区域)，来获取前景区域的位置信息(前景检测处理)。接着，处理器34从商品图像中提取出前景区域(商品区域)的图像，来获取无背景商品图像(前景提取处理)。
另外，在商品结算装置1中，商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄，来获取学习用背景图像(背景摄影)。然后，通信部15将学习用背景图像发送到商品学习用服务器装置3。
接着，在商品学习用服务器装置3中，处理器34将从商品结算装置1获取到的学习用背景图像与存储于存储器33的无背景商品图像进行合成，来获取表示在商品结算装置1的摄影台13上虚拟地载置了商品的状态的学习用商品图像(图像合成处理)。接着，处理器34将学习用商品图像作为学习数据，来进行对于商品识别用的机器学习模型的学习处理。然后，通信部32将学习结果、即与学习完毕的机器学习模型有关的学习完毕模型数据(设定参数)发送到商品结算装置1。
接着，在商品结算装置1中，处理器17基于与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数)，来构建商品识别用的机器学习模型(模型构建)。
接着，对图5的(B)所示的更新时的商品结算装置1、商品摄影装置2以及商品学习用服务器装置3的动作过程进行说明。
在更新时，首先，在商品结算装置1中，由商品识别用摄像机11对没有商品的状态的摄影台13进行拍摄，来获取学习用背景图像(背景摄影)。然后，处理器17根据当前时间点的学习用背景图像是否出现了相对于上次更新时的学习用背景图像超过允许限度的变化，来判定是否需要进行与商品识别用的机器学习模型有关的更新处理(需要更新与否判定处理)。在此，当判定为需要进行更新处理时，通信部15将当前时间点的学习用背景图像发送到商品学习用服务器装置3。
接着，在商品学习用服务器装置3中，处理器34将从商品结算装置1获取到的学习用背景图像与存储于存储器33的无背景商品图像进行合成，来获取学习用商品图像(图像合成处理)。接着，处理器34将学习用商品图像作为学习数据来进行学习处理。然后，通信部32将与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数)发送到商品结算装置1。
接着，在商品结算装置1中，处理器17基于与学习完毕的商品识别用的机器学习模型有关的学习完毕模型数据(设定参数)，来构建商品识别用的机器学习模型(模型构建)。
(第二实施方式)
接着，对第二实施方式进行说明。此外，在此没有特别提及的点与上述的实施方式是同样的。图6是表示第二实施方式所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
当伴随着店铺的布局的变更等而将商品结算装置1移动到其它场所时，商品结算装置1的摄影台13与日照、照明器具之间的位置关系相对于学习时较大地变化，由此摄影台13的明亮度的状态相对于学习时较大地变化。
因此，在本实施方式中，在需要更新与否判定处理中，根据商品结算装置1的设置位置是否变化了规定距离以上，来判定是否需要进行更新处理。具体地说，设置于店铺的防犯摄像机51对商品结算装置1进行拍摄。然后，监视服务器装置5基于防犯摄像机51的摄影图像，通过图像识别来探测商品结算装置1，测定商品结算装置1的位置，并判定商品结算装置1的设置位置相对于上次的更新时间点是否变化了规定距离以上。
此外，在本实施方式中，设为在需要更新与否判定处理中，基于商品结算装置1的设置位置的变化来判定是否需要进行更新处理，但在商品结算装置1的朝向变化了的情况下，摄影台13与日照、照明器具之间的位置关系也较大地变化，由此摄影台13的明亮度的状态较大地变化，因此还可以设为，还考虑商品结算装置1的朝向的变化来判定是否需要进行更新处理。
另外，在本实施方式中，设为当基于商品结算装置1的设置位置的变化判定为需要进行更新时，自动地开始进行更新处理而进行背景摄影，但也可以设为，当探测到商品结算装置1的设置位置的变化时，首先向管理者通知需要进行更新(背景摄影)的意思，进行向管理者询问是否进行更新(背景摄影)的处理，当管理者进行指示更新(背景摄影)的操作时，开始进行更新处理。
另外，还可以设为，不探测商品结算装置1的设置位置的变化，而以指示更新(背景摄影)的操作本身为契机来开始进行更新处理。即，在事前告知管理者如果移动结算台要进行更新处理的基础上，当管理者进行指示更新的操作时，开始进行更新处理。
(第二实施方式的变形例)
接着，对第二实施方式的变形例进行说明。此外，在此没有特别提及的点与上述的实施方式是同样的。图7是表示第二实施方式的变形例所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
在第二实施方式中，设为利用防犯摄像机的摄影图像来测定商品结算装置1的位置或者朝向，但在本变形例中，利用RFID(Radio Frequency Identifier：射频识别)系统的无线信号、信标信号等无线信号来测定商品结算装置1的位置或朝向。
具体地说，在商品结算装置1上安装无线信号的发送器和接收器中的一方，并在店铺内的规定位置设置发送器和接收器中的另一方，基于接收器中的信标信号的接收状况来测定商品结算装置1的位置。
在图7所示的例子中，在商品结算装置1安装有RFID标签61(发送器)。另外，在店铺的适当场所设置有多个标签读取器62(接收器)。而且，监视服务器装置5基于从RFID标签61发送的无线信号在标签读取器62中的接收状况来测定商品结算装置1的位置。
(第三实施方式)
接着，对第三实施方式进行说明。此外，在此没有特别提及的点与上述的实施方式是同样的。图8是表示第三实施方式所涉及的商品结算系统中的需要更新与否判定的概要的说明图。在本实施方式中，在是否需要进行更新处理的判定中还使用商品结算装置1的使用者的信息。
当商品结算装置1的摄影台13的明亮度的状态相对于学习时较大地变化时，商品识别精度降低。例如，当有人在商品结算装置1前进行商品的结算的情况下，在摄影台13上放置有商品的盖然性高。因此，当在结算台前虽然有人却为未识别到商品的状态(未识别)、另外在结算台前虽然无人却为识别到一些商品的状态(错误识别)的情况下，被假定为商品识别精度降低。
因此，在本实施方式中，根据未识别和错误识别的产生状况来探测商品识别精度降低这一情况，判定是否需要进行更新处理。
具体地说，探测在商品结算装置1前进行商品的结算的使用者(人物探测)，并且探测被放置于商品结算装置1的摄影台13的商品(商品探测)。而且，在使用者探测的结果与商品探测的结果匹配的情况下，由于是正常的状态，因此判定为不需要进行更新处理。另一方面，在使用者探测的结果与商品探测的结果不匹配的情况下，即产生了未识别和错误识别的情况下，以未识别和错误识别的探测频度(规定期间内的产生次数)超过了规定的阈值为条件，判定为需要进行更新处理。此外，是基于未识别或者错误识别的探测次数的判定即可，也可以使用除探测频度以外的信息来判定是否需要进行更新处理。例如，也可以以探测到未识别和错误识别的次数的累计超过了规定的阈值为条件，来判定为需要进行更新处理，还可以仅基于未识别或者错误识别中的任一方的探测次数来判定为需要进行更新处理。
此外，在使用者进行商品的结算的情况下，为与商品结算装置1相向的状态，从而被面部认证用摄像机12从正面拍摄使用者的面部，因此最好设为从面部认证用摄像机12的摄影图像中探测人物的面部(面部探测)。
另外，在本实施方式中，设为从面部认证用摄像机12的摄影图像中探测进行商品的结算的人，在不进行面部认证的情况下，构成为仅进行面部探测即可。另外，也可以设为，利用除摄像机以外的传感器、例如利用了红外线、超声波、可见光等的人感传感器，来探测进行商品的结算的人。
(第三实施方式的变形例)
接着，对第三实施方式的变形例进行说明。此外，在此没有特别提及的点与上述的实施方式是同样的。图9是表示第三实施方式的变形例所涉及的商品结算系统中的需要更新与否判定的概要的说明图。
当商品识别精度下降而使商品识别结果产生错误(未识别和错误识别)时，使用者进行对作为结算对象的商品进行修正的操作(商品修正操作)。因此，在本变形例中，获取商品修正操作的探测频度(规定期间内的产生次数)，在该探测频度超过了规定的阈值的情况下，判定为需要进行更新处理。
即，在没有探测到使用者的商品修正操作的情况下，由于是商品识别结果没有错误的正常状态。因此判定为不需要进行更新处理。另一方面，在探测到使用者的商品修正操作的情况下，产生未识别或者错误识别，在该情况下，以商品修正操作的探测频度超过了规定的阈值为条件，判定为需要进行更新处理。此外，在探测到使用者的商品修正操作的情况下，能够基于探测被放置于商品结算装置1的摄影台13的商品的处理(商品探测处理)的结果来对未识别、错误识别进行识别，因此还能够针对未识别和错误识别改变处理方法，例如针对未识别和错误识别改变判定的阈值。此外，是基于商品修正操作的探测次数的判定即可，也可以使用除探测频度以外的信息来判定是否需要进行更新处理。例如，也可以以探测到商品修正操作的次数的累计超过了规定的阈值为条件，判定为需要进行更新处理。
此外，在本实施方式中，设为在面部认证用服务器装置4中进行面部认证处理，但也可以设为在商品结算装置1中进行面部认证处理。
接着，对第三实施方式的变形例所涉及的商品结算装置1进行说明。图10是表示显示于商品结算装置1的显示器14的画面的说明图。
在商品结算装置1中，在使用者进行所购入的商品的结算时，在显示器14显示识别结果确认画面。在该识别结果确认画面中设置有商品识别用摄像机11的摄影图像71、商品识别结果72(识别出的商品的名称)、用于确认商品识别结果的确认按钮73以及用于修正商品识别结果的修正按钮74。
在商品识别结果正确的情况下，使用者操作确认按钮73。另一方面，在商品识别结果错误的情况下，使用者操作修正按钮74。当操作修正按钮74时，在显示器14显示识别结果修正画面(未图示)。在该识别结果修正画面中，使用者能够进行对商品识别结果进行修正的操作。具体地说，使用者输入正确的商品名称。
在此，图10的(A)所示的例子为商品识别结果正确的情况。图10的(B)、(C)所示的例子为商品识别结果错误的情况。尤其是图10的(B)所示的例子是未识别的情况、即在摄影台13上虽然放置有商品却未识别到商品的情况。另一方面，图10的(C)所示的例子为错误识别的情况、即虽然识别到被放置于摄影台13的商品但商品识别结果错误的情况。
另外，在商品结算装置1中，当由使用者进行对商品识别结果进行修正的操作时，将此时的时刻等信息作为识别结果修正日志信息存储于存储器16。处理器17在规定的时机基于识别结果修正日志信息来计算商品修正操作的探测频度(规定期间内的产生次数)。而且，在商品修正操作的探测频度超过了规定的阈值的情况下，判定为需要进行更新。
如以上那样，作为在本申请中公开的技术的例示，说明了实施方式。但是，本公开中的技术不限定于此，还能够应用于进行变更、置换、附加、省略等而得到的实施方式。另外，还能够将在上述的实施方式中说明的各结构要素进行组合来形成新的实施方式。
(其它的变形例)
在上述的各实施方式中，设为设置于店铺的商品结算装置1进行商品识别处理，但也可以设为与商品结算装置1进行了网络连接的服务器装置进行商品识别处理。在该情况下，商品结算装置1将商品摄影图像发送到服务器装置，服务器装置将从商品结算装置1接收到的商品摄影图像输入到商品识别用的机器学习模型，来获取商品识别结果(商品识别信息)，并将该商品识别结果发送到商品结算装置1。另外，商品的摄影状况根据商品结算装置1而不同，因此最好设为，在服务器装置中针对每个商品结算装置1构建最优化的商品识别用的机器学习模型，商品结算装置1将商品结算装置1的识别信息(装置ID等)与商品摄影图像一同发送到服务器装置，服务器装置基于商品结算装置1的识别信息来选择出与商品结算装置1相应的商品识别用的机器学习模型，来进行商品识别。
上述的各实施方式中的商品结算系统的各装置的结构为一例。除了摄像机和摄影台等物理配置受到限定的功能以外，也可以通过其它的装置来实施任意装置的功能。例如，在更新处理中，可以设为，将商品结算装置1实施的功能限定于最低限的信息的获取和发送(各背景图像的摄影和发送等)，将更新处理的实施的判断也包括在内，由商品学习用服务器装置3实施其它全部的功能。在该情况下，商品结算装置1在规定的时机对判定用背景图像进行拍摄，并将该判定用背景图像发送到商品学习用服务器装置3，根据商品学习用服务器装置3中的判定结果来进行拍摄学习用背景图像的动作。此外，商品的摄影状况在每个商品结算装置1中不同，因此在使功能集中于商品学习用服务器装置3的情况下，最好使用商品结算装置1的识别信息(装置ID等)，来区分是面向哪个商品结算装置1实施的处理。在该结构中，能够简化商品结算装置1的结构，因此容易在大量的店铺等中容易配置商品结算装置1。另外，也可以相反地设为，商品结算装置1自己实施更新处理的全部。在该情况下，要求商品结算装置1具有高的处理能力，但由于不需要与外部装置的通信，因此能够抑制通信量。另外，也可以是，根据装置的处理能力、设置场所的环境、技术的发展及变化等来以其它方式分配功能。
在上述的各实施方式中，将用于载置商品的摄影台作为背景图像的获取对象，但也可以使用其它的背景。例如，在为摄像机从侧面拍摄商品的结构的情况下，也可以将设置于商品的深处的壁等作为背景图像的获取对象。即，本公开中的摄影部并不限于台状，也可以是在摄像机拍摄商品时作为背景被拍入的任意的被摄体。然而，如上述的各实施方式那样，在将还包含背景的图像用于商品识别的结构中，背景图像的不稳定度直接关系到商品的识别精度的降低。因此，使用能够在某种程度上预测变化的原因或者大小的、构成为商品结算装置1的一部分的地面或者壁面作为背景(摄影部)的商品结算系统的精度稳定。
本公开能够通过软件、硬件、或者与硬件协作的软件来实现。可以是，在上述实施方式的说明中使用的各功能块被局部或者整体地实现为集成电路LSI，在上述实施方式中说明的各过程被局部或者整体地由一个LSI或者LSI的组合来控制。LSI可以由各个芯片来构成，也可以以包含功能块的一部分或者全部的方式由一个芯片构成。LSI也可以具备数据的输入和输出。根据集成度的不同，LSI也有时被称为IC、系统LSI、超大规模LSI、特大规模LSI。
集成电路化的方法并不限于LSI，也可以通过专用电路、通用处理器或者专用处理器来实现。另外，也可以利用在LSI制造后能够编程的FPGA、或能够将LSI内部的电路单元的连接及设定进行重构的可重构处理器。本公开也可以实现为数字处理或者模拟处理。
并且，如果由于半导体技术的进步或者派生的其它技术而出现了代替LSI的集成电路化的技术，当然也可以使用该技术来进行功能块的集成化。还存在应用生物技术等的可能性。
产业上的可利用性
本公开所涉及的物体识别装置、物体识别系统以及物体识别方法具有能够反映摄影环境的变化来稳定地实施高精度的物体识别的效果，作为使用机器学习模型来识别对象物的物体识别装置、物体识别系统以及物体识别方法等是有用的。
附图标记说明
1：商品结算装置；2：商品摄影装置(物体识别装置)；3：商品学习用服务器装置(学习装置)；4：面部认证用服务器装置；5：监视服务器装置；11：商品识别用摄像机；12：面部认证用摄像机；13：摄影台；17：处理器；21：摄像机；22：摄影台；34：处理器；51：防犯摄像机；61：RFID标签；62：标签读取器。

Claims (12)

1.一种物体识别装置，其特征在于，具备：
摄像机，其对应该被配置物体的摄影部进行拍摄；以及
处理器，其使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
所述处理器基于探测到关于本装置的使用者的探测结果与关于被配置于所述摄影部的物体的探测结果不匹配的状态的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，所述处理器使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
所述处理器将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
2.根据权利要求1所述的物体识别装置，其特征在于，
所述处理器基于探测到关于本装置的使用者的探测结果与关于被配置于所述摄影部的物体的探测结果不匹配的状态的频度或者所探测到的次数的累计，判定为需要进行所述更新处理。
3.根据权利要求1所述的物体识别装置，其特征在于，
所述处理器在未探测到所述使用者且识别到所述物体的情况下，判定为关于所述使用者的探测结果与关于所述物体的探测结果不匹配。
4.根据权利要求1所述的物体识别装置，其特征在于，
所述处理器在探测到所述使用者且未识别到所述物体的情况下，判定为关于所述使用者的探测结果与关于所述物体的探测结果不匹配。
5.一种物体识别装置，其特征在于，具备：
摄像机，其对应该被配置物体的摄影部进行拍摄；以及
处理器，其使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
所述处理器基于探测到使用者对物体识别处理的结果的错误进行修正的操作的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，所述处理器使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
所述处理器将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
6.根据权利要求5所述的物体识别装置，其特征在于，
所述处理器基于探测到使用者对物体识别处理的结果的错误进行修正的操作的频度或者所探测到的次数的累计，判定为需要进行所述更新处理。
7.根据权利要求1或5所述的物体识别装置，其特征在于，
所述学习完毕模型数据是在保持所述无背景物体图像的学习装置中生成的，
所述物体识别装置还具备通信部，所述通信部向所述学习装置发送所述学习用背景图像，并且从所述学习装置接收所述学习完毕模型数据，
在需要进行所述更新处理的情况下，所述处理器从所述通信部发送所述学习用背景图像，使所述学习装置再次进行所述学习处理。
8.根据权利要求1或5所述的物体识别装置，其特征在于，
所述物体识别装置是用于进行被配置于所述摄影部的物体的结算的结算装置。
9.一种物体识别系统，具备应该被配置物体的摄影部和对所述摄影部进行拍摄的摄像机，所述物体识别系统使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别系统的特征在于，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
所述物体识别系统基于探测到关于所述物体识别系统的使用者的探测结果与关于被配置于所述摄影部的物体的探测结果不匹配的状态的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，所述物体识别系统使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
所述物体识别系统将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
10.一种物体识别系统，具备应该被配置物体的摄影部和对所述摄影部进行拍摄的摄像机，所述物体识别系统使用物体识别用的机器学习模型来对拍摄所述摄影部得到的图像中包含的物体进行识别，所述物体识别系统的特征在于，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
所述物体识别系统基于探测到使用者对物体识别处理的结果的错误进行修正的操作的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，所述物体识别系统使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
所述物体识别系统将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
11.一种物体识别方法，用摄像机对应该被配置物体的摄影部进行拍摄，使用物体识别用的机器学习模型来对拍摄得到的图像中包含的物体进行识别，所述物体识别方法的特征在于，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
在所述物体识别方法中，
基于探测到关于所述物体识别方法的使用者的探测结果与关于被配置于所述摄影部的物体的探测结果不匹配的状态的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
12.一种物体识别方法，用摄像机对应该被配置物体的摄影部进行拍摄，使用物体识别用的机器学习模型来对拍摄得到的图像中包含的物体进行识别，所述物体识别方法的特征在于，
所述物体识别用的机器学习模型是基于学习完毕模型数据来构建的，所述学习完毕模型数据是通过使用将无背景物体图像与学习用背景图像合成得到的图像进行学习处理来生成的，所述学习用背景图像是拍摄未被配置物体的状态的所述摄影部得到的，
在所述物体识别方法中，
基于探测到使用者对物体识别处理的结果的错误进行修正的操作的次数，判定是否需要进行与所述物体识别用的机器学习模型有关的更新处理，
在需要进行所述更新处理的情况下，使所述摄像机进行拍摄未被配置物体的状态的所述摄影部来重新获取所述学习用背景图像的处理，
将使无背景物体图像与重新获取到的所述学习用背景图像合成得到的学习用物体图像作为学习数据来再次进行所述学习处理。
CN202080068599.6A 2019-09-30 2020-09-10 物体识别装置、物体识别系统以及物体识别方法 Active CN114503174B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-179767 2019-09-30
JP2019179767A JP7445856B2 (ja) 2019-09-30 2019-09-30 物体認識装置、物体認識システムおよび物体認識方法
PCT/JP2020/034288 WO2021065413A1 (ja) 2019-09-30 2020-09-10 物体認識装置、物体認識システムおよび物体認識方法

Publications (2)

Publication Number Publication Date
CN114503174A CN114503174A (zh) 2022-05-13
CN114503174B true CN114503174B (zh) 2024-02-23

Family

ID=75272616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068599.6A Active CN114503174B (zh) 2019-09-30 2020-09-10 物体识别装置、物体识别系统以及物体识别方法

Country Status (5)

Country Link
US (1) US11972602B2 (zh)
EP (1) EP4020416A4 (zh)
JP (1) JP7445856B2 (zh)
CN (1) CN114503174B (zh)
WO (1) WO2021065413A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
US20230196364A1 (en) * 2021-03-08 2023-06-22 Nec Corporation Payment system, payment method, and computer program
US11681997B2 (en) * 2021-09-30 2023-06-20 Toshiba Global Commerce Solutions Holdings Corporation Computer vision grouping recognition system
CN114078299A (zh) * 2021-11-15 2022-02-22 烟台创迹软件有限公司 一种商品结算方法、装置、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665210A (zh) * 2008-09-03 2010-03-10 株式会社日立制作所 图像识别装置
CN102509073A (zh) * 2011-10-17 2012-06-20 上海交通大学 一种基于高斯背景模型的静态目标分割的方法
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术（北京）有限公司 测试方法和装置
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
JP2019101740A (ja) * 2017-12-01 2019-06-24 コニカミノルタ株式会社 機械学習方法及び装置
CN110008806A (zh) * 2017-12-27 2019-07-12 本田技研工业株式会社 存储介质、学习处理方法、学习装置及物体识别装置
CN110197190A (zh) * 2018-02-27 2019-09-03 北京猎户星空科技有限公司 模型训练和物体的定位方法及装置
CN110202583A (zh) * 2019-07-09 2019-09-06 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6275362U (zh) 1985-10-26 1987-05-14
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
CA2966635C (en) * 2014-11-21 2023-06-20 Christopher M. Mutti Imaging system for object recognition and assessment
JP2017139190A (ja) * 2016-02-05 2017-08-10 株式会社東芝 画像センサ及び学習方法
WO2017171005A1 (ja) 2016-04-01 2017-10-05 株式会社ｗｉｓｅ ３ｄグラフィック生成、人工知能の検証・学習システム、プログラム及び方法
US10467454B2 (en) * 2017-04-26 2019-11-05 Mashgin Inc. Synchronization of image data from multiple three-dimensional cameras for image recognition
US10977818B2 (en) * 2017-05-19 2021-04-13 Manor Financial, Inc. Machine learning based model localization system
US20190095069A1 (en) * 2017-09-25 2019-03-28 Motorola Solutions, Inc Adaptable interface for retrieving available electronic digital assistant services
WO2019113510A1 (en) 2017-12-07 2019-06-13 Bluhaptics, Inc. Techniques for training machine learning
US10867214B2 (en) * 2018-02-14 2020-12-15 Nvidia Corporation Generation of synthetic images for training a neural network model
US10572757B2 (en) * 2018-03-09 2020-02-25 Ricoh Co., Ltd. User interface for object detection and labeling
US10430654B1 (en) * 2018-04-20 2019-10-01 Surfline\Wavetrak, Inc. Automated detection of environmental measures within an ocean environment using image data
EP4026311A1 (en) * 2019-09-06 2022-07-13 Google LLC Low frame rate night vision on video camera
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
US11087172B2 (en) * 2019-12-31 2021-08-10 Plus One Robotics, Inc. Systems and methods for creating training data
US11869236B1 (en) * 2020-08-24 2024-01-09 Amazon Technologies, Inc. Generating data for training vision-based algorithms to detect airborne objects
US11776247B2 (en) * 2022-01-07 2023-10-03 Tomahawk Robotics Classification parallelization architecture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101665210A (zh) * 2008-09-03 2010-03-10 株式会社日立制作所 图像识别装置
CN102509073A (zh) * 2011-10-17 2012-06-20 上海交通大学 一种基于高斯背景模型的静态目标分割的方法
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术（北京）有限公司 测试方法和装置
CN109819675A (zh) * 2017-09-12 2019-05-28 松下知识产权经营株式会社 图像生成装置以及图像生成方法
JP2019101740A (ja) * 2017-12-01 2019-06-24 コニカミノルタ株式会社 機械学習方法及び装置
CN110008806A (zh) * 2017-12-27 2019-07-12 本田技研工业株式会社 存储介质、学习处理方法、学习装置及物体识别装置
CN110197190A (zh) * 2018-02-27 2019-09-03 北京猎户星空科技有限公司 模型训练和物体的定位方法及装置
CN110202583A (zh) * 2019-07-09 2019-09-06 华南理工大学 一种基于深度学习的仿人机械手控制系统及其控制方法

Also Published As

Publication number Publication date
US20220343635A1 (en) 2022-10-27
JP2021056803A (ja) 2021-04-08
CN114503174A (zh) 2022-05-13
US11972602B2 (en) 2024-04-30
EP4020416A4 (en) 2022-10-12
EP4020416A1 (en) 2022-06-29
JP7445856B2 (ja) 2024-03-08
WO2021065413A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
CN114503174B (zh) 物体识别装置、物体识别系统以及物体识别方法
US10089552B2 (en) Product recognition apparatus and control method for product recognition apparatus
US10095939B2 (en) Article recognition apparatus and article recognition method
US20210182598A1 (en) Image processing apparatus, server device, and method thereof
EP3531341B1 (en) Method and apparatus for recognising an action of a hand
US10552703B2 (en) Article recognition apparatus, settlement apparatus and article recognition method
CN111462381A (zh) 基于人脸温度识别的门禁控制方法、电子装置及存储介质
EP3518143B1 (en) Article recognition device and commodity settlement device
JP6393409B2 (ja) 画像認識システム、カメラ状態推定装置及びプログラム
JP2018116371A (ja) 商品認識装置
US9465998B2 (en) Object detecting device and object detecting method
US11651663B2 (en) Article recognition device
JP4936952B2 (ja) 不審物監視装置
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
CN114445599A (zh) 一种试衣方法、装置、终端设备、存储介质和系统
US20230316761A1 (en) Fraudulent act detection device and fraudulent act detection method
JP4591153B2 (ja) 通信機能付き携帯端末装置及びプログラム
CN115829575A (zh) 支付验证方法、装置、终端、服务器及存储介质
EP3358503A1 (en) Article recognition apparatus and article recognition method
JP2024020698A (ja) 情報処理装置、情報処理方法及びプログラム
US20170193290A1 (en) Commodity registration apparatus and commodity registration method
CN114972303A (zh) 图像获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant