CN116503724A - Ai称重系统和利用多种数据集增加ai模型的精度的方法 - Google Patents

Ai称重系统和利用多种数据集增加ai模型的精度的方法 Download PDF

Info

Publication number
CN116503724A
CN116503724A CN202210065055.5A CN202210065055A CN116503724A CN 116503724 A CN116503724 A CN 116503724A CN 202210065055 A CN202210065055 A CN 202210065055A CN 116503724 A CN116503724 A CN 116503724A
Authority
CN
China
Prior art keywords
image
data
model
weighing system
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210065055.5A
Other languages
English (en)
Inventor
朱辰
西田翔
杉山聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202210065055.5A priority Critical patent/CN116503724A/zh
Priority to CN202380016634.3A priority patent/CN118511202A/zh
Priority to PCT/CN2023/071665 priority patent/WO2023138447A1/zh
Publication of CN116503724A publication Critical patent/CN116503724A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

本发明涉及AI称重系统和利用多种数据集增加AI模型的精度的方法。其中，AI称重系统可包括：置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及输出部，用于输出所述目标物的识别结果以及称重结果。根据本发明的AI称重系统显著改善识别速度和精度。

Description

AI称重系统和利用多种数据集增加AI模型的精度的方法
技术领域
本发明涉及AI(Antificial Intelligence)称重系统，更具体地，涉及利用具有AI处理功能的图像传感器的AI称重(AI scale)系统。
背景技术
在例如超市等的销售场所，已经出现了顾客能够自助结算和支付的工具。例如，在超市中，顾客能够利用商品上的条形码自行扫描和结算。然而，条形码仍然需要人工粘附在商品上。尤其是，对于例如生鲜类商品，还需要人工识别和称重，再打印出条形码。由于商品种类繁多，人工识别商品耗时、费力且容易出现错误。
目前，也出现了基于计算机视觉技术的人工智能(AI)称重装置。这样的AI称重装置通过建立智能识别模型并利用模型分析商品图像来自动地识别商品。这样的AI称重装置避免了人工称重和打印条形码的步骤，且避免了需要人工查找或记忆各种商品的价格，从而极大改善了诸如超市这样的场所的工作效率且节省了人工费用。
发明内容
然而，在现有的AI称重装置中，对商品的识别是通过将照相机拍摄的图像发送到诸如云端的外部计算设备上进行的，并且AI模型的学习、建立、训练和再训练同样是在云端进行。因而，这存在至少以下三种问题。首先，数据传输取决于数据流量(data traffic)可能是不稳定的且存在延迟甚至错漏，从而显著影响识别速度和精度。其次，云端AI识别依赖于网络的稳定性，且在离线(off line)时无法实施。因此，云端AI识别显著依赖于云环境。第三，发往云端的图片可能包括隐私信息，例如用户的个人信息，从而存在隐私泄露的风险。
同时，现有AI称重装置的识别模型的识别精度有待改善。尤其是，在诸如超市这样的场所中，即使是同一种类的商品，其包装和出售形式等也多种多样。例如，对于生鲜类商品，其存在盒装、塑料袋等多种包装形式，还可能自带包装；同时，其可能完整出售，也可能分割出售(例如，切片、分块等等)。这些都给精准识别商品带来了难度。
为解决上述问题，本发明通过利用具有AI处理功能的图像传感器，能够在离线状态执行AI识别，从而显著改善了智能称重装置的识别精度、识别速度，并且能够离线使用。
本发明还通过利用包含多种数据集的图像数据显著改善了AI模型的识别精度。
根据本发明的AI称重系统可包括：置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及输出部，用于输出所述目标物的识别结果以及称重结果。
根据本发明的AI称重系统的摄像装置的图像传感器可为CMOS图像传感器芯片，所述CMOS图像传感器芯片包括第一基板和第二基板，所述第一基板具有将光信号转化为电信号的多个像素，且所述第二基板具有存储器和处理电路，所述存储器存储有AI模型，所述处理电路具有通过使用所述AI模型基于所述电信号来执行所述AI处理的功能。
图像传感器上存储的AI模型包括第一推论模型。
根据本发明的一方面，堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述处理电路可包括：学习部，所述学习部基于所述图像数据再训练所述AI模型；以及推论部，所述推论部利用所述AI模型对所述目标物进行识别。
根据本发明的另一方面，AI称重系统还可包括位于云环境中的一个或多个计算设备，所述一个或多个计算设备具有相应的处理器和存储器。其中，第一摄像装置的堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述图像数据被发送至所述一个或多个计算设备。所述一个或多个计算设备基于所述堆叠式CMOS图像传感器芯片生成的所述图像数据创建第二推论模型，并且可直接将所述第二推论模型部署到所述堆叠式CMOS图像传感器芯片的所述存储器中，使得所述第一推论模型被更新。
根据本发明的另一方面，所述堆叠式CMOS图像传感器芯片能够选择所述图像数据的尺寸，所述尺寸包括全传感器尺寸和基于所述处理电路的所述AI处理的视频图形阵列(VGA)尺寸。
根据本发明的另一方面，当所述堆叠CMOS图像传感器输出具有全传感器尺寸的所述图像数据时，所述AI处理包括从具有所述全传感器尺寸的所述图像数据中截取所述目标物的整体图像或局部图像，所述局部图像包括VGA尺寸图像。
根据本发明的另一方面，AI称重系统的第一摄像装置拍摄的图像数据可包括：所述目标物的轮廓图像；和/或所述目标物的截面图像；和/或所述目标物的包装图像。
根据本发明的另一方面，AI称重系统的第一摄像装置拍摄的图像数据还可包括所述目标物的局部放大图像。
根据本发明的另一方面，AI称重系统的第一摄像装置还可包括ToF传感器，并且所述AI处理包括将所述图像传感器输出的RBG数据和所述ToF传感器输出的ToF数据进行组合。
根据本发明的另一方面，AI称重系统的第一摄像装置还可包括多波长传感器，并且所述AI处理能够利用所述多波长传感器的输出优化对所述目标物的识别。
根据本发明的另一方面，AI称重系统的第一摄像装置还可包括偏光传感器，并且所述AI处理能够利用所述偏光传感器的输出优化对所述目标物的识别。
根据本发明的另一方面，AI称重系统还可包括：第二摄像装置，用于获取目标人物的图像并发送给所述第一摄像装置，并且其中，所述AI处理包括从所述第二摄像装置获取的所述目标人物的图像获取特征数据并且利用所述特征数据辅助识别所述目标物。其中，所述特征数据包括所述目标人物的性别和年龄等匿名的特征数据。
根据本发明的另一方面，AI称重系统还可包括：第三摄像装置，用于获取目标人物的图像并发送给所述第一摄像装置，并且其中，所述AI处理包括对所述第三摄像装置获取的所述目标人物的图像进行SLAM处理，并输出处理结果的元数据以辅助识别所述目标物。其中，所述第三摄像装置还获取所述目标人物的购物车或购物筐的图像并发送给所述第一摄像装置，并且所述AI处理包括对所述购物车或购物筐的图像进行SLAM处理，并输出处理结果的元数据以辅助识别所述目标物。
优选地，本发明的第三摄像装置可包括定位在所述目标人物的移动范围内的不同位置处的多个图像传感器。
根据本发明的另一方面，AI称重系统的AI处理还可包括获取包括环境温度、区域地址和/或气候条件的其它信息，并能够基于所述其它信息辅助识别所述目标物。
根据本发明的利用多种数据集来增加AI模型的识别精度的方法，包括：获取物品的图像数据；利用学习数据创建AI模型，所述学习数据包括所述图像数据和所述物品的名称以及属性；应用所述AI模型识别目标物，其中，所述学习数据包括以下三种数据集中的至少两种：所述物品的轮廓图像；所述物品的截面图像；所述物品的包装图像。
优选地，用于创建AI模型的学习数据还可包括物品的局部放大图像的数据集。
优选地，所述物品的所述图像数据包括RGB图像数据以及以下数据中的至少一者：ToF数据、多波长数据、偏光数据。
通过本发明的上述一个或多个方面，AI称重系统的识别速度和精度得到显著改善，并且尤其是，即使在离线状态下也能够精确且快速地识别目标物。并且，根据本发明的创建AI模型的方法通过增加不同的数据集显著改善了识别模型的精度。
附图说明
在以下说明中，将参照附图更全面地公开各种实施例的这些及其他更详细、具体的特征，其中：
图1是示出根据本发明的AI称重系统的第一实施方式的示意图。
图2是示出根据本发明的图像传感器的实施例的示意图。
图3是示出根据本发明的堆叠式CMOS图像传感器芯片的示意图。
图4是示出根据本发明的用于创建、训练或再训练AI模型的步骤的流程图。
图5是示出根据本发明的AI识别方法的流程图。
图6是示出根据本发明的图像传感器的图像输出和/或处理模式的示意图。
图7是示出根据本发明的AI称重系统的第二实施方式的示意图。
图8是示出根据本发明的AI称重系统的第三实施方式的示意图。
图9是示出根据本发明的AI称重系统的第四实施方式的示意图。
图10是示出根据本发明的AI称重系统的第五实施方式的示意图
具体实施方式
在以下说明中，列出了许多细节，但是对于本领域技术人员来说显而易见的是，这些具体细节仅仅是示例性的，并不意图限制本申请的范围。
<第一实施方式>
如图1所示，根据本发明的第一实施方式的AI称重系统包括：置物台1、摄像装置2和输出部3，其中目标物4放置在置物台1上。置物台1内置称重装置，能够对目标物4进行称重。输出部3可为如图1所示的显示器，例如液晶显示器，以向用户显示目标物4的识别结果以及称重结果等。可选地，输出部3也可以以音频方式输出识别结果和称重结果。并且输出部3可为触摸显示器，以与用户进行交互。在本文中，以例如超市中售卖的商品(尤其是水果、蔬菜等生鲜产品)作为本发明的目标物进行了说明，但容易理解的是，本发明并不局限于这些特定商品。例如，本发明的目标物也可以是仓库中存储的货物。
摄像装置2例如设置在置物台1上方，以对目标物进行拍摄。摄像装置2包括图像传感器21，例如CMOS图像传感器。根据本发明的图像传感器21不仅能够存储和输出拍摄的图像，并且能够对图像数据执行包括AI处理在内的各种处理。AI处理包括从图像数据中获得各种信息(诸如目标的特征数据等的元数据)，以及对图像中的目标物进行识别等。如图2所示，图像传感器21也可与云环境(云端)进行通信。然而，由于图像传感器21本身可执行AI处理，因此，与现有的称重识别系统不同，本发明的AI称重系统并不依赖于网络连接和云端服务器，即使在离线状态，也能够快速且精确识别出目标物。
[具有AI处理功能的图像传感器的结构]
图2示出根据本发明的图像传感器21的功能框图。如图2所示，图像传感器21包括成像部211、存储器212和AI处理部213。图像传感器21还包括对成像部进行控制的控制部(未图示)。成像部211对目标物进行拍摄，并将成像数据发送到AI处理部213，并可将成像数据存储在存储器212中。
存储器212中存储有AI模型，例如对目标物进行识别的推论模型(“第一推论模型”)。AI模型例如为用于计算机视觉的神经网络计算模型，该模型通过执行例如存储在存储器212和/或云环境中的存储器中的程序而利用深度神经网络(DNN)的学习来创建。此外，AI模型可以是利用多层神经网络的学习模型。应当理解的是，这里的AI模型可以根据用途和需求选择任何合适的已知AI模型和算法。
AI处理部213例如为图形处理单元(Graphic Processing Unit,GPU)，从而可利用存储器212中存储的AI推论模型对目标物的图像数据进行处理，并且将处理结果发送到输出部3。
优选地，AI处理部213可包括推论部2131和学习部2132。推论部2131利用存储器212中存储的AI推论模型对成像部211拍摄和发送的目标物图像进行识别，并将识别结果发送给输出部3。学习部2132基于该目标物图像以及确认后的识别结果对AI推论模型进行再训练。并且，学习部2132也可利用云环境中的数据对AI推论模型进行再训练。再训练可以在AI称重系统空闲时和/或可选择在网络可用时进行，从而不影响AI称重系统进行操作时的效率。
可选地，学习部2132可以基于存储器212中存储的数据进行学习，并且创建和训练AI模型。学习部2132也可利用应用过程中产生的数据以及其他学习数据(例如，云环境中的数据)对识别模型进行再训练。优选地，学习部2132还可以通过使用学习数据改变AI推论模型内的各种参数的权重来训练学习模型；和/或通过准备多个AI推论模型然后根据计算处理的内容改变待使用的AI推论模型。另外，如上所述的，学习部2132对AI推论模型的训练优选在AI称重系统空闲时进行。
另外可选地，根据本发明的图像传感器21的AI处理部213可仅包括推论部2131。学习部2132的功能则在AI称重系统空闲时并且在网络可用时在云环境上执行。
也就是说，图像传感器21的AI处理部213可利用存储器212中存储的AI推论模型仅执行目标物的AI识别，由此进一步提高了识别速度，且完全不依赖于网络连接和云环境。在这个方面，根据本发明的AI处理部的学习部可位于AI称重系统的以有线或无线方式可接入的任何外部计算设备中，例如云环境(云端)、边缘服务器、核心网络等等。位于云环境中的云服务器可包括一个或多个计算设备，其具有相应的处理器和存储器，可对大量(且实时更新的)数据进行高速处理。同时，AI称重系统在系统空闲时并且在网络可用时在云环境上执行推论模型(“第二推论模型”)的训练，并且例如定期自动地将该推论模型(“第二推论模型”)部署到图像传感器21的存储器212中，以更新存储器212中的推论模型(“第一推论模型”)。由于云环境能够获取、存储和处理大量数据，有利于AI推论模型的建立和再训练。同时，可在网络可用或AI称重系统空闲时更新系统上的AI推论模型，从而在不影响系统工作时的识别速度的情况下，改善识别精度。
另外，在这个方面，图像传感器21生成的图像数据也被发送且存储至云端的一个或多个计算设备中。位于云环境中的计算设备可基于图像传感器21生成的图像数据创建和/或再训练AI推论模型，并且可直接将该AI推论模型部署到图像传感器21的存储器212中，从而更新图像传感器21存储的AI推论模型。
在完成AI识别后，AI处理部213将目标物的识别结果发送到输出部3。识别结果可能包括N个选项(N≥1)，在N>1时，N个选项按可能性的等级(ranking)排列。如图1所示，输出部3显示目标物4的3种可能结果，第1选项为系统识别出的最佳结果。如果该最佳结果并非目标物4的正确结果，用户可在输出部3的交互显示屏上选择正确结果。用户的该选择将作为历史数据(学习数据)用于本发明的反馈机制。除了排序之外，输出部3在显示最佳结果时，还可以通过加深颜色、改变字体、放大字号等方式对多种可能结果中的最佳结果进行突出显示。
具体地，根据本发明的反馈机制，当用户选择的最终选项(即，用户识别的目标物的结果)并非N个选项中的第1个选项时，AI识别过程中所使用的目标物图像以及该正确选项被存储到图像传感器21的存储器212或发送到云环境中，并且被反馈给学习部2132。学习部2132和/或云端处理器将该目标物图像及其正确选项关联起来作为学习数据，以用于对AI推论模型进行再训练，从而动态地、不断地优化模型的识别精度。
[具有AI处理功能的图像传感器的构造]
下面将根据图3来描述本发明的图像传感器的具体构造。如图3所示，图像传感器21可以是堆叠式互补金属氧化物半导体(CMOS)图像传感器芯片。堆叠式CMOS图像传感器芯片包括第一基板301和第二基板302。第一基板301上布置有由多个像素组成的像素阵列部3011，像素阵列部3011通过光电转换将光信号转换为电信号，并传输到第二基板302(第一基板和第二基板之间的连接未图示)。第二基板302上布置有存储器3021和处理电路3022。处理电路3022例如包括DSP(数字信号处理器，Digital Signal Processor)，其基于从第一基板301传输的电信号生成图像数据，并将该图像数据存储在存储器3021(例如，图2所示的存储器212)中。存储器3021上存储有AI模型，例如对目标物进行AI识别的推论模型。处理电路3022执行如图2中的AI处理部213的推论部2131的AI处理功能，即，利用存储器212上存储的AI模型基于来自像素阵列部的电信号进行AI识别处理。处理电路3022还可以执行如上所述的图2中的学习部2132的功能。
可选地，堆叠式CMOS图像传感器芯片还可包括第三基板。存储器和处理电路可分别位于第二基板和/或第三基板上。即，像素阵列部、存储器和处理单路可分别位于不同的基板上。
基于上述构造，本发明的图像传感器21本身能够对目标物的图像执行AI识别处理，从而能够在离线状态下对目标物进行识别。
[AI模型的创建/训练方法]
图4示出根据本发明的创建或再训练AI模型的步骤。在步骤S01中，AI处理部(具体地，位于云环境或图像传感器中的学习部2132)获取学习数据，该学习数据包括物品图像的数据集以及物品的名称和属性等，并且学习数据还包括AI称重系统的历史识别数据；在步骤S02中，学习部2132利用学习数据创建AI模型，或者对已创建的AI模型进行训练或再训练；在步骤S03中，输出创建的或更新后的AI模型。
根据本发明，用于创建或训练AI模型的图像数据包括多种不同的图像数据集，例如物品的轮廓图像、带包装的物品图像、物品截面图像、物品的局部图像等。利用上述数据集中两种以上的数据集来创建本发明的AI模型。具体地，在步骤S01中，可收集物品的整体轮廓的多组图像(数据集1)，例如不同角度拍摄的物品轮廓；带包装的物品的多组图像(数据集2)，例如被装在各种颜色的包装(例如，各种常见的塑料袋)中的物品的图像；物品的不同截面的多组图像(数据集3)，例如被分割为不同形状的物品的图像；以及物品的局部放大图像(数据集4)等。对于不同的物品，可选择使用不同的数据集进行建模。例如，对于西瓜等可能会被分割出售的商品，可收集整体图像和分割后的截面图像两种数据集(即，数据集1和3)。因此，在顾客选择购买例如半个西瓜时，能够快速且精确地识别出商品。再如，对于葡萄，可选择使用整体图像和局部图像这两种数据集(即，数据集1和4)，通过对局部细节的确认，能够快速识别出葡萄。
以上描述的用于创建或训练AI模型的物品图像数据一般为RGB图像或黑白图像。但是，根据本发明优选地，用于创建或训练AI模型的图像数据还可包括物品的三维立体数据、偏光数据、多波长数据中的一种或多种。
具体地，可利用ToF传感器获得物品的三维立体数据，即ToF数据(数据集5)，并且将其与物品的RGB图像(数据集1至4中的至少一个)进行融合，获得物品的立体图像。立体图像能够完整呈现物品的表面特征，从而优化AI模型的识别精度。对于存在光滑表面的物品，在建模时，可使用通过偏光传感器获得的物品的偏光图像(数据集6)。通过使用偏光图像，能够避免物品表面反光而导致拍摄的图像不清楚的问题。另外，还可使用多波长传感器对物品进行拍摄，以获得物品的多波长图像(数据集7)。由于多波长传感器能够捕获物品表面颜色的细小差异，所以多波长图像与物品的RGB图像(数据集1至4中的至少一个)的组合使用，对于用于识别存在许多种类的同种物品(例如，产地不同的相同水果)的建模是有益的。
如上所述，通过使用两种以上的上述数据集(数据集1～4)，与传统识别模型相比，本发明的AI模型能够显著改善识别精度。并且，通过使建模用的图像数据包括除RGB图像以外的其它图像数据(数据集5～7)，本发明进一步地改善了AI模型的识别精度。
另外，在收集物品的整体图像和局部图像时，根据本发明的拍摄装置对物品的局部进行放大拍摄和处理，是基于光学变焦而不是现有技术中普遍采用的数字变焦。相应地，在对目标物进行识别时，根据本发明的拍摄装置对目标物的局部放大图像的获取同样是基于光学变焦。因此，图像质量不会因为放大图像而降低，从而进一步改善识别精度。这一点将在下面参考图6进行详细描述。
[AI识别方法]
图5示出利用本发明的AI称重识别系统对目标物进行AI识别的方法的步骤。在步骤S501中，在感应到目标物4被放置在置物台1后，摄像装置2对目标物进行拍摄，获取目标物的多个图像，包括整体轮廓图像、局部图像等，如将在下面根据图6描述的。优选地，摄像装置2还可通过其它传感器获取目标物的除RGB图像以外的其它图像数据，例如ToF数据、偏光图像和多波长图像。在步骤S502中，摄像装置2中的AI处理部213对目标物图像进行AI处理，获得高质量的图像数据，以用于AI识别。这里的AI处理包括从拍摄的图像中截取目标物的局部细节图像，如下面根据图6描述的。优选地，对图像的AI处理还包括将RGB图像与例如ToF传感器等的其他传感器数据进行融合或组合，以优化目标物的图像数据。
图6示出根据本发明的图像传感器的图像输出和/或处理模式。根据本发明的图像传感器21输出的图像的尺寸能够从多种像素尺寸中进行选择。例如，图6中所示的4056×3040像素(12M全传感器尺寸)、1947×1459像素(覆盖整个置物台)或640×480像素(视频图形阵列(VGA)尺寸)。因此，根据控制部的控制，图像传感器21的成像部211可相应选择拍摄全景图像(模式1)、目标物的整体图像(模式2)和局部图像(模式3)。模式3在目标物为例如葡萄时能够优化识别结果。
另一方面，在成像部211输出12M全传感器尺寸图像时，AI处理部213还能够从全传感器尺寸图像中截取目标物区域的图像，并且能够从全传感器尺寸图像或目标物区域图像中截取VGA尺寸的图像。以这种方式，也能够获取目标物的局部细节图像。
通过上述方式，本发明能够利用具有AI处理功能的图像传感器输出目标物的局部放大图像。与传统识别技术中使用的数字变焦不同，根据本发明的上述图像放大处理是基于光学变焦进行的，因而放大后的图像质量完全不会受到影响，从而与现有技术相比极大改善识别精度和效率。同时，在这个方面，尽管本发明的摄像装置拍摄的图像的数据量比传统摄像装置的数据量大，但是由于本发明的图像传感器本身具有AI处理和识别功能，而不是如现有技术那样必须将图像数据发送到云端进行处理和识别，因此并不会影响识别速度，同时避免了数据传送过程中的丢失或错误的风险。因此，利用高质量的图像，本发明在不影响识别速度的情况下极大改善了目标物的识别精度。
在步骤S503中，AI处理部213利用存储器212中的AI推论模型基于在步骤S502中处理后的图像数据对目标物进行识别。识别结果可能包括N(N≥1)个选项。此时，优选地，AI处理部213可结合获得的其它信息对不同选项进行加权，以优化多个选项的排序。其它信息指的是可能会影响用户(例如，超市或卖场内的顾客)对商品的选择的信息，例如识别到的用户的匿名特征数据(如，性别和年龄等)、系统所处位置的地址信息以及天气和温度信息等等。
在步骤S504中，AI处理部213将上述识别结果输出到输出部3。输出部3将识别结果显示给用户。如果第1个选项非正确结果，用户可在其它选项中选择正确结果，或者手动输入正确结果。在步骤S505中，AI处理部213将图像数据以及正确的识别结果存储到存储器212中，和/或上传到云环境中的计算设备的存储器中。如前所述，根据反馈机制，利用这些数据可对AI推论模型进行再训练。
<第二实施方式>
图7示出根据本发明的AI称重系统的第二实施方式。
根据第一实施方式的拍摄装置2的图像传感器21能够输出RGB彩色图像和/或黑白图像。而在第二实施方式中，如图7所示，摄像装置2还包括诸如ToF传感器22、偏光传感器23和多波长传感器24的其他传感器。这些其他传感器均连接至图像传感器21。AI处理部213能够对各种类型传感器输出的数据进行组合或融合后用于AI识别，以优化目标物的图像和增加目标物的识别精度。
ToF传感器22是通过检测光源发出的光被目标物反射后到达传感器的光的飞行时间(时间差)，测定到目标物距离的ToF(Time of Flight)式距离图像传感器。AI处理部213能够将从成像部211获得的RGB图像和从ToF传感器22输出的ToF图像进行融合，得到目标物的立体图像。基于该立体图像进行识别能够增加目标物的识别精度。
偏光传感器23例如是将传统偏光相机中作为独立零部件的偏光元件内置于CMOS图像传感器中获得的传感器。偏光传感器23能拍摄因光反射而看不清的被摄体，例如打包蔬菜的塑料袋会呈现不均匀反光，细腻呈现物体表面的凹凸，从而优化目标物的被摄图像。在目标物由于光滑表面等存在反射时，AI处理部213可选择利用偏光传感器的输出优化目标物的识别精度。
多波长传感器24利用对不同波长的光的不同灵敏度能够捕获目标物的颜色的细小差异。利用多波长传感器24输出的目标物对不同波长的灵敏度差异，AI处理部213在识别诸如柑橘类的水果时是特别有利的。
根据本发明的第二实施方式，AI处理部213能够选择性地将上述传感器输出的数据中一种或多种与图像传感器21输出的数据进行组合或融合。如此，与仅使用RGB图像的第一实施方式相比，第二实施方式通过对多种类型的传感器数据的单独或组合使用进一步改善了识别效果。
<第三实施方式>
图8示出根据本发明的AI称重系统的第三实施方式。第三实施方式和第一实施方式的不同之处在于包括设置两个摄像装置。如图8所示，根据该实施方式的AI称重系统包括摄像装置2和与摄像装置2通信的摄像装置5。摄像装置2与第一实施方式的相同。
摄像装置5设置在与置物台上的摄像装置2不同的位置处，例如，超市等场所的收银台前。如图8所示，摄像装置5用于拍摄目标人物(例如，顾客)的图像，并且将拍摄的图像发送给摄像装置2。摄像装置2的AI处理部213能够从顾客的图像中获取顾客的匿名个人信息(特征数据)，例如表征性别和年龄等的元数据。AI处理部213可仅存储和输出该匿名个人信息，而不会保存顾客的图像。AI处理部213基于与该匿名个人信息关联的偏好信息来辅助识别目标物，例如通过改变识别结果中某一选项的权重。
另一方面，与摄像装置2类似地，摄像装置5本身也可包括具有AI处理功能的图像传感器。该图像传感器对顾客的图像进行处理，以获得顾客的特征数据(例如，顾客的性别和年龄)。摄像装置5仅将从拍摄的图像中获取的元数据，而不是图像本身，发送给摄像装置2，从而在提高传输和处理速度的同时完全保护个人隐私。
优选地，摄像装置5可包括RGB图像传感器和ToF传感器，用于分别获得顾客的RGB图像和ToF图像，并将两种图像发送至摄像装置2的AI处理部213。AI处理部213对顾客的RGB图像和ToF图像进行组合生成顾客的立体图像，并且基于该立体图像获得顾客的特征数据。在摄像装置5本身包括具有AI处理功能的图像传感器的情况下，上述AI处理(包括生成立体图像，和基于该立体图像的特征分析)将在摄像装置5端进行，摄像装置5仅将处理结果发送给摄像装置2。
具体地，举例来说，摄像装置5从拍摄的顾客的图像中获得顾客为25岁左右的女性，并将该元数据(即，“女，25岁”)发送给摄像装置2。摄像装置2将该元数据存储在存储器212中，并发送给推论部2131。存储器212中存储有25岁女性的偏好信息，该偏好信息将根据历史数据定期更新。如图8所示，在将顾客购买的目标物放置在置物台1上后，推论部2131利用AI模型基于成像部211拍摄的目标物图像获得目标物的初步识别结果可能是橘子、橘柑、番茄或柠檬。同时，根据从摄像装置5获得的顾客的信息，推论部2131获知25岁左右的女性更偏好较甜的橘子，并将其作为辅助识别信息。在缺乏其他识别参数时，推论部2131将根据该偏好最终将橘子作为识别结果中第1排序的选项。在顾客支付完成后，上述元数据以及目标物的最终结果(用户是否选择了第一排序的橘子)可用于对AI模型再训练。
可选地，摄像装置5还可拍摄顾客持有的购物筐或购物车的图像，并将该图像数据发送给摄像装置2。摄像装置2可对从摄像装置5获得的图像数据进行预识别。另一方面，可由摄像装置5对其拍摄的图像数据进行用于预识别的AI处理，并直接将处理结果的元数据发送给摄像装置2。例如，摄像装置5可将从图像数据中识别出的物品列表发送给摄像装置2。预识别可作为摄像装置2进行的最终AI识别的辅助信息。
并且，在顾客完成支付后，对该顾客的图像的上述AI处理结果的元数据(例如，性别和年龄范围等)以及该顾客购买的商品的最终列表等信息可存储到存储器212和/或云环境上的计算设备中，以用于更新与匿名个人信息关联的偏好信息以及对AI模型的再训练。以此方式，进一步改善AI模型的识别精度。
在这个方面，在顾客以手机支付时，AI处理部213还可识别顾客的QR码(二维码)，获得该顾客的诸如购买历史在内的匿名信息，以用于更新偏好信息和AI模型的再训练。
<第四实施方式>
图9示出根据本发明的AI称重系统的第四实施方式。第四实施方式和第三实施方式的不同之处在于还设置了摄像装置6，即该实施方式包括三个摄像装置2、5和6。摄像装置2和5与第二实施方式的相同。
根据本实施方式的摄像装置6设置在与摄像装置2和5不同的位置处。具体地，多个摄像装置6分别设置在诸如超市等场所中的多个不同位置处。例如，图9示出设置在超市的冷藏柜中的摄像装置6。当然，可在超市的各个商品陈列处都设置摄像装置6。
如图9所示，摄像装置6对拍摄范围内的顾客进行拍摄，并将拍摄的图像发送给摄像装置2。摄像装置2可对顾客的图像进行并行定位和绘制(simultaneous localizationand mapping,SLAM)处理。具体来说，AI处理部213对图像中的特征点进行分析，确定特定特征点是否相对于另一图像移动一定矢量，并通过合并先后拍摄的多个图像的特征点数据来生成SLAM地图。以这种方式，结合系统的存储器中存储的安装着摄像装置6的货柜处的商品信息，AI处理部213能够确定顾客在设置摄像装置6的货柜处取出或放下的商品信息。
可选地，摄像装置6还可对拍摄范围内的顾客的购物车或购物筐进行拍摄，并将拍摄的图像发送给摄像装置2。类似地，AI处理部213可对购物车或购物筐的图像进行SLAM处理，从而确定购物车或购物筐中被放入或取走的商品信息。另外可选地，AI处理部213还可对设置在不同位置处的多个摄像装置6拍摄的购物车或购物筐的图像进行对比，通过图像的差异确定购物车或购物筐中被放入或取走的商品信息。
当然，当顾客及其购物车或购物筐都处于摄像装置6的拍摄范围内时，摄像装置6可将顾客及其购物车或购物筐的整体图像发送给摄像装置2，AI处理部213可基于该整体图像确定顾客放入购物车或购物筐或从购物车或购物筐取走的商品信息。
另一方面，与摄像装置5类似地，摄像装置6本身也可包括具有AI处理功能的图像传感器，由该AI图像传感器在摄像装置6上执行上述AI处理，并将处理结果的元数据发送给摄像装置2。例如，顾客在某时刻处从某货柜取出/放下某商品、顾客的购物车或购物筐在某时刻处被放入或取走某商品。
以这种方式，由于能够获得顾客在卖场内选择的全部或部分商品的精确信息，使得AI处理部213在识别目标物(顾客的选择的商品列表)时的精确度以及识别效率都得到极大改善。
此外，与第三实施方式类似地，摄像装置2可对摄像装置6拍摄的顾客的图像进行处理，获得顾客的匿名信息(例如，性别、年龄等)。在摄像装置6本身具有AI图像传感器时，可仅将上述信息的元数据发送给摄像装置2的AI处理部213。同时，AI处理部213可将顾客的元数据和其选择的商品数据关联起来，并存入存储器212中，用于对AI模型的再训练。
与第三实施方式类似地，在顾客完成支付后，对该顾客的图像的上述AI处理结果的元数据(例如，性别和年龄范围等)以及该顾客购买的商品的最终列表等信息可存储到存储器212和/或云端中，以用于对AI模型的再训练。以此方式，进一步改善AI模型的识别精度。
<第五实施方式>
图10示出根据本发明的AI称重系统的第五实施方式。如图10所示，在相同的店铺内可能设置有多个AI称重支付系统，多个系统之间以无线或有线的方式相互连接。从而，多个AI称重系统互相通信，更新店铺的数据库(包括商品信息，顾客的匿名个人信息和购买历史数据等)。基于更新的数据库，对各个AI图像传感器的AI模型进行再训练，从而不断改善AI模型的识别精度。当然，也可在云环境中的计算设备上进行AI模型的训练和再训练，并将更新后的AI模型部署到各个AI称重系统中。
此外，不同店铺(如图10所示的店铺A和店铺B)的数据库信息也可上传到云环境中的计算设备。利用不同店铺的数据库在云环境中的计算设备上建立大数据库，利用该大数据库创建、训练和再训练AI模型，以及更新各店铺的AI模型。利用云环境，不同店铺的AI称重系统的AI处理单元也可实时地通信。
另外，各店铺可从例如云环境获取其它信息，例如实时温度、区域地址以及当地气候等。利用这些信息，也可辅助改善AI处理单元对目标物(例如，店铺内的商品)的识别精度。
以上以超市中的商品称重为例对本发明的应用场景进行了描述。但是，本发明显然并不局限于此。本领域技术人员能够理解的是，本发明的AI识别系统还可以应用于任何需要对商品/物品进行识别的场景，而不局限于称重场景。

Claims (10)

1.一种AI称重系统，包括：
置物台，用于放置目标物，所述置物台能够对所述目标物进行称重；
第一摄像装置，用于对放置在所述置物台上的所述目标物进行拍摄和识别，所述第一摄像装置包括图像传感器，所述图像传感器能够在离线状态下执行用以识别所述目标物的AI处理；以及
输出部，用于输出所述目标物的识别结果以及称重结果。
2.如权利要求1所述的AI称重系统，其中，所述图像传感器包括具有第一基板和第二基板的堆叠式CMOS图像传感器芯片，所述第一基板具有将光信号转化为电信号的多个像素，且所述第二基板具有存储器和处理电路，所述存储器存储有AI模型，且所述处理电路通过使用所述AI模型基于所述电信号来执行所述AI处理。
3.如权利要求2所述的AI称重系统，其中，所述AI模型包括第一推论模型。
4.如权利要求3所述的AI称重系统，其中，所述堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述处理电路包括：
学习部，所述学习部基于所述图像数据再训练所述第一推论模型；以及
推论部，所述推论部利用所述第一推论模型对所述目标物进行识别。
5.如权利要求3所述的AI称重系统，其还包括位于云环境中的一个或多个计算设备，所述一个或多个计算设备具有相应的处理器和存储器；
其中，所述堆叠式CMOS图像传感器芯片的所述处理电路生成图像数据，并且所述图像数据被发送至所述一个或多个计算设备。
6.如权利要求5所述的AI称重系统，其中，所述一个或多个计算设备基于所述堆叠式CMOS图像传感器芯片生成的所述图像数据创建第二推论模型，并且直接将所述第二推论模型部署到所述堆叠式CMOS图像传感器芯片的所述存储器中，使得所述第一推论模型被更新。
7.如权利要求1至6中任一项所述的AI称重系统，其中，所述第一摄像装置拍摄的图像数据包括：
所述目标物的轮廓图像；和/或
所述目标物的截面图像；和/或
所述目标物的包装图像。
8.一种利用多种数据集来增加AI模型的识别精度的方法，包括：
获取物品的图像数据；
利用学习数据创建AI模型，所述学习数据包括所述图像数据和所述物品的名称以及属性；
应用所述AI模型识别目标物，
其中，所述学习数据包括以下三种数据集中的至少两种：
所述物品的轮廓图像；
所述物品的截面图像；
所述物品的包装图像。
9.如权利要求8所述的方法，其中，所述物品的所述图像数据包括RGB图像数据以及以下数据中的至少一者：
ToF数据；
多波长数据；
偏光数据。
10.如权利要求9所述的方法，其中，所述学习数据还包括所述物品的局部图像的数据集。
CN202210065055.5A 2022-01-20 2022-01-20 Ai称重系统和利用多种数据集增加ai模型的精度的方法 Pending CN116503724A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210065055.5A CN116503724A (zh) 2022-01-20 2022-01-20 Ai称重系统和利用多种数据集增加ai模型的精度的方法
CN202380016634.3A CN118511202A (zh) 2022-01-20 2023-01-10 Ai称重系统和利用多种数据集增加ai模型的精度的方法
PCT/CN2023/071665 WO2023138447A1 (zh) 2022-01-20 2023-01-10 Ai称重系统和利用多种数据集增加ai模型的精度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210065055.5A CN116503724A (zh) 2022-01-20 2022-01-20 Ai称重系统和利用多种数据集增加ai模型的精度的方法

Publications (1)

Publication Number Publication Date
CN116503724A true CN116503724A (zh) 2023-07-28

Family

ID=87318935

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210065055.5A Pending CN116503724A (zh) 2022-01-20 2022-01-20 Ai称重系统和利用多种数据集增加ai模型的精度的方法
CN202380016634.3A Pending CN118511202A (zh) 2022-01-20 2023-01-10 Ai称重系统和利用多种数据集增加ai模型的精度的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202380016634.3A Pending CN118511202A (zh) 2022-01-20 2023-01-10 Ai称重系统和利用多种数据集增加ai模型的精度的方法

Country Status (2)

Country Link
CN (2) CN116503724A (zh)
WO (1) WO2023138447A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767590A (zh) * 2016-08-16 2018-03-06 深圳仪普生科技有限公司 物品自动识别商用条码电子秤及物品自动识别方法
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
CN109508974B (zh) * 2018-11-29 2023-08-22 华南理工大学 一种基于特征融合的购物结账系统和方法
CN112307799A (zh) * 2019-07-24 2021-02-02 鲁班嫡系机器人（深圳）有限公司 姿态识别方法、装置、系统、存储介质及设备
CN110705533A (zh) * 2019-09-09 2020-01-17 武汉联析医疗技术有限公司 一种用于检验报告的ai识别抓取系统
CN111814614A (zh) * 2020-06-28 2020-10-23 袁精侠 智能识物电子秤称重方法及系统

Also Published As

Publication number Publication date
CN118511202A (zh) 2024-08-16
WO2023138447A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
US12073571B1 (en) Tracking objects in three-dimensional space
EP3745296B1 (en) Image monitoring-based commodity sensing system and commodity sensing method
US11783613B1 (en) Recognizing and tracking poses using digital imagery captured from multiple fields of view
EP3447681B1 (en) Separation of objects in images from three-dimensional cameras
JP7458405B2 (ja) 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法
US11030442B1 (en) Associating events with actors based on digital imagery
US11861927B1 (en) Generating tracklets from digital imagery
US11284041B1 (en) Associating items with actors based on digital imagery
US11281888B2 (en) Separation of objects in images from three-dimensional cameras
CN108550229A (zh) 一种人工智能自动收银方法
CN110569789B (zh) 商品组合型sku识别方法及其装置
US11960569B2 (en) System and method for refining an item identification model based on feedback
US11669948B2 (en) Learned model generating method, learned model generating device, product identifying method, product identifying device, product identifying system, and measuring device
US20220414398A1 (en) Database management system and method for updating a training dataset of an item identification model
US12073623B2 (en) System and method for capturing images for training of an item identification model
US20240013530A1 (en) System and method for aggregating metadata for item identification using digital image processing
CN110956459A (zh) 一种商品处理方法及系统
US20240029274A1 (en) System and method for detecting a trigger event for identification of an item
US20240029405A1 (en) System and method for selecting an item from a plurality of identified items by filtering out back images of the items
CN116503724A (zh) Ai称重系统和利用多种数据集增加ai模型的精度的方法
US20240362912A1 (en) System and method for capturing images for training of an item identification model
US20240362913A1 (en) System and method for capturing images for training of an item identification model
US20240020993A1 (en) System and method for item identification using container-based classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication