CN108269371A - 商品自动结算方法、装置、自助收银台 - Google Patents

Abstract

本发明公开了一种商品自动结算方法、装置、自助收银台，该方法包包括：获得含有商品的图像，商品设有防盗码；将含有商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出商品信息；由输出的商品信息生成支付信息；支付成功后对商品的防盗码解码。充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。同时整个结算过程可无收银员服务的情况下完成，降低了经营成本。

Description

商品自动结算方法、装置、自助收银台

技术领域

本发明涉及一种商品自动结算方法、装置、自助收银台，属于图像识别技术领域。

背景技术

为提高社区的生活便利度，在很多社区周边建设有24小时营业的超市，上述的营业超市多为连锁超市，在实际运营时，需要派驻2至3个人来运营上述类型的超市，上述的作业人员中，至少需要一名人员用来收银，另外的几名作业人员用来理货或者其他作业，并且一个社区超市在实际运营时，还需要派驻另外几名作业人员用来夜班作业。

一方面需要较多的人工来管理及收银，造成经营成本较高，而且通过人工收银的方式，计算准确率较低，常会产生货款对不上的问题。

发明内容

为解决上述技术问题，本发明提供一种商品自动结算方法，该方法通过神经网络对商品图像进行准确识别，不需要借助任何第三方标识识别商品，用户只要将选购商品放在桌面即可实现识别，整个结算过程可以在无人服务的情况下，由顾客自助完成，能有效降低经营成本。

商品自动结算方法，包括：

获得含有商品的图像，商品设有防盗码；

将含有商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出商品信息；

由输出的商品信息生成支付信息；

支付成功后对商品的防盗码解码；

获得含有商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；

基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；商品自动结算方法包括步骤：

(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b1)判断第N商品信息是否包含在第一商品信息中；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则输出反馈提示。

可选地，在支付成功前持续更新获得含有商品的图像；

获得含有商品的图像至生成支付信息的时间不超过0.5秒。

可选地，支付成功后至对商品的防盗码解码的时间间隔不超过0.3秒；

对商品的防盗码解码的过程的持续时间不超过0.3秒。

可选地，获得含有商品的图像至少为二维图像。

可选地，N≥2。

可选地，获得含有商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4。

可选地，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；

步骤(b1)为：(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则输出所述反馈提示。

可选地，基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；商品自动结算方法包括步骤：

(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b3)判断第N商品信息是否包含在第一商品信息中；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则执行后续步骤；

(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则输出反馈提示。

可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。

可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品数量是否小于等于第一商品信息中的商品数量。

可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。

可选地，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则执行后续步骤。

可选地，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。

可选地，步骤(b2)和步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值。

可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量。

可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。

可选地，步骤(b2)和步骤(c3)中反馈提示包括堆叠提示、错误报告中的至少一种。

可选地，含有商品的图像中商品的数量≥1。

可选地，含有商品的图像中商品的数量为1～1000。

可选地，含有商品的图像中商品的种类≥1。

可选地，商品的种类为1～1000。

可选地，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别系统由包括以下步骤的方法得到：

获得每件商品多角度图像的第一图像集；

使用第一图像集训练第二神经网络，得到第一神经网络。

可选地，训练第二神经网络的方法为监督学习方法。

可选地，训练第二神经网络的方法为：

采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；

获得商品图像的第二图像集；

用第二图像集训练第三神经网络，得到第一神经网络。

可选地，第二图像集包括经基于神经网络的识别系统输出商品信息的商品的图像。

可选地，第二神经网络对商品的识别准确率为80％以上。

可选地，用第二图像集训练第三神经网络的过程未无监督学习。

可选地，商品自动结算方法，包括步骤：

(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b1)判断第N商品信息是否包含在第一商品信息中；

(c1)步骤(b1)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；

(d1)获取步骤(c1)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。

可选地，商品自动结算方法，包括步骤：

(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b3)判断第N商品信息是否包含在第一商品信息中；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则执行后续步骤；

(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：

(d3)步骤(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；

(e3)获取步骤(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。

可选地，商品自动结算方法，包括步骤：

(a2)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；

(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：

(c2)收集步骤(b2)中判断结果为否时，识别第一商品信息中的商品；

(d2)获取步骤(c2)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。

可选地，商品自动结算方法，包括步骤：

(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b3)判断第N商品信息是否包含在第一商品信息中；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则执行后续步骤；

(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：

(d3)收集步骤(c3)中判断结果为否时，识别第一商品信息中的商品；

(e3)获取步骤(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。

可选地，持续更新获得含有商品的图像的更新频率不小于10次/秒。

可选地，持续更新获得含有商品的图像的更新频率为10次/秒至100次/秒。

可选地，获得含有商品的图像至生成支付信息的时间不超过0.1秒。

可选地，获得含有商品的图像至生成支付信息的时间为0.001秒至0.1秒。

可选地，支付成功后至对商品的防盗码解码的时间间隔不超过0.1秒。

可选地，支付成功后至对商品的防盗码解码的时间间隔为0.001秒至0.1秒。

可选地，对商品的防盗码解码的过程的持续时间不超过0.1秒。

可选地，对商品的防盗码解码的过程的持续时间为0.001秒至0.1秒。

可选地，所述解码步骤后，还包括验证步骤：判断支付成功商品的防盗码是否未解码；

如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对所述商品的防盗码解码；

如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

可选地，支付成功后对商品的防盗码解码后，还包括对支付成功的商品防盗码是否解码进行验证的步骤：成功支付后是否有商品防盗码未解码；

如是，则判断商品种类和数量是否有变化，如无变化，则再次对商品防盗码解码。

可选地，如验证步骤的结果是已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

可选地，所述检测到未解码防盗码步骤后，通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量。

可选地，如验证步骤的结果是已全部解码成功，则在商品出门时检测到未解码防盗码时，通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量对比，将差异部分商品展示并显示未支付。

根据本发明的又一方面，提供一种商品自动结算装置，包括：

摄像单元，用于获取商品至少包括角度和/或景深不同的第一图像至第N图像，商品设有防盗码；

识别信息单元，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

识别判断单元，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；

显示单元，用于输出商品信息并生成显示支付信息，判断支付是否成功后发出解码指令，或显示反馈提示；

解码单元，用于对防盗码进行解码；

摄像单元与识别信息单元相连接，识别信息单元与识别判断单元相连接，识别判断单元与显示单元数据连接，解码单元与显示单元控制连接。

可选地，识别信息单元和识别判断单元，用于按前述商品自动结算方法进行商品识别和判断。

可选地，商品自动结算装置还包括验证单元，用于判断支付成功商品的防盗码是否未解码；

如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对商品的防盗码解码；

如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

可选地，验证单元还包括监控摄像头和核对单元，核对单元用于通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量，监控摄像头与核对单元相连接，核对单元与显示单元相连接。

可选地，摄像单元包括至少两个获取不同角度和/或景深的商品图像的摄像头。

可选地，摄像单元包括至少2至4个获取不同角度和/或景深的商品图像的摄像头。

可选地，摄像单元包括第一摄像头和第二摄像头；

第一摄像头和第二摄像头分别从不同角度获取商品图像。

可选地，包括载物台，载物台含有重量传感器，用于测量载物台上商品的总重量；重量传感器与识别信息单元数据连接。

根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一商品自动结算方法进行商品识别。

根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一商品自动结算装置。

本发明的有益效果包括但不限于：

(1)本发明所提供的商品自动结算方法，充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。同时整个结算过程可无收银员服务的情况下完成，降低了经营成本。

(2)本发明所提供的商品自动结算方法，通过深度学习的可持续性学习，随着使用频率的增加不断提高该方法的识别准确性。防盗码的设置还能起到防盗的效果。

(3)本发明所提供的商品自动结算方法，通过普通摄像头抓取商品画面，可实现批量商品的快速检测，大幅降低了商品识别的成本和速度。

(4)本发明所提供的商品自动结算方法，可实现自助结算场景下，低成本、高效率的完成商品识别和结算。

(5)本发明所提供的商品自动结算装置，通过神经网络识别和多图像比对，实现对识别结果的校正，并利用识别结果，通过深度学习系统通过所得图像集对神经网络系统进行训练，不断提高其识别准确性，实现高效，准确的自助结算。

附图说明

图1是本发明第一优选实施例中商品自动结算方法流程示意框图；

图2是本发明第二优选实施例中商品自动结算方法流程示意框图；

图3是本发明第三优选实施例中商品自动结算方法流程示意框图；

图4是本发明第四优选实施例中商品自动结算方法流程示意框图；

图5是本发明第五优选实施例中商品自动结算方法流程示意框图；

图6是本发明第六优选实施例中商品自动结算方法流程示意框图；

图7是本发明一种实施方式中商品自动结算方法中的解码流程图；

图8是本发明提供的商品自动结算装置结构示意框图；

图9是本发明提供商品自动结算方法应用于自助收银台的无人便利店的时序示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明中，防盗码可以为各类具有防盗效果的条形码或AM标签。解码步骤可以为消磁。

参见图1，本发明提供的商品自动结算方法，包括：

获得含有商品的图像，商品设有防盗码；

将含有商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出商品信息；

由输出的商品信息生成支付信息；

支付成功后对商品的防盗码解码；

获得含有商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；

基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；商品自动结算方法包括步骤：

(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

(b1)判断第N商品信息是否包含在第一商品信息中；

如判断结果为是，则将第一商品信息作为商品信息输出；

如判断结果为否，则输出反馈提示。

本发明提供的商品自动结算方法主要用于无人值守环境下，自助获取结算商品信息后进行自助购物。该方法充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。当无法获取准确的商品信息是，可以通过反馈提示提醒用户，从而仅需通过调整待识别商品即可纠正识别错误，无需反复扫码或多次尝试。获取商品信息后，生成各类支付信息，例如二维码等支付信息，也可以为商品信息列表，以便于顾客核查商品信息并进行支付。支付后对商品进行批量解码后，即可获得商品。如果未支付成功，则不进入解码步骤，并返回执行显示支付信息步骤。

商品上设置防盗码能高效防盗实现自助结算，可运用于多种场景下，如食堂、无人值守各类店铺结算时均可使用。无需人工值守，降低了人工使用量，降低运营成本。

此处的反馈提示包括堆叠提示、错误报告中的至少一种。该方法可以用于处理的商品种类和数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。含有待检测商品的图像中待检测商品的种类≥1。待检测商品的种类为1～1000。判断的商品信息包括商品种类或每种商品的数量。判断商品种类和/或商品数量是否一致。本发明提供的商品自动结算方法，用于无人值守环境下的结算时，仅需使用普通具有网络联网功能的摄像头即可实现对商品的准确识别。

优选的，第一图像为待检测商品的正面图像。以此作为主要图像进行识别，能提高识别的准确率。

优选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4。通过获取多角度图像，能提高神经网络的识别准确性。有利于提高后续识别结果的准确性。

参见图2，优选的，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；步骤(b1)为(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。同时对于所获取的商品信息，还可通过对商品信息中所包含的商品重量进行分析，对所得结果进行校正，从而提高图像识别结果的准确性。

参见图3，优选的，基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；商品自动结算方法包括步骤：(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；(b3)判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤；(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。

通过连用种类和商品信息作为校正参数，能更好对所得结果进行纠正，提高商品的识别准确度。此处的预设阈值可以为0.1g至10kg中的至少一个数值。预设阈值还可以为第一商品信息中重量最小的商品重量。预设阈值还可以为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。

优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。

优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。

优选的，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤。

优选的，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。

优选的，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别系统由包括以下步骤的方法得到：获得每件待检测商品多角度图像的第一图像集；使用第一图像集训练第二神经网络，得到第一神经网络。通过使用第二神经网络，能将所得结果用于训练第一神经网络，从而实现深度学习化的自动系统纠错，随着识别商品数量的提高，该神经识别系统的识别准确性自动升高。按现有方法进行即可。以待检测商品的多角度图像进行训练，能提高基于神经网络的识别系统在应对商品被遮挡时的识别准确性。

优选的，训练第二神经网络的方法为监督学习方法。

优选的，训练第二神经网络的方法为：采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；获得待检测商品图像的第二图像集；用第二图像集训练第三神经网络，得到第一神经网络。

优选的，第二图像集包括经基于神经网络的识别系统输出待检测商品信息的待检测商品的图像。

优选的，第二神经网络对待检测商品的识别准确率为80％以上。优选的，第二图像集训练第三神经网络的过程为无监督学习。按现有方法进行即可。

参见图4，优选的，商品自动结算方法，包括步骤：

(c1)或(d3)步骤(b1)或(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；

(d1)或(e3)获取步骤(c1)或(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。

通过收集判断结果为否时，第N商品信息中存在的差异商品并获取其图像集，通过以该差异图像集训练第一神经网络，能进一步提高该系统的纠错能力。同时该操作也可以用于如图3所示的方法中。

参见图5，优选的，商品自动结算方法，包括步骤：

(c2)或(d3)收集步骤(b2)或(c3)中判断结果为否时，识别第一商品信息中的商品；

(d2)或(e3)获取步骤(c2)或(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。

该步骤也可以用于如图3所示的方法，在此不累述。当检测结果为否时，通过对多次无法识别情况下的第一商品信息进行收集，并将其用于训练第一神经网络，从而提高第一神经网络对无法识别情况的识别能力。

优选的，解码步骤后，还包括验证步骤：判断支付成功商品的防盗码是否未解码；如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对商品的防盗码解码；如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

为了防止大批量购买时，解码不完全的问题出现，还包括对解码商品进行验证的步骤，经过验证后，如果发现未解码商品，再次核对商品信息与待结算商品的种类和数量是否有差异，以防顾客将未结算商品进行解码。经过再次全部解码，从而将已支付而未解码的商品进行解码，减少由于未解码给顾客带来的操作不便，提高结算效率。同时对于未结算的情况下，由于防盗码未解码，顾客无法将商品带离商店。并存在触发报警的危险，能较好的避免商品被盗问题的出现。

优选的，检测到未解码防盗码步骤后，通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量。

此处的监控摄像头，可以为设置于商店各个角落用于防盗的摄像头，也可以为结算台上用于获取监控图像的摄像头。通过对比监控图像中商品信息与已支付商品信息，可以有效防止顾客将未结账商品夹带带出的问题。起到一定程度的防盗作用。

参见图7，本发明提供的商品自助结算方法，包括以下步骤：顾客进入无人值守商店，挑选货物后放置于结算装置中，获取商品图像并对商品信息进行识别，识别获取方法按前述，在此不累述。根据商品信息生成支付信息，顾客据此进行支付，之后判断是否支付成功，如果支付成功，则进行解码操作，如果没有支付成功，继续向顾客显示支付信息。解码后，核对是否消磁，此时可以通过再次提示解码结果，有顾客自行检查。如果未全部解码则返回再次解码。如果已经全部解码则此时顾客可准备出门。出门时，由防盗报警装置获取防盗码的信号，判断是否存在未解码的产品，如果已经解码完成，则购物过程结束。如果还有未解码的产品，则报警并关闭大门。以防顾客将未结算商品带出。

如无特殊说明，本发明所用元器件、仪器设备均来自商业购买，未经改装直接使用，所用仪器设备采用厂家推荐的方案和参数。

参见图6，本发明提供的商品自动结算方法，使用时，待检测商品放置于载物台上，N个摄像头围绕待检测商品环绕设置。通过N个摄像头获取待检测商品各个角度的图像，分别记为P1、P2.....PN。N个摄像头中，位于载物台正上方的摄像头为主摄像头，记为第一摄像头，该摄像头所获取的图像即为第一图像P1。

将P1、P2......PN上传到本地识别服务器或云端识别服务器，对各张图片进行识别，识别出的商品信息分别记为R1、R2....RN，商品信息中包括商品的类别信息和数量信息，其中，主摄像头的识别结果R1为第一商品信息，其他摄像头的识别结果R2......RN分别为第二商品信息......第N商品信息；

以两个摄像头为例，判断R2(第二商品信息)是否包含在R1(第一商品信息)中；

如果判断结果为是，则将R1作为待检测商品信息输出；

如判断结果为否，则计算R1中商品的总重量，其与实际称量的商品总重量相减所得结果的绝对值作为差分数据，判断差分数据是否小于等于预设阈值：

如判断结果为是，则将R1作为待检测商品信息输出，输出商品信息包含商品的类别、数量和价格的商品信息列表；

如判断结果为否，则显示堆叠提示或错误报告信息。

参见图8，本发明的另一方面还提供了一种商品自动结算装置，包括：

摄像单元100，用于获取商品至少包括角度和/或景深不同的第一图像至第N图像，商品设有防盗码；

识别信息单元210，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；

识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；

显示单元300，用于输出商品信息并生成显示支付信息，判断支付是否成功后发出解码指令，或显示反馈提示；

解码单元400，用于对防盗码进行解码；

摄像单元100与识别信息单元相连接，识别信息单元与识别判断单元220相连接，识别判断单元220与显示单元300数据连接，解码单元400与显示单元300控制连接。

本发明提供的自助结算装置通过摄像单元100获取图像后，经过神经网络识别，能较好的得到商品的各项信息，并与商品上是防盗码配合，根据商品信息生成支付信息后，支付完成自主解码即可将商品带离，整个结算过程无需服务人员提供帮助即可完成，识别准确性高。商店运营成本低。

优选的，识别信息单元和识别判断单元220，用于按前述商品自动结算方法进行商品识别和判断。

优选的，商品自动结算装置还包括验证单元，用于判断支付成功商品的防盗码是否未解码；

如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对商品的防盗码解码；

如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

优选的，验证单元还包括监控摄像头和核对单元，核对单元用于通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量，监控摄像头与核对单元相连接，核对单元与显示单元300相连接。

可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。

可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。

可选地，商品自动结算装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。

多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。

优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；

第一摄像头和第二摄像头分别从不同角度获取商品图像。

可选地，商品自动结算装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；

重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。

在商品图像识别过程中，待结算商品常因堆叠或极端拍摄角度，导致物体被遮挡或大部分被遮挡，而无法得到足够的细节用准确识别商品。为了准确判断商品内有无堆叠情况，本发明结合重量传感器对图像识别结果进行校正，获取识别结果中的物品重量与识别装置内的重量传感器实际称重，如果不一致，则反馈商品处于堆叠状态。

本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的商品自动结算方法进行商品识别。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作到顾客进行结算操作即可。通过采用前述商品自动结算方法，顾客能高效、准确的完成计算过程，整个设备成本较低，无需使用电子标签。

本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的商品自动结算装置。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作到顾客进行结算操作即可。

图9示出了本发明通过的商品自动结算装置用于自助收银台的无人便利店的一种实施方式的时序示意图。也可以作为本发明提供的自助收银台的实施实例。如图9所示，使用了包含任一前述商品自动结算方法的商品自动结算装置，顾客在无人便利店中的购物步骤如下：

顾客选择完商品后，将所有商品放置于自助收银台(也是商品自动结算装置中的载物台)上；

载物台感应到重量>0，触发商品自动结算装置启动商品识别程序；

摄像头拍摄载物台上的商品，获得商品图片，并将商品图片Base64编码POST到图像识别服务器，进行图像识别；

图像识别的结果(包括所有商品品名、价格、总重量)的信息与载物台实际称量得到的总重量比对，得到差分数据；

当差分数据小于等于预设阈值时，判断为[实际称重与范围重量一致]，则向订单处理接口请求生成订单；

当差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片...直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；

订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；

顾客扫描支付二维码；

支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行解码；

消息SOCKET向安全通道发送人脸识别消息；

顾客携带商品通过包括检测装置的安全通道，如未检测到未解码标签，大门开启，顾客走出无人购物便利店；如检测到未解码标签，则发出未支付警告，大门不开启。

支付成功后对商品的防盗码解码后，还包括对支付成功的商品防盗码是否解码进行验证的步骤：成功支付后是否有商品防盗码未解码。

如是，则判断商品种类和数量是否有变化，如无变化，则再次对商品防盗码解码。

如验证步骤的结果是已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

如验证步骤的结果是已全部解码成功，则在商品出门时检测到未解码防盗码时，通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量对比，将差异部分商品展示并显示未支付。

顾客携带商品通过包括检测装置的安全通道，如未检测到未解码标签，大门开启，顾客走出无人购物便利店；如检测到未解码标签，则发出未支付警告，大门不开启。

以上，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种商品自动结算方法，其特征在于，包括：

获得含有商品的图像，所述商品设有防盗码；

将所述含有商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出商品信息；

由输出的商品信息生成支付信息；

支付成功后对所述商品的防盗码解码；

所述获得含有商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；

所述基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；所述商品自动结算方法包括步骤：

(a1)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；

(b1)判断所述第N商品信息是否包含在所述第一商品信息中；

如判断结果为是，则将所述第一商品信息作为所述商品信息输出；

如判断结果为否，则输出反馈提示。

2.根据权利要求1所述的商品自动结算方法，其特征在于，所述步骤(a1)中还包括称量所述待检测商品重量的步骤，得到实际称量的商品总重量；

所述步骤(b1)为：(b2)计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：

如判断结果为是，则将所述第一商品信息作为所述商品信息输出；

如判断结果为否，则输出所述反馈提示；

优选的，所述基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；所述商品自动结算方法包括步骤：

(a3)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；

(b3)判断所述第N商品信息是否包含在所述第一商品信息中；

如判断结果为是，则将所述第一商品信息作为所述商品信息输出；

如判断结果为否，则执行后续步骤；

(c3)计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：

如判断结果为是，则将所述第一商品信息作为所述商品信息输出；

如判断结果为否，则输出反馈提示；

优选的，基于神经网络的识别系统包括基于区域卷积神经网络的第二神经网络，所述基于神经网络的识别系统由包括以下步骤的方法得到：

获得每件所述商品的多角度图像的第一图像集；

使用所述第一图像集训练所述第二神经网络，得到第一神经网络；

优选的，所述商品自动结算方法，包括步骤：

(c1)所述步骤(b1)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；

(d1)获取步骤(c1)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络；

优选的，所述解码步骤后，还包括验证步骤：判断支付成功商品的防盗码是否未解码；

如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对所述商品的防盗码解码；

如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令。

3.根据权利要求1或2所述的商品自动结算方法，其特征在于，所述步骤(b1)和所述步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中；

优选的，所述步骤(b1)和所述步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量；

优选的，所述步骤(b1)和所述步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品的数量是否小于等于所述第一商品信息中的商品数量；

优选的，所述步骤(b1)和所述步骤(b3)为判断所述第N商品信息是否与所述第一商品信息一致；

如判断结果为是，则将所述第一商品信息作为所述商品信息输出；

如判断结果为否，则执行后续步骤；

优选的，所述步骤(b2)和步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值；

优选的，所述步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量；

优选的，所述步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值；

优选的，所述训练所述第二神经网络的方法为监督学习方法；

优选的，所述训练所述第二神经网络的方法为：

采用监督学习，使用第一图像集训练所述第二神经网络，得到第三神经网络；

获得所述商品图像的第二图像集；

用第二图像集训练所述第三神经网络，得到第一神经网络；

所述商品自动结算方法，包括步骤：

(d3)所述步骤(c3)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；

(e3)获取步骤(d3)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络；

优选的，所述商品自动结算方法中：

(d3)为：收集所述步骤(c3)中判断结果为否时，识别所述第一商品信息中的商品；

(e3)为：获取步骤(d3)中的所述识别商品的收集二图像集，用所述收集图像集强化训练所述第一神经网络；

优选的，所述商品自动结算方法，包括步骤：

(c2)收集所述步骤(b2)中判断结果为否时，识别所述第一商品信息中的商品；

(d2)获取步骤(c2)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。

4.根据权利要求3所述的商品自动结算方法，其特征在于，所述步骤(b1)和步骤(b3)中所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致；

优选的，所述第二图像集包括经基于神经网络的识别系统输出商品信息的所述商品的图像；

优选的，所述用第二图像集训练所述第三神经网络的过程未无监督学习。

5.根据权利要求2所述的商品自动结算方法，其特征在于，所述检测到未解码防盗码步骤后，通过监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量。

6.一种商品自动结算装置，其特征在于，包括：

摄像单元，用于获取商品至少包括角度和/或景深不同的第一图像至第N图像，所述商品设有防盗码；

识别信息单元，用于将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；

识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；

显示单元，用于输出所述商品信息并生成显示支付信息，判断支付是否成功后发出解码指令，或显示所述反馈提示；

解码单元，用于对所述防盗码进行解码；

所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元数据连接，所述解码单元与所述显示单元控制连接。

7.根据权利要求6所述的商品自动结算装置，其特征在于，所述识别信息单元和所述识别判断单元，用于按权利要求1～5中任一项所述商品自动结算方法进行商品识别和判断；

优选的，所述商品自动结算装置还包括验证单元，用于判断支付成功商品的防盗码是否未解码；

如判断结果为是，则判断商品种类和数量是否有变化，如判断结果为无变化，则再次对所述商品的防盗码解码；

如判断结果为已全部解码成功，则在商品出门时检测到未解码防盗码时，执行报警指令；

优选的，还包括载物台，所述载物台含有重量传感器，用于测量所述载物台上商品的总重量；

所述重量传感器与所述识别信息单元数据连接。

8.根据权利要求7所述的商品自动结算装置，其特征在于，所述验证单元还包括监控摄像头和核对单元，所述核对单元用于通过所述监控摄像头识别当前商品的种类和数量，并与支付成功的商品种类和数量进行对比，并显示未支付商品的种类和数量，所述监控摄像头与所述核对单元相连接，所述核对单元与所述显示单元相连接。

9.一种自助收银台，其特征在于，所述自助收银台采用权利要求1至5任一项所述的商品自动结算方法进行商品识别。

10.一种自助收银台，其特征在于，所述自助收银台采用权利要求6至8任一项所述的商品自动结算装置。