CN117152541A - 空间变换结合光照度迁移和结果校验的生鲜商品识别方法 - Google Patents

Abstract

本发明公开了一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，通过光照度迁移、图像分类算法实现了对生鲜商品的初始分类。而对于现有的商品分类算法难以对生菜、青菜等外观特征相似的生鲜商品作出精准分类识别的问题，通过对生鲜货架在虚拟三维空间中进行降维、升维以及在机器分类识别中引入人为选定生鲜商品陈列区域等操作，实现了对机器初始识别的生鲜商品分类结果的二次校验，确保了分类精度。总体而言，对于生鲜商品的自助称重计价过程，本发明只需要消费者记忆生鲜货架编码并按压计价台上的相应编码按钮即可，当机器初始分类结果不唯一时则通过校正流程输出称重计价结果，自动化程度高，使得对生鲜商品的自助称重计价成为可能。

Description

空间变换结合光照度迁移和结果校验的生鲜商品识别方法

技术领域

本发明涉及商品分类技术领域，具体涉及一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法。

背景技术

生鲜商品包括蔬果类、海鲜类、肉禽类等产品。目前对于生鲜商品的称重计价主要采用人工计价的方式。人工计价的过程通常为：赋予每类生鲜商品一个相对应的唯一商品编码并录入到称重设备中，称重员需要记忆所有生鲜商品的编码，并在称重时，首先人为识别消费者所购生鲜商品的种类，然后向称重设备输入该种类的生鲜商品的编码，称重设备最后称重并根据编码进行计价。但人工计价方式存在如下缺点：高度依赖人工行为，当生鲜商品售卖区域规模或人流量较大时，通常需要配备多台称重设备和多个称重人员，人员配置成本很高，消费者无法对生鲜商品进行自助结账。

目前，自助结账机已得到广泛应用，各大商超也期待自助结账机能解决上述问题。对于外包装特征丰富的普通商超产品，自助结账机已具有较高的分类识别精度。而对于生鲜商品，由于生鲜商品的外包装通常为透明纸袋，外包装缺乏丰富的商品特征，嵌入在自助结账机中的商品分类算法难以学习到明显的生鲜商品特征，因此，通常难以精准识别生鲜商品的种类。另外，自助结账机通常也不具备称重功能，因此，便也无法完成对生鲜商品的自动称重计价。

具体而言，自助结账机要实现对生鲜商品的称重计价主要有以下几个难点：

1、部分生鲜商品比如青菜和生菜的外观过于相似，特别在该类特定生鲜商品在特定光照度条件下，在自助结账机上嵌入的现有的商品图像分类方法更加难以实现对该类外观过于相似的生鲜商品的准确分类，导致计价困难；

2、在难以实现对生鲜商品的精准分类的前提下，在自助结账机上增加称重功能便没有必要，且在自助结账机上增加称重功能会提高自助结账机的生产成本、购买成本；

3、自助结账机通常设置在超市出口处，当自助结账机对生鲜商品分类错误需要人为介入修改分类信息时，需要生鲜商品对应档口的卖家前往出口处修改分类信息，非常麻烦。

因此，在自助结账机的商品图像分类功能难以适用对生鲜商品的精准分类识别并存在以上诸多应用难点的情况下，该如何实现对生鲜商品的精准分类识别，以减少对人工称重行为的高度依赖，并提高对生鲜商品称重计价的智能化水平，成为各大商超期待尽快解决的技术问题。

发明内容

本发明以在生鲜商品售卖区域实现对生鲜商品的精准分类识别，并减少对人工称重行为的高度依赖，提高对生鲜商品称重计价的智能化水平，实现自助称重计价为目的，提供了一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法。

为达此目的，本发明采用以下技术方案：

提供一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，包括步骤：

S1，买家将生鲜商品置于计价台称重区域后按压对应的生鲜货架编码按钮，所述计价台根据按压指令获取针对编码对应的生鲜货架而最新降维并更新的各虚拟陈列场景；

S2，提取各所述虚拟陈列场景中的每条虚拟线段绑定的场景信息；

S3，所述计价台根据所提取的各所述场景信息模拟第二光照信息后采集第一生鲜商品图像并存储；

S4，将所述第一生鲜商品图像与各所述虚拟陈列场景中每一所述虚拟线段绑定的第二生鲜商品图像进行相似度匹配，并判断匹配成功的结果数量是否唯一，

若是，则提取出匹配成功的所述虚拟线段所绑定的生鲜商品类型和单价，然后称重后完成计价；

若否，则通过光照度迁移，以及对各所述虚拟陈列场景的筛选、升维并结合人工辅助完成对匹配结果的校验，然后依据校验结果完成对所述生鲜商品的称重计价。

作为优选，步骤S1中，对所述生鲜货架的所述虚拟陈列场景进行降维并更新的方法包括步骤：

A1，系统以商超工作人员在时刻按压所述生鲜货架的场景更新按钮为指令，采集所述生鲜货架上各陈列区域的区域图像，并获取/>时刻针对所述生鲜货架生成的第一虚拟陈列场景，/>；

A2，对各所述区域图像进行生鲜商品识别，并根据不同的识别结果采取不同的策略将所述第一虚拟陈列场景更新为时刻的第二虚拟陈列场景；

将所述生鲜货架生成或更新为所述虚拟陈列场景的方法包括步骤：

B1，完成对每类所述生鲜货架在物理空间和虚拟三维空间的坐标转换关系的构建后，将所述生鲜货架上的各陈列区域连接为至少一条虚拟直线，每条所述虚拟直线由若干段表征相应陈列区域的虚拟线段构成；

B2，根据所构建的所述坐标转换关系，将各所述虚拟直线转换到虚拟三维空间，并降低处于所述虚拟三维空间中的所述虚拟直线的维度后，得到所述生鲜货架的所述虚拟陈列场景。

作为优选，步骤A2中的所述识别结果包括在时刻采集的所述区域图像中未识别到或识别到所述生鲜商品，

当在时刻采集的所述区域图像中未识别到所述生鲜商品时，更新所述第一虚拟陈列场景的第一策略为：首先在所述第一虚拟场景中将表征在/>时刻未识别到所述生鲜商品的所述陈列区域的所述虚拟线段的呈现状态维持或改变为非激活状态，以将所述第一虚拟陈列场景替换为所述第二虚拟陈列场景，然后更新所述第二虚拟陈列场景中的各所述虚拟线段绑定的场景信息。

作为优选，当在时刻采集的所述区域图像中识别到所述生鲜商品时，更新所述第一虚拟陈列场景的第二策略为：

在所述第一虚拟陈列场景中直接更新表征在时刻识别到所述生鲜商品的所述陈列区域的所述虚拟线段所绑定的所述场景信息。

作为优选，步骤B2中，降低处于所述虚拟三维空间中的所述虚拟直线的维度的方法为：

在虚拟三维空间坐标系下，构成所述虚拟直线的各所述虚拟线段的三维坐标的维度对应但维度坐标值不相同的坐标维度数量为一个。

作为优选，每个所述虚拟线段所绑定的所述场景信息包括所述虚拟线段所表征的陈列区域在买家按压所述生鲜货架编码按钮的当前时刻的第一光照信息、所述计价台在时刻根据各所述第一光照信息模拟的第二光照信息、陈列区域唯一编码、陈列区域形状特征、陈列在所述陈列区域的所述生鲜商品的类别信息、单价信息、对所述虚拟线段表征的所述陈列区域产生所述第一光照信息的光照度生成设备的设备唯一编号、对所述虚拟线段的标记信息、所述虚拟线段归属的所述虚拟陈列场景的生成时间，以及所述虚拟线段归属的所述虚拟直线在虚拟三维空间下的降维信息。

作为优选，步骤S3中，所述计价台模拟所述第二光照信息的方法为：对关联同个所述生鲜货架的各所述第一光照信息中分别携带的光照度取均值后，将取值结果作为所述第二光照信息；

步骤S1中，所述计价台接收到所述按压指令后同时控制升起顶升设备，以将置于所述称重区域的所述生鲜商品的至少部分顶升到指定高度，

步骤S3中，所述计价台采集的所述第一生鲜商品图像至少包括处于顶升区域的顶升区域生鲜商品图像、处于顶升区域外的剩余区域生鲜商品图像，以及包括所述顶升区域生鲜商品图像和所述剩余区域生鲜商品图像的全局生鲜商品图像中的一种。

作为优选，步骤S4中，进行相似度匹配的方法为：以先匹配所述顶升区域生鲜商品图像、再匹配所述剩余区域生鲜商品图像、最后匹配所述全局生鲜商品图像的顺序，对所述第一生鲜商品图像与各所述第二生鲜商品图像进行相似度匹配，任意当前顺序匹配成功，则不继续进入下一顺序的匹配并转入匹配成功的结果数量是否唯一的判断流程，若所有顺序均未匹配成功，则提示报警。

作为优选，步骤S4中的“若否”条件下，对匹配结果的校验流程包括步骤：

C1，将步骤S3模拟的所述第二光照信息发送给相似度匹配成功的每个所述虚拟线段所绑定的所述光照度生成设备，接收到所述第二光照信息的每个所述光照度生成设备实时采集对应监控的第一陈列区域的第三生鲜商品图像并作商品分类识别后输出第一商品分类结果；

并对步骤S1获取到的归属于所述生鲜货架的各所述虚拟陈列场景进行升维后，在升维的生鲜货架三维模型中以“点闪”方式将步骤S4中相似度匹配成功的每个所述虚拟线段表征的陈列区域显示给所述买家，以提示所述买家在闪烁的各所述陈列区域中选定所购的所述生鲜商品的第二陈列区域，然后读取所述第二陈列区域对应的所述虚拟线段所绑定的第二商品分类结果；

C2，判断各所述第一商品分类结果中是否存在与所述第二商品分类结果相同的分类，

若是，则提取出所述第二商品分类结果中携带的生鲜商品类别和单价，然后称重后完成计价；

若否，则提示报警。

本发明具有以下有益效果：

1、在计价台上排布了生鲜货架编码按钮，这些按钮上的生鲜货架编码分别与生鲜售卖区域的一个生鲜货架相对应，比如某超市的生鲜售卖区域中售卖蔬果类的第一生鲜货架对应第一生鲜货架编码按钮，售卖海鲜类的第二生鲜货架对应第二生鲜货架编码按钮，生鲜货架的编码可以悬挂在货架的上方，消费者即便到计价台也可轻易看到，消费者从相应的生鲜货架购买某一种生鲜商品后，只需要按压计价台上对应的生鲜货架编码按钮，计价台即自动进入后续的生鲜商品识别分类及称重计价流程，大幅提升了对生鲜商品称重计价的智能化水平。

2、计价台自动识别生鲜商品类型的方法包括计价台根据消费者的按压指令，从数据库中获取针对按钮所绑定的生鲜货架编码所对应的生鲜货架而最新降维并更新的虚拟陈列场景的过程。针对每个生鲜货架降维生成虚拟陈列场景的目的是：对生鲜货架在三维虚拟空间下的生鲜货架三维模型进行降维后，在低维度（如一维）下来表征陈列在各个生鲜货架的生鲜商品的动态售卖情况，在后续人为借助计价台对机器识别到的生鲜商品分类结果准确性的校验中，能够通过升维的方式快速构建出消费者所按压的按钮所绑定的生鲜货架的三维模型，并在模型中以“点闪”方式将用于陈列机器初始分类结果中的各类型的生鲜商品的各类陈列区域呈现给消费者，消费者只要在“点闪”区域中选定所购生鲜商品所陈列的区域，即进入人工辅助下机器对生鲜商品初始分类结果的校验流程。在对每个生鲜货架的虚拟陈列场景的升维并做三维模型呈现时，实现了对当前所称重的生鲜商品的可能类型的初筛，借助人工选定的辅助流程实现了机器对初筛结果的二次校验。另外，对生鲜货架的虚拟陈列场景的降维，减少了每个更新时刻所更新的生鲜货架三维模型数据的存储量，并有利于升维模型的快速构建并呈现，进而有利于提升计价台对生鲜商品的称重计价速度。

3、计价台在识别生鲜商品时，以针对所按压的按钮所绑定的生鲜货架编码对应的生鲜货架而最新降维更新后的各虚拟陈列场景中的每一虚拟线段所分别表征的陈列区域在当前时刻的第一光照信息来模拟第二光照信息，并在第二光照信息下采集所称重的生鲜商品的第一生鲜商品图像并进行生鲜商品分类识别，克服了摆放在不同位置的各计价台因光照信息不同而引入额外的分类误差的问题，使得分类识别结果准确度更高。

4、通过人工辅助校验机器分类结果的方式，进一步提升了对生鲜商品的分类识别精度，且需要人工辅助校验后，消费者只需要在生鲜货架三维模型中的“点闪”区域中选定所购生鲜商品的陈列区域即可，对于机器的辅助校验操作非常简单。

5、在对生鲜商品的整个分类过程中，若不需要对机器分类结果进行校验，消费者只需要记住所购生鲜商品所陈列的生鲜货架的编码并在计价台上按下生鲜货架编码按钮即可，后续分类过程全自动。即便是需要对机器分类结果进行校验，消费者也只需进一步在所呈现的生鲜货架三维模型的点闪区域中选定所购生鲜商品的陈列区域即可，后续的校验过程同样全自动，操作非常简单，在借助常规的图像分类算法的条件下，实现了对生鲜商品的精准分类。

6、本发明提供的空间变换结合光照度迁移和结果校验的生鲜商品识别方法只需要在常规的计价台上增加生鲜货架编码按钮，以及对现有的常规的图像分类算法作简单的技术改进即可，对于计价台的成本增加有限，且保持了计价台应用的灵活性，在生鲜商品售卖区域设置多个该款计价台可有效解决目前人工计价方式需要配置多个称重人员，并容易排长队的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的空间变换结合光照度迁移和结果检验的生鲜商品识别方法的实现步骤图；

图2是“圆排型”的生鲜货架的示例图；

图3是“岛柜形”的生鲜货架的示例图；

图4是图3所示的“岛柜形”生鲜货架在虚拟三维空间下的虚拟陈列场景的示例图；

图5为设置在计价台上的顶升设备的示例图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在介绍本发明实施例提供的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法的具体实现原理之前，首先简要说明本发明在特定场景下想要达到的技术效果。本发明想要达到的技术效果是，在对生鲜商品进行自助称重计价这一特定场景下，在不需要依赖或减少依赖商超工作人员人工操作的条件下，实现机器对生鲜商品的自动或半自动的精准分类，提高生鲜商品分类识别并称重计价的智能化水平，以减少针对生鲜商品称重计价发生错误的可能。

为达到上述技术效果，本发明采取的技术原理及操作方法简述如下：

商家在生鲜售卖区域摆设的每个生鲜货架的上方悬挂该生鲜货架对应的生鲜货架编码，这个生鲜货架编码是唯一的，比如对于用于陈列蔬果类生鲜商品的生鲜货架SG-SXHJ-1、SG-SXHJ-2、SG-SXHJ-3，可以分别赋予相对应的生鲜货架编码①、②、③。而对于用于陈列海鲜类生鲜商品的生鲜货架比如为HX-SXHJ-1、HX-SXHJ-2，可以编码为④、⑤。计价台上排布有分别绑定相应编码的按钮，如按钮①、按钮②、按钮③，即按钮①与生鲜货架编码①相绑定。

消费者在选购生鲜商品后，需要记住这个生鲜货架编码，并在将生鲜商品放置到计价台上后，需要按压编码对应的按钮，如在SG-SXHJ-1的生鲜货架上选购的生鲜商品若需要称重计价，需要按压计价台上的按钮①。

获取到按压指令后，计价台首先模拟编码对应的生鲜货架在当前时刻的光照度，然后在该模拟光照度下采集放置于计价台上的生鲜商品图像，并通过内嵌的生鲜商品分类算法对计价台上的生鲜商品进行自动识别分类，分类结果若唯一，直接称重计价并输出计价结果，但若分类结果不唯一，比如，机器识别到当前放置于计价台上的商品疑似为生鲜商品A或生鲜商品B，则进入人工辅助下的分类结果检验流程。

这里需要说明的是，计价台在获取到按压指令后，同步获取系统针对编码对应的生鲜货架而最新降维并更新的各虚拟陈列场景（降维更新方法在下述内容中将着重阐述），降维更新的主要目的是：当机器识别到的商品类型的数量大于“1”时，能够快速提升维度，并将识别到的每个类型的商品在当前时刻所陈列的陈列区域，在升维后的生鲜货架三维模型中以陈列区域“点闪”等方式突出显示给消费者，以提示消费者辅助进入分类结果校验流程。这里需要说明的是，这里的“降维”指的是对生鲜货架在虚拟三维空间下的虚拟陈列场景进行降维，虚拟陈列场景指的是将物理空间下的生鲜货架上能够连接为一条直线的各陈列商品连接起来构成一条虚拟直线，将该虚拟直线在虚拟三维空间下进行维度下降后（降维）形成为对应的虚拟陈列场景。

通常情况下，在一个生鲜货架的一个陈列区域陈列一种相应类型的生鲜商品，即同一生鲜货架上的不同陈列区域陈列不同类型的生鲜商品。当消费者按压生鲜货架编码按钮后，机器已经知道当前需要称重计价的生鲜商品所来源的生鲜货架，已经从所有生鲜货架中作了生鲜商品所陈列的生鲜货架的初步筛选，商品分类算法的分类识别对象此时已经是指定的生鲜货架上的各陈列区域上的生鲜商品，分类范围已大幅缩小，因此常规的商品分类算法已经可以取得较高的生鲜商品分类精度。因此，在大多数情况下（即机器的分类结果唯一），不需要利用降维、升维等操作对机器分类结果进行校验。但由于生鲜商品外包装的分类特征较少且不同的光照条件会对分类结果产生影响，可能发生机器分类结果不唯一的情况，此时，本实施例中还需要向消费者呈现生鲜货架三维模型，模型呈现需要获取生鲜货架的三维数据，但各生鲜货架上的每个陈列区域所陈列的商品并非是固定不变的，比如当图2中所示的陈列区域D中的生鲜商品售空时，商超工作人员习惯将陈列区域A等区域的生鲜商品陈列到陈列区域D中，以方便消费者的拿取，因此，针对同个生鲜货架进行三维模型构建的数据是动态在变化的，若对不同时刻的三维模型数据直接进行存储，存储数据量非常大，在校验流程中，计价台基于大量的三维数据重建三维模型需要耗费更长的时间，这在需要连续称重时，会极大影响计价台的生鲜商品分类识别效率，进而影响计价速度，这是不可被接受的，因此，本发明中，对于生鲜货架的三维数据进行降维后存储，这有利于后续的三维模型重建速度，进而提升称重计价速度。而当需要升维时，只要根据降维和升维间的坐标映射关系直接从低维度映射到高纬度即可，因此只要存储降维后的低维数据和高、低维度的映射关系即可，对于每个更新时刻产生的三维模型数据的存储量大幅减少。另外，生鲜货架三维模型的升维构建的目的是在所升维的三维模型中对机器初始分类识别到的生鲜商品所陈列的陈列区域以“点闪”方式呈现给用户，以此引入人工辅助校验的流程（系统以买家在点闪区域中选定所购买的生鲜商品的陈列区域为指令进入校验流程）。

以下简述计价台对机器分类结果的校验流程：

在结果校验流程中，计价台首先对先前获取的针对编码对应的生鲜货架而最新降维并更新的各虚拟陈列场景进行维度提升，生成生鲜货架在虚拟三维空间下的三维模型，然后对计价台针对当前所称重的生鲜商品初始识别到的各疑似类型，将每个疑似类型的生鲜商品的陈列区域在生鲜货架三维模型中以“点闪”方式呈现给消费者，以提示消费者在“点闪”区域中选定所购生鲜商品的陈列区域。最后，机器根据人为选定指令，通过一套内置的检验算法，实现对前期机器对生鲜商品的初始分类结果的二次校验。

简而言之，本发明结合光照度迁移、图像分类算法实现了对生鲜商品的初始分类。对于现有的商品分类算法难以对生菜、青菜等外观特征相似或受光照度条件影响较重的生鲜商品作出精准分类的问题，通过对生鲜货架在虚拟三维空间中进行降维、升维以及在机器分类识别中引入人为商品选定等操作，实现了对机器的初始分类结果的二次校验，确保了分类精度。总体而言，对于生鲜商品的自助称重计价过程，只需要消费者记忆生鲜货架编码并按压计价台上的相应编码按钮即可，当机器初始分类结果唯一即输出称重计价结果，不唯一时则通过校验流程输出校验后的称重计价结果，自动化程度高，使用方便且计价不容易出错。

以下对本发明实施例提供的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法如何实现进行具体阐述：

本实施例提供的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，如图1所示，包括步骤：

S1，买家将生鲜商品置于计价台称重区域后按压对应的生鲜货架编码按钮，计价台根据按压指令获取针对编码对应的生鲜货架而最新降维并更新的各虚拟陈列场景；

对于步骤S1，需要交代的是，商超内的生鲜商品售卖区域通常具有形状不一的生鲜货架用于陈列不同种类的生鲜商品，比如图2所示的“圆排形”和图3所示的“岛柜形”生鲜货架等。同一生鲜货架上的不同陈列区域又可以陈列不同或相同种类的生鲜商品。比如，图2中所示的定义为“圆排形”的生鲜货架具有两个陈列面：陈列面1和陈列面2，每个陈列面可以由多个陈列区域组成，比如陈列面1上具有陈列区域A、B、C，陈列面2上具有陈列区域D、E、F，陈列区域A-F中的每一个可以陈列不同或相同类型的生鲜商品。

步骤S1中，对生鲜货架的虚拟陈列场景进行降维并更新的方法包括步骤：

A1，系统以商超工作人员在时刻按压生鲜货架的场景更新按钮为指令，采集生鲜货架上各陈列区域的区域图像（优选由设置在生鲜货架的每个陈列区域的上方位置处的图像采集设备对相应的陈列区域进行区域图像采集），并获取/>时刻针对生鲜货架生成的第一虚拟陈列场景，/>，/>为商超工作人员上一次按压该生鲜货架的场景更新按钮的时间点；

这里需要说明的是，生鲜货架的场景更新按钮的按压时机为：相比较时刻，/>时刻生鲜商品陈列在该生鲜货架上的陈列区域有变动，或者该生鲜货架上空置的陈列区域数量有变动。例如，商超工作人员在/>时刻对生鲜货架进行整理，将原本在/>时刻陈列在该生鲜货架上的陈列区域A中的生鲜商品转换陈列到陈列区域B中，以方便消费者更方便地从陈列区域B中拿取生鲜商品。或者，/>时刻，该生鲜货架上空置的陈列区域的数量相比较/>时刻有变动。

场景更新按钮优选设置在每个生鲜货架上，商超工作人员完成对生鲜货架上的生鲜商品的整理后，只要按下该生鲜货架上的按钮，系统便会根据按压指令更新该生鲜货架在虚拟三维空间下的虚拟陈列场景。

A2，对各区域图像进行生鲜商品识别，并根据不同的识别结果采取不同策略将第一虚拟陈列场景更新为时刻的第二虚拟陈列场景；

这里需要说明的是，步骤A2中的识别结果包括第一识别结果和第二识别结果，第一识别结果为：在时刻采集的区域图像中未识别到生鲜商品；第二识别结果为：在/>时刻采集的区域图像中识别到生鲜商品，

当识别到第一识别结果后，更新第一虚拟陈列场景的第一策略为：首先在第一虚拟场景中将表征在时刻未识别到生鲜商品的陈列区域的虚拟线段的呈现状态维持或改变为非激活状态，以将第一虚拟陈列场景替换为第二虚拟陈列场景，然后更新第二虚拟陈列场景中各虚拟线段绑定的场景信息；这里需要进一步说明的是，虚拟线段的激活或非激活状态实际一个标记，以提示系统非激活状态下的该虚拟线段所表征的陈列区域是“空”的，激活状态下的该虚拟线段所表征的陈列区域是“非空”的。比如在/>时刻，虚拟线段的激活状态为空（即非激活状态），且在/>时刻，同条虚拟线段对应的陈列区域同样为“空”，则在时刻，在第二虚拟陈列场景中，同样保持表征该虚拟线段所表征的陈列区域为“空”的标记，比如保持该虚拟线段的标记为“灰度”，“灰度”表示该虚拟线段表征的陈列区域当前为空置状态。而若在/>时刻为非空状态，而/>时刻为空置状态，则将该虚拟线段由“黑色”标记为“灰度”，“黑色”比如表示虚拟线段表征的陈列区域当前为非空置状态（即陈列有生鲜商品）。

当识别到第二识别结果后，更新第一虚拟陈列场景的第二策略为：

当在时刻采集的区域图像中识别到生鲜商品时，更新第一虚拟陈列场景的第二策略为：

在第一虚拟陈列场景中直接更新表征在时刻识别到生鲜商品的陈列区域的虚拟线段所绑定的场景信息（比如，将该虚拟线段所表征的陈列区域在/>时刻所绑定的该陈列区域的光照信息更新为/>时刻的光照信息，将陈列在该陈列区域的生鲜商品的类型信息、单价信息等由/>时刻更新为/>时刻的单价信息等），完成对第一虚拟陈列场景中所有虚拟线段绑定的场景信息的更新后，得到第二虚拟陈列场景。

图4示出了图3所示的“岛柜形”的生鲜货架在虚拟三维空间中的虚拟陈列场景的示例图。以下结合图4对本发明生成生鲜货架对应的虚拟陈列场景的方法进行具体说明：

生成生鲜货架对应的虚拟陈列场景具体包括如下步骤：

B1，完成对每类生鲜货架在物理空间和虚拟三维空间的坐标转换关系的构建后，将生鲜货架上的各陈列区域连接为至少一条虚拟直线，每条虚拟直线由若干段表征相应陈列区域的虚拟线段构成。

生鲜货架在物理空间和虚拟三维空间的坐标转换关系的构建采用的是现有的空间转换关系构建方法，比如，生鲜货架上的某个陈列区域为矩形，该矩形的4个顶点和中心点在物理空间下具有相应的坐标值，这5个点的坐标值构成为该矩形即该陈列区域在物理空间下的坐标值。然后在虚拟三维空间中定义生鲜货架位置的参考原点比如为，/>分别为参考原点在x、y、z轴上的坐标值，然后对每个陈列区域的坐标值与参考原点进行求和，得到该陈列区域在虚拟三维空间中的坐标值。

同个生鲜货架具有至少一条以上虚拟直线，比如如图3所示的“岛柜形”的生鲜货架，其陈列面1、陈列面2、陈列面3等陈列面由左往右比如设置有若干个陈列区域，每个陈列面上的各陈列区域串联起来可以构成一条虚拟的直线（虚拟直线的构建方法有许多，比如可将每个陈列区域的中心点串联起来构成一条虚拟直线等），本实施例中对其定义为“虚拟直线”。比如图3中的3个陈列面分别对应一条“虚拟直线”。

将生鲜货架的各陈列区域连接为虚拟直线后，生成生鲜货架对应的虚拟陈列场景的方法转入步骤：

B2，根据所构建的坐标转换关系，将各虚拟直线转换到虚拟三维空间（如何转换在上述内容中已做了交代，不再赘述），并降低处于虚拟三维空间中的虚拟直线的维度后，得到生鲜货架的虚拟陈列场景。图3所示的“岛柜形”的生鲜货架在虚拟三维空间降维后的虚拟陈列场景如图4所示。

降低处于虚拟三维空间中的虚拟直线的维度的方法具体为：在虚拟三维空间坐标系下，构成虚拟直线的各虚拟线段的三维坐标的维度对应但维度坐标值不相同的坐标维度数量为一个。

计价台根据消费者的按压指令获取到针对按压编码对应的生鲜货架而最新降维并更新的虚拟陈列场景后，本实施例提供的空间变换结合光照度迁移和结果校验的生鲜商品识别方法转入步骤：

S2，提取各虚拟陈列场景中的每条虚拟线段绑定的场景信息，包括虚拟线段所表征的陈列区域在买家按压生鲜货架编码按钮的当前时刻的第一光照信息（光照度）、计价台在/>时刻根据各第一光照信息模拟的第二光照信息、陈列区域唯一编码（后续能够根据这个编码快速找到在生鲜货架三维模型中需要“点闪”的陈列区域）、陈列区域形状特征（如陈列区域为矩形，可用矩形的4个顶点和中心位点的坐标表达陈列区域的形状特征）、陈列在陈列区域的生鲜商品的类别信息、单价信息、对虚拟线段表征的陈列区域产生第一光照信息的光照度生成设备的设备唯一编号（为了在后续光照度迁移时能够根据这个唯一编号快速查询到对应的光照度生成设备）、对虚拟线段的标记信息（比如上面所述的表示陈列区域“空置”状态的“灰度”标记，或者表示陈列区域陈列状态正常的“黑色”标记）、虚拟线段归属的虚拟陈列场景的生成时间（根据这个生成时间来识别所获取的虚拟陈列场景是否为最新更新），以及虚拟线段归属的虚拟直线在虚拟三维空间下的降维信息（将处于虚拟三维空间下的虚拟直线从三维降低到一维的降低方法）。

S3，计价台根据所提取的各场景信息模拟第二光照信息后采集第一生鲜商品图像并存储；

第二光照信息的具体模拟方法为：

对关联同个生鲜货架的各第一光照信息中分别携带的光照度取均值后，将取值结果作为第二光照信息。

虽然计价台在称重时作了光照度模拟，以尽可能在生鲜商品陈列环境的光照度条件下进行生鲜商品分类识别，以降低分类出错率，但生鲜商品称重时通常被透明塑料袋等外包装包裹，这些透明材质的外包装容易反光，对分类准确率会产生一定影响。为了降低外包装对分类识别准确率的影响，本发明在计价台上还设置了如图5中所示的顶升设备b，顶升设备的工作过程为：在步骤S1中，当计价台接收到按压指令后同时控制升起顶升设备，以将置于称重区域的生鲜商品的至少部分顶升到指定高度，以便于能够尽量降低反光对计价台采集第一生鲜商品图像的清晰度的影响。

生鲜商品被顶升后，计价台采集的第一生鲜商品图像至少包括3张，分别为处于顶升区域的顶升区域生鲜商品图像、处于顶升区域外的剩余区域生鲜商品图像，以及包括顶升区域生鲜商品图像和剩余区域生鲜商品图像的全局生鲜商品图像。

计价台完成光照度模拟并采集到第一生鲜商品图像后，本实施例提供的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法转入步骤：

S4，将第一生鲜商品图像与各虚拟陈列场景中的每一虚拟线段所绑定的第二生鲜商品图像进行相似度匹配，并判断匹配成功的结果数量是否唯一，

若是，则提取出匹配成功的虚拟线段所绑定的生鲜商品类型和单价，然后称重后完成计价；

若否，则通过光照度迁移，以及对各虚拟陈列场景的筛选、升维并结合人工辅助完成对匹配结果的校验，然后依据校验结果完成对生鲜商品的称重计价。

步骤S4中，进行相似度匹配的方法具体为：

以先匹配顶升区域生鲜商品图像、再匹配剩余区域生鲜商品图像、最后匹配全局生鲜商品图像的顺序，对第一生鲜商品图像与各第二生鲜商品图像进行相似度匹配，任意当前顺序匹配成功，则不继续进入下一顺序的匹配并转入匹配成功的结果数量是否唯一的判断流程，若所有顺序均未匹配成功，则提示报警。

当判定匹配成功的结果数量不唯一时，对匹配结果的校验流程包括步骤：

C1，将步骤S3模拟的第二光照信息发送给相似度匹配成功的每个虚拟线段所绑定的光照度生成设备，接收到第二光照信息的每个光照度生成设备实时采集对应监控的第一陈列区域的第三生鲜商品图像并作商品分类后输出第一商品分类结果；

并对步骤S1获取到的归属于生鲜货架的各虚拟陈列场景进行维度提升后，在升维的生鲜货架三维模型中以“点闪”方式（比如间隔指定时间在点亮和不点亮状态间切换）将步骤S4中相似度匹配成功的每个虚拟线段表征的陈列区域显示给买家，以提示买家在闪烁的各陈列区域中选定所购的生鲜商品的第二陈列区域，然后读取第二陈列区域对应的虚拟线段所绑定的第二商品分类结果（包括生鲜商品的类别、单价）；

C2，判断各第一商品分类结果中是否存在与第二商品分类结果相同的分类，

若是，则提取出第二商品分类结果中携带的生鲜商品类别和单价，然后称重后完成计价；

若否，则提示报警（提示生鲜售卖区域相应档口的工作人员前来人工输入买家所购生鲜商品的类别、单价等信息）。

对步骤S1获取到的归属于生鲜货架的各虚拟陈列场景进行升维的方法为：

根据事先构建的生鲜货架所在的物理空间与虚拟三维空间的坐标转换关系，将各虚拟陈列场景下的各陈列区域从降维后的降维坐标值升维到虚拟三维空间下的升维坐标值，然后根据表征各陈列区域在虚拟三维空间下的所处位置的各升维坐标值，将归属于同个生鲜货架的各陈列区域加入到虚拟三维空间的指定位置，完成对生鲜货架三维模型的构建。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (9)

1.一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，包括步骤：

S1，买家将生鲜商品置于计价台称重区域后按压对应的生鲜货架编码按钮，所述计价台根据按压指令获取针对编码对应的生鲜货架而最新降维并更新的各虚拟陈列场景；

S2，提取各所述虚拟陈列场景中的每条虚拟线段绑定的场景信息；

S3，所述计价台根据所提取的各所述场景信息模拟第二光照信息后采集第一生鲜商品图像并存储；

S4，将所述第一生鲜商品图像与各所述虚拟陈列场景中每一所述虚拟线段绑定的第二生鲜商品图像进行相似度匹配，并判断匹配成功的结果数量是否唯一，

若是，则提取出匹配成功的所述虚拟线段所绑定的生鲜商品类型和单价，然后称重后完成计价；

若否，则通过光照度迁移，以及对各所述虚拟陈列场景的筛选、升维并结合人工辅助完成对匹配结果的校验，然后依据校验结果完成对所述生鲜商品的称重计价。

2.根据权利要求1所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤S1中，对所述生鲜货架的所述虚拟陈列场景进行降维并更新的方法包括步骤：

A1，系统以商超工作人员在时刻按压所述生鲜货架的场景更新按钮为指令，采集所述生鲜货架上各陈列区域的区域图像，并获取/>时刻针对所述生鲜货架生成的第一虚拟陈列场景，/>；

A2，对各所述区域图像进行生鲜商品识别，并根据不同的识别结果采取不同的策略将所述第一虚拟陈列场景更新为时刻的第二虚拟陈列场景；

将所述生鲜货架生成或更新为所述虚拟陈列场景的方法包括步骤：

B1，完成对每类所述生鲜货架在物理空间和虚拟三维空间的坐标转换关系的构建后，将所述生鲜货架上的各陈列区域连接为至少一条虚拟直线，每条所述虚拟直线由若干段表征相应陈列区域的虚拟线段构成；

B2，根据所构建的所述坐标转换关系，将各所述虚拟直线转换到虚拟三维空间，并降低处于所述虚拟三维空间中的所述虚拟直线的维度后，得到所述生鲜货架的所述虚拟陈列场景。

3.根据权利要求2所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤A2中的所述识别结果包括在时刻采集的所述区域图像中未识别到或识别到所述生鲜商品，

当在时刻采集的所述区域图像中未识别到所述生鲜商品时，更新所述第一虚拟陈列场景的第一策略为：首先在所述第一虚拟场景中将表征在/>时刻未识别到所述生鲜商品的所述陈列区域的所述虚拟线段的呈现状态维持或改变为非激活状态，以将所述第一虚拟陈列场景替换为所述第二虚拟陈列场景，然后更新所述第二虚拟陈列场景中的各所述虚拟线段绑定的场景信息。

4.根据权利要求3所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，当在时刻采集的所述区域图像中识别到所述生鲜商品时，更新所述第一虚拟陈列场景的第二策略为：

在所述第一虚拟陈列场景中直接更新表征在时刻识别到所述生鲜商品的所述陈列区域的所述虚拟线段所绑定的所述场景信息。

5.根据权利要求2所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤B2中，降低处于所述虚拟三维空间中的所述虚拟直线的维度的方法为：

在虚拟三维空间坐标系下，构成所述虚拟直线的各所述虚拟线段的三维坐标的维度对应但维度坐标值不相同的坐标维度数量为一个。

6.根据权利要求1-5任意一项所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，每个所述虚拟线段所绑定的所述场景信息包括所述虚拟线段所表征的陈列区域在买家按压所述生鲜货架编码按钮的当前时刻的第一光照信息、所述计价台在/>时刻根据各所述第一光照信息模拟的第二光照信息、陈列区域唯一编码、陈列区域形状特征、陈列在所述陈列区域的所述生鲜商品的类别信息、单价信息、对所述虚拟线段表征的所述陈列区域产生所述第一光照信息的光照度生成设备的设备唯一编号、对所述虚拟线段的标记信息、所述虚拟线段归属的所述虚拟陈列场景的生成时间，以及所述虚拟线段归属的所述虚拟直线在虚拟三维空间下的降维信息。

7.根据权利要求6所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤S3中，所述计价台模拟所述第二光照信息的方法为：对关联同个所述生鲜货架的各所述第一光照信息中分别携带的光照度取均值后，将取值结果作为所述第二光照信息；

步骤S1中，所述计价台接收到所述按压指令后同时控制升起顶升设备，以将置于所述称重区域的所述生鲜商品的至少部分顶升到指定高度，

步骤S3中，所述计价台采集的所述第一生鲜商品图像至少包括处于顶升区域的顶升区域生鲜商品图像、处于顶升区域外的剩余区域生鲜商品图像，以及包括所述顶升区域生鲜商品图像和所述剩余区域生鲜商品图像的全局生鲜商品图像中的一种。

8.根据权利要求7所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤S4中，进行相似度匹配的方法为：以先匹配所述顶升区域生鲜商品图像、再匹配所述剩余区域生鲜商品图像、最后匹配所述全局生鲜商品图像的顺序，对所述第一生鲜商品图像与各所述第二生鲜商品图像进行相似度匹配，任意当前顺序匹配成功，则不继续进入下一顺序的匹配并转入匹配成功的结果数量是否唯一的判断流程，若所有顺序均未匹配成功，则提示报警。

9.根据权利要求8所述的一种空间变换结合光照度迁移和结果校验的生鲜商品识别方法，其特征在于，步骤S4中的“若否”条件下，对匹配结果的校验流程包括步骤：

C1，将步骤S3模拟的所述第二光照信息发送给相似度匹配成功的每个所述虚拟线段所绑定的所述光照度生成设备，接收到所述第二光照信息的每个所述光照度生成设备实时采集对应监控的第一陈列区域的第三生鲜商品图像并作商品分类识别后输出第一商品分类结果；

并对步骤S1获取到的归属于所述生鲜货架的各所述虚拟陈列场景进行升维后，在升维的生鲜货架三维模型中以“点闪”方式将步骤S4中相似度匹配成功的每个所述虚拟线段表征的陈列区域显示给所述买家，以提示所述买家在闪烁的各所述陈列区域中选定所购的所述生鲜商品的第二陈列区域，然后读取所述第二陈列区域对应的所述虚拟线段所绑定的第二商品分类结果；

C2，判断各所述第一商品分类结果中是否存在与所述第二商品分类结果相同的分类，

若是，则提取出所述第二商品分类结果中携带的生鲜商品类别和单价，然后称重后完成计价；

若否，则提示报警。