CN115731144A - 图像数据处理方法、设备及介质 - Google Patents

Abstract

本公开实施例公开了一种图像数据处理方法、设备及介质，所述方法包括：获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；在多张柜门解锁图像中确定多张第一待抽帧图像；在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离；根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像。该方案可以确保基于多张第一抽帧图像能够得到连贯的用户肢体的轨迹，降低了需处理的图像数据的数据量，降低了数据处理成本，改善了用户体验。

Description

图像数据处理方法、设备及介质

技术领域

本公开涉及控制技术领域，具体涉及一种图像数据处理方法、设备及介质。

背景技术

近年来，商家或者企业存放物品时，为了便于用户了解物品信息，可以将物品放置于陈列柜中，以实现对商品同时进行储存及展示。当用户需要将物品从陈列柜中移出，或向陈列柜中放入物品时，用户可以自行将陈列柜打开，并执行相应的操作。在这种场景中，商家或者企业需要对陈列柜中的物品进行监控，确定从陈列柜移出或移入物品的用户，以及被从陈列柜中移出或移入的物品，并进行结算。

发明内容

本公开实施例提供一种图像数据处理方法、设备、介质及产品。

第一方面，本公开实施例中提供了一种图像数据处理方法。

具体的，所述图像数据处理方法，包括：

获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；

在多张柜门解锁图像中确定多张第一待抽帧图像，其中，第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，目标图像区域包括陈列柜的物品出入口的至少一部分；

在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域；

根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间。

在本公开的一种实施方式中，获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

根据变化区域中对应位置像素的像素值计算分别位于任两张相邻的第一待抽帧图像中的任一对变化区域之间的相似度；

获取任两张相邻的第一待抽帧图像中变化区域的位置；

根据相似度大于或等于相似度阈值、且分别位于任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离。

在本公开的一种实施方式中，获取任两张相邻的第一待抽帧图像中变化区域对应的位置，包括：

根据任两张相邻的第一待抽帧图像中变化区域内像素的图像位置获取任两张相邻的第一待抽帧图像中变化区域对应的位置；

或，根据任两张相邻的第一待抽帧图像中变化区域内像素的景深信息获取任两张相邻的第一待抽帧图像中变化区域对应的位置。

在本公开的一种实施方式中，根据相似度大于或等于相似度阈值、且分别位于任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域仅包括一对变化区域，根据一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离；

或，响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域包括多对变化区域，根据多对变化区域中位置变化最大的一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离。

在本公开的一种实施方式中，方法还包括：

在多张柜门解锁图像中确定多张第二待抽帧图像，第二待抽帧图像的采集时间早于多张第一待抽帧图像的采集时间，和/或第二待抽帧图像的采集时间晚于多张第一待抽帧图像的采集时间；

根据采集时间对多张第二待抽帧图像进行抽帧，以获取多张第二抽帧图像，多张第二抽帧图像中任两张相邻第二抽帧图像各自对应的采集时间之间的时间差属于第二采集时间差区间。

在本公开的一种实施方式中，方法还包括：

获取多张第一抽帧图像的数量减去多张第一抽帧图像的数量得到的抽帧数量；

响应于抽帧数量小于或等于预设抽帧数量，对多张第一抽帧图像进行补帧，以获取多张补帧图像。

在本公开的一种实施方式中，多张补帧图像的数量减去多张第一抽帧图像的数量得到的补帧数量，大于或等于预设抽帧数量减去抽帧数量得到的数量差。

在本公开的一种实施方式中，方法还包括：

获取柜门开启指示信息，柜门开启指示信息用于指示陈列柜的柜门被开启；

响应于柜门开启指示信息，获取多张待处理图像。

第二方面，本公开实施例中提供了一种图像数据处理装置

具体的，所述图像数据处理装置，包括：

图像数据获取模块，被配置为获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在所述多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；

抽帧图像确定模块，被配置为在多张柜门解锁图像中确定多张第一待抽帧图像，其中，第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，目标图像区域包括陈列柜的物品出入口的至少一部分；

移动距离获取模块，被配置为在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域；

抽帧模块，被配置为根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间。

第三方面，本公开实施例中提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，处理器执行计算机程序以实现如第一方面任一实施例所述的方法。

第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面任一实施例所述的方法。

第五方面，本公开实施例中提供了一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现如第一方面任一实施例所述的方法。

本公开实施例提供的技术方案可以包括以下有益效果：

在本公开提供的技术方案中，通过获取由陈列柜采集的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像，在多张柜门解锁图像中确定多张第一待抽帧图像，其中，由于第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，而目标图像区域包括陈列柜的物品出入口的至少一部分，因此第一待抽帧图像包括用户运动中的、可能对陈列柜的物品储藏区中的物品进行操作的肢体的几率较高；在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域，因此变化区域可以理解为运动中的用户肢体所在的区域；根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，其中，由于多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间，因此可以在尽量减少多张第一抽帧图像的数据量的前提下，确保基于抽帧得到的多张第一抽帧图像也能够得到较为连贯的、可能对陈列柜的物品储藏区中的物品进行操作的用户肢体的移动轨迹，降低了需处理的图像数据的数据量，并且有助于提高基于多张第一抽帧图像确定被用户肢体从陈列柜中被移出或移入的物品的准确率，从而降低了数据处理成本，改善了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的陈列柜的示意性结构框图；

图2示出根据本公开一实施方式的主板的示意性结构框图；

图3示出根据本公开一实施方式的控制板的示意性结构框图；

图4示出根据本公开一实施方式的电源管理模块的示意性结构框图；

图5示出根据本公开一实施方式的图像数据处理方法的流程图；

图6示出根据本公开一实施方式的陈列柜的示意性结构图；

图7示出根据本公开一实施方式的陈列柜的示意性俯视图；

图8示出根据本公开一实施方式的陈列柜的示意性结构图；

图9示出根据本公开一实施方式的图像数据处理装置的示意性结构框图；

图10示出根据本公开一实施方式的电子设备的示意性结构框图；

图11是适于用来实现根据本公开一实施方式的图像数据处理方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

上文提及，随着技术的发展以及人们生活水平的提高，商家或者企业存放物品时，不再将其简单的放置于货架上，而是为了便于用户了解物品信息，可以将物品放置于陈列柜中，以实现对商品同时进行储存及展示。当用户需要将物品从陈列柜中移出，或向陈列柜中放入物品时，用户可以自行将陈列柜打开，并执行相应的操作。

近年来，投入运营的陈列柜的数量逐渐增多，在使用陈列柜的过程中，商家或者企业一般需要对陈列柜中的物品进行监控，以确定从陈列柜中被移出或移入的物品，并根据上述信息进行结算。

其中，在一个实施例中，可以在用户陈列柜中移出或移入物品时，获取陈列柜所采集的图像数据，并将该图像数据上传至服务器或云端，由服务器或云端对该图像数据进行图像识别，并根据图像识别结果确定从陈列柜中被移出或移入的物品。

但在这一方案中，由于陈列柜所采集的图像数据往往数据量较多，因此在将陈列柜所采集的图像数据上传至服务器或云端的过程中，会占用较多的流量，且上传速度过慢，会影响确定从陈列柜中被移出或移入的物品的效率。因此通常情况下需要对陈列柜所采集的图像数据进行抽帧处理，以得到数据量较少的抽帧处理后的图像数据，再将抽帧处理后的图像数据上传至服务器或云端。

本申请的发明人发现，在对陈列柜所采集的图像数据进行抽帧时，若从所采集的图像中抽取张数较多的图像，则与陈列柜所采集的图像数据的数据量相比，抽帧得到的图像数据的数据量变化不大，在抽帧得到的图像数据时依然需要消耗较多的流量，上传速度较慢，同时对抽帧得到的图像数据进行处理时，仍需占用较多处理资源，从而提高了数据处理的成本，使基于数据处理结果进行结算的效率较低。而若从所采集的图像中抽取张数较少的图像，则基于抽帧得到的图像数据进行图像识别时，所得到的图形识别结果往往准确率较低，使基于该图像识别结果确定从陈列柜中被移出或移入的物品的准确率较低，损害了基于该结果进行结算的可靠性。

因此，如何在确保基于抽帧得到的图像数据确定从陈列柜中被移出或移入的物品的准确率较高的前提下，尽量减少抽帧得到的图像数据的数据量，是越来越急迫需要解决的问题。

考虑到上述缺陷，在本公开一实施方式中，提出一种图像数据处理方法，该方法通过获取由陈列柜采集的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像，在多张柜门解锁图像中确定多张第一待抽帧图像，其中，由于第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，而目标图像区域包括陈列柜的物品出入口的至少一部分，因此第一待抽帧图像包括用户运动中的、可能对陈列柜的物品储藏区中的物品进行操作的肢体的几率较高；在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域，因此变化区域可以理解为运动中的用户肢体所在的区域；根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，其中，由于多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间，因此可以在尽量减少多张第一抽帧图像的数据量的前提下，确保基于抽帧得到的多张第一抽帧图像也能够得到较为连贯的、可能对陈列柜的物品储藏区中的物品进行操作的用户肢体的移动轨迹，降低了需处理的图像数据的数据量，并且有助于提高基于多张第一抽帧图像确定被用户肢体从陈列柜中被移出或移入的物品的准确率，从而降低了数据处理成本，改善了用户体验。

本申请实施例提供的图像数据处理方法可以应用于陈列柜，该陈列柜可以具备控温功能，该控温功能可以为制冷功能，例如陈列柜可以为冷藏陈列柜、冷冻陈列柜、冷藏柜、冷冻柜、冰箱、酒柜、化妆品保鲜柜等等；该控温功能也可以为制热功能，例如陈列柜可以为暖柜、加热陈列柜、热饮柜等等，本申请实施例对陈列柜的具体类型不作任何限制。

示例性的，图1示出根据本公开一实施方式的陈列柜的示意性结构框图，如图1所示，陈列柜100可以包括压缩机11、冷凝器12、节流元件13以及蒸发器14，其中压缩机11、冷凝器12、节流元件13以及蒸发器14通过充注有冷媒的管道连接以形成封闭管路，组成能够循环冷媒的制冷系统或制热系统。

其中，压缩机是指用于将低压冷媒提升为高压冷媒的从动的流体机械，压缩机能够吸入低温低压的气态冷媒，通过电机运转带动活塞对冷媒进行压缩后，排出高温高压的气态冷媒，为制冷循环提供动力，压缩机可以包括往复式压缩机、螺杆式压缩机、回转式压缩机、涡旋式压缩机和离心式压缩机等，本申请实施例对压缩机的具体类型不作任何限制。

冷凝器是指用于使冷凝器中的冷媒与冷凝器外的空气进行热量交换，以实现放热的换热器。具体的，冷凝器可以包括长度较长的用于容纳冷媒的管道，该管道通常可以由铜之类的导热性能较强的金属材料制成，且该管道通常可以被盘成螺旋形状。另外，为了提高冷凝器的换热效率，可以在管道上设置热传导性能优异的散热片，以加大散热面积，从而加速热量交换的速度，提高换热效率。也还可以通过设置与冷凝器匹配的风机或风扇，以加快冷凝器周围空气的流动速度，从而加速热量交换的速度，提高换热效率。

节流元件用于使常温高压的液体冷媒通过节流元件节流以成为低温低压的气体冷媒，其中节流元件也可以被称为节流元件或调节阀，节流元件可以包括膨胀阀、毛细管等。另外，节流元件还可以控制流经节流元件的冷媒的流量，避免流经节流元件的冷媒的流量过大或过小。其中，若流经节流元件的冷媒的流量过大，则会导致流出节流元件的冷媒仍包括液态冷媒，液态冷媒进入压缩机会产生液击，对压缩机造成伤害；若流经节流元件的冷媒的流量过小，则会导致进入压缩机的冷媒过少，降低压缩机的工作效率。

蒸发器是指用于使蒸发器中的冷媒与冷凝器外的空气进行热量交换，以实现吸热的换热器。具体的，蒸发器可以包括长度较长的用于容纳冷媒的管道，该管道通常可以由铜之类的导热性能较强的金属材料制成，且该管道通常可以被盘成螺旋形状。另外，为了提高冷凝器的换热效率，可以在管道上设置热传导性能优异的散热片，以加大散热面积，从而加速热量交换的速度，提高换热效率。也还可以通过设置与蒸发器匹配的风机或风扇，以加快蒸发器周围空气的流动速度，从而加速热量交换的速度，提高换热效率。

冷媒也可由被称为制冷剂、致冷剂或雪种，是指制冷系统或制热系统中完成能量转化的媒介物质。冷媒通常为容易发生可逆相变(如吸热变成气体，放热变成液体)的物质，通过可逆相变冷媒可以传递热量，具体的，气态的冷媒在受压时，放热变成液体，当高压液体减压变成气体时，便会吸热。冷媒可以包括氨、空气、水、盐水、氟里昂(也可以被称为氟氯烃、氟氯碳化物)等，其中氟利昂可以包括一氟三氯甲烷、二氟一氯甲烷、三氟甲烷、四氟乙烷、三氟二氯乙烷等。

当陈列柜为具备制冷功能的陈列柜时，低温低压的汽态冷媒从蒸发器流入压缩机，由压缩机对低温低压的汽态冷媒进行压缩，并使高温高压的气态冷媒流入冷凝器；高温高压的气态冷媒通过冷凝器与冷凝器外界的空气进行热交换，使高温高压的气态冷媒在冷凝器中被冷却为常温高压的液态冷媒，之后常温高压的液态冷媒流入节流元件，节流元件通过对常温高压的液态冷媒节流，使流出节流元件的冷媒转变为低温低压的液态冷媒；低温低压的液态冷媒流入蒸发器，低温低压的液态冷媒通过蒸发器与蒸发器外界的空气进行热交换，低温低压的液态冷媒蒸发气化为低温低压的气态冷媒以吸取热量。其中，蒸发器外界的空气能够被导入陈列柜的储藏区，冷凝器外界的空气能够被导入陈列柜的外部，从而实现将陈列柜的储藏区中的热量搬运至陈列柜的外部，对陈列柜的储藏区进行制冷。

当陈列柜为具备制热功能的陈列柜时，低温低压的汽态冷媒从冷凝器流入压缩机，由压缩机对低温低压的汽态冷媒进行压缩，并使高温高压的气态冷媒流入蒸发器；高温高压的气态冷媒通过蒸发器与蒸发器外界的空气进行热交换，使高温高压的气态冷媒在蒸发器中被冷却为常温高压的液态冷媒，之后常温高压的液态冷媒流入节流元件，节流元件通过对常温高压的液态冷媒节流，使流出节流元件的冷媒转变为低温低压的液态冷媒；低温低压的液态冷媒流入冷凝器，低温低压的液态冷媒通过冷凝器与冷凝器外界的空气进行热交换，低温低压的液态冷媒蒸发气化为低温低压的气态冷媒以吸取热量。其中，蒸发器外界的空气能够被导入陈列柜的储藏区，冷凝器外界的空气能够被导入陈列柜的外部，从而实现将陈列柜的外部的热量搬运至陈列柜的储藏区，对陈列柜的储藏区进行制热。

在本申请的一个实施例中，陈列柜包括柜体与柜门，其中柜体中可以设置有控制板以及电源管理模块，柜门中可以设置有主板。

在本申请的一个实施例中，图2示出根据本公开一实施方式的主板的示意性结构框图，如图2所示，主板200包括处理器201、随机存取存储器202、闪存203、无线局域网蓝牙模块204、陀螺仪205、压力传感器206、麦克风207、喇叭208、摄像头209以及蜂窝通信模块210。

处理器可以包括一个或多个处理单元，例如：处理器可以包括应用处理器，调制解调处理器，图形处理器，图像信号处理器，控制器，存储器，视频编解码器，数字信号处理器，基带处理器，和/或神经网络处理器中的一个或多个。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，图像信号处理器用于处理摄像头反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给图像信号处理器处理，转化为肉眼可见的图像。图像信号处理器还可以对图像的噪点，亮度，肤色进行算法优化。图像信号处理器还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，图像信号处理器可以设置在摄像头中。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，数字信号处理器可以用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。陈列柜可以支持一种或多种视频编解码器。这样，陈列柜可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpicture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

神经网络计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过神经网络计算处理器可以实现陈列柜的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在一些实施例中，处理器可以包括一个或多个接口。接口可以包括集成电路接口，集成电路内置音频接口，脉冲编码调制接口，通用异步收发传输器接口，移动产业处理器接口，通用输入输出接口，用户标识模块接口，和/或通用串行总线接口等。

随机存取存储器202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令以及数据。处理器201通过运行存储在随机存取存储器202的指令，从而执行陈列柜的各种功能应用以及数据处理。随机存取存储器202可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储陈列柜使用过程中所创建的数据(比如音频数据，图像数据等)等。

闪存203可以用于实现扩展陈列柜的存储能力。闪存203可以通过闪存接口与处理器201通信，实现数据存储功能。例如将音乐，视频等文件保存在闪存中。

通过处理器201、随机存取存储器202以及闪存203可以构成最小系统，以提供系统运行环境。

无线局域网蓝牙模块204可以提供应用在陈列柜上的包括无线局域网，蓝牙，全球导航卫星系统，调频，近距离无线通信技术，红外技术等无线通信的解决方案。无线局域网蓝牙模块204可以是集成至少一个通信处理模块的一个或多个器件。无线局域网蓝牙模块204经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器201。无线局域网蓝牙模块204还可以从处理器201接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。在本申请的一个实施例中，通过无线局域网蓝牙模块可以与用户的终端进行通信。

蜂窝通信模块210可以提供应用在陈列柜上的包括2G/3G/4G/5G等无线通信的解决方案。蜂窝通信模块210可以包括至少一个滤波器，开关，功率放大器，低噪声放大器等。蜂窝通信模块210可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。蜂窝通信模块210还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，蜂窝通信模块210的至少部分功能模块可以被设置于处理器201中。在一些实施例中，蜂窝通信模块210的至少部分功能模块可以与处理器201的至少部分模块被设置在同一个器件中。在本申请的一个实施例中，通过蜂窝通信模块210可以与图像数据处理服务提供商的云端服务器进行通信。

通过无线局域网蓝牙模块204以及蜂窝通信模块210，陈列柜可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统，通用分组无线服务，码分多址接入，宽带码分多址，时分码分多址，长期演进等。

陀螺仪205可以用于确定陈列柜的柜门的实时姿态。

压力传感器206用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器206可以设置于显示屏。压力传感器206的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器206，电极之间的电容改变，根据电容的变化确定压力的强度。当有触摸操作作用于显示屏，根据压力传感器206检测所述触摸操作强度，也可以根据压力传感器206的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于饮料选择应用图标时，执行查看饮料具体信息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于饮料选择应用图标时，执行购买饮料的指令。

麦克风207，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风207发声，将声音信号输入到麦克风207。陈列柜可以设置至少一个麦克风207。在另一些实施例中，陈列柜可以设置两个麦克风207，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，陈列柜还可以设置三个，四个或更多麦克风207，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。在本申请的一个实施例中，通过麦克风207可以采集陈列柜运行时的声音。

喇叭208，也称“扬声器”，用于将音频电信号转换为声音信号。陈列柜可以通过喇叭208播放音乐，或播放提示语音。

摄像头209用于捕获图像，该图像包括静态图像及动态图像(即视频)。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件或互补金属氧化物半导体光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给图像信号处理器转换成数字图像信号。图像信号处理器将数字图像信号输出到数字信号处理器加工处理。数字信号处理器将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，陈列柜可以包括1个或多个摄像头209。在本申请的一个实施例中，摄像头209可以具备对自身加热的功能，以确保自身的镜头不会起雾。

在本申请的一个实施例中，图3示出根据本公开一实施方式的控制板的示意性结构框图，如图3所示，控制板300包括电源输入接口301、电源输出接口302、计量芯片303、微控制单元芯片304、实时时钟芯片、灯开关接口305、控温开关接口306、蒸发风机接口307、压缩机接口308、冷凝风机接口309、温度传感器接口310、通信接口311以及电源接口312。

其中，计量芯片303即电量传感器，通过计量芯片303可以获取电压数据、电流数据、实时功率数据以及平均功率数据。通过实时时钟芯片可以保持微控制单元芯片304的时间。通过灯开关接口305可以接收陈列柜的灯开关的控制信号。通过控温开关接口306可以接收陈列柜的控温控制开关的控制信号。通过蒸发风机接口307可以向陈列柜的蒸发风机发送蒸发风机控制信号，以控制蒸发风机运行。通过压缩机接口308可以向陈列柜的压缩机发送压缩机控制信号，以控制压缩机运行。通过冷凝风机接口309可以向陈列柜的冷凝风机发送冷凝风机控制信号，以控制冷凝风机运行。通过温度传感器接口310可以接收一个或多个温度传感器采集的温度传感器数据，以便于确定陈列柜一个或多个位置的温度值。

在本申请的一个实施例中，图4示出根据本公开一实施方式的电源管理模块的示意性结构框图，如图4所示，电源管理模块400包括交流转直流转换模块401，充电管理模块402以及电池403。电源管理模块400用于为主板和控制板供电，并对电池进行充放电管理。电源管理模块400还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块400也可以设置于处理器中。

在本申请的一个实施例中，陈列柜还包括显示屏。陈列柜通过图形处理器，显示屏，以及应用处理器等实现显示功能。图形处理器为图像处理的微处理器，连接显示屏和应用处理器。图形处理器用于执行数学和几何计算，用于图形渲染。处理器可包括一个或多个图形处理器，其执行程序指令以生成或改变显示信息。

显示屏用于显示静态图像，视频等。显示屏包括显示面板。显示面板可以采用液晶显示屏，有机发光二极管，有源矩阵有机发光二极体或主动矩阵有机发光二极体，柔性发光二极管，量子点发光二极管等。在一些实施例中，陈列柜可以包括1个或多个显示屏。

可以理解的是，本申请实施例示意的结构并不构成对陈列柜的具体限定。在本申请另一些实施例中，陈列柜可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

图5示出根据本公开一实施方式的图像数据处理方法的流程图，如图5所示，所述图像数据处理方法包括以下步骤S101-S104：

在步骤S101中，获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；

在本公开一实施方式中，获取由陈列柜采集的多张待处理图像，可以为接收陈列柜上的图像采集、其他装置或其他系统发送的多张待处理图像，也可以为读取事先储存在陈列柜中的多张待处理图像。其中，多张待处理图像可以为由陈列柜中的图像采集装置例如摄像头等采集的，也可以为由与陈列柜对应的其他图像采集装置或图像采集系统例如安防摄像头等采集的。多张待处理图像中的图像可以被理解为，包括全部或部分陈列柜的图像，也可以理解为，包括全部或部分陈列柜中物品的图像。

在本公开一实施方式中，根据采集时间排列的多张待处理图像，可以理解为该多张待处理图像为根据相应的采样频率由陈列柜进行图像采集得到的，也可以理解为根据相应的抽样频率从陈列柜所采集的视频中抽样得到的。

在步骤S102中，在多张柜门解锁图像中确定多张第一待抽帧图像；

其中，第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，目标图像区域包括陈列柜的物品出入口的至少一部分；

需要说明的是，柜门解锁底图可以为事先储存的，或从其他装置或系统处获取；或者，柜门解锁底图也可以为多张柜门解锁图像中的第N张柜门解锁图像，其中当多张柜门解锁图像是根据每秒采集24帧的图像采集速度采集得到的时，N的取值范围可以为大于0且小于或等于24。柜门解锁底图可以理解为目标图像区域中未包括用户的肢体或出现这一状况的几率较小的图像。

在本公开一实施方式中，陈列柜的物品出入口，可以理解为用于连通陈列柜的物品储藏区与陈列柜以外的出入口，通过物品出入口，可以将陈列柜以外的物品移入陈列柜的物品储藏区，或将陈列柜的物品储藏区移出。基于多张待处理图像中包括陈列柜的物品出入口的至少一部分的图像，可以确定从陈列柜中移出或向陈列柜中移入的物品，以便进行结算，结算结果可以用于对相应的账户进行操作，也可以用于确定在被移出物品或被移入物品后陈列柜中所存放的物品的数量、种类、位置中至少一种。

在本公开一种实施方式中，目标图像区域可以为事先限定了尺寸、形状中至少一项的区域，例如目标图像区域可以为矩形或圆形，或目标图像区域也可以为边数属于预设边数范围，边长属于预设变长范围，且边与边之间的夹角属于预设夹角范围的多边形。

需要是说明的是，在陈列柜中，由于柜门在开启或关闭时的运动速度可能与用户的肢体的运动速度接近，考虑到第一待抽帧图像可以理解为当用户的肢体在陈列柜的物品出入口附近移动时所采集的图像，因此为了避免因柜门移动而导致降低所确定的第一待抽帧图像的准确率，可以合理设置采集柜门解锁图像的图像采集装置，或合理设置目标图像区域的范围，以确保目标图像区域中不包括陈列柜的柜门。示例性的，图6示出根据本公开一实施方式的陈列柜的示意性结构图，图7示出根据本公开一实施方式的陈列柜的示意性俯视图，如图6以及图7所示，陈列柜包括柜体501、柜门502以及摄像头503，其中柜体501，包括陈列区511以及物品出入口521，陈列区511通过物品出入口521与柜体501外连通。柜门502，与柜体501转动滑动连接或与柜体501滑动连接，用于开启或封闭物品出入口521。摄像头503设置于柜体顶部，用于采集物品出入口521的图像，根据摄像头503采集的多张图像，可以获取多张待处理图像。需要说明的是，陈列柜还可以包括多个分别从不同方向采集物品出入图像的摄像头，示例性的，图8示出根据本公开一实施方式的陈列柜的示意性结构图，如图8所示，陈列柜包括第一摄像头516、第二摄像头526、第三摄像头536、第四摄像头546以及第五摄像头556，第一摄像头516从第一方向5161采集货物出入口521的图像、第二摄像头526从第二方向5162采集货物出入口521的图像、第三摄像头536从第三方向5163采集货物出入口521的图像、第四摄像头546从第四方向5164采集货物出入口521的图像，第五摄像头556从第五方向5165采集货物出入口521的图像，第一方向5161、第二方向5162、第三方向5163、第四方向5164以及第五方向5165均不同，根据第一摄像头516、第二摄像头526、第三摄像头536、第四摄像头546以及第五摄像头556中至少一个摄像头采集的多张图像，可以获取多张待处理图像。

在本公开一种实施方式中，第一待抽帧图像的目标图像区域，可以理解为基于预先获取的目标图像区域算法对第一待抽帧图像进行识别，并根据目标图像区域识别结果确定第一待抽帧图像的目标图像区域；也可以理解为获取预先训练得到的目标图像区域模型，将第一待抽帧图像作为输入，输入该目标图像区域模型，以获取目标图像区域识别结果，并根据目标图像区域识别结果确定第一待抽帧图像的目标图像区域。

在本公开一种实施方式中，可以通过获取柜门解锁底图的目标图像区域中一个或多个像素的像素值以及像素坐标，并基于该像素坐标获取多张柜门解锁图中相应像素(即位置相同的像素)的像素值，根据所获取的像素值确定每张柜门解锁图像中的目标像素。

在本公开一种实施方式中，像素差阈值可以理解为事先储存在陈列柜中，也可以理解为从其他装置或系统处获取。

在步骤S103中，在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离；

其中，变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域；

在本公开一种实施方式中，目标像素的比例大于或等于目标像素比例阈值，可以理解为变化区域中目标像素的数量与变化区域中全部像素的数量的比例值大于或等于目标像素比例阈值；

在本公开一种实施方式中，目标像素比例阈值以及第二目标像素数量阈值可以为预先储存在陈列柜中，也可以理解为从其他装置或系统处获取。

在本公开一种实施方式中，多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，可以理解为分别计算两张相邻的第一待抽帧图像中变化区域位置，并根据任两张相邻的第一待抽帧图像对应的变化区域的位置计算多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离。其中，变化区域位置，可以理解为变化区域的中心的位置，也可以理解为根据变化区域中所有像素的位置求均值得到的位置。其中，像素的位置为理解为像素所在图像的二维图像位置，此时变化区域移动距离可以理解为以像素点为单位的二维距离；像素的位置也可以理解为根据像素所对应的景深信息获取的像素所对应的物体表面位置的三维空间位置，此时变化区域移动距离可以理解为三维空间中的三维距离，像素所对应的景深信息可以基于深度图像采集装置(例如双目视觉摄像头)得到。

在步骤S104中，根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像；

其中，多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间。

在本公开一种实施方式中，两张相邻第一抽帧图像中的对应变化区域，可以理解为将分别处于两张相邻第一抽帧图像中、且位置变化属于预设的位置变化范围的两个变化区域确定为两张相邻第一抽帧图像中的对应变化区域；或者，也可以将分别处于两张相邻第一抽帧图像中的变化区域中像素的像素值以及像素的位置代入预先获取的对应变化区域算法中进行计算，并根据计算结果将两个变化区域确定为两张相邻第一抽帧图像中的对应变化区域。其中，两张相邻第一抽帧图像中的对应变化区域，可以理解为分别在两张相邻第一抽帧图像中，用于显示同一个用户的同一个肢体对应的区域。

在本公开一种实施方式中，根据变化区域移动距离对多张第一待抽帧图像进行抽帧，可以理解为在多张第一待抽帧图像中确定任一张第一待抽帧图像作为第一抽帧图像，并确定采样时间位于该第一抽帧图像的采样时间之后的另一张第一待抽帧图像，获取该另一张第一待抽帧图像与第一抽帧图像对应的第一变化区域移动距离，当第一变化区域移动距离属于变化区域移动距离区间时，将另一张第一待抽帧图像也确定为第一抽帧图像。之后确定与确定采样时间位于后一张第一抽帧图像的采样时间之后的又一张第一待抽帧图像，获取该又一张第一待抽帧图像与后一张第一抽帧图像对应的第二变化区域移动距离，当该第二变化区域移动距离属于变化区域移动距离区间时，将又一张第一待抽帧图像也确定为第一抽帧图像，之后基于上述步骤循环处理，直至获取多张第一抽帧图像。

或者，根据变化区域移动距离对多张第一待抽帧图像进行抽帧，也可以理解为将多张第一待抽帧图像以及多张第一待抽帧图像中相邻两张第一待抽帧图像对应的变化区域移动距离作为输入，输入预先获取的第一抽帧模型，以获取该第一抽帧模型输出的多张第一抽帧图像。

在本公开提供的技术方案中，通过获取由陈列柜采集的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像，在多张柜门解锁图像中确定多张第一待抽帧图像，其中，由于第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，而目标图像区域包括陈列柜的物品出入口的至少一部分，因此第一待抽帧图像包括用户运动中的、可能对陈列柜的物品储藏区中的物品进行操作的肢体的几率较高；在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域，因此变化区域可以理解为运动中的用户肢体所在的区域；根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，其中，由于多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间，因此可以在尽量减少多张第一抽帧图像的数据量的前提下，确保基于抽帧得到的多张第一抽帧图像也能够得到较为连贯的、可能对陈列柜的物品储藏区中的物品进行操作的用户肢体的移动轨迹，降低了需处理的图像数据的数据量，并且有助于提高基于多张第一抽帧图像确定被用户肢体从陈列柜中被移出或移入的物品的准确率，从而降低了数据处理成本，改善了用户体验。

在本公开的一种实施方式中，获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

根据变化区域中对应位置像素的像素值计算分别位于任两张相邻的第一待抽帧图像中的任一对变化区域之间的相似度；

获取任两张相邻的第一待抽帧图像中变化区域的位置；

根据相似度大于或等于相似度阈值、且分别位于任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离。

在本公开一种实施方式中，根据变化区域中对应位置像素的像素值计算分别位于任两张相邻的第一待抽帧图像中的任一对变化区域之间的相似度，可以理解为将分别处于两张相邻第一抽帧图像中的变化区域中对应位置像素的像素值代入预先获取的相似度算法中进行计算，以获取该相似度；或者，也可以理解为将分别处于两张相邻第一抽帧图像中的变化区域中对应位置像素的像素值作为输入，输入预先获取的相速度模型，以获取该相似度模型输出的相似度。其中，相似度大于或等于相似度阈值的一对变化区域可以理解为，该一对变化区域分别用于在两张图像中显示相同的物体(例如用户的肢体)。

在本公开提供的技术方案中，通过根据变化区域中对应位置像素的像素值计算分别位于任两张相邻的第一待抽帧图像中的任一对变化区域之间的相似度，获取任两张相邻的第一待抽帧图像中变化区域的位置，根据相似度大于或等于相似度阈值、且分别位于任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离，可以确保变化区域移动距离能够准确的反映两张相邻的第一待抽帧图像中用户肢体移动的距离，有助于确保基于后去抽帧步骤得到的多张第一抽帧图像也能够得到较为连贯的、可能对陈列柜的物品储藏区中的物品进行操作的用户肢体的移动轨迹。

在本公开的一种实施方式中，获取任两张相邻的第一待抽帧图像中变化区域对应的位置，包括：

根据任两张相邻的第一待抽帧图像中变化区域内像素的图像位置获取任两张相邻的第一待抽帧图像中变化区域对应的位置；

或，根据任两张相邻的第一待抽帧图像中变化区域内像素的景深信息获取任两张相邻的第一待抽帧图像中变化区域对应的位置。

在本公开的一种实施方式中，像素的图像位置，可以理解为像素在对应的第一待抽帧图像中的位置。像素的景深信息，可以理解为用于指示像素所显示的物体表面在采集第一待抽帧图像时与图像采集装置的距离。需要说明的是，为了获取像素的景深信息，可以通过具备景深采集功能的图像采集装置(例如双目视觉图像采集装置等)采集多张待处理图像。

在本公开提供的技术方案中，通过根据任两张相邻的第一待抽帧图像中变化区域内像素的图像位置获取任两张相邻的第一待抽帧图像中变化区域对应的位置，或，根据任两张相邻的第一待抽帧图像中变化区域内像素的景深信息获取任两张相邻的第一待抽帧图像中变化区域对应的位置，可以提高所获取的变化区域对应的位置的准确率。

在本公开的一种实施方式中，根据相似度大于或等于相似度阈值、且分别位于任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域仅包括一对变化区域，根据一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离；

或，响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域包括多对变化区域，根据多对变化区域中位置变化最大的一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离。

在本公开提供的技术方案中，考虑到现实中可能同时仅有一个用户从陈列柜中移出物品或向陈列柜中移入物品，或可能同时有多个用户从陈列柜中移出物品或向陈列柜中移入物品，因此第一待抽帧图像可能仅包括一个用户的一个肢体，也可能同时包括一个用户的两个肢体，或多个用户的多个肢体，为了在尽量减少抽帧后得到的第一抽帧图像的数量的前提下，确保第一待抽帧图像中肢体的数量不会对基于多张第一抽帧图像对肢体或肢体拿取的物体进行跟踪产生影响，通过响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域仅包括一对变化区域，根据一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离，或，响应于分别位于任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域包括多对变化区域，根据多对变化区域中位置变化最大的一对变化区域对应的位置计算任两张相邻的第一待抽帧图像对应的变化区域移动距离，可以确保无论第一待抽帧图像中同时存在几个手部，基于抽帧得到的多张第一抽帧图像均能够对多张第一待抽帧图像的中移动最快的肢体进行稳定跟踪，有助于提高基于多张第一抽帧图像确定从陈列柜中被移出或移入的物品的准确率，改善了用户体验。

在本公开的一种实施方式中，方法还包括：

在多张柜门解锁图像中确定多张第二待抽帧图像，第二待抽帧图像的采集时间早于多张第一待抽帧图像的采集时间，和/或第二待抽帧图像的采集时间晚于多张第一待抽帧图像的采集时间；

根据采集时间对多张第二待抽帧图像进行抽帧，以获取多张第二抽帧图像，多张第二抽帧图像中任两张相邻第二抽帧图像各自对应的采集时间之间的时间差属于第二采集时间差区间。

在本公开提供的技术方案中，考虑到在多张柜门解锁图像中，采集时间早于多张第一待抽帧图像的采集时间的图像，以及采集时间晚于多张第一待抽帧图像的采集时间的图像中，用户的肢体出现在陈列柜的物品出入口的几率均较低，因此在第二待抽帧图像中用户通过其肢体从陈列柜中被移出或移入的物品的几率也较低，无需对第二待抽帧图像中用户的肢体进行跟踪，通过在多张柜门解锁图像中确定多张第二待抽帧图像，根据采集时间对多张第二待抽帧图像进行抽帧，以获取多张第二抽帧图像，可以在记录用户解锁陈列柜的柜门后全程图像信息的前提下，尽量减少所需处理的图像的数据量。

在本公开的一种实施方式中，方法还包括：

获取多张第一抽帧图像的数量减去多张第一抽帧图像的数量得到的抽帧数量；

响应于抽帧数量小于或等于预设抽帧数量，对多张第一抽帧图像进行补帧，以获取多张补帧图像。

在本公开一种实施方式中，对多张第一抽帧图像进行补帧，可以为基于预先获取的算法，将多张第一抽帧图像代入进行计算以获取多张补帧图像，示例性的，可以根据多张第一抽帧图像中任两个相邻的第一抽帧图像基于补帧算法进行计算，以获取待补帧图像，并将该待补帧图像插入该任两个相邻的第一抽帧图像，以获取包括多张第一抽帧图像的多张补帧图像。或者，也可以获取预先训练得到的补帧模型，将多张第一抽帧图像作为输入，输入该补帧模型，以获取该补帧模型输出的多张补帧图像。

在本公开提供的技术方案中，考虑到在用户的手部移动过快时，会导致抽帧数量较小，此时基于多张第一抽帧图像可能无法对用户的手部轨迹进行可靠跟踪，因此，通过获取多张第一抽帧图像的数量减去多张第一抽帧图像的数量得到的抽帧数量；响应于抽帧数量小于或等于预设抽帧数量，对多张第一抽帧图像进行补帧，以获取多张补帧图像，可以确保补帧得到的多张补帧图像的数量较多，基于多张补帧图像能够对用户的手部轨迹进行可靠跟踪，有助于提高基于多张补帧图像确定从陈列柜中被移出或移入的物品的准确率，改善了用户体验。

在本公开的一种实施方式中，多张补帧图像的数量减去多张第一抽帧图像的数量得到的补帧数量，大于或等于预设抽帧数量减去抽帧数量得到的数量差。

在本公开提供的技术方案中，通过限定张补帧图像的数量减去多张第一抽帧图像的数量得到的补帧数量，大于或等于预设抽帧数量减去抽帧数量得到的数量差，可以较为方便的对用于确定从陈列柜中被移出或移入的物品的图像的数量进行设置，改善了用户体验。

在本公开的一种实施方式中，方法还包括：

获取柜门开启指示信息，柜门开启指示信息用于指示陈列柜的柜门被开启；

响应于柜门开启指示信息，获取多张待处理图像。。

在本公开的一种实施方式中，获取柜门开启指示信息，可以理解为接收陈列柜的柜门锁定装置发送的柜门开启指示信息，也可以理解为接收其他装置或系统发送的柜门开启指示信息。

在本公开提供的技术方案中，通过获取柜门开启指示信息，并响应于柜门开启指示信息，获取多张待处理图像。，可以在不影响确定从陈列柜中被移出或移入的物品的准确率的前提下，尽量减少所获取的待处理图像的数据量，降低了处理成本。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图9示出根据本公开一实施方式的图像数据处理装置的示意性结构框图，该图像数据处理装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图9所示，所述图像数据处理装置包括：

图像数据获取模块，被配置为获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在所述多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；

抽帧图像确定模块，被配置为在多张柜门解锁图像中确定多张第一待抽帧图像，其中，第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，目标图像区域包括陈列柜的物品出入口的至少一部分；

移动距离获取模块，被配置为在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域；

抽帧模块，被配置为根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间。

上述技术方案，通过获取由陈列柜采集的多张待处理图像，并在多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像，在多张柜门解锁图像中确定多张第一待抽帧图像，其中，由于第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，而目标图像区域包括陈列柜的物品出入口的至少一部分，因此第一待抽帧图像包括用户运动中的、可能对陈列柜的物品储藏区中的物品进行操作的肢体的几率较高；在每张第一待抽帧图像中确定至少一个变化区域，并获取多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中变化区域为目标像素的比例大于或等于目标像素比例阈值，且目标像素的数量大于或等于第二目标像素数量阈值的区域，因此变化区域可以理解为运动中的用户肢体所在的区域；根据变化区域移动距离对多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，其中，由于多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间，因此可以在尽量减少多张第一抽帧图像的数据量的前提下，确保基于抽帧得到的多张第一抽帧图像也能够得到较为连贯的、可能对陈列柜的物品储藏区中的物品进行操作的用户肢体的移动轨迹，降低了需处理的图像数据的数据量，并且有助于提高基于多张第一抽帧图像确定被用户肢体从陈列柜中被移出或移入的物品的准确率，从而降低了数据处理成本，改善了用户体验。

本公开还公开了一种电子设备，图10示出根据本公开一实施方式的电子设备的示意性结构框图，如图10所示，所述电子设备包括存储器和处理器；其中所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法步骤。

图11是适于用来实现根据本公开一实施方式的图像数据处理方法的计算机系统的结构示意图。如图11所示，计算机系统包括处理单元，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行上述实施方式中的各种处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。处理单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，所述处理单元可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

另外，本公开还提供了一种计算机程序产品，该计算机程序产品中存储有计算机程序，当所述计算机程序被处理器执行时，使所述处理器至少可以实现如前述实施例中提供的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像数据处理方法，其特征在于，所述方法包括：

获取由陈列柜采集的根据采集时间排列的多张待处理图像，并在所述多张待处理图像中确定采集时间位于柜门解锁时间后的多张柜门解锁图像；

在所述多张柜门解锁图像中确定多张第一待抽帧图像，其中，所述第一待抽帧图像的目标图像区域中目标像素的个数大于或等于第一目标像素数量阈值，所述目标像素为像素值与柜门解锁底图中对应位置像素的像素值之间的像素值差大于或等于像素差阈值的像素，所述目标图像区域包括所述陈列柜的物品出入口的至少一部分；

在每张第一待抽帧图像中确定至少一个变化区域，并获取所述多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，其中所述变化区域为所述目标像素的比例大于或等于目标像素比例阈值，且所述目标像素的数量大于或等于第二目标像素数量阈值的区域；

根据所述变化区域移动距离对所述多张第一待抽帧图像进行抽帧，以获取多张第一抽帧图像，所述多张第一抽帧图像中任两张相邻第一抽帧图像中的对应变化区域的移动距离属于变化区域移动距离区间。

2.根据权利要求1所述的图像数据处理方法，其特征在于，所述获取所述多张第一待抽帧图像中任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

根据变化区域中对应位置像素的像素值计算分别位于所述任两张相邻的第一待抽帧图像中的任一对变化区域之间的相似度；

获取所述任两张相邻的第一待抽帧图像中变化区域的位置；

根据相似度大于或等于相似度阈值、且分别位于所述任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算所述任两张相邻的第一待抽帧图像对应的变化区域移动距离。

3.根据权利要求2所述的图像数据处理方法，其特征在于，所述获取所述任两张相邻的第一待抽帧图像中变化区域对应的位置，包括：

根据所述任两张相邻的第一待抽帧图像中变化区域内像素的图像位置获取所述任两张相邻的第一待抽帧图像中变化区域对应的位置；

或，根据所述任两张相邻的第一待抽帧图像中变化区域内像素的景深信息获取所述任两张相邻的第一待抽帧图像中变化区域对应的位置。

4.根据权利要求2所述的图像数据处理方法，其特征在于，所述根据相似度大于或等于相似度阈值、且分别位于所述任两张相邻的第一待抽帧图像中的任一对变化区域对应的位置计算所述任两张相邻的第一待抽帧图像对应的变化区域移动距离，包括：

响应于分别位于所述任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域仅包括一对变化区域，根据所述一对变化区域对应的位置计算所述任两张相邻的第一待抽帧图像对应的变化区域移动距离；

或，响应于分别位于所述任两张相邻的第一待抽帧图像中、且相似度大于或等于相似度阈值的变化区域包括多对变化区域，根据所述多对变化区域中位置变化最大的一对变化区域对应的位置计算所述任两张相邻的第一待抽帧图像对应的变化区域移动距离。

5.根据权利要求1所述的图像数据处理方法，其特征在于，所述方法还包括：

在所述多张柜门解锁图像中确定多张第二待抽帧图像，所述第二待抽帧图像的采集时间早于所述多张第一待抽帧图像的采集时间，和/或所述第二待抽帧图像的采集时间晚于所述多张第一待抽帧图像的采集时间；

根据所述采集时间对所述多张第二待抽帧图像进行抽帧，以获取多张第二抽帧图像，所述多张第二抽帧图像中任两张相邻第二抽帧图像各自对应的采集时间之间的时间差属于第二采集时间差区间。

6.根据权利要求1-5中任一项所述的图像数据处理方法，其特征在于，所述方法还包括：

获取所述多张第一抽帧图像的数量减去所述多张第一抽帧图像的数量得到的抽帧数量；

响应于所述抽帧数量小于或等于预设抽帧数量，对所述多张第一抽帧图像进行补帧，以获取多张补帧图像。

7.根据权利要求6所述的图像数据处理方法，其特征在于，所述多张补帧图像的数量减去所述多张第一抽帧图像的数量得到的补帧数量，大于或等于所述预设抽帧数量减去所述抽帧数量得到的数量差。

8.根据权利要求1-5中任一项所述的图像数据处理方法，其特征在于，所述方法还包括：

获取柜门开启指示信息，所述柜门开启指示信息用于指示所述陈列柜的柜门被开启；

响应于所述柜门开启指示信息，获取所述多张待处理图像。

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-7任一项所述的方法。

Images