CN109949479A - 基于图像差异的数据处理方法、装置和智能售货机 - Google Patents

Abstract

本申请公开了一种基于图像差异的数据处理方法、装置和智能售货机。其中，方法包括：接收图像采集装置发送的智能售货机内物品的第一图像；基于所述第一图像计算第一图像指纹；和在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。采用该方法，能够降低智能售货机上传图片的数量和频率，减少带宽占用量；由于比较图像指纹能够提高图像对比的速度，因此可以提高拍摄频率，从而降低由于两次图像采集间隔过大带来的额外识别延迟，由于传送给服务器的图像数量和传送次数降低，因此减少了服务资源的占用，提高了处理效率。

Description

基于图像差异的数据处理方法、装置和智能售货机

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于图像差异的数据处理方法、装置和智能售货机，更具体地涉及一种用于智能售货机的基于图像差异的数据处理方法、装置和采用该方法或装置的智能售货机。

背景技术

现有的智能无人售货机，在基于视觉识别的方案中，为了节省设备的成本以及方便识别模型的维护，通常采用的方法是：在售卖过程中本地设备按照一定频次采集图像上传到云端进行识别，再将识别结果实时反馈到设备并展示在本地设备屏幕上。该方法的缺点包括：第一，带宽占用过大：用户拿取商品的过程中，为了在较短的时间展示用户拿取的商品，设备本地摄像机需要以较高的频次进行图像采集，从而给传输带宽带来压力。第二，产生额外的相应延迟：为了满足部署环境的带宽限制，只能通过降低每秒摄像机采集的帧率，然而这样会给图像识别带来额外延迟。第三，占用了过多的服务资源：相同数量的云端服务资源的前提下，能够支持的智能售货机数量与服务的带宽以及每一个购物流程中云端推断该服务需要识别的图片数量有关。采用高频次的图像采集推断方式，会占用网络带宽、服务器带宽以及推断服务的资源。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的第一个方面，提供了一种基于图像差异的数据处理方法，应用于智能售货机，该方法包括：

图像接收步骤：接收图像采集装置发送的智能售货机内物品的第一图像；

图像指纹计算步骤：基于所述第一图像计算第一图像指纹；

图像指纹更新步骤：在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

采用该方法，能够降低智能售货机上传图片的数量和频率，减少带宽占用量；由于比较图像指纹能够提高图像对比的速度，因此可以提高拍摄频率，从而降低由于两次图像采集间隔过大带来的额外识别延迟，由于传送给服务器的图像数量和传送次数降低，因此减少了服务资源的占用，提高了处理效率。

可选地，所述图像指纹计算步骤包括：

灰度化处理步骤：基于所述第一图像得到灰度图像；

图像指纹获取步骤：将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

该方法能够通过对图像像素的处理，得到能够表征该图像的图像指纹，并且该图像指纹数据量很小，易于计算和比较。

可选地，在所述图像指纹更新步骤中，所述当前图像包括以下图像中的至少一个：所述第一图像或者所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

本申请将更清晰的图像提供给服务器，能够使服务器更好地进行图像差异的比较，进而精确判断出用户拿出或放回物品的类型和数量。

可选地，所述灰度化处理步骤采用下列方法之一实现：

基于预定像素尺寸对所述第一图像进行归一化处理，对归一化的图像进行灰度化处理，得到灰度图像；或

在所述第一图像为YUYV格式图像的情况下，将所述第一图像的Y分量作为灰度图像。

可选地，所述灰度阈值为所述灰度图像的像素值的平均值。

可选地，在图像采集步骤中，将图像采集装置设置为YUYV图像采集模式，接收图像采集装置发送的智能售货机内物品的第一图像；

相应地，在所述图像指纹更新步骤中：将所述图像采集装置设置为M-JPEG图像采集模式，接收所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

根据本申请的第二个方面，提供了一种基于图像差异的数据处理装置，应用于智能售货机，该装置包括：

图像接收模块，其配置成用于接收图像采集装置发送的智能售货机内物品的第一图像；

图像指纹计算模块，其配置成用于基于所述第一图像计算第一图像指纹；和

图像指纹更新模块，其配置成用于在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

采用该装置，能够降低智能售货机上传图片的数量和频率，减少带宽占用量；由于比较图像指纹能够提高图像对比的速度，因此可以提高拍摄频率，从而降低由于两次图像采集间隔过大带来的额外识别延迟；由于传送给服务器的图像数量和传送次数降低，因此减少了服务资源的占用，提高了处理效率。

可选地，所述图像指纹计算模块包括：

灰度化处理模块，其配置成用于基于所述第一图像得到灰度图像；

图像指纹获取模块，其配置成用于将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

可选地，所述图像接收模块用于将图像采集装置设置为YUYV图像采集模式，接收图像采集装置发送的智能售货机内物品的第一图像；

相应地，所述图像指纹更新模块用于将所述图像采集装置设置为M-JPEG图像采集模式，接收所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

根据本申请的第三个方面，提供了一种智能售货机，包括相互连接的图像采集装置和计算设备，其中，所述图像采集装置用于采集智能售货机内的物品的图像并发送给计算设备，所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

本申请的智能售货机能够通过图像指纹的变化迅速判断是否有用户拿出或放回物品，在判断出有用户行为的情况下，将有内容变化的图像发送给服务器进行进一步的判断，从而可以减少带宽占用量，降低额外识别延迟，减少了对服务资源的占用，提高服务器的处理效率。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解的是，这些附图未必是按比例绘制的。在附图中：

图1是根据本申请的一个实施例的基于图像差异的数据处理方法的示意性流程图；

图2是根据本申请的一个实施例的基于图像差异的数据处理装置的示意框图；

图3是根据本申请的一个实施例的智能售货机的示意框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例，还提供了一种基于图像差异的数据处理方法的实施例。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以应用于智能售货机。本申请的智能售货机设置有至少一层货架，在货架正上方或者侧上方安装有至少一个图像采集装置，用于对货架上的商品进行实时拍摄。用户可以从货架上自行拿取物品，图像采集装置采集货架上物品的图像或视频，通过图像对比能够判断用户取走了何种物品，进而能够自动计算用户购买的物品金额，便于用户及时计算。该智能售货机具备数据处理功能，内部安装有计算装置或者类似的运算装置。

在上述环境下，本申请提供的一种基于图像差异的数据处理方法。图1是根据本申请的一个实施例的基于图像差异的数据处理方法的示意性流程图。该方法可以包括以下步骤中的一个或多个：

S100图像接收步骤：接收图像采集装置发送的智能售货机内物品的第一图像。

S300图像指纹计算步骤：基于所述第一图像计算第一图像指纹。

S500图像指纹更新步骤：在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

采用该方法，能够降低智能售货机上传图片的数量和频率，减少带宽占用量；由于比较图像指纹能够提高图像对比的速度，因此可以提高拍摄频率，从而降低由于两次图像采集间隔过大带来的额外识别延迟，由于传送给服务器的图像数量和传送次数降低，因此减少了服务资源的占用，提高了处理效率。

本申请通过图像指纹快速比较两帧图像的相似度，从而判断图像是否有实质上的变化。如果图像没有实质上变化则放弃采集的该帧图像。例如，假设在2分钟的购物时间内，用户取出商品5次，放回商品3次，智能售货机共安装有4个摄像机。如果采用传统的1帧/秒的采集频率，则需要采集480张图像。采用本申请的方法，只需要在图像变化时进行采集，由于每次变化只影响一个摄像机，也就是说只需要一个摄像机采集的图像。因此，一共需要上传8张图像，从而大大减少了需要传输的数据量。

可选地，所述S300图像指纹计算步骤可以包括以下步骤中的一个或多个：

灰度化处理步骤：基于所述第一图像得到灰度图像。

图像指纹获取步骤：将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

该方法能够通过对图像像素的处理，得到能够表征该图像的图像指纹，由于图像指纹数据量很小，易于进行比较，从而大大提高了图像之间的比较速度。

在一个可选实施方案中，所述灰度化处理步骤采用下列方法实现：基于预定像素尺寸对所述第一图像进行归一化处理，对归一化的图像进行灰度化处理，得到灰度图像。其中，归一化处理方式为对第一图像进行缩放，使得第一图像达到预定像素尺寸，例如，8*8像素大小。预定像素尺寸可以依据灵敏度的要求进行调整。在灰度化处理过程中，可以通过公式：Gray＝R*0.299+G*0.587+B*0.114计算像素的灰度值，其中，Gray表示该像素的灰度值，R、G、B分别表示该像素的红、绿、蓝三个通道的颜色值。

在一个可选实施方案中，所述灰度化处理步骤采用下列方法实现：在所述第一图像为YUYV格式图像的情况下，将所述第一图像的Y分量作为灰度图像。

在图像指纹获取步骤中，所述灰度阈值可以为所述灰度图像的像素值的平均值。将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，在图像像素值大于或等于灰度阈值的情况下，该像素的二进制特征为1，否则为0，从而得到该灰度图像的二进制特征。该二进制特征可以是矩阵、向量或者二进制值。优选为二进制值。本申请不对二进制值的排列顺序进行限制，只要对所有图片采用相同处理方式即可。例如，可以按照灰度图像的像素行或者像素列的顺序逐一与灰度阈值进行比较，将得到的二进制值依次排列生成相应的二进制特征。可选地，图像指纹还可使用Average hashing、Difference hashing、Perceptionhashing、Wavelet hashing等算法实现。

对于S500图像指纹更新步骤，在初始情况下，没有任何图像被识别，此时，基准图像指纹可以设为全0的二进制值。采集线程不断采集图像，计算图像指纹如果最新采集的图像指纹与基准图像指纹不一致，则上传图像。在上传成功的情况下，则利用最新采集的图像指纹更新基准图像指纹；否则，则将基准图像指纹设置为最后一次成功识别的图像指纹。

在本申请中，图像指纹的计算在指纹比较过程中是主要的运算开销。通过调整摄像机参数，采集更小的图像以及调整色彩模式可以减少这种开销。

在一种可选实施方案中，智能售货机可以将第一图像作为当前图像传送给服务器，以便所述服务器基于所述当前图像和与所述基准图像指纹对应的图像之间的差异判断使用所述智能售货机的用户的行为。此时，摄像机可以采集M-JPEG格式的图像或者YUYV格式的图像。

在另一种可选实施方案中，本申请可以通过将图像采集交替设置为两种模式，即，M-JPEG图像采集模式和YUYV图像采集模式来进一步减少运算量。

M-JPEG图像采集模式也可以称作推断图像采集模式。在该模式下，调整摄像机参数为M-JPEG图像采集、尺寸为640*320像素，以便采集压缩比更大、更清晰的图像用于服务器进行用户行为的推断。

YUYV图像采集模式也可以称作指纹采集模式。在该模式下，调整摄像机参数为YUYV图像采集，摄像机支持的最小尺寸为160*120像素。

在YUYV图像采集模式下，可以采集像素更低的图像，从而提高图像指纹计算的速度。在图像指纹与基准图像指纹不一致的情况下，将摄像机调成M-JPEG图像采集模式采集更清晰的图。由于图像处理速度和用户动作相比，速度更快，所以两次采集图像的时间间隔非常短，相当于实时采集当前物品的图像。本申请将更清晰的图像提供给服务器，能够使服务器更好地进行图像差异的比较，进而精确判断出用户拿出或放回物品的类型和数量。可选地，服务器可以是云端服务器。

对于智能售货机中物品变化的感知，除了基于图像指纹比较进行图像变化外，还可以单独使用以下方法或者图像与以下方法相结合来判断：例如，利用重力感应数据，当重力发生变更则进行图像采集并推断；或者使用光幕传感器，当光幕传感器信号发生变化时进行图像采集并推断。

根据本申请实施例，还提供了一种基于图像差异的数据处理装置。图2是根据本申请的一个实施例的基于图像差异的数据处理装置的示意框图。该装置可以包括：

图像接收模块100，其配置成用于接收图像采集装置发送的智能售货机内物品的第一图像。

图像指纹计算模块300，其配置成用于基于所述第一图像计算第一图像指纹。

图像指纹更新模块500，其配置成用于在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

采用该装置，能够降低智能售货机上传图片的数量和频率，减少带宽占用量；由于比较图像指纹能够提高图像对比的速度，因此可以提高拍摄频率，从而降低由于两次图像采集间隔过大带来的额外识别延迟；由于传送给服务器的图像数量和传送次数降低，因此减少了服务资源的占用，提高了处理效率。

可选地，所述图像指纹计算模块300可以包括：

灰度化处理模块，其配置成用于基于所述第一图像得到灰度图像；

图像指纹获取模块，其配置成用于将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

该装置能够通过对图像像素的处理，得到能够表征该图像的标识，并且该标识数据量很小，易于计算和比较。

在一个可选实施方案中，所述灰度化处理模块用于：基于预定像素尺寸对所述第一图像进行归一化处理，对归一化的图像进行灰度化处理，得到灰度图像。

在一个可选实施方案中，所述灰度化处理模块还用于：在所述第一图像为YUYV格式图像的情况下，将所述第一图像的Y分量作为灰度图像。

可选地，所述灰度阈值可以为所述灰度图像的像素值的平均值。

可选地，所述图像接收模块用于将图像采集装置设置为YUYV图像采集模式，接收图像采集装置发送的智能售货机内物品的第一图像；相应地，所述图像指纹更新模块用于将所述图像采集装置设置为M-JPEG图像采集模式，接收所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

根据本申请实施例，还提供了一种智能售货机。图3是根据本申请的一个实施例的智能售货机的示意框图。参见图3，智能售货机1包括相互连接的图像采集装置101和计算设备102，其中，所述图像采集装置101用于采集智能售货机内的物品的图像并发送给计算设备，所述计算设备102包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述基于图像差异的数据处理方法中的任一个。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于图像差异的数据处理方法，应用于智能售货机，该方法包括：

图像接收步骤：接收图像采集装置发送的智能售货机内物品的第一图像；

图像指纹计算步骤：基于所述第一图像计算第一图像指纹；和

图像指纹更新步骤：在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

2.根据权利要求1所述的方法，其特征在于，所述图像指纹计算步骤包括：

灰度化处理步骤：基于所述第一图像得到灰度图像；和

图像指纹获取步骤：将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

3.根据权利要求1所述的方法，其特征在于，在所述图像指纹更新步骤中，所述当前图像包括以下图像中的至少一个：所述第一图像或者所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

4.根据权利要求2所述的方法，其特征在于，所述灰度化处理步骤采用下列方法之一实现：

基于预定像素尺寸对所述第一图像进行归一化处理，对归一化的图像进行灰度化处理，得到灰度图像；或

在所述第一图像为YUYV格式图像的情况下，将所述第一图像的Y分量作为灰度图像。

5.根据权利要求2所述的方法，其特征在于，所述灰度阈值为所述灰度图像的像素值的平均值。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在所述图像接收步骤中，将图像采集装置设置为YUYV图像采集模式，接收图像采集装置发送的智能售货机内物品的第一图像；

相应地，在所述图像指纹更新步骤中：将所述图像采集装置设置为M-JPEG图像采集模式，接收所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

7.一种基于图像差异的数据处理装置，应用于智能售货机，该装置包括：

图像接收模块，其配置成用于接收图像采集装置发送的智能售货机内物品的第一图像；

图像指纹计算模块，其配置成用于基于所述第一图像计算第一图像指纹；和

图像指纹更新模块，其配置成用于在所述第一图像指纹与基准图像指纹的差异满足一定条件的情况下，将所述智能售货机内物品的当前图像传送给服务器，并利用所述第一图像指纹更新所述基准图像指纹。

8.根据权利要求7所述的装置，其特征在于，所述图像指纹计算模块包括：

灰度化处理模块，其配置成用于基于所述第一图像得到灰度图像；和

图像指纹获取模块，其配置成用于将所述灰度图像中的每一个像素值逐一与灰度阈值进行比较，得到该灰度图像的二进制特征，将所述二进制特征作为所述第一图像的图像指纹。

9.根据权利要求7或8所述的装置，其特征在于，所述图像接收模块用于将图像采集装置设置为YUYV图像采集模式，接收图像采集装置发送的智能售货机内物品的第一图像；

相应地，所述图像指纹更新模块用于将所述图像采集装置设置为M-JPEG图像采集模式，接收所述图像采集装置采集的清晰度高于所述第一图像的第二图像。

10.一种智能售货机，包括相互连接的图像采集装置和计算设备，其中，所述图像采集装置用于采集智能售货机内的物品的图像并发送给计算设备，所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。