CN108182417B - 出货检测方法、装置、计算机设备及自动售货机 - Google Patents

Abstract

本申请涉及一种出货检测方法、装置、计算机可读存储介质及计算机设备，所述方法包括：获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；基于所述第一场景图像获得背景模型；对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；基于所述目标差分图像提取目标物的特征信息；基于所述目标物的特征信息确定出货结果。本申请提供的方案可以提高检测的准确性及稳定性，简化维护工作，并且在进行系统的升级更新时，只需对软件进行升级优化，减少了硬件资源的浪费。

Description

出货检测方法、装置、计算机设备及自动售货机

技术领域

本申请涉及计算机技术领域，特别是涉及一种出货检测方法、装置、计算机可读存储介质、计算机设备及自动售货机。

背景技术

自动售货机是指能够根据用户的支付行为自动付货的机器。近年来，自动售货机凭借其人工成本投入低、受场地限制小等一系列优势，在车站、写字楼、学校等公共场合逐渐流行。为确保自动售货机正常工作，需要进行出货检测，即在检测到用户完成相应的支付行为后，检测目标货物是否出货成功。

传统方法是，在自动售货机的取货区域设置红外发射器和红外接收器，其中，红外发射器用于发射红外信号，红外接收器用于接收该红外发射器发射的红外信号。众所周知，红外发射器和红外接收器之间存在非透明物体与否，对应红外接收器输出不同的电平信号，因而传统方法根据红外接收器输出的电平信号的情况判断是否出货。对于传统方法，当红外发射器和红外接收器出现故障时，需要维护人员实地检修，然而，自动售货机的取货区域通常设置有多对红外发射器和红外接收器，维护繁琐。

发明内容

基于此，有必要针对传统方法中维护繁琐的技术问题，提供一种出货检测方法、装置、计算机可读存储介质、计算机设备及自动售货机。

一种出货检测的方法，包括：

获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

基于所述第一场景图像获得背景模型；

对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

基于所述目标差分图像提取目标物的特征信息；

基于所述目标物的特征信息确定出货结果。

在一个实施例中，所述基于所述目标差分图像提取目标物的特征信息的步骤，包括：

获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

基于当前待识别图像提取目标物的特征信息；

在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于所述目标物的特征信息确定出货结果的步骤，包括：

在当前提取到的所述目标物的特征信息满足预定迭代停止条件时，基于该当前提取到的所述目标物的特征信息确定出货结果。

在一个实施例中，在所述基于当前待识别图像提取目标物的特征信息的步骤之前，还包括：

当所述当前待识别图像中包含的高亮度像素点的总数超过第一预定数值时，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

当所述当前待识别图像中包含的高亮度像素点的总数未超过所述第一预定数值时，基于所述当前待识别图像提取目标物的特征信息。

在一个实施例中，所述基于当前二值化阈值对当前待识别图像进行二值化处理的步骤，包括：

在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理；

所述返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤的步骤，包括：

返回在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理的步骤。

在一个实施例中，所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

基于当前待识别局部图像提取所述目标物的特征信息，所述当前待识别局部图像为对当前待识别图像进行行列投影处理后获得的与目标物所处区域对应的图像。

在一个实施例中，所述基于所述第一场景图像获得背景模型的步骤，包括：

获取预定的初始高斯混合模型，所述初始高斯混合模型中包含的各像素模型与所述第一场景图像中包含的各像素点一一对应，且各所述像素模型均包含若干个子高斯模型；

在所述第一场景图像包含的各像素点中，分别查找所述初始高斯混合模型中的各像素模型的样本像素点，其中，对于所述初始高斯混合模型中的任一像素模型，该像素模型的样本像素点包括位于以该像素模型在所述第一场景图像中唯一对应的像素点为中心的预定误差范围内的各像素点；

分别将各所述像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对所述初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型；

基于所述更新后高斯混合模型，获得背景模型。

一种出货检测装置，包括：

场景图像获取模块，用于获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

背景模型构建模块，用于基于所述第一场景图像获得背景模型；

差分图像获取模块，用于对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

特征信息提取模块，用于基于所述目标差分图像提取目标物的特征信息；

出货结果确定模块，用于基于所述目标物的特征信息确定出货结果。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述各实施例提供的出货检测方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述各实施例提供的出货检测方法的步骤。

一种自动售货机，包括摄像装置和上述实施例提供的计算机设备；

所述摄像装置用于采集执行出货事件前取货区域对应的第一场景图像和执行所述出货事件后所述取货区域对应的第二场景图像，以及将该第一场景图像和该第二场景图像发送至所述计算机设备。

上述出货检测方法、装置、计算机可读存储介质、计算机设备和自动售货机，获取执行出货事件前取货区域对应的第一场景图像、以及执行该出货事件后该取货区域对应的第二场景图像，再基于该第一场景图像获得背景模型，并对该背景模型和该第二场景图像进行差分处理，获得目标差分图像，进而基于该目标差分图像提取目标物的特征信息，最终基于提取到的目标物的特征信息确定出货结果。可见，本申请通过图像检测及分析的方式进行出货检测，提高了检测的准确性及稳定性，简化了维护工作，并且在进行系统的升级更新时，只需对软件进行升级优化，减少了硬件资源的浪费。

附图说明

图1为一个实施例中自动售货机的内部结构示意图；

图2为一个实施例中自动售货机的外部结构示意图；

图3为一个实施例中出货检测方法的流程示意图；

图4为一个实施例中第一场景图像的示意图；

图5为一个实施例中第二场景图像的示意图；

图6为一个实施例中初始高斯混合模型的概念图；

图7为一个实施例中视频序列的概念图；

图8为一个实施例中第一场景图像的像素点分布示意图；

图9为另一个实施例中第二场景图像的像素点分布示意图；

图10为另一个实施例中出货检测方法的流程示意图；

图11为一个实施例中出货检测装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请各实施例提供的出货检测方法可应用于自动售货机，如图1和图2所示，该自动售货机可以包括升降货梯110、取物口120、摄像装置130和计算机设备(未图示)。

在实际应用中，当用户需要购买自动售货机中的货物时，用户可以通过现金支付或电子支付(如银行卡支付、微信支付或支付宝支付)等方式进行付款，用户完成付款后，自动售货机开始出货。具体地，由升降货梯120将目标货物(即需要交付给用户的货物)从存货区域运送至取货口130附近的取货区域，相应地，若出货成功，该目标货物将会被放置在该取货区域，用户则可以通过取货口130取走该目标货物。

在自动售货机工作的过程中，还需要进行出货检测，即判断出货是否成功。具体地，可由摄像装置130采集执行出货事件前取货区域对应的第一场景图像和执行该出货事件后所述取货区域对应的第二场景图像，以及将该第一场景图像和该第二场景图像发送至所述计算机设备。其中，该摄像装置130可以用独立的摄像头来实现，且该摄像头对准该自动售货机内的取货区域进行拍摄。进而，由计算机设备执行本申请任一实施例提供的出货检测方法的各步骤，以确定出货结果。此外，摄像装置130与计算机设备可以建立有线连接或无线连接，以实现数据通信。

在一个实施例中，提供了一种出货检测方法。本实施例主要以该方法应用于上述图1和图2示出的自动售货机为例进行说明。如图3所示，该出货检测方法具体可包括如下步骤S302至步骤S310。

S302，获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像。

出货事件，指的是控制自动售货机中的出货组件(如图1示出的升降货梯110)从指定存货区域运动至取货区域的事件。其中，取货区域指的是自动售货机中用于向用户交付目标货物的区域。此外，若出货成功，执完出货事件后，目标货物将从存货区域移动至取货区域。

可以理解的是，在执行出货事件之前，目标货物不会出现在取货区域内，相应地，如图4所示，在第一场景图像中，取货区域内不包含该目标货物，而仅包含背景组件。在执行出货事件之后，若出货成功，目标货物则会出现在取货区域内，相应地，如图5所示，在第二场景图像中，取货区域内包含该目标货物510和未被该目标货物遮挡的背景组件；若出货失败，目标货物仍不会出现在取货区域内，相应地，与第一场景图像类似，在第二场景图像中，取货区域内不包含目标货物，而仅包含背景组件。

在一个具体示例中，用户完成付款后，计算机设备控制摄像装置启动，开始进行视频拍摄，并提取当前时刻对应的第一拍摄图像，该第一拍摄图像即为第一场景图像。随后，计算机设备开始执行出货事件，即控制出货组件从指定存货区域运动至取货区域(下文简称控制升降货梯进行出货运动)，出货运动完成后，提取当前时刻对应的第二拍摄图像，该第二拍摄图像即为第二场景图像。

更具体地，以图1示出的自动售货机为例进行说明，出货组件为升降货梯110。用户未完成付款时，该升降货梯110处于静止状态，且停留在自动售货机的底部。此外，取货区域与外界环境之间设置有门组件，当该门组件处于开启状态时，取货区域与外界环境连通，用户可以接触到位于取货区域内的物体；当该门组件处于关闭状态时，取货区域与外界环境未连通，用户无法接触到位于取货区域内的物体。基于上述结构，用户完成付款后，计算机设备向摄像装置发送开始出货信号，以控制摄像头启动，从而开始进行视频拍摄，与此同时计算机设备提取第一拍摄图像，该第一拍摄图像即为第一场景图像。随后，计算机设备通知升降货梯110上升至指定存货区域，该升降货梯110进行接货操作后，再运行至位于自动售货机底部的取货区域。在该升降货梯110到达取货区域之后，计算机设备控制上述门组件开启之前，提取第二拍摄图像，该第二拍摄图像即为第二场景图像。

此外，摄像装置将拍摄获得的视频传输至计算机设备，原始视频流为压缩数据，而计算机设备分析所需的图像应为无压缩数据，因此可以先对原始视频流进行解码处理。

需要说明的是，在上述示例中，拍摄视频的目的是保留用于表征出货过程的影像，便于在出货失败的情况下，快速且准确地找到故障原因，进而使维护人员能够快速且准确地确定有针对性的解决措施。

可以理解的是，第一场景图像和第二场景图像可以采用任一可能的方式进行采集，而不限于从视频中提取。在其他可选示例中，也可以控制摄像装置在指定时刻进行图片拍摄，以此来采集第一场景图像和第二场景图像，在此情况下，则无需拍摄视频。

S204，基于所述第一场景图像获得背景模型。

其中，背景模型用于表征拍摄所用的背景环境的特征，其中，背景环境包括取货区域。

此外，在本实施例中，可将摄像装置设置为固定状态，即在拍摄过程中，摄像装置所处的位置和拍摄的视角均不会发生改变。在此情况下，可以基于第一场景图像和高斯混合模型(Gaussian Mixed Model，GMM)获得背景模型。

S206，对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像。

其中，差分处理指的是将背景模型和第二场景图像对应相减的处理。目标差分图像指的是用于表征背景模型与第二场景图像的差别的图像。

可以理解的是，若第二场景图像中包含除背景组件以外的物体的图像，对背景模型和第二场景图像进行差分处理后，基于视觉效果，在获得的目标差分图像中，背景组件的图像将被隐藏，而该物体的图像将被突出显示。

S208，基于所述目标差分图像提取目标物的特征信息。

其中，目标物指的是目标差分图像中突出显示的物体。可以理解的是，若执行完出货事件后，目标货物出现在取货区域中，目标差分图像中将突出显示该目标货物的图像。

目标物的特征信息可用于表征该目标物的尺寸和形状。在一个具体示例中，目标物的特征信息可以包括目标物所占像素点的总数以及目标物的像素占比，该像素占比为目标物所占像素点的总数与目标差分图像的像素点总数的比值。

S210，基于所述目标物的特征信息确定出货结果。

基于前文所述，目标物的特征信息可用于表征该目标物的尺寸和形状，因而可以将提取到的目标物的特征信息与预定的达标货物特征信息进行比对，从而确定出货结果，即判断是否成功出货。

上述出货检测方法，获取执行出货事件前取货区域对应的第一场景图像、以及执行该出货事件后该取货区域对应的第二场景图像，再基于该第一场景图像获得背景模型，并对该背景模型和该第二场景图像进行差分处理，获得目标差分图像，进而基于该目标差分图像提取目标物的特征信息，最终基于提取到的目标物的特征信息确定出货结果。可见，本申请通过图像检测及分析的方式进行出货检测，提高了检测的准确性及稳定性，简化了维护工作，并且在进行系统的升级更新时，只需对软件进行升级优化，减少了硬件资源的浪费。

为对本申请的方案进行更详细的说明，下文对本申请的一些可选实施例进行具体描述或举例说明。

在一个实施例中，所述基于所述第一场景图像获得背景模型的步骤，包括：

基于进行过预处理的第一场景图像获得背景模型，所述预处理包括减噪处理。

需要说明的是，由于摄像装置本身的误差因素或实际工作环境复杂，摄像装置拍摄获得的第一场景图像中往往存在噪声，然而，噪声可能导致确定的出货结果不准确，甚至错误。

基于此，在本实施例中，在基于第一场景图像获得背景模型的步骤之前，先对第一场景图像进行预处理，该预处理包括减噪处理，以此来抑制噪声带来的负面影响，从而提高出货检测的准确性。

此外，在本实施例中，主要考虑椒盐噪声带来的负面影响，因而减噪处理可包括适用于减少椒盐噪声的减噪处理，如对第一场景图像进行中值滤波处理。可以理解的是，该减噪处理可以采用任一可能的方式实现，此处不加限定。

在一个实施例中，所述对所述背景模型和所述第二场景图像进行差分处理的步骤，包括：

对所述背景模型和进行过所述预处理的第二场景图像进行差分处理，所述预处理包括减噪处理。

基于与上一个实施例类似的考虑，本实施例中，在对所述背景模型和所述第二场景图像进行差分处理的步骤之前，先对第二场景图像进行预处理。此外，本实施例中的预处理与上一个实施例中的预处理，其具体技术特征也是类似的，此处不加赘述。

在一个实施例中，所述基于所述目标差分图像提取目标物的特征信息的步骤，包括：

获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

基于当前待识别图像提取目标物的特征信息；

在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于所述目标物的特征信息确定出货结果的步骤，包括：

在当前提取到的所述目标物的特征信息满足预定迭代停止条件时，基于该当前提取到的所述目标物的特征信息确定出货结果。

需要说明的是，在进行目标物的特征信息的提取之前，可以先对目标差分图像进行二值化处理，再基于进行过二值化处理的目标差分图像提取目标物的特征信息。可以理解的是，二值化处理可以使图像呈现出明显的黑白效果，能够简化后续的特征信息提取过程，提升提取的速度。

此外，在实际应用中，自动售货机内部设置有照明灯，摄像装置进行拍摄的过程中，往往存在光线变化，且光线多是不均匀的，尤其是当目标货物体积较大时，当其移动至取货区域时，其所处位置的周围会形成阴影。在此情况下，若基于较小的二值化阈值进行二值化处理，获得待识别图像，再基于该待识别图像提取目标物的特征信息，提取到的特征信息往往存在较大的误差，进而可能导致确定的出货结果错误。

基于此，在本实施例中，通过迭代的方式进行二值化处理，且在迭代过程中基于提取到目标物的特征信息动态地调整二值化阈值，以此来减少误检测，提高出货检测的准确度。

具体地，在第一轮迭代的过程中，获取预定的初始二值化阈值，并基于该初始二值化阈值对目标差分图像进行二值化处理，获得初始待识别图像，进而基于该初始待识别图像提取目标物的特征信息，若提取到的目标物的特征信息满足预定迭代停止条件，则基于该提取到的目标物的特征信息确定出货结果；若提取到的目标物的特征信息不满足预定迭代停止条件，则基于第一预定步进值更新该初始二值化阈值，获得更新后的二值化阈值，并继续执行第二轮迭代过程。其中，初始二值化阈值和第一预定步进值均可以基于实际需要或业务经验进行设定。

在第二轮迭代过程中，基于当前二值化阈值(第一轮迭代过程中更新后的二值化阈值)对当前待识别图像(第一轮迭代过程中获得的初始待识别图像)进行二值化处理，获得当前待识别图像，进而基于该当前待识别图像提取目标物的特征信息，若提取到的目标物的特征信息满足预定迭代停止条件，则基于该提取到的目标物的特征信息确定出货结果；若提取到的目标物的特征信息不满足预定迭代停止条件，则基于第一预定步进值更新该当前二值化阈值，并继续执行第三轮迭代过程。

在第三轮及往后的各轮迭代过程中，均与第二轮迭代过程类似，基于当前二值化阈值(上一轮迭代过程中更新后的二值化阈值)对当前待识别图像(上一轮迭代过程中进行过二值化处理后获得的待识别图像)进行二值化处理，获得当前待识别图像，进而基于该当前待识别图像提取目标物的特征信息，若提取到的目标物的特征信息满足预定迭代停止条件，则基于该提取到的目标物的特征信息确定出货结果；若提取到的目标物的特征信息不满足预定迭代停止条件，则基于第一预定步进值更新该当前二值化阈值，并继续执行第下一轮迭代过程。

此外，基于第一预定步进值更新当前二值化阈值的步骤可以包括：对第一预定步进值和当前二值化阈值进行加法运算。可以理解的是，当第一预定步进值为正数时，每经历一次更新，更新后的二值化阈值就在更新前的二值化阈值的基础上增大与第一预定步进值对应的变化量。

需要说明的是，在一个具体示例中，目标物的特征信息可以包括目标物所占像素点的总数以及目标物的像素占比，该像素占比为目标物所占像素点的总数与目标差分图像的像素点总数的比值。在此情况下，可以预先设定达标货物特征信息，即预先设定达标像素点总数和达标像素占比。

相应地，迭代停止条件可以包括：目标物所占像素点的总数与预定的达标像素点总数匹配且目标物的像素占比与预定的达标像素占比匹配，或者，目标物所占像素点的总数与预定的达标像素点总数不匹配且目标物的像素占比与预定的达标像素占比也不匹配。

亦即是说，对于目标物所占像素点的总数与预定的达标像素点总数匹配，以及目标物的像素占比与预定的达标像素占比匹配这两项条件。若仅满足任意一项条件，说明可能是待识别图像的二值化程度不够导致提取到的目标物的特征信息不准确，因此判定不满足迭代停止条件，继续对待识别图像进行二值化处理；若两项都满足或两项都不满足，其中，两项都满足说明取货区域中出现了目标货物(即出货成功)，两项都不满足通常说明取货区域中未出现目标货物(即出货失败)，这两种情况下均可判定满足迭代停止条件。

在一个实施例中，在所述基于当前待识别图像提取目标物的特征信息的步骤之前，还包括：

当所述当前待识别图像中包含的高亮度像素点的总数超过第一预定数值时，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

当所述当前待识别图像中包含的高亮度像素点的总数未超过第一预定数值时，基于所述当前待识别图像提取目标物的特征信息。

高亮度像素点，指的是亮度超过预定亮度阈值的像素点。在本实施例中，在出货成功的情况下，当前待识别图像中包括目标货物的图像，且目标货物的图像所占的像素点通常为高亮度像素点，此外，噪声对应的像素点也可能为高亮点像素。

需要说明的是，类似于图1所示的自动售货机，其摄像装置虽对准取货区域，但在拍到取货区域之余，还可能拍到自动售货机中的其他部件，相应地，拍摄获得的第二场景图像中除包含取货区域的图像外，还可能包含该其他部件的图像。并且，可以理解的是，目标货物的尺寸不能超过取货区域的尺寸，因此，在一个具体示例中，第一预定数值可以为自动售货机的取货区域的图像在第二场景图像中所占像素点的总数(下文简称取货区域所占像素点总数)。

基于此，若当前待识别图像中包含的高亮度像素点的总数超过取货区域所占像素点总数，则说明在当前待识别图像中噪声的负面影响过大，基于该当前待识别图像无法确定正确的出货结果，在此情况下，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤，即对再次对当前待识别图像进行二值化处理。相反地，若当前待识别图像中包含的高亮度像素点的总数未超过取货区域所占像素点总数，则直接基于当前待识别图像提取目标物的特征信息。

在一个实施例中，所述基于当前二值化阈值对当前待识别图像进行二值化处理的步骤，包括：

在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理；

所述返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤的步骤，包括：

返回在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理的步骤。

在本实施例中，通过迭代的方式进行二值化处理的过程中，二值化阈值逐渐增大，随着二值化阈值增大，进行二值化处理后的待识别图像将逐渐逼近目标差分图像。可见，当二值化阈值增大到一定数值时，二值化处理就不存在实质意义了。

基于此，在本实施例中，每次基于当前二值化阈值对当前待识别图像进行二值化处理之前，都先判断当前二值化阈值是否小于第二预定数值，若小于，则基于当前二值化阈值对当前待识别图像进行二值化处理；若不小于，则说明再进行二值化处理也没有实质意义了，则可以判定出货检测失败，获得出货检测失败结果。

在一个实施例中，所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

基于当前待识别局部图像提取所述目标物的特征信息，所述当前待识别局部图像为对当前待识别图像进行行列投影处理后获得的与目标物所处区域对应的图像。

需要说明的是，一般情况下，目标物的图像不会完全占据待识别图像，而是在该待识别图像中占据一个局部区域。若直接基于待识别图像提取目标物的特征信息，提取工作量较大，尤其是待识别图像的尺寸比较大的情况下。

基于此，在本实施例中，需要进行目标物的特征信息的提取时，先对当前待识别图像进行行列投影处理，获得待识别局部图像，再基于该待识别局部图像提取目标物的特征信息。其中，待识别局部图像仅包含目标物在当前待识别图像中所处的区域对应的图像。

此外，行列投影可以指将图像的像素点数进行统计和列统计，再基于统计结果生成统计波形，行列投影可以采用任一可能的方式实现，此处不加限定。

在一个实施例中，所述基于所述第一场景图像获得背景模型的步骤，包括：

获取预定的初始高斯混合模型，所述初始高斯混合模型中包含的各像素模型与所述第一场景图像中包含的各像素点一一对应，且各所述像素模型均包含若干个子高斯模型；

在所述第一场景图像包含的各像素点中，分别查找所述初始高斯混合模型中的各像素模型的样本像素点，其中，对于所述初始高斯混合模型中的任一像素模型，该像素模型的样本像素点包括位于以该像素模型在所述第一场景图像中唯一对应的像素点为中心的预定误差范围内的各像素点；

分别将各所述像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对所述初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型；

基于所述更新后高斯混合模型，获得背景模型。

需要说明的是，传统方法中，基于高斯混合模型获得背景模型的方法一般是：首先，根据视频序列中的图像帧的尺寸建立一个相同尺度的初始高斯混合模型，该初始高斯混合模型中包含的各像素模型分别与各图像帧中包含的各像素点一一对应，且各像素模型均包含K个子高斯模型，K的取值可以根据实际需求或软硬件条件进行设定，通常为3～5，并且，对于任一像素模型，用其包含的K个子高斯模型来表征视频数据帧对应的像素点的特征。

然后，对于初始高斯混合模型中的任一像素模型，以视频序列中的各图像帧的相应像素点作为样本像素点，再依次基于样本像素点中包含的各像素点的像素值，将各像素点与该像素模型中的K个子高斯模型进行匹配，并基于匹配结果对初始高斯混合模型的参数进行迭代更新，获得更新后的高斯混合模型。

具体的匹配规则可以为：如果某像素点的像素值与当前像素模型中第i个子高斯模型的均值的差的绝对值，小于该子高斯模型的标准差的2.5倍，则判定该子高斯模型与该像素点的像素值匹配。反之，若不小于该子高斯模型的标准差的2.5倍，则判定该子高斯模型与该像素点的像素值不匹配。

此外，具体的更新规则可以为：若某像素点的像素值与相应像素模型中的某子高斯模型匹配，则将该子高斯模型的权值增大，以及基于学习率调整该子高斯模型的均值和协方差矩阵，并且，对于该像素模型中不匹配的其他子高斯模型，将各不匹配的子高斯模型的权值减小，并保持该各不匹配的子高斯模型的均值和协方差矩阵不变。若该像素点的像素值与该相应像素模型中的任一子高斯模型均不匹配，则基于该像素点建立一个子高斯模型，并为该子高斯模型初始化参数，以代替该像素模型中最不可能的子高斯模型。其中，增大权值、减小权值以及调整均值和协方差矩阵可以采用任一现有的计算公式实现，此处不加限定。

以图6所示初始高斯混合模型和图7所示视频序列为例，该初始高斯混合模型包含像素模型1至像素模型25，该视频序列包括图像帧a(图像帧a中包含像素点a-1～a-25)、图像帧b(图像帧b中包含像素点b-1～b-25)和图像帧c(图像帧c中包含像素点c-1～c-25)。对于初始高斯混合模型中的像素模型1，其样本像素点包括图像帧a中的像素点a-1、图像帧b中的像素点b-1和图像帧c中的像素点c-1，基于此，依次基于像素点a-1、像素点b-1和像素点c-1的像素值，将这三个像素点与像素模型1中的K个子高斯模型进行匹配，并基于匹配结果对初始高斯混合模型的参数进行迭代更新，获得更新后的高斯混合模型。

最后，基于预定的筛选条件对更新后的高斯混合模型进行筛选，将经过筛选处理后获得的高斯混合模型作为背景模型。具体地，对于高斯混合模型中的每一个像素模型，分别按照子高斯模型的权方比(即权值与方差的比值)对该像素模型中的各子高斯模型由大到小进行排序，再筛选出每一个像素模型中排列在前的N个子高斯模型，将经过筛选处理后获得的高斯混合模型作为背景模型，其中N可基于实际需求进行设定，N为正整数。

基于上文所述可知，传统方法中各像素模型的样本像素点来源于多个图像帧(如图像帧a、图像帧b和图像帧c)。然而，在本实施例中，可基于一张第一场景图像获得各像素模型的样本像素点。

需要说明的是，在实际应用中，自动售货机在工作过程中可能存在震动，摄像装置的拍摄工作也会受到影响，在此情况下，第二场景图像中的像素点与第一场景图像中的像素点可能并不严格对应，例如，如图8所示的第一场景图像的像素点分布和图9所示的第二场景图像的像素点分布，理想情况下，第二场景图像中的像素点s-13本应严格对应第一场景图像中的像素点f-13，但受到震动影响，第二场景图像中的像素点s-1可能对应第一场景图像中的像素点f-13附近的像素点(如f-12、f-14或f-9等等)。

基于此，本实施例预先为第一场景图像中的各像素点设定以其为中心的预定误差范围，对于初始高斯混合模型中的任一像素模型，找到其在第一场景图像中唯一对应的像素点，再将以该像素点为中心的预定误差范围内的各像素点作为与该像素模型的样本像素点。例如，设定误差范围的大小为1*1，则对于图6示出的初始高斯混合模型中的像素模型13，找到其在第一场景图像中唯一对应的像素点f-13，将以像素点f-13为中心的该预定误差范围内的各像素点(f-7、f-8、f-9、f-12、f-13、f-14、f-17、f-18和f-19)作为该像素模型13的样本像素点。

进而，分别将各像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型，以及基于更新后高斯混合模型，获得背景模型。

需要说明的是，本实施例中基于高斯混合模型算法获得背景模型的方式与传统方法中基于高斯混合模型算法获得背景模型的方式，主要区别在于高斯混合模型中各像素模型的样本像素点的获得方式不同，传统方式中基于视频序列中的多个图像帧获得，而本实施例中，基于一张第一场景图像获得。

此外，本实施例一方面仅基于一张图像获得背景模型，相较于传统高斯混合模型算法，能够有效地减少运算量。另一方面，在基于一张图像获得背景模型的前提下，能够有效地减少自动售货机工作过程中的震动带来的负面影响，提高了出货检测的准确性。

还需要说明的是，基于本实施例提供的方法获得背景模型后，由于该背景模型中的各像素模型均包含N个子高斯模型。因此，对该背景模型和第二场景图像进行差分处理后，对于背景模型中的任一像素模型，其包含的N个子高斯模型的相关参数分别与第二场景图像中的相应像素点的像素值相减，因而可以获得N个差值，在此情况下，N个差值中最小的值即为目标差分图像中相应像素点的像素值。

如图10所示，在一个实施例中，还提供了一种出货检测方法。该出货检测方法具体可包括如下步骤S302至步骤S310。

S1001，获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

S1002，基于所述第一场景图像获得背景模型；

S1003，对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

S1004，获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

S1005，判断当前二值化阈值是否小于第二预定数值，若不小于，则跳转至步骤S1006a；若小于，则跳转至步骤S1006b；

S1006a，则判定出货检测失败，结束流程；

S1006b，基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

S1007，判断当前待识别图像中包含的高亮度像素点的总数是否超过第一预定数值，若超过，则跳转至步骤S1008a；若不超过，则跳转至步骤S1008b；

S1008a，基于第二预定步进值更新当前二值化阈值，并跳转至步骤S1005；

S1008b，对当前待识别图像进行行列投影处理，获得当前待识别局部图像；

S1009，基于所述当前待识别局部图像提取目标物的特征信息；

S1010，判断当前提取到的所述目标物的特征信息是否满足预定迭代停止条件，若不满足，则跳转至步骤S1011a；若满足，则跳转至步骤S1011b；

S1011a，基于第一预定步进值更新当前二值化阈值，并跳转至步骤S1005；

S1011b，基于该当前提取到的所述目标物的特征信息确定出货结果。

需要说明的是，本实施例中的各步骤的技术细节可与上文所述的各实施例中的对应步骤的技术细节相同，此处不加赘述。

此外，应该理解的是，虽然图1和图10示出的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

基于与上述方法相同的思想，一个实施例中还提供一种出货检测装置，如图11所示，所述装置1100包括：

场景图像获取模块1102，用于获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

背景模型获取模块1104，用于基于所述第一场景图像获得背景模型；

差分图像获取模块1106，用于对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

特征信息提取模块1108，用于基于所述目标差分图像提取目标物的特征信息；

出货结果确定模块1110，用于基于所述目标物的特征信息确定出货结果。

上述出货检测装置1100，获取执行出货事件前取货区域对应的第一场景图像、以及执行该出货事件后该取货区域对应的第二场景图像，再基于该第一场景图像获得背景模型，并对该背景模型和该第二场景图像进行差分处理，获得目标差分图像，进而基于该目标差分图像提取目标物的特征信息，最终基于提取到的目标物的特征信息确定出货结果。可见，本申请通过图像检测及分析的方式进行出货检测，提高了检测的准确性及稳定性，简化了维护工作，并且在进行系统的升级更新时，只需对软件进行升级优化，减少了硬件资源的浪费。

在一个实施例中，所述特征信息提取模块1108，可以包括：

初始化单元，用于获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

二值化处理单元，用于基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

特征信息提取单元，用于基于当前待识别图像提取目标物的特征信息；

停止条件判断单元，用于在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

基于此，所述出货结果确定模块1110，可以包括：

出货结果确定单元，用于在当前提取到的所述目标物的特征信息满足预定迭代停止条件时，基于该当前提取到的所述目标物的特征信息确定出货结果。

在一个实施例中，所述装置1100还可以包括：

高亮度像素判定模块，用于当所述当前待识别图像中包含的高亮度像素点的总数超过第一预定数值时，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

基于此，所述特征信息提取单元，可以包括：

第一特征提取子单元，用于当所述当前待识别图像中包含的高亮度像素点的总数未超过第一预定数值时，基于所述当前待识别图像提取目标物的特征信息。

在一个实施例中，所述二值化处理单元，可以包括：

二值化处理子单元，用于在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理；

基于此，所述停止条件判断单元，用于在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

在一个实施例中，所述特征信息提取单元，可以包括：

第二特征提取子单元，用于基于当前待识别局部图像提取所述目标物的特征信息，所述当前待识别局部图像为对当前待识别图像进行行列投影处理后获得的与目标物所处区域对应的图像。

在一个实施例中，所述背景模型获取模块1104，可以包括：

初始混合模型获取单元，用于获取预定的初始高斯混合模型，所述初始高斯混合模型中包含的各像素模型与所述第一场景图像中包含的各像素点一一对应，且各所述像素模型均包含若干个子高斯模型；

样本像素点获取单元，用于在所述第一场景图像包含的各像素点中，分别查找所述初始高斯混合模型中的各像素模型的样本像素点，其中，对于所述初始高斯混合模型中的任一像素模型，该像素模型的样本像素点包括位于以该像素模型在所述第一场景图像中唯一对应的像素点为中心的预定误差范围内的各像素点；

混合模型更新单元，用于分别将各所述像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对所述初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型；

背景模型获取单元，用于基于所述更新后高斯混合模型，获得背景模型。

此外，基于与上述方法相同的思想，一个实施例中还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请任一实施例提供的出货检测方法的步骤。

在一个实施例中，本申请各实施例提供的出货检测装置可以实现为一种计算机程序的形式。以图1所示的自动售货机为例，计算机程序可在该自动售货机上运行。该自动售货机的存储器中可存储组成该出货检测装置的各个程序模块，比如，图11所示的场景图像获取模块1102、背景模型获取模块1104、差分图像获取模块1106、特征信息提取模块1108和出货结果确定模块1110。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的出货检测方法中的步骤。

例如，图1所示的自动售货机可以通过如图11所示的出货检测装置中的场景图像获取模块1102执行步骤S302，可通过背景模型获取模块1104执行步骤S304，可通过差分图像获取模块1106执行步骤S306等等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

据此，基于与上述方法相同的思想，一个实施例中还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请任一实施例提供的出货检测方法的步骤。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种出货检测的方法，其特征在于，包括：

获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

基于所述第一场景图像获得背景模型；

对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

基于所述目标差分图像提取目标物的特征信息；

基于所述目标物的特征信息确定出货结果；

所述基于所述目标差分图像提取目标物的特征信息的步骤，包括：

获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

基于当前待识别图像提取目标物的特征信息；

在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于所述目标物的特征信息确定出货结果的步骤，包括：

在当前提取到的所述目标物的特征信息满足预定迭代停止条件时，基于该当前提取到的所述目标物的特征信息确定出货结果。

2.根据权利要求1所述的方法，其特征在于，在所述基于当前待识别图像提取目标物的特征信息的步骤之前，还包括：

当所述当前待识别图像中包含的高亮度像素点的总数超过第一预定数值时，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

当所述当前待识别图像中包含的高亮度像素点的总数未超过第一预定数值时，基于所述当前待识别图像提取目标物的特征信息。

3.根据权利要求1所述的方法，其特征在于，所述基于当前二值化阈值对当前待识别图像进行二值化处理的步骤，包括：

在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理；

所述返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤，包括：

返回在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理的步骤。

4.根据权利要求1所述的方法，其特征在于，所述基于当前待识别图像提取目标物的特征信息的步骤，包括：

基于当前待识别局部图像提取所述目标物的特征信息，所述当前待识别局部图像为对当前待识别图像进行行列投影处理后获得的与目标物所处区域对应的图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述第一场景图像获得背景模型的步骤，包括：

获取预定的初始高斯混合模型，所述初始高斯混合模型中包含的各像素模型与所述第一场景图像中包含的各像素点一一对应，且各所述像素模型均包含若干个子高斯模型；

在所述第一场景图像包含的各像素点中，分别查找所述初始高斯混合模型中的各像素模型的样本像素点，其中，对于所述初始高斯混合模型中的任一像素模型，该像素模型的样本像素点包括位于以该像素模型在所述第一场景图像中唯一对应的像素点为中心的预定误差范围内的各像素点；

分别将各所述像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对所述初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型；

基于所述更新后高斯混合模型，获得背景模型。

6.一种出货检测装置，其特征在于，包括：

场景图像获取模块，用于获取执行出货事件前取货区域对应的第一场景图像，以及执行所述出货事件后所述取货区域对应的第二场景图像；

背景模型获取模块，用于基于所述第一场景图像获得背景模型；

差分图像获取模块，用于对所述背景模型和所述第二场景图像进行差分处理，获得目标差分图像；

特征信息提取模块，用于基于所述目标差分图像提取目标物的特征信息；

出货结果确定模块，用于基于所述目标物的特征信息确定出货结果；

所述特征信息提取模块包括：

初始化单元，用于获取预定的初始二值化阈值，将所述预定的初始二值化阈值作为当前二值化阈值，并将所述目标差分图像作为当前待识别图像；

二值化处理单元，用于基于当前二值化阈值对当前待识别图像进行二值化处理，以更新当前待识别图像；

特征信息提取单元，用于基于当前待识别图像提取目标物的特征信息；

停止条件判断单元，用于在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述出货结果确定模块包括：

出货结果确定单元，用于在当前提取到的所述目标物的特征信息满足预定迭代停止条件时，基于该当前提取到的所述目标物的特征信息确定出货结果。

7.根据权利要求6所述的装置，其特征在于，还包括：

高亮度像素判定模块，用于当所述当前待识别图像中包含的高亮度像素点的总数超过第一预定数值时，基于第二预定步进值更新当前二值化阈值，并返回基于当前二值化阈值对当前待识别图像进行二值化处理的步骤；

所述特征信息提取单元包括：

第一特征提取子单元，用于当所述当前待识别图像中包含的高亮度像素点的总数未超过第一预定数值时，基于所述当前待识别图像提取目标物的特征信息。

8.根据权利要求6所述的装置，其特征在于，所述二值化处理单元包括：

二值化处理子单元，用于在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理；

所述停止条件判断单元，用于在当前提取到的所述目标物的特征信息不满足预定迭代停止条件时，基于第一预定步进值更新当前二值化阈值，并返回在当前二值化阈值小于第二预定数值时，基于当前二值化阈值对当前待识别图像进行二值化处理的步骤。

9.根据权利要求6所述的装置，其特征在于，所述特征信息提取单元包括：

第二特征提取子单元，用于基于当前待识别局部图像提取所述目标物的特征信息，所述当前待识别局部图像为对当前待识别图像进行行列投影处理后获得的与目标物所处区域对应的图像。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述背景模型获取模块包括：

初始混合模型获取单元，用于获取预定的初始高斯混合模型，所述初始高斯混合模型中包含的各像素模型与所述第一场景图像中包含的各像素点一一对应，且各所述像素模型均包含若干个子高斯模型；

样本像素点获取单元，用于在所述第一场景图像包含的各像素点中，分别查找所述初始高斯混合模型中的各像素模型的样本像素点，其中，对于所述初始高斯混合模型中的任一像素模型，该像素模型的样本像素点包括位于以该像素模型在所述第一场景图像中唯一对应的像素点为中心的预定误差范围内的各像素点；

混合模型更新单元，用于分别将各所述像素模型的样本像素点，与其对应的像素模型中包含的若干个子高斯模型进行匹配，并基于匹配结果对所述初始高斯混合模型的参数进行迭代更新，获得更新后高斯混合模型；

背景模型获取单元，用于基于所述更新后高斯混合模型，获得背景模型。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

12.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

13.一种自动售货机，其特征在于，包括：摄像装置和如权利要求12所述的计算机设备；

所述摄像装置用于采集执行出货事件前取货区域对应的第一场景图像和执行所述出货事件后所述取货区域对应的第二场景图像，以及将该第一场景图像和该第二场景图像发送至所述计算机设备。

Images