CN109871727A - 一种冰箱存取方向的判断方法 - Google Patents

Abstract

本发明实施例公开了一种冰箱存取方向的判断方法，该方法包括：根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧；分别获取运动帧的二值化图像；采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域；分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向；根据全部运动帧确定出的运动方向判断冰箱存取方向。通过该实施例方案，提高了存取方向判断的稳定性及抗噪性，进而提高了判断的准确性。

Description

一种冰箱存取方向的判断方法

技术领域

本发明实施例涉及食材存储设备控制技术，尤指一种冰箱存取方向的判断方法。

背景技术

随着智能化趋势发展，图像识别技术及视频识别技术在冰箱领域的广泛应用，需要对放入物品及取出物品进行识别，即进行存取方向的识别判断。目前算法上比较常用的是类似智能交通方面的虚拟线圈抓拍技术和视频目标跟踪技术。

虚拟线圈抓拍方式即在视频/图像设定一个虚拟区域，当物品运动到该区域，进行抓拍，完成物品记录。通过物品进出虚拟区域产生不同的灰度变化，从而确定物品的运动方向。但此方式针对用手拿物品进出方式不是很适用，进入可以判定为上升沿，退出很难出现完整的下降沿，从而使得动作状态判断失败。

视频目标跟踪技术即根据其中的视频帧确定运动目标，然后提取该目标的相关特征信息进行后续帧跟踪的技术，根据相关帧确定的运动目标位置来进行运动方向判断。该技术存在的风险就是目标丢失及错误跟踪，这些将会导致运动方向的判断稳定性不足。

发明内容

本发明实施例提供了一种冰箱存取方向的判断方法，能够提高运动方向判断的稳定性及抗噪性，进而提高判断准确性。

本发明实施例采用如下技术方案：

一种冰箱存取方向的判断方法，该方法包括：

根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧；

分别获取运动帧的二值化图像；

采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域；

分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向；

根据全部运动帧确定出的运动方向判断冰箱存取方向。

可选地，根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧包括：

在冰箱打开期间，实时获取冰箱摄像头拍摄的图像；

从冰箱摄像头拍摄的图像中依次获取每一帧图像，并将当前帧图像标记为第一图像；

根据光流法计算第一图像中每个像素点的光流运动场矢量数据；

根据每个像素点的光流运动场矢量数据确定第一图像中是否存在运动物体；

当第一图像中存在运动物体时，确定第一图像是运动帧；当第一图像中不存在运动物体时，确定第一图像不是运动帧。

可选地，分别获取运动帧的二值化图像包括：

将每一帧运动帧上的光流运动场矢量数据进行运动幅度值量化，以形成一幅灰度图像；其中，灰度图像上不同运动状态区域的运动幅度值不同；

对灰度图像进行二值化处理以获取运动帧的二值化图像。

可选地，第一算法包括：二值图像连通域标记算法。

可选地，采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域包括：

根据二值图像连通域标记算法将二值化图像上的光流运动场矢量标识划分为多个区域；

将划分出的区域中面积最大的区域作为运动区域；

其中，光流运动场矢量标识是根据光流运动场矢量数据标记出的。

可选地，分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向包括：

对运动区域中光流运动场矢量标识所指示的矢量方向进行统计；

对所指示的每一个矢量方向的光流运动场矢量标识的数量进行统计；

将数量最多的一组光流运动场矢量标识所指示的矢量方向作为每一帧运动帧上的运动物体的运动方向。

可选地，在分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向之前，该方法还包括：

采用预设的第二算法将运动区域划分为一个或多个子区域，并对每一个子区域内运动物体的运动方向进行统计；

根据统计出的每一个子区域内运动物体的运动方向判断运动区域内运动物体的运动方向。

可选地，第二算法包括：局部邻域平均算法。

可选地，根据全部运动帧确定出的运动方向判断冰箱存取方向包括：

对每一帧运动帧确定出的运动方向进行统计；

将任意相邻的两个运动帧的运动方向进行比较；

当运动方向均为第一运动方向的运动帧的数量在全部运动帧的数量中的占比大于或等于预设的比例阈值时，将第一运动方向确定为冰箱存取方向。

可选地，该方法还包括：

当检测出连续的多张非运动帧时，确定在连续的多张非运动帧所处时段，运动物体处于暂停阶段；并将连续的多张非运动帧之前以及之后的运动帧分别作为一组判断帧进行运动方向判断；

该全部运动帧的数量是指一组判断帧的数量。

本发明实施例的有益效果包括：

1、本发明实施例根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧；分别获取运动帧的二值化图像；采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域；分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向；根据全部运动帧确定出的运动方向判断冰箱存取方向。该实施例方案，提高了运动方向判断的稳定性及抗噪性，进而提高了判断准确性。

2、本发明实施例根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧包括：在冰箱打开期间，实时获取冰箱摄像头拍摄的图像；从冰箱摄像头拍摄的图像中依次获取每一帧图像，并将当前帧图像标记为第一图像；根据光流法计算第一图像中每个像素点的光流运动场矢量数据；根据每个像素点的光流运动场矢量数据确定第一图像中是否存在运动物体；当第一图像中存在运动物体时，确定第一图像是运动帧；当第一图像中不存在运动物体时，确定第一图像不是运动帧。该实施例方案改变传统的基于单帧或几帧视频图像数据来进行判断，采用一个动作的完整运动序列并抽取出其中的运动帧，进行综合计算，得出运动方向，提高了稳定性及抗噪性。

3、本发明实施例采用预设算法获取每一帧运动帧的二值化图像上的运动区域包括：根据二值图像连通域标记算法将二值化图像上的光流运动场矢量标识划分为多个区域；将划分出的区域中面积最大的区域作为运动区域；其中，光流运动场矢量标识是根据光流运动场矢量数据标记出的。该实施例方案对运动帧进行区域划分，使得可以只针对运动帧中的运动区域进行统计，可以有效屏蔽当前的光线及其他噪声的影响，使得计算的运动方向更稳定。

4、本发明实施例在分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向之前，该方法还包括：采用预设的第二算法将运动区域划分为一个或多个子区域，并对每一个子区域内运动物体的运动方向进行统计；根据统计出的每一个子区域内运动物体的运动方向判断运动区域内运动物体的运动方向。可选地，第二算法包括：局部邻域平均算法。该实施例方案进一步对运动区域进行划分，使得可统计区域更精细化，可以进一步屏蔽噪声影响，提高计算准确性。

5、本发明实施例第二算法包括：局部邻域平均算法。该实施例方案提高了区域划分的准确性。

6、本发明实施例当检测出连续的多张非运动帧时，确定在连续的多张非运动帧所处时段，运动物体处于暂停阶段；并将连续的多张非运动帧之前以及之后的运动帧分别作为一组判断帧进行运动方向判断；该全部运动帧的数量是指一组判断帧的数量。该实施例方案使得拍摄的视频图像中包含多个存取方向时，可以对该多个方向进行准确判断，避免判断的混淆。

附图说明

下面结合附图对本发明做进一步的说明：

图1为本发明实施例的冰箱存取方向的判断方法流程图；

图2为本发明实施例的根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧的方法流程图；

图3为本发明实施例的根据光流法检测运动物体的方法示意图；

图4为本发明实施例的采用预设算法获取每一帧运动帧的二值化图像上的运动区域的方法流程图；

图5为本发明实施例的处于进入状态的运动区域的示意图；

图6为本发明实施例的分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向的方法流程图；

图7为本发明实施例的处于移出状态的运动区域的示意图；

图8为本发明实施例的根据全部运动帧确定出的运动方向判断冰箱存取方向的方法流程图；

图9为本发明实施例的将运动区域进一步划分为多个子区域的方法流程图；

图10为本发明实施例的将运动区域进一步划分为多个子区域的方法示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

一种冰箱存取方向的判断方法，如图1所示，该方法可以包括S11-S14：

S11、根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧。

在本发明实施例中，为了解决虚拟线圈及视频目标追踪技术在冰箱上(不局限于冰箱的应用，相关类似冰箱场景的应用都将适用)动作状态判断的局限性，本实施例方案综合考虑对虚拟线圈技术进行改进，同时结合光流场技术进行相关场景的动作方向判断。

可选地，如图2所示，根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧可以包括S21-S25：

S21、在冰箱打开期间，实时获取冰箱摄像头拍摄的图像；

S22、从冰箱摄像头拍摄的图像中依次获取每一帧图像，并将当前帧图像标记为第一图像；

S23、根据光流法计算第一图像中每个像素点的光流运动场矢量数据；

S24、根据每个像素点的光流运动场矢量数据确定第一图像中是否存在运动物体；

S25、当第一图像中存在运动物体时，确定第一图像是运动帧；当第一图像中不存在运动物体时，确定第一图像不是运动帧。

在本发明实施例中，如图3所示，光流法检测运动物体的基本原理包括：给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和图像背景存在相对运动，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体及位置。采用光流法的优点在于：光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

在本发明实施例中，基于上述的光流法可以准确第确定出一帧图像中是否存在运动物体，从而可以判断出当前帧是否为运动帧。该实施例方案改变传统的基于单帧或几帧视频图像数据来进行判断，采用一个动作的完整运动序列并抽取出其中的运动帧，进行综合计算，得出运动方向，提高了稳定性及抗噪性。

S12、分别获取运动帧的二值化图像。

在本发明实施例中，为了进一步对获取的运动帧进行细分，以区分出每个运动帧上的运动区域，可以先将运动帧转化为二值化图像。

可选地，分别获取运动帧的二值化图像可以包括：

将每一帧运动帧上的光流运动场矢量数据进行运动幅度值量化，以形成一幅灰度图像；其中，灰度图像上不同运动状态区域的运动幅度值不同；

对灰度图像进行二值化处理以获取运动帧的二值化图像。

在本发明实施例中，图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

S13、采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域。

在本发明实施例中，该第一算法可以是当前可以实施的任意方法或算法，对于其具体方案不做限制，可选地，第一算法可以包括：二值图像连通域标记算法。

可选地，如图4所示，采用预设算法获取每一帧运动帧的二值化图像上的运动区域可以包括S31-S32：

S31、根据二值图像连通域标记算法将二值化图像上的光流运动场矢量标识划分为多个区域；

S32、将划分出的区域中面积最大的区域作为运动区域；

其中，光流运动场矢量标识是根据光流运动场矢量数据标记出的。

在本发明实施例中，由于运动目标的幅度值在一帧图像中一般是最大的，基于这一原则，通过二值图像连通域标记算法在运动帧上划分出多个区域以后，可以选择其中最大的区域作为该运动帧的运动区域，该运动区域将用于后续的动作判断。运动区域在不同的动作帧的图像上位置是变化的，随目标的运动而运动，基本始终是目标的区域，使用该区域进行当前运动方向的计算，可以有效屏蔽当前的光线及其他噪声的影响，使得计算的运动方向更稳定。

在本发明实施例中，如图5所示，为用户向冰箱内伸入胳膊存取食物的图像，其中，胳膊所在的区域被划分为运动区域，图像中包含多个白色直线加圆形的标记，即本发明实施例所述的光流运动场矢量标识；圆形所在的一头用于指示运动方向。

S14、分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向。

在本发明实施例中，通过上述步骤获取运动帧的运动区域以后，基于运动区域上的光流运动场矢量标识便可以确定出当前运动物体的运动方向。

可选地，如图6所示，分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向可以包括S41-S43：

S41、对运动区域中光流运动场矢量标识所指示的矢量方向进行统计；

S42、对所指示的每一个矢量方向的光流运动场矢量标识的数量进行统计；

S43、将数量最多的一组光流运动场矢量标识所指示的矢量方向作为每一帧运动帧上的运动物体的运动方向。

在本发明实施例中，如图5、图7所示，通过对运动区域(即胳膊所在区域)中光流运动场矢量标识所指示的方向的统计，可计算出运动区域内当前运动物体的运动方向，该实施例中的运动场矢量标识呈蝌蚪状，当然也可以以箭头形式进行替代，其中蝌蚪的头部(相当于箭头的前端)所指示的方向为物体的运动方向，如图5所示，从图像中可以直观看出为进入冰箱的状态；如图7所示，从图像中可以直观看出为移出冰箱的状态。

在本发明实施例中，此时如果按照图3所示的整幅图像中的光流运动场矢量标识所指示的方向进行运动方向判断，由于非运动区域中的许多光流运动场矢量标识所指示的方向为移出冰箱的方向，因此统计出来的方向可能是移出冰箱的状态，从而出现统计错误。因此非运动区域(背景区域)会对整个统计结果产生干扰，导致计算出来的运动方向产生错误。而仅对局部的运动区域内的光流运动场矢量标识所指示的方向进行统计，只有少量甚至没有背景的干扰，不会影响整体运动方向的判断，从而提高了统计准确率。

S15、根据全部运动帧确定出的运动方向判断冰箱存取方向。

可选地，如图8所示，根据全部运动帧确定出的运动方向判断冰箱存取方向包括S51-S53：

S51、对每一帧运动帧确定出的运动方向进行统计；

S52、将任意相邻的两个运动帧的运动方向进行比较；

S53、当运动方向均为第一运动方向的运动帧的数量在全部运动帧的数量中的占比大于或等于预设的比例阈值时，将第一运动方向确定为冰箱存取方向。

在本发明实施例中，通过上述方案统计出每一帧运动帧的图像上对应的运动物体的运动方向后，可以对摄像头拍摄的图像中的全部运动帧的运动方向进行统计，从而判断出运动物体的整个运动过程的运动方向，进而确定出冰箱存取方向。

在本发明实施例中，例如，如果当前拍摄的运动物体的动作图像共有45帧运动帧，根据其中40帧判断出运动物体处于进入状态，其余5帧处于未判定成功或者移出状态，如果预先设定的比例阈值为80％，则40/45＝8/9，大于该预设的比例阈值，从而判定当前运动物体的运动方向处于进入方向。

在本发明实施例中，上述的比例阈值可以根据不同的应用场景或精度要求自行定义，对于其具体数值不做限制。

实施例二

该实施例在实施例一的基础上对划分出的运动区域做了进一步划分，以进一步避免噪声干扰，提高统计的精确度。

可选地，如图9所示，在分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向之前，该方法还可以包括S61-S62：

S61、采用预设的第二算法将运动区域划分为一个或多个子区域，并对每一个子区域内运动物体的运动方向进行统计；

S62、根据统计出的每一个子区域内运动物体的运动方向判断运动区域内运动物体的运动方向。

在本发明实施例中，为了进一步避免噪声干扰，可以对划分出的运动区域进行进一步划分。如图10所示，可以截取光流运动场矢量数据对应的一个运动区域(L、T、W、H)的数据胃里进行说明，其中，L为该截取的运动区域的起点横坐标，T为该截取的运动区域的起点纵坐标，W该截取的运动区域的宽度，H为该截取的运动区域的高度。

在本发明实施例中，可以采用预设的第二算法对该运动区域(L、T、W、H)进行划分，该预设的第二算法可以是当前技术中任意可以实施的区域划分方法或算法，对于其具体实现方案不做限制。可选地，该第二算法可以包括：局部邻域平均算法，例如3*3、5*5等的局部邻域平均算法。通过该局部邻域平均算法对运动区域(L、T、W、H)进行N*N像素的分块处理，形成(W/N)*(H/N)个局部的小邻域(即上述的子区域)，每个邻域有N*N个像素点的光流运动场矢量数据。对每一个子区域内标记出的运动物体的光流运动场矢量标识进行统计，从而确定出每一个子区域的运动方向；然后对整个运动区域的(W/N)*(H/N)个子区域统计出的运动方向做进一步统计，从而确定出整个运动区域的运动方向。

在本发明实施例中，本实施例方案只针对运动帧中的运动区域进行统计，同时统计规则使用局部邻域(3*3、5*5等)进行统计，可在很大程度屏蔽噪声的影响。

实施例三

该实施例在实施例一或实施例二的基础上，对拍摄的运动图像中包含运动物体的多个运动方向的情况给出了进一步的处理方案。

可选地，该方法还可以包括：

当检测出连续的多张非运动帧时，确定在连续的多张非运动帧所处时段，运动物体处于暂停阶段；并将连续的多张非运动帧之前以及之后的运动帧分别作为一组判断帧进行运动方向判断；

该全部运动帧的数量是指一组判断帧的数量。

在本发明实施例中，当运动物体的一个连贯的动作包括伸入冰箱时的进入动作，以及运动物体取完或放完东西后的移出动作时，则摄像头拍摄出的图像中会包含至少两个运动方向的运动帧，因此，在通过上述的S51-S53对全部运动帧的运动方向进行统计时，步骤S53中指出的“在全部运动帧的数量中的占比”中该“全部运动帧的数量”如果仍然按照包括两个运动方向的总的运动帧的数量进行计算，势必会产生错误。因此，针对上述情况，需要先对运动物体的运动阶段进行判断。

在本发明实施例中，由于运动物体从一个方向转化为另一个运动方向时，总会存在一定时间的暂停运动，这一点尤其适用于冰箱存取物品。因为用户在向冰箱内存储物体，或者是用户在从冰箱内拿取物体时，总会存在一个存储和拿取的过程，这一过程中运动物体(如用户的胳膊)通常是处于暂停状态的，相应地，这一阶段摄像头拍摄到的图像也会是非运动帧(即这一阶段的每一帧图像上基本确定出未发现运动物体，从而确定为非运动帧)。因此，基于这一原理，可以通过这一暂停阶段的连续的非运动帧作为判断运动物体方向变化的标准。从而将连续的非运动帧之前的一组运动帧作为一组判断帧(即用于判断运动方向的运动帧)，将连续的非运动帧之后的一组运动帧作为一组判断帧，在每一组判断帧中分别进行方向判断，并且在进行统计计算时所使用的“全部运动帧的数量”仅指该组中的全部图像帧，不涉及其他组的图像帧或上述的连续的非运动帧。

在本发明实施例中，该实施例方案避免了用户进行连续存取时包含多个运动方向时造成判断错误，进一步提高了判断的准确性。

本发明实施例的有益效果包括：

1、本发明实施例根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧；分别获取运动帧的二值化图像；采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域；分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向；根据全部运动帧确定出的运动方向判断冰箱存取方向。该实施例方案，提高了运动方向判断的稳定性及抗噪性，进而提高了判断准确性。

2、本发明实施例根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧包括：在冰箱打开期间，实时获取冰箱摄像头拍摄的图像；从冰箱摄像头拍摄的图像中依次获取每一帧图像，并将当前帧图像标记为第一图像；根据光流法计算第一图像中每个像素点的光流运动场矢量数据；根据每个像素点的光流运动场矢量数据确定第一图像中是否存在运动物体；当第一图像中存在运动物体时，确定第一图像是运动帧；当第一图像中不存在运动物体时，确定第一图像不是运动帧。该实施例方案改变传统的基于单帧或几帧视频图像数据来进行判断，采用一个动作的完整运动序列并抽取出其中的运动帧，进行综合计算，得出运动方向，提高了稳定性及抗噪性。

3、本发明实施例采用预设算法获取每一帧运动帧的二值化图像上的运动区域包括：根据二值图像连通域标记算法将二值化图像上的光流运动场矢量标识划分为多个区域；将划分出的区域中面积最大的区域作为运动区域；其中，光流运动场矢量标识是根据光流运动场矢量数据标记出的。该实施例方案对运动帧进行区域划分，使得可以只针对运动帧中的运动区域进行统计，可以有效屏蔽当前的光线及其他噪声的影响，使得计算的运动方向更稳定。

4、本发明实施例在分别根据每一帧二值化图像上的运动区域中的光流运动场矢量标识确定每一帧运动帧上的运动物体的运动方向之前，该方法还包括：采用预设的第二算法将运动区域划分为一个或多个子区域，并对每一个子区域内运动物体的运动方向进行统计；根据统计出的每一个子区域内运动物体的运动方向判断运动区域内运动物体的运动方向。可选地，第二算法包括：局部邻域平均算法。该实施例方案进一步对运动区域进行划分，使得可统计区域更精细化，可以进一步屏蔽噪声影响，提高计算准确性。

5、本发明实施例第二算法包括：局部邻域平均算法。该实施例方案提高了区域划分的准确性。

6、本发明实施例当检测出连续的多张非运动帧时，确定在连续的多张非运动帧所处时段，运动物体处于暂停阶段；并将连续的多张非运动帧之前以及之后的运动帧分别作为一组判断帧进行运动方向判断；该全部运动帧的数量是指一组判断帧的数量。该实施例方案使得拍摄的视频图像中包含多个存取方向时，可以对该多个方向进行准确判断，避免判断的混淆。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种冰箱存取方向的判断方法，其特征在于，所述方法包括：

根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧；

分别获取所述运动帧的二值化图像；

采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域；

分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定所述每一帧运动帧上的运动物体的运动方向；

根据全部所述运动帧确定出的运动方向判断冰箱存取方向。

2.根据权利要求1所述的冰箱存取方向的判断方法，其特征在于，所述根据光流法依次获取冰箱摄像头所拍摄图像中的一个或多个运动帧包括：

在冰箱打开期间，实时获取冰箱摄像头拍摄的图像；

从所述冰箱摄像头拍摄的图像中依次获取每一帧图像，并将当前帧图像标记为第一图像；

根据所述光流法计算所述第一图像中每个像素点的光流运动场矢量数据；

根据所述每个像素点的光流运动场矢量数据确定所述第一图像中是否存在运动物体；

当所述第一图像中存在运动物体时，确定所述第一图像是所述运动帧；当所述第一图像中不存在运动物体时，确定所述第一图像不是所述运动帧。

3.根据权利要求2所述的冰箱存取方向的判断方法，其特征在于，所述分别获取所述运动帧的二值化图像包括：

将每一帧所述运动帧上的光流运动场矢量数据进行运动幅度值量化，以形成一幅灰度图像；其中，所述灰度图像上不同运动状态区域的所述运动幅度值不同；

对所述灰度图像进行二值化处理以获取所述运动帧的二值化图像。

4.根据权利要求2或3所述的冰箱存取方向的判断方法，其特征在于，所述第一算法包括：二值图像连通域标记算法。

5.根据权利要求4所述的冰箱存取方向的判断方法，其特征在于，所述采用预设的第一算法获取每一帧运动帧的二值化图像上的运动区域包括：

根据所述二值图像连通域标记算法将所述二值化图像上的所述光流运动场矢量标识划分为多个区域；

将划分出的所述区域中面积最大的区域作为所述运动区域；

其中，所述光流运动场矢量标识是根据所述光流运动场矢量数据标记出的。

6.根据权利要求1或5所述的冰箱存取方向的判断方法，其特征在于，所述分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定所述每一帧运动帧上的运动物体的运动方向包括：

对所述运动区域中所述光流运动场矢量标识所指示的矢量方向进行统计；

对所指示的每一个矢量方向的光流运动场矢量标识的数量进行统计；

将数量最多的一组光流运动场矢量标识所指示的矢量方向作为所述每一帧运动帧上的运动物体的运动方向。

7.根据权利要求6所述的冰箱存取方向的判断方法，其特征在于，在分别根据每一帧所述二值化图像上的运动区域中的光流运动场矢量标识确定所述每一帧运动帧上的运动物体的运动方向之前，所述方法还包括：

采用预设的第二算法将所述运动区域划分为一个或多个子区域，并对每一个子区域内所述运动物体的运动方向进行统计；

根据统计出的每一个子区域内所述运动物体的运动方向判断所述运动区域内运动物体的运动方向。

8.根据权利要求7所述的冰箱存取方向的判断方法，其特征在于，所述第二算法包括：局部邻域平均算法。

9.根据权利要求1所述的冰箱存取方向的判断方法，其特征在于，所述根据全部所述运动帧确定出的运动方向判断冰箱存取方向包括：

对每一帧所述运动帧确定出的运动方向进行统计；

将任意相邻的两个运动帧的运动方向进行比较；

当运动方向均为第一运动方向的运动帧的数量在全部所述运动帧的数量中的占比大于或等于预设的比例阈值时，将所述第一运动方向确定为所述冰箱存取方向。

10.根据权利要求9所述的冰箱存取方向的判断方法，其特征在于，所述方法还包括：

当检测出连续的多张非运动帧时，确定在所述连续的多张非运动帧所处时段，所述运动物体处于暂停阶段；并将所述连续的多张非运动帧之前以及之后的运动帧分别作为一组判断帧进行运动方向判断；

所述全部所述运动帧的数量是指一组判断帧的数量。