CN109559331A - 一种基于视频图像的食材管理方法 - Google Patents

Abstract

本发明揭示了一种基于视频图像的食材管理方法，包括：拍摄步骤，拍摄用户在食材取放过程中的视频图像；比对步骤，在视频图像中选取运动帧图像，并根据相邻的运动帧图像之间的相对变化确定运动帧图像中的第一变化区域；或者根据运动帧图像与背景图像之间的相对变化确定运动帧图像中的第二变化区域，运动帧图像为包含有运动目标的图像；截取步骤，根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；识别步骤，对重叠区域图像进行筛选并针对筛选结果进行识别获得食材管理所需的信息。本发明所揭示的方法，能够准确提取重叠区域图像进行识别，解决了视频识别中的拖影以及图像数据量大等应用难题。

Description

一种基于视频图像的食材管理方法

技术领域

本发明涉及食材管理领域，更具体地说，涉及一种基于视频图像的食材管理方法。

背景技术

作为智能家电的重要基础技术之一，图像识别技术在近几年来取得了突破性的发展，越来越多的家电设备开始搭载摄像头，并能够对所处理的食材进行识别。比较成功的应用，如搭载有摄像头的智能烤箱、智能冰箱等厨电设备，为用户掌控食材情况提供了方便。

然而，现有家电设备中图像识别技术的应用方案主要包括：1、在用户取放过程结束，拍摄环境处于稳定、静止状态时，拍摄一张图片进行图像识别；2、在用户要进行取放过程的瞬间，如打开箱门的瞬间，拍摄一张图片进行图像识别。上述两种方式能够采集到相应的图片，但存在的严重缺陷在于，所采集的图像中，各种食材有可能相互堆叠、遮挡，从而造成识别错误甚至无法识别；而且由于无法看到箱体内所有食材的全貌，因此用户也无法确切的知道到底还剩余那些食材、各个食材剩余多少，从而导致用户难以进行相应的食材管理。

也有研发力量尝试在取放过程中拍摄食材进行识别，然而取放过程属于运动状态，拍摄和识别难度很大，不仅需要在运动过程中准确的抓取包含有食材的图像信息，同时还需要克服运动产生的拖影以及传输、处理的图像数据量大等问题，因此现有技术多停留在概念阶段，未有实质性的解决方案。

发明内容

本发明为解决上述现有技术中存在的技术问题，提供了一种基于视频图像的食材管理方法，该方法包括拍摄、比对、截取和识别等步骤，借助视频拍摄手段能够准确的提取出包含有食材的图像信息，根据识别结果获知用户每次取放的食材，避免了食材相互遮挡造成的影响，从而为食材管理提供了依据。

为达到上述目的，本发明采用的技术方案如下：

一种基于视频图像的食材管理方法，包括：拍摄步骤，拍摄用户在食材取放过程中的视频图像；比对步骤，在视频图像中选取运动帧图像，并根据相邻的运动帧图像之间的相对变化确定运动帧图像中的第一变化区域；或者根据运动帧图像与背景图像之间的相对变化确定运动帧图像中的第二变化区域，运动帧图像为包含有运动目标的图像；截取步骤，根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；识别步骤，对重叠区域图像进行筛选并针对筛选结果进行识别获得食材管理所需的信息。

进一步地，拍摄步骤之后还包括：确定步骤，根据视频图像确定用户手部的运动情况。

进一步地，识别步骤包括：若重叠区域图像通过第一变化区域获得，则根据重叠区域图像的面积大小确定相应的筛选结果；若重叠区域图像通过第二变化区域获得，则根据重叠区域图像的面积以及与目标区域内预设分界线的位置关系确定相应的筛选结果。

进一步地，确定步骤包括：对预设的目标区域划界使重叠区域图像相应地分割为第一重叠区域和第二重叠区域，根据第一重叠区域与第二重叠区域之间的比值确定用户手部的运动情况。

进一步地，拍摄步骤中获得的视频图像存入待处理库供本地处理器进行比对步骤和截取步骤，截取步骤中获得的重叠区域图像存入待识别库供云端服务器进行识别。

进一步地，在重叠区域图像的面积大小超过阈值时对拍摄环境进行补光。

进一步地，采用第一摄像头全程拍摄食材取放过程；或者在第二摄像头检测到用户手部运动至预设的目标区域时触发第一摄像头并切换至第一摄像头进行拍摄；其中，第一摄像头的分辨率在1024*768以上，第一摄像头每帧的曝光时间不超过1ms，第二摄像头的分辨率为320*240-1024*768。

进一步地，通过闪光灯的周期性频闪对拍摄环境进行补光，闪光灯闪光的时长不小于第一摄像头每帧的曝光时间，闪光灯的闪光频率为第一摄像头帧率的整数倍，闪光灯闪光时产生的亮度值为3000-5000lx。

进一步地，第一摄像头设置有滤光片用以滤除红外线以外的光线，通过红外闪光灯对拍摄环境进行补光。

进一步地，方法还包括：检测步骤，检测视频图像中是否存在运动目标，在未检测到运动目标时将当前帧图像更新为背景图像。

进一步地，待处理库中的图像帧数小于预设帧数时清空待处理库中的图片，等待下一组视频图像的存入。

本发明技术方案的有益效果如下：

本发明所揭示的基于视频的食材管理方法，能够在运动过程中准确提取食材的图像信息用于图像识别，并能够根据视频图像获知用户手部的运动情况，从而能够使智能家电设备获知用户每次取放操作中取出或放入的食材，以帮助用户实现智能化的食材管理。

本发明揭示了一种基于视频图像的食材管理方法，包括：拍摄步骤，拍摄用户在食材取放过程中的视频图像；比对步骤，在视频图像中选取运动帧图像，并根据相邻的运动帧图像之间的相对变化确定运动帧图像中的第一变化区域；或者根据运动帧图像与背景图像之间的相对变化确定运动帧图像中的第二变化区域，所述运动帧图像为包含有运动目标的图像；截取步骤，根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；识别步骤，对重叠区域图像进行筛选并针对筛选结果进行识别获得食材管理所需的信息。由于采用了视频拍摄手段，对运动过程进行拍摄和提取以获知食材管理所需的信息，因而避免了食材堆叠、遮挡对食材识别造成的影响；同时，相应的摄像头也无须设置于冰箱或烤箱等厨电设备的内部进行拍摄，从而消除了温度的影响，无须进行摄像头的防雾处理或高温防护。另一方面，该方法通过对食材取放过程中的运动规律进行总结，能够根据运动帧图像之间的相对变化，或者根据运动帧图像与背景图像之间的相对变化，准确的提取出用于食材识别的重叠区域图像，以确保所获得的重叠区域图像为符合识别条件的包含有食材的手部区域图像，而仅对重叠区域图像进行识别处理则大大降低了视频数据的传输和处理量，从而解决了视频识别的应用性难题。

在本发明其中一实施例中，所述拍摄步骤之后还包括：确定步骤，根据视频图像确定用户手部的运动情况。通过确定步骤，根据视频图像能够确定出用户手部的具体动向，从而判断用户是否有取出或放入动作，结合食材识别的结果，能够清楚的获知用户放入了什么食材，以及取出了什么食材，从而能够为用户提供可靠的食材管理信息。相较而言，现有的静态拍摄技术，仅能获知单张图片中整体包含哪些食材，进行食材信息的反馈，一旦食材出现遮挡或者食材超出了拍摄范围，用户就无法根据图片的信息获知完整的食材信息，从而对食材管理造成困难。

在本发明其中一实施例中，所述识别步骤包括：若重叠区域图像通过第一变化区域获得，则根据重叠区域图像的面积大小确定相应的筛选结果；若重叠区域图像通过第二变化区域获得，则根据重叠区域图像的面积以及与目标区域内预设分界线的位置关系确定相应的筛选结果。为了使落在目标区域的重叠区域图像尽可能多的包含食材的特征信息，需要对多帧图像中形成的重叠区域图像进行筛选，从中挑出面积大小符合要求的重叠区域图像进行识别，而省去对其他不必要的重叠区域图像的识别，以降低传输和处理的视频数据量。通常而言，重叠区域图像的面积越大所包含的食材的特征信息也越多，因而也越有利于食材识别。

在本发明其中一实施例中，所述确定步骤包括：对预设的目标区域划界使所述重叠区域图像相应地分割为第一重叠区域和第二重叠区域，根据第一重叠区域与第二重叠区域之间的比值确定用户手部的运动情况。在判断用户手部运动情况时，可以对重叠区域图像进行划界获得第一重叠区域和第二重叠区域，然后根据重叠区域的比值判断出手部运动的情况。采用该种方法对用户的手部运动情况进行判断，无需对运动目标进行持续地跟踪，只需对目标区域内两重叠区域的比值进行计算和比较，即可获知用户的手部运动情况，从而大大降低了确定手部运动情况的复杂程度和计算量。

在本发明其中一实施例中，所述拍摄步骤中获得的视频图像存入待处理库供本地处理器进行比对步骤和截取步骤，所述截取步骤中获得的重叠区域图像存入待识别库供云端服务器进行识别。由于硬件处理能力及摄像头帧率等因素的影响，视频图像的拍摄过程与视频图像的处理过程不宜通过串行方式进行，否则将会因为处理速度跟不上拍摄速度而导致丢帧情况的发生，如果用于识别的关键图像丢失，将会导致识别无效。为防止丢帧等情况的出现，本发明的实施例中设置有存储机制，并通过分布式处理的将视频图像的采集、运动目标的检测和比对、以及食材识别这三项工作相分离，由摄像头、本地处理器和云端服务器分别进行处理，并通过待处理库和待识别库对图像进行存储，从而不仅提高了处理速度，还避免了丢帧情况的发生。

在本发明其中一实施例中，在所述重叠区域图像的面积大小超过阈值时对拍摄环境进行补光。由于本发明采集的是运动状态下的视频图像，在拍摄运动目标时，摄像头的曝光时间影响成像质量。用于进行食材识别的图像必须足够清晰才能准确识别，这就要求曝光时间必须足够短，否则将会由于摄像头的果冻效应产生拖影问题，使获得的视频图像由于拖影影响而不够清晰，导致无法识别，这也是现有技术中未能将视频识别技术成功应用至食材管理领域的原因之一。在本发明的实施例中，真正用于食材识别的，是面积大小超过阈值的重叠区域图像，因此只要保证用于识别的重叠区域图像足够清晰，即可实现识别目的，而对于其他图像的清晰度要求则相对较低。因此，为了消除拖影影响，获得相应的足够清晰的重叠区域图像，本发明的实施例中在重叠区域图像的面积大小超过阈值时对拍摄环境进行补光，由于补光效果增大了单位时间内的光通量，因而能够在曝光时间大大缩短的前提下仍然保证总的光通量满足曝光要求，从而确保了相应的重叠区域图像不存在拖影，足够清晰地用于食材识别。

在本发明其中一实施例中，采用第一摄像头全程拍摄所述食材取放过程；或者在第二摄像头检测到用户手部运动至预设的目标区域时触发第一摄像头并切换至第一摄像头进行拍摄；其中，所述第一摄像头的分辨率在1024*768以上，所述第一摄像头每帧的曝光时间不超过1ms，所述第二摄像头的分辨率为320*240-1024*768。在本发明其中一实施例中，由于用于食材识别的图像必须足够清晰，因此拍摄相应帧图像时应采用高分辨率的第一摄像头，且同时第一摄像头每帧的曝光时间不宜超过1ms，否则会产生拖影问题影响识别效果。为此，在本发明的实施例中，可以采用高清摄像头全程拍摄食材取放过程；也可以先用低分辨率的第二摄像头拍摄手部运动过程，待用户手部运动至预设的目标区域后再由高分辨率的第一摄像头进行拍摄。由于第二摄像头拍摄的图像主要用于确定手部的运动情况，对分辨率的要求较低，且对拖影问题也并不敏感，因此可以采用低分辨率摄像头进行拍摄；而用于食材识别的图像要求比较苛刻，需要用符合要求的第一摄像头进行拍摄，两种摄像头互相配合，其中大部分图像主要由低分辨率摄像头拍摄，而少量用于识别的图像则由高分辨率摄像头拍摄，从而大大降低了总的传输和处理的图像数据量。

在本发明其中一实施例中，通过闪光灯的周期性频闪对拍摄环境进行补光，所述闪光灯闪光的时长不小于所述第一摄像头每帧的曝光时间，所述闪光灯的闪光频率为所述第一摄像头帧率的整数倍，所述闪光灯闪光时产生的亮度值为3000-5000lx。该实施例中，通过闪光灯的周期性频闪对拍摄环境进行补光，为了使摄像头的曝光时间能够缩到足够端，闪光灯闪光时产生的亮度值需要达到3000-5000lx，而现有的例如冰箱中的照明光源，其亮度值一般仅100lx左右，是远远不够的，因此需要专门设置相应的闪光灯进行补光。由于闪光灯的亮度值很高，用户长期暴露在高亮环境下可能产生不适，因此可以将闪光灯设置为周期性频闪式的，以降低平均亮度；另外由于需要确保摄像头在进行曝光时能够获得足够的光照，因此闪光灯闪光的时长不应小于第一摄像头每帧的曝光时间。同时，如果闪光灯闪光的频率过低，用户会察觉到灯光是不连续的，因此可以将闪光灯的闪光频率设置为第一摄像头帧率的整数倍，以消除频闪对用户造成的不适。

在本发明其中一实施例中，所述第一摄像头设置有滤光片用以滤除红外线以外的光线，通过红外闪光灯对拍摄环境进行补光。该实施例中，采用人眼无法观测到的红外光进行补光，并利用单通道的红外灰度图像进行训练和识别，从而消除了补光对用户造成的不适。

在本发明其中一实施例中，所述方法还包括：检测步骤，检测视频图像中是否存在运动目标，在未检测到运动目标时将当前帧图像更新为背景图像。该实施例中，由于涉及运动帧图像与背景图像的对比，因此有必要实时更新背景图像，避免背景更新不及时或背景更新时机不准确导致的误识别情况的出现。

在本发明其中一实施例中，所述待处理库中的图像帧数小于预设帧数时清空所述待处理库中的图片，等待下一组视频图像的存入。识别食材以及确定手部运动情况的过程需要筛选和处理多帧视频图像才可完成，因此如果拍摄形成的图像帧数过少，则有可能用户并没有进行完整的取出/放入过程，也有可能是由于剧烈震动等因素引起的对运动过程的误判，因此可以设置阈值，在待处理库中的图像帧数小于预设帧数时清空待处理库中的图片，不进行识别等处理，而等待下一组视频图像的存入。

附图说明

图1是本发明所述方法其中一实施例的步骤框图；

图2是本发明所述方法其中一实施例的流程示意图；

图3是本发明所述方法其中一实施例中确定用户手部的运动情况的原理示意图；

图4是本发明所述方法其中一实施例中涉及的第一重叠区域与第二重叠区域之间的比值变化示意图；

图5a和图5b是本发明所述方法其中一实施例中截取重叠区域图像的原理示意图；

图6a和图6b是本发明所述方法又一实施例中截取重叠区域图像的原理示意图；

图7是本发明所述方法其中一实施例中图像处理过程的示意图；

图8是本发明所述方法又一实施例的流程示意图。

具体实施方式

以下通过附图和具体实施例对本发明所提供的技术方案做更加详细的描述：

如图1所示的，是本发明其中一实施例的步骤框图。该实施例揭示了一种基于视频图像的食材管理方法，包括：

步骤101，拍摄步骤，拍摄用户在食材取放过程中的视频图像；

步骤102，比对步骤，在视频图像中选取运动帧图像，并根据相邻的运动帧图像之间的相对变化确定运动帧图像中的第一变化区域；或者根据运动帧图像与背景图像之间的相对变化确定运动帧图像中的第二变化区域，所述运动帧图像为包含有运动目标的图像；

步骤103，截取步骤，根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；

步骤104，识别步骤，对重叠区域图像进行筛选并针对筛选结果进行识别获得食材管理所需的信息。

该实施例中，由于采用了视频拍摄手段，对运动过程进行拍摄和提取以获知食材管理所需的信息，因而避免了食材堆叠、遮挡对食材识别造成的影响；同时，相应的摄像头也无须设置于冰箱或烤箱等厨电设备的内部进行拍摄，从而消除了温度的影响，无须进行摄像头的防雾处理或高温防护。其中，摄像头的设置位置可以根据产品情况具体设置，以冰箱为例，可以设置于冰箱的外部，安装于冰箱顶部向下拍摄，从而可以防止摄像头设置于冰箱内而导致摄像头由于温度影响而起雾；同样的，以烤箱为例，摄像头设置于烤箱外部能够避免摄像头被高温烧灼，因而无须对摄像头进行高温防护。

另一方面，该方法通过对食材取放过程中的运动规律进行总结，能够根据运动帧图像之间的相对变化，或者根据运动帧图像与背景图像之间的相对变化，准确的提取出用于食材识别的重叠区域图像，以确保所获得的重叠区域图像为符合识别条件的包含有食材的手部区域图像，而仅对重叠区域图像进行识别处理则大大降低了视频数据的传输和处理量，从而解决了视频识别的应用性难题。相较而言，通过运动帧图像之间的相对变化选取第一变化区域进行后续的识别，要比通过运动帧图像与背景图像之间的相对变化选取第二变化区域进行识别更具有优势，原因在于背景图像需要动态更新，如果背景图像更新的时机未能得到很好的控制，则有可能影响识别的效果。

同时，在该实施例中，为了截取到背景较为单一、稳定的重叠区域图像，优选地将目标区域设置为冰箱或烤箱等设备箱门附近的区域，以拍摄视频图像并监测用户的食材取放过程。

在本发明其中一实施例中，所述拍摄步骤之后还包括：确定步骤，根据视频图像确定用户手部的运动情况。通过确定步骤，根据视频图像能够确定出用户手部的具体动向，从而判断用户是否有取出或放入动作，结合食材识别的结果，能够清楚的获知用户放入了什么食材，以及取出了什么食材，从而能够为用户提供可靠的食材管理信息。相较而言，现有的静态拍摄技术，仅能获知单张图片中整体包含哪些食材，进行食材信息的反馈，一旦食材出现遮挡或者食材超出了拍摄范围，用户就无法根据图片的信息获知完整的食材信息，从而对食材管理造成困难。

该实施例中，由于拍摄有食材取放过程中的完整视频图像，因而对于确定用户手部的运动情况的方式也很多样，例如可以根据运动目标跟踪的方式确定，也可以根据特征点之间的相对位置变化等方式确定用户的手部运动情况，但只要是基于拍摄的视频图像确定用户的手部运动情况，都未超出本发明的保护范围。其中，用户的手部运动情况包括但不限于伸手放入、收手取出、横向调整、纵向调整等情况。将手部运动情况与食材识别结果相结合，即可获得用户完整的食材取放信息，从而能够准确的实现食材管理。例如，用户放入了一瓶可乐，又取出了一个橙子，那么通过手部运动状况确定用户是伸手放入，结合相应截取的图像进行识别获知放入的是可乐；同理，通过手部运动状况确定用户是收手取出，结合相应截取的图像进行识别获知取出的是橙子。根据以上信息，就可使用户或者设备获知食材的变动情况，即放入了可乐而取出了橙子，从而能够准确的提供食材管理所需的信息。

如图2所示的，是本发明所述方法其中一实施例的流程示意图。该实施例中基于视频图像的食材管理方法的流程包括：

S201，拍摄视频图像；

S202，检测运动目标：例如可以通过光流法检测运动目标；

S203，是否存在运动目标：对视频图像中是否存在运动目标进行判断，在未检测到运动目标时将当前帧图像更新为背景图像，若检测到运动目标则继续进行后续步骤；

S204，待处理库图像帧数是否小于预设帧数：判断待处理库中的图像帧数是否小于预设帧数，若待处理库中的图像帧数过小，则更有可能是由于振动或光线变化导致的误识别，而非用户实际的取放动作，因此应清空图片，并不作进一步的识别处理；

S205，确定第一变化区域或第二变化区域：根据具体的方案确定相应的第一变化区域或第二变化区域；

S206，截取重叠区域图像：根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；

S207，筛选并针对筛选结果进行识别：对重叠区域图像进行筛选并针对筛选结果进行识别；

S208，清空图片，等待下一组视频图像：待处理库中的图像帧数小于预设帧数，清空图片，不进行识别处理；

S209，更新背景：在未检测到运动目标时，说明当前帧图像稳定，应及时更新背景，为下一轮识别和手部运动情况的确定做好准备；

S210，确定手部运动情况：根据视频图像确定用户手部的运动情况；

S211，获得食材管理所需信息：结合识别结果以及用户手部的运动情况即可获得食材管理所需的信息。

在该实施例中，通过上述流程，一方面可以确定用户手部的运动情况，从而获知用户是放入还是取出食材；另一方面可以通过截取的重叠区域图像，从而能够识别出食材种类等具体食材信息，二者相结合能够提供食材管理所需的信息。

在本发明其中一实施例中，所述识别步骤包括：若重叠区域图像通过第一变化区域获得，则根据重叠区域图像的面积大小确定相应的筛选结果；若重叠区域图像通过第二变化区域获得，则根据重叠区域图像的面积以及与目标区域内预设分界线的位置关系确定相应的筛选结果。为了使落在目标区域的重叠区域图像尽可能多的包含食材的特征信息，需要对多帧图像中形成的重叠区域图像进行筛选，从中挑出面积大小符合要求的重叠区域图像进行识别，而省去对其他不必要的重叠区域图像的识别，以降低传输和处理的视频数据量。通常而言，重叠区域图像的面积越大所包含的食材的特征信息也越多，因而也越有利于食材识别。举例而言，例如在一次取放过程中共拍摄到30帧的视频图像，其中有20帧为包含有运动目标的运动帧图像，通过相邻运动帧图像之间的比对，或者通过运动帧图像与背景图像之间的比对，确定出这20帧运动帧图像中的第一变化区域或第二变化区域，然后根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的20张重叠区域图像，这20张重叠区域图像如果都拿去进行图像识别，无疑将增大图像数据的传输量和计算量，而且如果其中的重叠区域图像的面积过小，也将因为包含的图像特征信息过少而无法识别，因此需要对20张重叠区域图像进行筛选。如果重叠区域图像由第一变化区域和目标区域所确定，则优选地，可以在放入过程和取出过程中各挑出一张最大面积的图片送往图像识别模型中去进行食材识别。如果重叠区域图像由第二变化区域和目标区域所确定，则优选地，可以在放入过程和取出过程中各挑出一张重叠区域图像在目标区域内部的分界线以内的且面积最大的图片送往图像识别模型中去进行食材识别。

如图3所示的，涉及本发明所述方法其中一实施例中确定用户手部的运动情况的原理示意图。在本发明其中一实施例中，所述确定步骤包括：对预设的目标区域划界使所述重叠区域图像相应地分割为第一重叠区域和第二重叠区域，根据第一重叠区域与第二重叠区域之间的比值确定用户手部的运动情况。

在图3中，箭头方向标明了在取放过程中用户手部的运动方向，其中左侧箭头代表放入过程，右侧箭头代表取出过程；预设目标区域为直线a和直线c之间的区域；重叠区域图像301被直线b分割为第一重叠区域和第二重叠区域。结合图4，计算第一重叠区域与第二重叠区域之间的比值R，即R＝第一重叠区域的面积/第二重叠区域的面积，图4即展示了用户手部运动的过程中，每一帧图像中R值的大小，其中横轴代表相应帧数的视频图像，纵轴代表R值，R值的变化规律如曲线401所示。对用户手部在取放过程中的规律进行总结，如曲线401所示的，在放入过程中，手部以及食材依次越过直线c、直线b和直线a，在运动过程的前半段，运动目标的变化区域主要集中于直线c和直线b之间，因此重叠区域图像301中，第二重叠区域的面积要大于第一重叠区域，即R＜1；随着手部及食材的继续运动，两重叠区域的面积会出现相等，继而出现第一重叠面积大于第二重叠区域面积的情况，即R＞1的情况，由于食材放入后用户手部运动的幅度较轻微且有可能在放置的食材附近进行食材位置的调整，故运动目标的变化区域主要集中于直线b和直线a之间，而直线c和直线b之间主要的运动为手臂的轻微摆动，其运动幅度要远远小于此时用户手部的运动，因此R＞1的情况会维持一段时间，直至用户空手伸出或收手取出食材时发生改变。因此，可以根据曲线401的明显上升趋势(1～3帧图像所体现的上升趋势)中判断出此时用户的手部运动情况为放入食材。同理，在取出过程中，手部以及食材依次越过直线a、直线b和直线c，在运动过程的前半段，运动目标的变化区域主要集中于直线a和直线b之间，因此重叠区域图像301中，第一重叠区域的面积要大于第二重叠区域，即R＞1；随着手部以及食材的继续运动，直线a和直线b之间的运动目标会越来越少，因此R值会不断减小，从而在曲线401上形成一个明显的下降趋势(14～16帧图像所体现的下降趋势)，根据该下降趋势即可判断出用户的手部运动情况为空手伸出或者取出食材。

对于用户的手部运动情况的确定，除了采用上述三线谱式的检测方式以外，还可以通过其他方式实现，但三线谱式检测的方案好处在于，无需对运动目标进行持续地跟踪，只需对拍摄的视频图像中目标区域内两重叠区域的比值进行计算和比较，根据相应曲线的上升趋势或下降趋势即可获知用户的手部运动情况，从而大大降低了确定手部运动情况的复杂程度和计算量。计算量和计算的复杂度恰恰是制约视频图像识别方案在智能家电中应用的主要因素之一，计算过于繁多和复杂，不仅会加大硬件成本，而且有可能导致跳帧或视频图像的遗失等问题，同时还会造成无法及时反馈食材管理信息的不良用户体验。

如图5a和图5b，以及图6a和图6b所示，揭示了本发明中截取重叠区域图像的原理示意图。通过对用户取放食材过程中手部运动的规律进行分析，正常情况下，在放入食材的过程中，手部的运动速度为先快后慢，在放下食材时手部的运动速度几乎为0。因此，在拍摄的放入食材过程中的视频图像，对于运动帧图像之间的相对变化，其中帧数靠前的图像所确定的第一变化区域较大；而帧数靠后的图像所确定的第一变化区域较小。原因在于，在放入过程中，帧数靠前的图像之间，由于手部运动剧烈，且变化主要是由于手部以及食材进入目标区域所引起的，因而相邻两帧之间、或者运动帧与背景相比的变化程度明显，因而形成的第一变化区域不仅面积较大而且还包含有手部以及食材的图像，根据该类第一变化区域所截取的重叠区域图像包含有足够多的食材特征信息，因而能够作为食材识别的可靠依据。故该实施例中，能够直接根据重叠区域图像面积的大小确定出相应的筛选结果。而在放入过程中，帧数靠后的图像所确定的第一变化区域较小，且主要包含的是手臂的图像而非手部以及食材的图像，因而不适合作为截取重叠区域图像并进行食材识别的依据。原因在于，在帧数靠后的图像中，手部的运动速度逐渐减小至几乎为0，相应的手臂的运动幅度也非常小，因而形成的第一变化区域的面积较小，而且在目标区域内的变化主要是手臂的进动所引起的，手臂的特征主要由皮肤体现，由于手臂皮肤的相似性，相应的运动可能会由于皮肤特征相似而未被算入变化区域中；同时，在帧数靠后的图像的目标区域内，也几乎不包含手部以及食材的图像。基于上述原因，需要对形成的重叠区域图像进行筛选之后，才能获得能够满意的筛选结果，用于食材识别。故该实施例中，能够直接根据重叠区域图像面积的大小确定出相应的筛选结果；也可以再结合相应图像的帧数，判断该帧图像属于帧数靠前还是靠后的图像，将不适合用于食材识别的图像排除。

而对于取出过程，正常情况下，手部的运动速度为先慢后快，取出过程中帧数靠前的图像所确定的第一变化区域较小；而帧数靠后的图像所确定的第一变化区域较大。且对于取出过程中帧数靠后的图像而言，变化主要是由于手部以及食材进入目标区域所引起的，因而相邻两帧之间的变化程度明显，因而形成的第一变化区域不仅面积较大而且还包含有手部以及食材的图像，根据该类第一变化区域所截取的重叠区域图像包含有足够多的食材特征信息，因而能够作为食材识别的可靠依据。而取出过程中帧数靠前的图像，由于运动的幅度较小，加之手臂皮肤相似性的影响，故形成的第一变化区域也较小，且目标区域中主要含的是手臂的图像而非手部以及食材的图像，因而取出过程中帧数靠后图像不适合作为截取重叠区域并进行食材识别的依据。

如果重叠区域图像是通过第二变化区域获得的，单纯根据重叠区域图像的面积确定的筛选结果会存在缺陷，原因在于，重叠区域图像面积最大的情况下，有可能为手部以及食材均位于目标区域内的情况，也有可能是手部以及食材已超出目标区域的情况。为此，有必要在目标区域内再预设分界线，通过观测重叠区域图像是否已越过分界线，并结合重叠区域图像的面积进行判断，则可以获得较为合理的筛选结果。例如，可以选取重叠区域图像在预设分界线以内的且面积最大的图像作为筛选结果，用于食材识别，这样的重叠区域图像能够包含手部以及食材的特征信息，且不属于手部以及食材已超出目标区域的情况。

图5a给出了用户在放入食材过程中所拍摄的帧数靠前的一张运动帧图像，图5b是根据与图5a相邻的运动帧图像的相对变化所绘制出的光流图。其中图5a中的黑色框501代表预设的目标区域，该目标区域与图5b相对应(由于目标区域以外的第一变化区域不是关心的重点，因此图5b中仅保留了目标区域内的光流图)。在图5b中，由于放入食材过程中，帧数靠前的运动帧图像之间的变化程度明显，因而形成的第一变化区域的面积也很大，相应的与目标区域相重叠的重叠区域图像也比较大(如图5b中的白色框503所示)。通过图5b中的光流图找到第一变化区域，然后在图5a中运动帧图像的对应位置截取重叠区域图像(图5a中白色框502中的图像)，所截取的重叠区域图像如果符合筛选条件，将用于进行食材识别。由于图5a为放入食材过程中所拍摄的帧数靠前的一张运动帧图像，故第一变化区域中的变化主要是由于手部以及食材进入目标区域所引起的，因而所截取的重叠区域图像中所包含的主要是手部以及食材的图像，相应的图像提供了足够多的食材特征信息，因而能够作为食材识别的可靠依据。

而图6a则给出了用户在放入食材过程中所拍摄的帧数靠后的一张运动帧图像。图6b是根据与图6a相邻的运动帧图像的相对变化所绘制出的光流图。其中图6a中的黑色框601代表预设的目标区域，该目标区域与图6b相对应(由于目标区域以外的第一变化区域不是关心的重点，因此图6b中仅保留了目标区域内的光流图)。在图6b中，由于放入食材过程中，帧数靠后的运动帧图像之间的变化程度已并不明显，因而形成的第一变化区域的面积很小，相应的与目标区域相重叠的重叠区域图像也很小(如图6b中的白色框603所示)，通过图6b中的光流图找到第一变化区域，然后在图6a中运动帧图像的对应位置截取重叠区域图像(图6a中白色框602中的图像)，所截取的重叠区域图像如图6a中的白色框602所示。由于图6a为放入食材过程中所拍摄的帧数靠后的一张运动帧图像，这一阶段用户手部的运动幅度本身已并不强烈，而目标区域内手臂的运动幅度就更加不明显，加之手臂皮肤的相似性，因此在图6b中能够获得的光流图像会很小，相应的在图6a中截取到的重叠区域图像也很小，且重叠区域图像中主要包括的是手臂的图像信息，因此该帧重叠区域图像不适合用于食材识别，在识别步骤的筛选过程中会被丢弃。

在本发明其中一实施例中，所述拍摄步骤中获得的视频图像存入待处理库供本地处理器进行比对步骤和截取步骤，所述截取步骤中获得的重叠区域图像存入待识别库供云端服务器进行识别。由于硬件处理能力及摄像头帧率等因素的影响，视频图像的拍摄过程与视频图像的处理过程不宜通过串行方式进行，否则将会因为处理速度跟不上拍摄速度而导致丢帧情况的发生，如果用于识别的关键图像丢失，将会导致识别无效。为防止丢帧等情况的出现，本发明的实施例中设置有存储机制，并通过分布式处理的将视频图像的采集、运动目标的检测和比对、以及食材识别这三项工作相分离，由摄像头、本地处理器和云端服务器分别进行处理，并通过待处理库和待识别库对图像进行存储，从而不仅提高了处理速度，还避免了丢帧情况的发生。如图7所示的，是本发明其中一实施例中图像处理过程的示意图。该实施例中，摄像头的拍摄过程(步骤701～步骤703)、对待处理库中的图像进行比对和截取的过程(步骤704～步骤706)以及对待识别库中的图像进行识别的过程(步骤707～步骤709)采用并行处理方式，分别由摄像头本身的处理器、本地设备的处理器以及云端服务器分别处理，且由于设置有待处理库和待识别库的存储机制，即使有一端由于运算速度问题而未能及时处理，相应的图像也会被存储于待处理库或待识别库中等待处理，而不会发生跳帧或遗漏的问题。

在本发明其中一实施例中，在所述重叠区域图像的面积大小超过阈值时对拍摄环境进行补光。由于本发明采集的是运动状态下的视频图像，在拍摄运动目标时，摄像头的曝光时间影响成像质量。用于进行食材识别的图像必须足够清晰才能准确识别，这就要求曝光时间必须足够短，否则将会由于摄像头的果冻效应产生拖影问题，使获得的视频图像由于拖影影响而不够清晰，导致无法识别，这也是现有技术中未能将视频识别技术成功应用至食材管理领域的原因之一。在本发明的实施例中，真正用于食材识别的，是面积大小超过阈值的重叠区域图像，因此只要保证用于识别的重叠区域图像足够清晰，即可实现识别目的，而对于其他图像的清晰度要求则相对较低。因此，为了消除拖影影响，获得相应的足够清晰的重叠区域图像，本发明的实施例中在重叠区域图像的面积大小超过阈值时对拍摄环境进行补光，由于补光效果增大了单位时间内的光通量，因而能够在曝光时间大大缩短的前提下仍然保证总的光通量满足曝光要求，从而确保了相应的重叠区域图像不存在拖影，足够清晰地用于食材识别。该实施例不仅揭示的视频识别过程中的拖影问题和解决方案，同时也揭示了补光的时机。本领域人员应当理解地，只要在重叠区域图像的面积大小超过阈值时进行了补光处理，例如包括但不限于在整个视频拍摄过程中进行了补光，那么这样的方案依旧未超出本实施例中所描述的范围。

在本发明其中一实施例中，采用第一摄像头全程拍摄所述食材取放过程；或者在第二摄像头检测到用户手部运动至预设的目标区域时触发第一摄像头并切换至第一摄像头进行拍摄；其中，所述第一摄像头的分辨率在1024*768以上，所述第一摄像头每帧的曝光时间不超过1ms，所述第二摄像头的分辨率为320*240-1024*768。在本发明其中一实施例中，由于用于食材识别的图像必须足够清晰，因此拍摄相应帧图像时应采用高分辨率的第一摄像头，且同时第一摄像头每帧的曝光时间不宜超过1ms，否则会产生拖影问题影响识别效果。为此，在本发明的实施例中，可以采用高清摄像头全程拍摄食材取放过程；也可以先用低分辨率的第二摄像头拍摄手部运动过程，待用户手部运动至预设的目标区域后再由高分辨率的第一摄像头进行拍摄。由于第二摄像头拍摄的图像主要用于确定手部的运动情况，对分辨率的要求较低，且对拖影问题也并不敏感，因此可以采用低分辨率摄像头进行拍摄；而用于食材识别的图像要求比较苛刻，需要用符合要求的第一摄像头进行拍摄，两种摄像头互相配合，其中大部分图像主要由低分辨率摄像头拍摄，而少量用于识别的图像则由高分辨率摄像头拍摄，从而大大降低了总的传输和处理的图像数据量。其中，在由第二摄像头向第一摄像头进行切换时，可以利用第二摄像头拍摄的图像作为依据，触发第一摄像头进行工作，采集清晰的食材图像用于识别，这样不仅能够保证触发时机的准确性，也无须另加触发装置和机制，同时还使第二摄像头兼具手部运动过程拍摄的功能和触发的功能，做到了一物两用。

在本发明其中一实施例中，通过闪光灯的周期性频闪对拍摄环境进行补光，所述闪光灯闪光的时长不小于所述第一摄像头每帧的曝光时间，所述闪光灯的闪光频率为所述第一摄像头帧率的整数倍，所述闪光灯闪光时产生的亮度值为3000-5000lx。该实施例中，通过闪光灯的周期性频闪对拍摄环境进行补光，为了使摄像头的曝光时间能够缩到足够端，闪光灯闪光时产生的亮度值需要达到3000-5000lx，而现有的例如冰箱中的照明光源，其亮度值一般仅100lx左右，是远远不够的，因此需要专门设置相应的闪光灯进行补光。由于闪光灯的亮度值很高，用户长期暴露在高亮环境下可能产生不适，因此可以将闪光灯设置为周期性频闪式的，以降低平均亮度；另外由于需要确保摄像头在进行曝光时能够获得足够的光照，因此闪光灯闪光的时长不应小于第一摄像头每帧的曝光时间。同时，如果闪光灯闪光的频率过低，用户会察觉到灯光是不连续的，因此可以将闪光灯的闪光频率设置为第一摄像头帧率的整数倍，以消除频闪对用户造成的不适。作为其中一实施例，第一摄像头的帧率为5Hz，第一摄像头每帧的曝光时间为1ms，则相应的闪光灯的闪光频率可设置为50Hz，每次的闪光时长为5ms。

如图8所示的，揭示了本发明所述方法又一实施例的流程示意图。该实施例中通过第二摄像头确定用户的手部运动情况，在用户手部运动至目标区域后，触发并切换至第一摄像头进行拍摄，并在重叠区域图像的面积大小超过阈值时通过闪光灯补光，之后从抓取到的清晰图像中筛选出符合要求的结果用于进行食材识别。该实施例中的具体流程包括：

步骤801，启动第二摄像头进行拍摄；

步骤802，确定用户的手部运动情况：例如可以通过背景图像以及检测到的运动目标的位置确定用户的手部运动情况；

步骤803，用户手部运动至目标区域内：判断用户手部是否已经运动至目标区域内；

步骤804，触发并切换至第一摄像头进行拍摄：当用户手部已运动至目标区域内时，触发并切换至第一摄像头进行拍摄；

步骤805，闪光灯补光：控制补光灯在相应合适的时机进行补光以消除拖影；

步骤806，抓取清晰图像用于识别：由第一摄像头抓取的清晰图像在经过比对步骤以及截取步骤处理后，将用于进行食材识别。

在本发明其中一实施例中，所述第一摄像头设置有滤光片用以滤除红外线以外的光线，通过红外闪光灯对拍摄环境进行补光。该实施例中，采用人眼无法观测到的红外光进行补光，并利用单通道的红外灰度图像进行训练和识别，从而消除了补光对用户造成的不适。

在本发明其中一实施例中，所述方法还包括：检测步骤，检测视频图像中是否存在运动目标，在未检测到运动目标时将当前帧图像更新为背景图像。该实施例中，由于涉及运动帧图像与背景图像的对比，因此有必要实时更新背景图像，避免背景更新不及时或背景更新时机不准确导致的误识别情况的出现。

在本发明其中一实施例中，所述待处理库中的图像帧数小于预设帧数时清空所述待处理库中的图片，等待下一组视频图像的存入。识别食材以及确定手部运动情况的过程需要筛选和处理多帧视频图像才可完成，因此如果拍摄形成的图像帧数过少，则有可能用户并没有进行完整的取出/放入过程，也有可能是由于剧烈震动等因素引起的对运动过程的误判，因此可以设置阈值，在待处理库中的图像帧数小于预设帧数时清空待处理库中的图片，不进行识别等处理，而等待下一组视频图像的存入。

上述具体实施方式只是用于说明本发明的设计方法，并不能用来限定本发明的保护范围。对于在本发明技术方案的思想指导下的变形和转换，都应该归于本发明保护范围以内。

Claims (11)

1.一种基于视频图像的食材管理方法，其特征在于，包括：

拍摄步骤，拍摄用户在食材取放过程中的视频图像；

比对步骤，在视频图像中选取运动帧图像，并根据相邻的运动帧图像之间的相对变化确定运动帧图像中的第一变化区域；或者根据运动帧图像与背景图像之间的相对变化确定运动帧图像中的第二变化区域，所述运动帧图像为包含有运动目标的图像；

截取步骤，根据第一变化区域或第二变化区域，截取与预设的目标区域相重叠的重叠区域图像；

识别步骤，对重叠区域图像进行筛选并针对筛选结果进行识别获得食材管理所需的信息。

2.根据权利要求1所述的方法，其特征在于，所述拍摄步骤之后还包括：确定步骤，根据视频图像确定用户手部的运动情况。

3.根据权利要求1所述的方法，其特征在于，所述识别步骤包括：若所述重叠区域图像通过第一变化区域获得，则根据重叠区域图像的面积大小确定相应的筛选结果；若所述重叠区域图像通过第二变化区域获得，则根据重叠区域图像的面积以及与目标区域内预设分界线的位置关系确定相应的筛选结果。

4.根据权利要求2所述的方法，其特征在于，所述确定步骤包括：对预设的目标区域划界使所述重叠区域图像相应地分割为第一重叠区域和第二重叠区域，根据第一重叠区域与第二重叠区域之间的比值确定用户手部的运动情况。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述拍摄步骤中获得的视频图像存入待处理库供本地处理器进行比对步骤和截取步骤，所述截取步骤中获得的重叠区域图像存入待识别库供云端服务器进行识别。

6.根据权利要求1-4中任一项所述的方法，其特征在于，在所述重叠区域图像的面积大小超过阈值时对拍摄环境进行补光。

7.根据权利要求6所述的方法，其特征在于，采用第一摄像头全程拍摄所述食材取放过程；或者在第二摄像头检测到用户手部运动至预设的目标区域时触发第一摄像头并切换至第一摄像头进行拍摄；其中，所述第一摄像头的分辨率在1024*768以上，所述第一摄像头每帧的曝光时间不超过1ms，所述第二摄像头的分辨率为320*240-1024*768。

8.根据权利要求7所述的方法，其特征在于，通过闪光灯的周期性频闪对拍摄环境进行补光，所述闪光灯闪光的时长不小于所述第一摄像头每帧的曝光时间，所述闪光灯的闪光频率为所述第一摄像头帧率的整数倍，所述闪光灯闪光时产生的亮度值为3000-5000lx。

9.根据权利要求7所述的方法，其特征在于，所述第一摄像头设置有滤光片用以滤除红外线以外的光线，通过红外闪光灯对拍摄环境进行补光。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测步骤，检测视频图像中是否存在运动目标，在未检测到运动目标时将当前帧图像更新为背景图像。

11.根据权利要求5所述的方法，其特征在于，所述待处理库中的图像帧数小于预设帧数时清空所述待处理库中的图片，等待下一组视频图像的存入。