CN110307571A - 一种油烟机的烟雾识别效果交互方法、系统和油烟机 - Google Patents

Abstract

本申请提出一种油烟机的烟雾识别效果交互方法、系统和油烟机，涉及智能设备改进领域。所述方法包括：获取烹饪油烟的图像信息；根据所述图像信息生成机器标定信息；获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。通过用户交互提升图像识别检测烟雾的效果。

Description

一种油烟机的烟雾识别效果交互方法、系统和油烟机

技术领域

本发明涉及智能设备改进领域，具体涉及一种油烟机的烟雾识别效果交互方法、系统和油烟机。

背景技术

相关技术中，将图像识别技术应用于油烟机进行油烟大小识别是油烟机行业的方向之一，但是一个无法完全克服的难题就是每一个用户厨房环境都不一样，受厨房光线影响无法做到一套油烟识别算法能够精确识别所有厨房烹饪的油烟；另一方面，油烟机加上摄像头后使油烟机更加智能化，但是如何让油烟机的智能更好的为用户所感知，如何让油烟机在烹饪过程中更好与用户形成互动、增加用户对智能烟机的使用粘度，目前行业内没有一个行之有效的方案。

发明内容

本发明提供一种油烟机的烟雾识别效果交互方法、系统和油烟机，通过用户交互提升图像识别检测烟雾的效果。

为了实现上述发明目的，本发明采取的技术方案如下：

第一方面，本发明提供一种油烟机的烟雾识别效果交互方法，包括：

第二方面，本发明提供一种油烟机，包括：

第三方面，本发明提供油烟机的烟雾识别效果交互系统，包括：

本发明通过对烹饪过程进行图像采集获取图像信息，通过用户终端或者云端服务器反馈的识别结果人工标定信息，进行用户与油烟机或者用户与云端服务器的交互，以此为依据修正烹饪油烟的图像识别模型；实现烟雾识别效果交互提升油烟机烟雾识别效果。具有如下有益效果：

1、本发明通过与用户或者云端服务器操作人员的交互设计，获得人工标定的烹饪油烟识别结果准确性反馈，不断提升油烟机的油烟大小自动识别准确率：

2、本发明油烟机通过图像采集装置获取图像信息，油烟机或者云端服务器识别油烟大小，通过手机APP或者内嵌于油烟机的平板显示屏幕，用户可以对整个烹饪过程的烹饪视频任意一帧烟雾图像的识别结果进行评判或者打分；

3、用户可以通过上述显示终端对油烟机或者云端服务器的油烟识别结果进行纠正，使烹饪油烟的图像识别模型可以根据不同用户厨房环境具有针对性的更精确的识别；

4、本发明在进行人工标定时，预先将烹饪油烟的图像信息划分为N个区域，利用划分的标定位置区域，圈定或者选择烟雾集中区域所在的标定位置区域，进而简化用户操作，提高用户对油烟机的使用粘度；

5、本发明利用纠正后的烹饪油烟的图像信息对烹饪油烟的图像识别模型进行训练，提高用户家庭厨房环境下的识别准确率、让纠正操作过程更合乎用户操作习惯或至少不影响用户正常使用，同时达到整个交互过程更具互动性、趣味性；

6、本发明通过向用户展示烹饪过程中采集的烹饪油烟的图像信息或根据图像信息机器标定的烹饪油烟的位置和/或烹饪油烟量，使得用户可以直观感知油烟识别的有效性和准确性。

附图说明

图1为本发明实施例的油烟机的结构示意图；

图2为本发明实施例的烟雾识别效果交互方法方法的流程图；

图3为本发明实施例的烟雾识别效果交互系统的结构示意图；

图4为本发明实施例的后台托管方式的流程图；

图5为本发明实施例的用户主动评价的流程图；

图6为本发明实施例的烟雾识别效果交互界面的示意图；

图7为本发明实施例的烹饪油烟的图像信息筛选的流程图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

本发明实施例提供一种油烟机的烟雾识别效果交互方法，如图1所示，所述油烟机包括图像采集模块100、识别模块200、通信模块300和控制模块400，如图2所示，所述方法包括：

S01、获取烹饪油烟的图像信息；

S02、根据所述图像信息生成机器标定信息；

S03、获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

S04、将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。

由于油烟机基于图像采集相机模块采集图像信息，而采集图像信息的一致性由于受到地理位置、室内装修、天气情况、光照度影响，目前油烟机出厂前会对实验室环境下某些特定场景的烹饪油烟情况进行算法匹配，并做相应的自适应，无法做到对特定用户厨房环境也有很好的识别准确率，如果不能做到对每个用户个性化的厨房环境都能有一个较高的识别准确率，则对应的油烟机产品无法达到大面积商用。因此，本发明实施例通过对烹饪过程进行图像采集获取图像信息，通过用户终端或者云端服务器反馈的识别结果人工标定信息，进行用户与油烟机或者用户与云端服务器的交互，以此为依据修正烹饪油烟的图像识别模型；实现烟雾识别效果交互提升油烟机烟雾识别效果。

本发明实施例步骤S02中，根据所述图像信息生成机器标定信息；可以由油烟机执行，或者油烟机将图像信息发送至云端服务器，由服务器执行。

本发明实施例步骤S03中，烹饪油烟识别结果的人工标定信息，可以由用户通过用户终端的显示屏或者油烟机的显示屏进行人工标定，也可以由云端服务器操作人员，在云端服务器进行人工标定。

步骤S03中，获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息包括以下至少之一：

1)获取对所述图像信息中烹饪油烟的位置的标定信息；

2)获取对所述图像信息中烹饪油烟量的浓度信息；

3)获取对所述烹饪油烟识别结果准确性评分信息。

本发明实施例中，发送给用户或者云端服务器操作人员进行标定的图片信息，可以为油烟机采集的烹饪油烟的图像信息，也可以为经过机器标定后的图像信息，可以实现多种方式的标定反馈，主要包括：烹饪油烟的位置标定、烹饪油烟量标定、准确性评分。

针对1)，可以由用户或者操作人员在未进行机器标定的图像信息上标定全部烟雾集中区域的位置，可以利用方框圈定；或者针对已经完成机器标定的图像信息，用户判断标定是否正确，可以在已经完成机器标定的图像信息的烟雾集中区域位置用√或者×表示。

针对2)，可以由用户标定浓度等级；可以采用像天气预报的类似降雨量云图的形式，比如将烟雾集中区域的浓度等级分三级，用红色框或者红色表示第一级，黄色框或者黄色表示第二级，绿色框或者绿色表示第三级。本发明实施例中，对浓度等级进行标定时也需要确定烟雾集中区域的位置。

针对3)，可以由用户利用星级对烟识别结果准确性评分，可以采取五星满值，可以用0-5星对识别结果进行打分。

本发明实施例中，对于方式3)获取对所述烹饪油烟识别结果准确性评分信息之后还包括：

将准确性评判分值小于或者等于预设复核阈值的烹饪油烟的图像信息发送至云端服务器；

接收云端服务器的操作人员对图像信息中烹饪油烟的位置和/或烹饪油烟量重新进行的人工标定信息。

本发明实施例中，所述方法之前还包括：

将烹饪油烟的图像信息进行网格划分，划分为多个标定位置区域；

对于方式1)获取对所述图像信息中烹饪油烟的位置的标定信息包括：

接收用户基于划分的所述标定位置区域圈定或者选择烟雾集中区域所在的标定位置区域；或者，

当用户判断油烟机确定的烹饪油烟的位置存在错误识别的位置时，接收用户基于划分的所述标定位置区域圈定或者选择的每个错误识别的烟雾集中区域所在的标定位置区域。

本发明实施例中，所述方法之前还包括：

将烹饪油烟的图像信息进行网格划分，划分为多个标定位置区域；

对于方式2)获取对所述图像信息中烹饪油烟量的浓度信息包括：

接收用户基于划分的所述标定位置区域圈定或者选择烟雾集中区域所在的标定位置区域；

接收用户确定的每个烟雾集中区域所在的标定位置区域的浓度等级信息；或者，

当用户判断油烟机确定的烹饪油烟量存在错误识别的烹饪油烟量时，接收用户基于划分的所述标定位置区域确定的每个错误识别的烟雾集中区域所在的标定位置区域的浓度等级信息。

本发明实施例中，步骤S04修正烹饪油烟的图像识别模型包括：

将反馈的烹饪油烟识别结果的人工标定信息与所述机器标定信息进行比对；

确定错误识别的烹饪油烟的位置和/或烹饪油烟量；

对错误识别的烹饪油烟的位置和/或烹饪油烟量进行纠正；

对纠正后的烹饪油烟的图像信息提取特征信息，并利用所述特征信息对对烹饪油烟的图像识别模型进行训练。

本发明实施例中，步骤S01获取烹饪油烟的图像信息包括：

对烹饪视频按时间段划分，筛选出目的时间段的烹饪视频子集；

对所述烹饪视频子集进行图像采集，获得一帧或者多帧烟雾图像。

对所述烹饪视频子集进行图像采集之后还包括：对获得的烟雾图像进行图像压缩。

本发明实施例中，对所述烹饪视频子集进行图像采集之后还包括：

采用帧间差分的方式将与当前烟雾图像的像素差值小于或者等于预设像素阈值的烟雾图像删除。

本发明具有如下有益效果：

1、本发明通过与用户或者云端服务器操作人员的交互设计，获得人工标定的烹饪油烟识别结果准确性反馈，不断提升油烟机的油烟大小自动识别准确率：

2、本发明油烟机通过图像采集装置获取图像信息，油烟机或者云端服务器识别油烟大小，通过手机APP或者内嵌于油烟机的平板显示屏幕，用户可以对整个烹饪过程的烹饪视频任意一帧烟雾图像的识别结果进行评判或者打分；

3、用户可以通过上述显示终端对油烟机或者云端服务器的油烟识别结果进行纠正，使烹饪油烟的图像识别模型可以根据不同用户厨房环境具有针对性的更精确的识别；

4、本发明在进行人工标定时，预先将烹饪油烟的图像信息划分为N个区域，利用划分的标定位置区域，圈定或者选择烟雾集中区域所在的标定位置区域，进而简化用户操作，提高用户对油烟机的使用粘度；

5、本发明利用纠正后的烹饪油烟的图像信息对烹饪油烟的图像识别模型进行训练，提高用户家庭厨房环境下的识别准确率、让纠正操作过程更合乎用户操作习惯或至少不影响用户正常使用，同时达到整个交互过程更具互动性、趣味性；

6、本发明通过向用户展示烹饪过程中采集的烹饪油烟的图像信息或根据图像信息机器标定的烹饪油烟的位置和/或烹饪油烟量，使得用户可以直观感知油烟识别的有效性和准确性。

如图1所示，本发明实施例提供一种油烟机，包括图像采集模块100、识别模块200、通信模块300和控制模块400；

所述图像采集模块100，设置为获取烹饪油烟的图像信息；

所述识别模块200，设置为根据所述图像信息生成机器标定信息；

所述通信模块300，设置为获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

所述控制模块400，设置为将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。

如图3所示，本发明实施例还提供一种油烟机的烟雾识别效果交互系统，包括：油烟机和云端服务器；所述油烟机包括图像采集模块、识别模块、通信模块和控制模块；

所述油烟机获取烹饪油烟的图像信息；

所述油烟机或者所述云端服务器根据所述图像信息生成机器标定信息；

所述油烟机或者所述云端服务器获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

所述云端服务器将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。

实施例一

本实施例在油烟机上设置图像识别模块、用于和用户交互的显示屏；其中图像识别模块用于采集烹饪油烟的图像信息，油烟机的识别模块通过油烟识别算法实时处理每一帧图像信息得出烹饪油烟的位置和/或烹饪油烟量的识别结果。还可以利用显示终端进行显示，显示终端可以是平板或手机。显示终端可以拉取烹饪过程中任意时刻的烹饪视频，用户可以对烹饪过程中任意时刻可识别结果准确性进行标定，可以对识别错误的位置进行主动纠正。

本实施例通过油烟识别结果纠正的处理流程，通过用户或者云端服务器操作人员对与实际情况不符的油烟识别结果做出纠正，修正烹饪油烟的图像识别模型，使油烟识别对不同厨房环境有更好的适应性。

实施例二

为了提高用户家庭厨房环境下的识别准确率、让纠正操作过程更合乎用户操作习惯或至少不影响用户正常使用，同时达到整个交互过程更具互动性、趣味性，增加用户纠正识别结果的使用黏性，选择合适的时机进行识别结果纠正至关重要。本实施例采用用户主动纠正、主动评价、后台托管的方式进行识别结果纠正。

后台托管方式的过程如图4所示，显示终端弹出提示，提醒用户启动后台托管纠错，其中用户终端可以是内嵌于油烟机上的显示触摸平板或手机。

11、用户授权启动后台托管纠错；

12、烹饪视频同步实时上传到云端服务器；油烟机可以将烹饪阶段的视频流推送到后台云端服务器；

13、抽样判断油烟识别是否错误；将收集到的特定用户的烹饪视频随机抽样检查烟雾标定结果的准确性，若存在标定不准情况则对整个视频逐帧纠正标定错误区域；

14、对识别错误的图像帧重新人工标定，对烹饪油烟的图像识别模型进行训练；对收集到的特定用户纠正后的视频集进行重新训练、算法参数调整，形成针对特定用户的算法模型和更新算法；

15、将新的图像识别模型及参数推送到相关用户进行升级；将更新后的算法、模型及相关参数以固件升级包的形式推送到油烟机更新，从而达到正对特定用户厨房环境定制算法的目的。

用户主动评价方式如图5所示，

21、油烟机将烹饪视频上传到云端服务器；烹饪过程的油烟视频数据会上传到云端服务器；

22、用户通过显示终端回看烹饪视频及每一帧图像油烟识别处理结果；同一个家庭其成员可以通过显示终端和各自的账号回看以往历次烹饪视频，当用户选择效果评判，显示终端会慢序播放烹饪视频的每一帧图像；

23、用户对处理结果进行评判；用户可以对每一帧图像哪些区域识别出了油烟进行标定，用户可以拖动进度条查看任意时刻油烟图像及处理结果并对结果正确与否进行评判，评判方式可以以多种形式供用户选择：如用户可以选择准确与否，也可以以打星的方式对识别准确性进行打星评判；

24、云端服务器统计用户对油烟识别准确率的反馈并作出相应改进；云端服务器统计用户对油烟识别的评判结果并对整体趋势进行分析。分析可以采取不同维度，以单用户为最小评判单位评估当前算法在该家庭厨房环境下的适应性，若用户整体打分较低应针对该用户厨房环境采集的视频样本集进行算法优化；以区域为单位，如某小区或某地区用户的整体评分情况来评判该区域算法的适应性，若整体打分较低应针对该区域的视频样本集进行分析和算法优化。

主动纠正方式时机同上述用户主动评价方式，同一个家庭其成员可以任意时刻通过显示终端和各自的账号回看以往历次烹饪视频，当用户选择纠正模式，显示终端会慢序播放烹饪视频的每一帧图像，同时会对每一帧图像哪些区域识别出了油烟进行算法标定，用户可以拖动进度条查看任意时刻油烟图像及算法处理结果，用户可以对算法标定错误的部分区域取消标定，对肉眼能看到油烟而算法未标定的区域进行选择。进而形成对算法识别结果的纠正。后台服务器根据人为纠正结果改进算法，从而使该用户家庭的油烟识别用户体验更加精准。

实施例三

如图6所示为显示终端与用户交互的UI界面，烹饪过程中的视频会同步上传到云端服务器，云端服务器保存烹饪油烟的图像识别模型。首先将获取到的每一帧图像划分为若干个大小合适的网格(本实施例中划分为4000个网格)，逐一识别每个网格中有烟还是无烟，若识别出该网格中存在烟雾则将该区域标定为红色，对于某块已标定区域由于红色遮挡用户无法判断算法标定是否正确的情况可以通过双击该网格区域恢复原状的方式查看网格区域是否有烟；对于未标定而肉眼看到油烟的网格通过单击选定网格变为绿色的方式进行纠正。用户可以点击向左或向右的箭头进行前一帧后一帧图像数据的精确标定，也可以拖动屏幕下方的进度条选取任意帧图像进行标定。最终，一个完整视频将形成一个更趋精确的识别结果。云端服务器根据该识别结果调整算法相关参数、优化算法模型，从而达到使下次识别结果更精确的目的。

实施例四

本实施例说明烹饪油烟的图像信息筛选过程：

用户在持续的烹饪过程中显然会产生大量的烹饪视频，对识别结果纠正的目的不一，例如系统分析人员为了检测某一段时间内某个特定区域油烟机油烟识别的准确率，或者使某特定用户油烟识别结果足够精确。如果对所有视频逐帧进行纠正或评价工作量将非常大。因此必须将这些视频筛选后有针对性的呈现给用户或后台管理者。

如图7所示，说明视频集筛选图像的过程：

31、选择特定区域用户；云端服务器基于用户获取视频集的目的抽取出满足该目的的视频子集合列表；例如系统分析人员可能需要统计中国中东部区域内的算法识别准确率情况，则应从所有视频集中将该区域内获得过用户授权的视频集通过数据库查询的方式以列表形式呈现出来；

32、选择特定时间点；同一个区域内早中晚算法的识别准确率可能也有很大差异，因此若要统计不同时间段的识别准确率应进一步将视频子集安时间段划分，筛选出目的时间段的视频子集；

33、选择特定用户；经过上述筛选后特定区域的特定用户则能对其不同时段的厨房烹饪时产生的视频识别结果进行纠正；

34、视频压缩；原生视频集中图像帧的数量(每秒30帧)相对于用户逐帧手动纠正来讲数量仍然十分庞大。此时还必须对需要纠正的视频集进行视频压缩。压缩的方式采用帧间差分的形式，即设当前帧为帧A，下一帧为帧B，用帧B-帧A，其像素点差值<m；则认为帧B相对帧A无差异，将此帧图像从视频中剔除；再取下一帧作为帧B，重复上述过程，则整个视频的关键帧将被提取出来；

35、将视频呈现给用户，以此处理过的压缩视频供用户进行识别结果纠正处理。

本发明实施例具有如下优势：

1、在传统油烟识别过程中增加识别结果纠正流程。使识别算法在使用过程中可以不停的优化迭代更新，使用户家里的油烟机越用识烟效果越好。

2、用户可以在使用烟机进行烹饪的过程中通过后台主动托管、用户主动评价、用户主动纠正的方式直接或间接纠正油烟识别结果，让油烟机在烹饪过程中的油烟识别和用户产生互动，为用户提供针对其家庭厨房环境更具个性化更精确的油烟识别体验。

3、通过网格化图像数据帧的方式将油烟标定结果限定在一个个网格内，通过网格中有无油烟的判断方式真正实现油烟识别结果纠正的可操作性、易操作性。

虽然本发明所揭示的实施方式如上，但其内容只是为了便于理解本发明的技术方案而采用的实施方式，并非用于限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的核心技术方案的前提下，可以在实施的形式和细节上做任何修改与变化，但本发明所限定的保护范围，仍须以所附的权利要求书限定的范围为准。

Claims (10)

1.一种油烟机的烟雾识别效果交互方法，其特征在于，所述油烟机包括图像采集模块、识别模块、通信模块和控制模块，所述方法包括：

获取烹饪油烟的图像信息；

根据所述图像信息生成机器标定信息；

获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。

2.根据权利要求1所述的方法，其特征在于，获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息包括以下至少之一：

获取对所述图像信息中烹饪油烟的位置的标定信息；

获取对所述图像信息中烹饪油烟量的浓度信息；

获取对所述烹饪油烟识别结果准确性评分信息。

3.根据权利要求2所述的方法，其特征在于，获取对所述烹饪油烟识别结果准确性评分信息之后还包括：

将准确性评判分值小于或者等于预设复核阈值的烹饪油烟的图像信息发送至云端服务器；

接收云端服务器的操作人员对图像信息中烹饪油烟的位置和/或烹饪油烟量重新进行的人工标定信息。

4.根据权利要求2所述的方法，其特征在于，所述方法之前还包括：

将烹饪油烟的图像信息进行网格划分，划分为多个标定位置区域；

获取对所述图像信息中烹饪油烟的位置的标定信息包括：

接收用户基于划分的所述标定位置区域圈定或者选择烟雾集中区域所在的标定位置区域；或者，

当用户判断油烟机确定的烹饪油烟的位置存在错误识别的位置时，接收用户基于划分的所述标定位置区域圈定或者选择的每个错误识别的烟雾集中区域所在的标定位置区域。

5.根据权利要求2所述的方法，其特征在于，所述方法之前还包括：

将烹饪油烟的图像信息进行网格划分，划分为多个标定位置区域；

获取对所述图像信息中烹饪油烟量的浓度信息包括：

接收用户基于划分的所述标定位置区域圈定或者选择烟雾集中区域所在的标定位置区域；

接收用户确定的每个烟雾集中区域所在的标定位置区域的浓度等级信息；或者，

当用户判断油烟机确定的烹饪油烟量存在错误识别的烹饪油烟量时，接收用户基于划分的所述标定位置区域确定的每个错误识别的烟雾集中区域所在的标定位置区域的浓度等级信息。

6.根据权利要求2至5任一所述的方法，其特征在于，修正烹饪油烟的图像识别模型包括：

将反馈的烹饪油烟识别结果的人工标定信息与所述机器标定信息进行比对；

确定错误识别的烹饪油烟的位置和/或烹饪油烟量；

对错误识别的烹饪油烟的位置和/或烹饪油烟量进行纠正；

对纠正后的烹饪油烟的图像信息提取特征信息，并利用所述特征信息对对烹饪油烟的图像识别模型进行训练。

7.根据权利要求1所述的方法，其特征在于，获取烹饪油烟的图像信息包括：

对烹饪视频按时间段划分，筛选出目的时间段的烹饪视频子集；

对所述烹饪视频子集进行图像采集，获得一帧或者多帧烟雾图像。

8.根据权利要求7所述的方法，其特征在于，对所述烹饪视频子集进行图像采集之后还包括：

采用帧间差分的方式将与当前烟雾图像的像素差值小于或者等于预设像素阈值的烟雾图像删除。

9.一种油烟机，其特征在于，包括图像采集模块、识别模块、通信模块和控制模块；

所述图像采集模块，设置为获取烹饪油烟的图像信息；

所述识别模块，设置为根据所述图像信息生成机器标定信息；

所述通信模块，设置为获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

所述控制模块，设置为将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。

10.一种油烟机的烟雾识别效果交互系统，其特征在于，包括：油烟机和云端服务器；所述油烟机包括图像采集模块、识别模块、通信模块和控制模块；

所述油烟机获取烹饪油烟的图像信息；

所述油烟机或者所述云端服务器根据所述图像信息生成机器标定信息；

所述油烟机或者所述云端服务器获取与所述图像信息对应的烹饪油烟识别结果的人工标定信息；

所述云端服务器将所述机器标定信息与所述人工标定信息进行比对，根据比对结果修正烹饪油烟的图像识别模型。