CN111753733A - 基于图像识别的安全识别系统 - Google Patents

Abstract

本发明涉及厨具技术领域，具体涉及一种基于图像识别的安全识别系统，包括：采集模块，用于实时采集目标视频；识别模块，用于对目标视频进行分析处理，获取目标视频中与特征参数信息匹配的视频段，生成视觉处理结果；分析模块，用于根据视觉处理结果生成烹饪过程具体情况的分析结果；判断模块，用于根据分析结果识别是否存在干烧。本发明的优点在于：通过视频、图像及数据的思路，逐步细化、逐步具体，最后定量地进行判断，有效地解决了现有技术在温度的变化值很小或者不明显的情况下，难以对是否发生干烧进行准确识别的技术问题。

Description

基于图像识别的安全识别系统

技术领域

本发明涉及厨具技术领域，具体涉及一种基于图像识别的安全识别系统。

背景技术

城市的居民基本都使用锅具进行煮食，相对于农村用柴火煮食而言，使用锅具煮食更加的方便。但是，由于使用锅具煮食不用时刻添加柴火，在煮食的过程中料理人可能短暂离开。在无人看管炉灶时，极有可能发生烧干的情况。

目前的家电市场中，已经出现了相应的锅具防干烧技术。但是，目前的防烧干技术在实际使用中不能根据烹饪情况做出相应调整，也不能针对锅具的不同的干烧情况做出精准识别。对此，文件CN110488696A，公开了一种智能防干烧方法，包括步骤：采集锅具在烹饪过程中的状态图像；识别状态图像获取与烹饪过程相关的属性信息，并根据识别的属性信息在数据库中查找与属性信息匹配的干烧临界状态信息；获取锅具在烹饪过程中的温度信息；根据温度信息和查找的干烧临界状态信息判断锅具是否发生干烧。

可见，利用图像识别与温度检测相结合的方式判断锅具的干烧状态，利用人工智能的方法对锅具在烹饪过程中的状态图像进行分类识别，并根据识别结果采用对应的干烧临界状态点对烹饪状态实时监控，有效提升了对不同锅具干烧状态判断的精准度，有效降低了识别误差。

但是，通过温度信息和查找的干烧临界状态信息判断是否发生干烧有时并不准确。比如说，同样的温度下，铝制的锅与铁制的锅的温升就不一样。特别是，在温度的变化值很小或者不明显的情况下，难以对是否发生干烧进行准确识别。

发明内容

本发明提供一种基于图像识别的安全识别系统，解决了现有技术在温度的变化值很小或者不明显的情况下，难以对是否发生干烧进行准确识别的技术问题。

本发明提供的基础方案为：基于图像识别的安全识别系统，包括：

采集模块，用于实时采集目标视频；

识别模块，用于对目标视频进行分析处理，获取目标视频中与特征参数信息匹配的视频段，生成视觉处理结果；

分析模块，用于根据视觉处理结果生成烹饪过程具体情况的分析结果；

判断模块，用于根据分析结果识别是否存在干烧。

本发明的工作原理在于：采集锅具烹饪过程的视频，整个烹饪过程中的情况都会被记录在视频里。然后对视频进行分析，生成视觉处理结果，也即提取出与判断是否出现干烧相关的图像。为了定量地判断，将图像里的现象转化为数据，从而得出分析结果，最后根据数据来判断是否出现干烧。

本发明的优点在于：通过视频全程记录烹饪过程，不容易出现疏漏，不会出现遗漏的情况。将视频中与干烧相关的图像提取出来进行分析，更加具有针对性，不用对整段视频进行分析，从而提高了效率。对是否出现干烧，采用的是定量的判断，相较于定性的判断，更加地准确。总之，即使在温度的变化值很小或者不明显的情况下，也能够对是否发生干烧进行准确识别。

本发明通过视频、图像及数据的思路，逐步细化、逐步具体，最后定量地进行判断，有效地解决了现有技术在温度的变化值很小或者不明显的情况下，难以对是否发生干烧进行准确识别的技术问题。

进一步，识别模块具体包括：

储存单元，用于储存预置的参考图片；

接收单元，用于接收用户输入的参考图片；

特征单元，用于确定参考图片的特征参数信息；

获取单元，用于获取目标视频中与特征参数信息匹配的视频段；

提取单元，用于提取所述与特征参数信息匹配的视频段中的图片。

有益效果在于：参考图片的输入可以由用户根据实际情况进行灵活的选择，比如用户要输入油烟的参考图片，生活经验表明油炸、水煮、清蒸时，锅里冒出的烟雾的浓度是不一样，这时用户就需要输入不同的烟雾的参考图片。此外，通过特征参数，比如亮度、黑度、对比度，从视频中获取需要的图片，相比截图的方式保存照片，更加方便、快捷。

进一步，获取目标视频中与特征参数信息匹配的视频段具体包括：计算目标视频与参考图片的特征参数信息差值；获取特征参数信息差值小于预设阈值对应的视频段。

有益效果在于：由于视频段获取的准确率不可能是百分比的，适当的允许一定的误差，可以防止疏漏，避免某些潜在的干烧情况被忽略掉。

进一步，提取所述与特征参数信息匹配的视频段中的图片具体包括：判断视频段中相邻帧图片之间的相似度是否大于预设相似度；在相邻帧图片之间的相似度大于预设相似度时，提取相邻帧图片中清晰度较高的帧图片；在相邻帧图片之间的相似度不大于预设相似度时，提取相邻帧图片。

有益效果在于：通过这样的方式，提取出的图片是清晰度相对比较高的；同时也可以减少提取相似的图片，从而提高提取的效率。

进一步，生成的烹饪过程具体情况的分析结果包括，锅具里是油还是水。

有益效果在于：与烹饪过程相关的属性信息，比如烹饪的食材种类、锅具里是油还是水、锅具里有没有水等，在不同的使用场景中，可以根据烹饪情况做出相应调整，便于针对锅具的不同材质以及烹饪的类别，对其是否存在干烧情况做出准确的识别。

进一步，生成的烹饪过程具体情况的分析结果包括，锅具是处于有水烹饪状态，还是无水烹饪状态。

有益效果在于：要判断锅具是处于有水烹饪状态，还是无水烹饪状态，只需要观察图片中是否存在沸腾的气泡就可以了。这样的判断也比较简单，也便于根据有水烹饪状态、无水烹饪状态针对性地查找相配的干烧临界状态信息。

进一步，判断模块具体包括：

状态单元，用于根据锅具里是否存在沸腾气泡判断锅具是处于有水烹饪状态，还是无水烹饪状态：若锅具里存在沸腾气泡，确定锅具的烹饪状态为有水烹饪状态；反之，若锅具里不存在沸腾气泡，确定锅具的烹饪状态为无水烹饪状态；

阈值单元，用于获取防干烧温度阈值：当锅具处于有水烹饪状态时，获取与有水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值；当锅具处于无水烹饪状态时，获取与无水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值；

温度单元，用于获取锅具在烹饪过程中的温度值；

比较单元，用于判断锅具是否出现干烧：比较温度值与防干烧温度阈值的大小，若所述温度值大于、等于所述防干烧温度阈值，判定出现干烧情况；若所述温度值小于所述防干烧温度阈值，判定没有出现干烧情况。

有益效果在于：通过这样的方式，采用两个不同的温度阈值，可对有水烹饪状态、无水烹饪状态是否出现干烧分别进行判断，相较于不区分有水烹饪状态、无水烹饪状态而只采用一个温度阈值进行判断，更加的准确、可靠。

进一步，根据图片中是否存在灰度小于预设灰度阈值的区域判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果图片中存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为无水烹饪状态；反之，如果图片中不存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为有水烹饪状态。

有益效果在于：从生活经验来说，锅具在烹饪时会冒出烟雾；即使锅具里没有食材、对锅具进行干烧，也会冒出烟雾。但是，烹饪和干烧的烟雾的浓度一般是不同的：烹饪时的烟雾相对来说比较淡、比较稀薄，干烧时的烟雾相对比较浓、比较密集。图片灰度越低，图片越黑，表示烟雾越浓、越密集。因此，通过图片的灰度对烟雾的密集度进行判断，既直观，又准确。

进一步，根据烹饪过程中锅具的颜色是否发生变化判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果烹饪过程中锅具的颜色没有发生变化，确定锅具的烹饪状态为有水烹饪状态；反之，如果烹饪过程中锅具的颜色发生变化，确定锅具的烹饪状态为无水烹饪状态。

有益效果在于：有水烹饪时，热源的热量经过锅具被水所吸收，故而锅具的温度上升不大，不会出现烧红的状态。但是在无水烹饪时，由于锅具里没有水，热源的热量直接被锅具吸收，使得锅具的温度大幅升高，从而出现明显的烧红状态。因此，根据锅具的颜色也可以明显地观察到是否存在干烧情况。

进一步，根据锅具中所烹饪的食材的大小以及在锅具中的位置判断锅具是处于有水烹饪状态，还是无水烹饪状态：若食材的大小与锅具相同，且食材直接位于锅具底部，确定锅具的烹饪状态为无水烹饪状态；反之，确定锅具的烹饪状态为有水烹饪状态。

有益效果在于：当食材的大小与锅具相当，且直接与锅具的底部接触时，有时候会出现烧糊的情况。食材烧糊后，导热性会大幅度降低，使得热源的热量并不能传递给食材，只会传递给锅具，这也会导致锅具出现烧红的情况。因此，这样可以避免因食材烧糊所引起的、不容易察觉的干烧情况。

附图说明

图1为本发明基于图像识别的安全识别系统实施例的系统结构框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例1

本发明基于图像识别的安全识别系统实施例基本如附图1所示：包括：采集模块，用于实时采集目标视频；识别模块，用于对目标视频进行分析处理，获取目标视频中与特征参数信息匹配的视频段，生成视觉处理结果；分析模块，用于根据视觉处理结果生成烹饪过程具体情况的分析结果；判断模块，用于根据分析结果识别是否存在干烧。

本实施例中，识别模块、分析模块和判断模块均集成在一台电脑上；采集模块为云摄像头，安装在厨房里，实时拍摄锅具烹饪的视频，并将拍摄的视频发送到识别模块。

识别模块则对拍摄的视频进行分析处理，生成与可能发生干烧相关的图片。识别模块包括储存单元、接收单元、特征单元、获取单元和提取单元，其中储存单元预先储存有参考图片，比如烹饪时的烟雾、锅具干烧时发红的状态的图片。本实施例中储存单元采用固态硬盘，接收单元为接收端口，特征单元为图片识别软件，获取单元为视频处理软件，提取单元为视频提取软件。具体而言，第一步，接收单元接收用户输入的参考图片。这些参考图片是根据生活经验积累的，比如干烧的时候锅具发红，锅里冒出的烟雾既浓、又密集，这些图片由用户根据实际的烹饪情况预先进行输入，用户也可以从预先储存的海量参考图片中进行挑选。第二步，特征单元确定参考图片的特征参数信息。图像特征主要包括颜色特征、纹理特征、形状特征和空间关系特征，本实施例中主要采用颜色特征和纹理特征。比如说，干烧状态时，参考图片中烟雾的颜色深浅、曲线的大小、曲率、黑度以及RGB明度等。第三步，获取单元获取目标视频中与特征参数信息匹配的视频段。具体而言，首先，计算目标视频与参考图片的特征参数信息差值；然后，获取特征参数信息差值小于预设阈值对应的视频段。比如说，本实施例中根据特征参数RGB明度来获取目标视频中与特征参数信息匹配的视频段，若预设阈值为0.1，某段视频与参考图片的RGB明度差值为0.05，小于预设阈值为0.1，那么该段视频就是与特征参数信息匹配的视频段。第四步，提取单元提取所述视频段中的图片。具体而言，首先判断该视频段中相邻帧图片之间的相似度是否大于预设相似度；在相邻帧图片之间的相似度大于预设相似度时，提取相邻帧图片中清晰度较高的帧图片；在相邻帧图片之间的相似度不大于预设相似度时，提取相邻帧图片。比如说，预设相似度为95％，若相邻帧图片之间的相似度为98％，大于预设相似度，就提取晰度较高的那帧图片；若相邻帧图片之间的相似度为92％，小于预设相似度，那么相邻两帧图片都提取。通过这样的方式，可以减少提取相似的图片，提高提取的效率，同时保证提取出图片的高清晰度。

提取出的图片都是与可能出现干烧情况相关的，提取完毕后分析模块对其进行分析，主要分析烹饪过程的具体情况。本实施例中，与烹饪过程相关的具体情况为，锅具是处于有水烹饪状态，还是无水烹饪状态。要判断锅具是处于有水烹饪状态，还是无水烹饪状态，在本实施例中只需要观察图片中，锅具里是否存在沸腾的气泡。因此，需要识别锅具里面的情况，也即是否有水；如果有水，有没有沸腾的气泡。具体来说，本实施例中采用图像识别软件对图片进行识别，看是否存在沸腾气泡，可参照现有技术进行。

最后，判断模块根据识别出的锅具里面的情况判断是否存在干烧，判断模块包括状态单元、阈值单元、温度单元和比较单元。具体而言，第一步，状态单元判断锅具是处于有水烹饪状态，还是无水烹饪状态。若存在沸腾气泡，确定锅具的烹饪状态为有水烹饪状态；若不存在沸腾气泡，确定锅具的烹饪状态为无水烹饪状态。如前所述，本实施例中，采用图片识别软件，识别图片中是否存在沸腾气泡。第二步，阈值单元获取防干烧温度阈值。当锅具处于有水烹饪状态时，获取与有水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值，比如95℃；当锅具处于无水烹饪状态时，获取与无水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值，比如80℃。本实施例中，可采用程序执行，具体可参照现有技术。第三步，温度单元获取锅具在烹饪过程中的温度值。本实施例中，采用温度传感器，将温度传感器放置锅具的某个部位，进行实时测量。第四步，比较单元比较所述温度值与所述防干烧温度阈值的大小。本实施例中，采用单片机进行判断。若所述温度值大于、等于所述防干烧温度阈值，判定出现干烧情况；若所述温度值小于所述防干烧温度阈值，判定没有出现干烧情况。比如，有水烹饪时，锅具的温度为98℃，大于该状态对应的防干烧温度阈值95℃，故而判定出现干烧；无水烹饪时，锅具的温度为92℃，大于该状态对应的防干烧温度阈值80℃，故判定出现干烧。

通过这样的方式，采用两个不同的温度阈值，可对有水烹饪状态、无水烹饪状态是否出现干烧分别进行判断，相较于不区分有水烹饪状态、无水烹饪状态而只采用一个温度阈值进行判断，更加的准确、可靠。

实施例2

与实施例1不同之处仅在于：根据图片中是否存在灰度小于预设灰度阈值的区域判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果图片中存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为无水烹饪状态；反之，如果图片中不存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为有水烹饪状态。事实上，这是根据烟雾的浓度判断锅具是处于有水烹饪状态，还是无水烹饪状态。本实施例中，图像的黑度也即图像的灰度，预设灰度阈值为100，若图片中某个局部区域的灰度为95，小于预设的灰度阈值，表明烹饪过程可能出现浓烟，确定锅具的烹饪状态为无水烹饪状态；反之，若图片中某个局部区域的灰度为105，大于预设的灰度阈值，表明烹饪过程没有浓烟，确定锅具的烹饪状态为有水烹饪状态。

实施例3

与实施例1不同之处仅在于：根据烹饪过程中锅具的颜色是否发生变化判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果烹饪过程中锅具的颜色没有发生变化，确定锅具的烹饪状态为有水烹饪状态；反之，如果烹饪过程中锅具的颜色发生变化，确定锅具的烹饪状态为无水烹饪状态。有水烹饪时，热源的热量经过锅具被水所吸收，锅具不会出现烧红的状态。在无水烹饪时，由于锅具里没有水，热源的热量直接被锅具吸收，锅具会出现明显的烧红状态。假如图片中锅具的颜色没有变化，锅具为有水烹饪状态；反之，如果图片中锅具的颜色有变化，锅具为无水烹饪状态。因此，根据锅具的颜色也可以明显地观察到是否存在干烧情况。

实施例4

与实施例1不同之处仅在于：根据锅具中所烹饪的食材的大小以及在锅具中的位置判断锅具是处于有水烹饪状态，还是无水烹饪状态：若食材的大小与锅具相同，且食材直接位于锅具底部，确定锅具的烹饪状态为无水烹饪状态；反之，确定锅具的烹饪状态为有水烹饪状态。当直接与锅具的底部接触时，特别是食材的尺寸与锅具相当，有时候会出现烧糊的情况。食材被烧糊后，热源的热量并不能传递给食材，只会传递给锅具，会导致锅具出现烧红的情况，这样可以避免因食材烧糊所引起的、不容易察觉的干烧情况。

实施例5

与实施例1不同之处仅在于，判断模块还包括油水单元和照明灯，照明灯用于照亮锅具里的液体，油水单元用于判断锅具里盛装的液体是油还是水。本实施例中，通过判断锅具里的液体是否反光，来判断锅具里盛装的是油或者水：若液体不反光，判定锅里盛装的是油；若液体反光，判定锅里盛装的是水。

具体而言，考虑到反光的图片存在高光区域，比如光线太强形成了镜面反射，导致图片出现空白。本实施例中提取视频中每一帧的图片，采用现有的图像识别技术，通过识别图片中是否存在高光的空白区域，来判断锅具里的液态物质是水还是油。如果图片中存在高光的空白区域，看不清锅具里究竟是什么食材，说明锅具里的液体形成的是镜面反射，应该是水；反之，如果图片中不存在高光的空白区域，能够清楚地或者说大致能够看清锅具里的食材，说明锅具里的液体形成的是漫反射，应该是油。

实施例6

与实施例5不同之处仅在于，还包括红外线发射器和接收屏，红外线发射器与接收屏相对于锅具的中心线对称。本实施例中，红外线发射器和接收屏的安装位置必须保证：在锅具里是空的状态时，红外线光束射出的红点刚好位于锅具底部的圆心，红点经过锅具底面的反射后，反射的光点刚好位于接收屏的圆心。具体的安装方式，完全可以参照现有技术进行，故在此不赘述。

考虑到某些品种的食用油比较稀，并不是特别粘稠，通过判断是否反光来区分油和水并不是特别准确。在本实施例中，若锅具里的液体反光，并不直接就判定是水，这时需要判断接收屏上的红点是否位于接收屏的圆心：如果接收屏上的红点位于接收屏的圆心，则可判定锅里的液体是水；类似地，若锅具里的液体不反光，也不直接就判定是油，这时需要判断接收屏上的红点是否偏离接收屏的圆心：如果接收屏上的红点偏离接收屏的圆心，则可判定锅里的液体是油。也就是说，本实施例中，判定锅具里的液体是水，需要两个条件：反光+接收屏上的红点位于接收屏的圆心；判定锅具里的液体是油，也需要两个条件：不反光+接收屏上的红点偏离接收屏的圆心。通过这样的方式判断，更加的准确。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于图像识别的安全识别系统，其特征在于：

包括：

采集模块，用于实时采集目标视频；

识别模块，用于对目标视频进行分析处理，获取目标视频中与特征参数信息匹配的视频段，生成视觉处理结果；

分析模块，用于根据视觉处理结果生成烹饪过程具体情况的分析结果；

判断模块，用于根据分析结果识别是否存在干烧。

2.如权利要求1所述的基于图像识别的安全识别系统，其特征在于：

识别模块具体包括：

储存单元，用于储存预置的参考图片；

接收单元，用于接收用户输入的参考图片；

特征单元，用于确定参考图片的特征参数信息；

获取单元，用于获取目标视频中与特征参数信息匹配的视频段；

提取单元，用于提取所述与特征参数信息匹配的视频段中的图片。

3.如权利要求2所述的基于图像识别的安全识别系统，其特征在于：

获取目标视频中与特征参数信息匹配的视频段具体包括：计算目标视频与参考图片的特征参数信息差值；获取特征参数信息差值小于预设阈值对应的视频段。

4.如权利要求3所述的基于图像识别的安全识别系统，其特征在于：

提取所述与特征参数信息匹配的视频段中的图片具体包括：判断视频段中相邻帧图片之间的相似度是否大于预设相似度；在相邻帧图片之间的相似度大于预设相似度时，提取相邻帧图片中清晰度较高的帧图片；在相邻帧图片之间的相似度不大于预设相似度时，提取相邻帧图片。

5.如权利要求1所述的基于图像识别的安全识别系统，其特征在于：生成的烹饪过程具体情况的分析结果包括，锅具里是油还是水。

6.如权利要求5所述的基于图像识别的安全识别系统，其特征在于：生成的烹饪过程具体情况的分析结果包括，锅具是处于有水烹饪状态，还是无水烹饪状态。

7.如权利要求6所述的基于图像识别的安全识别系统，其特征在于：

判断模块具体包括：

状态单元，用于根据锅具里是否存在沸腾气泡判断锅具是处于有水烹饪状态，还是无水烹饪状态：若锅具里存在沸腾气泡，确定锅具的烹饪状态为有水烹饪状态；反之，若锅具里不存在沸腾气泡，确定锅具的烹饪状态为无水烹饪状态；

阈值单元，用于获取防干烧温度阈值：当锅具处于有水烹饪状态时，获取与有水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值；当锅具处于无水烹饪状态时，获取与无水烹饪状态对应的防干烧温度阈值作为锅具的防干烧温度阈值；

温度单元，用于获取锅具在烹饪过程中的温度值；

比较单元，用于判断锅具是否出现干烧：比较温度值与防干烧温度阈值的大小，若所述温度值大于、等于所述防干烧温度阈值，判定出现干烧情况；若所述温度值小于所述防干烧温度阈值，判定没有出现干烧情况。

8.如权利要求7所述的基于图像识别的安全识别系统，其特征在于：

根据图片中是否存在灰度小于预设灰度阈值的区域判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果图片中存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为无水烹饪状态；反之，如果图片中不存在灰度小于预设灰度阈值的区域，确定锅具的烹饪状态为有水烹饪状态。

9.如权利要求7所述的基于图像识别的安全识别系统，其特征在于：

根据烹饪过程中锅具的颜色是否发生变化判断锅具是处于有水烹饪状态，还是无水烹饪状态：如果烹饪过程中锅具的颜色没有发生变化，确定锅具的烹饪状态为有水烹饪状态；反之，如果烹饪过程中锅具的颜色发生变化，确定锅具的烹饪状态为无水烹饪状态。

10.如权利要求7所述的基于图像识别的安全识别系统，其特征在于：

根据锅具中所烹饪的食材的大小以及在锅具中的位置判断锅具是处于有水烹饪状态，还是无水烹饪状态：若食材的大小与锅具相同，且食材直接位于锅具底部，确定锅具的烹饪状态为无水烹饪状态；反之，确定锅具的烹饪状态为有水烹饪状态。

Images