CN114111203A - 食材移动识别系统、方法、设备及电路 - Google Patents

Abstract

本发明公开一种食材移动识别系统、方法、设备及电路，应用于智能家电领域，针对现有的智能冰箱食材识别准确率较低的问题；本发明通过在食材放置板上安装附属压力传感器感应食材的变化发生的位置，设计了摄像设备可沿导轨移动的冰箱内部识别系统整体结构以及相关的包含压力传感器、摄像设备接口的冰箱控制电路，控制摄像设备移动到相应位置获取视频，即可以多角度动态地获取食材的视频，这样减少食材遮挡造成其他食材图像难以识别的几率，同时可以增强摄像头的光照对食材进行图像识别，提高了冷藏设备中食材信息识别的准确性。

Description

食材移动识别系统、方法、设备及电路

技术领域

本发明属于智能家电领域，特别涉及一种冰箱食材识别的系统、方法、设备及电路。

背景技术

冰箱引入人工智能的技术后，用户能够对冰箱进行智能化控制，对食品进行智能化管理。冰箱能够自动进行冰箱模式调换，使食材保持最佳存储状态，同时用户可以通过手机或电脑，随时随地了解冰箱里食材的数量、保鲜保质信息，此外智能冰箱还可以为用户提供健康食谱和营养禁忌等，但是随着用户生活质量提升，对于更准确的识别冰箱食材的需求越发强烈。

目前，智能冰箱行业对于冰箱中的食材识别技术也有部分相应的研究。专利号为201910255711.6的食材识别的系统、方法、设备及储存介质，公开了一种食材识别系统，包括视频处理模块和控制模块，其中视频处理模块当接收到控制模块发送的冷藏设备开门指令时，启动冰箱内的摄像设备进行视频获取，并对包含手操作食材的视频进行食材识别。此系统虽然能通过获取手操作食材的视频，动态地对食材进行识别，但是摄像设备固定，获取食材视频的角度单一，无法自动调节摄像设备的辅助照明灯，存在因为手或其他食材遮挡的问题，导致获取的食材视频清晰度有限，进而影响食材识别的准确率，在实际的冰箱食材识别中难以提供可靠的食材识别信息。

发明内容

为解决上述技术问题，本发明提出了食材移动识别系统、方法、设备及电路，通过在食材放置板上安装附属压力传感器感应食材的变化，从而控制摄像设备移动到该位置获取视频，避免了手的遮挡问题，本发明能够提供准确清晰的食材视频，进一步地够提高食材识别的准确率，为用户能够实时了解食材信息提供了保障。

本发明采用的技术方案之一为：一种食材移动识别的系统，包括：食材放置板、若干压力传感器、控制模块、路径模块以及云端视频处理设备；所述若干压力传感器安装于食材放置板的相应位置，用于获取放置板上食材的压力信息；控制模块与这若干压力传感器通过接口电路相连，并根据压力传感器的转换的电压信息定位食材存放位置；所述路径模块为安装在冷藏设备内部的导轨，分为上中两层，通过侧面的导轨连接，实现上中两层的移动识别；当摄像设备收到的控制模块发出的视频拍摄指令时，沿着导轨移动至对应食材位置进行视频拍摄，获取食材的视频信息；摄像设备将获取的视频信息通过无线传输发送给云端视频处理设备进行食材识别，云端视频处理设备将食材识别结果发生给控制模块。

所述指令包括：需要摄像设备移动到的相应位置、增强光照以及调节摄像头。

所述食材识别信息包括：食材种类、数量和位置信息。

所述控制模块根据收到的食材识别结果，更新库存食材信息。

所述库存食材信息包括：食材种类、数量、位置信息。

还包括显示屏，所述显示屏与控制模块连接，用于显示更新的库存食材信息。

本发明提供的技术方案之二为：一种食材移动识别的方法，包括：

S1、当控制模块获取到压力传感器的压力信息发生改变时，向摄像设备发送拍摄指令；

S2、摄像设备沿导轨移送至对应食材位置进行视频拍摄，获取食材的视频信息；

S3、云端视频处理设备根据食材的视频信息进行食材识别；

S4、控制模块根据食材识别结果更新食材库存信息。

步骤S1中控制模块根据压力信息发生改变的压力传感器的位置得到食材的放置位置。

步骤S1中的拍摄指令包括食材的放置位置信息。

本发明提供的技术方案之三为：一种冷藏设备，包括上述食材移动识别的系统。

本发明提供的技术方案之四为：一种控制电路，包括控制电路主板与各接口，所述接口包括：操作显示电路板、温度传感器、压力传感器、变频电路、风扇电动机、反相器、摄像设备的各接口，控制电路主板包括：至少一个处理器以及至少一个与所述处理器通信连接的存储器：其中，

所述存储器存储有可被所述至少一个处理器执行的命令，所述命令被所述至少一个处理器执行时，使所述至少一个处理器执行上述食材移动识别的方法。

本发明的有益效果：本发明提出了一种摄像设备具有可移动性和光照可调节的食材移动识别系统，解决了食材识别时的固定摄像头角度单一和其他食材遮挡导致视频清晰度有限的问题，通过在食材放置板上安装附属压力传感器感应食材的变化，从而控制摄像设备移动到该位置获取视频，避免了手的遮挡问题。此系统能够提供准确清晰的食材视频，进一步地够提高食材识别的准确率，为用户能够实时了解食材信息提供了保障。

附图说明

图1为本发明的食材移动识别系统架构示意图；

图2为本发明的食材移动识别系统结构示意图；

图3为本发明实施例提供的控制电路示意图；

图4为本发明实施例提供的食材识别方法流程图。

具体实施方式

为了能够更加详细地了解本实施例的特点与技术内容，下面结合附图对本实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本实施例中，摄像设备可以移动到冰箱搁置板上压力发生改变的位置，增强摄像头的光照对食材进行图像识别，即可以多角度动态地获取食材的视频，这样减少食材遮挡造成其他食材图像难以识别的几率，提高了冷藏设备中存储食材信息的准确性。

图1是本实施例提供的一种食材识别系统的架构图，如图1所示，本发明的系统包括：移动采集单元和数据处理单元。

其中，压力传感器可通过总线连接的方式与控制模块进行数据通讯。视频处理模块可与控制模块进行数据通讯，采用无线通讯方式，例如：蓝牙通讯、局域网通讯等。

视频处理模块是通过摄像设备获取视频食材的视频信息，因此，食材识别系统中还可包括集成摄像设备，功能包括获取视频和增强光照等，一般安装在冷藏设备的内部，例如：冰箱的侧方位置。摄像设备需要与视频处理模块进行数据通讯，可采用无线连接的方式，例如局域网通讯。摄像设备从收到拍摄指令获取图像时，每隔3分钟发送一次视频信息给视频处理模块，保证视频的内容信息的完整度以及视频处理模块的识别速度，待控制模块收到食材识别成功的反馈信息后，摄像设备停止图像获取。

冷藏设备，例如：冰箱，可在冰箱食材的放置板里安装附属压力传感器，例如半导体压力传感器，具有体积小、质量轻、准确度高、温度特性好等特性。当冰箱搁置板上的压力传感器发生变化时，即可通过接口电路发送位置信息给控制模块，控制模块通过接口电路控制摄像设备移动到相应的位置进行视频获取。

当然，视频处理模块对食材视频进行处理完成后，可发送食材识别信息和识别已完成的反馈信息给控制模块，当收到反馈信息后，控制模块即可向摄像设备发送停止指令，立刻停止摄像设备进行视频获取，并停止向视频处理模块发送视频信息。

可见，本实施例中，视频处理模块获取的是冰箱放置板压力发生改变到发送食材视频处理完成反馈信息给控制模块这一段时间内的视频。这个过程中，移动摄像设备可只对开始时压力发生变化位置的食材视频进行食材识别，摄像设备沿着导轨移动，可以避免其他食材的遮挡，增强光照也能提高获取视频的清晰度，其中增强光照可以依靠摄像设备中的辅助照明LED灯。

压力传感器每发生一次变化，即可为一次识别过程，因此对相应位置食材的视频进行食材识别可包括：根据获取的视频中每帧图片中食材图像的位置信息，确定视频中食材的中心点位置信息；然后，采用基于深度学习卷积神经网络的目标检测算法，对每段视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；最后，采用深度学习的分类算法，得到与每个候选食材图片序列对应的食材识别信息，而食材识别信息具体可包括：食材种类、数量和位置信息。

因此，视频处理模块，具体用于根据位置获取的视频中每帧图片中相应的食材信息，对获取的食材图片进行模型训练；采用基于深度学习卷积神经网络的目标检测算法，对视频过程中的每帧图片进行食材识别，得到对应的包括食材图像的候选食材图片序列；与保存的食材图像进行比对，当前候选食材图片序列中包括n张图片，分别可为I1，I2，I3…In，与保存的食材图像进行比对后，得到对应的置信度分别是c1，c，c3…cn(0<c1，c2，c3…cn<1)。确定每个候选食材图片序列中每张图片中食材图像的置信度；根据每个候选食材图片序列中每张图片中食材图像的中心点位置信息以及置信度，得到对应的第一候选图片，并采用基于深度学习卷积神经网络的分类算法，确定每张第一候选图片中食材类别信息和数量；以及，根据每个候选食材图片序列对应的食材类别信息、位置信息，以及最大置信度，得到对应的食材识别信息。

视频处理模块每识别出一条食材识别信息，就会将识别出的食材识别信息发送给控制模块，当压力改变位置的食材识别完成后，发送识别已完成的反馈信息给控制模块。控制模块可对接收到的食材识别信息进行食材管理。具体地，根据接收的食材识别信息，更新库存食材信息，包括食材种类、数量、位置信息，然后可通过显示屏或者移动端进行展示，从而进行食材信息提示，例如，显示屏的布局可相应的划分为食材种类、数量、位置模块。

图2是本实施例的提供的一种食材识别系统结构示意图。如图2所示，食材识别系统结构图包括：摄像设备、压力传感器、导轨、控制电路元件板、云服务器。

其中，压力传感器安装在食材的搁置板里，用于获取食材位置压力改变的信息，通过接口连接的方式，将信息发送给控制电路元件板。在冰箱内部有可供摄像设备移动的水平导轨，摄像设备可根据控制电路元件板的指令移动到压力发生改变的食材位置。云服务器负责处理摄像设备获取的食材视频信息，与摄像设备和控制电路元件板进行无线局域网通信，并将食材识别信息发送给控制电路元件板，从而进行食材识别信息管理。

图3是本实施例提供的一种控制电路。如图3所示，该控制电路接口包括：

操作显示电路板、温度传感器、压力传感器、变频电路、风扇电动机、反相器、摄像设备等接口，其中操作显示电路板接口用于指令的交互，温度传感器接口将感测到的温度信号转换为电压信号送到控制电路主板中，压力传感器接口感测食材改变的位置，变频电路以及风扇电动机接口传递控制或驱动信号、反相器接口用于信号的翻转，摄像设备接口主要是控制摄像头的移动以及图像的采集。

该控制电路主板包含至少一个处理器和存储器，还可以包括至少两个与处理器和存储器通信的接口和总线。其中处理器、通信接口、存储器可以通过总线完成相互间的通信。通信接口可以用于信息传输。处理器可以调用存储器中的逻辑指令，以执行上述实施例的食材识别方法。

其中，冰箱接入220V的家庭交流电路，作为整个冰箱的外部电源提供，通过冰箱内部转换电路可以将220V的电压转换成相应的低压电源，相机、控制电路元件板以及其他器件通过冰箱内部的电路系统分配低压电源实现供电。

图4是本公开实例提供的一种食材识别方法的流程示意图。如图4所示，食材识别的过程包括：

步骤一：压力传感器将食材位置信息发送给控制电路元件板。

步骤二：控制电路元件板将食材位置信息发送给路径处理电路，向摄像设备发出移动的指令。

步骤三：摄像设备移动到食材改变位置，控制电路元件板启动摄像设备，增强光照获取食材视频，向云端服务器发送视频信息。

步骤四：云端视频处理系统对视频信息进行食材识别。

步骤五：控制电路元件板接收视频处理系统发送的食材识别信息和反馈信息。

步骤六：控制电路元件板根据接收的食材识别信息，更新库存食材信息，根据反馈信息，关闭摄像设备，并记录摄像设备位置信息。

步骤七：控制电路元件板将更新后的库存食材信息显示在冰箱显示屏或移动端。

可见，本实施例中，控制电路元件板无需进行食材视频处理，只需要控制摄像设备移动进行图像获取，以及食材管理，这样，减少了对资源的占用，提高了食材管理的效率，也进一步保障了冰箱的主要功能。

本发明所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种食材移动识别的系统，其特征在于，包括：食材放置板、若干压力传感器、控制模块、路径模块以及云端视频处理设备；所述若干压力传感器安装于食材放置板的相应位置，用于获取放置板上食材的压力信息；控制模块与这若干压力传感器通过接口电路相连，并根据压力传感器的转换的电压信息定位食材存放位置；所述路径模块为安装在冷藏设备内部的导轨；当摄像设备收到的控制模块发出的视频拍摄指令时，沿着导轨移动至对应食材位置进行视频拍摄，获取食材的视频信息；摄像设备将获取的视频信息通过无线传输发送给云端视频处理设备进行食材识别，云端视频处理设备将食材识别结果发生给控制模块。

2.根据权利要求1所述的一种食材移动识别的系统，其特征在于，所述指令包括：需要摄像设备移动到的相应位置、增强光照以及调节摄像头。

3.根据权利要求2所述的一种食材移动识别的系统，其特征在于，所述食材识别信息包括：食材种类、数量和位置信息。

4.根据权利要求3所述的一种食材移动识别的系统，其特征在于，所述控制模块根据收到的食材识别结果，更新库存食材信息。

5.根据权利要求4所述的一种食材移动识别的系统，其特征在于，还包括显示屏，所述显示屏与控制模块连接，用于显示更新的库存食材信息。

6.一种食材移动识别的方法，其特征在于，包括：

S1、当控制模块获取到压力传感器的压力信息发生改变时，向摄像设备发送拍摄指令；

S2、摄像设备沿导轨移送至对应食材位置进行视频拍摄，获取食材的视频信息；

S3、云端视频处理设备根据食材的视频信息进行食材识别；

S4、控制模块根据食材识别结果更新食材库存信息。

7.根据权利要求6所述的一种食材移动识别的方法，其特征在于，步骤S1中控制模块根据压力信息发生改变的压力传感器的位置得到食材的放置位置。

8.根据权利要求6所述的一种食材移动识别的方法，其特征在于，步骤S1中的拍摄指令包括食材的放置位置信息。

9.一种冷藏设备，其特征在于，包括上述食材移动识别的系统。

10.一种控制电路，其特征在于，包括控制电路主板与各接口，所述接口具体为：操作显示电路板、温度传感器、压力传感器、变频电路、风扇电动机、反相器、摄像设备的各接口，控制电路主板包括：至少一个处理器以及至少一个与所述处理器通信连接的存储器：其中，

所述存储器存储有可被所述至少一个处理器执行的命令，所述命令被所述至少一个处理器执行时，使所述至少一个处理器执行上述食材移动识别的方法。

Images