CN116429701A - 用于食材成熟度的检测方法及装置、烹饪设备 - Google Patents

Abstract

本申请涉及智能家电技术领域，公开一种用于食材成熟度的检测方法，该用于食材成熟度的检测方法包括：响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；提取光谱图像中目标食材的光谱数据，并确定目标食材的种类；获得与目标食材的种类相对应的成熟度识别模型，并将目标食材的光谱数据输入成熟度识别模型，获得目标食材当前的成熟度。在获取高光谱成像系统采集的光谱图像后，根据光谱图像中目标食材的光谱数据确定目标食材的种类，以获取与食材种类相对应的成熟度识别模型来确定当前食材的成熟度信息，以提高当前烹饪过程中根据食材光谱数据检测食材成熟度的准确性。本申请还公开一种用于食材成熟度的检测装置及烹饪设备。

Description

用于食材成熟度的检测方法及装置、烹饪设备

技术领域

本申请涉及智能家电技术领域，例如涉及一种用于食材成熟度的检测方法及装置、烹饪设备。

背景技术

目前，随着科技的发展和人们生活水平的提高，智能烹饪设备已经成为越来越多家庭必不可少的厨房电器。一般的，智能烹饪设备可以通过设定加热模式、加热时长或加热功率来进行食材烹饪，保证食材成熟。但由于食材的多样性，以及人们对食材口感偏好的不同，利用固定的加热参数作为食材成熟度的标志已经逐渐不能满足需求。

相关技术中提供了一种食材加热控制方法，通过获取加热食材的高光谱图像，以基于高光谱图像判断加热食材的表面纹理和色泽信息，从而判断加热食材的熟度是否达到设定熟度，并在达到设定熟度后停止加热。如此，无需采用温度传感器获取食材的温度，也无需依靠烹饪者的经验来判断食材的熟度，能够根据食材加热装置特性差异实现智能调整，以达到较好的烹饪效果。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

在通过光谱成像技术采集食材图像时，不同种类的食材对应在各成熟阶段的特征不同。仅通过当前食材的光谱图像进行判断，而不考虑食材种类特性时，容易出现误判、错判情况，对成熟度检测的准确性造成了影响。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于食材成熟度的检测方法及装置、烹饪设备，根据目标食材的类型和光谱数据确定相对应的目标食材成熟度，以提高利用光谱成像技术对食材成熟度检测的准确性。

在一些实施例中，所述用于食材成熟度的检测方法包括：响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；提取所述光谱图像中目标食材的光谱数据，并确定目标食材的种类；获得与目标食材的种类相对应的成熟度识别模型，并将所述目标食材的光谱数据输入所述成熟度识别模型，获得所述目标食材当前的成熟度。

在一些实施例中，所述用于食材成熟度的检测装置，包括：图像获取模块，被配置为响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；种类确定模块，被配置为提取所述光谱图像中目标食材的光谱数据，并确定目标食材的种类；成熟度确定模块，被配置为获得与目标食材的种类相对应的成熟度识别模型，并将所述目标食材的光谱数据输入所述成熟度识别模型，获得所述目标食材当前的成熟度。

在一些实施例中，所述用于食材成熟度的检测装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于食材成熟度的检测方法。

在一些实施例中，所述烹饪设备包括高光谱成像系统；和上述的用于食材成熟度的检测装置。

本公开实施例提供的用于食材成熟度的检测方法及装置、烹饪设备，可以实现以下技术效果：

在获取高光谱成像系统采集的光谱图像后，根据光谱图像中目标食材的光谱数据确定目标食材的种类，以获取与食材种类相对应的成熟度识别模型来确定当前食材的成熟度信息，以提高当前烹饪过程中根据食材光谱数据检测食材成熟度的准确性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的烹饪设备的使用场景示意图；

图2是本公开实施例提供的高光谱成像系统的结构示意图；

图3是本公开实施例提供的光谱成像芯片的成像过程示意图；

图4是本公开实施例提供的一种用于食材成熟度的检测方法的流程示意图；

图5是本公开实施例提供的另一种用于食材成熟度的检测方法的流程示意图；

图6是本公开实施例提供的一种用于食材成熟度的检测装置的示意图；

图7是本公开实施例提供的另一种用于食材成熟度的检测装置的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。

本公开实施例中，智能家电设备是指将微处理器、传感器技术、网络通信技术引入家电设备后形成的家电产品，具有智能控制、智能感知及智能应用的特征，智能家电设备的运作过程往往依赖于物联网、互联网以及电子芯片等现代技术的应用和处理，例如智能家电设备可以通过连接电子设备，实现用户对智能家电设备的远程控制和管理。

本公开实施例中，终端设备是指具有无线连接功能的电子设备，终端设备可以通过连接互联网，与如上的智能家电设备进行通信连接，也可以直接通过蓝牙、wifi等方式与如上的智能家电设备进行通信连接。在一些实施例中，终端设备例如为移动设备、电脑、或悬浮车中内置的车载设备等，或其任意组合。移动设备例如可以包括手机、智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备等，或其任意组合，其中，可穿戴设备例如包括：智能手表、智能手环、计步器等。

图1是本公开实施例提供的烹饪设备的使用场景示意图，结合图1所示，该使用场景包括烹饪设备200和用于与烹饪设备200通讯的家庭云平台210。其中，烹饪设备200可以是烤箱、微波炉、电饭煲等智能烹饪设备。

这里，烹饪设备200包括烹饪腔、设置在烹饪腔内的光源和高光谱成像系统。

一般地，烹饪设备200可以接入家中WiFi网络，与手机、云服务器等控制终端进行通讯。用户也可以通过智能手机端应用程序，控制烹饪设备200执行烹饪程序指令(包括烹饪调控指令、成熟度检测指令等)。

烹饪设备200通过WiFi网络与家庭云平台210通信，接收烹饪设备200的实时状态数据供大数据平台、应用程序服务订阅，接收并下发来自其他业务类服务器、大数据平台、应用程序端、智能终端的烹饪程序指令。

在本方案的其他实施场景中，还可以包括终端设备，用于与烹饪设备200和/或家庭云平台210通信，这里，终端设备指的是智慧家庭应用场景中的智能设备，如智能手机、可穿戴设备、智能移动设备、虚拟显示设备等，也可以是智能家电设备，如智能冰箱、智能电视、智能洗衣机、智能空调、智能音箱、智能灯以及智能窗帘等，或其任意组合。

图2是本公开实施例中高光谱成像系统的结构示意图。本公开实施例中的高光谱成像系统应用于上述烹饪设备。

高光谱成像是在光谱维度上进行了细致的分割，不仅仅是传统所谓的黑、白或者R、G、B的区别，而是在光谱维度上也有N个通道，例如：可以把400nm-1000nm分为300个通道。因此，通过高光谱设备获取到的是一个数据立方，不仅有图像的信息，并且在光谱维度上进行展开，结果不仅可以获得图像上每个点的光谱数据，还可以获得任一个谱段的影像信息。这意味着高光谱成像技术可以为食材成熟度识别提供更精准、更丰富的数据。

相比于高光谱成像上百个通道，相关技术中常采用的RGB成像仅有三个通道，通过这三个通道的强度数据来判断食材的成熟度，准确度较差。

结合图2所示，本公开实施例提供的高光谱成像系统包括隔热镜头100、光谱成像芯片110、数据交互电路120。其中，数据交互电路120包括模数转换模块、数据存储模块、数据处理模块和人机交互模块。

一般地，为了更好的获取目标食材的光谱数据，隔热镜头100设置在烹饪设备内顶部角落位置。具体地，可以设置在烹饪腔对角线位置，以提高光谱数据获取的准确性。

可选地，本实施例中的光谱成像芯片110采用瓦片式光谱成像芯片，即一次包括获取包含二维空间与一维时间的三维数据。以4谱段瓦片式光谱成像芯片结构为例，对于含M×N像素的图像传感器，各谱段分别占(M/2×N/2)个像素，该相邻(M/2×N/2)个像素构成一滤光区块，在同一滤光区块，传感器片上集成同一光谱滤光薄膜结构，即该(M/2×N/2)个像素具有同样光谱选择性。

进一步地，隔热镜头100的微透镜阵列数量101与瓦片式光谱成像芯片110滤光区块数量相同，即对于同一目标食材130，M×N像素在不同的光谱选择性成像区块上分别成像，最终在数据交互电路120的处理下获得(M/2×N/2×4)的目标光谱图像140，成像过程如图3所示。

由此，上述的高光谱成像系统应用于烹饪设备中，能够采集烹饪设备内的光谱信息，从而利用采集到的光谱信息进行本公开实施例中的光源性能检测，从而进行相关的提示信息推送，或利用采集到的光谱信息进行食材的成熟度判断，使得烹饪设备能够基于目标食材的成熟度做出反馈。

图4是本实施例提供的用于食材成熟度的检测方法的流程示意图，该用于食材成熟度的检测方法应用于具有上述高光谱成像系统的烹饪设备中。该用于食材成熟度的检测方法可以在高光谱成像系统中执行，也可在烹饪设备的控制端执行；也可在服务器中执行，如与烹饪设备通讯的家庭云平台；还可在终端设备执行，如智能手机、智能家电设备的控制终端。在本公开实施例中，以烹饪设备的处理器作为执行主体，对方案进行说明。

如图4所示，该用于成熟度的检测方法包括：

步骤S401，响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像。

这里，成熟度检测指令可以来自于用户下发的指令，也可以是烹饪设备自身判断适于运行时触发的自检测指令。

在一些应用场景中，烹饪设备可以根据用户的语音指令，触发该成熟度检测指令；或通过用户的操作意图，获取该成熟度检测指令，如按键、触屏、旋钮、开关门、设定的手势等。烹饪设备也可以通过与智能手机的通讯，获取用户通过智能手机的应用程序触发的成熟度检测指令。

步骤S402，提取光谱图像中目标食材的光谱数据，并确定目标食材的种类。

其中，目标食材的光谱数据包括光谱图像中目标食材的光谱强度。以根据不同的光谱强度确定不同的目标食材种类。

这里，食材的光谱数据与食材种类之间的对应关系，可以通过查表的方式获得。例如，获得烹饪设备的食材种类信息表，食材种类信息表中保存有不同种类的食材对应的光谱强度信息；

获得当前光谱图像中目标食材的光谱强度，并在食材种类信息表中匹配出与当前光谱强度相符合的食材种类作为该目标食材的种类。

烹饪设备的食材种类信息表可以通过仿真获取，或通过有限次试验获取，并将获取的数据映射关系以数据信息表的形式存储在处理器中，以供调用。

步骤S403，获得与目标食材的种类相对应的成熟度识别模型，并将目标食材的光谱数据输入成熟度识别模型，获得目标食材当前的成熟度。

如此，在获取高光谱成像系统采集的光谱图像后，根据光谱图像中目标食材的光谱数据确定目标食材的种类，以获取与食材种类相对应的成熟度识别模型来确定当前食材的成熟度信息，以提高当前烹饪过程中根据食材光谱数据检测食材成熟度的准确性。

一般地，在确定目标食材的种类时，可以根据用户输入的信息获取，例如根据用户在烹饪设备的控制面板的食材种类选择确定目标食材的种类，或根据用户选择的烹饪食谱，确定目标食材的种类。

在获取一台烹饪设备的多次烹饪程序运行历史，或获取多台烹饪设备的烹饪程序运行历史后，即可根据历史数据建立食材种类识别模型，从而根据高光谱成像系统采集的光谱图像直接识别当前烹饪的目标食材的种类。

则，确定目标食材的种类，包括：将目标食材的光谱数据输入种类识别模型；根据种类识别模型的识别结果，确定目标食材的种类。

进一步地，上述的种类识别模型的建立，包括：

获得高光谱成像系统采集的多组光谱图像，其中每组光谱图像中均包括目标食材的光谱数据；

获得每一组光谱图像中目标食材的光谱特征数据，以及每组光谱特征数据的标签，将多组光谱特征数据及对应的标签作为第一训练样本数据集；其中，标签用于表示每组光谱特征数据对应的目标食材种类；

构建第一识别模型，将第一训练样本数据集输入第一识别模型进行训练，将训练后的第一识别模型作为种类识别模型。

这里第一识别模型可以采用LDA(Linear Discriminant Analysis,降维方法线性判别分析)模型。则通过第一训练样本数据集对第一识别模型的训练，可以得到用于整体识别目标食材种类的种类识别模型，以实现对当前烹饪的目标食材种类的确定。

这里，第一训练样本数据集中的光谱图像以及对应的目标食材种类，可以通过当前烹饪设备的历史运行记录获取。或通过家庭云平台，获取不同烹饪设备上传的历史运行记录，以形成上述的第一训练样本数据集。

进一步地，在获得训练后的种类识别模型后，需要对其种类识别的准确度进行测试，以确定是否需要用户继续输入食材种类信息。

具体地，在训练并获得种类识别模型后，还包括：

获取测试样本数据集，测试样本数据集包括高光谱成像系统采集的多组光谱图像，以及与每组光谱图像中目标食材对应的食材种类信息；

将测试样本数据集输入至种类识别模型；

分别计算每组光谱图像的种类识别模型识别结果与食材种类信息之间的匹配度，获得种类识别模型的平均匹配度；

在平均匹配度大于或等于匹配阈值的情况下，将种类识别模型应用于确定目标食材的种类；

在平均匹配度小于匹配阈值的情况下，根据用户的输入信息，确定目标食材的种类。

这里，测试样本数据集中的光谱图像以及对应的目标食材种类，可以通过当前烹饪设备的历史运行记录获取。例如获取用户的输入信息，确定当前烹饪的食材种类，并获取食材的光谱数据。

匹配度用于表示种类识别模型识别结果与食材种类信息之间的相近程度。种类识别模型识别结果与食材种类信息越相近，匹配度数值越高。例如，在种类识别模型识别结果与食材种类信息完全相同时，匹配度为1；在种类识别模型识别结果与食材种类信息属于同类型食材的不同种类时(如种类识别模型识别结果为苹果，食材种类信息实际为梨)，匹配度为0.8；在种类识别模型识别结果与食材种类信息属于不同类型食材时(如如种类识别模型识别结果为苹果，食材种类信息实际为牛肉)，匹配度为0。

匹配阈值用于表示种类识别模型识别结果与食材种类信息之间的相似度较高，可满足种类识别需求的情况。例如，将匹配阈值设置为0.7。

则，在使用种类识别模型进行测试时，当平均匹配度大于或等于匹配阈值的情况下，说明当前种类识别模型的识别成功率较高，可满足种类识别需求，因此可应用于确定目标食材的种类，不再需要用户输入食材种类信息；当平均匹配度小于匹配阈值的情况下，说明当前种类识别模型的识别成功率一般，不能满足当前种类识别需求，需要用户继续输入食材种类信息，并继续训练种类识别模型，使其深度学习食物的光谱特征信息，以提高识别结果与食材种类信息的匹配度。

进一步地，还可以通过联邦学习的方式建立并训练种类识别模型。

具体地，根据联邦学习的方式建立并训练种类识别模型，包括：

根据联邦学习中心下发的模型结构和预训练模型，构建本地种类识别模型；

根据上述的第一训练样本数据集，对本地种类识别模型进行训练，并在训练设定迭代轮次后，将训练后的模型上传至联邦学习中心；

获得联邦学习中心下发的中心种类识别模型；中心种类识别模型为根据多个上传至联邦学习中心的本地种类识别模型进行融合训练后得到的；

根据中心种类识别模型更新本地种类识别模型的配置参数。

通过建立本地种类识别模型，并通过联邦学习中心实现不同种类食材的光谱特征数据间的联合，使得模型能够充分学习不同种类食材的光谱特征，提高模型的泛化性，以实现在本地应用时，能够根据采集到的光谱图像输出相对应的食材种类。

可选地，成熟度识别模型的建立，包括：

获得高光谱成像系统在同一次烹饪过程中采集的多组光谱图像，其中同一次烹饪过程中的每组光谱图像中均包括同一种目标食材的光谱数据；

获得同一次烹饪过程中每一组光谱图像中目标食材的光谱特征数据，并获得每组光谱特征数据的标签，将多组光谱特征数据及对应的标签作为对应于目标食材的第二训练样本数据集；其中，标签用于表示每组光谱特征数据对应的目标食材的成熟度信息；

构建第二识别模型，将第二训练样本数据集输入第二识别模型进行训练，将训练后的第二识别模型作为与目标食材的种类对应的成熟度识别模型。

同一次烹饪过程中采集的多组光谱图像，是指在同一次烹饪过程中不同烹饪阶段多采集的多组光谱图像。这里可以通过不同烹饪阶段作为相对应的光谱图像的成熟度信息。与种类识别模型不同，成熟度识别模型的建立需要根据同一类食材在烹饪过程中多阶段的光谱图像进行训练。不同食材间的成熟度识别模型不同。

进一步地，在获得训练后的成熟度识别模型后，需要对其成熟度识别的准确度进行测试，以确定是否继续迭代训练。

具体地，在建立成熟度识别模型后，还包括：

获取测试样本数据集，测试样本数据集包括高光谱成像系统采集的多组光谱图像，以及与每组光谱图像中目标食材对应的食材成熟度信息；

将测试样本数据集输入至成熟度识别模型；

分别计算每组光谱图像的成熟度识别模型识别结果与食材成熟度信息之间的匹配度，获得成熟度识别模型的平均匹配度；

在平均匹配度大于或等于成熟度匹配阈值的情况下，将当前成熟度识别模型应用于食材的成熟度检测中；

在平均匹配度小于成熟度匹配阈值的情况下，继续对多数成熟度识别模型进行训练。

这里，成熟度识别模型识别结果与食材成熟度信息之间的匹配度用于表示成熟度识别模型识别结果与食材的成熟度信息之间的相近程度。成熟度识别模型识别结果与食材的成熟度信息越相近，成熟度识别模型识别结果与食材成熟度信息之间的匹配度的数值越高。

成熟度匹配阈值用于表示成熟度识别模型识别结果与食材成熟度信息之间的相似度较高，可满足成熟度识别需求的情况。例如，将成熟度匹配阈值设置为0.85。

则，在使用成熟度识别模型进行测试时，当平均匹配度大于或等于成熟度匹配阈值的情况下，说明当前成熟度识别模型的识别成功率较高，可满足成熟度识别需求，因此可应用于确定目标食材的成熟度识别；当平均匹配度小于匹配阈值的情况下，说明当前成熟度识别模型的识别成功率一般，不能满足当前成熟度识别需求，需要继续训练成熟度识别模型，使其深度学习各种类食物在不同成熟阶段的光谱特征信息，以提高识别结果与食材成熟度信息的匹配度。

进一步地，还可以通过联邦学习的方式建立并训练成熟度识别模型。

具体地，根据联邦学习的方式建立并训练成熟度识别模型，包括：

根据联邦学习中心下发的模型结构和预训练模型，构建本地成熟度识别模型；

根据上述的第二训练样本数据集，对本地成熟度识别模型进行训练，并在训练设定迭代轮次后，将训练后的模型上传至联邦学习中心；

获得联邦学习中心下发的中心成熟度识别模型；中心成熟度识别模型为根据多个上传至联邦学习中心的本地成熟度识别模型进行融合训练后得到的；

根据中心成熟度识别模型更新本地成熟度识别模型的配置参数。

通过建立本地成熟度识别模型，并通过联邦学习中心实现各种类食材的不同成熟阶段的光谱特征数据间的联合，使得模型能够充分学习各种类食材在不同成熟阶段的光谱特征，提高模型的泛化性，以实现在本地应用时，能够根据采集到的光谱图像输出相对应的食材成熟度信息。

如此，在获取高光谱成像系统采集的光谱图像后，根据光谱图像中目标食材的光谱数据确定目标食材的种类，以获取与食材种类相对应的成熟度识别模型来确定当前食材的成熟度信息，以提高当前烹饪过程中根据食材光谱数据检测食材成熟度的准确性。

图5是本实施例提供的用于食材成熟度的检测方法的流程示意图，该用于食材成熟度的检测方法应用于具有上述高光谱成像系统的烹饪设备中。在本公开实施例中，以烹饪设备的处理器作为执行主体，对方案进行说明。

如图5所示，该用于成熟度的检测方法包括：

步骤S501，响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像。

步骤S502，获得目标食材在光谱图像中的坐标信息。

步骤S503，根据坐标信息提取光谱图像中目标食材的光谱数据。

步骤S504，将目标食材的光谱数据输入种类识别模型；根据种类识别模型的识别结果，确定目标食材的种类。

步骤S505，获得与目标食材的种类相对应的成熟度识别模型，并将目标食材的光谱数据输入成熟度识别模型，获得目标食材当前的成熟度。

这里，通过寻找图像中的有效像素位置作为目标食材的坐标信息，从而提高了对光谱图像中目标食材信息的识别效率和准确率，进而在根据光谱图像的识别结论进行食材的成熟度判定时，提高成熟度判定的准确性。

可选地，将目标食材在光谱图像中的平均光谱强度作为目标食材的光谱数据。

这里平均光谱强度是指光谱图像中目标食材对应的光谱信息的平均光谱强度；或，光谱图像中目标食材对应的光谱信息的光谱强度散点平均值。

例如，对在获取目标食材的坐标信息后，在光谱图像中对目标食材取散点平均值，即每间隔设定像素取点，以得到目标食材的平均光谱。通过散点平均值的取值方法，可相对于取值目标食材全部图像的平均光谱强度，能够提高计算速度，从而提高利用光谱图像进行食材成熟度判断的识别效率。

上述的设定像素，可以是预设的，例如将设定像素设置为20；也可以根据目标食材的平均面积来确定，还可以根据食材的种类通过查表的方式来确定。

例如，根据目标食材的类型确定设定像素的数值，包括：

获得烹饪设备的食材信息表，食材面积信息表中保存有不同食材对应的预设像素值；

获得当时烹饪设备内的食材信息，并在食材信息表中匹配出与当前食材信息相符合的预设像素值作为设定像素。

烹饪设备的食材信息表可以通过仿真获取，或通过有限次试验获取，并将获取的数据映射关系以数据信息表的形式存储在处理器中，以供调用。

可选地，获得目标食材在光谱图像中的坐标信息包括：

对光谱图像进行二值化处理，并按照预设顺序通过标记算法遍历二值化处理后的图像，获得图像中的目标食材图像的连通集合；

对连通集合进行去噪，获得目标食材的坐标信息。

具体地，对光谱图像进行二值化处理，包括：

对光谱图像进行图像校正，以获得强度归一化图像；

对强度归一化图像进行降采样处理；

对讲过降采样后的光谱图像进行二值化处理，将光谱图像中的目标食材转换为第一像素值，并将光谱图像中的背景转换为第二像素值；

遍历二值化处理后的图像，确定孔洞区域并进行填充。

这里，二值化处理用于将图像中的像素强度由[0,255]转换为0或255。

第一像素值与第二像素值用于区分图像中的目标食材和背景，一般地将用于表示目标食材的第一像素值设置为255，用于表示背景的第二像素值设置为0。

如此，经过二值化处理后的图像，相对于原始图像更能凸显目标食材的轮廓，基本实现了将目标食材与背景的分离。

进一步地，由于光照不均匀，二值化处理后的图像中，目标食材并不会完全被赋值为第一像素值，因此需要对图片中的孔洞区域进行填充处理。

可选地，对连通集合进行去噪，获得目标食材的坐标信息，包括：

获得连通集合中，像素个数大于设定面积阈值的一个或多个连通域；

根据一个或多个连通域，输出对应的目标食材的坐标信息。

设定面积阈值，用于表示设定的像素个数。如此，通过面积过滤的方式，去除连通集合中的像素个数较少的噪声连通域。

这里，设定面积阈值可以是系统预设的，也可以是根据目标食材的类型确定的，还可以是根据当前连通集合中连通域的面积和确定的。

进一步地，上述的强度归一化图像的获取，包括：

获得烹饪设备的定标预处理数据；定标预处理数据包括烹饪设备的暗噪声数据和标准反射数据；

根据定标预处理数据对光谱图像进行校正以获得强度归一化图像。

烹饪设备的定标预处理数据作为烹饪设备的属性特征，用于降低或去除光学效应导致的图像暗角、环境光源对目标食材的光谱强度的影响。可以在产品出厂前，通过试验或仿真，获得工作环境光源条件恒定情况下的定标预处理数据，并存储在处理器或数据库中，以供调用。

暗噪声数据是指影响光谱原始数据的杂光噪声数据。烹饪设备的暗噪声数据可以通过仿真获取，或通过试验获取，并将获取的数据存储在数据库中，以供调用。例如，关闭烹饪设备内的光源，将烹饪设备放置在暗室环境中，采集光谱成像微系统的暗噪声数据，并进行存储。用0～255来表示光谱强度由暗到明，则暗噪声强度一般稳定在30左右。

标准反射数据，是指通过将白色漫反射标准板放置在烹饪设备内不同高度位置，所获取的白色漫反射标准板光谱成像数据，是光谱强度采集过程中的标定标准。

可选地，标准反射数据的获得，包括：

获得烹饪设备的标准反射数据信息表，标准反射数据信息表中保存有烹饪设备内不同高度对应的标准反射数据；

获得食材在烹饪设备内的高度位置，并在标准反射数据信息表中匹配出与当前食材在烹饪设备内的高度位置相对应的标准反射数据。

对于部分烹饪腔内分层的烹饪设备来说，可以通过食材或承载食材的烹饪器具所在层位，确定食材在烹饪设备内的高度位置。对于烹饪腔内不分层的烹饪设备来说，可以通过食材的顶部所在位置，确定食材在烹饪设备内的高度位置。

烹饪设备的标准反射数据信息表可以通过仿真获取，或通过有限次试验获取，并将获取的数据映射关系以数据信息表的形式存储在处理器中，以供调用。例如，对于烹饪腔分为多层的烹饪设备，将白色漫反射标准板放置在烹饪腔内的不同层位置，将光源开到最亮，关闭烹饪设备的门体，采集白板反射的光谱图像数值作为标准反射数据w_n(λ)(n＝1,2，……)，并将不同层位置与光谱图像数值之间的映射关系存储为该烹饪设备的标准反射数据信息表。与暗噪声数据相比，标准反射数据的强度变化范围更大，不同波段下强度变化相对明显。

在使用定标预处理数据对光谱强度进行处理时，载入上述的暗噪声数据以及标准反射数据，以进行数据处理。这里，可以根据各通道的波长数据对应的暗噪声强度以及标准反射数据，进行一一对应处理，也可以根据单通道的暗噪声强度范围，对暗噪声数据进行归一化处理后，再与标准反射数据共同对光谱强度的处理，从而得到强度归一化的光谱图像。

进一步地，根据定标预处理数据对原始图像进行校正以获得强度归一化图像，包括：

根据暗噪声数据处理入射光的光谱信息；

根据处理后的入射光的光谱信息、暗噪声数据和标准反射数据，获得强度归一化的光谱图像。

具体地，强度归一化的光谱图像通过如下方式获得

其中，T’(λ)为强度归一化图像，I(λ)为入射光的光谱信息，b(λ)为暗噪声数据，w(λ)为与食材在烹饪设备内的位置相对应的标准反射数据。

如此，在获取高光谱成像系统采集的光谱图像后，根据光谱图像中目标食材的光谱数据确定目标食材的种类，以获取与食材种类相对应的成熟度识别模型来确定当前食材的成熟度信息，以提高当前烹饪过程中根据食材光谱数据检测食材成熟度的准确性。

图6是本公开实施例提供一种用于食材成熟度的检测装置的示意图，该用于食材成熟度的检测装置可采用软件、硬件或软硬结合的形式实现。

如图6所示，该用于食材成熟度的检测装置，包括：图像获取模块601、种类确定模块602和成熟度确定模块603。其中，图像获取模块601被配置为响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；种类确定模块602被配置为提取光谱图像中目标食材的光谱数据，并确定目标食材的种类；成熟度确定模块603被配置为获得与目标食材的种类相对应的成熟度识别模型，并将目标食材的光谱数据输入成熟度识别模型，获得目标食材当前的成熟度。

图7是本公开实施例提供的一种用于食材成熟度的检测装置的示意图。如图7所示，该用于食材成熟度的检测装置包括：

处理器(processor)700和存储器(memory)701，该装置还可以包括通信接口(Communication Interface)702和总线703。其中，处理器700、通信接口702、存储器701可以通过总线703完成相互间的通信。通信接口702可以用于信息传输。处理器700可以调用存储器701中的逻辑指令，以执行上述实施例的用于食材成熟度的检测方法。

此外，上述的存储器701中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器700通过运行存储在存储器701中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中食材成熟度的检测方法。

存储器701可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种烹饪设备，包含高光谱成像系统和上述的用于食材成熟度的检测装置。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行上述用于食材成熟度的检测方法。

本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述用于食材成熟度的检测方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于食材成熟度的检测方法，其特征在于，包括：

响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；

提取所述光谱图像中目标食材的光谱数据，并确定目标食材的种类；

获得与目标食材的种类相对应的成熟度识别模型，并将所述目标食材的光谱数据输入所述成熟度识别模型，获得所述目标食材当前的成熟度。

2.根据权利要求1所述的检测方法，其特征在于，所述获确定目标食材的种类，包括：

将所述目标食材的光谱数据输入种类识别模型；

根据所述种类识别模型的识别结果，确定所述目标食材的种类。

3.根据权利要求2所述的检测方法，其特征在于，所述种类识别模型的建立，包括：

获得高光谱成像系统采集的多组光谱图像，其中每组光谱图像中均包括目标食材的光谱数据；

获得每一组光谱图像中目标食材的光谱特征数据，以及每组光谱特征数据的标签，将多组所述光谱特征数据及对应的标签作为第一训练样本数据集；其中，所述标签用于表示每组光谱特征数据对应的目标食材种类；

构建第一识别模型，将所述第一训练样本数据集输入所述第一识别模型进行训练，将训练后的所述第一识别模型作为所述种类识别模型。

4.根据权利要求3所述的检测方法，其特征在于，在训练并获得所述种类识别模型后，还包括：

获取测试样本数据集，所述测试样本数据集包括高光谱成像系统采集的多组光谱图像，以及与每组光谱图像中目标食材对应的食材种类信息；

将所述测试样本数据集输入至所述种类识别模型；

分别计算每组光谱图像的种类识别模型识别结果与食材种类信息之间的匹配度，获得所述种类识别模型的平均匹配度；

在所述平均匹配度大于或等于匹配阈值的情况下，将所述种类识别模型应用于确定所述目标食材的种类；

在所述平均匹配度小于匹配阈值的情况下，根据用户的输入信息，确定所述目标食材的种类。

5.根据权利要求1所述的检测方法，其特征在于，所述成熟度识别模型的建立，包括：

获得高光谱成像系统在同一次烹饪过程中采集的多组光谱图像，其中同一次烹饪过程中的每组光谱图像中均包括同一种目标食材的光谱数据；

获得同一次烹饪过程中每一组光谱图像中目标食材的光谱特征数据，并获得每组光谱特征数据的标签，将多组所述光谱特征数据及对应的标签作为对应于目标食材的第二训练样本数据集；其中，所述标签用于表示每组光谱特征数据对应的目标食材的成熟度信息；

构建第二识别模型，将所述第二训练样本数据集输入所述第二识别模型进行训练，将训练后的第二识别模型作为与目标食材的种类对应的所述成熟度识别模型。

6.根据权利要求1至5任一所述的检测方法，其特征在于，所述提取所述光谱图像中目标食材的光谱数据，包括：

获得所述目标食材在所述光谱图像中的坐标信息；

根据所述坐标信息提取所述光谱图像中目标食材的光谱数据。

7.根据权利要求6所述的检测方法，其特征在于，

将所述目标食材在所述光谱图像中的平均光谱强度作为所述目标食材的光谱数据。

8.一种用于食材成熟度的检测装置，其特征在于，包括：

图像获取模块，被配置为响应于成熟度检测指令，获得高光谱成像系统采集的光谱图像；

种类确定模块，被配置为提取所述光谱图像中目标食材的光谱数据，并确定目标食材的种类；

成熟度确定模块，被配置为获得与目标食材的种类相对应的成熟度识别模型，并将所述目标食材的光谱数据输入所述成熟度识别模型，获得所述目标食材当前的成熟度。

9.一种用于食材成熟度的检测装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于食材成熟度的检测方法。

10.一种烹饪设备，其特征在于，包括：

高光谱成像系统；和

如权利要求8或9所述的用于食材成熟度的检测装置。

Images