CN115424054A - 用于冰箱的图像识别方法、存储介质、系统及冰箱 - Google Patents

用于冰箱的图像识别方法、存储介质、系统及冰箱 Download PDF

Info

Publication number
CN115424054A
CN115424054A CN202210928696.9A CN202210928696A CN115424054A CN 115424054 A CN115424054 A CN 115424054A CN 202210928696 A CN202210928696 A CN 202210928696A CN 115424054 A CN115424054 A CN 115424054A
Authority
CN
China
Prior art keywords
identification
area
image recognition
sub
refrigerator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210928696.9A
Other languages
English (en)
Inventor
解凡
孔令磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Chongqing Haier Refrigeration Electric Appliance Co Ltd
Original Assignee
Qingdao Haier Refrigerator Co Ltd
Haier Smart Home Co Ltd
Chongqing Haier Refrigeration Electric Appliance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Refrigerator Co Ltd, Haier Smart Home Co Ltd, Chongqing Haier Refrigeration Electric Appliance Co Ltd filed Critical Qingdao Haier Refrigerator Co Ltd
Priority to CN202210928696.9A priority Critical patent/CN115424054A/zh
Publication of CN115424054A publication Critical patent/CN115424054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供了一种用于冰箱的图像识别方法、存储介质、系统及冰箱。其中识别方法包括：获取图像；在图像中每个物品外形成识别区；将每个识别区输入图像识别分类模型并获取预测物品信息以及置信度；判断每个识别区的最大置信度是否大于预设值；若是，则将最大置信度对应的预测物品信息与识别区关联；若否，则将识别区分割为若干子识别区；将每个子识别区输入图像识别分类模型，并获取预测物品信息及置信度；根据子识别区的预测物品信息以及置信度，获取对应的识别区的预测种物品信息。存储介质、系统及冰箱能够实现上述识别方法。如此设置，能够实现避免因食材相互遮挡造成识别错误，提高冰箱图像识别的准确率。

Description

用于冰箱的图像识别方法、存储介质、系统及冰箱
技术领域
本发明涉及家用电器领域,尤其涉及一种用于冰箱的图像识别方法、存储介质、系统及冰箱。
背景技术
随着科技的进步，用户对冰箱的要求越来越高，智能化转型成为冰箱新的研发方向。冰箱一般设置有图像识别系统。图像识别系统通常包括设置在冰箱内的摄像头，通过识别摄像头拍摄的照片，对冰箱内物品进行智能化管理。现有技术中的图像识别系统通常是对采集的图像直接识别。但是，该种设计存在以下缺陷：当冰箱内的物品之间存在相互遮挡时，往往会导致冰箱识别错误。
发明内容
本发明的目的在于提供一种用于冰箱的图像识别方法、存储介质、系统及冰箱，通过对识别区分割成的子识别区进行识别，能够实现避免因食材相互遮挡造成识别错误，提高冰箱图像识别的准确率。
为实现上述发明目的，本发明一实施方式提供一种用于冰箱的图像识别方法，其中，所述识别方法包括：
获取图像；
在所述图像中每个物品的外轮廓处生成涵盖所述物品的矩形边界框，每个所述边界框内部形成独立的识别区；
将每个所述识别区输入图像识别分类模型，并通过所述图像识别分类模型获取每个识别区的预测物品信息，以及每个所述预测物品信息对应的置信度；
判断每个所述识别区的最大置信度是否大于预设值；
若是，则将所述最大置信度对应的预测物品信息与所述识别区关联；
若否，则将所述识别区分割为若干子识别区；
将每个所述子识别区输入所述图像识别分类模型，并通过所述图像识别分类模型获取每个所述子识别区的预测物品信息，以及每个预测物品信息对应的置信度；
根据所述子识别区的预测物品信息以及置信度，获取对应的识别区的预测种物品信息。
作为本发明一实施方式的进一步改进，其中，还包括：
若仅一个所述子识别区的最大置信度大于所述预设值，则将所述最大置信度对应的预测物品信息与所述识别区关联。
作为本发明一实施方式的进一步改进，其中，还包括：
若所有所述子识别区的最大置信度均小于所述预设值，则所述识别区最终关联的预测物品信息为无。
作为本发明一实施方式的进一步改进，其中，还包括：
若两个或两个以上所述子识别区的最大置信度大于所述预设值，则获取与所述识别区相交的其他所述识别区；
获取不属于其他所述识别区的所述子识别区；
获取所述子识别区的最大置信度对应的预测物品信息，将所述预测物品信息与所述识别区关联。
作为本发明一实施方式的进一步改进，其中，“获取不属于其他所述识别区的所述子识别区”的控制方法包括：
获取所述识别区与其他识别区的相交区域；
获取每个所述子识别区与所述相交区域的相交面积；
获取最小所述相交面积对应的所述子识别区，所述子识别区为不属于所述相交区域的所述子识别区。
作为本发明一实施方式的进一步改进，其中，所述预设值的范围为0.80-0.95。
作为本发明一实施方式的进一步改进，其中，所述图像识别分类模型包括深度卷积神经网络，所述图像识别分类模型的训练方法包括：
S1:获取包含待训练识别的物品的图像；
S2:分割所述图像并获取所述物品的抠图；
S3:重复S1和S2，获取所述物品处于多种遮挡情形下的抠图并形成训练集；
S4:使用所述训练集训练所述图像识别分类模型直至所述图像识别模型识别所述物品的准确率达到预设准确率。
作为本发明一实施方式的进一步改进，其中，所述抠图的获取方法为人工手动分割或计算机初步分割后人工检查并修正。
为实现上述发明目的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式所述的用于冰箱的图像识别方法中的步骤。
为实现上述发明目的，本发明一实施方式提供一种图像识别系统，所述图像识别系统包括控制模块、图像识别模块，其中，所述图像识别系统还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于冰箱的图像识别方法中的步骤。
为实现上述发明目的，本发明一实施方式提供一种冰箱，所述冰箱包括图像识别系统，所述图像识别系统包括控制模块、图像识别模块，其中，所述图像识别系统还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于冰箱的图像识别方法中的步骤。
与现有技术相比，本发明通过在图像中生成独立的识别区，先对识别区进行识别，当识别区的置信度低于预设值时，再对识别区分割成的子识别区进行识别，其有益效果在于：能够实现避免因食材相互遮挡造成识别错误，提高冰箱图像识别的准确率。
附图说明
图1是本发明一实施方式冰箱的结构示意图；
图2是本发明一实施方式图像的示意图；
图3是图2所示图像的局部示意图；
图4是图2所示图像的局部示意图；
图5是本发明一实施方式用于冰箱的图像识别方法的流程图；
图6是本发明一实施方式用于冰箱的图像识别方法的流程图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所作出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
参照图1，本发明一实施方式中，提供一种冰箱100。冰箱100可以包括箱体1和设置于箱体1内的储物间室。储物间室可以包括用于存放物品的冷藏室和冷冻室。冰箱100还可以包括用于开闭所述储物间室的门体2。门体2可以设置有瓶座或门体2间室等用于存放物品的结构。
冰箱100的箱体1或门体2上可以安装有摄像头3。摄像头3可以用于拍摄图像10。摄像头3可以用于拍摄储物间室内部区域，也可以用于拍摄门体2瓶座或门体2间室等用于存放物品的区域。摄像头3可以从物品的上方拍摄，也可以是从物品的侧面拍摄。
参照图2、图3、图5，在本发明另一实施方式中，提供一种用于冰箱100的图像识别方法，其中，所述识别方法可以包括：
获取图像10；
在所述图像10中每个物品的外轮廓处生成涵盖所述物品的矩形边界框，每个所述边界框内部形成独立的识别区；
将每个所述识别区输入图像识别分类模型，并通过所述图像识别分类模型获取每个识别区的预测物品信息，以及每个所述预测物品信息对应的置信度；
判断每个所述识别区的最大置信度是否大于预设值；
若是，则将所述最大置信度对应的预测物品信息与所述识别区关联；
若否，则将所述识别区分割为若干子识别区；
将每个所述子识别区输入所述图像识别分类模型，并通过所述图像识别分类模型获取每个所述子识别区的预测物品信息，以及每个预测物品信息对应的置信度；
根据所述子识别区的预测物品信息以及置信度，获取对应的识别区的预测种物品信息。
在本实施方式中，所述图像10可以是使用摄像头3等拍摄工具获取的。图像10中可以包含有若干个物品。
各个物品在图像10中的呈现情况可能是不一样的。物品可能是没有被遮挡而完整呈现在图像10中、也可能是被其他物品轻微遮挡呈现出大部分，也可能是被其他物品较严重遮挡而只能呈现出局部。
在本实施方式中，所述边界框可以是能够包含某一物体的矩形框。所述边界框和物品可以是一一对应的，不同物品的边界框可以相交。
在本实施方式中，所述识别区是由所述边界框围成的待识别的区域。识别区和边界框一一对应，一个边界框围成一个独立的识别区。所边界框和识别区的可以通过目标检测算法等获取。
在本实施方式中，所述图像识别分类模型可以是包含卷积神经网络(CNN)并用于对图像10中特定对象的类别进行分类以及预测的模型。图像10分类识别模型的获得一般包括数据准备、模型建立、使用训练集进行训练、使用测试集测试模型效果等过程。在本实施方式中的图像10分类识别模型可以是已经训练完毕的模型。
在本实施方式中，预测物品信息可以是对识别区内的物品种类信息的预测结果。
一个识别区可以有多个预测物品信息。例如，某一识别区的预测物品信息可以是：苹果，梨，桃子。这表明该识别区内的物品可能是苹果，可能是梨，可能是桃子。
在本实施方式中，所述置信度可以是预测物品信息为真实物品信息的可信程度。置信度越大，说明对应的预测物品信息与真实物品信息越接近。
置信度和预测物品信息一一对应，每一预测物品信息都附随有置信度。例如，某一识别区的预测物品信息及其置信度可以为：苹果，置信度0.8；梨，置信度0.5；桃子，置信度0.3。这表明该识别区内的物品可能是苹果的置信度为0.8，可能是梨的置信度为0.5，可能是桃子的置信度为0.3。
在本实施方式中，所述最大置信度可以是识别区若干预测物品信息对应的置信度中数值最大的置信度。例如，某一识别区的预测物品信息及其置信度为：苹果，置信度0.8；梨，置信度0.5；桃子，置信度0.3。那么该识别区最大置信度为0.8。该识别区最大置信度对应的预测物品信息为苹果。
在本实施方式中，将预测物品信息与识别区关联可以是指将该预测物品信息作为该识别区的物品信息的识别结果。相应的，将最大置信度对应的预测物品信息与识别区关联可以是指将最大置信度对应的预测物品信息作为该识别区的物品信息的识别结果。
例如，某一识别区的预测物品信息及其置信度为：苹果，置信度0.8；梨，置信度0.5；桃子，置信度0.3。将最大置信度：0.8对应的预测物品信息：苹果与该识别区相关联，得到该识别区的识别结果为苹果。
在本实施方式中，所述预设值可以是预先设定的最大置信度应当达到的标准数值。如果某一识别区的最大置信度达到预设值，说明最大置信度对应的预测物品信息很可能是真实物品信息，可以将该预测物品信息与该识别区关联。
在本实施方式中，子识别区可以是对识别区进行图像10分割后形成的新的待识别区域。
子识别区可以通过图像10分割算法获得。在分割时，可以沿识别区中物品的外轮廓线进行分割，得到的子识别区的形状可以是不规则，(参照图3中的子识别区1和子识别区2)。子识别区之间互不相交。
子识别区可以是针对最大置信度没有达到预设值的识别区进行的二次识别的操作。如果某一识别区的最大置信度没有达到预设值，说明该预测物品信息可能不是真实物品信息，需要对该识别区进行进一步的识别操作。
参照图2，由于图像10中物品很可能存在被遮挡的情形(参照物品1被物品2遮挡)，因而识别区中可能包含真正的需要识别的物品(参照物品1)以及其他识别区需要识别的物品(参照物品2)。
参照图3，当对含有被遮挡的物品的识别区整体进行识别时，获得的最大置信度可能不满足要求，对应的预测物品信息可能也不是正确的。因而可以对识别区(参照识别区1)进行图像10分割。由于子识别区基本不会存在被其他物品遮挡的情形，因此对子识别区进行分别识别会得到较为准确的结果。最后，可以从各个子识别区的识别结果中选取一个最可靠的预测物品信息与该识别区关联即可。
另外，采用先划分识别区进行初步识别，再划分子识别区进行二次识别的方式，能够提高识别的效率，降低计算量。如果一开始便直接划分子识别区，可能会造成划分的区域过多，计算量过大，图像识别的实际较长。而且对于轻微遮挡的识别区，不需要划分子识别区也能够准确识别出物品。
采用本发明的设计方案，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率。
参照图6，进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，还可以包括：
若仅一个所述子识别区的最大置信度大于所述预设值，则将所述最大置信度对应的预测物品信息与所述识别区关联。
在本实施方式中，如果仅有一个子识别区的最大置信度大于所述预设值，说明该子识别区的最大置信度对应的预测物品信息很可能是真实物品信息，而其他子识别区的预测物品信息可能不是真实物品信息。因此，直接将最大置信度对应的预测物品信息与所述识别区关联即可。
如此设置，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率。
参照图6，进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，还可以包括：
若所有所述子识别区的最大置信度均小于所述预设值，则所述识别区最终关联的预测物品信息为无。
在本实施方式中，如果所有的子识别区的最大置信度均小于所述预设值，说明所有的子识别区的预测物品信息可能都不是真实物品信息。可能出现了识别区内是不需要识别的对象的情形，如识别区内是冰箱100的固有结构等。因此，将所述识别区最终关联的预测物品信息为无，表明所述识别区没不存在需要识别和管理的物品。
如此设置，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率。
参照图6，进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，还可以包括：
若两个或两个以上所述子识别区的最大置信度大于所述预设值，则获取与所述识别区相交的其他所述识别区；
获取不属于其他所述识别区的所述子识别区；
获取所述子识别区的最大置信度对应的预测物品信息，将所述预测物品信息与所述识别区关联。
在本实施方式中，如果两个或两个以上的子识别区的最大置信度大于所述预设值，说明两个或两个以上的子识别区的最大置信度对应的预测物品信息都可能是真实物品信息。
因此，可以先区分哪些子识别区是属于其他识别区的，以及哪些子识别区是属于本识别区的。将属于本识别区的子识别区的预测物品信息与本识别区关联即可。
参照图4，在本实施方式中，可以直接在识别区(参照识别区1)周围获取与其相交的其他识别区(参照识别区2)。将子识别区与其他识别区进行特征比较或者位置比较等，即可确认出子识别区是否属于其他识别区。
如此设置，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率。
参照图4、图6，进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，“获取不属于其他所述识别区的所述子识别区”的控制方法可以包括：
获取所述识别区与其他识别区的相交区域；
获取每个所述子识别区与所述相交区域的相交面积；
获取最小所述相交面积对应的所述子识别区，所述子识别区为不属于所述相交区域的所述子识别区。
参照图3和图4，在本实施方式中，可以获取所述识别区(参照识别区1)与其他识别区(参照识别区2)的相交区域(参照图4阴影部分)，可以获取每个所述子识别区与所述相交区域的相交面积，(参照图3和图4为子识别区1与相交区域的相交面积1，子识别区2与相交区域的相交面积2)，比较相交面积的大小，(显然相交面积1小于相交面积2)，获取最小所述相交面积对应的所述子识别区(参照子识别区1)，所述子识别区为不属于所述相交区域的所述子识别区。
在本实施方式中，采用面积比较的方式确认出子识别区是否属于其他识别区，无需将子识别区与其他识别区进行一一特征比对等操作，便能够准确判断出子识别区是否属于其他识别区，能够简化操作步骤，降低计算量，降低识别时间，方法简单，可靠。
如此设置，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率。
进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，所述预设值的范围为0.80-0.95。
进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，所述图像识别分类模型可以包括深度卷积神经网络，所述图像识别分类模型的训练方法可以包括：
S1:获取包含待训练识别的物品的图像10；
S2:分割所述图像10并获取所述物品的抠图；
S3:重复S1和S2，获取所述物品处于多种遮挡情形下的抠图并形成训练集；
S4:使用所述训练集训练所述图像识别分类模型直至所述图像识别模型识别所述物品的准确率达到预设准确率。
在本实施方式中，可以用物品的抠图形成训练集，训练集中可以包含物品处于各种被遮挡情形的抠图，通过图像10分割方式，剔除遮挡部分的无关物品，只保留物品本体，使用物品本体训练图像识别分类模型。
在本实施方式中，所述图像识别分类模型可以是基于ResNet50模型建立的。
如此设置，只需要关注物品的不同遮挡形态，不需要关注物品被何种目标遮挡，能够降低需要获取的以形成训练集的图片的数量，节省人力物力，提高对各种遮挡情形下物品识别的准确度，从而保证图像识别分类模型的训练效果，保证图像10分类识别的准确率。
进一步的，在本发明另一实施方式中，所述的用于冰箱100的图像识别方法，其中，所述抠图的获取方法为人工手动分割或计算机初步分割后人工检查并修正。
如此设置，能够通过人工参与的方式保证训练集中只有物品本体，而遮挡部分的无关物品都被剔除，从而保证图像识别分类模型的训练效果，保证图像10分类识别的准确率。
进一步的，在本发明另一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式所述的用于冰箱100的图像识别方法中的步骤。
进一步的，在本发明另一实施方式中，提供一种图像识别系统，所述图像识别系统可以包括控制模块、图像识别模块，其中，所述图像识别系统还可以包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于冰箱100的图像识别方法中的步骤。
进一步的，在本发明另一实施方式中，提供一种冰箱100，所述冰箱100可以包括图像识别系统，所述图像识别系统可以包括控制模块、图像识别模块，其中，所述图像识别系统还可以包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于冰箱100的图像识别方法中的步骤。
综上所述，本发明中的用于冰箱100的图像识别方法、存储介质、系统及冰箱100，能够通过在图像10中生成独立的识别区，先对识别区进行识别，当识别区的置信度低于预设值时，再对识别区分割成的子识别区进行识别，解决当冰箱100内的物品之间存在相互遮挡时，往往会导致冰箱100识别错误的问题。
在本实施方式中，冰箱的图像识别模块可以用于识别放置在冰箱门体瓶座内的奶制品。摄像头可以放置在所述奶制品的上方。
采用本申请中的技术方案，能够实现采用本发明的设计方案，能够实现相互遮挡的物品的准确识别,同时，保证识别的效率，降低识别所需时间，降低计算量，能够避免因食材相互遮挡造成识别错误，提高冰箱100图像识别的准确率,另外，能够降低需要获取的以形成训练集的图片的数量，节省人力物力，提高对各种遮挡情形下物品识别的准确度，从而保证图像识别分类模型的训练效果，保证图像10分类识别的准确率。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于冰箱的图像识别方法，其特征在于，所述识别方法包括：
获取图像；
在所述图像中每个物品的外轮廓处生成涵盖所述物品的矩形边界框，每个所述边界框内部形成独立的识别区；
将每个所述识别区输入图像识别分类模型，并通过所述图像识别分类模型获取每个识别区的预测物品信息，以及每个所述预测物品信息对应的置信度；
判断每个所述识别区的最大置信度是否大于预设值；
若是，则将所述最大置信度对应的预测物品信息与所述识别区关联；
若否，则将所述识别区分割为若干子识别区；
将每个所述子识别区输入所述图像识别分类模型，并通过所述图像识别分类模型获取每个所述子识别区的预测物品信息，以及每个预测物品信息对应的置信度；
根据所述子识别区的预测物品信息以及置信度，获取对应的识别区的预测种物品信息。
2.如权利要求1所述的用于冰箱的图像识别方法，其特征在于，还包括：
若仅一个所述子识别区的最大置信度大于所述预设值，则将所述最大置信度对应的预测物品信息与所述识别区关联。
3.如权利要求2所述的用于冰箱的图像识别方法，其特征在于，还包括：
若所有所述子识别区的最大置信度均小于所述预设值，则所述识别区最终关联的预测物品信息为无。
4.如权利要求3所述的用于冰箱的图像识别方法，其特征在于，还包括：
若两个或两个以上所述子识别区的最大置信度大于所述预设值，则获取与所述识别区相交的其他所述识别区；
获取不属于其他所述识别区的所述子识别区；
获取所述子识别区的最大置信度对应的预测物品信息，将所述预测物品信息与所述识别区关联。
5.如权利要求4所述的用于冰箱的图像识别方法，其特征在于，“获取不属于其他所述识别区的所述子识别区”的控制方法包括：
获取所述识别区与其他识别区的相交区域；
获取每个所述子识别区与所述相交区域的相交面积；
获取最小所述相交面积对应的所述子识别区，所述子识别区为不属于所述相交区域的所述子识别区。
6.如权利要求1所述的用于冰箱的图像识别方法，其特征在于，所述预设值的范围为0.80-0.95。
7.如权利要求1所述的用于冰箱的图像识别方法，其特征在于，所述图像识别分类模型包括深度卷积神经网络，所述图像识别分类模型的训练方法包括：
S1:获取包含待训练识别的物品的图像；
S2:分割所述图像并获取所述物品的抠图；
S3:重复S1和S2，获取所述物品处于多种遮挡情形下的抠图并形成训练集；
S4:使用所述训练集训练所述图像识别分类模型直至所述图像识别模型识别所述物品的准确率达到预设准确率。
8.如权利要求7所述的用于冰箱的图像识别方法，其特征在于，所述抠图的获取方法为人工手动分割或计算机初步分割后人工检查并修正。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任意一项所述的用于冰箱的图像识别方法中的步骤。
10.一种图像识别系统，所述图像识别系统包括控制模块、图像识别模块，其特征在于，所述图像识别系统还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-8中任意一项所述的用于冰箱的图像识别方法中的步骤。
11.一种冰箱，所述冰箱包括图像识别系统，所述图像识别系统包括控制模块、图像识别模块，其特征在于，所述图像识别系统还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-8中任意一项所述的用于冰箱的图像识别方法中的步骤。
CN202210928696.9A 2022-08-03 2022-08-03 用于冰箱的图像识别方法、存储介质、系统及冰箱 Pending CN115424054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210928696.9A CN115424054A (zh) 2022-08-03 2022-08-03 用于冰箱的图像识别方法、存储介质、系统及冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210928696.9A CN115424054A (zh) 2022-08-03 2022-08-03 用于冰箱的图像识别方法、存储介质、系统及冰箱

Publications (1)

Publication Number Publication Date
CN115424054A true CN115424054A (zh) 2022-12-02

Family

ID=84197278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210928696.9A Pending CN115424054A (zh) 2022-08-03 2022-08-03 用于冰箱的图像识别方法、存储介质、系统及冰箱

Country Status (1)

Country Link
CN (1) CN115424054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统
CN117746304B (zh) * 2024-02-21 2024-05-14 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统

Similar Documents

Publication Publication Date Title
CN105844283B (zh) 用于识别图像类目归属的方法、图像搜索方法及装置
CN112200045B (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN109871821B (zh) 自适应网络的行人重识别方法、装置、设备及存储介质
CN111444880A (zh) 一种食材识别方法及冰箱
CN111199562A (zh) 用于在机器人拣选时快速物体检测的系统和方法
CN115424054A (zh) 用于冰箱的图像识别方法、存储介质、系统及冰箱
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN103226616A (zh) 一种图像内容检索系统及其图像内容稀疏学习方法
CN113095240B (zh) 冰箱内物品信息识别方法、冰箱和计算机存储介质
US20240185554A1 (en) Apparatus and method for image classification
AU2024201075A1 (en) Methods and apparatus for visual-aware hierarchy-based object recognition
CN115131783B (zh) 基于机器视觉的用户饮食营养成分信息自主感知方法
CN114882349B (zh) 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质
CN113124635B (zh) 冰箱
CN115641576A (zh) 冰箱食材自适应尺度识别方法、设备及存储介质
Pohlen et al. Semantic segmentation of modular furniture
CN112487941B (zh) 染色体簇与染色体实例的识别方法、系统和存储介质
CN113465251B (zh) 智能冰箱及食材识别方法
KR20220011450A (ko) 물품을 식별하는 장치, 서버 및 식별하는 방법
CN111488831A (zh) 一种食材联想识别方法及冰箱
CN113465265B (zh) 一种智能冰箱及食材检测方法
Pal et al. A video-based human activity and motion direction classification framework for agricultural fields
Maiettini From Constraints to Opportunities: Efficient Object Detection Learning for Humanoid Robots.
Kosasih et al. Classification of six banana ripeness levels based on statistical features on machine learning approach
CN113486913A (zh) 一种食材识别方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination