CN112183158B - 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 - Google Patents
一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 Download PDFInfo
- Publication number
- CN112183158B CN112183158B CN201910593047.6A CN201910593047A CN112183158B CN 112183158 B CN112183158 B CN 112183158B CN 201910593047 A CN201910593047 A CN 201910593047A CN 112183158 B CN112183158 B CN 112183158B
- Authority
- CN
- China
- Prior art keywords
- image
- grain
- area
- light
- bin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010411 cooking Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 55
- 235000013339 cereals Nutrition 0.000 title claims description 218
- 239000002245 particle Substances 0.000 claims abstract description 10
- 230000003321 amplification Effects 0.000 claims description 24
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 230000008439 repair process Effects 0.000 claims description 21
- 230000001502 supplementing effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 241000209094 Oryza Species 0.000 description 16
- 235000007164 Oryza sativa Nutrition 0.000 description 16
- 235000009566 rice Nutrition 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000004464 cereal grain Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000021395 porridge Nutrition 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000011962 puddings Nutrition 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明实施例公开了一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备，谷物烹饪设备包括摄像头和谷物仓，谷物仓上设置有透光孔，摄像头用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述方法包括：获取所述第一图像，并确定所述第一图像中的目标区域；所述目标区域为所述透光孔所在区域；截取所述目标区域的区域图像，并对所述区域图像进行放大处理；针对放大后的区域图像采用的谷物种类识别算法识别图像中的谷物种类。通过该实施例方案，提高了谷物烹饪设备中谷物种类的识别准确率。
Description
技术领域
本发明实施例涉及烹饪设备控制技术，尤指一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备。
背景技术
当前高端自动烹饪的谷物烹饪设备(如电饭煲)中，单谷物仓方案由于存在存储谷物种类单一性的缺点，而一般家庭对谷物烹饪设备的需求均存在煮饭、煮粥、八宝饭等多种需求，需要存储多个谷物种类(例如五谷杂粮)，因此单谷物仓的方案不能满足用户的需求，存在逐步被多谷物仓方案取代的趋势。另外，一般通过摄像头识别谷物种类的谷物烹饪设备中，摄像头普遍设置在一个固定位置，且单谷物仓的方案中都是一个摄像头对应一个谷物仓进行谷物种类识别，针对单谷物仓来说，这种方案实现简单，且识别准确率较高，但是对于目前带有多个谷物仓的谷物烹饪设备，如果仍采用一个谷物仓对应一个摄像头的方式进行图像识别，则需要采用多个摄像头，必然增加了原料成本，也增加了结构布局的复杂性和软件实现的复杂性，这种方案一般情况下不予采纳。如果采用一个固定位置的摄像头识别多个谷物仓，则一帧图像中存在多个谷物仓中的谷物颗粒图片，使得图像中谷物颗粒分辨率大大降低，相比于单个摄像头识别单个谷物仓的方案，谷物识别的准确率也大大降低，且对于谷物仓数量不同，拍摄的图像中透光孔的像素大小也不一致，从而进一步降低了识别准确率。
发明内容
本发明实施例提供了一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备，能够提高谷物烹饪设备中谷物种类的识别准确率。
为了达到本发明实施例目的，本发明实施例提供了一种谷物烹饪设备的谷物种类识别方法，所述谷物烹饪设备可以包括摄像头和谷物仓，所述谷物仓上可以设置有透光孔，所述摄像头可以用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述方法可以包括：
获取所述第一图像，并确定所述第一图像中的目标区域；所述目标区域为所述透光孔所在区域；
截取所述目标区域的区域图像，并对所述区域图像进行放大处理；
针对放大后的区域图像采用的谷物种类识别算法识别图像中的谷物种类。
在本发明的示例性实施例中，所述确定所述第一图像中的目标区域可以包括：
遍历所述第一图像中的各个像素点，并将每个像素点的灰度值与灰度阈值相比较；当任意的第一像素点的灰度值小于所述灰度阈值时，记录所述第一像素点在所述第一图像中的坐标；将所记录的全部坐标覆盖的区域确定为所述目标区域；或者，
根据预存的坐标信息直接在所述第一图像上进行定位，获取所述目标区域的位置；其中，所述预存的坐标信息与当前的谷物烹饪设备型号相对应。
在本发明的示例性实施例中，所述方法还可以包括：
预先设置所述灰度阈值；或者，
在获取所述第一图像后，统计所述第一图像中的全部灰度值；将所述全部灰度值根据大小划分为两类，并根据两类灰度值之间的边界值确定出所述灰度阈值。
在本发明的示例性实施例中，所述截取所述目标区域的区域图像可以包括：以所述目标区域中透光孔的位置中心为中心，获取一个包含所述透光孔的图像的区域图像。
在本发明的示例性实施例中，所述对所述区域图像进行放大处理可以包括：
将一个或多个区域图像分别输入预先创建并训练好的图像放大功能模型中，通过所述图像放大功能模型输出每个区域图像的放大图像；
其中，所述图像放大功能模型是以对谷物仓拍摄的透光孔处的谷物种类图像为训练样本，对卷积神经网络模型进行训练获得的。
在本发明的示例性实施例中，所述方法还可以包括：在对所述区域图像进行放大处理之前，对所述区域图像进行污点检测和修复操作。
在本发明的示例性实施例中，所述对所述区域图像进行污点检测和修复操作可以包括：
将一个或多个所述区域图像分别输入预先创建并训练好的污点检测模型中，通过所述污点检测模型对每个区域图像进行污点检测；对检测出具有污点的区域图像通过预先创建并训练好的污点修复模型进行修复，并输出无污点的区域图像。
在本发明的示例性实施例中，所述污点检测修复模型是以具有污点的透光孔处谷物颗粒图像为训练样本，对创建的深度学习模型进行训练获得的；
所述污点修复模型是以包含污点的谷物种类样本为训练样本，基于偏卷积PCONV算法，对创建的局部神经网络模型进行训练获得的。
在本发明的示例性实施例中，所述谷物烹饪设备还可以包括补光灯；
所述方法还可以包括：在所述摄像头进行拍摄之前，启动所述补光灯，以通过所述补光灯对谷物仓的透光孔处进行补光，并通过所述摄像头对补光后的谷物仓进行拍照，获取所述第一图像。
为了达到本发明实施例目的，本发明实施例还提供了一种谷物烹饪设备，所述谷物烹饪设备可以包括摄像头、谷物仓、处理器和计算机可读存储介质；所述谷物仓上分别设置有透光孔，所述摄像头用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一项所述的谷物烹饪设备的谷物种类识别方法。
本发明实施例的有益效果可以包括：
1、本发明实施例的所述谷物烹饪设备可以包括摄像头和谷物仓，所述谷物仓上可以设置有透光孔，所述摄像头可以用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述方法可以包括：获取所述第一图像，并确定所述第一图像中的目标区域；所述目标区域为所述透光孔所在区域；截取所述目标区域的区域图像，并对所述区域图像进行放大处理；针对放大后的区域图像采用的谷物种类识别算法识别图像中的谷物种类。通过该实施例方案，提高了谷物烹饪设备中谷物种类的识别准确率。
2、本发明实施例的所述确定所述第一图像中的目标区域可以包括：遍历所述第一图像中的各个像素点，并将每个像素点的灰度值与灰度阈值相比较；当任意的第一像素点的灰度值小于所述灰度阈值时，记录所述第一像素点在所述第一图像中的坐标；将所记录的全部坐标覆盖的区域确定为所述目标区域；或者，根据预存的坐标信息直接在所述第一图像上进行定位，获取所述目标区域的位置；其中，所述预存的坐标信息与当前的谷物烹饪设备型号相对应。通过该实施例方案，实现了对目标区域的准确定位，从而使得后续方案中可以仅对第一图像中的部分区域进行方案，减少计算量，为提高识别准确率提供了技术基础。
3、本发明实施例的所述方法还可以包括：在获取所述第一图像后，统计所述第一图像中的全部灰度值；将所述全部灰度值根据大小划分为两类，并根据两类灰度值之间的边界值确定出所述灰度阈值。通过该实施例方案，可以针对不同的第一图像分别确定出合适的灰度阈值，从而提高了灰度阈值的准确性，为目标区域的准确定位提供了技术基础。
4、本发明实施例的所述对所述区域图像进行放大处理可以包括：将一个或多个区域图像分别输入预先创建并训练好的图像放大功能模型中，通过所述图像放大功能模型输出每个区域图像的放大图像；其中，所述图像放大功能模型是以对谷物仓拍摄的透光孔处的谷物种类图像为训练样本，对卷积神经网络模型进行训练获得的。该实施例方案简单，效率高，且放大准确率高。
5、本发明实施例的所述方法还可以包括：在对所述区域图像进行放大处理之前，对所述区域图像进行污点检测和修复操作。通过该实施例方案，避免了图像中的污点对识别过程的影响，进一步提高了识别准确率。
6、本发明实施例的所述谷物烹饪设备还可以包括补光灯；所述方法还可以包括：在所述摄像头进行拍摄之前，启动所述补光灯，以通过所述补光灯对谷物仓的透光孔处进行补光，并通过所述摄像头对补光后的谷物仓进行拍照，获取所述第一图像。通过该实施例方案，避免了透光孔处光线太暗造成第一图像中透光孔处图像不清晰，从而影响识别效率和准确性。
本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。
图1为本发明实施例的谷物烹饪设备的谷物种类识别方法流程图；
图2为本发明实施例的单个固定位置摄像头识别多个谷物仓时的结构示意图；
图3为本发明实施例的多谷物仓的谷物种类识别方法流程图；
图4为本发明实施例的透光孔定位方法流程图；
图5为本发明实施例的区域图像放大方法流程图；
图6为本发明实施例的污点检测修复方法流程图；
图7为本发明实施例的谷物烹饪设备组成框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种谷物烹饪设备的谷物种类识别方法，所述谷物烹饪设备可以包括摄像头和谷物仓，所述谷物仓上可以设置有透光孔，所述摄像头可以用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；如图1所示，所述方法可以包括S101-S103：
S101、获取所述第一图像，并确定所述第一图像中的目标区域；所述目标区域为所述透光孔所在区域；
S102、截取所述目标区域的区域图像，并对所述区域图像进行放大处理；
S103、针对放大后的区域图像采用的谷物种类识别算法识别图像中的谷物种类。
在本发明的示例性实施例中，所述谷物烹饪设备中可以包括一个摄像头和一个谷物仓，也可以包括一个摄像头和多个谷物仓；对于谷物仓的数量不做限制。
在本发明的示例性实施例中，如图2所示，给出了一个摄像头和多个谷物仓(以米仓为例进行说明)的设置实施例，通过结构设计，可以保证多个谷物仓的透光孔均在摄像头的图像采集范围内，从而可以同时拍摄到多个谷物仓中的谷物种类图像。
在本发明的示例性实施例中，对于图2中的摄像头，基于成本考虑，可以采用低分辨率摄像头，摄像头在拍摄多谷物仓的图像时，由于图像采集的场景扩大，必然存在单个谷物仓的透光孔在摄像头图像中所占比例降低，从而导致谷物颗粒的像素点降低，影响谷物种类的识别率。
在本发明的示例性实施例中，单个固定位置的摄像头拍摄多歌谷物仓所得的图像，如果图像分辨率为800像素x600像素，则图像中单个谷物仓透光孔直径像素约200像素，对于大米来说，一个谷物仓可以容纳10粒大米，单粒大米长度约80像素，宽度约40像素，根据图像识别原理可知，图像中物体像素较小的情况下，其特征表现不明显，影响图像识别的准确率。对于目前常用的深度学习框架，一般要求输入图像大小不低于256像素，小于这个像素的图像会在图像预处理阶段进行放大。对于图2中的谷物仓场景，由于其包含3个谷物仓透光孔，且透光孔位置对算法未知，当前主流的深度学习框架一般只能同时识别一个目标，如果将根据图2中的结构拍摄出的第一图像直接送入深度学习算法中处理，多识别目标和目标像素低的问题均导致算法运行效果不理想。
在本发明的示例性实施例中，对于像素低的问题，如果直接将第一图像进行拉伸，会出现图像模糊的问题，且整体图像拉伸，则包含的像素点增多，既影响图像的算法识别速度，也影响图像的传输速度。本发明实施例提出一种方案，对第一图像进行分割、放大后，针对原第一图像中的多个谷物仓中每个谷物仓的透光孔处图片进行识别，提供识别效率和准确性，用以解决上述问题，该方法的工作流程示意图可以如图3所示。
在本发明的示例性实施例中，对于给定的摄像头采集到的第一图像，第一步可以通过定位算法定位第一图像中的多个谷物仓的透光孔的位置。
在本发明的示例性实施例中，通过常识可知，谷物烹饪设备中通常光线比较暗，由于透光孔处为透明的，能够通过谷物颗粒之间的间隙透过光线，因此，拍出的第一图像中透光孔位置与非透光孔位置亮度存在明显亮度差异。
在本发明的示例性实施例中，所述谷物烹饪设备还可以包括补光灯；
所述方法还可以包括：在所述摄像头进行拍摄之前，启动所述补光灯，以通过所述补光灯对谷物仓的透光孔处进行补光，并通过所述摄像头对补光后的谷物仓进行拍照，获取所述第一图像。
在本发明的示例性实施例中，为了增强光孔位置与非透光孔位置的亮度差异对比，并且提高第一图像的清晰度，可以设置补光灯，为透光孔位置进行补光。
在本发明的示例性实施例中，对于透光灯的具体设置数量、位置、设置方式等均不做限制，可以根据透光孔的位置和数量等参数进行相应的设置。
在本发明的示例性实施例中，谷物烹饪设备中的摄像头工作于一个密封黑暗的环境，识别谷物种类时可以借助补光灯进行图像拍摄，在补光灯照射下，透光孔中可以显示出谷物颗粒，非透光孔区域由于不透光，则为黑暗区域，而同一种谷物的谷物颗粒的颜色单一且为亮色，鉴于本方面中的特殊场景，可以通过以下算法简单而快速的定位透光孔的区域，该区域可以为矩形区域，对于区域的具体形状不做限制，可以根据需求自行定义。其中，透光孔区域定位算法流程图可以如图4所示。
在本发明的示例性实施例中，所述确定所述第一图像中的目标区域可以包括方案一和方案二：
方案一、遍历所述第一图像中的各个像素点，并将每个像素点的灰度值与灰度阈值相比较；当任意的第一像素点的灰度值小于所述灰度阈值时，记录所述第一像素点在所述第一图像中的坐标；将所记录的全部坐标覆盖的区域确定为所述目标区域；或者，
方案二、根据预存的坐标信息直接在所述第一图像上进行定位，获取所述目标区域的位置；其中，所述预存的坐标信息与当前的谷物烹饪设备型号相对应。
在本发明的示例性实施例中，对于方案一，灰度阈值的设置是该方案的关键，灰度阈值是否合适决定了目标区域是否定位准确。
在本发明的示例性实施例中，所述方法还可以包括：
预先设置所述灰度阈值；或者，
在获取所述第一图像后，统计所述第一图像中的全部灰度值；将所述全部灰度值根据大小划分为两类，并根据两类灰度值之间的边界值确定出所述灰度阈值。
在本发明的示例性实施例中，该灰度阈值可以根据不同的谷物种类的颜色进行调整。这里可以以大米为例进行说明，考虑到谷物种类为大米时，大米为白色，则透光孔区域的颜色为亮色且偏白色，背景为黑暗色，针对这一特征可以调整大米的灰度阈值。
在本发明的示例性实施例中，在灰度阈值确定的情况下可以通过下述的灰度值判断式对第一图像中的全部像素点的灰度值进行判断，从而对透光孔区域进行定位。
在本发明的示例性实施例中，灰度值判断式包括：
其中，f(i,j)为原始像素点灰度值，T为灰度阈值。
在本发明的示例性实施例中，通过上述算法可以快速定位透光孔位置，并取得一个以透光孔为中心的目标区域(如方形区域)。可以将这个目标区域保存为一个单独的谷物仓对应的谷物种类图像，多个谷物仓则保存多个谷物种类图像。
在本发明的示例性实施例中，对于方案二，由于实际操作过程中，一台谷物烹饪设备出厂时，其多谷物仓的位置是固定的，摄像头的位置也是固定的，因此，一个或多个谷物仓在采集的第一图像中的相对位置一般也是相对固定，相应的透光孔的位置也是相对固定的。基于这一情况，可以通过算法优化，预先获取上述的相对位置信息，从而在每获得一张第一图像以后，可以直接根据这些相对位置信息定位谷物仓上透光孔的位置，这样可以减少谷物仓透光孔位置检测定位这一步骤，减少算法运行步骤，降低算法运行时间从而提高识别效率。
在本发明的示例性实施例中，所述截取所述目标区域的区域图像可以包括：以所述目标区域中透光孔的位置中心为中心，获取一个包含所述透光孔的图像的区域图像。
在本发明的示例性实施例中，通过前述方案完成目标区域的定位以后，便可以确定目标区域的中心，以该中心为中心，在第一图像上截取一定范围的图像，作为区域图像。
在本发明的示例性实施例中，在确定目标区域后，也可以根据定位过程中的定位信息，例如，定位坐标等信息将目标区域的边缘确定下来，从而在第一图像上沿该边缘截取出一个图像作为想要获得的区域图像。
在本发明的示例性实施例中，所述对所述区域图像进行放大处理可以包括：
将一个或多个区域图像分别输入预先创建并训练好的图像放大功能模型中，通过所述图像放大功能模型输出每个区域图像的放大图像；
其中，所述图像放大功能模型是以对谷物仓拍摄的透光孔处的谷物种类图像为训练样本，对卷积神经网络模型进行训练获得的。
在本发明的示例性实施例中，仍以图2中三个谷物仓的图像为例进行说明，当存在三个谷物仓时，结合谷物烹饪设备的大小，谷物仓的大小等信息可以确定，提取到的谷物仓透光孔处的区域图像(例如方形区域的区域图像)边长约200像素，且对于透光孔边缘来说，由于光学因素可能还存在模糊区域，因此可靠的清晰区域较小，严重影响谷物种类的识别准确率。
在本发明的示例性实施例中，基于上述问题，可以将该区域图像进行放大。然而，分析提到取的方形区域，将其放大时中间区域谷物颗粒的基本特征均存在，只是简单的放大会导致图像存在锐度、清晰度、马赛克等各种问题，因此不能简单的对取得的目标区域进行放大，针对这个问题本发明实施例提供了下述算法进行无损放大，放大方法流程图可以如图5所示。
在本发明的示例性实施例中，对每个区域图像进行放大可以包括：
将每个区域图像分别输入预先创建并训练好的图像放大功能模型中，通过所述图像放大功能模型输出每个区域图像的放大图像。
在本发明的示例性实施例中，所述图像放大功能模型可以是以对单米仓拍摄的透光孔处的米种图像为训练样本，基于用于快速特征嵌入的对流体系结构CAFFE深度学习框架，对快速超分辨率卷积神经网络FSRCNN模型进行训练获得的。
在本发明的示例性实施例中，如图5所示，，算法中关键的放大功能可以基于FSRCNN实现，FSRCNN(Fast Super-Resolution Convolutional Neural Network快速超分辨率卷积神经网络)算法是基于深度学习的图像超分辨率放大算法，该算法兼顾了运行速度和图像放大效果。根据FSRCNN原理及结合本发明实施例中的应用场景，可以根据实际调试效果修改卷积核大小，通道数等，以保证速度和性能的平衡。
在本发明的示例性实施例中，针对截取出的单个谷物仓透光孔的图像，可以对其通过图5中算法进行放大至600像素大小(仍以图2中三个谷物仓的图像为例进行说明)，则单粒谷物(如大米)的长度约为256像素左右，则可以直接应用目前存在的任意的单谷物仓谷物种类识别算法进行谷物种类识别。
在本发明的示例性实施例中，所述方法还可以包括：在对所述区域图像进行放大处理之前，对所述区域图像进行污点检测和修复操作。
在本发明的示例性实施例中，对于多谷物仓的第一图像采集中，由于单个谷物仓的透光孔在图像中所占像素点较少，如果透光孔上沾有灰尘等污点，则在区域图像放大过程中也会对该污点进行放大，导致在进行谷物种类识别时干扰到识别正确率。针对这一问题，本发明实施例方案中增加了图像放大前的污点检测和修复操作过程，这一操作可以执行于提取到单个谷物仓的透光孔的区域图像以后，具体实施方法流程图可以如图6所示。
在本发明的示例性实施例中，所述对所述区域图像进行污点检测和修复操作可以包括：
将一个或多个所述区域图像分别输入预先创建并训练好的污点检测模型中，通过所述污点检测模型对每个区域图像进行污点检测；对检测出具有污点的区域图像通过预先创建并训练好的污点修复模型进行修复，并输出无污点的区域图像。
在本发明的示例性实施例中，所述污点检测修复模型是以具有污点的透光孔处谷物颗粒图像为训练样本，对创建的深度学习模型进行训练获得的；
所述污点修复模型是以包含污点的谷物种类样本为训练样本，基于偏卷积PCONV算法，对创建的局部神经网络模型进行训练获得的。
在本发明的示例性实施例中，污点修复算法可以基于PCONV(PartialConvolutions偏卷积)算法实现，该算法基于局部神经网络，对图像中缺失部分的修复具有很好的效果。本发明实施例中的污点修复操作如果基于PCONV算法，可以进行污点样本训练以及包含污点的谷物种类样本的训练。对于目前的谷物烹饪设备来说，其需要识别的对象种类较少，且特征相对比较明显，如糯米、长粒米、短粒米等，可以针对这些但不限于这些谷物种类采集样本集。
在本发明的示例性实施例中，针对谷物仓中出现污点，由于谷物仓一般均为密封环境，且对于大颗粒污点肉眼可见可人为擦除，且大颗粒污点(例如大于完整的一歌谷物颗粒)在修复过程中，谷物颗粒完全是基于深度学习样本集中其他样本复原，有失真实度，因此本发明实施例中的污点可以只针对小于1/2谷物颗粒大小的污点，这样的污点可根据污点之外的谷物颗粒特征进行复原，一定基础上保留了原有的谷物颗粒特征而不至于失真。
在本发明的示例性实施例中，上述方案可以训练污点样本集、无污点的谷物颗粒样本集及带污点的谷物颗粒样本集，其中，样本集的采集均可以基于目前存在的单谷物仓进行。而本发明实施例中的方法，可以工作于多谷物仓环境下，通过将多谷物仓的透光孔放大至和单谷物仓透光孔大小一致，使得样本集可以共用，提高了识别系统的通用性。
为了达到本发明实施例目的，本发明实施例还提供了一种谷物烹饪设备1，如图7所示，所述谷物烹饪设备可以包括摄像头11、谷物仓12、处理器13和计算机可读存储介质14；所述谷物仓12上分别设置有透光孔，所述摄像头11用于拍摄所述谷物仓12的第一图像，所述第一图像上包含所述谷物仓12的透光孔处的谷物颗粒图像；所述计算机可读存储介质14中存储有指令，当所述指令被所述处理器13执行时，实现上述任意一项所述的谷物烹饪设备的谷物种类识别方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种谷物烹饪设备的谷物种类识别方法，其特征在于，所述谷物烹饪设备包括一个摄像头和多个谷物仓，每个所述谷物仓上设置有透光孔，所述摄像头用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述方法包括：
获取所述第一图像，并确定所述第一图像中的目标区域；所述目标区域为所述透光孔所在区域；
截取所述目标区域的区域图像，并对所述区域图像进行放大处理；
其中，所述对所述区域图像进行放大处理包括：通过图像放大功能模型输出所述区域图像的放大图像；
针对放大后的区域图像采用的谷物种类识别算法识别图像中的谷物种类。
2.根据权利要求1所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述确定所述第一图像中的目标区域包括：
遍历所述第一图像中的各个像素点，并将每个像素点的灰度值与灰度阈值相比较；当任意的第一像素点的灰度值小于所述灰度阈值时，记录所述第一像素点在所述第一图像中的坐标；将所记录的全部坐标覆盖的区域确定为所述目标区域；或者，
根据预存的坐标信息直接在所述第一图像上进行定位，获取所述目标区域的位置；其中，所述预存的坐标信息与当前的谷物烹饪设备型号相对应。
3.根据权利要求2所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述方法还包括：
预先设置所述灰度阈值；或者，
在获取所述第一图像后，统计所述第一图像中的全部灰度值；将所述全部灰度值根据大小划分为两类，并根据两类灰度值之间的边界值确定出所述灰度阈值。
4.根据权利要求1所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述截取所述目标区域的区域图像包括：以所述目标区域中透光孔的位置中心为中心，获取一个包含所述透光孔的图像的区域图像。
5.根据权利要求4所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述对所述区域图像进行放大处理包括：
将一个或多个区域图像分别输入预先创建并训练好的图像放大功能模型中，通过所述图像放大功能模型输出每个区域图像的放大图像；
其中，所述图像放大功能模型是以对谷物仓拍摄的透光孔处的谷物种类图像为训练样本，对卷积神经网络模型进行训练获得的。
6.根据权利要求4所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述方法还包括：在对所述区域图像进行放大处理之前，对所述区域图像进行污点检测和修复操作。
7.根据权利要求6所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述对所述区域图像进行污点检测和修复操作包括：
将一个或多个所述区域图像分别输入预先创建并训练好的污点检测模型中，通过所述污点检测模型对每个区域图像进行污点检测；对检测出具有污点的区域图像通过预先创建并训练好的污点修复模型进行修复，并输出无污点的区域图像。
8.根据权利要求6所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述污点检测修复模型是以具有污点的透光孔处谷物颗粒图像为训练样本，对创建的深度学习模型进行训练获得的；
污点修复模型是以包含污点的谷物种类样本为训练样本，基于偏卷积PCONV算法，对创建的局部神经网络模型进行训练获得的。
9.根据权利要求1所述的谷物烹饪设备的谷物种类识别方法，其特征在于，所述谷物烹饪设备还包括补光灯；
所述方法还包括：在所述摄像头进行拍摄之前，启动所述补光灯，以通过所述补光灯对谷物仓的透光孔处进行补光，并通过所述摄像头对补光后的谷物仓进行拍照，获取所述第一图像。
10.一种谷物烹饪设备，其特征在于，所述谷物烹饪设备包括一个摄像头、多个谷物仓、处理器和计算机可读存储介质；每个所述谷物仓上分别设置有透光孔，所述摄像头用于拍摄所述谷物仓的第一图像，所述第一图像上包含所述谷物仓的透光孔处的谷物颗粒图像；所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现如权利要求1-9任意一项所述的谷物烹饪设备的谷物种类识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910593047.6A CN112183158B (zh) | 2019-07-03 | 2019-07-03 | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910593047.6A CN112183158B (zh) | 2019-07-03 | 2019-07-03 | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183158A CN112183158A (zh) | 2021-01-05 |
| CN112183158B true CN112183158B (zh) | 2023-07-21 |
Family
ID=73914397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910593047.6A Active CN112183158B (zh) | 2019-07-03 | 2019-07-03 | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183158B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114705034B (zh) * | 2022-04-14 | 2023-04-11 | 安徽道源食品有限公司 | 一种自动烘干控制管理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101061382A (zh) * | 2004-08-27 | 2007-10-24 | 穆勒迪维肯公司 | 用来检测多个填满容器中异物或缺陷的方法和装置 |
| CN104329200A (zh) * | 2014-08-21 | 2015-02-04 | 陈锦华 | 柴油机喷油器喷油情况观察装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150377179A1 (en) * | 2012-02-08 | 2015-12-31 | Ramesh C. Nayar | Low Grade Thermal Energy Innovative Use |
| US9984525B2 (en) * | 2014-04-24 | 2018-05-29 | The Hillman Group, Inc. | Automated vending inventory management apparatuses and method |
| CN104084379B (zh) * | 2014-06-04 | 2017-07-14 | 中国农业大学 | 一种玉米种子图像精选装置及其使用方法 |
| CN109829456B (zh) * | 2017-11-23 | 2022-05-17 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及终端 |
| CN108090518A (zh) * | 2017-12-29 | 2018-05-29 | 美的集团股份有限公司 | 一种谷物识别方法、装置和计算机存储介质 |
| CN108765511B (zh) * | 2018-05-30 | 2023-03-24 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN109118498B (zh) * | 2018-08-22 | 2021-04-30 | 科大讯飞股份有限公司 | 一种摄像头污点检测方法、装置、设备及存储介质 |
| CN109951635B (zh) * | 2019-03-18 | 2021-01-12 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
-
2019
- 2019-07-03 CN CN201910593047.6A patent/CN112183158B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101061382A (zh) * | 2004-08-27 | 2007-10-24 | 穆勒迪维肯公司 | 用来检测多个填满容器中异物或缺陷的方法和装置 |
| CN104329200A (zh) * | 2014-08-21 | 2015-02-04 | 陈锦华 | 柴油机喷油器喷油情况观察装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183158A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11430103B2 (en) | Method for image processing, non-transitory computer readable storage medium, and electronic device | |
| US7639878B2 (en) | Shadow detection in images | |
| US8503818B2 (en) | Eye defect detection in international standards organization images | |
| US8879869B2 (en) | Image defect map creation using batches of digital images | |
| CN109118498B (zh) | 一种摄像头污点检测方法、装置、设备及存储介质 | |
| US7206461B2 (en) | Digital image acquisition and processing system | |
| CN111862195A (zh) | 光斑检测方法和装置、终端和存储介质 | |
| CN101464418B (zh) | 缺陷检测方法以及缺陷检测装置 | |
| US7310450B2 (en) | Method of detecting and correcting dust in digital images based on aura and shadow region analysis | |
| US20080055433A1 (en) | Detection and Removal of Blemishes in Digital Images Utilizing Original Images of Defocused Scenes | |
| CN111311556B (zh) | 手机缺陷位置识别方法及设备 | |
| CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
| CN111325716A (zh) | 屏幕划痕碎裂检测方法及设备 | |
| CN111175318A (zh) | 屏幕划痕碎裂检测方法及设备 | |
| US20050068449A1 (en) | Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data | |
| US9123141B2 (en) | Ghost artifact detection and removal in HDR image processing using multi-level median threshold bitmaps | |
| KR20080096263A (ko) | 숫자 영상 처리 시스템 및 그 방법 | |
| CN117152165A (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
| CN112183158B (zh) | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 | |
| CN111160340B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
| CN116721039A (zh) | 一种应用于自动化光学缺陷检测中的图像预处理方法 | |
| CN111275756A (zh) | 线轴定位方法及装置 | |
| CN110688979A (zh) | 违法车辆追踪方法及装置 | |
| CN113947602B (zh) | 一种图像亮度的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |