CN110378907B - 智能冰箱内图像的处理方法及计算机设备、存储介质 - Google Patents

智能冰箱内图像的处理方法及计算机设备、存储介质 Download PDF

Info

Publication number
CN110378907B
CN110378907B CN201810330480.6A CN201810330480A CN110378907B CN 110378907 B CN110378907 B CN 110378907B CN 201810330480 A CN201810330480 A CN 201810330480A CN 110378907 B CN110378907 B CN 110378907B
Authority
CN
China
Prior art keywords
image
pixel point
point set
edge
food material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810330480.6A
Other languages
English (en)
Other versions
CN110378907A (zh
Inventor
刘兵
高洪波
俞国新
刘彦甲
李玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201810330480.6A priority Critical patent/CN110378907B/zh
Publication of CN110378907A publication Critical patent/CN110378907A/zh
Application granted granted Critical
Publication of CN110378907B publication Critical patent/CN110378907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能冰箱内图像的处理方法、装置、计算机设备及存储介质，属于智能冰箱技术领域。该方法包括：对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域；对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；以及对所述第二图像进行锐化处理，得到处理后的各种食材图像。

Description

智能冰箱内图像的处理方法及计算机设备、存储介质
技术领域
本发明涉及冰箱技术领域，特别涉及智能冰箱内图像的处理方法及计算机设备、存储介质。
背景技术
随着智能技术的普及，各大家电企业纷纷推出了内置摄像头的智能冰箱，通过拍摄冰箱内的图片结合智能分析算法识别冰箱内的食材种类，用于食材智能化管理和食谱推荐等智能化应用。
目前的智能冰箱配置的摄像头处于成本考虑，采用的都是低成本的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)摄像头，这样的摄像头成像质量一般，主要体现在以下方面：首先，噪点较高，特别是冰箱内光照一般的情况下，摄像头在低照度的光线下控噪能力比较差，其次，成像的清晰度一般，在拍摄范围的远端，摄像头的解析度较低。
发明内容
本发明实施例提供了一种智能冰箱内图像的处理方法、装置、计算机设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面，提供一种智能冰箱内图像的处理方法，包括：
对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域；
对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像。
在一些可选实施例中，所述的方法还包括：
对锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
在一些可选实施例中，对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像进行灰度化得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点集合。
在一些可选实施例中，所述对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域包括：
采用掩模-区域卷积神经网络方法(MASK-RCNN)进行模型训练，获得食材图像分割模型；
根据所述食材图形分割模型，对所述第一图像中的每个像素点进行标记，得到所述第一图像中各种食材的区域。
根据本发明实施例的第二方面，提供一种智能冰箱内图像处理装置，包括：第一单元、第二单元、第三单元和第四单元；
所述第一单元，用于对冰箱内的第一图像进行分割，得到所述第一图像中各种食材的区域；
所述第二单元，用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
所述第三单元，用于对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
所述第四单元，用于对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像。
在一些可选实施例中，所述装置还包括：第五单元；
所述第五单元，用于对所述锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
在一些可选实施例中，所述第二单元具体用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像按照公式计算得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点集合。
在一些可选实施例中，所述第一单元具体用于采用MASK-RCNN方法进行模型训练，获得食材图像分割模型；
根据所述食材图形分割模型，对所述第一图像中的每个像素点进行标记，得到所述第一图像中各种食材的区域。
根据本发明实施例的第三方面，提供一种计算机设备。
在一些可选实施例中，所述计算机设备包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述的智能冰箱内图像的处理方法。
根据本发明实施例的第四方面，提供一种存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现上述的智能冰箱内图像的处理方法。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明实施例提供了一种智能冰箱内图像的处理方法，包括：对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域，对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合，对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像，对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像。
本发明实施例通过对冰箱内摄像头成像的第一图像进行分割，得到各种食材的区域，通过对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合，对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像，所述第二图像相对于所述第一图像，去除了噪声，对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，通过有针对性的锐化处理，使得所述第二图像中各种食材部分的清晰度明显提高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种智能冰箱内图像处理的方法的流程示意图；
图2是根据另一示例性实施例示出的一种智能冰箱内图像处理的方法的流程示意图；
图3是根据一示例性实施例示出的一种智能冰箱内图像处理的装置结构框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
根据本发明实施例的第一方面，提供一种智能冰箱内图像的处理方法，如图1所示，包括：
S101对冰箱内摄像头成像的第一图像进行分割，得到第一图像中各种食材的区域；
S102对第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
S103对第一图像中不属于边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
S104对第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像。
通过对冰箱内摄像头成像的第一图像进行分割，得到各种食材的区域，通过对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合，对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像，所述第二图像相对于所述第一图像，去除了噪声，对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，通过有针对性的锐化处理，使得所述第二图像中各种食材部分的清晰度明显提高。
在一些可选实施例中，所述的方法还包括：
对锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
所述第三图像相对于锐化处理得到的各种食材图像，对比度得到明显的提升，成功地解决了由于食材反光引起的高光以及因补光不足而引起的整体成像发暗的问题。
在一些可选实施例中，对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像进行灰度化得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点集合。
在一些可选的实施例中，在对冰箱内摄像头成像的第一图像进行分割中，采用MASK-RCNN方法，对所述第一图像的所有像素点进行标记。
在一些可选的实施例中，采用MASK-RCNN方法，搜集200种常见食材的图片，如西红柿、黄瓜、土豆、苹果等，训练出图像分割模型，利用所述图像分割模型，对冰箱内摄像头成像的第一图像的每个像素点进行标记，记为Pixeli，其中i＝0，1，2，…，200，其中，0～199代表200种常见食材的编号，对应着西红柿、黄瓜、土豆、苹果、…，200对应着背景像素，也即不属于这200种食材的像素。
在一些可选的实施例中，在对所述第一图像进行灰度化得到所述第一图像的灰度图中，按照公式Gray＝0.299R+0.587G+0.114B计算得到灰度图，其中，R，G，B分别是所述第一图像中的R，G，B三个通道的图。
在一些可选的实施例中，所述第一图像中当R＝100，G＝100，B＝100时，相应的像素点的灰度为100。
在一些可选的实施例中，所述第一图像中，当R＝110，G＝90，B＝80时，对应的像素点的灰度为0.299*110+0.587*90+0.114*80＝94.84。
采用公式Gray＝0.299R+0.587G+0.114B可实现对彩色图像进行灰度化，提高了图像处理时的运算速度。
在一些可选的实施例中，对所述灰度图进行高斯滤波，得到滤波后的滤波图像中，其中高斯滤波采用二维高斯核函数，计算公式为：
K＝1/(2π*σ^2)e^(-(x^2+y^2)/(2σ^2))
其中K代表高斯函数的大小，x代表中心点的横坐标，y代表中心点的纵坐标，σ代表正态分布的标准偏差。
在一些可选实施例中，所述高斯滤波的高斯半径为3，能有效地消除和抑制噪声，达到图像平滑的效果。
在一些可选的实施例中，计算所述滤波图像的梯度图和梯度方向图，公式如下：
P[i，j]＝(f[i，j+1]-f[i，j]+f[i+1，j+1]-f[i+1，j])/2
Q[i，j]＝(f[i，j]-f[i+1，j]+f[i，j+1]-f[i+1，j+1])/2
θ[i，j]＝arctan(Q[i，j]/p[i，j])
其中，f[i，j]表示滤波图像矩阵i，j位置处的像素值，M[i，j]是得到的梯度矩阵，θ[i，j]是梯度方向矩阵；
对所述梯度矩阵M[i，j]进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图。
通过对所述梯度矩阵M[i，j]进行非极大值抑制，可得到局部极大值，实现对边缘的检测，得到所述第一图像的边缘二值图，提高了精确定位的效果。
在一些可选实施例中，对所述边缘二值图中的像素点进行过滤，过滤规则为：
其中所述像素点Pi是所述边缘二值图上的一个像素点，即Pi∈所述边缘二值图，所述边缘像素点集合是Pi＝255的像素点集合。
通过采用上述的过滤规则，可对所述边缘二值图中的像素点进行区分，将食材和非食材分开。
在一些可选实施例中，对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，采用二位高斯核参数，公式为
K＝1/(2π*σ^2)e^(-(x^2+y^2)/(2σ^2))
其中K代表高斯函数的大小，x代表中心点的横坐标，y代表中心点的纵坐标，σ代表正态分布的标准偏差。
在一些可选实施例中，高斯模糊处理时，高斯半径为5。
采用高斯模糊处理，能去除所述第一图像中的噪声，保留属于所述第一图像中食材区域的部分。
在一些可选实施例中，所述锐化处理可采用拉普拉斯锐化，具体公式为g(i,j)＝5f(i,j)-f(i-1,j)-f(i+1,j)-f(i,j+1)-f(i,j-1)，其中，
f(i,j)表示所述第二图像在位置(i，j)处的像素值，且该处的像素I(i，j)＝Pixeli(i＝0～199)；
g(i,j)是所述第三图像在位置(i，j)处的像素值。
采用拉普拉斯锐化，可对所述第二图像中食材区域的部分进行针对性的锐化处理，使得所述食材区域的部分图像清晰度更高，解决了目前冰箱内摄像头成像的图片清晰度不够的问题。
在一些可选的实施例中，对锐化处理得到的各种食材图像进行对比度拉伸，采用公式
得到所述第三图像。
其中r是锐化处理得到的各种食材图像中对应像素点的像素值，T是阈值参数，e是对数。
所述第三图像的对比度得到明显的提升，成功地解决了由于食材反光引起的高光以及因补光不足而引起的整体成像发暗的问题。
在一些可选的实施例中，结合具体应用场景，如图2所示，智能冰箱内图像的处理方法包括：
步骤S201：当冰箱内放置有西红柿、黄瓜、土豆、苹果、萝卜、梨子、桃时，采用MASK-RCNN方法对冰箱内摄像头成像的第一图像进行分割，得到西红柿、黄瓜、土豆、苹果、萝卜、梨子、桃的区域，即食材区域；
步骤S202：将第一图像按照公式Gray＝0.299R+0.587G+0.114B进行灰度化，得到第一图像的灰度图；
步骤S203：对灰度图进行高斯滤波，高斯半径为3，得到滤波图像；
步骤S204：计算滤波图像的梯度矩阵，并对滤波图像的梯度矩阵进行非极大值抑制，得到局部放大值，从而得到边缘二值图；
步骤S205：对边缘二值图中的像素点按照过滤规则进行过滤，保留食材区域的边缘，得到食材区域的边缘像素点集合；
步骤S206：对图像中不属于食材区域的像素点集合进行高斯模糊，高斯模糊半径为5，得到第二图像
步骤S207：对第二图像中属于食材区域的部分进行拉普拉斯锐化，得到锐化处理后的食材图像；
步骤S208：对锐化处理后的食材图像进行对比度拉伸，得到处理后的第三图像。
采用上述步骤处理后的图像食材区域清晰度更高，抑制食材反光引起的高光和因补光不足引起的整体成像发暗等问题。
根据本发明实施例的第二方面，提供一种智能冰箱内图像处理装置，如图3所示，包括：第一单元、第二单元、第三单元、第四单元和第五单元。
所述第一单元，用于对冰箱内的第一图像进行分割，得到所述第一图像中各种食材的区域；
所述第二单元，用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
所述第三单元，用于对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
所述第四单元，用于对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像。
所述第五单元，用于对所述锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
在一些可选实施例中，所述第二单元用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像按照公式计算得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点结合。
在一些可选实施例中，所述高斯模糊处理时的高斯模糊半径为5，所述高斯滤波的高斯半径为3。
在一些可选的实施例中，在对所述第一图像进行灰度化得到所述第一图像的灰度图中，按照公式Gray＝0.299R+0.587G+0.114B计算得到灰度图，其中，R，G，B分别是所述第一图像中的R，G，B三个通道的图。
在一些可选的实施例中，所述第一图像中当R＝100，G＝100，B＝100时，相应的像素点的灰度为100。
在一些可选的实施例中，所述第一图像中，当R＝110，G＝90，B＝80时，对应的像素点的灰度为0.299*110+0.587*90+0.114*80＝94.84。
采用公式Gray＝0.299R+0.587G+0.114B可实现对彩色图像进行灰度化，提高了图像处理时的运算速度。
在一些可选的实施例中，对所述灰度图进行高斯滤波，得到滤波后的滤波图像中，其中高斯滤波采用二维高斯核函数，计算公式为：
K＝1/(2π*σ^2)e^(-(x^2+y^2)/(2σ^2))
其中K代表高斯函数的大小，x代表中心点的横坐标，y代表中心点的纵坐标，σ代表正态分布的标准偏差。
在一些可选实施例中，所述高斯滤波的高斯半径为3，能有效地消除和抑制噪声，达到图像平滑的效果。
在一些可选的实施例中，计算所述滤波图像的梯度图和梯度方向图，公式如下：
P[i，j](f[i，j+1]-f[i，j]+f[i+1，j+1]-f[i+1，j])/2
Q[i，j](f[i，j]-f[i+1，j]+f[i，j+1]-f[i+1，j+1])/2
θ|i，j|＝arctan(Q|i，j|/p|i，j|)
其中，f[i，j]表示滤波图像矩阵i，j位置处的像素值，M[i，j]是得到的梯度矩阵，θ[i,j]是梯度方向矩阵；
对所述梯度矩阵M[i,j]进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图。
通过对所述梯度矩阵M[i,j]进行非极大值抑制，可得到局部极大值，实现对边缘的检测，得到所述第一图像的边缘二值图，提高了精确定位的效果。
在一些可选实施例中，对所述边缘二值图中的像素点进行过滤，过滤规则为：
其中所述像素点Pi是所述边缘二值图上的一个像素点，即Pi∈所述边缘二值图，所述边缘像素点集合是Pi＝255的像素点集合。
通过采用上述的过滤规则，可对所述边缘二值图中的像素点进行区分，将食材和非食材分开。
在一些可选实施例中，对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，采用二位高斯核参数，公式为
K＝1/(2π*σ^2)e^(-(x^2+y^2)/(2σ^2))
其中K代表高斯函数的大小，x代表中心点的横坐标，y代表中心点的纵坐标，σ代表正态分布的标准偏差。
在一些可选实施例中，高斯模糊处理时，高斯半径为5。
采用高斯模糊处理，能去除所述第一图像中的噪声，保留属于所述第一图像中食材区域的部分。
在一些可选实施例中，所述锐化处理可采用拉普拉斯锐化，具体公式为g(i,j)＝5f(i,j)-f(i-1,j)-f(i+1,j)-f(i,j+1)-f(i,j-1)，其中，
f(i,j)表示所述第二图像在位置(i，j)处的像素值，且该处的像素I(i，j)＝Pixeli(i＝0～199)；
g(i,j)是所述第三图像在位置(i，j)处的像素值。
采用拉普拉斯锐化，可对所述第二图像中食材区域的部分进行针对性的锐化处理，使得所述食材区域的部分图像清晰度更高，解决了目前冰箱内摄像头成像的图片清晰度不够的问题。
在一些可选的实施例中，对锐化处理得到的各种食材图像进行对比度拉伸，采用公式
得到所述第三图像。
其中r是锐化处理得到的各种食材图像中对应像素点的像素值，T是阈值参数，e是对数。
所述第三图像的对比度得到明显的提升，成功地解决了由于食材反光引起的高光以及因补光不足而引起的整体成像发暗的问题。
在示例性实施例中，还提供了一种计算机设备。
在一些可选实施例中，所述计算机设备包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述的智能冰箱内图像的处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成前文所述的方法。上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁带和光存储设备等。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种智能冰箱内图像处理方法，其特征在于，包括：
对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域；
对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像；
对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像进行灰度化得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点集合。
2.根据权利要求1所述的一种方法，其特征在于，还包括：
对锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
3.根据权利要求1所述的一种方法，其特征在于，所述对冰箱内摄像头成像的第一图像进行分割，得到所述第一图像中各种食材的区域包括：
采用掩模-区域卷积神经网络网络方法进行模型训练，获得食材图像分割模型；
根据所述食材图形分割模型，对所述第一图像中的每个像素点进行标记，得到所述第一图像中各种食材的区域。
4.一种智能冰箱内图像处理装置，其特征在于，包括：第一单元、第二单元、第三单元和第四单元；
所述第一单元，用于对冰箱内的第一图像进行分割，得到所述第一图像中各种食材的区域；
所述第二单元，用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合；
所述第三单元，用于对所述第一图像中不属于所述边缘像素点集合的像素点集合进行高斯模糊处理，得到第二图像；
所述第四单元，用于对所述第二图像中属于边缘像素点集合的像素点集合进行锐化处理，得到处理后的各种食材图像；
所述第二单元用于对所述第一图像进行边缘二值化处理得到所述食材的区域的边缘像素点集合包括：
对所述第一图像按照公式计算得到所述第一图像的灰度图；
对所述灰度图进行高斯滤波，得到滤波图像；
对所述滤波图像的梯度矩阵进行非极大值抑制，得到局部极大值，从而得到所述第一图像的边缘二值图；
对所述边缘二值图的像素点进行过滤，得到所述食材的区域的边缘像素点集合。
5.根据权利要求4所述的一种装置，其特征在于，所述装置还包括：第五单元；
所述第五单元，用于对所述锐化处理得到的各种食材图像进行对比度拉伸，得到第三图像。
6.根据权利要求4所述的一种装置，其特征在于，
所述第一单元，具体用于采用掩模-区域卷积神经网络方法进行模型训练，获得食材图像分割模型；
根据所述食材图形分割模型，对所述第一图像中的每个像素点进行标记，得到所述第一图像中各种食材的区域。
7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3中任一项所述的智能冰箱内图像的处理方法。
8.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述的智能冰箱内图像的处理方法。
CN201810330480.6A 2018-04-13 2018-04-13 智能冰箱内图像的处理方法及计算机设备、存储介质 Active CN110378907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810330480.6A CN110378907B (zh) 2018-04-13 2018-04-13 智能冰箱内图像的处理方法及计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810330480.6A CN110378907B (zh) 2018-04-13 2018-04-13 智能冰箱内图像的处理方法及计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN110378907A CN110378907A (zh) 2019-10-25
CN110378907B true CN110378907B (zh) 2023-09-19

Family

ID=68243689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810330480.6A Active CN110378907B (zh) 2018-04-13 2018-04-13 智能冰箱内图像的处理方法及计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN110378907B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582778B (zh) * 2020-04-17 2024-04-12 上海中通吉网络技术有限公司 操作场地货物堆积度量方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617600A (zh) * 2013-11-25 2014-03-05 厦门美图网科技有限公司 一种基于边缘检测的图像自动锐化方法
KR20160069804A (ko) * 2014-12-09 2016-06-17 삼성전자주식회사 블러 영역 검출을 위한 영상 처리 방법 및 이를 수행하기 위한 영상 처리 장치
CN106288591A (zh) * 2016-11-08 2017-01-04 朱恺 一种具有食材管理功能的冰箱及食材管理方法
CN107154044A (zh) * 2017-03-27 2017-09-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种中餐食物图像的分割方法
CN107763956A (zh) * 2016-08-23 2018-03-06 海信（山东）冰箱有限公司 一种冰箱及其控制方法
CN107763955A (zh) * 2016-08-23 2018-03-06 海信（山东）冰箱有限公司 一种冰箱及其控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617600A (zh) * 2013-11-25 2014-03-05 厦门美图网科技有限公司 一种基于边缘检测的图像自动锐化方法
KR20160069804A (ko) * 2014-12-09 2016-06-17 삼성전자주식회사 블러 영역 검출을 위한 영상 처리 방법 및 이를 수행하기 위한 영상 처리 장치
CN107763956A (zh) * 2016-08-23 2018-03-06 海信（山东）冰箱有限公司 一种冰箱及其控制方法
CN107763955A (zh) * 2016-08-23 2018-03-06 海信（山东）冰箱有限公司 一种冰箱及其控制方法
CN106288591A (zh) * 2016-11-08 2017-01-04 朱恺 一种具有食材管理功能的冰箱及食材管理方法
CN107154044A (zh) * 2017-03-27 2017-09-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种中餐食物图像的分割方法

Also Published As

Publication number Publication date
CN110378907A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
Alireza Golestaneh et al. Spatially-varying blur detection based on multiscale fused and sorted transform coefficients of gradient magnitudes
US11379988B2 (en) Method and apparatus for extracting edge of object in depth image and computer readable storage medium
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
CN109214996B (zh) 一种图像处理方法及装置
Selvakumar et al. The performance analysis of edge detection algorithms for image processing
CN112991374B (zh) 基于Canny算法的边缘增强方法、装置、设备及存储介质
CN108234826B (zh) 图像处理方法及装置
CN106204617A (zh) 基于残差图像直方图循环移位的自适应图像二值化方法
CN108335268B (zh) 一种基于盲解卷积的彩色图像去模糊的方法
CN110378907B (zh) 智能冰箱内图像的处理方法及计算机设备、存储介质
Banerjee et al. Bacterial foraging-fuzzy synergism based image Dehazing
CN111311610A (zh) 图像分割的方法及终端设备
Jadhav et al. FPGA based object tracking system
CN107833232B (zh) 图像细节的提取方法和装置、电子设备、计算机存储介质
Grimaldi et al. Detection and parameters estimation of locally motion blurred objects
Rajal An approach for image enhancement using fuzzy inference system for noisy image
Azhar et al. Texture-oriented image denoising technique for the removal of random-valued impulse noise
Kumar et al. FFBF: cluster-based Fuzzy Firefly Bayes Filter for noise identification and removal from grayscale images
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质
Deepika et al. Extraction of river from satellite images
Abinaya et al. Rectify the blurred license plate image from fast moving vehicles using morphological process
Kamboj et al. Color Edge Detection in RGB Color Space Using Automatic Threshold Detection
Ledesma-Carrillo et al. Extended depth of field in images through complex amplitude pre-processing and optimized digital post-processing
Khan et al. Detection of blur and non-blur regions using frequency-based multi-level fusion transformation and classification via KNN matting
Xia et al. Ladar range image denoising by a nonlocal probability statistics algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant