CN113223039A - 显示设备、服装图像提取方法和存储介质 - Google Patents
显示设备、服装图像提取方法和存储介质 Download PDFInfo
- Publication number
- CN113223039A CN113223039A CN202010072165.5A CN202010072165A CN113223039A CN 113223039 A CN113223039 A CN 113223039A CN 202010072165 A CN202010072165 A CN 202010072165A CN 113223039 A CN113223039 A CN 113223039A
- Authority
- CN
- China
- Prior art keywords
- connected domain
- image
- area
- target
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 3
- 238000009499 grossing Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 238000013467 fragmentation Methods 0.000 description 5
- 238000006062 fragmentation reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 206010000234 Abortion spontaneous Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 208000015994 miscarriage Diseases 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 208000000995 spontaneous abortion Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种显示设备、服装图像提取方法和存储介质,显示设备中的控制器利用神经网络算法将源图像提取为初始灰度图像,其中,通过摄像头采集显示器前方的服装的源图像;利用卷积操作,连接初始灰度图像中连通域上的破碎区域;搜寻初始灰度图像中全部连通域的边界,并修复全部连通域内部的孔洞区域;分别计算全部连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域;利用卷积和二值化操作,扩展目标连通域,得到修复灰度图像,通过显示器调取显示修复灰度图像。本申请实施例对提取到的服装的初始灰度图像进行了破碎区域和孔洞区域的修复、误提取连通域的筛选以及边缘处的平滑处理,提高了对服装源图像处理的精细完整程度。
Description
技术领域
本申请涉及深度学习技术领域,尤其涉及一种显示设备、服装图像提取方法和存储介质。
背景技术
随着人均可支配收入的持续增加和社会开放程度的不断提升,服装消费市场容量不断扩大,且互联网购物的迅速发展,也在一定程度上加剧了人们购买服装的冲动。大量的服装被人们买回家后,往往被随意放置在衣柜中,导致个人衣物数量过多,经常出现买了忘了穿,不知道穿什么,不知道怎么搭配的穿衣困扰。
目前,在服装的一站式高效管理系统中,通常利用机器学习来解决上述穿衣困扰,即在一种显示设备中,采集用户每件服装的图像,利用机器学习识别图像中服装目标,并进行提取,将提取出的服装目标按照不同的服装类别进行存储。当用户需要进行服装搭配时,可通过显示设备调取出各个类别的服装目标进行搭配。
上述显示设备在识别并提取图像中服装目标时,由于机器学习的能力不足,导致提取出的服装目标出现缺陷,例如,提取出的服装目标不完整,会碎裂成碎片,进而服装目标中存在破碎,或者提取出的服装目标内部一部分区域出现丢失,造成孔洞等等,以上缺陷影响提取服装目标的精细性和完整性。
发明内容
本申请提供了一种显示设备、服装图像提取方法和存储介质,以解决图像中服装目标提取的不精细且不完整的技术问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
第一方面,本申请实施例公开了一种显示设备,包括:
摄像头,用于采集服装的源图像;
控制器,与所述摄像头通讯连接,所述控制器被配置为:
利用神经网络算法将所述源图像提取为初始灰度图像;利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域;搜寻所述初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域;分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域;利用卷积和二值化操作,扩展所述目标连通域的边界区域,得到修复灰度图像;
显示器,与所述控制器通讯连接,用于显示所述修复灰度图像。
第二方面,本申请实施例公开了一种服装图像提取方法,所述方法包括:
利用神经网络算法将源图像提取为初始灰度图像;
利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域;
搜寻所述初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域;
分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域;
利用卷积和二值化操作,扩展所述目标连通域,得到修复灰度图像。
第三方面,本申请实施例公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被控制器执行时实现权利要求9所述的服装图像提取方法。
与现有技术相比,本申请的有益效果为:
本申请提供了一种显示设备、服装图像提取方法和存储介质,通过摄像头采集显示器前方的服装的源图像,再通过控制器对所述源图像进行处理,处理过程如下:首先将源图像输入神经网络,通过神经网络计算得到初始灰度图像。然后,对该初始灰度图像中连通域上的破碎区域进行卷积操作,使得破碎区域得到一定的扩展延伸,使破碎区域与连通区域连接为整体。之后,搜寻出初始灰度图像中各个连通域的边界,通过边界圈定出每一连通域,对每一连通域内的孔洞区域进行修复填补,得到完整的连通域。在得到各个完整的连通域之后,再进一步计算每一连通域的面积,通过面积筛选出误提取的连通域,保留下服装目标所呈现出的目标连通域。为了进一步完善目标连通域,本申请还对目标连通域的边界区域进行扩展,使得目标连通域的边缘处更加平滑,得到最终的修复灰度图像,用户可通过显示器调取显示出修复灰度图像。本申请实施例对提取到的服装的初始灰度图像进行了破碎区域和孔洞区域的修复、误提取连通域的筛选以及边缘处的平滑处理,提高了对服装源图像处理的精细完整程度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的源图像;
图2为本发明实施例提供的初始灰度图像;
图3为本发明实施例提供的不同场景及不同展示方式下的服装示意图;
图4为本发明实施例提供的卷积操作的示意图;
图5为本发明实施例提供的连通域的边界搜寻的示意图;
图6为本发明实施例提供的相邻像素标号方式的示意图;
图7为本发明实施例提供的目标连通域质心的示意图;
图8为本发明实施例提供的卷积操作后的目标连通域边缘的示意图;
图9为本发明实施例提供的二值化操作后的目标连通域边缘的示意图;
图10为本发明实施例提供的修复初始灰度图。
图11为本发明实施例提供的一种服装图像提取方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请基于服装的一站式高效管理中服装提取不够精细和完整的问题,为了保证服装图像提取的精细和完整,在第一方面提供了一种显示设备。该显示设备包括依次通讯连接的摄像头、控制器和显示器。
在一种实现方式中,该显示器可以为智能穿衣镜,在智能穿衣镜上设置有摄像头,用户可拿着待录入的服装或者直接身穿待录入的服装站在智能穿衣镜前方,摄像头用于拍摄服装的源图像,参见图1,图1即为本发明实施例提供的源图像,实际应用中,源图像通常为彩色。智能穿衣镜上还设置有控制器和显示器,控制器能够获取到摄像头拍摄的源图像,并对源图像进行处理,依次得到初始灰度图像和修复灰度图像。最终可通过显示器调取并显示出修复灰度图像。
控制器在处理源图像时,首先利用神经网络算法将所述源图像提取为初始灰度图像。控制器获取到源图像之后,将所述源图像输入至神经网络中,神经网络对源图像中的每一像素点进行分类,例如图1中的裤子部分为一类,背景部分为另一类,再把不同类别改为不同的灰度值,得到初始灰度图像。
参见图2,为本发明实施例提供的初始灰度图像,图2是一张单通道的灰度图片,每个像素点对应一个灰度值,取值范围在0-255之间,0代表黑色,255代表白色,该初始灰度图像中黑色代表背景,其余的非黑色的每个块状区域为一个连通域,也就是说,多个相邻的非零像素构成一个连通域,连通域可视为提取出来的服装目标。在视觉上看来,彼此连通的像素形成了一个区域,而不连通的像素形成了不同的区域。
利用神经网络对源图像中服装目标进行提取时,要先使用训练数据对神经网络进行训练。参见图3,为本发明实施例提供的不同场景及不同展示方式下的服装示意图。结合图3,由于作为训练数据的服装图片的特殊性,其背景杂乱,展示方式各种各样,因此严重影响神经网络的训练。再加上目前神经网络的提取的精确度不够,导致提取结果,即初始灰度图像中存在一系列的缺陷。
结合图2所示,在初始灰度图像中,提取的服装目标不完整,会碎裂成碎片,即破碎缺陷,如图2中a所示。提取的服装目标内部一部分出现丢失没有提取到,出现孔洞缺陷,如图2中b所示。从图中可看到,破碎缺陷和孔洞缺陷的差别在于:破碎缺陷位于连通域的边界上,是具有开口的,孔洞缺陷则位于连通域内部,是闭合的。还会错误提取了非待录入的服装目标,如图2中c所示,或者两腿之间的白色区域也是误提取缺陷。还会存在提取的服装目标边缘不平滑的缺陷。
为了解决上述缺陷,本申请实施例提供相应的处理方式。首先,对于初始灰度图像中的破碎缺陷,控制器利用卷积操作将破碎区域与连通域进行连接。
在一种实现方式中,对初始灰度图像中破碎区域进行卷积,由于初始灰度图像中背景的灰度值为0,被提取出的连通域的值为非零,所以卷积后的连通域会沿边缘往外扩大一圈,以此,能够对小的破碎区域进行一定程度的非零值填充,使其连通域相连。在查找到连通域的破碎区域之后,利用图像窗口滤波器分别对破碎区域内的像素点进行卷积求和,得到多个填充值,即非零值,将多个填充值对应赋予至破碎区域内的像素点,将破碎区域与连通区域进行连通。
为了方便理解,此处进行举例说明。参见图4,为本发明实施例提供的卷积操作的示意图。如图4所示,先来看图4中的左图,在左图中,位于左上角和右下角的两块区域被1填充,其中,左上角区域与右下角区域之间可视为破碎区域。为了连接两块区域,需要利用图像窗口滤波器对破碎区域进行卷积求和。以两块区域之间被加粗的0值处为例,利用中间3*3的图像窗口滤波器对图中对应位置做卷积求和,两块区域的边缘位置会被重新赋予填充值,填充值变为:
再看图4中的右图,被加粗的0值处被赋予非零值,两块区域被连通。
上述例子中,图像窗口滤波器的尺寸选择为3*3,当然也可选择为5*5,或者8*8等等,图像窗口滤波器的尺寸越大,区域边缘处的扩大界限越大,故此处可结合实际情况进行选择。另外,图像窗口滤波器内的数值选择为当然,该数值可任意选择,只要能够保证边缘位置能够变为非零值即可。
其次,对于初始灰度图像中的孔洞缺陷,控制器搜寻初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域。
在一种实现方式中,对于孔洞缺陷来说,可先搜寻出连通域的边界,再对边界内的孔洞区域进行非零值的填充,进而修复孔洞。在查找连通域的边界时,在初始灰度图像上按照从上到下、从左到右的规律遍历像素点,遇到的第一个非零像素点,其左边和上面的像素点都为0,则判定其为一个连通域的边界起始点,将边界起始点标记为c。
参见图5,为本发明实施例提供的连通域的边界搜寻的示意图,按箭头方向通过从上到下、从左到右遍历图片,遇到第一个点(2,5),该点即为边界起始点,被标记为c。从边界起始点出发,遵循一定的规律,寻找下一边界点,被确定的边界点均被标记为c,最后形成一个标记都为c的像素点连接的路径,路径上一系列像素点则构成该连通域的边界。
在一种实现方式中,为了便于描述,给定一种标号形式,参见图6,为本发明实施例提供的相邻像素标号方式的示意图,图6示出了给当前像素点x的相邻像素进行标号,以方便表示。
在确定出边界起始点之后,以该边界起始点为当前像素点x,并对边界起始点的相邻像素按照图6所示进行标号。根据第一预设顺序遍历以该边界起始点为中心的相邻像素点,选定第一个非零相邻像素点为第二边界点。其中,第一预设顺序指的是,从边界起始点的7号位开始,沿顺时针遍历其相邻像素点,即7-0-1-2-3-4-5-6-7的顺序,直到遇到第一个非零相邻像素点,将这个非零像素点记为第二边界点,并标记成与当前像素点相同的标记,即标记为c,即将其纳入连通域边界。如图5中所示,以(5,2)点为当前像素点进行遍历,遇到的第一个非零点为0号位点(6,2),将其进行相同标记。
在确定出第二边界点之后,以该第二边界点为当前像素点x,并对第二边界点的相邻像素点按照图6所示进行标号。根据第二预设顺序遍历以该第二边界点为中心的相邻像素点,选定第一个非零相邻像素点为第三边界点。其中,第二预设顺序指的是,从边界路径上的其上一个边界点的位置加2开始,沿顺时针遍历其相邻像素点,直到遇到第一个非零相邻像素点,将这个非零像素点记为第三边界点,并标记成与当前像素点相同的标记,即标记为c,即将其纳入连通域边界。如图5中所示,以(6,2)点为当前像素点x确定下一边界点,在遍历(6,2)点的相邻像素点时,以边界路径上它的上一个点(5,2)的位置加2,即4+2号位,从6号位开始遍历相邻像素点,寻找到第一个非零相邻像素点(7,2),将其进行相同标记。根据上述第二预设顺序,依次搜寻连通域的剩余边界点。
从边界起始点开始,通过以上规律进行遍历,提取出连通域边界点集合,搜寻出连通域的边界。然后,对边界内部的孔洞区域,即0值像素区域进行非零填充,修复孔洞。此处,非零填充可从0-255直接选取任一灰度值进行填充。
进一步,对于初始灰度图像中的误提取缺陷,控制器采用面积筛选的方式将误提取的连通域进行删除。
在一种实现方式中,由于上述在修复孔洞区域时,已经搜寻出所有连通域的边界了,那此处可基于上述标记好的连通域边界,分别计算出全部连通域的面积。
以任一连通域为例,根据该连通域内每一行像素点的始点和终点,计算出每一行面积,如图5中所示,连通域的第一行的始点为(5,2),终点为(7,2),假设每一像素点的面积为1,则根据该行的像素点个数计算出该行的行面积为3。将计算出的该连通域内的所有行面积进行相加,就可得到该连通域面积。
一般来说,误提取的非服装目标的连通域面积很小,落在一定的范围区间内,本申请实施例中可预先设置一标准面积,即预设面积,该预设面积可根据待录入的服装进行估计,此处不做限定。将计算出的全部连通域面积依次与预设面积比较大小,若任一连通域面积小于预设面积的大小,则删除该连通域。若连通域棉结大于等于预设面积的大小,则保留该连通域,其中,保留下来的的连通域可视为目标连通域。
上述误提取缺陷中通过面积筛选的方式,只能够删除掉面积较小的误提取的连通域,就像图2中的c,或者两腿之间的白色区域等。倘若,在通过摄像头获取服装的源图像时,摄像头前方还有其他人,或者待拍摄的背景中挂着其他的服装,导致拍摄的源图像中除了有待录入服装以外,还有其他服装,进而使得提取出的初始灰度图像中存在多个面积较大的连通域。若是误提取的连通域的面积过大,大于预设面积,则可能无法通过面积筛选进行滤除,其中,这些大面积的误提取的连通域可称为干扰连通域。也就是说,通过面积筛选保留下来的目标连通域中还有可能存在干扰连通域。
为了进一步优化上述技术方案,删除干扰连通域,本申请中控制器还能够通过计算目标连通域质心与初始灰度图像中心的之间的距离,选择出待录入显示设备的目标连通域。
在一种实现方式中,当用户想要将某一服装录入显示设备时,通常会将待录入服装放置于摄像头拍摄的中心位置。因此,待录入的服装处于源图像的中心位置,也就是处于初始灰度图像的中心位置。
以任一目标连通域为例,计算其内部所有像素点的横坐标之和sum_x,及纵坐标之和sum_y,再统计出该目标连通域内内所有像素点的个数pixel_num。将横坐标之和与像素点个数进行取整计算,求取质心的横坐标centroid_x,将纵坐标之和与像素点个数进行取整计算,求取质心的纵坐标centroid_y。
参见图7,为本发明实施例提供的目标连通域质心的示意图。在图7中,该目标连通域中所有像素点的个数pixel_num=10,所有像素点的横坐标之和sum_x=1+2*3+3*4+4*2=27,所有像素点的纵坐标之和sum_y=2*2+3*4+4*3+5=33。
因此,该目标连通域质心的横坐标centroid_x=取整(sum_x/pixel_num)=2,纵坐标centroid_y=取整(sum_y/pixel_num)=3,也就是说,图7中目标连通域的质心所在位置为(2,3)。
在计算出所有目标连通域的质心之后,选取质心到初始灰度图像中心最近的目标连通域为待录入显示设备的目标连通域。
以上,在结合了面积筛选和质心距离的计算之后,得到最终需要录入显示设备的目标连通域。
针对于初始灰度图像中提取的服装目标边缘不平滑的缺陷,本申请利用卷积和二值化操作,扩展目标连通域的边界区域,得到修复灰度图像。
参见图8,为本发明实施例提供的卷积操作后的目标连通域边缘的示意图。由于目标连通区域的边缘处不平滑,所以本申请中通过对边缘处卷积求和,使得边缘处往外,也就是往背景区域扩展。这里卷积操作,也是利用图像窗口滤波器,对目标连通域边界上的像素点进行卷积求和,得到扩展边缘。该卷积操作和上述修复破碎缺陷时的卷积操作原理相同,此处不再赘述。
卷积操作完成后,该目标连通域的边界上的扩展边缘使得目标连通域的边缘变得更加平滑。目标连通域边界上的像素点,会有一个从非零值到零值的衰减,如图8所示,假设图中填充有4的区域是目标连通区域,在经过卷积操作之后,该目标区域的边缘会经过3、2、1逐渐衰减的方式进行扩充。
考虑到上述扩展边缘属于引入的一圈非服装目标,为了避免引入过多的非服装目标,本申请通过二值化操作,将扩充边缘进行筛选。在一种实现方式中,可尝试性的设置几个预设像素点,择优选择效果最好的预设像素点,此处效果最好可理解为在保证目标连通域边缘扩充的更加平滑的前提下,引入的非服装目标最少。将扩展边缘内的像素点依次与预设像素点比较大小。若是该扩展边缘处的像素点的数值小于预设像素点,则进行删除,若是扩展边缘处的像素点的数值大于预设像素点,则进行保留。也就是说,二值话操作设定一个预设像素点t,扩展边缘内的像素点的数值若是落在(0,t-1)范围内,则将其设为0,扩展边缘内的像素点的数值若是落在(t,255)范围内,则保留卷积求和后的值。通过对预设像素点的设定,扩展边缘内的非服装目标能够在一定程度上被筛选去掉。
参见图9,为本发明实施例提供的二值化操作后的目标连通域边缘的示意图。图9中,设定t为3,则(0,2)范围内的像素值变为0,(3,255)范围内的像素值保留,以此筛选去掉一圈非服装目标。因此,经过卷积操作和二值化操作,使得目标连通域的边缘平滑,也不会过多引入非服装目标。
本申请实施例提供的显示设备中,在通过摄像头获得源图像之后,控制器先将源图像处理为初始灰度图像,再经过修复破碎、孔洞、误提取、边缘不平滑以及干扰目标连通域的缺陷,得到精确完整的修复灰度图像,参见图10,为本发明实施例提供的修复初始灰度图,明显看出,图10中的修复初始灰度图消除了上述缺陷,较为精确完整的将源图像中的服装提取出来,用户可通过显示器调取显示出修复灰度图像。
为了对显示设备的服装图像提取过程做进一步描述,本申请在第二方面提供了一种服装图像提取方法。参见图11,为本发明实施例提供的一种服装图像提取方法的流程示意图,结合图11,该方法包括以下步骤:
S1101:利用神经网络算法将源图像提取为初始灰度图像。
控制器在获取到源图像之后,再将源图像输入至神经网络算法中,并经由神经网络提取为初始灰度图像。就像由图1中的源图像提取为图2中的初始灰度图像。
S1102:利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域。
在图2中的初始灰度图像中,存在部分破碎区域,该破碎区域原本应与连通域相连通,却在连通域边缘上,与连通域之间存在缺口。本申请控制器通过卷积操作,将连通域与破碎区域进行连接。
S1103:搜寻所述初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域。
与上述破碎区域不同的是,还有另一类缺陷,该缺陷是位于连通域内部,即孔洞区域。控制器通过搜寻出连通域的边界之后,对边界内部的连通域中的孔洞区域进行填充修复。
S1104:分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域。
在通过源图像提取初始灰度图像时,可能会存在各种误提取的连通域,如图2中两腿之间的白色区域等。控制器通过计算出所有连通域的面积,并预设一个与服装目标相近的连通域面积,若是初始灰度图像中的连通域小于预设面积,则进行删除,若是大于等于预设面积,则进行保留,得到目标连通域。
当然,在该步骤之后,控制器还可以通过计算所有保留下来的目标连通域的质心,选取质心到初始灰度图像中心距离最近的目标连通域为需要录入显示设备的目标连通域。
S1105:利用卷积和二值化操作,扩展所述目标连通域,得到修复灰度图像。
筛选出目标连通域之后,由于目标连通域的边缘不平滑,故控制器利用卷积操作扩展目标连通域的边缘处。考虑到通过扩展之后,目标连通域的边缘处引入了一圈非服装目标,为了避免引入过多的非服装目标,控制器再通过二值化操作筛选去掉部分非服装目标。经过上述缺陷的修复,最终得到精确完整的修复灰度图像。
基于与上述显示设备和服装图像提取方法同样的发明构思,本实施例还提供了一种计算机存储介质,该计算机存储介质可存储有程序,所述程序执行时可实现上述服装图像提取方法。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种显示设备,其特征在于,包括:
摄像头,用于采集服装的源图像;
控制器,与所述摄像头通讯连接,所述控制器被配置为:
利用神经网络算法将所述源图像提取为初始灰度图像;利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域;搜寻所述初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域;分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域;利用卷积和二值化操作,扩展所述目标连通域的边界区域,得到修复灰度图像;
显示器,与所述控制器通讯连接,用于显示所述修复灰度图像。
2.根据权利要求1所述的显示设备,其特征在于,所述利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域,包括:
选取所述连通域的破碎区域,其中,所述破碎区域位于所述连通域的边界位置;
利用图像窗口滤波器分别对所述破碎区域内的像素点进行卷积求和,得到多个填充值;
将多个所述填充值对应赋予至所述破碎区域内的像素点。
3.根据权利要求1所述的显示设备,其特征在于,搜寻所述初始灰度图像中连通域的边界,包括:
根据从上到下、从左到右的规律遍历所述初始灰度图像上的像素点;
选定第一个非零像素点为边界起始点;
根据第一预设顺序遍历以所述边界起始点为中心的相邻像素点,选定第一个非零相邻像素点为第二边界点;
根据第二预设顺序遍历以所述第二边界点为中心的相邻像素点,选定第一个非零相邻像素点为第三边界点;
根据所述第二预设顺序,依次搜寻连通域的剩余边界点。
4.根据权利要求3所述的显示设备,其特征在于,修复所述连通域内部的孔洞区域,包括:利用非零值填充连通域内部的孔洞区域。
5.根据权利要求3所述的显示设备,其特征在于,所述分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域,包括:
根据连通域内每一行像素点的始点和终点,计算每一行面积;
累加所述连通域内所有行面积,得到连通域面积;
将全部所述连通域面积依次与预设面积比较大小;
删除面积小于所述预设面积的连通域,保留面积大于等于所述预设面积的连通域,其中保留的连通域为所述目标连通域。
6.根据权利要求5所述的显示设备,其特征在于,所述控制器还被配置为:
计算全部所述目标连通域的质心;
选取质心到初始灰度图像中心最近的目标连通域为待录入显示设备的目标连通域。
7.根据权利要求6所述的显示设备,其特征在于,计算述目标连通域的质心,包括:
分别计算目标连通域内所有像素点的横坐标之和,及纵坐标之和;
将所述横坐标之和与目标连通域内像素点个数进行取整计算,得到质心的横坐标;
将所述纵坐标之和与目标连通域内像素点个数进行取整计算,得到质心的纵坐标。
8.根据权利要求1所述的显示设备,其特征在于,所述利用卷积和二值化操作,扩展所述目标连通域的边界区域,得到修复灰度图像,包括:
利用图像窗口滤波器对所述目标连通域边界上的像素点进行卷积求和,得到扩展边缘;
将所述扩展边缘内的像素点依次与预设像素点比较大小;
删除数值小于所述预设像素点的像素点,保留数值大于等于所述预设像素点的像素点。
9.一种服装图像提取方法,其特征在于,所述方法包括:
利用神经网络算法将源图像提取为初始灰度图像;
利用卷积操作,连接所述初始灰度图像中连通域上的破碎区域;
搜寻所述初始灰度图像中全部连通域的边界,并修复全部所述连通域内部的孔洞区域;
分别计算全部所述连通域的面积,通过面积筛选去除误提取的连通域,得到目标连通域;
利用卷积和二值化操作,扩展所述目标连通域,得到修复灰度图像。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被控制器执行时实现权利要求9所述的服装图像提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010072165.5A CN113223039B (zh) | 2020-01-21 | 2020-01-21 | 显示设备、服装图像提取方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010072165.5A CN113223039B (zh) | 2020-01-21 | 2020-01-21 | 显示设备、服装图像提取方法和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113223039A true CN113223039A (zh) | 2021-08-06 |
CN113223039B CN113223039B (zh) | 2023-04-07 |
Family
ID=77085662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010072165.5A Active CN113223039B (zh) | 2020-01-21 | 2020-01-21 | 显示设备、服装图像提取方法和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113223039B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537622A (zh) * | 2014-12-31 | 2015-04-22 | 中国科学院深圳先进技术研究院 | 单幅图像中去除雨滴影响的方法和系统 |
CN107154032A (zh) * | 2017-04-20 | 2017-09-12 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和装置 |
US20180018505A1 (en) * | 2015-10-26 | 2018-01-18 | Tencent Technology (Shenzhen) Company Limited | Method for detecting skin region and apparatus for detecting skin region |
CN108154510A (zh) * | 2018-01-17 | 2018-06-12 | 深圳市亿图视觉自动化技术有限公司 | 产品表面缺陷检测方法、装置及计算机可读存储介质 |
CN109740603A (zh) * | 2019-01-21 | 2019-05-10 | 闽江学院 | 基于cnn卷积神经网络下的车辆字符识别方法 |
-
2020
- 2020-01-21 CN CN202010072165.5A patent/CN113223039B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537622A (zh) * | 2014-12-31 | 2015-04-22 | 中国科学院深圳先进技术研究院 | 单幅图像中去除雨滴影响的方法和系统 |
US20180018505A1 (en) * | 2015-10-26 | 2018-01-18 | Tencent Technology (Shenzhen) Company Limited | Method for detecting skin region and apparatus for detecting skin region |
CN107154032A (zh) * | 2017-04-20 | 2017-09-12 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和装置 |
CN108154510A (zh) * | 2018-01-17 | 2018-06-12 | 深圳市亿图视觉自动化技术有限公司 | 产品表面缺陷检测方法、装置及计算机可读存储介质 |
CN109740603A (zh) * | 2019-01-21 | 2019-05-10 | 闽江学院 | 基于cnn卷积神经网络下的车辆字符识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113223039B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Valero et al. | Advanced directional mathematical morphology for the detection of the road network in very high resolution remote sensing images | |
CN105005992B (zh) | 一种基于深度图的背景建模和前景提取的方法 | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN101282461B (zh) | 图像处理方法 | |
CN110503108A (zh) | 违章建筑识别方法及装置、存储介质、计算机设备 | |
US8498449B2 (en) | Eye detecting device, eye detecting method, and program | |
CN106204646A (zh) | 基于bp神经网络的多运动目标跟踪方法 | |
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
CN105741231B (zh) | 图像的美肤处理方法和装置 | |
CN104156941B (zh) | 一种确定图像上几何轮廓区域的方法及系统 | |
CN110648349A (zh) | 基于背景减除和连通区域算法的焊缝缺陷分割方法 | |
CN108961291A (zh) | 一种图像边缘检测的方法、系统及相关组件 | |
CN109598684A (zh) | 结合孪生网络的相关滤波跟踪方法 | |
CN106846362A (zh) | 一种目标检测跟踪方法和装置 | |
CN110232359B (zh) | 滞留物检测方法、装置、设备及计算机存储介质 | |
CN108537286A (zh) | 一种基于关键区域检测的复杂目标精准识别方法 | |
JP6811217B2 (ja) | コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム | |
CN111914665A (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
CN109030499B (zh) | 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法 | |
Treash et al. | Automatic road detection in grayscale aerial images | |
CN105931259A (zh) | 一种基于形态学处理的高压输电线提取方法及装置 | |
CN109949294A (zh) | 一种基于OpenCV的断口形貌图裂纹缺陷提取方法 | |
CN113487639A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN104318537A (zh) | 大雨场景视频数据中雨滴的检测和去除方法及系统 | |
JP2007048006A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |