CN110795579A - 图片清理方法、装置、终端及存储介质 - Google Patents
图片清理方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN110795579A CN110795579A CN201911037726.1A CN201911037726A CN110795579A CN 110795579 A CN110795579 A CN 110795579A CN 201911037726 A CN201911037726 A CN 201911037726A CN 110795579 A CN110795579 A CN 110795579A
- Authority
- CN
- China
- Prior art keywords
- picture
- fuzzy
- network
- cleaning
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图片清理方法、装置、终端及存储介质,属于相册清理领域。所述方法包括:当接收到图片清理指令时,确定出相册中的模糊图片;对于各张模糊图片,将模糊图片输入图片评分网络,得到模糊图片对应的图片评分,图片评分用于指示模糊图片的图片质量;根据图片评分在清理界面显示各张模糊图片;当接收到模糊图片中第一模糊图片的删除操作时,从相册中删除第一模糊图片。本申请实施例中,通过图片模糊检测以及网络分类从相册中筛选出部分质量较差的图片供用户选择删除,无需用户遍历整个相册,简化了图片清理过程,有助于提高图片清理的效率以及图片清理的准确性。
Description
技术领域
本申请实施例涉及相册清理领域,特别涉及一种图片清理方法、装置、终端及存储介质。
背景技术
拍照功能作为智能终端中的高频使用功能,方便用户随时随地记录下精彩瞬间。
然而,在拍摄照片过程中,因对焦失败、拍摄抖动或夜间拍摄等原因,会导致拍摄效果质量不佳。为了节约智能终端的存储空间,用户需要定期对此类拍摄效果不佳的照片进行清理。相关技术中,在进行照片清理时,需要用户逐一浏览相册中的各张照片,从而从大量照片中筛选出需要清理的照片,进而删除筛选出的照片。
发明内容
本申请实施例提供了一种图片清理方法、装置、终端及存储介质。所述技术方案如下:
一方面,本申请实施例提供了一种图片清理方法,所述方法包括:
当接收到图片清理指令时,确定出相册中的模糊图片;
对于各张所述模糊图片,将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,所述图片评分用于指示所述模糊图片的图片质量;
根据所述图片评分在清理界面显示各张所述模糊图片;
当接收到所述模糊图片中第一模糊图片的删除操作时,从相册中删除所述第一模糊图片。
另一方面,本申请实施例提供了一种图片清理装置,所述装置包括:
第一确定模块,用于当接收到图片清理指令时,确定出相册中的模糊图片;
第一评分模块,用于对于各张所述模糊图片,将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,所述图片评分用于指示所述模糊图片的图片质量;
第一显示模块,用于根据所述图片评分在清理界面显示各张所述模糊图片;
第一删除模块,用于当接收到所述模糊图片中第一模糊图片的删除操作时,从相册中删除所述第一模糊图片。
另一方面,本申请实施例提供了一种终端,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如上述方面所述的图片清理方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如上述方面所述的图片清理方法。
另一方面,还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上述方面所述的图片清理方法。
本申请实施例中,当接收到图片清理指令时,首先确定出相册中的模糊图片,然后将模糊图片输入图片评分网络,得到指示模糊图片质量的图片评分,从而根据该图片评分将模糊图片显示在清理界面,进而根据接收到的删除操作,删除相应的模糊图片;通过图片模糊检测以及网络分类从相册中筛选出部分质量较差的图片供用户选择删除,无需用户遍历整个相册,简化了图片清理过程,有助于提高图片清理的效率以及图片清理的准确性。
附图说明
图1示出了本申请一个示例性实施例提供的终端的结构方框图;
图2示出了本申请一个示例性实施例提供的图片清理方法的流程图;
图3是图2所示图片清理方法实施过程的界面示意图;
图4示出了本申请另一个示例性实施例提供的图片清理方法的流程图;
图5是图片评分网络对模糊图片进行评分过程的原理示意图;
图6是图片评分网络训练过程的原理示意图;
图7示出了本申请另一个示例性实施例提供的图片清理方法的流程图;
图8示出了本申请一个实施例提供的图片清理装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参考图1,其示出了本申请一个示例性实施例提供的终端100的结构方框图。该终端100可以是智能手机、平板电脑、笔记本电脑等。本申请中的终端100可以包括一个或多个如下部件:处理器110、存储器120、显示屏130。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、神经网络处理器(Neural-network Processing Unit,NPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏130所需要显示的内容的渲染和绘制;NPU用于实现人工智能(Artificial Intelligence,AI)功能;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块芯片进行实现。
在一种可能的实施方式中,本申请实施例中,与神经网络相关的步骤可以由NPU执行,与图片显示相关的步骤可以由GPU执行,与应用程序内操作相关的步骤可以由CPU执行。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储根据终端100的使用所创建的数据(比如音频数据、电话本)等。
显示屏130是用于显示用户界面的显示组件。可选的,该显示屏130还具有触控功能,通过触控功能,用户可以使用手指、触摸笔等任何适合的物体在显示屏130上进行触控操作。
显示屏130通常设置在终端130的前面板。显示屏130可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。显示屏130还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的终端100的结构并不构成对终端100的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,终端100中还包括摄像组件、麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity,WiFi)模块、电源、蓝牙模块等部件,在此不再赘述。
相关技术中,当用户需要清理相册中的图片时,需要人工遍历相册中的每张图片,然后选中需要清理的图片,并通过触发删除控件进行图片删除。当相册中包含大量图片时,遍历删除过程需要耗费大量时间,且删除效率较低。
而本申请实施例提供的方案中,采用“模糊图片检测+深度网络评分”的方式进行待清理图片推荐,并基于用户操作实现图片清理,其中,当接收到图片清理指令时,终端首先确定出相册中的模糊图片,然后将模糊图片输入预选训练得到的图片评分网络,得到指示模糊图片质量的图片评分,从而根据该图片评分将模糊图片显示在清理界面,进而根据接收到的删除操作,删除相应的模糊图片;通过图片模糊检测以及网络分类从相册中筛选出部分质量较差的图片供用户选择删除,无需用户遍历整个相册,简化了图片清理过程,有助于提高图片清理的效率以及图片清理的准确性。下面采用示意性的实施例对图片清理的过程进行示意性说明。
请参考图2,其示出了本申请一个示例性实施例提供的图片清理方法的流程图。本实施例以该方法由终端执行为例进行说明,该过程包括如下步骤:
步骤201,当接收到图片清理指令时,确定出相册中的模糊图片。
在一种可能的实施方式中,该图片清理指令通过相册界面中的相册清理控件触发,即当接收到对相册清理控件的触发操作时,终端接收到图片清理指令。
通常情况下,用户进行相册清理时会对成像模糊的图片进行删除,因此本申请实施例中,在进行待清理图片推荐时,终端首先对相册中的各张图片进行模糊检测,从而筛选出相册中的模糊图片,以便后续基于模糊图片推荐待清理图片。
针对进行模糊检测的时机,在一种可能的实施方式中,在接收到图片清理指令时,终端实时进行模糊检测,进而根据实时模糊检测结果确定模糊图片,或者,在存储图片时,终端预先进行模糊检测,并对模糊检测结果进行存储,从而在接收到图片清理指令时,根据历史模糊检测结果确定模糊图片,以此提高模糊图片的确定效率。
示意性的,如图3所示,当接收到对相册界面31中相册清理控件32的点击操作时,终端确定相册中的模糊图片。
步骤202,对于各张模糊图片,将模糊图片输入图片评分网络,得到模糊图片对应的图片评分,图片评分用于指示模糊图片的图片质量。
可选的,本申请实施例中,终端本地设置有预先训练得到的图片评分网络,该图片评分网络为深度学习网络,用于对输入的图片进行评分。对于确定出的模糊图片,终端进一步将模糊图片输入图片评分网络,得到图片评分网络输出的各张模糊图片的图片评分。
步骤203,根据图片评分在清理界面显示各张模糊图片。
本申请实施例中,得到各张模糊图片的图片评分后,终端并非直接基于图片评分进行模糊图片删除,而是根据图片评分,将各张模糊图片显示在清理界面,并接收对各张模糊图片的触发操作,该触发操作包括删除操作和保留操作。
在一种可能的实施方式中,该清理界面为显示在相册界面上层的用户界面,用于接收用户对模糊图片的触发操作,该清理界面可以显示在浮动窗口中,本实施例对此不作限定。
示意性的,如图3所示,终端在浮动窗口中显示清理界面33,该清理界面33中显示有根据图片评分排序的模糊图片。
步骤204,当接收到对模糊图片中第一模糊图片的删除操作时,从相册中删除第一模糊图片。
进一步的,当接收到对选中的模糊图片的删除操作时,终端根据删除操作从相册中删除的选中的模糊图片,从而释放模糊图片所占用的存储空间。
在一种可能的实施方式中,清理界面中各张模糊图片对应选择控件,当接收到对选择空间的触发操作,并接收到对清理界面中删除控件的触发操作时,终端对选择的模糊图片进行删除。
示意性的,如图3所示,当接收到对清理界面33中第一张模糊图片的选中操作,并接收到对删除控件34的点击操作时,终端删除选中的第一张模糊图片。
综上所述,本申请实施例中,当接收到图片清理指令时,首先确定出相册中的模糊图片,然后将模糊图片输入图片评分网络,得到指示模糊图片质量的图片评分,从而根据该图片评分将模糊图片显示在清理界面,进而根据接收到的删除操作,删除相应的模糊图片;通过图片模糊检测以及网络分类从相册中筛选出部分质量较差的图片供用户选择删除,无需用户遍历整个相册,简化了图片清理过程,有助于提高图片清理的效率以及图片清理的准确性。
请参考图4,其示出了本申请另一个示例性实施例提供的图片清理方法的流程图。本实施例以该方法由终端执行为例进行说明,该过程包括如下步骤:
步骤401,当接收到图片清理指令时,对相册中的各张原始图片进行灰度处理,得到灰度图片。
可选的,在确定相册中的模糊图片时,终端首先对相册中的原始图片(RGB图片)进行灰度处理,得到灰度图片,其中,灰度图片存储有各个像素点的灰度值,且灰度值的范围为0至255。
步骤402,根据灰度图片中各个像素点的灰度值,计算灰度图片的图片清晰度,图片清晰度根据各个像素点与相邻像素点之间的灰度差值计算得到。
在一种可能的实施方式中,对于模糊图片的像素点A,像素点A的灰度值与其相邻像素点B的灰度值相似,因此终端可以通过计算各个像素点与其相邻像素点之间的灰度差值,确定灰度图片的图片清晰度。
在一个示意性的例子中,灰度图片的分辨率为X×Y(即横向包含x个像素点,纵向包含y个像素点),且灰度图片中像素点(x,y)的灰度值为f(x,y),则可以采用如下公式计算灰度图片的图片清晰度:
D(f)=∑X∑Y|f(x+2,y)-f(x,y)|2
其中,f(x+2,y)表示像素点(x+2,y)的灰度值。当然,在其他可能的实施方式中,还可以将与像素点纵向相距n个像素单位的像素点(即像素点(x,y+n))作为相邻像素点,本申请对此不作限定。
进一步的,终端检测计算灰度图片的图片清晰度是否大于清晰度阈值,若大于,则确定灰度图片对应的原始图片为清晰图片,若小于,则确定灰度图片对应的原始图片为模糊图片,并执行下述步骤403。
步骤403,若图片清晰度小于清晰度阈值,则确定灰度图片对应的原始图片为模糊图片。
在一个示意性的例子中,若图片清晰度小于清晰度阈值300,则确定灰度图片对应的原始图片为模糊图片。
步骤404,对于各张模糊图片,将模糊图片输入图片评分网络的特征提取网络,得到特征提取网络输出的图片特征,特征提取网络用于通过卷积层对图片进行特征提取。
本申请实施例中的图片评分网络由特征提取网络和特征分类网络构成,其中,特征提取网络由若干层卷积层构成,用于通过卷积层对图片进行特征提取,从而得到图片对应的特征图(feature map)。
在一种可能的实施方式中,为了使图片评分网络能够在终端本地运行,而无需借助云端服务器,该图片评分网络基于移动网络mobilenet训练得到,保证了图片评分网络的轻量级,降低了网络运行时的计算量。
在一个示意性的例子中,图片评分网络基于mobilenet_V1训练得到,且mobilenet_V1的网络结构如表一所示。
表一
其中,Conv为卷积(Convolution)层,Avg Pool为平均池化层,FC为全连接(FullConnection)层,步长s1表示每一次操作时移动的步长为1,步长s2表示每一次操作时移动的步长为2;3×3×3×32表示包含3个颜色通道,卷积核大小为3×3,且卷积核的个数为32;3×3×32dw表示深度(depthwise)卷积的通道数为3,卷积核的大小为1×3,且卷积核的个数为32;Pool 7×7表示平均池化的卷积核大小为7×7;1024×1000表示全连接层包含1024×1000个神经元;224×224×32表示尺寸为224×224的三通道图片。
示意性的,如图5所示,模糊图片51输入图片评分网络52后,首先通过特征提取网络521进行特征提取,得到特征提取网络521输出的图片特征。
步骤405,将图片特征输入图片评分网络的特征分类网络,得到特征分类网络输出的图片评分,特征分类网络用于通过全连接层对图片特征进行分类,其中,不同的图片分类对应不同的图片评分。
进一步的,特征提取网络521输出的图片特征输入特征分类网络,由特征分类网络中的全连接层对图片特征进行分类,从而根据图片分类确定模糊图片的图片评分。
在一种可能的实施方式中,预先设置图片评分网络的分类结果共包含n(n为大于等于2的整数)个类别,每个类别对应各自的图片评分,即图片评分网络对图片的评分区间为1至n。相应的,在训练图片评分网络时,采用包含样本图片评分的样本图片对图片评分网络进行监督训练,其中,样本图片的样本图片评分可以采用人工标注。
比如,图片评分网络的分类结果共包含10个类别,即图片评分网络对模糊图片的评分区间为1至10。
示意性的,如图5所示,特征提取网络521输出的图片特征输入特征分类网络522,最终由特征分类网络522输出模糊图片51的图片评分53。
通过上述步骤,终端得到各张模糊图片的图片评分。
由于不同用户对不同类型的喜好程度不同,且用户喜好会影响到最终决定删除的图片,因此为了进一步提高图片评分的准确性,在一种可能的实施方式中,终端获取到的图片清理指令中还包含待清理图片类型,该待清理图片类型用于指示待清理图片中所包含对象的类型,比如,该待清理图片类型可为文字类型,即待清理图片是包含文字的图片;或者,该待清理图片类型可以为风景类型,即待清理图片是包含风景的图片。
可选的,该待清理图片类型可以在触发图片清理指令时,由用户手动选择。比如终端提供若干候选图片类型供用户进行选择。
相应的,利用图片评分网络的特征分类网络进行分类时,终端将待清理图片类型和图片特征共同输入特征分类网络,得到特征分类网络输出的图片评分。由于特征分类网络在进行分类时综合了当前用户对图片的喜好,因此最终输出的图片评分更加准确。
在一个示意性的例子中,将待清理图片类型“文字类型”和图片特征共同输入特征分类网络时,包含文字的模糊图片A对应的图片评分为1分;而将待清理图片类型“风景类型”和图片特征共同输入特征分类网络时,包含文字的模糊图片A对应的图片评分为6分。
步骤406,根据图片评分的升序,在清理界面中显示各张模糊图片。
在一种可能的实施方式中,图片评分与图片质量呈正相关关系,即图片评分越高,图片质量越高,因此为了提高用户删除质量较差的模糊图片的效率,终端根据图片评分的升序将模糊图片显示在清理界面中。
示意性的,终端确定出模糊图片A、B、C、D、E,且各张模糊图片对应的图片评分依次为1、10、8、5、7,终端即按照模糊图片A、D、E、C、B的顺序在清理界面显示模糊图片。
步骤407,当接收到对模糊图片中第一模糊图片的删除操作时,从相册中删除第一模糊图片。
本步骤的实施方式可以参考上述步骤204,本实施例在此不再赘述。
步骤408,当接收到对模糊图片中第二模糊图片的保留操作时,更新第二模糊图片对应的图片评分,其中,更新后的图片评分高于更新前的图片评分。
用户除了可以选择删除模糊图片外,还可以根据个人信号选择保留模糊图片,由于不同用户的喜好不同(相应的评判图片质量的标准不同),因此为了提高图片评分网络所输出图片评分与用户喜好的匹配度,可选的,当接收到对模糊图片中第二模糊图片的保留操作时,可以对第二模糊图片对应的图片评分进行更新。
在一种可能的实施方式中,当接收到对第二模糊图片的保留操作,以及对第三模糊图片的删除操作,且第三模糊图片对应的图片评分高于第二模糊图片对应的图片评分时(若图片评分结果符合用户喜好,用户应该保留第三模糊图片而删除第二模糊图片),终端确定用户对第二模糊图片的喜好程度高于对第三模糊图片的喜好程度,从而对第二模糊图片的图片评分进行更新。
可选的,对第二模糊图片的图片评分进行更新可以是对图片评分进行预定幅度的增加,比如,对图片评分进行加一操作。比如,当接收到第二模糊图片的保留操作时,终端将第二模糊图片的图片评分由5增加至6。
除了对第二模糊图片的图片评分进行更新外,终端还可以对第三模糊图片的评分进行更新,其中,更新后第三模糊图片的图片评分高于更新前第三模糊图片的图片评分。
在其他可能的实施方式中,当接收到对第二模糊图片的保留操作,以及对第三模糊图片的删除操作,且第三模糊图片对应的图片评分高于第二模糊图片对应的图片评分时,终端可以对第三模糊图片和第二模糊图片对应的图片评分进行互换。
步骤409,根据第二模糊图片和更新后的图片评分对图片评分网络进行更新。
进一步的,终端可以根据第二模糊图片和更新后的图片评分,对图片评分网络中的网络权重(尤其是特征分类网络)进行更新。由于更新后图片评分网络的评分标准更加符合当前用户的喜好,因此利用更新后图片评分网络进行图片评分所得到的图片评分更加准确,有助于提高用户删除不符合个人喜好的图片。
其中,对图片评分网络进行更新时可以采用反向传播或梯度下降算法等成熟算法,本申请实施例对此不作限定。
本实施例中,终端基于原始图片对应灰度图片中像素点的灰度值,计算原始图片的图片清晰度,从而基于图片清晰度确定模糊图片,提高了模糊图片判定的准确性。
此外,本实施例中,终端待清理图片类型与图片特征共同输入特征分类网络进行分类,使特征分类网络进行分类时能够综合用户对图片的喜好,从而提高了输出的图片评分的准确性。
同时,本实施例中,在接收到对模糊图片的保留操作时,终端对该模糊图片的图片评分进行更新,并基于模糊图片以及更新后的图片评分对图片评分网络进行更新,从而提高了图片评分网络与用户喜好的匹配度,进而提高图片评分网络输出图片评分的准确性。
针对上述实施例中图片评分网络的训练方式,在一种可能的实施方式中,训练过程可以包括如下步骤。
一、根据样本图片对moblienet中的特征分类网络进行调整,样本图片包含对应的样本分类标签,样本分类标签用于指示样本图片的样本图片评分。
由于moblienet中的特征提取网络已经较为完善,因此需要重点对图片评分网络的特征分类网络进行调整。本申请实施例中,采用的调整(finetune)策略为首先利用样本图片单独对特征分类网络进行训练,然后对mobilenet进行全局训练。
在一个可能的实施方式中,终端将样本图片输入moblienet中的特征提取网络,并将特征提取网络输出的样本图片特征输入特征提取网络,得到特征提取网络输出的样本预测分类,从而根据样本图片对应的样本分类标签作为监督对特征分类网络的网络权重(即全连接层)进行调整。其中,对网络权重进行调整时可以采用反向传播算法。
可选的,对特征分类网络进行调整过程中,终端根据样本预测分类和样本分类标签确定特征分类网络的分类结果是否满足收敛条件,若满足,则执行步骤二;若不满足,则继续对特征分类网络进行调整,直至满足收敛条件。其中,该收敛条件可以是特征分类网络的分类损失小于损失阈值。
二、当特征分类网络的分类结果满足收敛条件时,根据样本图片对moblienet中的特征提取网络以及特征分类网络进行联合调整。
进一步的,完成对特征分类网络的训练后,需要对mobilenet进行全局训练,即对根据样本图片对moblienet中的特征提取网络以及特征分类网络进行联合调整(同时更新特征提取网络以及特征分类网络的网络权重)。
在一种可能的实施方式中,单独训练特征分类网络的步数多于全局训练特征提取网络以及特征分类网络的步数。比如,单独训练特征分类网络4000步,全局训练特征提取网络以及特征分类网络1000步。
三、当mobilenet的分类结果满足收敛条件时,将调整后的mobilenet确定为图片评分网络。
类似的,若mobilenet的分类结果满足收敛条件,则停止训练并将调整后的mobilenet确定为图片评分网络;若未满足收敛条件,则继续训练直至满足收敛条件。
示意性的,如图6所示,训练过程中,样本图片61被输入mobilenet62中的特征提取网络621,特征提取网络621提取到的样本图片特征被输入特征分类网络622,由特征分类网络622输出样本预测分类63。根据样本预测分类63以及样本分类标签64对特征分类网络622进行单独训练,并在特征分类网络622完成训练后,对特征分类网络622和特征提取网络621进行全局训练。
本实施例中,在moblienet的基础上,采用“单独训练特征分类网络+全局训练”的调整策略对mobilenet进行更新,从而训练得到图片评分网络,降低了图片评分网络的训练难度,并提高了图片评分网络的评分准确性。
在一种可能的实施方式中,对于相册中存储的连拍图片,终端也可以利用上述图片评分网络对各张连拍图片进行评分,从而基于图片评分保留连拍图片中质量最高的图片。如图7所示,该过程可以包括如下步骤。
步骤701,当接收到图片清理指令时,确定出相册中的连拍图片,连拍图片之间的拍摄时间间隔小于间隔阈值,且连拍图片之间的相似度大于相似度阈值。
针对连拍图片的确定方式,在一种可能的实施方式中,终端获取相册中各张图片的拍摄时间,并计算相邻图片之间的拍摄时间间隔,若拍摄时间间隔小于间隔阈值(比如0.5s),则进一步对相邻图片进行相似度检测,若相邻图片之间的相似度大于相似度阈值(比如90%),则确定相邻图片为连拍图片。
步骤702,将各张连拍图片输入图片评分网络,得到各张连拍图片对应的图片评分。
与上述实施例中进行评分的过程相似的,终端将连拍图片输入图片评分网络,由图片评分网络对连拍图片进行特征提取以及特征分类,从而输出连拍图片对应的图片评分。
步骤703,将除最高图片评分外的连拍图片显示在清理界面。
进一步的,终端确定连拍图片中具有最高图片评分的目标连拍图片,从而将除目标连拍图片外的其它连拍图片显示在清理界面,供用户进行选择清理。
需要说明的是,终端可以将模糊图片和连拍图片同时显示在清理界面,供用户选择清理。
步骤704,当接收到连拍图片的删除操作时,从相册中删除连拍图片。
与上述步骤204类似的,当接收到对连拍图片的删除操作时,终端将连拍图片从相册中删除。
请参考图8,其示出了本申请一个实施例提供的图片清理装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为图1中终端的全部或一部分。该装置包括:
第一确定模块801,用于当接收到图片清理指令时,确定出相册中的模糊图片;
第一评分模块802,用于对于各张所述模糊图片,将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,所述图片评分用于指示所述模糊图片的图片质量;
第一显示模块803,用于根据所述图片评分在清理界面显示各张所述模糊图片;
第一删除模块804,用于当接收到所述模糊图片中第一模糊图片的删除操作时,从相册中删除所述第一模糊图片。
可选的,所述图片评分网络包括特征提取网络和特征分类网络;所述第一评分模块802,包括:
特征提取单元,用于将所述模糊图片输入所述特征提取网络,得到所述特征提取网络输出的图片特征,所述特征提取网络用于通过卷积层对图片进行特征提取;
分类单元,用于将所述图片特征输入所述特征分类网络,得到所述特征分类网络输出的所述图片评分,所述特征分类网络用于通过全连接层对所述图片特征进行分类,其中,不同的图片分类对应不同的图片评分。
可选的,所述图片评分网络基于移动网络mobilenet训练得到;
所述装置还包括:
第一调整模块,用于根据样本图片对所述moblienet中的所述特征分类网络进行调整,所述样本图片包含对应的样本分类标签,所述样本分类标签用于指示所述样本图片的样本图片评分;
第二调整模块,用于当所述特征分类网络的分类结果满足收敛条件时,根据所述样本图片对所述moblienet中的所述特征提取网络以及所述特征分类网络进行联合调整;
第二确定模块,用于当所述mobilenet的分类结果满足所述收敛条件时,将调整后的所述mobilenet确定为所述图片评分网络。
可选的,所述图片清理指令中包含待清理图片类型;
所述分类单元,还用于:
将所述待清理图片类型和所述图片特征输入所述特征分类网络,得到所述特征分类网络输出的所述图片评分。
可选的,所述第一确定模块801,包括:
灰度处理单元,用于对相册中的各张原始图片进行灰度处理,得到灰度图片;
计算单元,用于根据所述灰度图片中各个像素点的灰度值,计算所述灰度图片的图片清晰度,所述图片清晰度根据各个像素点与相邻像素点之间的灰度差值计算得到;
确定单元,用于若所述图片清晰度小于清晰度阈值,则确定所述灰度图片对应的原始图片为所述模糊图片。
可选的,所述图片评分与所述图片质量呈正相关关系;
所述第一显示模块803,用于:
根据所述图片评分的升序,在所述清理界面中显示各张所述模糊图片。
可选的,所述装置还包括:
评分更新模块,用于当接收到对所述模糊图片中第二模糊图片的保留操作时,更新所述第二模糊图片对应的所述图片评分,其中,更新后的所述图片评分高于更新前的所述图片评分;
网络更新模块,用于根据所述第二模糊图片和更新后的所述图片评分对所述图片评分网络进行更新。
可选的,所述装置还包括:
第三确定模块,用于当接收到所述图片清理指令时,确定出相册中的连拍图片,所述连拍图片之间的拍摄时间间隔小于间隔阈值,且所述连拍图片之间的相似度大于相似度阈值;
第二评分模块,用于将各张所述连拍图片输入所述图片评分网络,得到各张所述连拍图片对应的所述图片评分;
第二显示模块,用于将除最高图片评分外的所述连拍图片显示在所述清理界面;
第二删除模块,用于当接收到所述连拍图片的删除操作时,从相册中删除所述连拍图片。
综上所述,本申请实施例中,当接收到图片清理指令时,首先确定出相册中的模糊图片,然后将模糊图片输入图片评分网络,得到指示模糊图片质量的图片评分,从而根据该图片评分将模糊图片显示在清理界面,进而根据接收到的删除操作,删除相应的模糊图片;通过图片模糊检测以及网络分类从相册中筛选出部分质量较差的图片供用户选择删除,无需用户遍历整个相册,简化了图片清理过程,有助于提高图片清理的效率以及图片清理的准确性。
本申请实施例还提供了一种计算机可读介质,该计算机可读介质存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图片清理方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图片清理方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种图片清理方法,其特征在于,所述方法包括:
当接收到图片清理指令时,确定出相册中的模糊图片;
对于各张所述模糊图片,将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,所述图片评分用于指示所述模糊图片的图片质量;
根据所述图片评分在清理界面显示各张所述模糊图片;
当接收到对所述模糊图片中第一模糊图片的删除操作时,从相册中删除所述第一模糊图片。
2.根据权利要求1所述的方法,其特征在于,所述图片评分网络包括特征提取网络和特征分类网络;所述将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,包括:
将所述模糊图片输入所述特征提取网络,得到所述特征提取网络输出的图片特征,所述特征提取网络用于通过卷积层对图片进行特征提取;
将所述图片特征输入所述特征分类网络,得到所述特征分类网络输出的所述图片评分,所述特征分类网络用于通过全连接层对所述图片特征进行分类,其中,不同的图片分类对应不同的图片评分。
3.根据权利要求2所述的方法,其特征在于,所述图片评分网络基于移动网络mobilenet训练得到;
所述方法还包括:
根据样本图片对所述moblienet中的所述特征分类网络进行调整,所述样本图片包含对应的样本分类标签,所述样本分类标签用于指示所述样本图片的样本图片评分;
当所述特征分类网络的分类结果满足收敛条件时,根据所述样本图片对所述moblienet中的所述特征提取网络以及所述特征分类网络进行联合调整;
当所述mobilenet的分类结果满足所述收敛条件时,将调整后的所述mobilenet确定为所述图片评分网络。
4.根据权利要求2所述的方法,其特征在于,所述图片清理指令中包含待清理图片类型;
所述将所述图片特征输入所述特征分类网络,得到所述特征分类网络输出的所述图片评分,包括:
将所述待清理图片类型和所述图片特征输入所述特征分类网络,得到所述特征分类网络输出的所述图片评分。
5.根据权利要求1至4任一所述的方法,其特征在于,所述确定出相册中的模糊图片,包括:
对相册中的各张原始图片进行灰度处理,得到灰度图片;
根据所述灰度图片中各个像素点的灰度值,计算所述灰度图片的图片清晰度,所述图片清晰度根据各个像素点与相邻像素点之间的灰度差值计算得到;
若所述图片清晰度小于清晰度阈值,则确定所述灰度图片对应的原始图片为所述模糊图片。
6.根据权利要求1至4任一所述的方法,其特征在于,所述图片评分与所述图片质量呈正相关关系;
所述根据所述图片评分在清理界面显示各张所述模糊图片,包括:
根据所述图片评分的升序,在所述清理界面中显示各张所述模糊图片。
7.根据权利要求6所述的方法,其特征在于,所述根据所述图片评分在清理界面显示各张所述模糊图片之后,所述方法还包括:
当接收到对所述模糊图片中第二模糊图片的保留操作时,更新所述第二模糊图片对应的所述图片评分,其中,更新后的所述图片评分高于更新前的所述图片评分;
根据所述第二模糊图片和更新后的所述图片评分对所述图片评分网络进行更新。
8.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:
当接收到所述图片清理指令时,确定出相册中的连拍图片,所述连拍图片之间的拍摄时间间隔小于间隔阈值,且所述连拍图片之间的相似度大于相似度阈值;
将各张所述连拍图片输入所述图片评分网络,得到各张所述连拍图片对应的所述图片评分;
将除最高图片评分外的所述连拍图片显示在所述清理界面;
当接收到所述连拍图片的删除操作时,从相册中删除所述连拍图片。
9.一种图片清理装置,其特征在于,所述装置包括:
第一确定模块,用于当接收到图片清理指令时,确定出相册中的模糊图片;
第一评分模块,用于对于各张所述模糊图片,将所述模糊图片输入图片评分网络,得到所述模糊图片对应的图片评分,所述图片评分用于指示所述模糊图片的图片质量;
第一显示模块,用于根据所述图片评分在清理界面显示各张所述模糊图片;
第一删除模块,用于当接收到所述模糊图片中第一模糊图片的删除操作时,从相册中删除所述第一模糊图片。
10.一种终端,其特征在于,所述终端包括处理器和存储器;所述存储器存储有至少一条指令,所述至少一条指令用于被所述处理器执行以实现如权利要求1至8任一所述的图片清理方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令,所述至少一条指令用于被处理器执行以实现如权利要求1至8任一所述的图片清理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037726.1A CN110795579B (zh) | 2019-10-29 | 2019-10-29 | 图片清理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911037726.1A CN110795579B (zh) | 2019-10-29 | 2019-10-29 | 图片清理方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795579A true CN110795579A (zh) | 2020-02-14 |
CN110795579B CN110795579B (zh) | 2022-11-18 |
Family
ID=69441807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911037726.1A Active CN110795579B (zh) | 2019-10-29 | 2019-10-29 | 图片清理方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795579B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353063A (zh) * | 2020-02-25 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 图片显示方法、装置及存储介质 |
CN111597593A (zh) * | 2020-05-29 | 2020-08-28 | 上海辰珅科技有限公司 | 防窥视识别方法、系统及显示装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155533A (zh) * | 2010-05-26 | 2013-06-12 | 索尼爱立信移动通讯有限公司 | 用于拍摄与用户偏好对应的照片的相机系统和方法 |
CN103514254A (zh) * | 2013-07-04 | 2014-01-15 | 李文博 | 一种挖掘用户隐性操作行为的图像集合排序方法 |
CN105989599A (zh) * | 2015-02-15 | 2016-10-05 | 西安酷派软件科技有限公司 | 一种图像处理方法、装置和终端 |
CN106570028A (zh) * | 2015-10-10 | 2017-04-19 | 比亚迪股份有限公司 | 移动终端及模糊图像的删除方法和装置 |
CN106777007A (zh) * | 2016-12-07 | 2017-05-31 | 北京奇虎科技有限公司 | 相册分类优化方法、装置及移动终端 |
WO2018036276A1 (zh) * | 2016-08-22 | 2018-03-01 | 平安科技(深圳)有限公司 | 图片品质的检测方法、装置、服务器及存储介质 |
CN108021698A (zh) * | 2017-12-21 | 2018-05-11 | 努比亚技术有限公司 | 存储文件的删除方法、装置和计算机存储介质 |
CN108460065A (zh) * | 2017-08-17 | 2018-08-28 | 腾讯科技(深圳)有限公司 | 照片清理方法、装置和终端设备 |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
-
2019
- 2019-10-29 CN CN201911037726.1A patent/CN110795579B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103155533A (zh) * | 2010-05-26 | 2013-06-12 | 索尼爱立信移动通讯有限公司 | 用于拍摄与用户偏好对应的照片的相机系统和方法 |
CN103514254A (zh) * | 2013-07-04 | 2014-01-15 | 李文博 | 一种挖掘用户隐性操作行为的图像集合排序方法 |
CN105989599A (zh) * | 2015-02-15 | 2016-10-05 | 西安酷派软件科技有限公司 | 一种图像处理方法、装置和终端 |
CN106570028A (zh) * | 2015-10-10 | 2017-04-19 | 比亚迪股份有限公司 | 移动终端及模糊图像的删除方法和装置 |
WO2018036276A1 (zh) * | 2016-08-22 | 2018-03-01 | 平安科技(深圳)有限公司 | 图片品质的检测方法、装置、服务器及存储介质 |
CN106777007A (zh) * | 2016-12-07 | 2017-05-31 | 北京奇虎科技有限公司 | 相册分类优化方法、装置及移动终端 |
CN108460065A (zh) * | 2017-08-17 | 2018-08-28 | 腾讯科技(深圳)有限公司 | 照片清理方法、装置和终端设备 |
CN108021698A (zh) * | 2017-12-21 | 2018-05-11 | 努比亚技术有限公司 | 存储文件的删除方法、装置和计算机存储介质 |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353063A (zh) * | 2020-02-25 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 图片显示方法、装置及存储介质 |
CN111353063B (zh) * | 2020-02-25 | 2023-08-15 | 腾讯科技(深圳)有限公司 | 图片显示方法、装置及存储介质 |
CN111597593A (zh) * | 2020-05-29 | 2020-08-28 | 上海辰珅科技有限公司 | 防窥视识别方法、系统及显示装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110795579B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261960A1 (en) | Super-resolution reconstruction method and related apparatus | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
US11699213B2 (en) | Image-capturing device and method for controlling same | |
CN111260665B (zh) | 图像分割模型训练方法和装置 | |
CN110610510B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN110956060A (zh) | 动作识别、驾驶动作分析方法和装置及电子设备 | |
WO2018113512A1 (zh) | 图像处理方法以及相关装置 | |
CN111738357B (zh) | 垃圾图片的识别方法、装置及设备 | |
CN111368893A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN111813532B (zh) | 一种基于多任务机器学习模型的图像管理方法及装置 | |
US11494886B2 (en) | Hierarchical multiclass exposure defects classification in images | |
CN108234882B (zh) | 一种图像虚化方法及移动终端 | |
CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
CN111626027B (zh) | 表格结构还原方法、装置、设备、系统和可读存储介质 | |
CN110795579B (zh) | 图片清理方法、装置、终端及存储介质 | |
CN108595573B (zh) | 页面显示方法、装置、存储介质及电子设备 | |
CN112135041B (zh) | 一种人脸特效的处理方法及装置、存储介质 | |
CN112184548A (zh) | 图像超分辨率方法、装置、设备及存储介质 | |
CN110717058A (zh) | 信息推荐方法及装置、存储介质 | |
CN112418327A (zh) | 图像分类模型的训练方法、装置、电子设备以及存储介质 | |
CN107704514A (zh) | 一种照片管理方法、装置及计算机可读存储介质 | |
CN107341190B (zh) | 图片筛选方法、终端及计算机可读存储介质 | |
CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN110490953B (zh) | 基于文本的图像生成方法、终端设备及介质 | |
CN111860413A (zh) | 目标对象的检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |