CN111813980A - 图片处理方法、装置、电子设备及存储介质 - Google Patents

图片处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111813980A
CN111813980A CN202010768856.9A CN202010768856A CN111813980A CN 111813980 A CN111813980 A CN 111813980A CN 202010768856 A CN202010768856 A CN 202010768856A CN 111813980 A CN111813980 A CN 111813980A
Authority
CN
China
Prior art keywords
picture
pictures
event
information
album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010768856.9A
Other languages
English (en)
Inventor
叶志凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010768856.9A priority Critical patent/CN111813980A/zh
Publication of CN111813980A publication Critical patent/CN111813980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种图片处理方法、装置、电子设备以及存储介质。所述方法包括:读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合;获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合;基于所述视觉特征集合,输出所述图片集合的事件类别。通过上述方法,只需利用图片的图片信息就能识别出与事件相关的图片集合,进而可以利用图片集合的视觉特征集合就能完成事件类型识别,即只利用图片信息,不再需要获取除图片信息以外的信息,就可以完成高准确率的相册事件提取功能,减少了对用户信息的读取,提高了用户信息的安全性。

Description

图片处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种图片处理方法、装置、电子设备以及存储介质。
背景技术
随着科技的发展,生活水平的提高,越来越多的用户喜欢用电子设备进行拍照,将生活中的一些事物记录下来。电子设备中存储了大量的用户图片数据,如何有效的管理这些图片数据,使得大量的利用新技术的相册管理软件涌现出来。这些相册管理软件分别从不同角度来帮助用户智能和有效的管理自己的相册图集,其中,有一项重要的功能是相册事件提取。在相关的图片处理方法中,涉及到较多的用户隐私信息读取,有信息泄露的风险。
发明内容
鉴于上述问题,本申请实施例提出了一种图片处理方法、装置、电子设备以及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种图片处理方法,所述方法包括:读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合;获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合;基于所述视觉特征集合,输出所述图片集合的事件类别。
第二方面,本申请实施例提供了一种图片处理装置,所述装置包括:图片获取单元,用于读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合;特征获取单元,用于获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合;事件输出单元,用于基于所述视觉特征集合,输出所述图片集合的事件类别。
第三方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行以实现上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行上述的方法。
本申请实施例提供的一种图片处理方法、装置、电子设备以及存储介质,首先读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合,然后获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合,最后基于视觉特征集合,输出所述图片集合的事件类别。通过上述方法,只需利用图片的图片信息就能识别出与事件相关的图片集合,进而可以利用图片集合的视觉特征集合就能完成事件类型识别,即只利用图片信息,不再需要获取除图片信息以外的信息,就可以完成高准确率的相册事件提取功能,减少了对用户信息的读取,提高了用户信息的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的一种图片处理方法的流程图;
图2示出了本申请另一实施例提出的一种图片处理方法的流程图;
图3示出了本申请另一实施例中提出的一种图关联特征集合示意图;
图4示出了本申请又一实施例提出的一种图片处理方法的流程图;
图5示出了本申请再一实施例提出的一种图片处理方法的流程图;
图6示出了本申请再一实施例中提出的一种图片进行聚类的示意图;
图7示出了本申请一实施例提出的一种图片处理装置的结构框图;
图8示出了本申请再一实施例提出的一种图片处理装置的结构框图;
图9示出了本申请实时中的用于执行根据本申请实施例的图片处理方法的电子设备的结构框图;
图10示出了本申请实时中的用于保存或者携带实现根据本申请实施例的图片处理方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着科技的发展,生活水平的提高,越来越多的用户喜欢用电子设备进行拍照,将生活中的一些事物记录下来。电子设备中存储了大量的用户图片数据,如何有效的管理这些图片数据,使得大量的利用新技术的相册管理软件涌现出来。这些相册管理软件分别从不同角度来帮助用户智能和有效的管理自己的相册图集。
而发明人在对相关的图片处理方法的研究中发现,相关的图片处理方式大部分采用预先设置的设计规则来完成事件检测或者识别,涉及到较多的用户隐私信息读取,有信息泄露的风险。例如,在对相册图片进行处理时,需要通过多种用户属性(比如,行为属性,自然属性等)来实现相册图集的生成或者推荐照片,涉及到较多的用户隐私信息读取,有信息泄露的风险。
因此,发明人提出了本申请实施例中的首先读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合,然后获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合,最后基于视觉特征集合,输出所述图片集合的事件类别,只需利用图片的图片信息就能识别出与事件相关的图片集合,进而可以利用图片集合的视觉特征集合就能完成事件类型识别,即只利用图片信息,不再需要获取除图片信息以外的信息,就可以完成高准确率的相册事件提取功能,减少了对用户信息的读取,提高了用户信息的安全性的图片处理的方法、装置、电子设备以及存储介质。
下面将结合附图具体描述本申请的各实施例。
请参阅图1,本申请实施例提供的一种图片处理方法,所述方法包括:
S110:读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合。
其中,所述图片信息可以包括图片的拍摄位置信息和图片的拍摄时间信息,其中,所述图片的拍摄位置信息可以包括图片的拍摄经度信息和拍摄纬度信息,所述图片的拍摄时间信息是指具体的时间点,可以精确到分或秒。具体的,所述图片的拍摄位置信息可以由具有拍摄功能的电子设备的GPS定位装置在电子设备拍摄完图片后自动生成。所述与事件相关的图片可以理解为与同一事件有关联的图片。
可选的,所述图片信息还可以包括图片的存储位置信息以及图片的图片大小信息等。其中,所述图片的存储位置信息可以为图片在电子设备中存储位置,比如存储在磁盘或者指定存储区域中。
可选的,可以通过图片信息中的拍摄时间信息判断图片是否为与事件相关的图片。示例性的,通常情况下拍照是有频率的,通常拍摄用户在拍摄照片时是会有一定的规律的,例如:记录一件事件通常会集中在某个时间段内,拍摄时间具有较小的间隔,因此,一个事件的照片通常是集中在某段时间内产生的,并不是均匀分布的。通常一件事情发生是有时限的,在这个时限内产生的照片和/或拍照的时间间隔小于设定的时间间隔阈值的话,这个时候可以认为这些照片可能有关联,属于与同一个事件相关的照片。同样,拍摄用户拍摄照片时也会带有拍摄位置的特征,对于一定时间段内的拍摄照片,如果其拍摄位置也相同或相近,那么其属于一个事件的可能性更高,因此可以通过拍摄位置进一步区分拍摄的照片是否确实属于与同一事件相关的照片。
作为一种方式,所述与事件相关的图片集合可以为一个或者多个,其中,一个图片集合可以由一张或者多张图片组成。不同的图片集合可以对应不同的事件类型。
S120:获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合。
作为一种方式,其中,所述视觉特征可以理解为每一张图片对应的特征向量。所述视觉特征集合可以理解为先提取图片集合中每一张图片的视觉特征,然后将提取的每一张图片的视觉特征组合在一起形成的特征集合。其中图片的视觉特征可以包括图片的颜色、图片的纹理和图片的形状等底层视觉特征。
进一步的,图片集合中每一张图片的视觉特征的获取可以理解为将每一张图片的视觉信息转化成计算机能够识别和处理的定量形式的过程。视觉特征集合可以理解为由图片集合中的每张图片对应的特征向量组成的,视觉特征集合在数学形式上就是一个矩阵,矩阵的每一行对应一张图片的特征向量。
可选的,可以对图片集合中的每张图片进行检测,确定每张图片的视觉关键点集合。在对图片集合中的每张图片进行检测时,可以使用深度学习算法模型对所述图片集合中的每张图片进行检测,例如Openpose模型,确定每张图片中的所有视觉关键点的集合。
进一步的,提取每张图片的视觉关键点集合中的特征信息,根据所述每张图片的视觉关键点集合中的特征信息确定特征向量。在此,每张图片中的视觉关键点组包含了人的关键点、物的关键点等,可以通过视觉关键点的坐标、视觉关键点所在的分类等确定所述每张图片中的视觉关键点集合中的特征信息,并可以通过某些算法根据所述特征信息确定每一张图片对应的特征向量。
S130:基于所述视觉特征集合,输出所述图片集合的事件类别。
作为一种方式,可以根据不同的视觉特征集合输出不同的图片集合的事件类别。
具体的,可以预先定义多种事件类别,并且不同的事件类别对应不同的视觉特征集合,进而在获取到图片集合的视觉特征集合时,可以将该图片集合的视觉特征集合图预先定义的视觉特征集合进行匹配,当该图片集合的视觉特征集合图预先定义的某一个视觉特征集合匹配时,查找该预先定义的视觉特征集合对应的事件类别,进而确定获取到的图片集合的事件类别。
本实施例提供的一种图片处理方法,首先读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合,然后获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合,最后基于视觉特征集合,输出所述图片集合的事件类别。通过上述方法,只需利用图片的图片信息就能识别出与事件相关的图片集合,进而可以利用图片集合的视觉特征集合就能完成事件类型识别,即只利用图片信息,不再需要获取除图片信息以外的信息,就可以完成高准确率的相册事件提取功能,减少了对用户信息的读取,提高了用户信息的安全性。
请参阅图2,本申请实施例提供的一种图片处理方法,所述方法包括:
S210:读取相册中图片的拍摄位置信息和拍摄时间信息。
作为一种方式,可以基于用户操作获取相册中的图片。具体的,当检测到用户点击到相册中哪一张图片时,就读取该图片的拍摄位置信息和拍摄时间信息。
可选的,还可以基于接收到的终端设备或者服务器发送的控制指令,从相册中读取指定数量的图片的拍摄位置信息和拍摄时间信息;或者基于接收到的终端设备或者服务器发送的控制指令从相册中读取指定图片的拍摄位置信息和拍摄时间信息。
可选的,在读取相册中图片的拍摄位置信息和拍摄时间信息之前,可以预先检测相册中的图片是否已经进行过处理了,若检测到有图片已经进行过处理了,则不再执行读取该图片的拍摄位置信息和拍摄时间信息的操作。其中,所述处理为进行聚类操作。
具体的,在对相册中的图片进行聚类操作时,可以给进行完聚类操作的图片分配一个与事件相关的标识,进而在对图片进行聚类操作之前,可以根据图片是否具有与事件相关的标识来确定图片是否已经进行聚类处理了。可选的,与事件相关的标识可以与图片的拍摄位置信息相结合,也可以与图片的拍摄时间信息相结合。
可选的,可以通过多种方式触发读取相册中图片的拍摄位置信息和拍摄时间信息。进而可以更智能化的读取相册中图片的拍摄位置信息和拍摄时间信息。
作为其中一种方式,当检测到在当前时刻往前的指定时间段内采集到有大量新的图片时,触发读取相册中的图片的拍摄位置信息和拍摄时间信息。比如,当检测到在当前时刻往前的5小时内采集到有20张新的图片时,触发读取相册中的图片的拍摄位置信息和拍摄时间信息。
其中,读取的相册中的图片可以为新采集到的图片,或者为相册中未进行聚类操作的图片。其中,还未进行聚类操作的图片可以理解为还未进行标记的图片。
可选的,还可以将指定时刻往前的指定时间段内相册中还未标记的图片与指定时刻往后的指定时间段内相册中还未标记的图片划分至一个新的相册中去。进一步的,当检测到指定时刻往前的指定时间段内第一相册中还未标记的图片中的至少一张图片,与指定时刻往后的指定时间段内第二相册中还未标记的图片中超过指定阈值数量的图片的拍摄位置信息相同时,将两个指定时间段内两个相册中还未标记的拍摄位置信息相同的图片划分到新的相册中去,其中,指定阈值数量可以表示为具体的数值、分数或者百分比。进而,读取的相册中的图片可以为新的相册中的图片。可选的,当检测到指定时刻往前的指定时间段内第一相册中还未标记的图片中的至少一张图片,与指定时刻往后的指定时间段内第二相册中还未标记的图片中未超过指定阈值数量的图片的拍摄位置相同时,则将第二相册中还未标记的拍摄位置信息相同的图片加入到第一相册中去。进而,读取的相册中的图片可以为第一相册中的图片。
作为其中另一种方式,当检测到拍摄到指定张图片后,在预设时间段内,触发读取相册中的图片的拍摄位置信息和拍摄时间信息。具体的,可以预先设置拍摄图片张数,当检测到拍摄图片的张数到达拍摄图片张数后,在预设时间段内,触发读取相册中的图片的拍摄位置信息和拍摄时间信息。比如,在检测到拍摄图片的张数到达10张后,在5min内,触发读取相册中的图片的拍摄位置信息和拍摄时间信息。
其中,读取的相册中的图片可以为拍摄到的指定张图片或者为相册中还未进行聚类操作的图片。
或者,还可以当检测到用户完成指定操作时,手动触发读取相册中图片的拍摄位置信息和拍摄时间信息。比如,当检测到用户打开相册的操作时,读取相册中图片的拍摄位置信息和拍摄时间信息。
S220:基于所述拍摄位置信息和拍摄时间信息,对所述相册中的图片进行聚类,以从所述相册的图片中获取与事件相关的图片集合。
需要说明的是,将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。
作为一种方式,可以基于拍摄位置信息和拍摄时间信息,将图片的拍摄位置信息所包括的拍摄纬度信息和拍摄经度信息与拍摄时间间信息进行拼接,利用聚类算法对相册中的信息拼接后的图片进行聚类。其中,聚类算法可以包括K-MEANS聚类算法、均值偏移聚类算法、DBSCAN聚类算法、层次聚类算法、用高斯混合模型(GMM)的最大期望(EM)聚类算法以及HDBSCAN聚类算法等。
具体的,不同的聚类算法对图片的拍摄位置信息和拍摄时间信息具有不同的聚类标准,进一步的,可以基于不同的聚类标准对相册中的图片进行聚类。
S230:获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合。
作为一种方式,可以通过基于CNN的视觉提取模型获取所述图片集合的视觉特征集合。其中,所述基于CNN的视觉提取模型可以理解为一种卷积神经网络模型,用于提取图片的视觉特征。具体的,可以利用视觉提取模型的卷积层和池化层来实现图片的视觉特征的提取。其中,卷积层可以一个或者多个卷积核,每一个卷积核都可以提取图片特定的视觉特征,不同的卷积核提取不同的图片的视觉特征,举个例子,比如输入一张人脸的图像,使用某一卷积核可以提取到眼睛的特征,使用另一个卷积核可以提取嘴巴的特征等等。
具体的,可以通过上述方法来获取图片集合中每一张图片的视觉特征,然后可以将每一张图片的视觉特征组合在一起形成图片集合的视觉特征集合。
S240:将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。
作为一种方式,所述图关联特征集合可以理解为是将视觉特征集合的矩阵进行转置相乘的结果,所述图关联特征集合是一个特征向量的邻接矩阵。所述基于GNN的图关联模型可以理解为一种图神经网络模型,用于获取图片之间的关联特征,其中所述GNN(GraphNeural Networks,图神经网络)可以包括循环图神经网络,卷积图神经网络,图自动编码器和时空图神经网络。
具体的,将通过上述方法获得的图片集合的视觉特征集合输入图关联分析模型,通过图关联分析模型可以获取到每一张图片中每一个特征点与其他特征点的关联程度、图片集合中每一张图片与其他图片的图关联特征以及图片集合的事件类别等。示例性的,图片集合中包括5张图片,利用视觉提取模型提取该图片集合的视觉特征集合,然后将该图片集合的视觉特征集合输入到图关联分析模型,可以得到如图3所示的图关联特征集合。
本实施例提供的一种图片处理方法,首先读取相册中跟图片的拍摄位置信息和拍摄时间信息,基于拍摄位置信息和拍摄时间信息,对相册中图片进行聚类,以从所述相册的图片中获取与事件相关的图片集合,然后获取该图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合,最后将图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。通过上述方法,通过基于GNN神经网络的图关联分析模型分析图片间相互的联结关系,完成事件识别,可以得到比仅仅通过视觉提取模型进行事件识别更高的准确率和召回率。
请参阅图4,本申请实施例提供的一种图片处理方法,所述方法包括:
S310:获取归档相册。
可选的,在读取相册中图片的图片信息之前,可以预先对图片库中的未归档图片按照每张图片的拍摄时间进行排序,针对排序后的未归档图片,将在预置时间段内,且同一个拍摄范围内拍摄的图片划分到同一个相册中,得到至少一个归档相册。示例性的,可以将图片库中拍摄时间属于同一天,且拍摄地点都为某个区域的图片划分到同一个相册中。进一步的,可以读取归档相册中图片的图片信息,基于该图片信息从所述归档相册中获取与事件相关的图片集合。比如,存在10张图片,且图片1至图片4以及图片7、图片9的拍摄时间均为2014年5月30日,图片5、图片6、图片8以及图片10的拍摄时间均为2014年6月2日。因此,根据该拍摄时间,可以将图片1至图片4以及图片7、图片9划分到同一个相册中,将图片5、图片6、图片8以及图片10划分到另外一个相册中。通过预先将图片库中的未归档的图片按照时间顺序划分到不同的归档相册,可以提高相册划分的效率,进一步的,在利用相册中的图片进行聚利时,可以更快获取到图片的图片信息。
S320:读取所述归档相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合。
S330:获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合。
S340:将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。
S320、S330以及S340所包括的步骤的详细解释可以参照前述实施例中的对应步骤,这里不再赘述。
S350:将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度。
作为一种方式,所述将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度的步骤,包括:通过所述画廊生成模型计算所述图片集合中每张图片的的视觉特征的相关系数;基于所述相关系数,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度。
其中,视觉特征的相关系数可以理解为每张图片对应的特征向量之间的转换系数,通过计算该转换系数可以得到图片集合中的每张图片与其他图片的关联程度,进而可以得到每张图片与图片集合对应的事件的关联程度。其中,每张图片与图片集合对应的事件的关联程度可以利用小数或者百分比来表示。
S360:基于所述关联程度,将所述图片集合中的图片进行展示。
作为一种方式,所述基于所述关联程度,将所述图片集合中的图片进行展示的步骤,包括:根据所述图片集合中的每张图片与所述图片集合对应的事件的关联程度,获取所述图片集合中的每张图片的排序结果;基于所述排序结果,将所述图片集合中的图片进行展示。
具体的,将图片集合中的每张图片按照图片集合中的每张图片与图片集合对应的事件的关联程度,从高到低的顺序进行排序,关联程度最高的图片在进行图片展示时为第一张进行展示的图片。示例性的,比如与毕业典礼相关的图片集合中有3张图片,分别为图片1、图片2以及图片3。通过画廊生成模型输出图片1、图片2以及图片3与毕业典礼的关联程度分别为0.5、1以及0.7,进而可以将这三张图片进行排序,排序结果为图片2、图片3以及图片1,在进行图片展示时,图片2为第一张进行展示的图片。
进一步的,在进行图片展示之前,可以为每一个事件对应的图片集合匹配一个或者多个用户标签,进而可以根据用户标签为用户展示不同的事件对应的图片集合。其中,用户标签可以为对用户的的描述,其简洁、准确的概括了用户的兴趣爱好等。可选的,在进行图片展示时,还可以根据用户标签查找与用户相匹配的待推荐用户,其中,待推荐用户是与该用户具有相同兴趣爱好的人。在查找到与用户相匹配的待推荐用户后,可以将待推荐用户推送给该用户,用户可以添加该待推荐用户为好友,进而可以将与该用户标签对应的图片集合推荐给该待推荐用户。通过上述方式,通过添加好友的方式可以便于用户之间的沟通交流。
可选的,在进行图片展示时,还可以根据图片集合的数量,将展示图片集合的界面划分为相应数量的区域,并将不同图片集合中的图片对应展示在不同区域中。
进一步的,在进行图片展示时,可以为每一个图片集合设置一个图片展示时间间隔,每一个图片集合中的图片可以根据该图片展示时间间隔进行展示。具体地,当排序排在最前面的图片进行展示时,记录当前第一张图片的展示开始时间,当到达预先设置的图片展示时间间隔时,排序排在第二位的图片开始进行展示,以此,每当到达预设图片展示时间间隔时更换一次展示图片,从而将图片集合中的图片交替展示。
本实施例提供的一种图片处理方法,首先读取读取相册中图片的图片信息,基于该图片信息从相册中获取与事件相关的图片集合,然后获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合,将图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出图片集合的图关联特征集合以及图片集合的事件类别,最后将视觉特征集合和图关联特征集合输入画廊生成模型,输出图片集合中的每张图片与图片集合对应的事件的关联程度,基于关联程度,将图片集合中的图片进行展示。通过上述方法,通过将视觉特征集合和图关联特征集合输入画廊生成模型,输出图片集合中的每张图片与图片集合对应的事件的关联程度,然后按照关联程度,对相册中的图片进行展示,可以提高与事件相关的图片的展示效果,进而可以提升用户体验。
请参阅图5,本申请实施例提供的一种图片处理方法,所述方法包括:
S410:读取相册中图片的拍摄位置信息和拍摄时间信息。
S410所包括的步骤的详细解释可以参照前述实施例中的对应步骤,这里不再赘述。
S420:将所述相册中的图片的拍摄位置信息和拍摄时间信息满足预设条件的图片进行聚类,得到与所述预设条件对应的事件相关的图片集合。
作为一种方式,其中,所述预设条件可以包括图片的拍摄位置信息满足指定设位置阈值同时图片的拍摄时间信息满足指定预设时间阈值。可选的,所述预设位置阈值可以为预先设置的相邻两张图片之间位置信息的差值阈值,所述预设时间阈值可以为预先设置的相邻两张图片之间的拍摄时间信息的差值阈值。
具体的,可以先将相册中的所有图片的拍摄时间信息进行排序,将相册中还未进行处理的图片中拍摄时间信息排在最前位置的图片作为进行聚类的第一张图片,以该图片为起点,分别获取每相邻两张图片的拍摄时间信息的差值,将拍摄时间信息的差值满足预设时间阈值的图片进行聚类得到第一图片集合,其中,所述第一图片集合为拍摄时间信息的差值满足预设时间阈值的与同一事件相关的图片的集合。
进一步的,分别获取第一图片集合中每相邻两张图片的拍摄位置信息的差值,将拍摄位置信息的差值满足预设位置阈值的图片进行聚类得到第二图片集合,其中,所述第二图片集合为与预设条件对应的事件集合,所述与预设条件对应的时间集合为拍摄时间信息的差值和拍摄位置信息的差值都满足预设阈值条件的与同一事件相关的图片的集合。
示例性的,如图6所示,在图6中,可以预先将预设时间阈值设置为相邻两张图片之间位置信息的差值为5°,预设位置阈值设置为相邻两张图片之间时间信息的差值为5s。首先将相册中还未进行处理的图片包括15图片,首先将该15张图片按照图片的拍摄时间进行排序,然后分别获取每相邻两张图片之间的拍摄时间的差值,将拍摄时间的差值小于5s的图片进行聚类得到第一图片集合,将拍摄时间的差值大于5s的图片进行筛除。然后分别获取第一图片集合中每相邻两张图片的拍摄位置信息的差值,将拍摄位置信息的差值小于5°的图片进行聚类得到第二图片集合,将拍摄位置信息的差值大于5°的图片进行筛除,如图6中的图片A和图片B。
可选的,还可以将预设位置阈值设置为某一个区域范围内,将预设时间阈值设置为某一个时间段内。将相册中图片的拍摄时间信息处于预设时间段内且图片的拍摄位置信息处于预设区域范围内的图片进行聚类,得到与预设条件对应的事件相关的图片集合。比如,可以将预设时间阈值设置为在15:00-16:00内,可以将预设位置范围设置为卧室。
S430:获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合。
S440:将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。
S450:将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度。
S460:基于所述关联程度,将所述图片集合中的图片进行展示。
S430、S440、S450以及S460所包括的步骤的详细解释可以参照前述实施例中的对应步骤,这里不再赘述。
本实施例提供的一种图片处理方法,首先读取相册中图片的拍摄位置信息和拍摄时间信息,将相册中的图片的拍摄位置信息和拍摄时间信息满足预设条件的图片进行聚类,得到与该预设条件对应的事件相关的图片集合,然后获取该图片集合的视觉特征集合,其中,所述觉特征集合包括所述图片集合中每一张图片的视觉特征的集合,再将该视觉特征集合输入到基于GNN的图关联分析模型,输出该图片集合的图关联特征集合以及该图片集合的事件类别,最后将视觉特征集合和图关联特征集合输入画廊生成模型,输出该图片集合中的每张图片与对应的事件的关联程度,根据关联程度,将图片集合中的图片进行展示。通过上述方法,只需要根据图片的拍摄位置信息和图片的拍摄时间信息就可以识别出图片集合对应的事件类型,减少了对用户信息的读取,提高了用户信息的安全性。进一步的,只将图片的拍摄位置信息和图片的拍摄时间信息满足预设条件的图片进行聚类,可以提高事件类型识别的准确性。
请参阅图7,本申请提供的一种图片处理装置500,所述装置500包括:
图片获取单元510,用于读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合。
所述图片获取单元510具体用于读取相册中图片的拍摄位置信息和拍摄时间信息;基于所述拍摄位置信息和拍摄时间信息,对所述相册中的图片进行聚类,以从所述相册所包含的图片中获取与事件相关的图片集合。
进一步的,所述图片获取单元510具体用于将所述相册中的图片的拍摄位置信息和拍摄时间信息满足预设条件的图片进行聚类,得到与所述预设条件对应的事件相关的图片集合。
特征获取单元520,用于获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合。
事件输出单元530,用于基于所述视觉特征集合,输出所述图片集合的事件类别。
所述事件输出单元430具体用于将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。
作为一种方式,如图8所示,所述装置500,还包括:
关联程度输出单元540,具体用于将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度。
图片展示单元550,具体用于基于所述关联程度,将所述图片集合中的图片进行展示。
所述图片展示单元550,还用于根据所述图片集合中的每张图片与所述图片集合对应的事件的关联程度,获取所述图片集合中的每张图片的排序结果;基于所述排序结果,将所述图片集合中的图片进行展示。
进一步的,所述图片展示单元550,还用于通过所述画廊生成模型计算所述图片集合中每张图片的的视觉特征的相关系数;基于所述相关系数,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图9对本申请提供的一种电子设备进行说明。
请参阅图9,基于上述的图片处理方法、装置,本申请实施例还提供的另一种可以执行前述图片处理方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104以及网络模块106。其中,该存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行该存储器104中存储的程序。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块106用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯,例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如,网络模块106可以与基站进行信息交互。
请参考图10,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
本实施例提供的一种图片处理方法、装置、电子设备以及存储介质,首先读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合,然后获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合,最后基于视觉特征集合,输出所述图片集合的事件类别。通过上述方法只需利用图片的图片信息就能识别出与事件相关的图片集合,进而可以利用图片集合的视觉特征集合就能完成事件类型识别,即只利用图片信息,不再需要获取除图片信息以外的信息,就可以完成高准确率的相册事件提取功能,减少了对用户信息的读取,提高了用户信息的安全性。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图片处理方法,其特征在于,所述方法包括:
读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合;
获取所述图片集合的视觉特征集合,其中,所述视觉特征集合包括所述图片集合中每一张图片的视觉特征的集合;
基于所述视觉特征集合,输出所述图片集合的事件类别。
2.根据权利要求1所述的方法,其特征在于,所述读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合,包括:
读取相册中图片的拍摄位置信息和拍摄时间信息;
基于所述拍摄位置信息和拍摄时间信息,对所述相册中的图片进行聚类,以从所述相册的图片中获取与事件相关的图片集合。
3.根据权利要求2所述的方法,其特征在于,所述基于所述拍摄位置信息和拍摄时间信息,对所述相册中的图片进行聚类,以从所述相册所包含的图片中获取与事件相关的图片集合,包括:
将所述相册中的图片的拍摄位置信息和拍摄时间信息满足预设条件的图片进行聚类,得到与所述预设条件对应的事件相关的图片集合。
4.根据权利要求1所述的方法,其特征在于,基于所述视觉特征集合,输出所述图片集合的事件类别,包括:
将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别。
5.根据权利要求4所述的方法,其特征在于,所述将所述图片集合的视觉特征集合输入基于GNN的图关联分析模型,输出所述图片集合的图关联特征集合以及所述图片集合的事件类别之后还包括:
将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度;
基于所述关联程度,将所述图片集合中的图片进行展示。
6.根据权利要求5所述的方法,其特征在于,所述将所述视觉特征集合和所述图关联特征集合输入画廊生成模型,输出所述图片集合中的每张图片与所述图片集合对应的事件的关联程度,包括:
通过所述画廊生成模型计算所述图片集合中每张图片的的视觉特征的相关系数;
基于所述相关系数,输出所述图片结合中的每张图片与所述图片集合对应的事件的关联程度。
7.根据权利要求5所述的方法,其特征在于,所述基于所述关联程度,将所述图片集合中的图片进行展示,包括:
根据所述图片集合中的每张图片与所述图片集合对应的事件的关联程度,获取所述图片集合中的每张图片的排序结果;
基于所述排序结果,将所述图片集合中的图片进行展示。
8.一种图片处理装置,其特征在于,所述装置包括:
图片获取单元,用于读取相册中图片的图片信息,基于所述图片信息从所述相册中获取与事件相关的图片集合;
特征获取单元,用于获取所述图片集合的视觉特征集合,其中,所述视觉特征集合为所述图片集合中每一张图片的视觉特征的集合;
事件输出单元,用于基于所述视觉特征集合,输出所述图片集合的事件类别。
9.一种电子设备,其特征在于,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
CN202010768856.9A 2020-08-03 2020-08-03 图片处理方法、装置、电子设备及存储介质 Pending CN111813980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768856.9A CN111813980A (zh) 2020-08-03 2020-08-03 图片处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768856.9A CN111813980A (zh) 2020-08-03 2020-08-03 图片处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111813980A true CN111813980A (zh) 2020-10-23

Family

ID=72863537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768856.9A Pending CN111813980A (zh) 2020-08-03 2020-08-03 图片处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111813980A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174093A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 拍摄瞬间图像的方法、设备及计算机可存储介质
CN109919754A (zh) * 2019-01-24 2019-06-21 北京迈格威科技有限公司 一种数据获取方法、装置、终端及存储介质
CN111163170A (zh) * 2019-12-31 2020-05-15 上海博泰悦臻电子设备制造有限公司 照片分享方法、系统及服务器
CN111191127A (zh) * 2019-12-24 2020-05-22 重庆特斯联智慧科技股份有限公司 一种基于关联分析算法的旅行推荐方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174093A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 拍摄瞬间图像的方法、设备及计算机可存储介质
CN109919754A (zh) * 2019-01-24 2019-06-21 北京迈格威科技有限公司 一种数据获取方法、装置、终端及存储介质
CN111191127A (zh) * 2019-12-24 2020-05-22 重庆特斯联智慧科技股份有限公司 一种基于关联分析算法的旅行推荐方法和系统
CN111163170A (zh) * 2019-12-31 2020-05-15 上海博泰悦臻电子设备制造有限公司 照片分享方法、系统及服务器

Similar Documents

Publication Publication Date Title
US10885100B2 (en) Thumbnail-based image sharing method and terminal
CN106446816B (zh) 人脸识别方法及装置
CN109858371B (zh) 人脸识别的方法及装置
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN111738357B (zh) 垃圾图片的识别方法、装置及设备
CN103995889A (zh) 图片分类方法及装置
CN103870485A (zh) 实现增强现实应用的方法及设备
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
CN110825968A (zh) 信息推送方法、装置、存储介质和计算机设备
CN110889379A (zh) 表情包生成方法、装置及终端设备
CN108960892B (zh) 信息处理方法及装置、电子设备及存储介质
CN108108450B (zh) 图像处理的方法及相关设备
CN112258238A (zh) 用户生命价值周期检测方法、装置和计算机设备
CN113657087B (zh) 信息的匹配方法及装置
CN111126457A (zh) 信息的获取方法和装置、存储介质和电子装置
CN108024148B (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN115983873B (zh) 一种基于大数据的用户数据分析管理系统及方法
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN112069342A (zh) 图像分类方法、装置、电子设备及存储介质
CN111813980A (zh) 图片处理方法、装置、电子设备及存储介质
CN112232890B (zh) 数据处理方法、装置、设备及存储介质
CN114416786A (zh) 流数据的处理方法、装置、存储介质及计算机设备
CN111382628B (zh) 同行判定方法及装置
CN113591656A (zh) 图像处理方法、系统、装置、设备及计算机存储介质
CN113590854A (zh) 一种数据处理方法、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination