CN113704529A - 一种带有音频标识的照片分类方法、查找方法和装置 - Google Patents

Abstract

本申请提供一种带有音频标识的照片分类方法和照片查找方法，所述照片分类方法包括：获取第一照片以及所述第一照片对应的一个或多个音频标识，每个所述音频标识对应所述第一照片的一个音频片段，音频片段记录第一照片在生成过程中的音频环境内容；根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片；如果是，则所述相匹配的照片为目标照片，确定所述第一照片与所述目标照片为同类照片，并通过有声相册显示所述同类照片，所述有声相册中包含所述第一照片和所述目标照片，有效地对不同照片进行分类，把相似度较高的照片归为一类，便于后续对同类照片的快速查找，本方法提高了照片分类的效率，节约查找照片的耗时。

Description

一种带有音频标识的照片分类方法、查找方法和装置

技术领域

本申请涉及终端设备技术领域，尤其是涉及一种带有音频标识的照片分类方法、查找方法和装置。

背景技术

相机拍照是手机的诸多功能中用户最常用的应用功能之一，一般在手机的相册里会存储用户拍摄的大量照片，可能存储有成百上千张照片，且这些照片的内容种类繁多，表达的人类意图复杂，并且有些照片还同时存储有拍摄时的音频文件。

对于这些照片的分类，目前常见的分类方法是按照拍摄时间或照片信息中的地理位置进行划分。比如按照拍摄时间和日期，以一整日为单位，将所有存储的照片进行分类。或者，按照地理位置划分，将位于同一地点的照片归为一类。但这些分类方法只是通过一些简单的标签来对照片进行分类，并不能对照片内容进行区分和标记，如果想要准确地对照片进行分类和检索，则需要用户对照片逐张浏览，耗时耗力。

另外，对于在照片拍摄时还记录有音频的照片，用户在查找时需要对每张照片的音频文件进行逐个播放收听，才能选取期望的照片，查找耗时长、效率低。

发明内容

本申请实施例提供了一种带有音频标识的照片分类方法，该方法可以有效地对具有音频标识的海量照片进行分类，并且按照这种分类方法便于查找，具体地，本申请实施例公开了以下技术方案：

第一方面，本申请实施例提供了一种带有音频标识的照片分类方法，所述方法可应用于一种终端设备中，该方法包括：获取第一照片以及所述第一照片对应的一个或多个音频标识，每个所述音频标识对应第一照片的一个音频片段，音频片段记录所述第一照片在生成过程中的音频环境内容；根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片；如果是，则所述相匹配的照片为目标照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；确定所述第一照片与所述目标照片为同类照片，并通过有声相册显示所述同类照片，所述有声相册中包含所述第一照片和所述目标照片。

其中，所述音频标识可以是音频指纹，所述音频指纹可以代表一段音频重要声学特征的基于内容的数字签名。

本方面提供的方法，利用照片的音频标识，在图库中查找与其相匹配的照片，对查找到的相匹配照片划分为同一类，并通过有声相册显示，由于照片所对应的每个音频标识指示一个音频片段，每个音频片段可以记录和反映该照片的音频环境，所以利用音频标识可以按照照片所具有的相同或相似的特征，有效地对不同照片进行分类，把相似度较高的照片归为一类，便于后续对同类照片的快速查找，避免利用逐个播放各个照片的音频的方法对照片进行查找，并且也不用对每个照片先浏览后再归类，本方法提高了照片分类的效率，节约了查找照片的耗时。

结合第一方面，在第一方面的一种可能的实现方式中，根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片，包括：遍历所述第一照片的每个音频标识，比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配；统计与所述待查找照片中所有相匹配的音频标识的数量；根据所述数量与所述第一照片所对应的所有音频标识的数量的占比，确定是否与所述第一照片相匹配。

可选的，在一种具体的实现方式中，所述比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配，包括：比较所述第一照片的每个音频标识的频谱特性与待查找照片所对应的每个音频标识的频谱特性是否相匹配。

其中，所述频谱特性包括：频谱幅值和频谱能量中至少一种。所述频谱幅值和/或频谱能量可以是每个音频片段中的任意一个音频帧的频谱幅值和/或频谱能量。应理解，所述频谱特性还可以是其他相关参数，比如谱密度、过零率、谱峰等等，本实施例对此不作限制。

本实现方式中，通过比较第一照片中的每个音频标识的频谱特性和图库中待查找的照片的所有音频标识的频谱特性是否相同或者相似，可以判断出第一照片和所述待查找照片是否相匹配，进而实现了利用音频标识对图库中所有照片的划分和归类。

其中，所述第一照片可以是图库中的任一照片，或者，也可以是图库之外的照片。

结合第一方面，在第一方面的另一种可能的实现方式中，所述查找是否有与所述第一照片相匹配的照片之前，还包括：在显示界面上显示第一控件，所述第一控件用于启动对所述第一照片的查找功能，接收用户点击所述第一控件的操作，响应于所述操作在图库中对所述第一照片进行查找。

可选的，所述第一控件为“查找”控件，或者“归类”控件。

结合第一方面，在第一方面的另一种可能的实现方式中，所述获取第一照片以及所述第一照片对应的一个或多个音频标识，包括：获取第一照片文件，所述第一照片文件包括：所述第一照片和所述第一照片对应的一个或多个音频标识；解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识。

可选的，解析所述第一照片文件后，还获得第一音频和组成所述第一音频的至少一个音频片段。所述第一音频为生成所述第一照片时记录的一整段音频。

结合第一方面，在第一方面的又一种可能的实现方式中，解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识，包括：接收用户启动图库应用的操作，响应于所述操作扫描图库资源得到第一照片的照片信息，所述第一照片的照片信息包括第一照片的存储路径和照片名称；根据所述第一照片的存储路径和照片名称在媒体资源库中获取所述第一照片；解析所述第一照片得到所述一个或多个音频标识。

可选的，所述图库资源为一种媒体信息数据库MediaSQLite，该媒体信息数据库用于存储至少一个照片的照片信息。所述媒体资源库MediaSource用于存储第一照片等信息。

本实现方式，利用照片信息中所携带的照片存储路径，可以再媒体资源库中快速地找到照片，从而提高了照片查找和分类效率。

另外，所述媒体信息数据库和所述媒体资源库可以是同一个存储单元，或者也可以是不同的存储单元，本实施例对此不作限制。

结合第一方面，在第一方面的又一种可能的实现方式中，在解析所述第一照片得到所述一个或多个音频标识之前，方法还包括：判断在用于承载音频指纹的预设字段中内容是否为空；如果不为空，则确定所述第一照片中包含与其对应的一个或多个所述音频标识。

可选的，如果预设字段内容为空，则确定第一照片中不包含音频标识，此时可以按照一般的分类方法，比如时间、地点等特性对第一照片进行分类。

结合第一方面，在第一方面的又一种可能的实现方式中，方法还包括：查找到与第一照片相匹配的一个或多个目标照片后，对第一照片的照片信息做更新。具体地，包括：获取每个所述目标照片的序号；然后将每个目标照片的序号更新到所述第一照片的照片信息，其中所述所有目标照片的序号通过类似照片序号字段添加在所述第一照片的照片信息中。

本实现方式中，通过类似照片序号字段实现对同类照片的标识，比如一个目标照片的照片序号为②，则将该序号②添加到类似照片序号字段中，便于后续对与第一照片属于同类照片的快速查找。

另外，当所述有声相册中包括至少一个相册集时，每个所述相册集通过一个相册标识表示；比如媒体项目MediaItem 1、媒体项目MediaItem 2等，每个MediaItem对应于一个有声相册。所述至少一个相册集中的一个或多个相册集包括所述第一照片和所述目标照片。本方式通过相册标识的方式对有声相册中不同相册集进行标识，便于后续对相册集中照片的快速查找。

第二方面，本申请实施例还提供一种照片查找方法，该方法用于在图库中查找与所述第一照片同类的目标照片，其中，所述第一照片预先按照前述第一方面以及第一方面各种实施方式中的方法分类完成，所述照片查找方法包括：

获取第一照片的照片信息，所述第一照片的照片信息包括类似照片序号字段，所述类似照片序号字段中包括与所述第一照片相匹配的所有目标照片的序号，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值。接收用户在显示界面上的点击操作；响应于所述点击操作，获取所述类似照片序号字段；根据所述类似照片序号字段的内容获得所有目标照片，显示所有所述目标照片。

本方面提供的方法，在对第一照片进行分类的过程中，在第一照片的照片信息中添加了类似照片序号字段，该字段中包含了与第一照片相匹配的所有目标照片，所以一旦用户触发查找功能启动在图库中查找同类照片时，就可以快速查找到该第一照片的照片信息中的类似照片序号字段，进而获得与第一照片同类的所有目标照片，达到了一键快速查找的有益效果，极大的提高了查找效率。

结合第二方面，在第二方面的一种可能的实现方式中，根据所述类似照片序号字段的内容获得所有目标照片，包括：根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径；根据每个所述目标照片的存储路径获得所有目标照片。其中，照片序号与照片的存储路径之间具有唯一的对应关系。

可选的，可以根据每个所述目标照片的存储路径在媒体资源库中获取所有目标照片。

进一步地，所述接收用户在显示界面上的点击操作，包括：接收用户在所述显示界面上点击“以图找图”控件的操作。当需要在图库中查找与第一照片属于同一类的照片时，触发在第一照片的显示界面上显示“以图找图”控件，提示用户触发“以图找图”功能。所述以图找图是指依据当前第一照片在图库中查找所有与第一照片是同类的照片。

第三方面，本申请实施例还提供一种照片分类装置，用于对带有音频标识的照片进行分类，所述装置包括：获取模块、处理模块和显示模块。此外，该装置还可以包括接收模块、发送模块、存储模块等更多或更少模块。

其中，获取模块，用于获取第一照片以及所述第一照片对应的一个或多个音频标识，每个所述音频标识对应所述第一照片的一个音频片段，所述音频片段记录所述第一照片在生成过程中的音频环境内容；

处理模块，用于根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片；以及，如果是，则所述相匹配的照片为目标照片，确定所述第一照片与所述目标照片为同类照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；

显示模块，用于通过有声相册显示所述同类照片，所述有声相册中包含所述第一照片和所述目标照片。

可选的，所述有声相册可由处理模块生成。或者，还可以通过其他模块比如，有声相册设置页面AudioAlbumSetPage生成。

结合第三方面，在第三方面的一种可能的实现方式中，所述处理模块，具体用于遍历所述第一照片的每个音频标识，比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配；统计与所述待查找照片中所有相匹配的音频标识的数量；根据所述数量与所述第一照片所对应的所有音频标识的数量的占比，确定是否与所述第一照片相匹配。

结合第三方面，在第三方面的另一种可能的实现方式中，所述处理模块，具体还用于比较所述第一照片的每个音频标识的频谱特性与待查找照片所对应的每个音频标识的频谱特性是否相匹配；其中，所述频谱特性包括：频谱幅值和频谱能量中至少一种。

结合第三方面，在第三方面的又一种可能的实现方式中，所述处理模块，在查找是否有与所述第一照片相匹配的照片之前，还用于通过所述显示模块在显示界面上显示第一控件，所述第一控件用于启动对所述第一照片的查找功能；以及，接收用户点击所述第一控件的操作，响应于所述操作在图库中对所述第一照片进行查找。

结合第三方面，在第三方面的又一种可能的实现方式中，所述获取模块，具体用于获取第一照片文件，以及，解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识；所述第一照片文件包括：所述第一照片和所述第一照片对应的一个或多个音频标识。

结合第三方面，在第三方面的又一种可能的实现方式中，接收模块，用于接收用户启动图库应用的操作；所述处理模块，用于响应于所述操作扫描图库资源得到第一照片的照片信息，所述第一照片的照片信息包括第一照片的存储路径和照片名称；所述获取单元，还用于根据所述第一照片的存储路径和照片名称在媒体资源库中获取所述第一照片，以及解析所述第一照片得到所述一个或多个音频标识。

结合第三方面，在第三方面的又一种可能的实现方式中，所述处理模块，在所述获取模块解析所述第一照片得到所述一个或多个音频标识之前，还用于判断在用于承载音频标识的预设字段中内容是否为空；如果不为空，则确定所述第一照片中包含与其对应的一个或多个所述音频标识。

结合第三方面，在第三方面的又一种可能的实现方式中，上述装置还包括更新模块。

所述获取模块，还用于获取每个所述目标照片的序号；所述更新模块，用于将每个所述目标照片的序号更新到所述第一照片的照片信息，其中所述所有目标照片的序号通过类似照片序号字段添加在所述第一照片的照片信息中。

可选的，所述有声相册中包括至少一个相册集，每个所述相册集通过一个相册标识表示；所述至少一个相册集中包括所述第一照片和所述目标照片。

第四方面，本申请实施例还提供一种照片查找装置，该装置用于在图库中查找与所述第一照片同类的目标照片，所述第一照片预先按照前述第一方面以及第一方面各种实施方式中的方法分类完成，所述照片查找装置，包括：获取模块、处理模块和显示模块。此外，该装置还可以包括接收模块、发送模块、存储模块等更多或更少模块。

其中，所述获取模块，用于获取第一照片的照片信息，所述第一照片的照片信息包括类似照片序号字段，所述类似照片序号字段中包括与所述第一照片相匹配的所有目标照片的序号，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；所述接收模块，用于接收用户在显示界面上的点击操作；所述处理模块，用于响应于所述点击操作，获取所述类似照片序号字段；根据所述类似照片序号字段的内容获得所有目标照片；所述显示模块，用于显示所有所述目标照片。

结合第四方面，在第四方面的一种可能的实现方式中，所述处理模块，具体用于根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径，根据每个所述目标照片的存储路径获得所有目标照片。

结合第四方面，在第四方面的另一种可能的实现方式中，所述接收模块，还用于接收用户在所述显示界面上点击“以图找图”控件的操作。

第五方面，本申请实施例还提供一种终端设备，该终端设备包括至少一个处理器和存储器，此外，所述终端设备还包括：通信模块，显示屏，摄像头，音频模块等部件。其中，所述音频模块包括：扬声器，受话器，麦克风和耳机接口等。

所述存储器，用于为所述至少一个处理器提供计算机程序指令和/或数据；所述至少一个处理器，用于执行所述计算机程序指令，以实现前述第一方面及第一方面各种实现方式中的方法，或者，实现前述第二方面及第二方面各种实现方式中的方法。

当所述终端设备实现前述第一方面中的带有音频标识的照片分类方法时，所述至少一个处理器用于获取第一照片以及所述第一照片对应的一个或多个音频标识，根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片；如果是，则所述相匹配的照片为目标照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；以及确定所述第一照片与所述目标照片为同类照片，并通过有声相册显示所述同类照片。

其中，所述有声相册中包含所述第一照片和所述目标照片；每个所述音频标识对应所述第一照片的一个音频片段，所述音频片段记录所述第一照片在生成过程中的音频环境内容。

当所述终端设备实现前述第二方面中的照片查找方法时，所述至少一个处理器用于获取第一照片的照片信息，接收用户在显示界面上的点击操作；响应于所述点击操作，获取所述类似照片序号字段；根据所述类似照片序号字段的内容获得所有目标照片；以及通过显示屏显示所有所述目标照片。

其中，所述第一照片的照片信息包括类似照片序号字段，所述类似照片序号字段中包括与所述第一照片相匹配的所有目标照片的序号，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值。

可选的，所述至少一个处理器和存储器可以集成在一个处理芯片或者芯片电路中。

可选的，所述终端设备包括但不限于手机、PC、平板电脑。

第六方面，本申请还提供了一种计算机可读存储介质，该存储介质中存储有指令，使得当指令在计算机或处理器上运行时，可以用于执行前述第一方面或第二方面的各种实现方式中的方法。

另外，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当该指令被计算机或处理器执行时，可实现前述第一方面或第二方面的各种实现方式中的方法。

需要说明的是，上述第三方面至第六方面的各种实现方式的技术方案所对应的有益效果与前述第一方面以及第一方面的各种实现方式，以及第二方面以及第二方面的各种实现方式的有益效果相同，具体参见上述第一方面和第二方面的各种实现方式中的有益效果描述，不再赘述。

附图说明

图1为本申请实施例提供的一种终端设备的硬件结构图；

图2为本申请实施例提供的一种终端设备的软件结构示意图；

图3为本申请实施例提供的一种带有音频标识的照片分类方法的流程图；

图4为本申请实施例提供的一种解析第一照片文件得到第一照片和至少一个音频标识的示意图；

图5a为本申请实施例提供的一种得到第一照片对应的一个或多个音频标识的信令图；

图5b为本申请实施例提供的一种判断是否与第一照片相匹配的流程图；

图6为本申请实施例提供的另一种获得第一照片对应的一个或多个音频标识的流程图；

图7为本申请实施例提供的一种在图库应用中显示“有声相册”的示意图；

图8为本申请实施例提供的一种显示“有声相册”的交互流程图；

图9为本申请实施例提供的一种媒体项目的示意图；

图10为本申请实施例提供的一种在图库应用中显示“有声照片”的示意图；

图11为本申请实施例提供的一种照片查找方法的流程图；

图12a为本申请实施例提供的一种用户点击“以图找图”控件的示意图；

图12b为本申请实施例提供的一种查找到的目标照片的示意图；

图13为本申请实施例提供的一种装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。

在对本申请实施例的技术方案说明之前，首先结合附图对本申请实施例的应用场景进行说明。

本申请的技术方案可应用于终端设备对照片分类和查找的技术场景。比如包括但不限于在终端设备上进行图片或照片编辑、处理和查找等场景，其中，图片或照片中携带有音频索引或音频指纹。

所述终端设备可以是一种便携式设备，比如智能终端、手机、笔记本电脑、平板电脑、个人计算机(personal computer，PC)、个人数字助理(personal digital assistant，PDA)，可折叠终端、具备无线通讯功能的可穿戴设备(例如智能手表或手环)、用户设备(user device)或用户设备(user equipment，UE)、以及增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等，本申请的实施例对终端设备的具体设备形态不做限定。另外，上述各种终端设备中搭载安卓(Android)、苹果(IOS)以及鸿蒙(HarmonyOS)系统。

参见图1，是本申请实施例提供的一种终端设备的硬件结构图。该终端设备可以包括处理器110，存储器120，传感器模块130，音频模块140，移动通信模块150，无线通信模块160，天线1，天线2，显示屏170，摄像头180，USB接口190，电源管理模块191等。

其中，传感器模块130可以包括压力传感器130A，陀螺仪传感器130B，触摸传感器130C，另外，传感器模块130中还可以包括加速度传感器，温度传感器，环境光传感器等。

音频模块140包括扬声器(Speaker)140A，受话器140B，麦克风(MIC)140C。此外还包括耳机接口等。

应理解，本实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理模块，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中不同的处理模块可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110可以是终端设备的神经中枢和指挥中心。处理器110可以根据指令操作码和时序信号，产生操作控制信号，完成读取指令和执行指令的操作。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

可选的，所述处理器110为一种处理芯片。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

其中，USB接口190是符合USB标准规范的接口，具体可以是Mini USB接口，MicroUSB接口，USB Type C接口等。USB接口190可以用于连接外部设备，比如充电器等。

电源管理模块191用于连接电池与处理器110。电源管理模块191为处理器110，存储器120，显示屏170，摄像头180和无线通信模块160等供电。在一些实施例中，电池可以设置在电源管理模块191中。另外，可选的，还可以包括充电管理模块，所述充电管理模块用于从充电器接收充电输入，以及为电池充电的同时，还可以通过电源管理模块191为终端设备供电。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。终端设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noiseamplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频模块(包括但不不限于扬声器140A，受话器140B等)输出声音信号，或通过显示屏170显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，WiFi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160还可以从处理器110接收待发送的信号，并对其进行调频，放大处理，然后经天线2转为电磁波发射出去。

在一些实施例中，终端设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

终端设备可通过GPU，显示屏170，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏170和应用处理器。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏170用于显示应用界面、窗口、控件等。显示屏170包括显示面板。所述显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，终端设备可以包括至少一个显示屏170。

可选的，显示屏170为一种触摸显示屏，可以获取用户的一系列操作。

摄像头180，可用于拍摄并获取图像。在一些实施例中，终端设备可以包括至少一个摄像头。

存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如控件重组功能)等。存储数据区可存储终端设备使用过程中所创建的数据(比如滑动手势轨迹)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在存储器120的指令，来执行终端设备的各种功能应用以及界面处理。

在传感器模块130中，压力传感器130A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器130A可以设置于显示屏170。压力传感器130A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。当有触摸操作作用于显示屏170时，终端设备根据压力传感器130A检测所述触摸操作强度。或者也可以根据压力传感器130A的检测信号计算触摸点的位置。陀螺仪传感器130B可以用于获取终端设备的运动姿态。触摸传感器130C，也称“触控器件”。触摸传感器130C可以设置于显示屏170，由触摸传感器130C与显示屏170组成触摸屏。触摸传感器130C用于检测作用于其上或附近的滑动手势触摸操作。触摸传感器130C可以将检测到的触摸操作传递给应用处理器，以确定触摸事件发生。可以通过显示屏170提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器130C也可以设置于终端设备的表面，与显示屏170所处的位置不同。

参见图2，本申请实施例以终端设备的软件系统是Android系统为例，示例性说明终端设备的软件结构。其中，上述任一终端设备的软件架构可以采用分层架构，请参考图2，为本申请实施例提供的一种软件架构的组成示意图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用层，应用程序框架层，系统层，内核层和驱动(Driver)硬件层。其中，驱动硬件层在图2中未示出。

应用层可以包括一系列应用程序包。比如可以包括图库(gallery)APP，相机(camera)APP，通话，导航，蓝牙，音乐，视频，短信息等应用程序。可选的，所述应用层中的各种应用可以通过Android应用程序包(Android application package，APK)实现，比如相机APK(camera APK)，gallery APK等等。

进一步地，在gallery应用中还至少包括以下功能模块：相册设置页面(AlbumSetPage)11、有声相册设置页面(AudioAlbumSetPage)12，有声照片页面(AudioPhotoPage)13。其中，有声相设置册页面12和有声照片页面13为新增的页面模块，用于在图库应用中增加“有声相册”和“有声照片”功能。

应用程序框架层(又简称“框架层(Framework)”)为应用层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，框架层可以包括：媒体提供器(MediaProvider)21、数据管理器(DataManager)22、窗口管理器(WindowsManager)23和根试图(RootView)24。其中，媒体提供器21用于将图片或照片信息扫描到数据库，数据管理器22用于加载数据库中存储的图片/照片，窗口管理器23和根试图24则用于在终端设备的显示界面上显示所述图片/照片。

另外，可选的，在框架层中还可以包括：音频记录模块(Audio Recorder)，AudioTrack，图像处理器(ImageProcessor)，相机管理器(CameraManager)，控件识别器，资源管理器，通知管理器等等，这些器件在图2中未示出，本实施例对此不予限制。

在系统层，安卓运行时(Android Runtime)包括核心库(Core Libraries)和虚拟机。其中，Android runtime负责安卓系统的调度和管理。核心库包含两部分，其中一部分是java语言需要调用的功能函数，如Java核心库，另一部分是安卓的核心库。

应用层和框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

所述核心库中包括多个功能模块。例如：媒体信息数据库(MediaSQLite)31，媒体资源库(MediaSource)32等，另外，还可以包括三维图形处理库，2D图形引擎等其他模块，本实施例对此不予限制。其中，媒体信息数据库31用于存储有声图片或照片的相关信息，比如第一照片的照片文件，所述第一照片的照片文件包括存储路径、照片名称、照片类型、照片序号等。媒体资源库32则用于存储带有音频指纹的图片/照片，音频等媒体资源，比如第一照片，第一音频等。

此外，媒体资源库32支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：wmv，wav，MPEG4，H.264，mp3，aac，amr，jpg，png等。

所述三维图形处理库，则用于实现三维图形绘图，图像渲染，合成和图层处理等。

内核层(Hardware Abstraction Layer，HAL)是硬件和软件之间的层。内核层至少包含音频服务(AudioService)41，音频调度服务(AudioFlinger)42，图像处理服务(ImageProcess Service)43和相机服务(CameraService)44等功能模块。其中，音频服务41负责Android音频服务，可属于Android本地音频服务的API类。

驱动层(Driver)中包括显示驱动，传感器驱动，音频驱动，摄像头驱动，等。其中，所述音频驱动可用于驱动扬声器和/或麦克风等设备。

下面对本实施例提供的方法进行详细说明。

本实施例提供了一种照片分类方法，用于对带有音频标识的照片进行分类，以便后续对图库中存储的海量照片进行快速查找。具体地，如图3所示，该方法包括：

步骤101：获取第一照片以及所述第一照片对应的一个或多个音频标识。

其中，每个音频标识对应第一照片的一个音频片段，该音频片段记录所述第一照片在生成过程中的音频环境内容。比如第一照片对应M个音频标识，且M个音频标识中的每个音频标识对应一个音频片段，即M个音频标识与M个音频片段一一对应。

另外，M个音频片段是生成第一照片时记录的音频环境内容。所述音频环境内容包括人声、鸟鸣声、汽笛声、嘈杂声等各种环境声音。比如第一照片是用户在海边拍摄的照片，则第一照片对应的某一个音频片段记录了海边的海浪声、鸟鸣声以及人声等全部音频。又比如，第一照片是用户在集市环境拍摄的照片，则所述音频环境内容包括拍摄时人群的嘈杂声、机动车辆的喇叭声、叫卖声等各种音频。

所述M个音频片段可以是对一整段录音的音频(比如第一音频)做音频分割之后生成的，或者，还可以是在对第一音频分割完成的多个音频片段中选择的其中M个音频片段。比如将一整段音频分割成N个音频片段，然后用户可以选择其中的M个音频片段，1≤M≤N。本实施例对从N个音频片段中选择M个音频片段的具体过程不予限制。

其中，所述音频标识为一种音频指纹。具体地，所述音频指纹可以代表一段音频重要声学特征的基于内容的数字签名，可用于音频比对、音频库检索或者音频内容监测等应用场景。音频指纹作为内容自动识别技术的核心算法，已广泛应用于音乐识别、版权内容监播和电视第二屏幕互动等领域。

在步骤101中，一种具体的实施方式是，获取第一照片文件，所述第一照片文件中包括第一照片和第一照片对应的至少一个音频标识。进一步地，用户可以在拍摄完第一照片，并同时对拍摄第一照片的过程进行录音后生成第一音频，然后根据音频分割方法将第一音频分割成多个音频片段，再根据多个音频片段生成多个音频标识，最后根据第一照片和所述多个音频标识得到所述第一照片文件。本实施例对音频分割，以及音频标识生成的方法具体过程不予限制。终端设备在得到所述第一照片文件后，解析该第一照片文件获得所述第一照片，以及第一照片对应的一个或多个音频标识。

如图4所示，所述第一照片文件为一种.aupic文件，比如，一种第一照片文件的命名为：audiopic_20210320_180808.aupic，其中，20210320_180808为时间戳，表示2021年3月20日，18时08分08秒。解析该第一照片文件得到第一照片，该第一照片可以是.jpg格式，比如IMG_20210320_180808.jpg。另外还得到与第一照片对应的多个音频标识，比如音频指纹2至音频指纹M，每个音频指纹的格式为.dat，且音频指纹2至音频指纹M可以命名为：

本实施例中，解析得到M个第一照片的音频指纹，分别是：

FingerPrint_20200320_180101_1.dat；

FingerPrint_20200320_180101_2.dat；

......；

FingerPrint_20200320_180101_M.dat。

另外，可选的，解析所述第一照片文件后还可以得到与第一音频(即原始音频)，以及对所述第一音频分割后的至少一个音频片段，比如音频片段1至音频片段N，每个音频片段为.wmv格式。所述音频片段1至音频片段N可被命名为：Rec_20210320_180808_01.wmv、Rec_20210320_180808_02.wmv、……、Rec_20210320_180808_N.wmv。

下面对步骤101中，解析第一照片文件获得所述第一照片，以及第一照片对应的一个或多个音频标识的过程进行详细说明。

一种可能的实施方式如图5a所示，具体包括：

步骤1011：接收用户启动图库应用的操作，图库应用向媒体提供器21发送第一指令，所述第一指令用于触发媒体提供器21的扫描功能(scan)。

步骤1012：媒体提供器21接收所述第一指令后启动扫描功能，对图库资源进行扫描(scanFile)，并得到至少一个照片的照片信息。所述至少一个照片的照片信息中包括第一照片的照片信息，所述第一照片的照片信息包括第一照片的存储路径和照片名称。

其中，所述图库资源包括图片、照片等至少一种多媒体资源，且所述多媒体资源中还包含拍摄图片和/或照片时录制的音频文件。比如，当媒体提供器21扫描第一照片时，获得第一照片的照片信息。另外，还获得拍摄第一照片时录制的第一音频或者部分第一音频。所述部分第一音频可以是一个或多个音频片段。

进一步地，所述照片信息中包括：文件序号、照片文件类型、照片名称、存储路径或目录等其他信息。本示例中，第一照片的照片信息包括：文件序号“①”，第一照片文件类型“.aupic”，所述第一照片的存储路径或目录“DCIM/Camera/Pictures/AudioPic_20200320_180808.aupic”，文件大小5M等信息。其中，所述第一照片的名称和第一照片的存储路径中还可以包括拍摄第一照片时的时间戳，所述时间戳的格式为：年月日_时分秒，如YYYYmmDD_HHMMSS。本示例中的“20210320_180808”可以表示为2021年3月20日，18时08分08秒。

步骤1013：媒体提供器21将所述至少一个照片的照片信息插入到媒体信息数据库31中。

例如，媒体提供器21将所述第一照片的照片信息插入(insert)到媒体信息数据库(MediaSQLite)31中。

另外，还包括：所述媒体信息数据库31更新完成后，向应用层的相机APP反馈响应消息，具体地，向将所述响应消息发送给媒体提供器21，然后媒体提供器21将所述响应消息转发至应用层的相机APP和图库应用。可选的，所述图库应用为一图库APP。

步骤1014：媒体信息数据库31接收媒体提供器21扫描的至少一个照片的照片信息，更新和存储所述至少一个照片的照片信息。

本示例中，在媒体信息数据库31中存储第一照片的照片信息的格式，如表1所示，

表1

文件序号/第一照片的序号	①
		存储路径/目录	DCIM/Camera/Pictures/AudioPic_20200320_180101.aupic
文件大小	5M
		照片名称	AudioPic_20200320_180101
照片文件类型	.aupic

可选的，所述第一照片的文件序号可以与第一照片的照片序号相同。

步骤1015：数据管理器22在媒体信息数据库31中获取第一照片的照片信息。

具体地，数据管理器(DataManager)22读取媒体信息数据库(MediaSQLite)31中的至少一个照片的照片信息，其中包括所述第一照片的照片信息，所述第一照片的照片信息包括：第一照片的存储路径、照片名称和照片类型等信息。

步骤1016：数据管理器22根据所述第一照片的照片信息，比如第一照片的存储路径从媒体资源库32中获取所述第一照片。

可选的，数据管理器22还通过所述第一照片的照片信息从媒体资源库32中获取与所述第一照片对应的第一音频，或分割的至少一个音频片段。

步骤1017：数据管理器22对所述第一照片进行解析得到所述一个或多个音频标识。

具体地，数据管理器22可通过预设算法解析所述第一照片。所述预设算法可以是音频指纹解析算法，本实施例对解析第一照片得到一个或多个音频标识的具体过程不做限制。

上述步骤1011至1017仅示例了一种获得第一照片和第一照片所对应的至少一个音频标识的方法，应理解，还可以采用其他方法获得这些信息，本实施例对此不予限制。

参见图3，上述方法还包括：

步骤102：根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片。所述与第一照片相匹配的照片数量可以是一个或者多个。

具体地，可通过比较图库中当前照片与第一照片的相似度来确定两张照片是否相匹配。其中，所述相似度可通过数量占比来衡量，比如在步骤102中，一种可能的实施方式，如图5b所示，具体包括：

步骤1021：遍历所述第一照片的每个音频标识，比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配。

其中，每个音频标识中包含频谱特性，所述频谱特性包括：音频帧的频谱幅值和/或频谱能量等，另外还可以包括其他相关特性，比如谱密度、过零率、谱峰等。

步骤1021具体包括：比较所述第一照片的每个音频标识的频谱特性与待查找照片所对应的每个音频标识的频谱特性是否相匹配。例如比较音频标识中第一音频片段的频谱幅值是否与待查找照片中的某一个音频标识指示的频谱幅值相同，或者两个频谱幅值之差在预设范围内，如果相同或者在所述预设范围内，则确定该第一音频片段的音频标识与所述待查找照片的一个音频标识相匹配。

进一步地，在匹配过程中，比较频谱特性是否相匹配可通过预设算法来比较，比如通过音频指纹算法比较，所述音频指纹算法包括但不限于spectrogram、shazam等。本实施例对匹配过程以及采用的预设算法不做限制。

步骤1022：统计与所述待查找照片中所有相匹配的音频标识的数量。

步骤1023：根据所述数量与所述第一照片所对应的所有音频标识的数量的占比，确定是否与所述第一照片相匹配。

举例说明，假设第一照片对应的音频标识的总数为M，在图库中选择的一个照片为第二照片，所述第二照片对应的音频指纹总数为P，M≥1，P≥1且M和P都为正整数。上述步骤1021至1023的过程为：比较M个音频标识中的第一个音频标识FingerPrint_1是否与第二照片的P个音频标识中的任意一个相匹配，如果FingerPrint_1与FingerPrint_P相匹配，FingerPrint_P为P个音频标识中的一个，所述相匹配包括相同或者相似，则记录当前第一照片中的一个音频标识与第二照片中的一个音频标识相匹配。按照同样的方法，比较第一照片中的其他音频标识是否与P个音频标识中的任意一个相同或相似，轮询完M个音频标识后，统计出与第二照片的P个音频标识相匹配的所有音频标识数量，比如在M个音频标识中有L个音频标识与所述第二照片的P个音频标识相匹配，则相似度可通过数量占比L/M来衡量，如果L/M大于等于所述阈值，比如L＝6，M＝10，所述阈值为50％，则6/10≥50％，确定当前所述第一照片与所述第二照片相匹配。如果L＝4，M＝10，则4/10＝40％＜50％，确定当前所述第一照片与所述第二照片相匹配。其中，所述阈值可以预定义。

另外，在前述步骤1017还包括：判断所述第一照片是否有一个或多个音频标识。

具体地，如图6所示，一种实现方式是，通过判断预设字段中内容是否为空来确定，所述预设字段用于承载音频标识/音频指纹信息，如表2所示，如果预设字段的内容不为空，比如该预设字段中包含的内容为0X5A5A5A5A5A，则确定所述第一照片中包含与其对应的一个或多个所述音频标识。如果为空，即该预设字段中未存储音频标识/音频指纹信息，则确定第一照片不包含音频标识/音频指纹，结束流程。

可选的，所述预设字段又称为“魔数”，用于表示是否承载所述音频标识或音频指纹信息。

表2

预设字段(魔数)内容是否为空	结果
		是	无音频标识/音频指纹
否(如0X5A5A5A5A5A)	有音频标识/音频指纹

当判断第一照片中包含至少一个音频标识之后，还包括读取所述预设字段的内容，获取所述音频标识或音频指纹信息。所述音频标识或音频指纹信息包括音频指纹长度、音频指纹头部信息。如表3所示，在一音频指纹信息中包括音频指纹长度和音频指纹的头部信息，比如所述音频指纹长度占8个字节，音频指纹2的头部信息占6个字节，且该音频指纹2的头部信息包括编号(0x00)和大小(0012345678)，其中，编号占2字节，大小占4字节。所述音频指纹2的格式为：FingerPrint_20210320_18888_02.dat。同理地，音频指纹M的头部信息包括0x0001ABCDEF00，该头部信息也包括编号(0x00)和大小(01ABCDEF00)，且所述音频指纹M的格式为：FingerPrint_20210320_18888_M.dat。

表3

前述步骤1017：对所述第一照片进行解析得到所述一个或多个音频标识，具体包括：解析所述音频标识或音频指纹信息得到所述第一照片对应的一个或多个音频标识/音频指纹。然后执行前述步骤1021至1023的查找匹配流程。

本实施例中，通过查找承载音频标识或音频指纹信息的预设字段可以对第一照片中是否包含一个或多个音频标识进行判断，当判断预设字段中携带音频标识或音频指纹信息时，对这些信息进行解析可得到第一照片对应的一个或多个音频标识/音频指纹。

步骤103：如果是，则所述相匹配的照片为目标照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值。

反之，如果相似度小于所述阈值，则确定当前照片与所述第一照片不相匹配，进而当前照片不能作为目标照片。

步骤104：确定所述第一照片和所述目标照片为同类照片，并通过有声相册显示所述同类照片。其中，所述有声相册中包含所述第一照片和所述目标照片。

例如，所述目标照片的照片序号是②，第一照片的序号是①，则确定照片②和①是同一类照片，然后建立一个有声相册，该有声相册中存储照片①和照片②。

在步骤104后，方法还包括：获取每个所述目标照片的序号；将每个所述目标照片的序号更新到所述第一照片的照片信息，其中所述所有目标照片的序号通过类似照片序号字段添加在所述第一照片的照片信息中。

例如，在遍历图库中其他照片或图片，查找到与所述第一照片相匹配的目标照片后，假设这些目标照片的序号包括②、③、⑥和⑩，然后将这些目标照片序号插入到第一照片的照片信息中，可以通过类似照片序号字段添加所有目标照片的序号，得到更新后的第一照片的照片信息，如表4所示。

表4

此外，可选的，如果在步骤102中，没有找到与所述第一照片相匹配的照片，即所述图库中的每一个照片所对应的一个或多个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度小于所述阈值，确定图库中没有与所述第一照片属于同类的照片。此时，可以创建一个新的相册，包含所述第一照片。

在如表4所示的示例中，生成和显示的“有声相册”中包括：照片序号①②③⑥⑩等。一种显示“有声相册”的示例如图7所示，在原图库应用中新增加“有声相册”，该“有声相册”控件中可以包括分类的至少一个相册集，每个所述相册集可通过一个相册标识表示。所述相册标识为媒体项目(MediaItem)，至少任意一个或多个相册集中包括所述第一照片和所述目标照片。

如图7所示，有声相册中包括两个相册集，所述两个相册集分别可通过MediaItem1和MediaItem 2表示。其中一个相册集描述“大海”的音频相关内容，记录的音频内容包括海浪、海鸥/海鸟等；另一个相册集描述“闹市”的音频相关内容，比如记录人潮喧闹声、买卖吆喝、车辆声等。应理解，有声相册中还可以包括其他更多的相册集，本实施例对此不予限制。

其中，所述有声相册通过“有声相册设置页面”(AudioAlbumSetPage)生成。

在前述步骤103和104中，终端设备的数据管理器22根据所述第一照片的至少一个音频标识对所述第一照片进行分类，确定第一照片所属的类序号，建立“有声相册”，并在图库应用中显示所述有声相册。其中，在图库应用中显示相册的过程主要涉及应用层的图库APP、相册设置页面(AlbumSetPage)11、有声相册设置页面(AudioAlbumSetPage)12、框架层的数据管理器(DataManager)22、窗口管理器(WindowsManager)23和根试图(RootView)24之间的交互过程。下面对步骤104中，通过所述有声相册设置页面12生成并显示有声相册的过程进行详细介绍。

如图8所示，交互过程包括：图库APP向数据管理器22发送一个请求消息，该请求消息用于请求获取已经分类的相册所对应的媒体设置项(MediaSet)，所述mediaSet用于指示一个相册集，每个所述相册集中包括至少一个有声照片的存储路径。

数据管理器22接收所述请求消息后，将其转发至媒体信息数据库(MediaSQLite)31。媒体信息数据库31接收所述请求消息后获取目标相册信息，所述目标相册信息中包括目标相册的指示信息，所述目标相册的指示信息用于指示目标相册集(目标MediaItem)。其中，所述目标相册的指示信息为目标MediaSet信息。

媒体信息数据库31将该目标相册信息反馈给数据管理器22。数据管理器22接收来自媒体信息数据库31的目标相册信息后，将通过窗口管理器23和根试图24将该目标相册信息发送给图库APP。

图库APP中的有声相册设置页面12接收所述目标相册信息，并根据该目标相册信息向媒体资源库(MediaSource)32请求获取本地的目标相册。媒体资源库32接收来自图库APP的请求消息后，向所述图库APP反馈目标相册，所述目标相册中包括第一照片和与第一照片属于同类的其他照片。

有声相册设置页面12接收所述目标相册，并显示该目标相册。所述目标相册为“有声相册”。

其中，有声相册设置页面12接收到所述目标相册后，根据目标MediaSet信息确定被划分为同一类的所有图片和/或照片，然后通过显示界面显示所述目标相册。

例如图9所示，MediaSet中设置了媒体项目1(MediaItem 1)、媒体项目2(MediaItem2)等，每个MediaItem对应于一个相册集，比如MediaItem1对应“相册集1”，该相册集1中包含3张有声照片的存储路径，分别是有声照片1、有声照片2和有声照片3的存储路径，所述路径可以是存储在媒体资源库中的照片或图片的地址，用于找到该路径所指示的照片或图片。

本方面提供的方法，利用照片的音频标识，在图库中查找与其相匹配的照片，对查找到的相匹配照片划分为同一类，并通过有声相册显示，由于照片所对应的每个音频标识指示一个音频片段，每个音频片段可以记录和反映该照片的音频环境，所以利用音频标识可以按照照片所具有的相同或相似的特征，有效地对不同照片进行分类，把相似度较高的照片归为一类，便于后续对同类照片的快速查找，避免利用逐个播放各个照片的音频的方法对照片进行查找，并且也不用对每个照片先浏览后再归类，本方法提高了照片分类的效率，节约了耗时。

另外，可选的，在前述步骤102查找是否有与所述第一照片相匹配的照片的步骤可以通过用户操作来触发，具体地，一种用户触发的操作为：在显示界面上显示第一控件，所述第一控件用于启动对所述第一照片的查找功能；当接收到用户点击所述第一控件的操作时，响应于所述操作在图库中对所述第一照片进行查找，执行前述步骤102。

或者，还可以不需要用户手动触发，在步骤101，终端设备获取第一照片以及所述第一照片对应的一个或多个音频标识之后自动执行步骤102。

另外，本申请根据前述实施例的方法，将所述有声相册中的所有照片/图片作为“有声照片”显示在图库应用中，如图10所示，示出了2021年5月8日拍摄的所有已经分类的有声照片。该“有声照片”的生成和显示可以通过有声照片页面(AudioPhotoPage)13来实现。根据该“有声照片”可以在图库中快速查找与第一照片属于同一类的其他照片。

具体地，本申请实施例提供了一种照片查找方法，该方法针对按照前述实施例的方法已经对照片进行分类之后，基于MediaStore在媒体信息数据库中扫描的照片信息，在图库应用中对所有已分类的照片增加“以图找图”的功能，比如在图库中查找与当前第一照片相匹配的照片，从而实现对第一照片的快速查找。

如图11所示，所述照片查找方法包括：

步骤201：获取第一照片的照片信息，所述第一照片的照片信息包括类似照片序号字段。

其中，所述第一照片的照片信息可以是前述实施例中步骤104后，将查找到的每个目标照片的序号更新到所述第一照片的照片信息时获得。

所述第一照片可以是“有声相册”中的任一照片，比如用户在“有声相册”中选取任意一张照片作为所述第一照片，该照片可作为源照片。然后在终端设备的显示界面上显示该第一照片，同时生成并显示“以图找图”控件，如图12a所示。

步骤202：接收用户在显示界面上的点击操作，所述点击操作是指用户点击“以图找图”控件的操作，该触发对所述第一照片的查找功能。

具体地，当用户在显示界面上点击的“以图找图”控件，所述终端设备接收点击的“以图找图”控件的操作后，该启动查找同类照片的功能，即启动在“有声照片”中查找与第一照片相似的目标照片。所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值。

步骤203：响应于所述点击操作，获取所述类似照片序号字段。

具体地，终端设备的数据管理器22在媒体信息数据库31中获取第一照片的照片信息，所述第一照片的照片信息中包括类似照片序号字段，所述类似照片序号字段中包含与第一照片相类似的所有目标照片。比如，在前述表4所示的一个第一照片的照片信息中，所述类似照片序号字段中包含与第一照片属于同一类的所有照片序号②③⑥⑩。

步骤204：根据所述类似照片序号字段的内容获得所有目标照片。

步骤205：显示所有所述目标照片。

其中，步骤204具体包括：数据管理器22先根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径，然后再根据每个所述目标照片的存储路径获得所有目标照片。

进一步地，数据管理器22根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径，包括：确定目标相册信息，所述目标相册信息可用于指示目标相册集(目标MediaItem)，所述目标相册集中包括与所述第一照片相匹配的至少一个目标照片的存储路径。然后，数据管理器22根据所述目标相册集指示的所述至少一个目标照片的存储路径在媒体资源库中获取与所述第一照片相匹配的所有目标照片。

例如，当用户点击“以图找图”控件后，手机后台运行时序。图库APP获取选中源照片的对应目标mediaItem，比如如图9所示，目标mediaItem指示的是mediaItem 1，即相册集1，该相册集1中包含3个有声照片的存储路径，分别是有声照片1、有声照片2和有声照片3的存储路径。图库APP根据有声照片1至3的存储路径从媒体资源库(MediaSource)中加载并显示“有声照片1”、“有声照片2”、“有声照片3”。

在一示例中，当用户选择河边的一处风景作为第一照片，然后点击“以图找图”按钮/控件，如图12a，终端设备接收用户的点击操作后，在所有“有声照片”中查找相似的照片/图片，并显示所有类似照片/图片(即与第一照片属于同类的目标照片)，图12b所示。

本方面提供的方法，在对第一照片进行分类的过程中，在第一照片的照片信息中添加了类似照片序号字段，该字段中包含了与第一照片相匹配的所有目标照片，所以一旦用户触发查找功能启动在图库中查找同类照片时，就可以快速查找到该第一照片的照片信息中的类似照片序号字段，进而获得与第一照片同类的所有目标照片，达到了一键快速查找的有益效果，极大的提高了查找效率。

下面介绍与本申请方法实施例所对应的装置实施例。

图13为本申请实施例提供的一种装置的结构示意图。所述装置可以应用于前述的终端设备，或者，还可以是位于终端设备中的处理芯片。并且，该装置用于执行前述实施例中的带有音频标识的照片分类方法，以及照片查找方法。

其中，该装置包括：获取模块1301、处理模块1302和显示模块1303，此外还可以包括其他单元或模块，比如接收模块、发送模块、存储模块/存储单元、更新模块等。

当该装置作为一种照片分类装置时，获取模块1301，用于获取第一照片以及所述第一照片对应的一个或多个音频标识，每个所述音频标识对应所述第一照片的一个音频片段，所述音频片段记录所述第一照片在生成过程中的音频环境内容。

处理模块1302，用于根据所述第一照片对应的一个或多个音频指纹在图库中查找是否有与所述第一照片相匹配的照片；如果是，则所述相匹配的照片为目标照片，确定所述第一照片与所述目标照片为同类照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值。

显示模块1303，用于通过有声相册显示所述同类照片，所述有声相册中包含所述第一照片和所述目标照片。

可选的，在本实施例的一种具体的实施方式中，处理模块1302，具体用于遍历所述第一照片的每个音频标识，比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配；统计与所述待查找照片中所有相匹配的音频标识的数量；根据所述数量与所述第一照片所对应的所有音频标识的数量的占比，确定是否与所述第一照片相匹配。

进一步地，处理模块1302具体还用于比较所述第一照片的每个音频标识的频谱特性与待查找照片所对应的每个音频标识的频谱特性是否相匹配；其中，所述频谱特性包括：频谱幅值和频谱能量中至少一种。

可选的，在本实施例的另一种具体的实施方式中，处理模块1302，在查找是否有与所述第一照片相匹配的照片之前，还用于通过所述显示模块在显示界面上显示第一控件，所述第一控件用于启动对所述第一照片的查找功能；以及，接收用户点击所述第一控件的操作，响应于所述操作在图库中对所述第一照片进行查找。

可选的，在本实施例的另一种具体的实施方式中，获取模块1301，具体用于获取第一照片文件，以及，解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识；所述第一照片文件包括：所述第一照片和所述第一照片对应的一个或多个音频标识。

可选的，在本实施例的又一种具体的实施方式中，接收模块，用于接收用户启动图库应用的操作；所述处理模块，用于响应于所述操作扫描图库资源得到第一照片的照片信息，所述第一照片的照片信息包括第一照片的存储路径和照片名称；所述获取单元，还用于根据所述第一照片的存储路径和照片名称在媒体资源库中获取所述第一照片，以及解析所述第一照片得到所述一个或多个音频标识。

可选的，在本实施例的又一种具体的实施方式中，处理模块1302，在所述获取模块1301解析所述第一照片得到所述一个或多个音频标识之前，还用于判断在用于承载音频指纹的预设字段中内容是否为空；如果不为空，则确定所述第一照片中包含与其对应的一个或多个所述音频标识。

其中，所述预设字段用于承载音频指纹信息，所述音频指纹信息包括：音频指纹长度和音频指纹头部信息等。

可选的，所述装置还包括更新模块，当所述获取模块1301获取每个所述目标照片的序号后，所述更新模块，用于将每个所述目标照片的序号更新到所述第一照片的照片信息，其中所述所有目标照片的序号通过类似照片序号字段添加在所述第一照片的照片信息中。

此外，处理模块1302，还用于加载所述第一照片到目标相册，所述目标相册为所述目标照片所属的相册；显示模块，用于在图库应用中显示所述目标相册，其中，所述目标相册为有声相册。所述有声相册中包括至少一个相册集，每个所述相册集通过一个相册标识表示；所述至少一个相册集中包括所述第一照片和所述目标照片。

当图13所示的装置为一种照片查找装置时，所述获取模块1301，用于获取第一照片的照片信息，所述第一照片的照片信息包括类似照片序号字段，所述类似照片序号字段中包括与所述第一照片相匹配的所有目标照片的序号，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；接收模块，用于接收用户在显示界面上的点击操作；处理模块1302，用于接收用户在显示界面上的点击操作，响应于所述点击操作，获取所述类似照片序号字段；根据所述类似照片序号字段的内容获得所有目标照片，所述点击操作触发对所述第一照片的查找功能；显示模块1303，用于显示所述所有目标照片。

可选的，在一种具体的实施方式中，处理模块1302，具体用于根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径，根据每个所述目标照片的存储路径获得所有目标照片。

进一步地，所述接收模块，具体用于接收用户在所述显示界面上点击“以图找图”控件的操作。

本申请实施例还提供了一种终端设备，该终端设备的结构可参见前述图2所示的结构。在终端设备中，图13所示的获取模块1301和处理模块1302的功能可通过处理器110和/或存储器120来实现，所述显示模块1303的功能可通过显示屏170来实现。

此外，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的照片分类方法、照片查找方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体ROM或随机存储记忆体RAM等。

在上述实施例中，可以全部或部分通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序时，全部或部分地产生按照本申请上述各个实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。

所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络设备、计算机、服务器或数据中心通过有线或无线方式向另一个设备、计算机或服务器进行传输。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于一种媒体流发送装置的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (14)

1.一种带有音频标识的照片分类方法，其特征在于，所述方法包括：

获取第一照片以及所述第一照片对应的一个或多个音频标识，每个所述音频标识对应所述第一照片的一个音频片段，所述音频片段记录所述第一照片在生成过程中的音频环境内容；

根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片；

如果是，则所述相匹配的照片为目标照片，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；

确定所述第一照片与所述目标照片为同类照片，并通过有声相册显示所述同类照片，所述有声相册中包含所述第一照片和所述目标照片。

2.根据权利要求1所述的方法，其特征在于，根据所述一个或多个音频标识在图库中查找是否有与所述第一照片相匹配的照片，包括：

遍历所述第一照片的每个音频标识，比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配；

统计与所述待查找照片中所有相匹配的音频标识的数量；

根据所述数量与所述第一照片所对应的所有音频标识的数量的占比，确定是否与所述第一照片相匹配。

3.根据权利要求2所述的方法，其特征在于，所述比较每个所述音频标识与待查找的照片所对应的每个音频标识是否相匹配，包括：

比较所述第一照片的每个音频标识的频谱特性与待查找照片所对应的每个音频标识的频谱特性是否相匹配；

所述频谱特性包括：频谱幅值和频谱能量中至少一种。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述查找是否有与所述第一照片相匹配的照片之前，还包括：

在显示界面上显示第一控件，所述第一控件用于启动对所述第一照片的查找功能；

接收用户点击所述第一控件的操作；

响应于所述操作在图库中对所述第一照片进行查找。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取第一照片以及所述第一照片对应的一个或多个音频标识，包括：

获取第一照片文件，所述第一照片文件包括：所述第一照片和所述第一照片对应的一个或多个音频标识；

解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识。

6.根据权利要求5所述的方法，其特征在于，解析所述第一照片文件获得所述第一照片以及所述第一照片对应的一个或多个音频标识，包括：

接收用户启动图库应用的操作；

响应于所述操作扫描图库资源得到第一照片的照片信息，所述第一照片的照片信息包括第一照片的存储路径和照片名称；

根据所述第一照片的存储路径和照片名称在媒体资源库中获取所述第一照片；

解析所述第一照片得到所述一个或多个音频标识。

7.根据权利要求6所述的方法，其特征在于，在解析所述第一照片得到所述一个或多个音频标识之前，还包括：

判断在用于承载音频标识的预设字段中内容是否为空；

如果不为空，则确定所述第一照片中包含与其对应的一个或多个所述音频标识。

8.根据权利要求6或7所述的方法，其特征在于，还包括：

获取每个所述目标照片的序号；

将每个所述目标照片的序号更新到所述第一照片的照片信息，其中所述所有目标照片的序号通过类似照片序号字段添加在所述第一照片的照片信息中。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述有声相册中包括至少一个相册集，每个所述相册集通过一个相册标识表示；

所述至少一个相册集中包括所述第一照片和所述目标照片。

10.一种照片查找方法，其特征在于，用于在图库中查找与所述第一照片同类的目标照片，所述第一照片预先按照权利要求1至9任一项所述方法分类完成，所述照片查找方法，包括：

获取第一照片的照片信息，所述第一照片的照片信息包括类似照片序号字段，所述类似照片序号字段中包括与所述第一照片相匹配的所有目标照片的序号，所述目标照片所对应的至少一个音频标识与所述第一照片对应的一个或多个音频标识相比，相似度大于等于阈值；

接收用户在显示界面上的点击操作；

响应于所述点击操作，获取所述类似照片序号字段；

根据所述类似照片序号字段的内容获得所有目标照片；

显示所有所述目标照片。

11.根据权利要求10所述的方法，其特征在于，根据所述类似照片序号字段的内容获得所有目标照片，包括：

根据所述类似照片序号字段中的目标照片的序号获得每个所述目标照片的存储路径；

根据每个所述目标照片的存储路径获得所有目标照片。

12.根据权利要求10或11所述的方法，其特征在于，所述接收用户在显示界面上的点击操作，包括：

接收用户在所述显示界面上点击“以图找图”控件的操作。

13.一种终端设备，其特征在于，包括存储器和至少一个处理器，其中，

所述存储器中存储一个或多个计算机程序；

当所述至少一个处理器执行所述一个或多个计算机程序时，使得所述终端设备实现如权利要求1至12中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，

当所述计算机程序指令被运行时，实现如权利要求1至12中任一项所述的方法。

Images