CN108235765B - 一种故事相册的显示方法及装置 - Google Patents

一种故事相册的显示方法及装置 Download PDF

Info

Publication number
CN108235765B
CN108235765B CN201780003499.3A CN201780003499A CN108235765B CN 108235765 B CN108235765 B CN 108235765B CN 201780003499 A CN201780003499 A CN 201780003499A CN 108235765 B CN108235765 B CN 108235765B
Authority
CN
China
Prior art keywords
images
terminal
album
story album
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003499.3A
Other languages
English (en)
Other versions
CN108235765A (zh
Inventor
唐忠樑
蒋华
李汤锁
陈绍君
杜明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108235765A publication Critical patent/CN108235765A/zh
Application granted granted Critical
Publication of CN108235765B publication Critical patent/CN108235765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请的实施例提供一种故事相册的显示方法及装置,涉及通信技术领域,可生成具有主题性的故事相册,以提高终端对图库的图像管理效率。该方法包括:终端按照第一维度聚合图库中的N个图像,所述第一维度包括拍摄时间和/或拍摄地点,N>1;所述终端显示故事相册的相册封面,所述故事相册包括所述N个图像中的M个图像,所述M个图像与目标相册所述故事相册的主题相关联,M<N。

Description

一种故事相册的显示方法及装置
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种故事相册的显示方法及装置。
背景技术
故事相册(story album)功能是指对终端图库中的图像进行自动聚合,从而制作成的一个或多个故事相册,使用户可以快速简便的回看过往某些重要事件的照片。
目前,终端可根据图库中每一张图像的拍摄位置或拍摄时间,将某一时间段或某一地点处拍摄的照片进行聚合,并以短视频的形式制作成故事相册。例如,将2017-11-4至2017-11-5日在延庆区拍摄的照片集合制作为故事相册A,如图1所示,可在该故事相册A中选择一张照片作为故事相册A的相册封面11,该相册封面11上可显示用于反映该故事相册A内各个照片特点的描述信息12。
由于上述故事相册A是根据拍摄位置或拍摄时间聚合得到的,因此,上述描述信息12一般用于反映具体的拍摄位置或拍摄时间信息。但是,随着图库中图像数量的增长,单一地通过摄位置或拍摄时间在图库中查找对用户有价值和感兴趣的图像将变得越来越困难。如果用户忘记了准确时间或者地点,在图库中搜寻大量图像就变得困难和费时,使得终端对图库的图像管理效率降低。
发明内容
本申请的实施例提供一种故事相册的显示方法及装置,可生成具有主题性的故事相册,以提高终端对图库的图像管理效率。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请的实施例提供一种故事相册的显示方法,包括:终端按照第一维度(该第一维度包括拍摄时间和/或拍摄地点)聚合图库中的N(N>1)个图像;终端显示故事相册的相册封面,该故事相册包括上述N个图像中的M(M<N)个图像,这M个图像与该故事相册的主题相关联。
也就是说,终端根据拍摄时间和/或拍摄地点聚合了图库中的N个图像后,可在这N个图像中筛选出具有主体性的M个图像,从而将这M个图像创建为故事相册显示给用户。这样生成的故事相册具有鲜明的主题性,用户可按照主题从相应故事相册中选择所需的图像,从而提高后续终端对图库中图像的管理效率。
示例性的,上述故事相册的主题具体可以包括生日、聚会、婚礼、运动、毕业、节假日、夜景、本地游以及外地游中的至少一项。
在一种可能的设计方法中,上述相册封面上包括上述故事相册的标题,该标题与确定出的主题、上述N个图像的拍摄时间和上述N个图像的拍摄地点中的至少一个相关联。这样用户通过相册封面上显示的标题及时了解该故事相册中图像的基本信息。
在一种可能的设计方法中,在终端按照第一维度聚合图库中的N个图像之后,还包括:终端去除该N个图像中的无效图像,得到M个图像组成的该故事相册,该无效图像包括具有无效标签的图像或图像相似度大于阈值的一个或多个图像。也就是说,终端可以将初始故事相册中与主题不符的无效图像去除,使得创建出的故事相册中的图像之间的关联性较强。
在一种可能的设计方法中,在终端去除该N个图像中的无效图像,得到M个图像组成的该故事相册之后,还包括:终端按照第二维度确定与该M个图像相关联的主题,得到该故事相册的主题,该第二维度包括该M个图像中至少一个图像的图像特征。
也就是说,在终端基于第一维度聚合得到的N个图像的基础上,终端可进一步根据各图像的具体图像特征识别该N个图像的主题场景,即在图像特征这一维度(本申请实施例中将其称为第二维度)上对图像内容进行识别,从而确定故事相册的主题场景,使得终端在创建故事相册时实现了对图像的多维理解,这样终端可以识别出的主题场景为中心聚合生成主题性鲜明的故事相册,提高终端对图库中图像的管理效率。
在一种可能的设计方法中,在终端按照第二维度确定与该M个图像相关联的该故事相册的主题之后,还包括:终端按照第三维度对该故事相册的主题进行修正,该第三维度包括目标应用中与该故事相册的主题相关联的关联信息。
可以看出,本申请实施例中终端可在图像的属性信息、图像的图像特征,以及与图像关联的目标应用这三个维度上,对图库中的图像进行处理,以识别出图库中图像的主题场景,从而将主题性较强的图像聚合为故事相册,创建用户更加感兴趣或价值更高的主题性故事相册。
在一种可能的设计方法中,该第一维度中包括拍摄时间,其中,终端按照第一维度聚合图库中的N个图像,包括:终端将Z个时间段中每个时间段内生成的图像聚合为一个图像集合,得到Z个图像集合,该Z个图像集合与该Z个时间段一一对应,Z≥2;当相邻图像集合之间的时间间隔小于间隔阈值时,终端将该相邻图像集合进行聚合。
在一种可能的设计方法中,该第一维度中还包括拍摄地点,其中,当相邻图像集合的拍摄地点均不是预先设置的地点时,说明用户很可能在非常驻地长途旅行,此时可设置该间隔阈值为较大的第一预设值;而当相邻图像集合的拍摄地点均为预先设置的地点时,可设置该间隔阈值为较小的第二预设值,从而将连续拍摄的图像聚合在一起,以便创建故事相册。
在一种可能的设计方法中,终端按照第二维度确定与该M个图像相关联的主题,得到该故事相册的主题,包括:终端对比该M个图像的标签分布情况与预先设置的每一个候选主题的标签分布情况;当该M个图像的标签分布情况符合第一候选主题的标签分布情况时,终端将该第一候选主题确定为该故事相册的主题。
在一种可能的设计方法中,终端去除该N个图像中的无效图像,包括:终端显示从该N个图像中识别出的X个相似度大于阈值的图像,X≥2;响应于用户从该X个图像中选择的目标图像,终端将该目标图像保留在该故事相册中,并将该X个图像中除该目标图像外的其余图像去除。
在一种可能的设计方法中,终端去除该故事相册中的无效图像,包括:终端显示从该N个图像中识别出的Y个标签,每个图像的标签用于反映该图像的图像特征,Y≥2;响应于用户从该Y个标签中选择的目标标签,终端将具有该目标标签的图像保留在该故事相册中,将不具有该目标标签的图像去除。
在一种可能的设计方法中,在终端显示故事相册的相册封面之后,还包括:终端播放该故事相册,其中,在播放该故事相册中的第一图像时,终端显示该第一图像的拍摄时间和/或拍摄地点。这样可以在播放故事相册的过程中帮助用户快速回忆与当前的播放图像相关的信息,提高了用户使用故事相册时的使用体验。
在一种可能的设计方法中,该第一维度还包括该故事相册中出现的人物、该故事相册的播放时长、该故事相册中的图像数量以及该故事相册的主题中的至少一项;其中,在终端按照第一维度聚合图库中的N个图像之前,还包括:终端接收用户对待创建的故事相册输入的目标时间段、目标拍摄地点、目标人物、目标播放时长、目标图像数量以及目标主题中的至少一项。
也就是说,终端可以提示用户选择故事相册的相册主题、包含的人物、拍摄时间、拍摄地点、播放时长、图像数量等一项或多项条件,并根据用户选择的条件筛选相关的图像,从而创建符合用户期望的故事相册。
第二方面,本申请的实施例提供一种故事相册的显示方法,包括:终端接收用户在目标应用中输入的日程信息;终端将图库中的N(N>1)个图像创建为故事相册;终端显示该故事相册的相册封面,该相册封面上的标题与上述日程信息相关联,这样可以创建用户更加感兴趣或价值更高的主题性故事相册。
在一种可能的设计方法中,该目标应用包括:备忘录、日历、邮件、记事本、电话、短信以及联系人中的至少一个。
第三方面,本申请的实施例提供一种终端,包括:聚合单元,用于按照第一维度聚合图库中的N个图像,该第一维度包括拍摄时间和/或拍摄地点,N>1;显示单元,用于显示故事相册的相册封面,该故事相册包括该N个图像中的M个图像,该M个图像与该故事相册的主题相关联,M<N。
在一种可能的设计方法中,还包括:去除单元,用于去除该N个图像中的无效图像,得到M个图像组成的该故事相册,该无效图像包括具有无效标签的图像或图像相似度大于阈值的一个或多个图像。
在一种可能的设计方法中,还包括:确定单元,用于按照第二维度确定与该M个图像相关联的主题,得到该故事相册的主题,该第二维度包括该M个图像中至少一个图像的图像特征。
在一种可能的设计方法中,还包括:修正单元,用于按照第三维度对该故事相册的主题进行修正,该第三维度包括目标应用中与该故事相册的主题相关联的关联信息。
在一种可能的设计方法中,该第一维度中包括拍摄时间,该聚合单元,具体用于:将Z个时间段中每个时间段内生成的图像聚合为一个图像集合,得到Z个图像集合,该Z个图像集合与该Z个时间段一一对应,Z≥2;当相邻图像集合之间的时间间隔小于间隔阈值时,将该相邻图像集合进行聚合。
在一种可能的设计方法中,该第一维度中还包括拍摄地点,其中,当相邻图像集合的拍摄地点均不是预先设置的地点时,该间隔阈值为第一预设值;当相邻图像集合的拍摄地点均为预先设置的地点时,该间隔阈值为第二预设值,该第二预设值小于该第一预设值。
在一种可能的设计方法中,该确定单元,具体用于:对比该M个图像的标签分布情况与预先设置的每一个候选主题的标签分布情况;当该M个图像的标签分布情况符合第一候选主题的标签分布情况时,将该第一候选主题确定为该故事相册的主题。
在一种可能的设计方法中,该显示单元,还用于显示从该N个图像中识别出的X个相似度大于阈值的图像,X≥2;该去除单元,具体用于:响应于用户从该X个图像中选择的目标图像,将该目标图像保留在该故事相册中,并将该X个图像中除该目标图像外的其余图像去除。
在一种可能的设计方法中,该显示单元,还用于显示从该N个图像中识别出的Y个标签,每个图像的标签用于反映该图像的图像特征,Y≥2;该去除单元,具体用于:响应于用户从该Y个标签中选择的目标标签,将具有该目标标签的图像保留在该故事相册中,将不具有该目标标签的图像去除。
在一种可能的设计方法中,该显示单元,还用于播放该故事相册,其中,在播放该故事相册中的第一图像时,终端显示该第一图像的拍摄时间和/或拍摄地点。
在一种可能的设计方法中,该第一维度还包括该故事相册中出现的人物、该故事相册的播放时长、故事相册中的图像数量以及该故事相册的主题中的至少一项;终端还包括:获取单元,用于接收用户对待创建的故事相册输入的目标时间段、目标拍摄地点、目标人物、目标播放时长、目标图像数量以及目标主题中的至少一项。
第四方面,本申请的实施例提供一种终端,包括:获取单元,用于接收用户在目标应用中输入的日程信息;创建单元,用于将图库中的N个图像创建为故事相册,其中,N>1;显示单元,用于显示该故事相册的相册封面,该相册封面上包括该故事相册的标题,该标题与该日程信息相关联。
第五方面,本申请的实施例提供一种终端,包括:处理器、存储器、总线和通信接口;该存储器用于存储计算机执行指令,该处理器与该存储器通过该总线连接,当终端运行时,该处理器执行该存储器存储的该计算机执行指令,以使终端执行上述任一项故事相册的显示方法。
第六方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在上述任一项终端上运行时,使得终端执行上述任一项故事相册的显示方法。
第七方面,本申请实施例提供一种包含指令的计算机程序产品,当其在上述任一项终端上运行时,使得终端执行上述任一项故事相册的显示方法。
本申请的实施例中,上述终端的名字对设备本身不构成限定,在实际实现中,这些设备可以以其他名称出现。只要各个设备的功能和本申请的实施例类似,即属于本申请权利要求及其等同技术的范围之内。
另外,第二方面至第七方面中任一种设计方式所带来的技术效果可参见上述第一方面中不同设计方法所带来的技术效果,此处不再赘述。
附图说明
图1为现有技术中显示故事相册的应用场景;
图2为本申请实施例提供的一种终端的结构示意图一;
图3为本申请实施例提供的一种摄像头的拍摄原理示意图;
图4为本申请实施例提供的一种EXIF格式图像的结构示意图;
图5为本申请实施例提供的一种故事相册的显示方法的流程示意图;
图6为本申请实施例提供的一种创建故事相册的场景示意图一;
图7为本申请实施例提供的一种创建故事相册的场景示意图二;
图8为本申请实施例提供的一种创建故事相册的场景示意图三;
图9为本申请实施例提供的一种创建故事相册的场景示意图四;
图10为本申请实施例提供的一种创建故事相册的场景示意图五;
图11为本申请实施例提供的一种创建故事相册的场景示意图六;
图12为本申请实施例提供的一种创建故事相册的场景示意图七;
图13为本申请实施例提供的一种创建故事相册的场景示意图八;
图14为本申请实施例提供的一种创建故事相册的场景示意图九;
图15为本申请实施例提供的一种创建故事相册的场景示意图十;
图16为本申请实施例提供的一种创建故事相册的场景示意图十一;
图17为本申请实施例提供的一种创建故事相册的场景示意图十二;
图18为本申请实施例提供的一种创建故事相册的场景示意图十三;
图19为本申请实施例提供的一种创建故事相册的场景示意图十四;
图20为本申请实施例提供的一种创建故事相册的场景示意图十五;
图21为本申请实施例提供的一种创建故事相册的场景示意图十六;
图22为本申请实施例提供的一种创建故事相册的场景示意图十七;
图23为本申请实施例提供的一种终端的结构示意图二;
图24为本申请实施例提供的一种终端的结构示意图三;
图25为本申请实施例提供的一种终端的结构示意图四。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供的一种故事相册的显示方法可以应用于手机、平板电脑、可穿戴设备、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、车载设备等具有显示功能的任意终端,本申请实施例对此不作任何限制。
如图2所示,本申请实施例中的终端可以为手机100。下面以手机100为例对实施例进行具体说明。应该理解的是,图示手机100仅是上述终端的一个范例,并且手机100可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。
如图2所示,手机110具体可以包括:处理器101、射频(radio frequency,RF)电路102、存储器103、触摸屏104、蓝牙装置105、一个或多个传感器106、无线保真(wireless-fidelity,Wi-Fi)装置107、定位装置108、音频电路109、外设接口110以及电源系统111等部件。这些部件可通过一根或多根通信总线或信号线(图2中未示出)进行通信。本领域技术人员可以理解,图2中示出的硬件结构并不构成对手机的限定,手机110可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图2对手机110的各个部件进行具体的介绍:
处理器101是手机110的控制中心,利用各种接口和线路连接手机110的各个部分,通过运行或执行存储在存储器103内的应用程序,以及调用存储在存储器103内的数据,执行手机110的各种功能和处理数据。在一些实施例中,处理器101可包括一个或多个处理单元;举例来说,处理器101可以是华为技术有限公司制造的麒麟960芯片,也可以为高通骁龙820芯片。在本申请一些实施例中,上述处理器101还可以包括指纹验证芯片,用于对采集到的指纹进行验证。
射频电路102可用于在收发信息或通话过程中,无线信号的接收和发送。特别地,射频电路102可以将基站的下行数据接收后,给处理器101处理;另外,将涉及上行的数据发送给基站。通常,射频电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频电路102还可以通过无线通信和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。
存储器103用于存储应用程序以及数据,处理器101通过运行存储在存储器103的应用程序以及数据,执行手机110的各种功能以及数据处理。存储器103主要包括存储程序区以及存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等);存储数据区可以存储根据使用手机110时所创建的数据(比如音频数据、电话本等)。此外,存储器103可以包括高速随机存取存储器(randomaccess memory,RAM),还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。存储器103可以存储各种操作系统,例如,苹果公司所开发的
Figure BDA0001616687170000061
操作系统,谷歌公司所开发的
Figure BDA0001616687170000062
操作系统等。上述存储器103可以是独立的,通过上述通信总线与处理器101相连接;存储器103也可以和处理器101集成在一起。
触摸屏104具体可以包括触控板104-1和显示器104-2。
其中,触控板104-1可采集手机110的用户在其上或附近的触摸事件(比如用户使用手指、触控笔等任何适合的物体在触控板104-1上或在触控板104-1附近的操作),并将采集到的触摸信息发送给其他器件(例如处理器101)。其中,用户在触控板104-1附近的触摸事件可以称之为悬浮触控;悬浮触控可以是指,用户无需为了选择、移动或拖动目标(例如图标等)而直接接触触控板,而只需用户位于终端附近以便执行所想要的功能。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型来实现触控板104-1。
显示器(也可称为显示屏)104-2可用于显示由用户输入的信息或提供给用户的信息以及手机110的各种菜单。可以采用液晶显示器、有机发光二极管等形式来配置显示器104-2。触控板104-1可以覆盖在显示器104-2之上,当触控板104-1检测到在其上或附近的触摸事件后,传送给处理器101以确定触摸事件的类型,随后处理器101可以根据触摸事件的类型在显示器104-2上提供相应的视觉输出。虽然在图2中,触控板104-1与显示屏104-2是作为两个独立的部件来实现手机110的输入和输出功能,但是在某些实施例中,可以将触控板104-1与显示屏104-2集成而实现手机110的输入和输出功能。
可以理解的是,触摸屏104是由多层的材料堆叠而成,本申请实施例中只展示出了触控板(层)和显示屏(层),其他层在本申请实施例中不予记载。另外,触控板104-1可以以全面板的形式配置在手机110的正面,显示屏104-2也可以以全面板的形式配置在手机110的正面,这样在手机的正面就能够实现无边框的结构。
手机110还可以包括蓝牙装置105,用于实现手机110与其他短距离的终端(例如手机、智能手表等)之间的数据交换。本申请实施例中的蓝牙装置可以是集成电路或者蓝牙芯片等。
手机110还可以包括至少一种传感器106,比如指纹采集器件、光传感器、运动传感器以及其他传感器。具体地,可以在手机110的背面(例如后置摄像头的下方)配置指纹采集器件,或者在手机110的正面(例如触摸屏104的下方)配置指纹采集器件。又例如,可以在触摸屏104中配置指纹采集器件来实现指纹识别功能,即指纹采集器件可以与触摸屏104集成在一起来实现手机110的指纹识别功能;光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节触摸屏104的显示器的亮度,接近传感器可在手机110移动到耳边时,关闭显示器的电源。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机110还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
Wi-Fi装置107,用于为手机110提供遵循Wi-Fi相关标准协议的网络接入,手机110可以通过Wi-Fi装置107接入到Wi-Fi接入点,进而帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问。在其他一些实施例中,该Wi-Fi装置107也可以作为Wi-Fi无线接入点,可以为其他终端提供Wi-Fi网络接入。
定位装置108,用于为手机110提供地理位置。可以理解的是,该定位装置108具体可以是全球定位系统(global positioning system,GPS)或北斗卫星导航系统、俄罗斯GLONASS等定位系统的接收器。定位装置108在接收到上述定位系统发送的地理位置后,将该信息发送给处理器101进行处理,或者发送给存储器103进行保存。在另外的一些实施例中,该定位装置108还可以是辅助全球卫星定位系统(assisted global positioningsystem,AGPS)的接收器,AGPS系统通过作为辅助服务器来协助定位装置108完成测距和定位服务,在这种情况下,辅助定位服务器通过无线通信网络与终端例如手机110的定位装置108(即GPS接收器)通信而提供定位协助。在另外的一些实施例中,该定位装置108也可以是基于Wi-Fi接入点的定位技术。由于每一个Wi-Fi接入点都有一个全球唯一的媒体介入控制(media access control,MAC)地址,终端在开启Wi-Fi的情况下即可扫描并收集周围的Wi-Fi接入点的广播信号,因此可以获取到Wi-Fi接入点广播出来的MAC地址;终端将这些能够标示Wi-Fi接入点的数据(例如MAC地址)通过无线通信网络发送给位置服务器,由位置服务器检索出每一个Wi-Fi接入点的地理位置,并结合Wi-Fi广播信号的强弱程度,计算出该终端的地理位置并发送到该终端的定位装置108中。
音频电路109、扬声器113、麦克风114可提供用户与手机110之间的音频接口。音频电路109可将接收到的音频数据转换后的电信号,传输到扬声器113,由扬声器113转换为声音信号输出;另一方面,麦克风114将收集的声音信号转换为电信号,由音频电路109接收后转换为音频数据,再将音频数据输出至RF电路102以发送给比如另一手机,或者将音频数据输出至存储器103以便进一步处理。
外设接口110,用于为外部的输入/输出设备(例如键盘、鼠标、外接显示器、外部存储器、用户识别模块卡等)提供各种接口。例如通过通用串行总线(universal serial bus,USB)接口与鼠标连接,通过用户识别模块卡卡槽上的金属触点与电信运营商提供的用户识别模块卡(subscriber identification module,SIM)卡进行连接。外设接口110可以被用来将上述外部的输入/输出外围设备耦接到处理器101和存储器103。
手机110还可以包括给各个部件供电的电源装置111(比如电池和电源管理芯片),电池可以通过电源管理芯片与处理器101逻辑相连,从而通过电源装置111实现管理充电、放电、以及功耗管理等功能。
如图2所示,手机110还可以包括摄像头112,该摄像头112可以是前置摄像头也可以是后置摄像头,本申请实施例对此不做任何限制。
具体的,如图3所示,摄像头112一般包括镜头(lens)和图像传感器(sensor),该图像传感器可以为CCD(Charge-coupled Device,电荷耦合元件)或者CMOS(ComplementaryMetal Oxide Semiconductor,互补金属氧化物半导体)等任意感光器件。
在拍摄过程中,景物的反射光线经过镜头后生成光学图像,该光学图像投射到图像传感器上,图像传感器将接收到的光信号转换为电信号,进而,摄像头112将得到的电信号发送至DSP(Digital Signal Processing,数字信号处理)模块进行数字信号处理,最终得到数字的数字图像。该数字图像可通过显示器104-2在手机100上输出,也可以将该数字图像存储在存储器103中。
其中,上述DSP模块可以以功能模块的形式集成在处理器101中,也可以以芯片的形式独立设置在手机100中,本申请实施例对此不做任何限制。
示例性的,DSP模块生成的数字图像可以以可交换图像文件(exchangeable imagefile,EXIF)格式存储在存储器103中。
如图4所示,EXIF格式的目标图像可由图像信息和EXIF信息组成。其中,该图像信息中包括目标图像内每个像素点的信息,例如像素点的灰阶值等。该图像信息的头部增加了一些有关目标图像的属性信息,例如,拍摄目标图像时的时间、地点、快门、光圈、白平衡、感光度、焦距、相机和/或镜头品牌、型号等,本申请实施例中可将其称其为EXIF信息。
具体的,处理器101指示摄像头112拍摄目标图像时,将此时终端的系统时间作为拍摄时间,触发上述定位装置108等传感器获取此时终端的拍摄地点等EXIF信息,并将这些EXIF信息添加至目标图像的图像信息的头部,最终将目标图像的EXIF信息和图像信息保存至存储器103中。
这样,处理器101通过读取目标图像的EXIF信息,可以获取到目标图像的拍摄时间以及拍摄地点等属性信息。那么,在为用户创建故事相册时,处理器101可以读取图库中各个图像的EXIF信息,将某一时间段和/或某一地点生成的图像进行聚合,进而将聚合后的图像制作成故事相册展示给用户。
在展示制作完的故事相册时,可在其相册封面上叠加显示该故事相册内图像的拍摄时间和/或拍摄地点,方便用户选择有价值或感兴趣的故事相册观看。
但是,随着图库中图像数量的增长,单一地通过拍摄位置或拍摄时间查找故事相册中对用户有价值和感兴趣的图像将变得越来越困难。如果用户忘记了准确时间或者地点,在故事相册中搜寻特定图像就变得困难和费时,使得终端对图库的图像管理效率降低。
对此,本申请实施例提供的一种故事相册的显示方法,如图5所示,该方法包括:
S501、终端读取图库中各个图像的属性信息。
以EXIF格式的图像为例,当需要创建故事相册时,终端可读取图库中已存储的多个图像中每个图像的EXIF信息,从而从每个图像的EXIF信息中得到该图像的拍摄时间、拍摄地点等属性信息。
其中,一个故事相册的创建可以是在用户无感知的情况下由终端自动触发的,例如,终端可周期性的自动为用户创建故事相册,或者,当一段时间内图库中的图像增长数量大于预设值时,也可触发终端自动创建故事相册。
当然,一个故事相册的创建也可以是由用户手动触发的,例如,用户进入终端的图库后可选中一定数量的图像,进而触发终端根据这些图像创建故事相册。
示例性的,终端可以将图库中图像的缩略图从时间维度上展示给用户,如图6所示,在展示周六-周日这个时间段内生成的图像的缩略图时,还可以设置创建对应于周六-周日这个时间段的故事相册的快捷键601。那么,当检测到用户点击该快捷键601时,可触发终端读取周六-周日这个时间段内每一张图像的EXIF信息,得到这些图像的拍摄时间、拍摄地点等属性信息。
S502、终端按照上述属性信息将图库中的N个图像聚合为初始故事相册,此处,N>1。
在一种可能的设计方法中,终端可根据上述属性信息中的拍摄时间,按照时间维度将图库中的N个图像聚合为初始故事相册。例如,将11月4日至11月5日生成的图像聚合为初始故事相册。
在另一种可能的设计方法中,终端还可以根据上述属性信息中的拍摄地点,按照地理位置维度将图库中的N个图像聚合为初始故事相册。例如,将在北京朝阳区内生成的图像聚合为初始故事相册;又例如,终端可以预先设置一个或多个地点的地理位置信息,例如,用户的居住地、工作地点、学校、常去场所等。那么,当终端判断出上述拍摄地点不是上述用户预先设置的地点时,用户可能在出差或旅游,因此,终端可以将在非预先设置的地点拍摄的图像聚合为初始故事相册。
在另一种可能的设计方法中,终端可以先按照拍摄时间,将短时间内生成的多个图像聚合为多个图像集合。例如,如图7所示,终端可采用聚类算法(density-basedspatial clustering of applications,DBSCAN)算法将11月4日下午拍摄的K1(K1≥1)张图像作为图像集合1,将11月4日上午拍摄的K2(K2≥1)张图像作为图像集合2,将11月3日上午拍摄的K3(K3≥1)张图像作为图像集合3。进而,终端可根据相邻两个图像集合之间的时间间隔将多个图像集合聚合为初始故事相册。
仍如图7所示,如果图像集合1与图像集合2之间的时间间隔T1小于4个小时,则终端可将图像集合1与图像集合2聚合为一个初始故事相册A。如果图像集合2与图像集合3之间的时间间隔T2也小于4个小时,则终端可继续将图像集合1、图像集合2以及图像集合3聚合为一个初始故事相册B。这样,在时间维度上终端可根据图库中图像的拍摄频率获取到待创建的初始故事相册。
进一步地,终端在根据相邻两个图像集合之间的时间间隔对上述图像集合进行聚合时,还可以根据图像集合中图像的拍摄地点调整上述时间间隔的阈值。
由于终端预先设置有用户的居住地、工作地点、学校、常去场所等地点的地理位置信息。那么,当相邻两个图像集合中图像的拍摄地均不属于上述任意预设地点时,说明用户很可能在非常驻地长途旅行,那么,终端可增加上述时间间隔进行图像集合的聚合。
如图8所示,图像集合3为终端于11月3日在上海拍摄的,图像集合2和图像集合1均为终端于11月4日在上海拍摄的,而用户预设的居住地位于北京,因此,终端可将聚合时使用的时间间隔阈值设置为2天,进而将图像集合1、图像集合2以及图像集合3聚合为一
个初始故事相册,从而保证用户在外地长途旅行时生成的图像能融合为一个相册。
又或者,终端还可以根据用户的输入操作调整上述时间间隔的阈值。示例性的,如图9所示,在制作故事相册时,终端可以以进度条的形式向用户展现图库中图像在各时间节点上的分布情况,那么,用户可以在进度条上通过手势操作(例如捏合或点按选择操作)改变初始故事相册中的图像数目。
如图9中的(a)所示,终端默认的初始故事相册中仅包括11.3-11.4这个时间段内生成的2个图像,用户通过捏合操作可扩大等待聚合的不同时间点的图像集合,即手动增加聚合时使用的时间间隔阈值,此时,如图9中的(b)所示,用户将初始故事相册中图像的时间跨度从11.3-11.4调整为10.28-11.5,同时,终端可将调整后的10.28-11.5这一时间跨度内生成的4个图像的缩略图显示在当前的显示界面中,方便用户确认调整后的时间跨度是否合适。
当然,终端也可以根据用户的输入操作选择将不同拍摄地点的图像聚合为初始故事相册。示例性的,如图10所示,在制作故事相册时,终端可以将读取到的北京市、上海市、深圳市以及西安市这4个拍摄地点作为候选选项显示在当前的显示界面中,用户可以从这些候选选项中选择一个或多个作为聚合初始故事相册时的依据。例如,用户在这4个拍摄地点中选择了北京市和深圳市,则终端可将属性信息中拍摄地点为北京市或深圳市的图像聚合为初始故事相册。
也就是说,终端在创建故事相册时,可根据图像的拍摄时间和/或拍摄地点等属性信息,在属性信息这一维度(本申请实施例中将其称为第一维度)上对图库中的图像进行理解和聚合,生成以拍摄时间和/或拍摄地点为约束条件的初始故事相册。
当然,终端根据图像的拍摄时间和/或拍摄地点聚合初始故事相册的方式可以有多种,本领域技术人员可以根据实际应用场景或实际经验对此进行设置,本申请实施例对此不作任何限制。
示例性的,终端读取图像的拍摄时间后,可进一步识别该拍摄时间是否为节假日或纪念日等特殊日子。例如,当图像1的拍摄时间为10月1日时,终端可识别出图像1的拍摄时间处于国庆节期间,那么,终端可以将10月1日-10月7日法定节假日内拍摄的N张图像聚合为初始故事相册。又例如,当图像2的拍摄时间为9月12日时,终端可识别出该图像2的拍摄时间为用户的生日,那么,终端可将图库中每一年9月12日拍摄的N张图像聚合为初始故事相册,作为用户的生日图像锦集。
终端可以从已安装的日历应用中获取上述节假日、纪念日或用户记录的生日等信息,例如,终端读取节假日日历或者生日日历中的相应日期等,此处不予赘述。
又或者,终端读取图像的拍摄地点后,如果识别出该拍摄地点为用户预先设置的地点之一,例如,图像3的拍摄地点为用户的母校,则终端可以将图库中不同时间在母校拍摄的N张图像聚合为初始故事相册,作为用户在母校的图像锦集。
可以看出,在本申请实施例中,终端读取到图像的拍摄时间和/或拍摄地点等属性信息后,可进一步对图像的属性信息进行理解,例如,识别其拍摄时间是否为特殊日子,识别其拍摄地点是否为预先设置的地点等,从而在与属性信息相关的第一维度上基于理解结果对图库中的图像进行聚合,得到初始故事相册。
需要说明的是,上述实施例中仅以拍摄时间和/或拍摄地点作为属性信息进行举例说明,可以理解的是,终端还可以根据读取到的属性信息中的其他图像属性,例如感光度、焦距以及相机品牌等将图库中的N个图像聚合为初始故事相册,本申请实施例对此不做任何限制。
S503(可选的)、终端去除上述初始故事相册中的无效图像,得到M个图像组成的目标故事相册,N≥M。
可选的,在步骤S503中,终端可对上述初始故事相册中的图像进行进一步的筛选,将相似图像或者与初始故事相册中其他图像差异较大的图像(即无效图像)去除,得到M个图像组成的目标故事相册,使得创建出的故事相册中的图像之间的关联性较强。需要说明的是,当终端确定出上述初始故事相册中不包含无效图像时,得到的目标故事相册中图像的数量M等于初始故事相册中图像的数量N。
在一种可能的设计方法中,终端可对初始故事相册中每个图像的内容进行识别,例如,通过pHash(感知哈希算法)识别任意两个图像之间的汉明距离(hamming distance),当两个图像的汉明距离小于预设的汉明距离阈值时,可将这两个图像确定为相似图像。另外,终端还可根据图像的拍摄时间调整上述汉明距离阈值,例如,当两个图像的拍摄时间间隔较小(例如10秒内)时,出现相似图像的几率较高,因此可适当将汉明距离阈值的取值设置的大一些,而当两个图像的拍摄时间间隔较大(例如5分钟内)时,出现相似图像的几率较低,因此可适当将汉明距离阈值的取值设置的小一些。
那么,对于识别出的多张相似图像,终端可随机从这多张相似图像中选取一张,或者通过笑脸识别、清晰度识别等算法从这多张相似图像中选择图像质量较优或者用户表情较好的图像,并将剩余的相似图像作为无效图像从上述初始故事相册中去除。
又或者,如图11所示,在创建故事相册的过程中,终端可以将识别出的多张相似图像(例如图11中的图像901-图像904)展示给用户,由用户手动选择自己喜欢的图像(例如图11中的图像901)保留在目标故事相册中,剩余的相似图像(例如图11中的图像902-图像904)作为无效图像从上述初始故事相册中去除。
在另一种可能的设计方法中,终端在存储每一张图像时均可根据其图像特征为该图像添加标签,例如,鲜花,太阳、房子、狗、羽毛球、截屏图像等。那么,在步骤S503中,终端还可以根据初始故事相册中每个图像的标签,将初始故事相册中图像标签差异较大的离群图像作为无效图像去除。
示例性的,由于故事相册一般用于记录用户的日常生活,因此,可将一些在日常生活中不常见或不需要的标签,例如,剪刀、键盘、截屏图像等作为无效标签列表预先设置在终端内。那么,终端可确定初始故事相册中每个图像的标签是否出现在上述无效标签列表中,如果某一图像的标签出现在上述无效标签列表中,则说明该图像很可能是日常生活中不常见或不需要的图像,因此,终端可将该具有无效标签的图像作为无效图像从初始故事相册中去除。
又或者,在创建故事相册的过程中,终端还可以将初始故事相册中图像的标签展示给用户,如图12所示,初始故事相册中出现频率较高的标签包括人物、羽毛球、灯、跑步以及狗,那么,可由用户手动选择自己感兴趣的标签(例如图12中人物、羽毛球以跑步这3个标签),并将具有这3个标签的图像保留在目标故事相册中,将剩余的其他标签作为无效标签,并将具有无效标签的图像作为无效图像从上述初始故事相册中去除。
进一步地,用户手动在图12所示的候选标签中选择了需要在目标故事相册中保留的标签后,终端还可以判断用户选择保留的这些标签与终端预先设置的无效标签列表内的无效标签是否发生冲突。例如,用户在图12中选择了在目标故事相册中保留具有“羽毛球”这一标签的图像,而在无效标签列表中也包括“羽毛球”这一标签,说明终端预设的无效标签列表与用户的使用习惯不符,因此,终端可将无效标签列表中“羽毛球”这一标签删除,即后续终端可将具有“羽毛球”这一标签的图像作为有效图像保留在目标图像中。这样,终端可以根据用户的使用习惯不断修正预先设置的无效标签列表,使得无效标签列表中的无效标签与用户的使用习惯相匹配,实现创建故事相册时的定制化体验。
又或者,用户在首次使用终端,或者首次使用终端上的故事相册功能时,终端也可以将预先设置的无效标签列表展示给用户,那么,用户可以对无效标签列表中的各个无效标签进行手动的修正,例如,用户可以删除无效标签列表中自身感兴趣的标签,或者用户可以向无效标签列表中添加自身不感兴趣的标签等,使得无效标签列表中的无效标签与用户的使用习惯相匹配,实现创建故事相册时的定制化体验。
又或者,终端还可以收集用户在终端上的用户行为数据,例如,用户浏览的网页类型,用户观看的视频类型等,进而,通过这些用户行为数据终端可识别出用户感兴趣或不感兴趣的标签。那么,终端根据识别出的用户感兴趣或不感兴趣的标签可对预先设置的无效标签列表进行修正,使得无效标签列表中的无效标签与用户的使用习惯相匹配,实现创建故事相册时的定制化体验。当然,终端还可以将上述用户行为数据发送给服务器,由服务器对这些用户行为数据进行大数据统计后,确定用户感兴趣或不感兴趣的标签,并定期将用户感兴趣或不感兴趣的标签推送给终端,以便终端对预先设置的无效标签列表进行修正。
另外,在去除具有无效标签的图像时,终端还可以进一步根据具有该无效标签的图像数量确定针对上述初始故事相册是否将该无效标签删除。例如,终端预先设置车灯为无效标签,但在上述初始故事相册中具有车灯这一标签的图像数目大于5张,则说明用户对车灯较为关注,因此,针对该初始故事相册,可将车灯这一标签从无效标签转变为有效标签,并将具有车灯这一标签的图像保留在目标故事相册中,避免从初始故事相册中误删除用户感兴趣的图像。
需要说明的是,上述实施例中均以每个图像具有一个标签,且该标签为一个关键词为例说明上述目标故事相册的生成过程。可以理解的是,每个图像可以具有多个标签,例如,图像1的标签为:人物和落叶。又或者,图像的标签还可以是对图像内容的一句或多句描述,例如,图像1的标签为:用户A在看书等,本申请实施例对此不作任何限制。
那么,当图像的标签有多个时,终端可以根据这多个标签中无效标签所占的比例确定是否将该图像作为无效图像。示例性的,图像2的标签包括:人物、剪刀、手机和门,通过与预先设置的无效图像列表对比,可确定剪刀、手机和门均为无效标签,即图像2的标签中有75%的标签为无效标签,而终端预设的比例阈值为60%,即图像的多个标签中有大于60%的标签为无效标签时可将该图像作为无效图像。显然,图像2中无效标签的比例大于比例阈值为60%,因此,终端可将图像2作为无效图像,将图像2从其所在的初始故事相册中去除。
S504、终端按照上述目标故事相册中各个图像的图像特征,确定该目标故事相册的相册主题。
在步骤S504中,终端得到目标故事相册中的M个图像后,可根据每个图像的图像特征确定整个目标故事相册的相册主题,例如,运动主题、婚礼主题、生日主题、旅游主题等。当然,终端可以对相册主题的划分粒度进行调整,例如,可将运动主题进一步划分为水上运动主题、球类运动主题等,将旅游主题进一步划分为本地游主题和外地游主题等。
由于每个图像的标签可反映出该图像的图像特征,那么,当具有某一标签的图像数量在上述M个图像中所占的比例大于预设比例时,终端可将该标签对应的主题作为目标故事相册的相册主题。例如,在目标故事相册中共包含20张图像,其中有15张图像的标签均为运动,即目标故事相册中有75%的图像均为运动标签,则终端可将运动作为目标故事相册的相册主题。
又例如,还可以预先在终端内设置不同相册主题的标签分布模型,即在某一特定相册主题下,其对应的故事相册中各个图像的标签分布情况。那么,终端可将步骤S503中获取到的目标故事相册中各个图像的标签分布情况,与上述不同相册主题的标签分布模型进行对比,将对比结果中相似度最大的相册主题作为该目标故事相册的相册主题。
示例性的,终端可使用矩阵B表示不同相册主题的标签分布模型,如图13所示,矩阵B中的每一列的M个元素反映了一个相册主题下图像的标签分布情况,而终端可将目标故事相册中M个图像的标签通过一个一行M列的矩阵A表示,即A=[a11 a12 ... a1M]。那么,将矩阵A乘以矩阵
Figure BDA0001616687170000131
后,可以得到矩阵C=[c11 c12 ...c1W]。
其中,仍如图13所示,矩阵C中的每一个元素用于指示目标故事相册在对应的相册主题下的场景概率。这样,终端可以将矩阵C中场景概率最高的元素所对应的相册主题作为目标故事相册的相册主题。
另外,终端还可以通过朴素贝叶斯分类器等分类模型对上述标签分布模型(即矩阵B)进行修正,以提高相册主题识别的准确率。当然,终端也可以根据用户手动对相册主题的修改,对上述标签分布模型(即矩阵B)进行修正,本申请实施例对此不作任何限制。
当然,本申请实施例中对相册主题的具体识别方法不做限定。例如,终端可以统计目标故事相册中各个图像标签的出现频率,进而将出现频率最高的标签所对应的相册主题作为目标故事相册的相册主题。
又或者,当目标故事相册中图像的标签包括对图像内容的句段描述时,终端还可以通过语义分析识别出各个标签中出现的高频词汇,例如,目标故事相册的10个图像中有8个图像的标签中都出现了“生日”一词,则终端可将“生日”这一高频词汇作为该目标故事相册的相册主题。
进一步地,终端内还可以预先设置与不同高频词汇相关联的相册主题,例如,当标签中的高频词汇包括蛋糕、蜡烛或者礼物时,与其关联的相册主题为:生日;当标签中的高频词汇包括戒指、婚纱或者手捧花时,与其关联的相册主题为:婚礼。那么,当终端通过语义分析识别出了标签中的高频词汇后,可进一步根据上述关联关系确定与高频词汇关联的相册主题。
一般,终端识别出的相册主题具体可以包括:生日、聚会、婚礼、运动、毕业、节假日、夜景、本地游以及外地游中的至少一项,本申请实施例对此不做任何限制。
示例性的,当目标故事相册中图像的拍摄地点为预先设置的地点,例如用户的常驻地时,如果识别到图像中包含风景和人脸时,目标故事相册的主题可以为本地游;当目标故事相册中图像的拍摄地点为用户的非常驻地时,如果识别到图像中包含风景、人脸或地标建筑时,终端结合拍摄地点与用户常驻地的距离,可将目标故事相册的主题设置为周边游、短途游或者远途游;当识别出目标故事相册中的图像为夜景时,可将目标故事相册的主题设置为夜游;当识别出目标故事相册中的图像包含蛋糕时,可将目标故事相册的主题设置为生日;当识别出目标故事相册中的图像包含美食和人脸时,可将目标故事相册的主题设置为聚会;当识别出目标故事相册中的图像包含打篮球或打羽毛球时,可将目标故事相册的主题设置为运动;当识别出目标故事相册中的图像包含婚纱时,可将目标故事相册的主题设置为婚礼。
也就是说,在终端基于图像的属性信息这一第一维度处理得到的初始故事相册(或目标故事相册)的基础上,终端可进一步根据各图像的具体图像特征识别该初始故事相册(或目标故事相册)的主题场景,即在图像特征这一维度(本申请实施例中将其称为第二维度)上对初始故事相册(或目标故事相册)中的图像内容进行识别,从而确定故事相册的主题场景,使得终端在创建故事相册时实现了对图像的多维理解,这样终端可以识别出的主题场景为中心聚合生成主题性鲜明的故事相册,提高终端对图库中图像的管理效率。
S505(可选的)、终端从目标应用中获取与上述目标故事相册关联的关联信息。
S506(可选的)、终端根据上述关联信息修正上述相册主题。
在步骤S505中,终端还可以从备忘录、日历、邮件、记事本、电话、短信以及联系人等涉及用户日程安排的目标应用中获取与上述目标故事相册关联的关联信息。例如,目标故事相册的拍摄时间为11月4日,那么,终端可以读取11月4日的备忘录,确定11月4日为妈妈生日这一关联信息。
这样,在步骤S506中,终端可以在关联信息这一与目标应用关联的维度(本申请实施例中将其称为第三维度)上,对上述目标故事相册的相册主题进行进一步的处理,从而对步骤S504中确定的相册主题进行修正。
例如,步骤S504中确定的相册主题为“聚会”,而终端通过备忘录中的备忘信息或日历中的日程信息,可获取到与目标故事相册关联的关联信息为:妈妈的生日,则终端可以确定该目标故事相册中记录的是妈妈过生日的图像,那么,终端可将目标故事相册的主题修正为“妈妈的生日聚会”。
又例如,步骤S504中确定的相册主题为“美食”,而终端通过短信中的短信内容或日历中的日程信息,可获取到与目标故事相册关联的关联信息为:与男友约会,则终端可以确定该目标故事相册中记录的是与男友约会时美食的图像,那么,终端可将目标故事相册的主题修正为“约会和美食”。
可以看出,本申请实施例中终端可在图像的属性信息、图像的图像特征,以及与图像关联的目标应用中记录的关联信息这三个维度上,对图库中的图像进行处理,以识别出图库中图像的主题场景,从而将主题性较强的图像聚合为故事相册,创建用户更加感兴趣或价值更高的主题性故事相册。
当然,终端也可以直接根据用户在目标应用中输入的日程信息,确定与该日程信息关联的一张或多张图像,进而将这一张或多张图像聚合为目标故事相册。例如,用户在日历应用的9月12日这一天输入的日程为:取蛋糕,那么,终端读取到这一日程信息后,可将9月12日拍摄的照片聚合为目标故事相册。
那么,在显示该目标故事相册时,终端可将目标故事相册的标题设置为与“取蛋糕”这一日程信息关联的标题,例如“生日”、“生日快乐”等,创建用户更加感兴趣或价值更高的主题性故事相册。
S507、终端在上述目标故事相册的相册封面上叠加显示用于反映其相册主题的标题。
也就是说,在相册封面上叠加显示的目标故事相册的标题是与上述实施例中识别出的相册主题相关联的。例如,终端识别出的相册主题为“生日”,则可将“生日”作为目标故事相册的标题显示在相册封面上,即目标故事相册的标题与识别出的相册主题相同;当然,目标故事相册的标题也可以是与“生日”含义相似或相关的其他描述,本申请实施例对此不做任何限制。
示例性的,对于不同的主题,终端可预先设置一些对应的候选标题,例如,对于生日主题可预先设置“温馨的生日”、“生日party”、“开心过生日”以及“又长大了一岁”这四个候选标题。进而,终端可从这些候选标题中选择一个用于生成目标故事相册的标题。例如,当目标故事相册的相册主题为妈妈生日时,终端可选择“生日派对”这一候选标题,生成“妈妈的生日party”作为目标故事相册的标题。
此时,如图14所示,终端可在创建好的目标故事相册中选择一张或多张图像作为该目标故事相册的相册封面1201,并在相册封面1201上叠加显示“妈妈的生日party”这一标题1202。终端在显示故事相册的标题时,可以随机选择字体和字号来显示,从而增加故事相册的趣味性。
另外,当终端通过上述步骤S501-S507生成目标故事相册,并确定出目标故事相册的标题后,如图15所示,终端还可以向用户确认是否使用该标题。此时,如果用户修改该标题,则终端将用户修改后的标题叠加显示在相册封面上。例如,用户将终端确定的“妈妈的生日party”这一标题修改为“生日狂欢”,那么,终端最终在相册封面1201上叠加显示的标题1202为“生日狂欢”。
同时,终端可以将用户输入的“生日狂欢”这一标题作为“生日”这一相册主题的一个候选标题进行保存,后续当终端再次识别出创建的故事相册的相册主题为生日时,终端可优选选择用户曾经设置的“生日狂欢”这一候选标题作为该故事相册的标题。
当然,仍如图14所示,终端还可以在目标故事相册的标题1202中增加拍摄时间和/或拍摄地点的相关信息,使得用户可以根据相册主题、拍摄时间或拍摄地点中的至少一项快速锁定自己感兴趣的故事相册。
上述实施例中仅以生日主题为例阐述本申请实施例提供的故事相册的显示方法,可以理解的是,当终端通过对图像的多维理解生成其他主题的故事相册时,均可按照上述方法在故事相册的相册封面中叠加显示与相册主题对应的标题。
示例性的,如图14所示,当终端识别出相册A的主题为婚礼主题时,可在相册A的相册封面上添加与婚礼主题对应的“幸福时刻”这一标题;当终端识别出相册B的主题为运动主题时,可在相册B的相册封面上添加与运动主题对应的“爱运动”这一标题;当终端识别出相册D的主题为毕业主题时,可在相册D的相册封面上添加与毕业主题对应的“毕业季”这一标题;当终端识别出相册E的拍摄时间为五一劳动节时,终端可结合拍摄地点拉萨在相册E的相册封面上添加对应的“劳动节在拉萨”这一标题。
相应的,如果终端没有识别出故事相册的相册主题,则如图16中的相册C和相册F所示,终端可将读取到的该相册的拍摄时间和/或拍摄地点作为标题添加至故事相册的相册封面上,本申请实施例对此不做任何限制。
S508(可选的)、终端播放上述目标故事相册。
示例性的,当终端进入如图14或图16所示的故事相册功能的预览界面时,便可触发终端自动开始播放预览界面中的各个故事相册。如图16所示,终端可以依次播放相册A至相册F,也可以根据用户浏览该预览界面时的滑动操作自动播放位于显示界面某一位置(例如左上角)处显示的相册。
又或者,用户还可根据各个故事相册的标题点击自己感兴趣的故事相册,此时,如果终端检测到用户针对上述目标故事相册的输入操作,则终端可跳转至播放界面,将上述目标故事相册中的图像以短视频的形式播放给用户。
在本申请实施例中,终端在播放目标故事相册中的各个图像时,还可以在一张或多张图像上显示该图像的拍摄时间、拍摄地点或者图像主题等信息。如图17中的(a)所示,终端在播放标题为“妈妈的生日”这一故事相册中的图像A时,可在图像A上叠加显示图像A的拍摄时间和拍摄地点为“2016-11-4,杭州”,当终端播放至该故事相册中的图像B时,如图17中的(b)所示,终端可在图像B上叠加显示图像B的拍摄时间和拍摄地点为“2017-11-4,北京”,从而在播放故事相册的过程中帮助用户快速回忆与当前的播放图像相关的信息,提高了用户使用故事相册时的使用体验。
当然,终端播放上述目标故事相册时的播放效果(例如,音乐背景、画面特效、滤镜,剪辑顺序等)也可以与识别出的相册主题关联。例如,当识别出目标故事相册的相册主题为“生日”时,可在播放该目标故事相册时使用生日快乐歌作为音乐背景;当识别出目标故事相册的相册主题为“旧时光”时,可在播放该目标故事相册时对目标故事相册中的图像叠加做旧的滤镜等。此外,播放效果还可以由用户确定。
其中,终端在图像A(或图像B)上叠加显示拍摄时间和拍摄地点时,可避开图像A(或图像B)中的视觉显著区域(例如包含人脸、对比度较强或者轮廓线条较多的区域),将叠加显示的显示元素(即上述拍摄时间和拍摄地点)布局在非视觉显著区域中显示,避免显示元素与图像A(或图像B)产生视觉冲突。
当然,在相册封面1101上叠加显示标题1102时,终端也可将标题1102布局在相册封面1101的非视觉显著区域,本申请实施例对此不做任何限制。
另外,当上述目标故事相册创建完成之后,用户还可以对目标故事相册中的图像进行调整,例如,向目标故事相册中添加新的图像,将目标故事相册中已有的图像删除,修改目标故事相册中某一图像的标签等。如图18所示,当用户手动调整目标故事相册中的图像时,终端可根据调整后的目标故事相册,对图13所示的标签分布模型(即矩阵B)进行修正,例如,目标故事相册为婚礼主题,用户向目标故事相册中添加了新的图像时,终端可根据添加的图像修改矩阵B中用于指示婚礼主题的列向量,以提高后续终端对婚礼主题的识别准确率。
在本申请的另一些实施例中,终端还可以提供用户手动创建故事相册的功能。具体的,终端可根据用户手动选择的拍摄时间、拍摄地点、图像内容以及相册主题(例如,生日、聚会、婚礼、运动、毕业、节假日、夜景、本地游以及外地游)等条件,在图库中将满足上述条件的图像聚合为故事相册,从而为用户定制满足用户期望的故事相册。
示例性的,如图19中的(a)所示,终端可以在故事相册的显示界面中设置用于创建新故事相册的快捷方式191。当终端检测到用户触发该快捷方式191时,如图19中的(b)所示,终端可以为用户提供一个或多个相册主题供用户选择,例如,生日、聚会、婚礼、运动、毕业、节假日、夜景、本地游以及外地游等。
以用户选择“生日”这一相册主题为例,终端检测到用户输入的相册主题为“婚礼”时,可将图库中与“生日”相关的N个图像聚合为初始故事相册。例如,终端可以将图像的标签为生日或蛋糕的图像聚合为初始故事相册。又例如,与上述矩阵B中各个预设主题的标签分布对应的,终端可以将与预设的“生日”主题的标签分布相同或相似的一组图像聚合为初始故事相册。
进一步地,如图20中的(a)所示,终端可提示用户选择某一时间跨度内的图像制作该“生日”主题的故事相册;又例如,如图20中的(b)所示,终端可提示用户选择在一个或多个拍摄地点拍摄的图像制作该“生日”主题的故事相册。
那么,终端可以根据用户选择的时间跨度和/或拍摄地点对初始故事相册中的N个图像进行筛选。例如,用户选择使用2014.11-2017.11内拍摄地点为北京和上海的图像制作上述“生日”主题的故事相册,那么,终端可以将拍摄时间在2014.11-2017.11以外的图像,以及拍摄地点不是北京和上海的图像从上述初始故事相册中去除,得到M个图像组成的目标故事相册。
后续,终端仍可沿用上述步骤S507-S508的方法在目标故事相册的相册封面上显示与“生日”主题相关的标题,并播放该目标故事相册。
当然,终端在生成上述目标故事相册中的M个图像时,还可以考虑人物、图像数量、相册播放时长等因素。例如,如图21中的(a)所示,终端可以对初始故事相册中的每个图像进行人脸检测,将检测到的一个或多个人脸提示给用户,这样,终端可以根据后续用户选择的目标人脸,将初始故事相册中不包括该目标人脸的图像去除,得到目标故事相册。又例如,如图21中的(b)所示,终端可以提示用户设置目标故事相册的播放时长或者图像数量,这样,终端可以根据后续用户设置的目标播放时长或者目标图像数量将多余的图像从初始故事相册中去除,得到目标故事相册。
另外,当终端检测到用户触发上述快捷方式191时,终端也可以先提示用户从识别出的多个人脸中选择目标人脸,进而将图库中包含目标人脸的图像聚合为初始故事相册,后续,终端可根据用户输入的相册主题、拍摄时间、以及拍摄地点中的一个或多个因素生成目标故事相册。
也就是说,终端可以提示用户选择故事相册的相册主题、包含的人物、拍摄时间、拍摄地点、图像数量等一项或多项条件,并根据用户选择的条件筛选相关的图像,从而创建符合用户期望的故事相册。
另外,当终端创建完成上述目标故事相册后,如图22中的(a)所示,还可以在故事相册的显示界面中提供分享故事相册的分享快捷键221,用户触发该分享快捷键221后,如图22中的(b)所示,用户可进一步选择将已创建的一个或多个故事相册分享至其他应用或其他终端,本申请实施例对此不做任何限制。
可以理解的是,上述终端等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图23示出了上述实施例中所涉及的终端的一种可能的结构示意图,该终端包括:获取单元2301、聚合单元2302、去除单元2303、确定单元2304、修正单元2305以及显示单元2306。
获取单元2301用于支持终端执行图5中的过程501和505;聚合单元2302用于支持终端执行图5中的过程502;去除单元2303用于支持终端执行图5中的过程503;确定单元2304用于支持终端执行图5中的过程504;修正单元2305用于支持终端执行图5中的过程506;显示单元2306用于支持终端执行图5中的过程507-508。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,可将上述聚合单元2302、去除单元2303、确定单元2304以及修正单元2305集成为处理模块,将获取单元2301作为输入模块,将显示单元2306作为显示模块。当然,终端还可以包括存储模块。
此时,如图24所示,示出了上述实施例中所涉及的终端的一种可能的结构示意图。其中,处理模块2402用于对终端的动作进行控制管理。输入模块2403用于支持接收用户输入的信息。存储模块2401用于保存终端的程序代码和数据。显示模块2404用于显示由用户输入的信息或提供给用户的信息以及终端的各种菜单。
示例性的,处理模块2402可以是处理器或控制器,例如可以是中央处理器(Central Processing Unit,CPU),GPU,通用处理器,数字信号处理器(Digital SignalProcessor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。
输入模块2403可以是触摸屏、麦克风等用于接收用户输入的信息的器件。
存储模块2401可以是存储器,该存储器可以包括高速随机存取存储器(RAM),还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。
显示模块2404可以为显示器,具体可以采用液晶显示器、有机发光二极管等形式来配置显示器。另外,显示器上还可以集成触控板,用于采集在其上或附近的触摸事件,并将采集到的触摸信息发送给其他器件(例如处理器等)。
当处理模块2402为处理器,输入模块2403为触控板,存储模块2401为存储器,显示模块2404为显示器时,本申请实施例所提供的终端结构如图25所示。
在一种可能的设计方法中,存储器2501中存储有至少N(N>1)个图像,处理器2502可按照第一维度聚合存储器2501中的N个图像,所述第一维度包括拍摄时间和/或拍摄地点;进而,处理器2502可指示显示器2504显示故事相册的相册封面,所述故事相册包括所述N个图像中的M(M<N)个图像,所述M个图像与所述故事相册的主题相关联。
进一步地,在处理器2502按照第一维度聚合图库中的N个图像之后,处理器2502还可去除所述N个图像中的无效图像,得到M个图像组成的所述故事相册,所述无效图像包括具有无效标签的图像或图像相似度大于阈值的一个或多个图像。
进一步地,在处理器2502去除所述N个图像中的无效图像,得到M个图像组成的所述故事相册之后,处理器2502还可按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题,所述第二维度包括所述M个图像中至少一个图像的图像特征。
进一步地,在处理器2502按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题之后,处理器2502还可按照第三维度对所述故事相册的主题进行修正,所述第三维度包括目标应用中与所述故事相册的主题相关联的关联信息。
进一步地,上述第一维度中包括拍摄时间,那么,处理器2502按照第一维度聚合图库中的N个图像,具体包括:处理器2502将Z(Z≥2)个时间段中每个时间段内生成的图像聚合为一个图像集合,得到Z个图像集合,所述Z个图像集合与所述Z个时间段一一对应;当相邻图像集合之间的时间间隔小于间隔阈值时,处理器2502将该相邻图像集合进行聚合。
进一步地,处理器2502按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题,具体包括:处理器2502对比所述M个图像的标签分布情况与预先设置的每一个候选主题的标签分布情况;当所述M个图像的标签分布情况符合第一候选主题的标签分布情况时,处理器2502将第一候选主题确定为所述故事相册的主题。
进一步地,处理器2502去除所述N个图像中的无效图像,具体包括:显示器2504显示从上述N个图像中识别出的X(X≥2)个相似度大于阈值的图像;触控板2503接收用户从所述X个图像中选择的目标图像,那么,响应于用户从所述X个图像中选择的目标图像,处理器2502将所述目标图像保留在所述故事相册中,并将所述X个图像中除所述目标图像外的其余图像去除。
进一步地,处理器2502去除所述故事相册中的无效图像,具体包括:显示器2504显示从上述述N个图像中识别出的Y(Y≥2)个标签,每个图像的标签用于反映该图像的图像特征;触控板2503接收用户从所述Y个标签中选择的目标标签;响应于用户从所述Y个标签中选择的目标标签,处理器2502将具有所述目标标签的图像保留在所述故事相册中,将不具有所述目标标签的图像去除。
进一步地,在显示器2504显示故事相册的相册封面之后,显示器2504还可播放所述故事相册,其中,在播放所述故事相册中的第一图像时,所述终端显示所述第一图像的拍摄时间和/或拍摄地点。
进一步地,上述第一维度还可以包括所述故事相册中出现的人物、所述故事相册的播放时长、所述故事相册中的图像数量以及所述故事相册的主题中的至少一项;此时,在处理器2502按照第一维度聚合图库中的N个图像之前,触控板2503还可接收用户对待创建的故事相册输入的目标时间段、目标拍摄地点、目标人物、目标播放时长、目标图像数量以及目标主题中的至少一项。
在另一种可能的设计方法中,存储器2501中存储有至少N(N>1)个图像,触控板2503可接收到用户在目标应用(例如,备忘录、日历、邮件、记事本、电话、短信以及联系人等)中输入的日程信息;进而,处理器2502将存储器2501中的N个图像创建为故事相册;并指示显示器2504显示所述故事相册的相册封面,所述相册封面上包括所述故事相册的标题,所述标题与所述日程信息相关联。
在上述实施例中,可以全部或部分的通过软件,硬件,固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种故事相册的显示方法,其特征在于,包括:
终端按照第一维度聚合图库中的N个图像,所述第一维度包括拍摄时间和/或拍摄地点,N>1;
所述终端去除所述N个图像中的无效图像,得到M个图像组成的所述故事相册,所述无效图像包括两张相似度大于第一阈值的第一无效图像,所述第一阈值根据两张第一无效图像之间的拍摄时间差确定;
所述终端显示故事相册的相册封面,所述故事相册包括所述N个图像中的M个图像,所述M个图像与所述故事相册的主题相关联,M<N;
所述终端按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题,所述第二维度包括所述M个图像中至少一个图像的图像特征;
在所述终端按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题之后,所述终端按照第三维度对所述故事相册的主题进行修正,所述第三维度包括目标应用中与所述故事相册的主题相关联的关联信息。
2.根据权利要求1所述的方法,其特征在于,所述第一维度中包括拍摄时间,
其中,终端按照第一维度聚合图库中的N个图像,包括:
所述终端将Z个时间段中每个时间段内生成的图像聚合为一个图像集合,得到Z个图像集合,所述Z个图像集合与所述Z个时间段一一对应,Z≥2;
当相邻图像集合之间的时间间隔小于间隔阈值时,所述终端将该相邻图像集合进行聚合。
3.根据权利要求2所述的方法,其特征在于,所述第一维度中还包括拍摄地点,其中,当相邻图像集合的拍摄地点均不是预先设置的地点时,所述间隔阈值为第一预设值;当相邻图像集合的拍摄地点均为预先设置的地点时,所述间隔阈值为第二预设值,所述第二预设值小于所述第一预设值。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述终端按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题,包括:
所述终端对比所述M个图像的标签分布情况与预先设置的每一个候选主题的标签分布情况;
当所述M个图像的标签分布情况符合第一候选主题的标签分布情况时,所述终端将所述第一候选主题确定为所述故事相册的主题。
5.根据权利要求1中任一项所述的方法,其特征在于,所述终端去除所述N个图像中的无效图像,还包括:
所述终端将具有第一无效标签的图像从所述故事相册中去除。
6.根据权利要求5所述的方法,其特征在于,
所述第一无效标签不包括预设无效标签中用户选择保留的标签,且/或,所述第一无效标签不包括预设无效标签中图像数量大于第一预设图像数量的标签。
7.根据权利要求1中任一项所述的方法,其特征在于,在所述终端显示故事相册的相册封面之后,还包括:
所述终端播放所述故事相册,其中,在播放所述故事相册中的第一图像时,所述终端显示所述第一图像的拍摄时间和/或拍摄地点。
8.根据权利要求1中任一项所述的方法,其特征在于,所述第一维度还包括所述故事相册中出现的人物、所述故事相册的播放时长、所述故事相册中的图像数量以及所述故事相册的主题中的至少一项;
其中,在终端按照第一维度聚合图库中的N个图像之前,还包括:
所述终端接收用户对待创建的故事相册输入的目标时间段、目标拍摄地点、目标人物、目标播放时长、目标图像数量以及目标主题中的至少一项。
9.一种终端,其特征在于,包括:
聚合单元,用于按照第一维度聚合图库中的N个图像,所述第一维度包括拍摄时间和/或拍摄地点,N>1;
显示单元,用于显示故事相册的相册封面,所述故事相册包括所述N个图像中的M个图像,所述M个图像与所述故事相册的主题相关联,M<N;
去除单元,用于去除所述N个图像中的无效图像,得到M个图像组成的所述故事相册,
所述无效图像包括两张相似度大于第一阈值的第一无效图像,所述第一阈值根据两张第一无效图像之间的拍摄时间差确定;
确定单元,用于按照第二维度确定与所述M个图像相关联的主题,得到所述故事相册的主题,所述第二维度包括所述M个图像中至少一个图像的图像特征;
修正单元,用于按照第三维度对所述故事相册的主题进行修正,所述第三维度包括目标应用中与所述故事相册的主题相关联的关联信息。
10.根据权利要求9所述的终端,其特征在于,所述第一维度中包括拍摄时间,
所述聚合单元,具体用于:将Z个时间段中每个时间段内生成的图像聚合为一个图像集合,得到Z个图像集合,所述Z个图像集合与所述Z个时间段一一对应,Z≥2;当相邻图像集合之间的时间间隔小于间隔阈值时,将该相邻图像集合进行聚合。
11.根据权利要求10所述的终端,其特征在于,所述第一维度中还包括拍摄地点,其中,当相邻图像集合的拍摄地点均不是预先设置的地点时,所述间隔阈值为第一预设值;当相邻图像集合的拍摄地点均为预先设置的地点时,所述间隔阈值为第二预设值,所述第二预设值小于所述第一预设值。
12.根据权利要求9-11中任一项所述的终端,其特征在于,
所述确定单元,具体用于:对比所述M个图像的标签分布情况与预先设置的每一个候选主题的标签分布情况;当所述M个图像的标签分布情况符合第一候选主题的标签分布情况时,将所述第一候选主题确定为所述故事相册的主题。
13.根据权利要求9中任一项所述的终端,其特征在于,
所述去除单元,还用于将具有第一无效标签的图像从所述故事相册中去除。
14.根据权利要求9中任一项所述的终端,其特征在于,
所述第一无效标签不包括预设无效标签中用户选择保留的标签,且/或,所述第一无效标签不包括预设无效标签中图像数量大于第一预设图像数量的标签。
15.根据权利要求9中任一项所述的终端,其特征在于,
所述显示单元,还用于播放所述故事相册,其中,在播放所述故事相册中的第一图像时,所述终端显示所述第一图像的拍摄时间和/或拍摄地点。
16.根据权利要求9中任一项所述的终端,其特征在于,所述第一维度还包括所述故事相册中出现的人物、所述故事相册的播放时长、所述故事相册中的图像数量以及所述故事相册的主题中的至少一项;所述终端还包括:
获取单元,用于接收用户对待创建的故事相册输入的目标时间段、目标拍摄地点、目标人物、目标播放时长、目标图像数量以及目标主题中的至少一项。
17.一种终端,其特征在于,包括:处理器、显示器、存储器、总线和通信接口;
所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接,当所述终端运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述终端执行如权利要求1-8中任一项所述的故事相册的显示方法。
18.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在终端上运行时,使得所述终端执行如权利要求1-8中任一项所述的故事相册的显示方法。
CN201780003499.3A 2017-12-05 2017-12-05 一种故事相册的显示方法及装置 Active CN108235765B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/114607 WO2019109245A1 (zh) 2017-12-05 2017-12-05 一种故事相册的显示方法及装置

Publications (2)

Publication Number Publication Date
CN108235765A CN108235765A (zh) 2018-06-29
CN108235765B true CN108235765B (zh) 2021-10-15

Family

ID=62645523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003499.3A Active CN108235765B (zh) 2017-12-05 2017-12-05 一种故事相册的显示方法及装置

Country Status (4)

Country Link
US (1) US11386140B2 (zh)
EP (1) EP3706015A4 (zh)
CN (1) CN108235765B (zh)
WO (1) WO2019109245A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891526B2 (en) * 2017-12-22 2021-01-12 Google Llc Functional image archiving
CN111566639A (zh) * 2018-02-09 2020-08-21 华为技术有限公司 一种图像分类方法及设备
CN109033273A (zh) * 2018-07-10 2018-12-18 Oppo广东移动通信有限公司 播放帧数设置方法及相关设备
CN110162643B (zh) * 2018-09-13 2023-08-25 腾讯科技(深圳)有限公司 电子相册报告生成方法、装置及存储介质
JP7053422B2 (ja) * 2018-09-19 2022-04-12 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
CN109409423A (zh) * 2018-10-15 2019-03-01 珠海格力电器股份有限公司 一种图像识别方法、装置、终端及可读存储介质
CN109543639B (zh) * 2018-11-29 2021-12-24 上海芯爱智能科技有限公司 一种信息显示方法、系统、服务器和存储介质
CN109902759B (zh) * 2019-03-12 2021-03-30 恒睿(重庆)人工智能技术研究院有限公司 图片集描述方法及装置
CN110032700B (zh) * 2019-04-04 2021-09-07 网易(杭州)网络有限公司 信息发布控制方法、装置、存储介质及电子设备
CN110377378B (zh) * 2019-06-18 2022-11-25 平安科技(深圳)有限公司 图片悬浮显示方法、装置、终端和存储介质
CN110413817B (zh) * 2019-07-30 2023-06-16 腾讯科技(武汉)有限公司 用于对图片进行聚类的方法和设备
US11409788B2 (en) * 2019-09-05 2022-08-09 Albums Sas Method for clustering at least two timestamped photographs
CN111010611A (zh) * 2019-12-03 2020-04-14 北京达佳互联信息技术有限公司 电子相册的获取方法、装置、计算机设备和存储介质
CN112988671A (zh) * 2019-12-13 2021-06-18 北京字节跳动网络技术有限公司 媒体文件处理方法、装置、可读介质及电子设备
TW202213122A (zh) * 2020-09-22 2022-04-01 智微科技股份有限公司 用來為使用者進行針對外接儲存裝置的相簿管理的方法及設備
CN112269891A (zh) * 2020-10-26 2021-01-26 深圳市雷鸟网络传媒有限公司 动态影集生成方法、服务器、显示终端及可读存储介质
US11416138B2 (en) * 2020-12-11 2022-08-16 Huawei Technologies Co., Ltd. Devices and methods for fast navigation in a multi-attributed search space of electronic devices
CN113886608A (zh) * 2021-10-27 2022-01-04 深圳集智数字科技有限公司 一种电子书生成方法、装置、电子设备及存储介质
US20230216817A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Providing permissions for accessing shared content collections
CN117150067A (zh) * 2023-01-13 2023-12-01 荣耀终端有限公司 相册处理方法和相关装置
CN117290534B (zh) * 2023-09-28 2024-09-13 中移互联网有限公司 故事相册的生成方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740086A (zh) * 2008-11-11 2010-06-16 三星电子株式会社 辑录内容的设备和方法
WO2010119548A1 (ja) * 2009-04-16 2010-10-21 株式会社ビジョナリスト 電子アルバム表示システム及び電子アルバム表示プログラム
CN105528444A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册生成方法和装置
CN105528450A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册命名方法和装置
CN106055554A (zh) * 2016-04-25 2016-10-26 珠海格力电器股份有限公司 一种电子相册分类方法、系统及终端
CN106776821A (zh) * 2016-11-25 2017-05-31 维沃移动通信有限公司 一种相册生成方法及终端

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389181B2 (en) 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4762762B2 (ja) 2006-03-07 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US7614837B2 (en) 2006-12-01 2009-11-10 Shutterfly, Inc. Manufacturing system for personalized photo books
US8014572B2 (en) * 2007-06-08 2011-09-06 Microsoft Corporation Face annotation framework with partial clustering and interactive labeling
US8611677B2 (en) 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US9244941B2 (en) 2009-03-18 2016-01-26 Shutterfly, Inc. Proactive creation of image-based products
US20120027293A1 (en) * 2010-07-27 2012-02-02 Cok Ronald S Automated multiple image product method
JP5739428B2 (ja) 2010-08-04 2015-06-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US8886576B1 (en) * 2012-06-22 2014-11-11 Google Inc. Automatic label suggestions for albums based on machine learning
US9411831B2 (en) * 2013-03-01 2016-08-09 Facebook, Inc. Photo clustering into moments
CN103369031A (zh) 2013-05-20 2013-10-23 华为技术有限公司 终端设备、电子相册服务器、照片分享系统及方法
US20160196478A1 (en) * 2013-09-03 2016-07-07 Samsung Electronics Co., Ltd. Image processing method and device
CN103838484A (zh) 2014-02-21 2014-06-04 联想(北京)有限公司 一种删除冗余图像的方法以及一种电子设备
CN104866501B (zh) 2014-02-24 2021-06-25 腾讯科技(深圳)有限公司 电子旅行相册生成方法和系统
US8923551B1 (en) * 2014-07-16 2014-12-30 Interactive Memories, Inc. Systems and methods for automatically creating a photo-based project based on photo analysis and image metadata
US9405774B2 (en) 2014-10-17 2016-08-02 Verizon Patent And Licensing Inc. Automated image organization techniques
CN104331509A (zh) 2014-11-21 2015-02-04 深圳市中兴移动通信有限公司 照片管理方法及装置
CN107408212B (zh) 2015-02-11 2021-09-21 爱维士软件有限责任公司 用于识别存储在设备上的不需要的照片的系统和方法
JP2016189522A (ja) 2015-03-30 2016-11-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN104933146A (zh) 2015-06-19 2015-09-23 深圳天珑无线科技有限公司 照片管理方法和装置及移动终端
CN106326908A (zh) * 2015-06-30 2017-01-11 中兴通讯股份有限公司 一种图片的管理方法、装置及终端设备
CN105022802A (zh) 2015-07-02 2015-11-04 深圳市金立通信设备有限公司 一种照片分类方法及终端
US10140516B2 (en) 2015-12-16 2018-11-27 Samsung Electronics Co., Ltd. Event-based image management using clustering
US20170192625A1 (en) 2015-12-31 2017-07-06 Young Kim Data managing and providing method and system for the same
CN105955995A (zh) 2016-04-19 2016-09-21 乐视控股(北京)有限公司 图片的分组方法和装置
CN106055624A (zh) * 2016-05-26 2016-10-26 努比亚技术有限公司 一种基于图片聚类的照片整理方法和移动终端
CN106021573A (zh) 2016-05-31 2016-10-12 北京小米移动软件有限公司 图片分类方法及装置、电子设备
EP3465478A1 (en) * 2016-06-02 2019-04-10 Kodak Alaris Inc. Method for providing one or more customized media centric products
CN106202392A (zh) 2016-07-07 2016-12-07 珠海市魅族科技有限公司 一种照片分类方法及终端
US10642893B2 (en) * 2016-09-05 2020-05-05 Google Llc Generating theme-based videos
CN106446950B (zh) 2016-09-27 2020-04-10 腾讯科技(深圳)有限公司 一种图像处理方法及装置
CN107193941A (zh) 2017-05-19 2017-09-22 北京金山安全软件有限公司 基于图片内容的故事生成方法和装置
CN107357815A (zh) 2017-06-07 2017-11-17 上海斐讯数据通信技术有限公司 一种图片内容的识别方法及系统
CN107341710A (zh) 2017-06-12 2017-11-10 武汉渡人网络技术有限公司 一种三维全景信息互动影息技术
US10762126B2 (en) * 2017-09-27 2020-09-01 Shutterfly, Llc System and method for reducing similar photos for display and product design

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740086A (zh) * 2008-11-11 2010-06-16 三星电子株式会社 辑录内容的设备和方法
WO2010119548A1 (ja) * 2009-04-16 2010-10-21 株式会社ビジョナリスト 電子アルバム表示システム及び電子アルバム表示プログラム
CN105528444A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册生成方法和装置
CN105528450A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种相册命名方法和装置
CN106055554A (zh) * 2016-04-25 2016-10-26 珠海格力电器股份有限公司 一种电子相册分类方法、系统及终端
CN106776821A (zh) * 2016-11-25 2017-05-31 维沃移动通信有限公司 一种相册生成方法及终端

Also Published As

Publication number Publication date
US20210011940A1 (en) 2021-01-14
CN108235765A (zh) 2018-06-29
WO2019109245A1 (zh) 2019-06-13
US11386140B2 (en) 2022-07-12
EP3706015A1 (en) 2020-09-09
EP3706015A4 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
CN108235765B (zh) 一种故事相册的显示方法及装置
US11275489B2 (en) Method and apparatus for uploading photographed file
US11249620B2 (en) Electronic device for playing-playing contents and method thereof
CN107622281B (zh) 图像分类方法、装置、存储介质及移动终端
US9483475B2 (en) Content recommendation method
EP2892208B1 (en) Method and apparatus for operating electronic device
WO2017107672A1 (zh) 一种信息处理方法和装置、一种用于信息处理的装置
CN112783379B (zh) 一种选择图片的方法和电子设备
US20140071160A1 (en) Electronic apparatus and display control method
CN106250421A (zh) 一种拍摄处理的方法及终端
WO2023016050A1 (zh) 一种卡片信息显示方法及电子设备
CN104536990A (zh) 一种图片显示方法及终端
CN111480158A (zh) 文件管理方法及电子设备
CN112287141A (zh) 相册处理方法、装置、电子设备和存储介质
KR102078858B1 (ko) 웹툰 제공 장치 및 휴대 단말의 동작 방법
KR20170098113A (ko) 전자 장치의 이미지 그룹 생성 방법 및 그 전자 장치
WO2021057421A1 (zh) 一种图片搜索方法及设备
CN105320514A (zh) 图片处理方法及装置
KR102165339B1 (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
KR102289293B1 (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
CN115988125B (zh) 一种卡片信息显示方法、电子设备及计算机存储介质
KR102050594B1 (ko) 전자장치에서 콘텐츠 재생 방법 및 장치
CN117917630A (zh) 分布式数据管理方法、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant