CN118035508A - 素材数据处理方法及相关产品 - Google Patents

素材数据处理方法及相关产品 Download PDF

Info

Publication number
CN118035508A
CN118035508A CN202211417536.4A CN202211417536A CN118035508A CN 118035508 A CN118035508 A CN 118035508A CN 202211417536 A CN202211417536 A CN 202211417536A CN 118035508 A CN118035508 A CN 118035508A
Authority
CN
China
Prior art keywords
information
target
material data
mode information
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211417536.4A
Other languages
English (en)
Inventor
刘畅
王海涵
刘森
储鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202211417536.4A priority Critical patent/CN118035508A/zh
Priority to PCT/CN2023/127013 priority patent/WO2024099101A1/zh
Publication of CN118035508A publication Critical patent/CN118035508A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种素材数据处理方法及相关产品,方法包括:响应于用户触发的针对第一素材数据的预设指令,确定第一素材数据对应的多模态信息,预设指令用于指示第一设备执行对应的预设操作;向至少一个第二设备发送素材获取请求;接收至少一个第二设备发送的至少一个素材获取结果,其中,每一第二设备对应一个素材获取结果;若任意一个素材获取结果指示对应的第二设备存在第二素材数据,则对第一素材数据和第二素材数据执行预设操作。采用本申请实施例有利于提高用户体验。

Description

素材数据处理方法及相关产品
技术领域
本申请涉及电子设备技术领域,具体涉及一种素材数据处理方法及相关产品。
背景技术
随着电子设备技术的发展,电子设备的应用区间越来越广,其对应的功能也越来越丰富,例如,用户可以根据自己电子设备中的视频数据和/或图像数据等素材数据进行分享或者二次编辑以后分享给其他用户。
用户往往选择的都是在自己或者家人朋友等其他用户的电子设备的相册中观看了所有的视频数据和/或图像数据等素材数据,然后自己在其他用户的电子设备中手动选中喜欢的图像和/或视频素材,并通过电子设备和/或其他用户自带的文件传输功能获得上述素材数据,进而,用户可对上述素材数据进行二次编辑。如此,用户在选择上述素材数据时往往会浪费大量的时间和精力,甚至可能选择不出满意的图像和/或视频等素材,用户体验低。
发明内容
本申请实施例提供了一种素材数据处理方法及相关产品,可实现中多设备之间自动共享优选的素材数据,用户不需要手动挑选实现设备间素材互传的繁琐流程,有利于提高用户体验。
第一方面,本申请实施例提供一种素材数据处理方法,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述方法包括:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
第二方面,本申请实施例提供一种素材数据处理方法,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述方法包括:
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
第三方面,本申请实施例提供一种素材数据处理方法,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述方法包括:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
第四方面,本申请实施例提供一种素材数据处理方法,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述方法包括:
接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
第五方面,本申请实施例提供一种素材数据处理装置,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述装置包括:确定单元、发送单元、接收单元和执行单元,其中,
所述确定单元,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元,用于向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
所述接收单元,用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
第六方面,本申请实施例提供一种素材数据处理装置,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述装置包括:接收单元、确定单元和发送单元,其中,
所述接收单元,用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
所述确定单元,用于确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元,还用于若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
所述发送单元,用于向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
第七方面,本申请实施例提供一种素材数据处理装置,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述装置包括:确定单元、发送单元、接收单元和执行单元,其中,
所述确定单元,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元,用于向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
所述接收单元,用于接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
所述发送单元,还用于若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
所述接收单元,还用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
第八方面,本申请实施例提供一种素材数据处理装置,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述装置包括:接收单元、确定单元、发送单元和显示单元,其中,
所述接收单元,用于接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
所述确定单元,用于确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元,还用于若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
所述发送单元,用于向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
所述接收单元,还用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
所述显示单元,用于显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
所述发送单元,用于响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
第九方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面和/或第二方面和/或第三方面和/或第四方面任一方法中的步骤的指令。
第十方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面和/或第二方面和/或第三方面和/或第四方面任一方法中所描述的部分或全部步骤。
第十一方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面和/或第二方面和/或第三方面和/或第四方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,第一设备向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;第二设备接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则第二设备确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;第二设备向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;第一设备接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则第一设备执行向所述对应的第二设备发送所述素材获取请求的步骤,其中,所述素材获取请求用于获取所述第二素材数据;第二设备接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;第二设备显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;第二设备响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤;第一设备接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则第一设备对所述第一素材数据和所述第二素材数据执行所述预设操作。可自动适配与该第一设备在同一组网的其他的第二设备的第二素材数据,并将第一素材数据和第二素材数据进行预设操作,有利于提高选择效率,并能够保证由第一素材数据和第二素材数据处理以后的数据的用户满意度,有利于提高用户体验。且第二设备可在确定与多模态信息匹配的目标多模态信息的过程中完成对于素材数据的优选,以得到第二素材数据,如此,可实现中多设备之间自动共享优选的素材数据,用户不需要手动挑选实现设备间素材互传的繁琐流程,有利于提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种素材数据处理系统的结构示意图;
图2是本申请实施例提供的一种创作引擎层的架构示意图;
图3是本申请实施例提供的一种通信组网的架构示意图;
图4是本申请实施例提供的一种素材数据处理方法的流程示意图;
图5是本申请实施例提供的一种素材数据处理方法的流程示意图;
图6是本申请实施例提供的一种素材数据处理方法的流程示意图;
图7是本申请实施例提供的一种素材数据处理方法的流程示意图;
图8是本申请实施例提供的一种素材数据处理方法的流程示意图;
图9A是本申请实施例提供的一种智能创作方法的场景示意图;
图9B是本申请实施例提供的一种智能创作方法的操作示意图;
图9C是本申请实施例提供的一种智能创作方法的场景示意图;
图9D是本申请实施例提供的一种智能创作方法的场景示意图;
图9E是本申请实施例提供的一种智能创作方法的场景示意图;
图9F是本申请实施例提供的一种智能创作方法的场景示意图;
图9G是本申请实施例提供的一种智能创作方法的场景示意图;
图10是本申请实施例提供的一种电子设备的结构示意图;
图11是本申请实施例提供的一种素材数据处理装置的功能单元组成框图;
图12A是本申请实施例提供的一种素材数据处理装置的功能单元组成框图;
图12B是本申请实施例提供的一种素材数据处理装置的功能单元组成框图;
图13是本申请实施例提供的一种素材数据处理装置的功能单元组成框图;
图14是本申请实施例提供的一种素材数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的区间。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表、智能眼镜)、车载设备等。便携式电子设备的示例性实施例包括但不限于搭载IOS系统、Android系统、Microsoft系统或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是台式计算机。
本申请实施例所公开的示例应用场景介绍如下。
请参阅图1,图1示出了本申请所适用的素材数据处理系统的结构示意图,该结构示意图中可包括:应用层、创作引擎层和系统服务层。
其中,上述应用层可用于支撑电子设备中不同的软件应用程序,例如,可以包括相册,该相册中可包括来源于不同的应用程序的图像或者视频数据;该应用层可用于接收用户发起的包括智能创作操作指令、存储操作指令等预设操作的预设指令,预设指令用于指示第一设备执行对应的预设操作。
在一种可能的示例中,若上述预设指令包括智能创作操作指令,如图2所示,为一种创作引擎层的架构示意图,上述创作引擎层可包括数据检测模块、多模态数据库、智能创作模块和数据优选模块;其中,上述数据检测模块可用于场景匹配、多模态信息的检测等,在此不作限定;多模态数据库主要用于素材数据和多模块数据的管理等,在此不作限定;智能创作模块主要用于对素材数据的裁剪、特效美化、合成编辑等等,在此不作限定;数据优选模块用于对素材数据进行筛选和匹配等,该模块中可包含多种阈值参数,例如:预设信息差值、预设匹配率、美学评价操作的阈值,还可以用于存储质量评价值的指标的设定等等,在此不作限定;该数据优选模块还可以对多模态数据进行信息过滤或者数据对比等等,如根据多模态信息过滤掉不符合上述指标的素材数据,以及智能创作场景的比对等等,在此不作限定。
其中,系统服务层主要用于组网内多设备间的检测、识别、连接、通信等。
在一种可能的示例中,如图3所示,为一种通信组网的架构示意图,该通组网中可包括第一设备和至少一个第二设备,其中,第一设备为至少一个第二设备的主设备,第二设备为第一设备的从设备,可通过如图2所示的系统服务模块支持第一设备与至少一个第二设备之间的通信连接,并检测得到处于同一个通信组网的其他设备等等,在此不作限定。
需要说明的是,上述第一设备和第二设备可以在同一个局域网络中,即可以是同一通信组网中的设备,也可以在不同的局域网络中,即可以不是同一个通信组网的设备。
在一个可能的示例中,第一设备向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;第二设备接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则第二设备确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;第二设备向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;第一设备接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则第一设备执行向所述对应的第二设备发送所述素材获取请求的步骤,其中,所述素材获取请求用于获取所述第二素材数据;第二设备接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;第二设备显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;第二设备响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤;第一设备接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则第一设备对所述第一素材数据和所述第二素材数据执行所述预设操作。可自动适配与该第一设备在同一组网的其他的第二设备的第二素材数据,并将第一素材数据和第二素材数据进行预设操作,有利于提高选择效率,并能够保证由第一素材数据和第二素材数据处理以后的数据的用户满意度,不需要用户二次手动编辑或者操作,有利于提高用户体验。且第二设备可在确定与多模态信息匹配的目标多模态信息的过程中完成对于素材数据的优选,以得到第二素材数据,如此,可实现中多设备之间自动共享优选的素材数据,用户不需要手动挑选实现设备间素材互传的繁琐流程,有利于提高用户体验。
需要说明的是,当第一设备为从设备时,也可以执行与上述第二设备相同的素材智能创作方法,在此不作赘述。
需要说明的是,在本申请中,上述多个可指两个或两个以上,后续不再赘述。
本申请实施例所公开的权要保护区间介绍如下。
请参阅图4,图4是本申请实施例提供的一种素材数据处理方法的流程示意图,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;如图所示,本素材数据处理方法包括以下操作。
S401、响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作。
其中,上述预设指令可为用户自行设置或者系统默认,在此不作限定。该预设指令进可用于用户触发或者下发,可用于指示第一设备执行对应的预设操作,该预设操作可包括智能创作操作、存储操作、素材数据共享操作等等,在此不作限定。
其中,智能创作操作可包括以下至少一种:裁剪操作、特效美化操作、合成编辑操作等等,在此不作限定。
其中,上述多模态信息可与第一素材数据对应,可用于指示第一素材数据对应的全球定位系统(Global Positioning System,GPS)信息、人脸信息、场景信息、主体信息、美学评价信息、高光片段信息、人物关系信息和文本信息等等,在此不作限定。
其中,第一素材数据可由第一设备获取或者用户自行选择得到,可在获取第一素材数据以后,对第一素材数据进行多模态信息解析,以得到第一素材数据中每一图像数据和/或视频数据对应的多模态信息。
当然,第一设备可包括多模态数据库,该多模态数据库中可存储每一图像数据和/或视频数据对应的多模态信息,当用户或者第一设备确定第一素材数据以后,可直接从该多模态数据库中适配得到第一素材数据对应的多模态信息。
其中,上述多模态信息可包括以下至少一种:全球定位系统(Global PositioningSystem,GPS)信息、人脸信息、场景信息、主体信息、美学评价信息、高光片段信息、人物关系信息和文本信息等等,在此不作限定。该多模态信息用于表征第一素材数据中的图像数据或者视频数据所对应的细节信息,高光片段信息可用于表征第一素材数据处理得到的最有看点或者最精彩的高光时刻,例如,可以是用户领取奖杯的高光时刻对应的视频数据,也可以是漫天晚霞的高光时刻对应的图像数据等等,在此不作限定;上述美学评价信息为第一设备根据美学评价指标和维度等打分得到的美学评价分数,可用于筛选符合大众审美或者用户审美的图像数据和/或视频数据,其中,上述美学评价标准可包括以下至少一种:色彩、构图、专业摄影技巧、内容语义等等,在此不作限定。
示例地,若上述预设操作为智能创作操作,电子设备可以从如图1所示的应用层接收用户触发的针对第一素材数据的预设指令,该预设指令可用于对用户指定或者选择的第一素材数据进行智能创作操作。
示例地,若上述预设指令用于指示第一设备执行智能创作操作,第一设备可包括智能创作操作页面,除去用户指定或者选择得到第一素材数据之外,上述第一素材数据也可以由第一设备指定。例如,第一设备的应用层可识别用户在进入智能创作操作页面之前操作的至少一张图像。若第一设备识别到用户选择进入智能创作操作页面,一般这种情况下,用户可能对上述至少一张图像有创作想法,则第一设备可根据上述至少一张图像确定智能创作场景,进而根据该智能创作场景从应用层适配得到同一智能创作场景至少一张其他图像,进而组合至少一张图像和至少一张其他图像,得到上述第一素材数据,并从多模态数据库中获取第一素材数据中每一图像对应的多模态信息,得到第一素材数据对应的多模态信息。
需要说明的是,当智能创作场景有多个时,针对每一智能创作场景均可适配得到同一智能创作场景的至少一张其他图像,进而将多个智能场景对应的至少一种其他图像和至少一张图像进行组合,得到第一素材数据,具体地在此不再赘述。
S402、向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定。
其中,上述素材获取请求可用于第一设备获取至少一个第二设备中每一第二设备存储的与多模态信息匹配的第二素材数据,该第二素材数据也可以包括图像数据和/或视频数据。该第二素材数据可用于第一设备结合第一素材数据执行预设操作。
其中,上述多模态信息用于第二设备筛选与第一设备多模态信息匹配的目标多模态信息,以得到第二素材数据。
其中,该多模态信息还用于第二设备确定是否存在与第一设备中多模态信息匹配的目标多模态信息,以确定第二设备与第一设备中的第二素材数据和第一素材数据匹配。示例的,还可以用于确定两个设备是否处于同一素材应用场景。
S403、接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果。
其中,上述素材获取结果可包括以下任意一种:存在与第一素材数据匹配的第二素材数据、不存在与第一素材数据匹配的第二素材数据等等。
在一种可能的示例中,第二设备有权限选择是否向第一设备发送第二素材数据,当第一设备接收得到的素材获取结果中存在与第一素材数据匹配,或者与多模态信息匹配的第二素材数据时,表明第二设备允许第一设备获取第二素材数据;反之,当第一设备接收得到的素材获取结果中不存在与第二素材数据时,表明第二设备不允许第一设备获取第二素材数据。
在一种可能的示例中,第二设备可通过多模态信息确定其是否存在与多模态信息匹配的第二素材数据,当第一设备接收得到的素材获取结果中存在与第一素材数据匹配,或者与多模态信息匹配的第二素材数据时,表明第二设备存在与多模态信息匹配的第二素材数据;反之,当第一设备接收得到的素材获取结果中不存在与第二素材数据时,表明第二设备不存在与多模态信息匹配的第二素材数据。
S404、若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
其中,电子设备可在接收至少一个素材获取结果以后,选取“存在第二素材数据”的素材获取结果对应的第二设备对应的第二素材数据,得到至少一个第二素材数据,并对第一素材数据和至少一个第二素材数据执行预设操作。
举例来说,可以对第一素材数据和至少一个第二设备对应的至少一个第二素材数据执行智能创作操作,以得到一个全新的目标素材数据,该目标素材数据可以包括图像数据和/或视频数据,以用于展示第一设备的图像数据和/或视频数据和至少一个第二设备的图像数据和/或视频数据。
举例来说,第一素材数据包括第一设备拍摄得到的针对流星的第一高光片段,该第一高光片段是第一颗流星的落下视频,第二素材数据包括第二设备的针对流星的第二高光片段,第二高光片段是第二颗流星的落下视频,则第一设备可根据第一高光片段和第二高光片段执行裁剪操作、合成编辑操作等智能创作操作,以融合第一高光片段和第二高光片段,得到一个完整的包括第一颗流星落下视频和第二颗流星落下视频的目标高光片段,且该目标高光片段还可以包括不同于第一高光片段和/或第二高光片段的特效、音乐、滤镜等等,在此不作限定。
可以看出,本申请实施例中所描述的素材数据处理方法,响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。如此,可通过多模态信息的匹配,实现从设备(第二设备)的第二素材数据的自动适配;且得到的第二素材数据和第一素材数据对应,并将第一素材数据和第二素材数据进行预设操作,不需要用户手动二次编辑,有利于提高选择效率,并能够保证得到的素材数据的高满意度,有利于提高用户体验。
在一个可能的示例中,所述多模态信息包括以下至少一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息;所述预设操作包括以下至少一种:存储操作、智能创作操作,其中,所述智能创作操作包括以下至少一种:裁剪操作、特效美化操作、合成编辑操作。
其中,上述存储操作可用于第一设备接收第二素材数据以后,将第一素材数据和至少一个第二素材数据同时存储,以便于下一次使用,以实现第一设备和第二设备之间的素材数据的共享;上述智能创作操作用于将第一素材数据和至少一个第二素材数据进行裁剪操作、特效美化操作和/或合成编辑操作等,以实现对于第一素材数据和/或至少一个第二素材数据的二次创作,以实现对于第一素材数据的优选,二次创作以后的素材数据有利于提高用户的满意度,有利于提高用户体验。
请参阅图5,图5是本申请实施例提供的一种素材数据处理方法的流程示意图,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;如图所示,本素材数据处理方法包括以下操作。
S501、接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定。
其中,上述素材获取请求中携带的多模态信息用于第二设备确定多模态数据库中是否存在与多模态信息匹配的目标多模态信息。
S502、确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息。
其中,第二设备中可包括多模态数据库,该多模态数据库可用于保存该第二设备对应的所有的素材数据对应的多模态数据。
其中,第二设备可将多模态数据库中的所有多模态信息与第一设备对应的多模态信息进行匹配,如果任意一个多模态信息匹配成功,则可确定存在匹配的目标多模态信息,如果全部的多模态信息匹配不成功,则确定不存在匹配的目标多模态数据。
S503、若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据。
S504、向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
其中,上述素材获取结果可包括第一素材获取结果和第二素材获取结果。
示例的,若多模态数据库中存在目标多模态信息,则发送第一素材获取结果,第一素材获取结果中可包括第二素材数据;若多模态数据库中不存在与多模态信息匹配的目标多模态信息,则发送第二素材获取结果,第二素材获取结果中不包括第二素材数据。
其中,若第二设备不存在与目标多模态信息与多模态信息匹配,则可向第一设备发送上述第二素材获取结果,该第二素材获取结果中可包括预设标识,该预设标识用于指示第二设备中不存在与第一设备中多模态数据匹配的目标多模态数据。
其中,上述预设标识可为用户自行设定或者系统默认,在此不作限定,还可事先与第一设备约定得到。
需要说明的是,上述步骤S501~S504的具体描述可参照图4所描述的素材数据处理方法的步骤S401-步骤S404的对应步骤,在此不再赘述。
可以看出,本申请所描述的素材数据处理方法,第二设备接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。如此,第二设备可接收同一组网中第一设备发送的多模态信息,并根据该多模态信息匹配得到与第一素材数据对应的第二素材数据,有利于为第一设备的预设操作提供数据参考和数据支持,并有利于提高第一设备完成预设操作的满意度。
在一个可能的示例中,所述多模态信息包括多个目标第一子模态信息,所述多模态数据库包括多个第二子模态信息,所述目标多模态信息包括多个目标第二子模态信息,所述目标第一子模态信息和/或所述目标第二子多模态信息包括以下任意一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息,任意一个所述目标第二子模态信息存在与其对应的所述目标第一子模态信息;所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息,可包括如下步骤:根据预设的所述第二子模态信息和匹配逻辑之间的映射关系,确定每一所述第二子模态信息对应的匹配逻辑;根据预设的所述第二子模态信息和优先级之间的映射关系,确定每一所述第二子模态信息对应的优先级;根据所述每一第二子模态信息对应的目标优先级,确定所述多个第二子模态信息的筛选顺序;根据所述筛选顺序和所述每一第二子模态信息对应的匹配逻辑,对所述每一第二子模态信息进行筛选,得到与任意一个所述目标第一子模态信息匹配的所述目标第二子模态信息,得到多个目标第二子模态信息;若任意一个所述第二子模态信息筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息;若任意一个所述第二子模态信息未筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中不存在与所述多模态信息匹配的所述目标多模态信息。
其中,上述目标第一子模态信息和/或第二子模态信息和/或目标第二子模态信息可以为GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息、人物关系信息和文本信息等等任意一种。
其中,第二设备中可预设第二子模态信息与匹配逻辑之间的映射关系,该映射关系用于表征每一第二子模态信息的筛选或者确认方式。
具体实现中,每一第二子模态信息可对应一个匹配逻辑,在通过匹配逻辑对第二子模态信息与其对应的目标第一子模态信息进行筛选以后,若匹配成功,表明多模态数据库中存在与多模态信息匹配的目标多模态信息,可得到匹配成功的目标第二子模态信息,进而,可确定目标第二子模态信息对应的素材数据,该素材数据的数据量是少于第二子模态信息对应的素材数据的数据量的。
进一步地,在通过匹配逻辑对与其对应的第二子模态信息进行筛选以后,如果任一个第二子模态信息都不存在与目标第一子模态信息匹配的目标第二子模态信息,则确定匹配失败,表明所述多模态数据库中不存在与所述多模态信息匹配的所述目标多模态信息。
例如,当第一素材数据为多个第一图像数据时,若多模态信息为GPS信息,目标第一子模态信息包括多个第一GPS信息,即目标第一子模态信息包括每一第一图像数据对应GPS信息,目标第二子模态信息包括多个第二GPS信息,可根据预设的第二子模态信息和匹配逻辑之间的映射关系,确定第二GPS信息这一第二子模态信息对应的匹配逻辑,进而,可根据该匹配逻辑从多个第二GPS信息中筛选得到至少一个目标第二GPS信息,即至少一个目标第二子模态信息,进而,第二设备可根据至少一个目标第二GPS信息确定与第一素材数据对应的目标第一子模态信息对应的第二素材数据。
其中,第二设备中还可预设述第二子模态信息和优先级之间的映射关系,在第二子模态信息包括多个时,即多种第二子模态信息,多个第二子模态信息对应有多个匹配逻辑,第二设备可以针对多个第二子模态信息设定多个匹配逻辑之间的优先级,即多个第二子模态信息的筛选顺序。上述优先级可用于确认第二设备执行上述多个第二子模态信息与多个目标第一子模态信息之间匹配筛选的先后关系,即确定第二设备执行每一第二子模态信息分别对应的匹配逻辑的顺序。
例如,若第二素材数据为图像数据,第二子模态信息包括图像数据的第二场景信息、第二主体信息、第二GPS信息等三种多模态信息,第二子模态信息为多模态数据库中存储,还未进行筛选或者匹配的数据;目标第二子模态信息包括图像数据的目标第二场景信息、目标第二主体信息、目标第二GPS信息;其中,可设定场景信息对应的匹配逻辑的优先级高于主体信息的优先级,主体信息的匹配逻辑的优先级高于GPS信息的匹配逻辑的优先级。
具体实现中,第二设备可优先根据场景信息对应的匹配逻辑从第二场景信息中筛选出与第一场景信息匹配的目标第二场景信息和目标第二场景信息对应的素材数据;继而从目标第二场景信息对应的素材数据中,根据主体信息对应的匹配逻辑从第二主体信息中筛选出与第一主体信息匹配的目标第二主体信息,继而和目标第二主体信息对应的素材数据;最后,从目标第二主体信息对应的素材数据中,根据GPS信息的匹配逻辑从第二GPS信息中筛选出与第一GPS信息匹配的目标第二GPS信息和目标第二GPS信息对应的素材数据,并作为上述目标素材数据,目标第二GPS信息对应的素材数据的数据量小于目标第二主体信息对应的素材数据的数据量,目标第二主体信息对应的素材数据的数据量小于第二场景信息对应的数据量。
举例来说,第二设备的图库中可包括大量的图像数据,可优先通过拍摄场景对应的匹配逻辑,匹配拍摄场景和第一设备中的拍摄场景,筛选得到目标拍摄场景的同时,也对大量的图像数据进行了首次筛选,进而,也筛选得到了与第一设备中拍摄场景匹配的图像数据。继而,通过主体对应的匹配逻辑,匹配主体和第一设备中的主体,筛选得到目标主体的同时,也对大量的图像数据进行了二次筛选,从拍摄场景匹配的图像数据中筛选得到的主体和拍摄场景同时匹配的图像数据。最后,可继续对大量的图像数据进行三次筛选,即通过拍摄的时间信息,匹配时间信息和第一设备对应的时间信息,筛选得到目标时间信息的同时,也筛选得到了与第一设备中拍摄场景、主体和时间信息同时匹配的图像数据,并将与第一设备中拍摄场景、主体和时间信息同时匹配的图像数据作为第二素材数据。
可见,本示例中,第二设备在接收第一设备发送的多模态数据以后,可以根据优先级和匹配逻辑从多模态数据库中匹配得到与该多模态数据匹配的第二素材数据,并且,上述优先级可用于精确定位数据范围,即可满足与该多模态数据中多种类型的第一素材数据的高匹配度,上述匹配逻辑可用于精确筛选每一种第二子模态数据,以优化处理第二设备中的第二子模态数据,有利于提高筛选准确率;并且,在通过优先级一次次的匹配过程中,可以优先筛选出更符合用户标准的数据,并有利于确认得到更为准确的第二素材数据有利于提高用户体验。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为GPS信息,所述目标第一子模态信息为第一GPS信息,所述目标第二子模态信息为目标第二GPS信息,所述第二子模态信息包括多个第二GPS信息,所述目标第二GPS信息为所述多个第二GPS信息中任意一个;对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,上述方法可包括如下步骤:从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息;和/或,确定每一所述第二GPS信息对应的第二GPS精度和所述第一GPS信息的第一GPS精度;若所述第一GPS精度和/或任意一个所述第二GPS精度大于预设精度阈值,则确定所述第一GPS精度和所述第二GPS精度之间的信息差值;若所述信息差值小于或等于预设信息差值,则将所述第二GPS精度对应的目标第二GPS信息作为所述目标第二子模态信息;若所述第一GPS精度和/或任意一个所述第二GPS精度小于或等于所述预设精度阈值,则执行所述从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息的步骤。
其中,GPS信息可用于确认拍摄得到素材数据的经纬度信息、位置信息等数据;上述预设区间可为用户自行设定,在此不作限定,该预设区间可指第一GPS信息指示的位置信息对应的区间。
其中,上述预设精度阈值和/或预设信息差值可由用户自行设定或者系统默认,在此不作限定;该预设精度阈值可用于表征两个GPS硬件的GPS精度的高低。
其中,若所述第一GPS精度和/或任意一个所述第二GPS精度大于预设精度阈值,则可表明第一设备和/或第二设备的GPS硬件的精度高;反之,若所述第一GPS精度和/或任意一个所述第二GPS精度小于或等于预设精度阈值,则可表明第一设备和/或第二设备的GPS硬件的精度低。
其中,上述信息差值可指GPS信息表征的数据的差异性,上述预设信息差值用于表征第一GPS信息和第二GPS信息之间的匹配度。例如,当GPS信息用于确认经纬度信息时,可确定第一设备对应的第一经纬度信息,和第二设备对应的第二经纬度信息;并求取两个经纬度信息的差值,可预设信息差值为0.01°,如果得到的信息差值小于0.01°,则确认第一GPS信息与第二GPS信息匹配,进而可确定第二GPS信息对应的第二素材数据。
可选地,在示例中,在GPS精度无法读取的时候,第二设备可根据第一GPS信息对应的第一GPS精度和第二GPS信息对应的第二GPS精度可通过其分别对应素材数据的经纬度信息和位置信息确定。
具体实现中,当第一GPS信息和/或第二GPS信息用于指示位置信息时,则可确定第一GPS精度和/或第二GPS精度高,第二设备可执行根据位置信息,对多个第二GPS信息中选取与第一GPS信息处于同一预设区域的目标第二GPS信息为目标第二子模态信息的步骤。
进一步地,当第一GPS信息和/或第二GPS中用于指示经纬度信息时,则可确定第一GPS精度和/或第二GPS精度低;第二设备则可确定第一GPS对应的第一经纬度信息,每一第二GPS信息对应的第二经纬度信息,比较第一经纬度信息和每一第二GPS经纬度信息之间的信息差值,若任意一个信息差值小于或等于预设信息差值,则将其对应的第二经纬度信息对应的目标第二GPS信息作为目标第二子模态信息。
可选地,当第一GPS信息和/或第二GPS中用于指示经纬度信息和位置信息时,可优先根据经纬度,确定第一GPS精度和/或第二GPS精度高,并执行与上述描述相同的步骤,并在任意一个信息差值小于或等于预设信息差值时,第二设备执行根据位置信息,对多个第二GPS信息中选取与第一GPS信息处于同一预设区域的目标第二GPS信息为目标第二子模态信息的步骤。
例如,当两个GPS信息指示的位置信息属于同一地区范围,例如第一GPS信息指示在深圳拍摄,第二GPS信息指示在广州拍摄,两个GPS信息均在广东省,则确定第二GPS信息为目标第二GPS信息。
可见,本示例中,在多模态信息为GPS信息时,第二设备可以根据预设信息差值和预设精度阈值等指标数据,对所述每一第二子模态信息进行筛选,得到与任意一个目标第一子模态信息匹配的所述目标第二子模态信息,实现对于第二子模态信息的筛选。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为人脸信息,所述目标第一子模态信息为第一人脸信息,所述目标第二子模态信息为目标第二人脸信息,所述第二子模态信息包括多个第二人脸信息,所述目标第二人脸信息为所述多个第二人脸信息中任意一个;对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,上述方法可包括如下步骤:确定所述第一人脸信息对应的人物档案;从所述多个第二人脸信息中选取与所述人物档案匹配的目标第二人脸信息作为所述目标第二子模态信息。
其中,第二设备可针对不同的人脸图像设定人物档案;上述人脸信息可以包括用于表征人脸中的五官、表情等信息的像素点。
可见,本示例中,第二设备可根据实现设定的人物档案,确定与第一人脸信息匹配的多个第二人脸信息中的任意一个目标第二人脸信息,有利于实现对于人脸信息类多模态信息的筛选。
可选地,如果上述第二设备没有检索到与第一人脸信息匹配的人物档案,则可逐个匹配上述第一人脸信息和每一第二人脸信息,得到匹配的目标第二人脸图像,并为该目标第二人脸图像建立人物档案,以便于下一次匹配人脸信息。
在一个可能的示例中,其特征在于,若所述第二子模态信息和所述目标第一子模态信息均为场景信息,所述场景信息包括以下至少一种:时间、季节、天气、节日、空间。
其中,第二设备可通过时间(年/月/日/早中晚/…)、季节(春夏秋冬/…)、天气(晴/多云/雨/雪/…)、节日(春节/生日/纪念日/…)、空间(室内/室外/景点/…)、宽泛的主体类型(人/物品/动物/风景/…)等等表征场景信息。
其中,第二设备可对上述场景信息进行优先级划分,进而可根据优先级,逐个与第一设备对应的目标第一子模态信息匹配,以选取匹配的第二子模态信息中的场景信息作为第二子模态信息。
可见,本示例中,第二设备可根据场景信息实现对于人脸信息类多模态信息的筛选,有利于提高后续第二素材数据的准确率。
在一个可能的示例中,若所述第二子模态信息或者所述目标第一子模态信息为主体信息,所述目标第一子模态信息为第一主体信息,所述目标第二子模态信息为目标第二主体信息,所述第二子模态信息包括多个第二主体信息,所述目标第二主体信息为所述多个第二主体信息中任意一个;对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,上述方法可包括如下步骤:确定所述第一主体信息对应的多个第一标签信息,其中,所述第一标签信息用于表征所述第一素材数据中所述第一主体信息的种类;确定任意一个所述第二主体信息对应的多个第二标签信息;将所述多个第一标签信息与所述多个第二标签信息进行匹配,得到多个匹配率,其中,每一匹配率对应一个第一标签信息;确定所述多个匹配率中大于预设匹配率的所述匹配率的匹配数量;若所述匹配数量大于预设匹配数量,则确定所述第二主体信息为所述目标第二主体信息,将所述目标第二主体信息作为所述目标第二子模态信息。
其中,上述主体信息可用于表征图像数据或者视频数据中的主体,该主体可包括以下至少一种:高楼、居民、古建筑、草原、森林、天空、河流、湖泊、火锅、烧烤、桌子、椅子、猫、狗、电脑、用户人脸等等,在此不作限定。上述第一标签信息用于表征第一素材数据中的多个主体的种类,第二标签信息用于表征第二素材数据中多个主体的种类。上述第一标签信息和/或第二标签信息可包括以下至少一种:建筑物(高楼/民居/古建筑/…)、雕塑、风景(草原/森林/河流/湖泊/天空/…)、食物(火锅/烧烤/西餐/甜品/小吃/…)、自然物体(花/草/树/…)、动物(猫/狗/鸟/…)、日常生活物品(电脑/手机/桌子/椅子/…)等等,在此不作限定;第一标签信息用于表征所述第一素材数据中所述第一主体信息的种类;所述第二标签信息用于表征所述第二素材数据中所述第二主体信息的种类。
其中,上述预设匹配数量可为用户自行设置或者系统默认,在此不作限定;该预设匹配数量可以设定为2个或者3个等等。
例如,若设定预设匹配数量为4个,第一主体信息中包括高楼、天空、湖泊、花、草、小猫、小狗等7个第一标签信息,第二主体信息包括高楼、天空、湖泊、花、小狗、花、草等6个第二标签信息,可得,第一主体信息和第二主体信息中有6个标签是匹配的(相同的),6是大于4的,因此,可确定该第二主体信息与第一主体信息匹配,可确定第二主体信息对应的第二素材数据为与第一素材数据匹配的。
可见,本示例中,第二设备可根据匹配数量实现对于主体信息类多模态信息的筛选,有利于提高后续确定第二素材数据的准确率。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为美学评价信息,所述目标第一子模态信息为第一美学评价信息,所述第一美学评价信息包括第一美学评价分数,所述目标第二子模态信息为目标第二美学评价信息,所述第二子模态信息包括多个第二美学评价信息,所述目标第二美学评价信息为所述多个第二美学评价信息中任意一个;对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,上述方法可包括如下步骤:若所述第一素材数据包括目标图像帧,则将所述目标图像帧对应的美学评价分数作为所述第一美学评价分数;若所述第一素材数据包括目标视频数据,则确定所述目标视频数据中包括的多个图像帧对应的美学评价分数的平均值,将所述平均值作为所述第一美学评价分数;确定所述多个第二美学评价信息分别对应的第二美学评价分数,得到多个第二美学评价分数;从所述多个第二美学评价分数中选择大于或等于所述第一美学评价分数的目标第二美学评价分数,并将所述目标第二美学评价分数作为所述目标第二子模态信息。
其中,上述目标图像帧可以是第一素材数据中多个图像数据中任意一个。上述目标视频数据可以是第一素材数据中至少一个视频数据中任意一个。
其中,上述第二美学评价分数可以是第二设备事先计算得到,第一美学评价分数可为第一设备计算得到。
可见,本示例中,第二设备可以比较第一素材数据中的图像数据和/或视频数据,以确定第一美学评价信息对应的第一美学评价分数;并以该第一美学评价分数为评价标准,以从多个第二美学评价分数中选取大于或等于第一美学评价分数的目标第二美学评价分数,以实现根据美学评价分数,筛选得到更好的或者更优的图像数据和/或视频数据作为第二素材数据,有利于提高后续确定第二素材数据的准确率,并有利于得到更符合大众标准或者审美的目标素材数据。
在一个可能的示例中,上述方法还可包括如下步骤:从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息;将所述高光片段信息对应的目标第二素材数据发送于所述第一设备。
其中,上述高光片段是信息可以是目标多模态信息对应的视频数据中的具备高光时刻的图像帧组成的视频片段,该高光片段所占第二设备的内存是远小于第二素材数据,即全部的视频数据的,第二设备可以将该高光片段信息对应的目标第二素材数据发送于第一设备。
可见,本示例中,第二设备可发送全部的目标多模态信息对应的第二素材数据,也可以发只发送高光片段,有利于提高传输效率,并且有利于节省第一设备(主设备)对视频素材数据的二次裁剪时间,直接获得可用的视频素材高光片段,有利于提高用户体验。
在一个可能的示例中,若所述第二素材数据包括视频数据;所述从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息,,所述高光片段信息包括高光片段;上述方法可包括如下步骤:确定所述视频数据中每一帧视频帧对应的目标美学评价分数;选取所述目标美学评价分数大于或等于预设分数值的视频帧作为目标视频帧,得到多个目标视频帧;将多个所述目标视频帧组合成目标视频,并将所述目标视频作为高光片段。
其中,上述预设分数值可为用户自行设定或者系统默认,在此不作限定,若5分为最高美学评价分数,该预设分数值可以设定为4分或者5分。
可见,本示例中,第二设备可以在得到第二素材数据以后,从第二素材数据对应的视频数据中,根据每一帧视频帧对应的目标美学评价分数和预设分数值,选取得到符合高光时刻评价标准的目标视频帧,并组合得到高光片段,有利于实现高光片段的生成。
在一个可能的示例中,所述确定所述视频数据中每一帧视频帧对应的目标美学评价分数,上述方法可包括如下步骤:获取预设的低质量图像帧的质量评价指标和每一所述质量评价指标对应的质量评价参数;根据所述质量评价指标,确定所述每一视频帧图像对应的目标评价参数;比较每一所述目标评价参数和所述质量评价参数;若存在任意一个目标评价参数和质量评价参数一致,则删除所述目标评价参数对应的视频帧图像,得到出所述视频帧图像以外的多个第一视频帧;获取预设的美学评价指标和每一所述美学评价指标对应的美学评价参数;根据所述美学评价指标和每一所述美学评价指标对应的美学评价参数,对所述多个第一视频帧进行美学评价,得到每一第一视频帧对应的目标美学评价分数。
其中,第二设备可设置将质量评价指标和美学评价指标,并根据上述两个评价指标评价视频帧或者图像帧的美学评价分数。
其中,如下表1所示为一种低质量图像帧的质量评价标准和质量评价参数之间的映射关系,第二设备可以为每一类(伪象、曝光问题、清晰度和色彩)的质量评价标准中的评价参数设定评价值,例如,针对色彩类,如果某视频帧图像中评价参数包括色偏、色彩溢出,则可确定该视频帧图像为低质量图像帧,可确定删除该视频帧图像,将剩下的视频帧图像确认为第一视频帧,得到多个第一视频帧。
表1、低质量图像帧的质量评价标准和质量评价参数之间的映射关系
其中,如下表2所示,为美学评价指标和美学评价参数之间的映射关系,美学评价指标可包括以下至少一种:内容语义、色彩、构图和专业摄影技巧等,在此不作限定;每一美学评价指标可对应0个或者至少一个美学评价参数;美学评价参数在可以根据大众审美设定,或者用户自定义等等,在此不作限定。上述映射关系中,还可以包括每一美学评价参数对应的分数。例如,针对某一第一视频帧,如果内容语义、色彩、构图和专业摄影技巧,如果其对应的美学评价参数均为0或者没有,则可确定该第一视频帧对应的美学评价参数为1分;如果其对应的内容语义对应的美学评价参数为“内容语义不清”,其他美学评价指标为0或者没有,则可确定该第一视频帧对应的美学评价参数为2分,以此类推,以得到每一第一视频帧对应的美学评价分数。
表2、美学评价指标和美学评价参数之间的映射关系
可见,本示例中,可对视频图像帧或者视频帧或者图像帧优先进行质量评价,进而筛选质量不好的图像帧等;针对视频帧来说,最后可以对筛选出来的多个第一视频帧中每一第一视频帧进行美学评价,得到其对应的目标美学评价分数,如此,有利于实现对于视频帧图像的美学评价,有利于提高后续确定第二素材数据的准确率,并有利于得到更符合大众标准或者审美的目标素材数据。
在一个可能的示例中,上述方法还可包括如下步骤:确定隐私信息;对所述第二素材数据进行分析,删除与所述隐私信息相关的素材数据,得到目标第二素材数据;将所述目标第二素材数据发送于所述第一设备;确定所述隐私信息对应的隐私标签,并将所述隐私标签同步到所述多模态数据库以对其中包括的多模态信息进行隐私设置。
其中,上述隐私信息可为用户自行设定或者系统默认,在此不作限定;该隐私信息可以是包括用户聊天信息的截图信息,也可以是包括用户手机号的信息等等,在此不作限定。
其中,上述隐私标签可以为禁止分享、私密等标签。
可见,本示例中,在确定第二素材数据以后,对第二设备上的图像/视频素材进行分析,把包含用户人隐私信息的图片/视频素材添加上隐私标签(禁止分享,私密等等)的素材数据去掉,以得到目标第二素材数据,有利于保护用户隐私安全。进一步地,可以将隐私标签和隐私信息添加入多模态数据库中,在下一次的过滤或者筛选过程中,图像数据和/或视频数据素材被第二设备自动拉取时,可以自动过滤掉含有隐私标签(禁止分享,私密)的素材,防止图片/视频素材意外传出,有利于防止包含用户个人隐私信息的图片/视频素材被意外传出,有利于提高用户信息安全,并有利于提高数据筛选效率。
在一个可能的示例中,所述第二素材数据和/或所述目标第二素材数据以缩略图的形式展示于所述第二设备界面中。
可见,本示例中,以缩略图的形式展示第二素材数据和/或目标第二素材数据,有利于用户查看,有利于提高用户体验。
在一个可能的示例中,在所述接收所述第一设备发送的素材获取请求之后,所述方法还可包括如下步骤:以弹框的方式显示所述素材获取请求;响应于用户在所述弹框中的选择操作,执行所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息的步骤。
其中,上述弹框的方式可以为用户自行设置或者系统默认,在此不作限定;可以为用户提供素材选择通道,以在第二设备对应用户点击同意后,第二设备才开始检测第二素材数据,确保了设备之间素材检测,有利于提高传输的安全性。
请参阅图6,图6是本申请实施例提供的一种素材数据处理方法的流程示意图,应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;如图所示,本素材数据处理方法包括以下操作。
S601、响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作。
S602、向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定。
S603、接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果。
S604、若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求。
S605、接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果。
S606、若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
其中,上述步骤S601-步骤S606的具体描述可参照图4所描述的素材数据处理方法的步骤S401-步骤S404的对应步骤。
其中,上述素材应用场景可指上述第一素材数据所应用的场景,可以是智能创作场景、素材数据存储场景、素材数据共享场景等等,在此不作限定。该素材应用场景还可以跟预设指令对应的预设操作对应,例如,当预设指令用于指示第一设备执行智能创作操作时,上述素材应用场景为智能创作场景;当预设指令用于指示第一设备执行存储操作时,上述素材应用场景为素材数据存储场景等等,在此不作限定。
其中,上述素材场景检测请求可用于第一设备确定至少一个第二设备中的每一第二设备是否存在与本设备相同素材应用场景的第二素材数据,例如,当预设指令用于指示第一设备执行智能创作操作时,该素材场景检测请求用于确定第二设备对应的智能创作场景是否与第一设备对应的智能创作场景一致。
其中,上述素材场景检测请求可包括多模态信息,该多模态信息可用于第二设备确定其对应的素材应用场景是否与第一设备的素材应用场景一致,具体地,当第二设备对应的多模态数据库中存在与第一设备的多模态信息匹配的目标多模态信息,则确定第二设备与第一设备对应的素材应用场景一致。
其中,上述素材场景检测结果可包括:第二设备存在与第一设备相同素材应用场景的第二素材数据,第二设备不存在与第一设备相同素材应用场景的第二素材数据。
其中,该第二素材数据为第二设备根据多模态信息匹配多模态数据库得到,具体地,当多模态数据库中存在与多模态信息匹配的目标多模态信息时,则第二设备确定目标多模态信息对应的素材数据为第二素材数据。
其中,若任意一个素材场景检测结果指示对应的第二设备存在与第一设备相同素材应用场景的第二素材数据,则确定第二设备与第一设备对应的素材应用场景一致,则第一设备可继续向对应的第二设备发送素材获取请求,该素材获取请求用于获取该第二设备对应的第二素材数据。
可选地,若任意一个素材场景检测结果指示对应的第二设备不存在与第一设备相同素材应用场景的第二素材数据,第一设备则不发送后续的素材获取请求,并显示第一提示信息,以提示用户当前的至少一个第二设备中不存在同一素材应用场景的素材数据,第一设备可继续显示第二提示信息,第二提示信息用于指示用户是否根据本地的第一素材数据执行预设操作,或者提示用户可重新选择第一素材数据,以确认至少一个第二设备中是否存在与重新选择的第一素材数据同一素材应用场景的素材数据。
可以看出,本申请实施例中所描述的素材数据处理方法,上述第一素材数据可应用于不同的素材应用场景,第一设备可根据该素材应用场景确定是否需要执行后续的预设操作。考虑到第二设备中可能不存在第一设备需要的素材数据,因此,第一设备可首先向第二设备发送素材场景检测请求,以确定第二设备是否与第一设备处于同一素材应用场景,在第二设备存在第一设备需要的第二素材数据时,确定第二设备与第一设备处于同一素材应用场景以后再实现第二素材数据的获取,当第二设备不存在第一设备需要的第二素材数据以后,可终止上述素材获取请求。
进一步地,考虑到第二设备对应的用户的隐私性,第二设备可能不允许第一设备获取第二素材数据,因此,第一设备可以向第二设备发送素材获取请求,以询问第二设备是否同意发送该第二素材数据,以帮助第一设备进一步获取第二素材数据,如此,有利于保护用户的隐私,并有利于提高用户体验。
可选地,若上述预设操作用于指示第一设备执行智能创作操作,上述素材应用场景为智能创作场景;在响应于用户触发的针对第一素材数据的预设指令之后,上述第一设备还可以确定第一素材数据对应的智能创作场景。该智能创作场景和第一素材数据对应,也和第一素材数据对应的多模态信息对应,即上述第一素材数据可以为同一智能创作场景的图像数据和/或视频数据。并根据智能创作场景对应的第一素材数据,在多模态数据库中获取与该第一素材数据对应的多模态信息。
可选地,第一设备还可根据预设的多模态信息和智能创作场景之间的映射关系,从第一设备对应的多模态数据库中匹配得到与该智能创作场景对应的多模态信息。
其中,上述智能创作场景可包括以下至少一种:旅途中的风景、生活中的琐碎场景、天空中的满天繁星等等,在此不作限定;该智能创作场景可用于指示用户想要创作图像或者视频所对应的场景信息,该智能创作场景可对应有主题信息,例如,针对旅途中的风景,其对应的主题信息为旅途主题,针对生活中的琐碎场景,其对应的主题信息为生活主题;该生活主题可根据第一素材数据确定。
需要说明的是,该多模态信息中包括的场景信息与智能创作场景不同,该智能创作场景是带有第一设备对应的用户主观创作想法的场景,场景信息是指的素材数据对应的单一的场景信息,不包括用户想要在该场景中创作的行为。
示例地,若智能创作场景由第一设备确定;具体实现中,如果第一素材数据包括多个图像,则可对多个图像中每一图像进行特征识别,确定每一图像对应的特征集合,得到多个特征集合,每一特征集合可包括对应图像的多个特征;第一设备可每一特征集合中包括的多个特征对上述多个特征集合进行分类,以确定每一特征集合的类别,得到每一特征集合对应的多个类别,上述类别可以包括以下至少一种:场所、人物、物品、动物、风景环境、人物或动物或物品或风景环境对应的状态等等,在此不作限定;其中,场所可以包括景点、公园、办公室、写字楼、小区等等。
进一步地,第一设备可根据预设的组合逻辑,对上述每一特征集合对应的多个类别进行信息整合,以确定该特征集合对应的组合式类别,进而可得到该特征集合对应的一个或多个组合式类别,选取多个组合式类别中层级结构最完整的组合式类别作为该特征集合对应的目标组合式类别,可得到该特征集合对应的目标组合式类别集合,该目标组合式类别集合中可包括至少一个目标组合式类别,进而可得到每一特征集合对应的每一目标组合式类别集合。
再进一步地,第一设备可将每一特征集合对应的目标组合式类别集合中的至少一个目标组合式类别整合到同一集合中,并确定出现次数最多的目标组合式类别,根据出现次数最多的目标组合式类别确定第一素材数据对应的主题信息,并根据该主题信息确定智能创作场景。
其中,第一设备可预先设定组合逻辑,可以理解为场景、人物或物品或动物或风景环境、人物或动物或物品或风景环境对应的状态等三个层级中的一个或多个层级的随机组合。其中,人物或物品或动物或风景环境属于一个层级,人物或动物或物品或风景环境对应的状态属于一个层级,且人物与人物的状态对应,物品与物品的状态对应,...,依次类推。上述层级结构可以是场景+人物,场景+人物+人物状态,人物+人物状态、物品等等,可以是一层、两层或三层。层级结构最完整的可以理解为层数最多的,例如,场景+人物或物品或动物或风景环境+人物或动物或物品或风景环境对应的状态这种三层结构。
其中,上述主题信息可以包括以下至少一种:旅途主题、生活主题、工作主题、运动主题等等,在此不作限定。上述不同的主题信息可由用户自行设定或者系统默认,在此不作限定。每一主题信息可对应有其主题范围,例如,和办公用品相、商务穿着相关的设定为工作主题,和运动类项目、运动类穿着相关的设定为运动主题等等,和旅游景点相关的设定为旅途主题等等,在此不作限定。
示例地,第一设备可根据该预设的组合逻辑对某一图像A的特征集合A对应的多个类别进行信息整合,得到的组合式类别可以是公园里的小猫在晒太阳、公园里的小孩在荡秋千、鸟儿在天空中飞、鱼儿在水中游等等,在此不作限定。如此,可将公园里的小猫在晒太阳、公园里的小孩在荡秋千作为该特征集合A对应的目标组合式类别A。
第一设备可根据该预设的组合逻辑对某一图像B的特征集合B对应的多个类别进行信息整合,得到的组合式类别可以是公园里的蝴蝶在采蜜、公园里的小孩在荡秋千、妈妈在对孩子讲话、鸟儿在天空中飞、鱼儿在水中游等等,在此不作限定。如此,可将公园里的蝴蝶在采蜜、公园里的小孩在荡秋千作为该特征集合B对应的目标组合式类别B。
进而,第一设备可选取出现次数最多的目标组合式类别为公园里的小孩儿在荡秋千,则确定该目标组合式类别对应的主题信息为生活主题,则可确定该生活主题对应的“生活中的琐碎场景”作为本次智能创作操作中的智能创作场景。
需要说明的是,针对上述步骤S401中的第一素材数据由第一设备根据上述至少一张图像确定智能创作场景的方式与上述方法相同,在此不再赘述。
需要说明的是,考虑到不同的设备(第一设备和第二设备)对于本设备内智能创作场景的定义可能有偏差,如果第二设备直接通过智能创作场景匹配到目标多模态数据,进而得到第二素材数据,该第二素材数据可能不是第一设备想要的,不利于后续的智能创作,不利于提高用户体验。
当然,如果同一组网内设备对于素材应用场景的定义相同,则上述智能创作场景也可通过素材场景检测请求发送至第二设备,第二设备对应的多模态数据库中的多模态信息可以按照素材应用场景分类,进而,当第二设备接收到包括智能创作场景的素材场景检测请求时,第二设备可根据该智能创作场景从对应的多模态数据库中确定是否存在和当前的智能创作场景匹配的目标多模态信息,若存在目标多模态信息,则可直接确定该目标多模态信息对应的第二素材数据,该第二素材数据和第一素材数据为同一智能创作场景中的素材数据。如此,有利于提高智能创作得到的目标素材数据的准确率,并不需要执行后续步骤中的多模态信息的匹配,有利于提高匹配效率。
可选地,若第一设备检测到用户选择的素材数据包括多个图像,但是可能存在多个素材数据对应的素材应用场景不同的情况,则可确定多个图像中每一图像对应的素材应用场景的目标类型,并计算每一目标类型的概率,选取最大概率对应的素材应用场景为目标素材应用场景,并确定目标素材应用场景对应的素材数据为第一素材数据,如此,在匹配得到第二素材数据时,得到的是与第一素材数据相同素材应用的数据。
需要说明的是,在本申请实施例中,仅针对一个素材应用场景进行说明,当然,当第一设备检测到用户选择的素材数据包括多个图像,且多个图像对应有不同的素材应用场景,即第一素材数据可能对应有多个素材应用场景,可能用户想针对多个素材应用场景进行智能创作,即第一设备需要对多个素材应用场景的素材数据进行智能创作,对于每一素材应用场景的素材数据的匹配方式上述方法也适用,在此不作赘述。
示例的,若第一设备的从设备包括多个,即包括多个第二设备时,由于考虑到每一第二设备中的素材应用场景可能也是不同的,也可能第二设备中也包括多个素材应用场景对应的素材数据。上述第一设备可直接从多模态数据库中选择多个图像对应的多模态信息,并将该多模态信息通过如步骤S401-S404中的素材获取请求发送至多个第二设备,或者通过步骤S601-S606中的素材场景检测请求发送至多个第二设备,由每一第二设备根据多模态信息匹配得到目标多模态信息,这时候不再关注是否是有几个相同的素材匹配场景,若第二设备能匹配到与多模态信息匹配的目标多模态信息,则表明该第二设备中具备相同素材应用场景的数据。如此,可以从多个第二设备中分别匹配得到与第一设备的素材应用场景相同的第二素材数据,以帮助第一设备完成对于多个素材应用场景的智能创作,不需要关注素材应用场景是否相同,有利于提高智能创作效率。
请参阅图7,图7是本申请实施例提供的一种素材数据处理方法的交互示意图,应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;如图所示,本素材数据处理方法包括以下操作。
S701、接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息。
S702、确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息。
S703、若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据。
S704、向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据。
S705、接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据。
S706、显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据。
S707、响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
需要说明的是,上述步骤S701~S707的具体描述可参照图4所描述的素材数据处理方法的步骤S401-步骤S404的对应步骤,以及图5所描述的素材处理方法的步骤S501-步骤S504的对应步骤,在此不再赘述。
其中,上述素材场景检测请求中可包括多模态信息,该多模态信息用于第二设备确定多模态数据库中是否存在与多模态信息匹配的目标多模态信息。
具体地,当多模态数据库中存在与多模态信息匹配的目标多模态信息,则可确定该目标多模态信息对应的素材数据为第二素材数据,且第二设备还可确定存在与第一设备相同素材应用场景的第二素材数据,即确定第二设备与第一设备对应的素材应用场景一致。
其中,上述素材场景检测结果包括以下任意一种:第二设备存在与第一设备相同素材应用场景的第二素材数据、第二设备不存在与第一设备相同素材应用场景的第二素材数据。
可选地,当第二设备存在与第一设备相同素材应用场景的第二素材数据,第二设备可发送素材场景检测结果,该素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据,进而,第二设备可接受第一设备发送的素材获取请求,该素材获取请求用于获取第二设备对应的第二素材数据。
进一步地,当第二设备不存在与第一设备相同素材应用场景的第二素材数据,则也可向第一设备发送素材场景检测结果,该素材场景检测结果用于指示第二设备不存在与第一设备相同素材应用场景的第二素材数据,并终止后续流程。
其中,上述提示信息可为用户自行设置或者系统默认,在此不作限定;该提示信息可用于第二设备提醒用户以确定该用户是否同意发送第二素材数据到第一设备。当第二设备检测到用户针对第二素材数据的确认发送指令以后,可将目标第二素材数据发送至第一设备。
需要说明的是,上述确定多模态数据库中是否存在与多模态信息匹配的目标多模态信息的相关步骤与上述步骤S502及其对应的实施例相同,在此不再赘述。
可以看出,本申请实施例所描述的素材数据处理方法,接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。通过设定两个请求(素材场景检测请求和素材获取请求)有利于优化第一设备和第二设备的交互流程,上述多模态信息用于确认第二设备对应的素材应用场景是否与第一设备中素材应用场景一致,并向第一设备发送素材场景检测结果,以提示第一设备对应的第二设备中存在或不存在相同素材应用场景的第二素材数据,以供第一设备确定后续是否需要继续获取第二素材数据,此时不需要发送第二素材数据。进一步地,当接收到素材获取请求以后,说明第一设备需要第二素材数据,此时再选择发送或者不发送第二素材数据,有利于为第二设备提供更多的选择,例如,以用于向第二设备对应的用户确认是否允许发送第二素材数据,有利于保护用户的隐私,并有利于提高用户体验。再进一步地,第二设备在确定存在相同素材应用场景的第二素材数据以后,通过素材获取请求还可以避免当第一设备不需要获取第二素材数据时,第二设备一股脑将第二素材数据发送到第一设备的无用功,即占用了带宽,也不利于保证第二设备的用户隐私。
请参阅图8,图8是本申请实施例提供的一种素材数据处理方法的交互示意图,所述第一设备与至少一个第二设备建立通信连接,所述第一设备和所述至少一个第二设备为同一个通信组网的设备,所述至少一个第二设备为所述第一设备的从设备,本申请实施例中的第二设备为所述至少一个第二设备中任意一个,如图所示,本素材数据处理方法包括以下操作。
S801、第一设备向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定。
S802、第二设备接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息。
S803、若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则第二设备确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据。
S804、第二设备向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据。
S805、第一设备接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果。
S806、若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则第一设备执行向所述对应的第二设备发送所述素材获取请求的步骤,其中,所述素材获取请求用于获取所述第二素材数据。
S807、第二设备接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据。
S808、第二设备显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据。
S809、第二设备响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤。
S810、第一设备接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果。
S811、若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则第一设备对所述第一素材数据和所述第二素材数据执行所述预设操作。
可选地,上述步骤S801-步骤S811的具体描述可参照图6所描述的素材数据处理方法的步骤S601-步骤S606的对应步骤,以及图7所描述的素材数据处理方法的步骤S701-S707的对应步骤在此不再赘述。
可以看出,本申请实施例中所描述的素材数据处理方法,第一设备向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;第二设备接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则第二设备确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;第二设备向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;第一设备接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则第一设备执行向所述对应的第二设备发送所述素材获取请求的步骤,其中,所述素材获取请求用于获取所述第二素材数据;第二设备接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;第二设备显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;第二设备响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤;第一设备接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则第一设备对所述第一素材数据和所述第二素材数据执行所述预设操作。可自动适配与该第一设备在同一组网的其他的第二设备的第二素材数据,并将第一素材数据和第二素材数据进行预设操作,有利于提高选择效率,并能够保证由第一素材数据和第二素材数据处理以后的数据的用户满意度,有利于提高用户体验。且第二设备可在确定与多模态信息匹配的目标多模态信息的过程中完成对于素材数据的优选,以得到第二素材数据,如此,可实现中多设备之间自动共享优选的素材数据,用户不需要手动挑选实现设备间素材互传的繁琐流程,有利于提高用户体验。
在一种可能的示例中,如图9A、图9B所示,分别为一种智能创作方法的场景示意图,如图9A所示,第一设备为主设备,用户可以在第一设备的UI界面或者显示桌面中通过点击“智能创作”模块触发智能创作指令,进而,第一设备可响应于智能创作指令,确定用户选择的第一素材数据,并确定第一素材数据对应的多模态信息,并向组网内的至少一个第二设备分别发送素材场景检测请求,和第一素材数据对应的多模态信息。
如图9B所示,第一设备可接收到第二设备发送的素材场景检测请求,且在素材场景检测结果指示第二设备存在与所述第一设备相同智能创作场景的第二素材数据之后,弹出对话框,显示【检测其他组网设备上存在相似场景素材,是否需要获取】等字样,并响应于用户在该显示桌面的确认操作,向对应的第二设备发送素材获取请求,以获取第二设备中的第二素材数据。当然,如果同一组网内的第二设备不存在与该第一素材数据相同智能创作场景的第二素材数据,第一设备也可接收到第二设备发送的素材场景检测结果,且该素材场景检测结果指示第二设备不存在与智能创作场景对应的第二素材数据,同时,第一设备弹出对话框【检测其他组网设备上不存在相似场景素材】的字样。
如图9C~图9E所示,分别为一种智能创作方法的场景示意图,与图9B相对应的,如图9C所示,在第一设备发送素材场景检测请求以后,第二设备收到第一设备素材场景检测请求后(如图9C所示),若同一组网内的第二设备多模态数据库中存在与多模态信息匹配的目标多模态信息,即第二设备存在与第一设备相同智能创作场景的第二素材数据,向第一设备发送素材场景检测结果,该素材场景检测结果用于指示第二设备存在与第一设备相同素材应用场景的第二素材数据。
进一步地,第二设备可在接收到第一设备发送的素材获取请求以后,第二设备可弹出对话框,包括【其他组网设备请求获取素材】字样,响应于用户在图9C中的点击操作,如图9D所示,弹出对话框,并显示【是否同意其他组网设备获取素材的请求?】,在第二设备接收到用户选择的确认选择以后,向第一设备发送素材获取结果,该素材获取结果可用于指示第二设备存在与第一设备相同智能创作场景对应的第二素材数据,该素材获取结果中包括第二素材数据。
当然,当第二设备检测到不存在第二素材数据时,不弹出如图9C所示的包括【其他组网设备请求获取素材】的对话框,直接向第一设备反馈素材场景检测结果,该素材场景检测结果可用于指示第二设备不存在与第一设备智能创作场景对应的第二素材数据。
进一步地,若同一组网内的第二设备多模态数据库中存在与多模态信息匹配的目标多模态信息,即第二设备存在与第一设备相同智能创作场景的第二素材数据,向第一设备发送素材场景检测结果。第二设备可在接收到第一设备发送的素材获取请求以后,第二设备可弹出对话框,包括【其他组网设备请求获取素材】字样,响应于用户在图9C中的点击操作,如图9E所示,弹出对话框,并显示【是否同意其他组网设备获取素材的请求?】,在第二设备接收到用户选择的取消选择以后,发送素材获取结果,该素材获取结果用于指示第二设备不存在与第一素材数据对应的第二素材数据。
如图9F-图9G所示,为第一设备的场景示意图,第一设备可接收至少一个第二设备发送的第二素材数据,并对一个或多个第二素材数据和第一素材数据执行智能创作操作,并在显示界面中显示对话框,包括【正在创作中】;若第二设备未接收到用户的取消选择,则可得到如图9G所示的目标素材数据,例如,可以是高光片段。
请参阅图10,图10是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,应用于电子设备,该电子设备包括第一设备和/或第二设备。
可选地,若电子设备为第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;其中,上述一个或多个程序被存储在上述存储器中,上述一个或多个程序被配置由上述处理器执行以下步骤的指令:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
可以看出,本申请实施例中所描述的电子设备,响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。如此,可通过多模态信息的匹配,实现从设备(第二设备)的第二素材数据的自动适配;且得到的第二素材数据和第一素材数据对应,并将第一素材数据和第二素材数据进行预设操作,不需要用户手动二次编辑,有利于提高选择效率,并能够保证得到的素材数据的高满意度,有利于提高用户体验。
在一个可能的示例中,所述多模态信息包括以下至少一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息;所述预设操作包括以下至少一种:存储操作、智能创作操作,其中,所述智能创作操作包括以下至少一种:裁剪操作、特效美化操作、合成编辑操作。
可选地,若电子设备为第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;其中,上述一个或多个程序被存储在上述存储器中,上述一个或多个程序被配置由上述处理器执行以下步骤的指令:
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
可以看出,本申请实施例中所描述的电子设备,接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。如此,第二设备可接收同一组网中第一设备发送的多模态信息,并根据该多模态信息匹配得到与第一素材数据对应的第二素材数据,有利于为第一设备的预设操作提供数据参考和数据支持,并有利于提高第一设备完成预设操作的满意度。
在一个可能的示例中,在所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据之前,上述程序包括用于执行以下步骤的指令:
接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息;
确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤。
在一个可能的示例中,所述多模态信息包括多个目标第一子模态信息,所述多模态数据库包括多个第二子模态信息,所述目标多模态信息包括多个目标第二子模态信息,所述第二子模态信息或者目标第一子模态信息或者所述目标第二子模态信息包括以下任意一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息,任意一个所述目标第二子模态信息存在与其对应的所述目标第一子模态信息;
在所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息方面,上述程序包括用于执行以下步骤的指令:
根据预设的所述第二子模态信息和匹配逻辑之间的映射关系,确定每一所述第二子模态信息对应的匹配逻辑;
根据预设的所述第二子模态信息和优先级之间的映射关系,确定每一所述第二子模态信息对应的优先级;
根据所述每一所述第二子模态信息对应的优先级,确定所述多个第二子模态信息的筛选顺序;
根据所述筛选顺序和所述每一第二子模态信息对应的匹配逻辑,对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息;
若任意一个所述第二子模态信息筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息;
若任意一个所述第二子模态信息未筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中不存在与所述多模态信息匹配的所述目标多模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息为GPS信息,所述目标第一子模态信息为第一GPS信息,所述目标第二子模态信息为目标第二GPS信息,所述第二子模态信息包括多个第二GPS信息,所述目标第二GPS信息为所述多个第二GPS信息中任意一个;
在对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述程序包括用于执行以下步骤的指令:
从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息;或者,
确定每一所述第二GPS信息对应的第二GPS精度和所述第一GPS信息的第一GPS精度;
若所述第一GPS精度和/或任意一个所述第二GPS精度大于预设精度阈值,则确定所述第一GPS精度和所述第二GPS精度之间的信息差值;
若所述信息差值小于或等于预设信息差值,则将所述第二GPS精度对应的目标第二GPS信息作为所述目标第二子模态信息;
若所述第一GPS精度和/或任意一个所述第二GPS精度小于或等于所述预设精度阈值,则执行所述从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息的步骤。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为人脸信息,所述目标第一子模态信息为第一人脸信息,所述目标第二子模态信息为目标第二人脸信息,所述第二子模态信息包括多个第二人脸信息,所述目标第二人脸信息为所述多个第二人脸信息中任意一个;
在对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述程序包括用于执行以下步骤的指令:
确定所述第一人脸信息对应的人物档案;
从所述多个第二人脸信息中选取与所述人物档案匹配的目标第二人脸信息作为所述目标第二子模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为场景信息,所述场景信息包括以下至少一种:时间、季节、天气、节日、空间。
在一个可能的示例中,若所述第二子模态信息或者所述目标第一子模态信息为主体信息,所述目标第一子模态信息为第一主体信息,所述目标第二子模态信息为目标第二主体信息,所述第二子模态信息包括多个第二主体信息,所述目标第二主体信息为所述多个第二主体信息中任意一个;
在对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述程序包括用于执行以下步骤的指令:
确定所述第一主体信息对应的多个第一标签信息,其中,所述第一标签信息用于表征所述第一素材数据中所述第一主体信息的种类;
确定任意一个所述第二主体信息对应的多个第二标签信息,其中,所述第二标签信息用于表征对应的第二主体信息的种类;
将所述多个第一标签信息与所述多个第二标签信息进行匹配,得到多个匹配率,其中,每一匹配率对应一个第一标签信息;
确定所述多个匹配率中大于预设匹配率的匹配数量;
若所述匹配数量大于预设匹配数量,则确定所述第二主体信息为所述目标第二主体信息,将所述目标第二主体信息作为所述目标第二子模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为美学评价信息,所述目标第一子模态信息为第一美学评价信息,所述第一美学评价信息包括第一美学评价分数,所述目标第二子模态信息为目标第二美学评价信息,所述第二子模态信息包括多个第二美学评价信息,所述目标第二美学评价信息为所述多个第二美学评价信息中任意一个;
在所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述程序包括用于执行以下步骤的指令:
若所述第一素材数据包括目标图像帧,则将所述目标图像帧对应的美学评价分数作为所述第一美学评价分数;
若所述第一素材数据包括目标视频数据,则确定所述目标视频数据中包括的多个图像帧对应的美学评价分数的平均值,将所述平均值作为所述第一美学评价分数;
确定所述多个第二美学评价信息分别对应的第二美学评价分数,得到多个第二美学评价分数;
从所述多个第二美学评价分数中选择大于或等于所述第一美学评价分数的目标第二美学评价分数,并将所述目标第二美学评价分数作为所述目标第二子模态信息。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息;
将所述高光片段信息对应的目标第二素材数据发送于所述第一设备。
在一个可能的示例中,若所述第二素材数据包括视频数据,所述高光片段信息包括高光片段;
在所述从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息方面,上述程序包括用于执行以下步骤的指令:
确定所述视频数据中每一帧视频帧对应的目标美学评价分数;
选取所述目标美学评价分数大于或等于预设分数值的视频帧作为目标视频帧,得到多个目标视频帧;
将多个所述目标视频帧组合成目标视频,并将所述目标视频作为所述高光片段。
在一个可能的示例中,在所述确定所述视频数据中每一帧视频帧对应的目标美学评价分数方面,上述程序包括用于执行以下步骤的指令:
获取预设的低质量图像帧的质量评价指标和每一所述质量评价指标对应的质量评价参数;
根据所述质量评价指标,确定所述每一视频帧图像对应的目标评价参数;
比较每一所述目标评价参数和所述质量评价参数;
若存在任意一个目标评价参数和质量评价参数一致,则删除所述目标评价参数对应的视频帧图像,得到除所述视频帧图像以外的多个第一视频帧;
获取预设的美学评价指标和每一所述美学评价指标对应的美学评价参数;
根据所述美学评价指标和每一所述美学评价指标对应的美学评价参数,对所述多个第一视频帧进行美学评价,得到每一第一视频帧对应的目标美学评价分数。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
确定隐私信息;
对所述第二素材数据进行分析,删除与所述隐私信息相关的素材数据,得到目标第二素材数据;
将所述目标第二素材数据发送于所述第一设备;
确定所述隐私信息对应的隐私标签,并将所述隐私标签同步到所述多模态数据库以对其中包括的多模态信息进行隐私设置。
在一个可能的示例中,所述第二素材数据和/或所述目标第二素材数据以缩略图的形式展示于所述第二设备界面中。
在一个可能的示例中,在所述接收所述第一设备发送的素材获取请求之后,上述程序还包括用于执行以下步骤的指令:
以弹框的方式显示所述素材获取请求;
响应于用户在所述弹框中的选择操作,执行所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息的步骤。
可选地,若电子设备为第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;其中,上述一个或多个程序被存储在上述存储器中,上述一个或多个程序被配置由上述处理器执行以下步骤的指令:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
可以看出,本申请实施例中所描述的电子设备,响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。上述第一素材数据可应用于不同的素材应用场景,第一设备可根据该素材应用场景确定是否需要执行后续的预设操作。考虑到第二设备中可能不存在第一设备需要的素材数据,因此,第一设备可首先向第二设备发送素材场景检测请求,以确定第二设备是否与第一设备处于同一素材应用场景,在第二设备存在第一设备需要的第二素材数据时,确定第二设备与第一设备处于同一素材应用场景以后再实现第二素材数据的获取,当第二设备不存在第一设备需要的第二素材数据以后,可终止上述素材获取请求。进一步地,考虑到第二设备对应的用户的隐私性,第二设备可能不允许第一设备获取第二素材数据,因此,第一设备可以向第二设备发送素材获取请求,以询问第二设备是否同意发送该第二素材数据,以帮助第一设备进一步获取第二素材数据,如此,有利于保护用户的隐私,并有利于提高用户体验。
可选地,若电子设备为第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;其中,上述一个或多个程序被存储在上述存储器中,上述一个或多个程序被配置由上述处理器执行以下步骤的指令:
接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
可以看出,本申请实施例中所描述的电子设备,接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。通过设定两个请求(素材场景检测请求和素材获取请求)有利于优化第一设备和第二设备的交互流程,上述多模态信息用于确认第二设备对应的素材应用场景是否与第一设备中素材应用场景一致,并向第一设备发送素材场景检测结果,以提示第一设备对应的第二设备中存在或不存在相同素材应用场景的第二素材数据,以供第一设备确定后续是否需要继续获取第二素材数据,此时不需要发送第二素材数据。进一步地,当接收到素材获取请求以后,说明第一设备需要第二素材数据,此时再选择发送或者不发送第二素材数据,有利于为第二设备提供更多的选择,例如,以用于向第二设备对应的用户确认是否允许发送第二素材数据,有利于保护用户的隐私,并有利于提高用户体验。再进一步地,第二设备在确定存在相同素材应用场景的第二素材数据以后,通过素材获取请求还可以避免当第一设备不需要获取第二素材数据时,第二设备一股脑将第二素材数据发送到第一设备的无用功,即占用了带宽,也不利于保证第二设备的用户隐私。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的区间。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图11示出了素材数据处理装置的示意图,如图11所示,所述装置应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述装置包括:确定单元、发送单元、接收单元和执行单元,该素材数据处理装置1100可以包括:确定单元1101、发送单元1102、接收单元1103和执行单元1104,其中,
所述确定单元1101,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元1102,用于向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
所述接收单元1103,用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元1104,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
可以看出,本申请实施例中所描述的素材数据处理装置,响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。如此,可通过多模态信息的匹配,实现从设备(第二设备)的第二素材数据的自动适配;且得到的第二素材数据和第一素材数据对应,并将第一素材数据和第二素材数据进行预设操作,不需要用户手动二次编辑,有利于提高选择效率,并能够保证得到的素材数据的高满意度,有利于提高用户体验。
在一个可能的示例中,在所述向所述至少一个第二设备发送素材获取请求之前,上述执行单元1104,还用于:
向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则执行向所述对应的第二设备发送所述素材获取请求的步骤,其中,所述素材获取请求用于获取所述第二素材数据。
请参阅图12A,图12A示出了素材数据处理装置的示意图,如图12A所示,所述装置应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;该素材数据处理装置1200可以包括:接收单元1201、确定单元1202和发送单元1203,其中,
所述接收单元1201,用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
所述确定单元1202,用于确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元1202,还用于若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
所述发送单元1203,还用于向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据,其中,所述第二素材数据用于所述第一设备智能创作所述第一素材数据得到目标素材数据。
可以看出,本申请实施例中所描述的素材数据处理装置,接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。如此,第二设备可接收同一组网中第一设备发送的多模态信息,并根据该多模态信息匹配得到与第一素材数据对应的第二素材数据,有利于为第一设备的预设操作提供数据参考和数据支持,并有利于提高第一设备完成预设操作的满意度。
在一个可能的示例中,在所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据之前,上述发送单元还用于:
接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括所述多模态信息;
确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
响应于所述用户针对所述第二素材数据的确定发送操作,执行所述向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据的步骤。
在一个可能的示例中,所述多模态信息包括多个目标第一子模态信息,所述多模态数据库包括多个第二子模态信息,所述目标多模态信息包括多个目标第二子模态信息,所述第二子模态信息或者目标第一子模态信息或者所述目标第二子模态信息包括以下任意一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息,任意一个所述目标第二子模态信息存在与其对应的所述目标第一子模态信息;在所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息方面,上述确定单元1202具体用于:
根据预设的所述第二子模态信息和匹配逻辑之间的映射关系,确定每一所述第二子模态信息对应的匹配逻辑;
根据预设的所述第二子模态信息和优先级之间的映射关系,确定每一所述第二子模态信息对应的优先级;
根据所述每一所述第二子模态信息对应的优先级,确定所述多个第二子模态信息的筛选顺序;
根据所述筛选顺序和所述每一第二子模态信息对应的匹配逻辑,对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息;
若任意一个所述第二子模态信息筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息;
若任意一个所述第二子模态信息未筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中不存在与所述多模态信息匹配的所述目标多模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息为GPS信息,所述目标第一子模态信息为第一GPS信息,所述目标第二子模态信息为目标第二GPS信息,所述第二子模态信息包括多个第二GPS信息,所述目标第二GPS信息为所述多个第二GPS信息中任意一个;
在所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述确定单元1202具体用于:
从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息;或者,
确定每一所述第二GPS信息对应的第二GPS精度和所述第一GPS信息的第一GPS精度;
若所述第一GPS精度和/或任意一个所述第二GPS精度大于预设精度阈值,则确定所述第一GPS精度和所述第二GPS精度之间的信息差值;
若所述信息差值小于或等于预设信息差值,则将所述第二GPS精度对应的目标第二GPS信息作为所述目标第二子模态信息;
若所述第一GPS精度和/或任意一个所述第二GPS精度小于或等于所述预设精度阈值,则执行所述从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息的步骤。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为人脸信息,所述目标第一子模态信息为第一人脸信息,所述目标第二子模态信息为目标第二人脸信息,所述第二子模态信息包括多个第二人脸信息,所述目标第二人脸信息为所述多个第二人脸信息中任意一个;
在所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述确定单元1202具体用于:
确定所述第一人脸信息对应的人物档案;
从所述多个第二人脸信息中选取与所述人物档案匹配的目标第二人脸信息作为所述目标第二子模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为场景信息,所述场景信息包括以下至少一种:时间、季节、天气、节日、空间。
在一个可能的示例中,若所述第二子模态信息或者所述目标第一子模态信息为主体信息,所述目标第一子模态信息为第一主体信息,所述目标第二子模态信息为目标第二主体信息,所述第二子模态信息包括多个第二主体信息,所述目标第二主体信息为所述多个第二主体信息中任意一个;
在对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述确定单元1202具体用于:
确定所述第一主体信息对应的多个第一标签信息,其中,所述第一标签信息用于表征所述第一素材数据中所述第一主体信息的种类;
确定任意一个所述第二主体信息对应的多个第二标签信息,其中,所述第二标签信息用于表征对应的第二主体信息的种类;
将所述多个第一标签信息与所述多个第二标签信息进行匹配,得到多个匹配率,其中,每一匹配率对应一个第一标签信息;
确定所述多个匹配率中大于预设匹配率的匹配数量;
若所述匹配数量大于预设匹配数量,则确定所述第二主体信息为所述目标第二主体信息,将所述目标第二主体信息作为所述目标第二子模态信息。
在一个可能的示例中,若所述第二子模态信息和所述目标第一子模态信息均为美学评价信息,所述目标第一子模态信息为第一美学评价信息,所述第一美学评价信息包括第一美学评价分数,所述目标第二子模态信息为目标第二美学评价信息,所述第二子模态信息包括多个第二美学评价信息,所述目标第二美学评价信息为所述多个第二美学评价信息中任意一个;
在所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息方面,上述确定单元1202具体用于:
若所述第一素材数据包括目标图像帧,则将所述目标图像帧对应的美学评价分数作为所述第一美学评价分数;
若所述第一素材数据包括目标视频数据,则确定所述目标视频数据中包括的多个图像帧对应的美学评价分数的平均值,将所述平均值作为所述第一美学评价分数;
确定所述多个第二美学评价信息分别对应的第二美学评价分数,得到多个第二美学评价分数;
从所述多个第二美学评价分数中选择大于或等于所述第一美学评价分数的目标第二美学评价分数,并将所述目标第二美学评价分数作为所述目标第二子模态信息。
在一个可能的示例中,上述发送单元1203具体用于:
从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息;
将所述高光片段信息对应的目标第二素材数据发送于所述第一设备。
在一个可能的示例中,若所述第二素材数据包括视频数据,所述高光片段信息包括高光片段;与上述图12A一致的,如图12B所示,为一种素材数据处理装置的示意图,该素材数据处理装置1200还可以包括:组合单元1204,该组合单元1204,用于:确定所述视频数据中每一帧视频帧对应的目标美学评价分数;选取所述目标美学评价分数大于或等于预设分数值的视频帧作为目标视频帧,得到多个目标视频帧;将多个所述目标视频帧组合成目标视频,并将所述目标视频作为高光片段。
在一个可能的示例中,在所述确定所述视频数据中每一帧视频帧对应的目标美学评价分数方面,上述确定单元1202具体用于:
获取预设的低质量图像帧的质量评价指标和每一所述质量评价指标对应的质量评价参数;
根据所述质量评价指标,确定所述每一视频帧图像对应的目标评价参数;
比较每一所述目标评价参数和所述质量评价参数;
若存在任意一个目标评价参数和质量评价参数一致,则删除所述目标评价参数对应的视频帧图像,得到除所述视频帧图像以外的多个第一视频帧;
获取预设的美学评价指标和每一所述美学评价指标对应的美学评价参数;
根据所述美学评价指标和每一所述美学评价指标对应的美学评价参数,对所述多个第一视频帧进行美学评价,得到每一第一视频帧对应的目标美学评价分数。
在一个可能的示例中,上述确定单元1202具体还用于:
确定隐私信息;
对所述第二素材数据进行分析,删除与所述隐私信息相关的素材数据,得到目标第二素材数据;
将所述目标第二素材数据发送于所述第一设备;
确定所述隐私信息对应的隐私标签,并将所述隐私标签同步到所述多模态数据库以对其中包括的多模态信息进行隐私设置。
在一个可能的示例中,所述第二素材数据和/或所述目标第二素材数据以缩略图的形式展示于所述第二设备界面中。
在一个可能的示例中,在所述接收所述第一设备发送的素材获取请求之后,上述确定单元1202具体还用于:以弹框的方式显示所述素材获取请求;
响应于用户在所述弹框中的选择操作,执行所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息的步骤。
请参阅图13,图13示出了素材数据处理装置的示意图,如图13所示,所述装置应用于第一设备,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;该素材数据处理装置1300可以包括:确定单元1301、发送单元1302、接收单元1303和执行单元1304,其中,
所述确定单元1301,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元1302,用于向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
所述接收单元1303,用于接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
所述发送单元1302,还用于若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
所述接收单元1303,还用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元1304,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
可以看出,本申请实施例所描述的素材数据处理装置,响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。上述第一素材数据可应用于不同的素材应用场景,第一设备可根据该素材应用场景确定是否需要执行后续的预设操作。考虑到第二设备中可能不存在第一设备需要的素材数据,因此,第一设备可首先向第二设备发送素材场景检测请求,以确定第二设备是否与第一设备处于同一素材应用场景,在第二设备存在第一设备需要的第二素材数据时,确定第二设备与第一设备处于同一素材应用场景以后再实现第二素材数据的获取,当第二设备不存在第一设备需要的第二素材数据以后,可终止上述素材获取请求。进一步地,考虑到第二设备对应的用户的隐私性,第二设备可能不允许第一设备获取第二素材数据,因此,第一设备可以向第二设备发送素材获取请求,以询问第二设备是否同意发送该第二素材数据,以帮助第一设备进一步获取第二素材数据,如此,有利于保护用户的隐私,并有利于提高用户体验。
请参阅图14,图14示出了素材数据处理装置的示意图,如图14所示,所述装置应用于第二设备,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;该素材数据处理装置1400可以包括:接收单元1401、确定单元1402、发送单元1403和显示单元1404,其中,
所述接收单元1401,用于接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
所述确定单元1402,用于确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元1402,还用于若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
所述发送单元1403,用于向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
所述接收单元1401,还用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
所述显示单元1404,用于显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
所述发送单元1403,用于响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
可以看出,本申请实施例所描述的素材数据处理装置,接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。通过设定两个请求(素材场景检测请求和素材获取请求)有利于优化第一设备和第二设备的交互流程,上述多模态信息用于确认第二设备对应的素材应用场景是否与第一设备中素材应用场景一致,并向第一设备发送素材场景检测结果,以提示第一设备对应的第二设备中存在或不存在相同素材应用场景的第二素材数据,以供第一设备确定后续是否需要继续获取第二素材数据,此时不需要发送第二素材数据。进一步地,当接收到素材获取请求以后,说明第一设备需要第二素材数据,此时再选择发送或者不发送第二素材数据,有利于为第二设备提供更多的选择,例如,以用于向第二设备对应的用户确认是否允许发送第二素材数据,有利于保护用户的隐私,并有利于提高用户体验。再进一步地,第二设备在确定存在相同素材应用场景的第二素材数据以后,通过素材获取请求还可以避免当第一设备不需要获取第二素材数据时,第二设备一股脑将第二素材数据发送到第一设备的无用功,即占用了带宽,也不利于保证第二设备的用户隐私。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述素材数据处理方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述确定单元1101、发送单元1102、接收单元1103和执行单元1104,或者接收单元1201、确定单元1202、发送单元1203和组合单元1204,或者确定单元1301、发送单元1302、接收单元1303和执行单元1304,或者接收单元1401、确定单元1402、发送单元1403和显示单元1404所执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用区间上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (24)

1.一种素材数据处理方法,应用于第一设备,其特征在于,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述方法包括:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
2.根据权利要求1所述的方法,其特征在于,所述多模态信息包括以下至少一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息;所述预设操作包括以下至少一种:存储操作、智能创作操作,其中,所述智能创作操作包括以下至少一种:裁剪操作、特效美化操作、合成编辑操作。
3.一种素材数据处理方法,应用于第二设备,其特征在于,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述方法包括:
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
向所述第一设备发送素材获取结果。
4.根据权利要求3所述的方法,其特征在于,所述多模态信息包括多个目标第一子模态信息,所述多模态数据库包括多个第二子模态信息,所述目标多模态信息包括多个目标第二子模态信息,所述第二子模态信息或者目标第一子模态信息或者所述目标第二子模态信息包括以下任意一种:GPS信息、人脸信息、场景信息、主体信息、美学评价信息和高光片段信息,任意一个所述目标第二子模态信息存在与其对应的所述目标第一子模态信息;
所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息,包括:
根据预设的所述第二子模态信息和匹配逻辑之间的映射关系,确定每一所述第二子模态信息对应的匹配逻辑;
根据预设的所述第二子模态信息和优先级之间的映射关系,确定每一所述第二子模态信息对应的优先级;
根据所述每一所述第二子模态信息对应的优先级,确定所述多个第二子模态信息的筛选顺序;
根据所述筛选顺序和所述每一第二子模态信息对应的匹配逻辑,对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息;
若任意一个所述第二子模态信息筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息;
若任意一个所述第二子模态信息未筛选得到对应的目标第二子模态信息,则确定所述多模态数据库中不存在与所述多模态信息匹配的所述目标多模态信息。
5.根据权利要求4所述的方法,其特征在于,若所述第二子模态信息和所述目标第一子模态信息为GPS信息,所述目标第一子模态信息为第一GPS信息,所述目标第二子模态信息为目标第二GPS信息,所述第二子模态信息包括多个第二GPS信息,所述目标第二GPS信息为所述多个第二GPS信息中任意一个;
所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,包括:
从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息;或者,
确定每一所述第二GPS信息对应的第二GPS精度和所述第一GPS信息的第一GPS精度;
若所述第一GPS精度和/或任意一个所述第二GPS精度大于预设精度阈值,则确定所述第一GPS精度和所述第二GPS精度之间的信息差值;
若所述信息差值小于或等于预设信息差值,则将所述第二GPS精度对应的目标第二GPS信息作为所述目标第二子模态信息;
若所述第一GPS精度和/或任意一个所述第二GPS精度小于或等于所述预设精度阈值,则执行所述从所述多个第二GPS信息中选取与所述第一GPS信息处于同一预设区间的目标第二GPS信息为所述目标第二子模态信息的步骤。
6.根据权利要求4所述的方法,其特征在于,若所述第二子模态信息和所述目标第一子模态信息均为人脸信息,所述目标第一子模态信息为第一人脸信息,所述目标第二子模态信息为目标第二人脸信息,所述第二子模态信息包括多个第二人脸信息,所述目标第二人脸信息为所述多个第二人脸信息中任意一个;
所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,包括:
确定所述第一人脸信息对应的人物档案;
从所述多个第二人脸信息中选取与所述人物档案匹配的目标第二人脸信息作为所述目标第二子模态信息。
7.根据权利要求4所述的方法,其特征在于,若所述第二子模态信息和所述目标第一子模态信息均为场景信息,所述场景信息包括以下至少一种:时间、季节、天气、节日、空间。
8.根据权利要求4所述的方法,其特征在于,若所述第二子模态信息或者所述目标第一子模态信息为主体信息,所述目标第一子模态信息为第一主体信息,所述目标第二子模态信息为目标第二主体信息,所述第二子模态信息包括多个第二主体信息,所述目标第二主体信息为所述多个第二主体信息中任意一个;
所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,包括:
确定所述第一主体信息对应的多个第一标签信息,其中,所述第一标签信息用于表征所述第一素材数据中所述第一主体信息的种类;
确定任意一个所述第二主体信息对应的多个第二标签信息,其中,所述第二标签信息用于表征对应的第二主体信息的种类;
将所述多个第一标签信息与所述多个第二标签信息进行匹配,得到多个匹配率,其中,每一匹配率对应一个第一标签信息;
确定所述多个匹配率中大于预设匹配率的匹配数量;
若所述匹配数量大于预设匹配数量,则确定所述第二主体信息为所述目标第二主体信息,将所述目标第二主体信息作为所述目标第二子模态信息。
9.根据权利要求4所述的方法,其特征在于,若所述第二子模态信息和所述目标第一子模态信息均为美学评价信息,所述目标第一子模态信息为第一美学评价信息,所述第一美学评价信息包括第一美学评价分数,所述目标第二子模态信息为目标第二美学评价信息,所述第二子模态信息包括多个第二美学评价信息,所述目标第二美学评价信息为所述多个第二美学评价信息中任意一个;
所述对所述每一第二子模态信息进行筛选,得到所述目标第二子模态信息,包括:
若所述第一素材数据包括目标图像帧,则将所述目标图像帧对应的美学评价分数作为所述第一美学评价分数;
若所述第一素材数据包括目标视频数据,则确定所述目标视频数据中包括的多个图像帧对应的美学评价分数的平均值,将所述平均值作为所述第一美学评价分数;
确定所述多个第二美学评价信息分别对应的第二美学评价分数,得到多个第二美学评价分数;
从所述多个第二美学评价分数中选择大于或等于所述第一美学评价分数的目标第二美学评价分数,并将所述目标第二美学评价分数作为所述目标第二子模态信息。
10.根据权利要求4所述的方法,其特征在于,所述方法还包括:
从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息;
将所述高光片段信息对应的目标第二素材数据发送于所述第一设备。
11.根据权利要求10所述的方法,其特征在于,若所述第二素材数据包括视频数据,所述高光片段信息包括高光片段;
所述从所述第二素材数据中筛选出所述目标多模态信息中的高光片段信息,包括:
确定所述视频数据中每一帧视频帧对应的目标美学评价分数;
选取所述目标美学评价分数大于或等于预设分数值的视频帧作为目标视频帧,得到多个目标视频帧;
将多个所述目标视频帧组合成目标视频,并将所述目标视频作为所述高光片段。
12.根据权利要求11所述的方法,其特征在于,所述确定所述视频数据中每一帧视频帧对应的目标美学评价分数,包括:
获取预设的低质量图像帧的质量评价指标和每一所述质量评价指标对应的质量评价参数;
根据所述质量评价指标,确定所述每一视频帧图像对应的目标评价参数;
比较每一所述目标评价参数和所述质量评价参数;
若存在任意一个目标评价参数和质量评价参数一致,则删除所述目标评价参数对应的视频帧图像,得到除所述视频帧图像以外的多个第一视频帧;
获取预设的美学评价指标和每一所述美学评价指标对应的美学评价参数;
根据所述美学评价指标和每一所述美学评价指标对应的美学评价参数,对所述多个第一视频帧进行美学评价,得到每一第一视频帧对应的目标美学评价分数。
13.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定隐私信息;
对所述第二素材数据进行分析,删除与所述隐私信息相关的素材数据,得到目标第二素材数据;
将所述目标第二素材数据发送于所述第一设备;
确定所述隐私信息对应的隐私标签,并将所述隐私标签同步到所述多模态数据库以对其中包括的多模态信息进行隐私设置。
14.根据权利要求10或11所述的方法,其特征在于,所述第二素材数据和/或所述目标第二素材数据以缩略图的形式展示于所述第二设备界面中。
15.根据权利要求14所述的方法,其特征在于,在所述接收所述第一设备发送的素材获取请求之后,所述方法还包括:
以弹框的方式显示所述素材获取请求;
响应于用户在所述弹框中的选择操作,执行所述确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息的步骤。
16.一种素材数据处理方法,应用于第一设备,其特征在于,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述方法包括:
响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
17.一种素材数据处理方法,应用于第二设备,其特征在于,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述方法还包括:
接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
18.一种素材数据处理装置,应用于第一设备,其特征在于,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述装置包括:确定单元、发送单元、接收单元和执行单元,其中,
所述确定单元,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元,用于向所述至少一个第二设备发送素材获取请求,其中,所述素材获取请求包括所述多模态信息,所述多模态信息用于所述第二设备筛选与所述多模态信息匹配的目标多模态信息,所述目标多模态信息与第二素材数据对应,所述第二素材数据为对应的所述第二设备根据所述多模态信息确定;
所述接收单元,用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
19.一种素材数据处理装置,应用于第二设备,其特征在于,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述装置包括:接收单元、确定单元和发送单元,其中,
所述接收单元,用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求包括多模态信息,所述多模态信息为所述第一设备根据第一素材数据确定;
所述确定单元,用于确定多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元,还用于若所述多模态数据库中存在所述目标多模态信息,则确定所述多模态信息对应的第二素材数据;
所述发送单元,用于向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
20.一种素材数据处理装置,应用于第一设备,其特征在于,所述第一设备与至少一个第二设备建立通信连接,所述至少一个第二设备为所述第一设备的从设备;所述装置包括:确定单元、发送单元、接收单元和执行单元,其中,
所述确定单元,用于响应于用户触发的针对第一素材数据的预设指令,确定所述第一素材数据对应的多模态信息,其中,所述第一素材数据包括以下至少一种:图像数据和视频数据,所述预设指令用于指示所述第一设备执行对应的预设操作;
所述发送单元,用于向所述至少一个第二设备发送至少一个素材场景检测请求,其中,每一第二设备对应一个素材场景检测请求,所述素材场景检测请求包括所述多模态信息,所述素材场景检测请求用于确定对应的第二设备是否存在与所述第一设备相同素材应用场景的第二素材数据,所述第二素材数据为对应的所述第二设备根据所述多模态信息匹配多模态数据库确定;
所述接收单元,用于接收所述至少一个第二设备发送的至少一个素材场景检测结果,其中,每一所述第二设备对应一个素材场景检测结果;
所述发送单元,还用于若任意一个所述素材场景检测结果指示对应的第二设备存在与所述第一设备相同素材应用场景的第二素材数据,则向所述对应的第二设备发送所述素材获取请求;
所述接收单元,还用于接收所述至少一个第二设备发送的至少一个素材获取结果,其中,每一所述第二设备对应一个所述素材获取结果;
所述执行单元,用于若任意一个所述素材获取结果指示对应的所述第二设备存在所述第二素材数据,则对所述第一素材数据和所述第二素材数据执行所述预设操作。
21.一种素材数据处理装置,应用于第二设备,其特征在于,所述第二设备与第一设备建立通信连接,所述第二设备为所述第一设备的从设备;所述装置包括:接收单元、确定单元、发送单元和显示单元,其中,
所述接收单元,用于接收所述第一设备发送的素材场景检测请求,其中,所述素材场景请求中包括多模态信息;
所述确定单元,用于确定所述多模态数据库中是否存在与所述多模态信息匹配的目标多模态信息;
所述确定单元,还用于若所述多模态数据库中存在与所述多模态信息匹配的目标多模态信息,则确定所述多模态信息对应的第二素材数据,并确定存在与所述第一设备相同素材应用场景的第二素材数据;
所述发送单元,用于向所述第一设备发送素材场景检测结果,其中,所述素材场景检测结果用于指示所述第二设备存在与所述第一设备相同素材应用场景的第二素材数据;
所述接收单元,还用于接收所述第一设备发送的素材获取请求,其中,所述素材获取请求用于所述第一设备获取所述第二素材数据;
所述显示单元,用于显示提示信息,其中,所述提示信息用于指示所述用户选择发送或不发送所述第二素材数据;
所述发送单元,用于响应于所述用户针对所述第二素材数据的确定发送操作,向所述第一设备发送素材获取结果,其中,所述素材获取结果中包括或不包括所述第二素材数据。
22.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-2或3-16或17或18任一项所述的方法中的步骤的指令。
23.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-2或3-16或17或18任一项所述的方法。
24.一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如权利要求1-2或3-16或17或18任一项所述的方法。
CN202211417536.4A 2022-11-11 2022-11-11 素材数据处理方法及相关产品 Pending CN118035508A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211417536.4A CN118035508A (zh) 2022-11-11 2022-11-11 素材数据处理方法及相关产品
PCT/CN2023/127013 WO2024099101A1 (zh) 2022-11-11 2023-10-27 素材数据处理方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211417536.4A CN118035508A (zh) 2022-11-11 2022-11-11 素材数据处理方法及相关产品

Publications (1)

Publication Number Publication Date
CN118035508A true CN118035508A (zh) 2024-05-14

Family

ID=90993948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211417536.4A Pending CN118035508A (zh) 2022-11-11 2022-11-11 素材数据处理方法及相关产品

Country Status (2)

Country Link
CN (1) CN118035508A (zh)
WO (1) WO2024099101A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015183148A1 (en) * 2014-05-27 2015-12-03 Telefonaktiebolaget L M Ericsson (Publ) Fingerprinting and matching of content of a multi-media file
CN110858914B (zh) * 2018-08-23 2021-11-26 阿里巴巴(中国)有限公司 视频素材推荐方法及装置
CN110298283B (zh) * 2019-06-21 2022-04-12 北京百度网讯科技有限公司 图像素材的匹配方法、装置、设备以及存储介质
US11500927B2 (en) * 2019-10-03 2022-11-15 Adobe Inc. Adaptive search results for multimedia search queries
CN111263241B (zh) * 2020-02-11 2022-03-08 腾讯音乐娱乐科技(深圳)有限公司 媒体数据的生成方法、装置、设备及存储介质
CN111918094B (zh) * 2020-06-29 2023-01-24 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2024099101A1 (zh) 2024-05-16

Similar Documents

Publication Publication Date Title
US11328013B2 (en) Generating theme-based videos
US11895068B2 (en) Automated content curation and communication
CN108235765B (zh) 一种故事相册的显示方法及装置
CN110297934B (zh) 一种图像数据处理方法、装置及存储介质
CN111489264B (zh) 指示地理空间活动度量的基于地图的图形用户界面
CN107710197B (zh) 在通信网络上共享图像和图像相册
US20130111373A1 (en) Presentation content generation device, presentation content generation method, presentation content generation program, and integrated circuit
US11308155B2 (en) Intelligent selection of images to create image narratives
CN105653636B (zh) 一种信息处理方法和装置、一种用于信息处理的装置
EP3226514B1 (en) Picture sharing method and apparatus, and terminal device
US20220383053A1 (en) Ephemeral content management
CN103412951A (zh) 基于人物照片的人脉关联分析管理系统与方法
WO2018152822A1 (zh) 一种生成相册的方法、装置和移动终端
US20130083049A1 (en) Image display system, image display apparatus, server, image display method and storage medium storing a program
CN105391807A (zh) 一种基于定位系统的相册提示功能实现方法和装置
CN103403765A (zh) 内容加工装置及其集成电路、方法和程序
KR20200022225A (ko) 만화 데이터 생성 장치, 방법 및 프로그램
CN105512328A (zh) 一种相册照片上传实现方法、系统和装置
US10885619B2 (en) Context-based imagery selection
CN109409423A (zh) 一种图像识别方法、装置、终端及可读存储介质
Lonn et al. Smartphone picture organization: A hierarchical approach
KR20170098113A (ko) 전자 장치의 이미지 그룹 생성 방법 및 그 전자 장치
CN118035508A (zh) 素材数据处理方法及相关产品
CN103294825A (zh) 影像文件搜索系统及方法
CN118034553A (zh) 基于图像的提示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination