CN111212320B - 一种资源合成方法、装置、设备及存储介质 - Google Patents

一种资源合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111212320B
CN111212320B CN202010019416.3A CN202010019416A CN111212320B CN 111212320 B CN111212320 B CN 111212320B CN 202010019416 A CN202010019416 A CN 202010019416A CN 111212320 B CN111212320 B CN 111212320B
Authority
CN
China
Prior art keywords
resource
target
sub
game
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010019416.3A
Other languages
English (en)
Other versions
CN111212320A (zh
Inventor
郑杨
陈祺
欧阳才晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010019416.3A priority Critical patent/CN111212320B/zh
Publication of CN111212320A publication Critical patent/CN111212320A/zh
Application granted granted Critical
Publication of CN111212320B publication Critical patent/CN111212320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Abstract

本申请实施例公开了一种资源合成方法、装置、设备及存储介质，其中，该方法包括：获取基于目标过程生成的第一资源和第二资源；确定第一资源中的第一参照元素与第一资源中子资源的资源标识之间的第一映射关系；确定第二资源中的第二参照元素与第二资源中子资源的资源标识之间的第二映射关系；根据第一映射关系中第一参照元素与第二映射关系中第二参照元素之间的匹配关系确定目标同步关系，该目标同步关系包括第一资源中第i个资源标识与第二资源中第j个资源标识之间的映射关系；根据第一资源、第二资源和目标同步关系进行资源合成。该方法既能保证获得较好的资源合成效果，又能提升合成效率，降低合成成本。

Description

一种资源合成方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种资源合成方法、装置、设备及存储介质。
背景技术
随着互联网技术的日益发展，对多模态资源进行合成已成为很多行业的主流研究方向之一。在很多应用场景下，多模态资源的合成重点聚焦于将相关信息合成至对应的视频文件中，以游戏领域为例，目前很多研究聚焦于将游戏解说内容与录制游戏过程获得的游戏视频合成起来，以便为用户提供内容更加丰富的游戏视频。
然而，在实际应用中，不同模态的资源中对应于同一内容的子资源通常难以对齐，仍以游戏领域为例，将游戏解说内容融入对应的游戏视频中时，通常容易出现游戏解说内容与游戏视频画面不对应的情况。针对上述情况，相关技术目前主要通过人工操作将不同资源中对应于同一内容的子资源对齐，合成效率低且合成成本高。
综上，如何在保证多模态资源的合成效果的前提下，提升合成效率，降低合成成本，已成为目前亟待解决的问题。
发明内容
本申请实施例提供了一种资源合成方法、装置、设备及存储介质，既能够保证多模态资源的合成效果，又能够提升资源合成效率，降低资源合成成本。
有鉴于此，本申请第一方面提供了一种资源合成方法，所述方法包括：
获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；
确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；
根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
本申请第二方面提供了一种资源合成装置，所述装置包括：
资源获取模块，用于获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
第一映射关系确定模块，用于确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；
第二映射关系确定模块，用于确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；
同步关系确定模块，用于根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
资源合成模块，用于根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行上述第一方面所述的资源合成方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的资源合成方法。
本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的资源合成方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种资源合成方法，该方法将参照元素作为中间媒介，基于第一资源中参照元素与第一资源中子资源的资源标识间的映射关系，以及第二资源中参照元素与第二资源中子资源的资源标识间的映射关系，确定第一资源中子资源的资源标识与第二资源中子资源的资源标识间的映射关系，即确定用于对齐第一资源中子资源与第二资源中子资源的目标同步关系，进而根据第一资源、第二资源和该目标同步关系实现多模态资源的合成。相比相关技术中基于人工操作对齐不同资源中对应于同一内容的子资源的实现方式，本申请实施例提供的方法可以基于第一资源和第二资源中具备匹配关系的参照元素，智能地确定第一资源中各子资源和第二资源中各子资源的对应关系，并基于该对应关系自动合成多模态资源；如此，既保证了多模态资源的合成效果，同时又提升了资源合成效率，降低了资源合成所需耗费的成本。
附图说明
图1为本申请实施例提供的资源合成方法的应用场景示意图；
图2为本申请实施例提供的资源合成方法的流程示意图；
图3为本申请实施例提供的在游戏视频中实时添加游戏解说内容的整体过程示意图；
图4为本申请实施例提供的在游戏视频中实时添加游戏解说内容的细节过程示意图；
图5为本申请实施例提供的多模态资源合成处理的过程示意图；
图6为本申请实施例提供的第一种资源合成装置的结构示意图；
图7为本申请实施例提供的第二种资源合成装置的结构示意图；
图8为本申请实施例提供的第三种资源合成装置的结构示意图；
图9为本申请实施例提供的第四种资源合成装置的结构示意图；
图10为本申请实施例提供的第五种资源合成装置的结构示意图；
图11为本申请实施例提供的第六种资源合成装置的结构示意图；
图12为本申请实施例提供的第七种资源合成装置的结构示意图；
图13为本申请实施例提供的服务器的结构示意图；
图14为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，对多模态资源进行合成时，主要通过人工操作将不同资源中对应于同一内容的子资源对齐，这种操作方式导致资源合成的效率低，并且所需耗费的成本较高，在大数据时代这种操作方式难以满足大规模的资源合成需求。
针对上述现有技术存在的问题，本申请实施例提供了一种资源合成方法，该方法可以智能地确定不同资源中各子资源之间的对应关系，进而基于该对应关系实现多模态资源的自动合成，在保证资源合成效果的同时，提升了资源合成的效率，并且降低了资源合成所需耗费的成本。
具体的，在本申请实施例提供的资源合成方法中，先获取基于目标过程生成的不同模态的第一资源和第二资源；然后，确定第一资源中子资源对应的第一参照元素，并且确定第一参照元素与第一资源中子资源的资源标识之间的第一映射关系，此处的第一参照元素能够表征与其对应的第一资源中的子资源；确定第二资源中子资源对应的第二参照元素，并且确定第二参照元素与第二资源中子资源的资源标识之间的第二映射关系，此处的第二参照元素能够表征与其对应的第二资源中的子资源；进而，根据第一映射关系中第一参照元素与第二映射关系中第二参照元素的匹配关系，确定目标同步关系，该目标同步关系包括第一资源中第i个资源标识和第二资源中第j个资源标识之间的映射关系；最终，根据第一资源、第二资源和上述目标同步关系，实现多模态资源的合成。
上述资源合成方法将参照元素作为中间媒介，基于第一资源中参照元素与第一资源中子资源的资源标识间的映射关系，以及第二资源中参照元素与第二资源中子资源的资源标识间的映射关系，确定第一资源中子资源的资源标识与第二资源中子资源的资源标识间的映射关系，即确定用于对齐第一资源和第二资源中对应于同一内容的子资源的目标同步关系，进而基于该目标同步关系实现多模态资源的合成。相比现有技术中基于人工操作对齐不同资源中对应于同一内容的子资源的实现方式，基于本申请实施例提供的方法确定不同资源中子资源间的映射关系，既能保证准确地对齐不同资源中对应于同一内容的子资源，同时又能提升资源合成过程的整体效率，降低资源合成所需耗费的成本。
应理解，本申请实施例提供的资源合成方法具体可以应用于各种具备数据处理能力的设备，如终端设备、服务器等。其中，终端设备具体可以为计算机、个人数字助理(Personal Digital Assitant，PDA)、平板电脑、智能手机等；服务器具体可以为应用服务器或Web服务器，实际部署时，该服务器可以为独立服务器，也可以为集群服务器。
为了便于理解本申请实施例提供的技术方案，下面以本申请实施例提供的资源合成方法应用于服务器为例，对本申请实施例提供的资源合成方法适用的应用场景进行介绍。
参见图1，图1为本申请实施例提供的资源合成方法的应用场景示意图。如图1所示，该应用场景中包括服务器110、服务器120和服务器130。其中，服务器110用于基于目标过程生成第一资源；服务器120用于基于目标过程生成第二资源；服务器130用于执行本申请实施例提供的资源合成方法，根据服务器110生成的第一资源和服务器120生成的第二资源，实现多模态资源的合成。
具体的，服务器110可以针对目标过程生成第一资源，并将自身生成的第一资源通过网络传输至服务器130；相类似地，服务器120可以针对目标过程生成第二资源，并将自身生成的第二资源通过网络传输至服务器130。
需要说明的是，上述第一资源和第二资源为不同模态下的两种资源，其中，第一资源可以为视频资源、音频资源、文本资源、数据资源等资源中的任意一种，第二资源也可以为视频资源、音频资源、文本资源、数据资源等资源中的任意一种，本申请在此不对第一资源和第二资源的形式做任何限定。
服务器130接收到服务器110传输的第一资源后，可以通过模块131基于该第一资源确定第一映射关系1311，具体的，服务器130可以通过模块131确定第一资源中各子资源各自对应的第一参照元素，进而确定各第一参照元素与第一资源中各子资源的资源标识之间的对应关系，作为第一映射关系131。相类似地，服务器130接收到服务器120传输的第二资源后，可以通过模块132基于该第二资源确定第二映射关系1321，具体的，服务器130可以通过模块132确定第二资源中各子资源各自对应的第二参照元素，进而确定各第二参照元素与第二资源中各子资源的资源标识之间的对应关系，作为第二映射关系1321。
需要说明的是，上述第一参照元素能够表征与其对应的第一资源中的子资源，即第一资源中各子资源各自对应的第一参照元素互不相同；相类似的，上述第二参照元素能够表征与其对应的第二资源中的子资源，即第二资源中各子资源各自对应的第二参照元素也互不相同。
此外，上述第一参照元素与第二参照元素是具有特定匹配关系的元素。在一种可能的实现方式中，上述第一参照元素与第二参照元素可以为同一元素。在另一种可能的实现方式中，上述第一参照元素与第二参照元素可以为不同的元素，但是二者之间具有特定的关联关系，即基于第一参照元素可以确定特定的与其关联的第二参照元素，和/或基于第二参照元素可以确定特定的与其关联的第一参照元素。
服务器130确定出第一映射关系1311和第二映射关系1321后，即可根据第一映射关系1311中第一参照元素与第二映射关系1321中第二参照元素之间的匹配关系，确定出第一资源中第i个资源标识(对应于第一资源中的子资源，i为大于或等于1、且小于或等于第一资源中子资源数目的整数)与第二资源中第j个资源标识(对应于第二资源中的子资源，j为大于或等于1、且小于或等于第二资源中子资源数目的整数)之间的映射关系，作为目标同步关系133，基于该目标同步关系133可以将第一资源和第二资源中对应于同一内容的子资源对齐。
最终，服务器130可以基于上述目标同步关系133，根据第一资源和第二资源实现多模态资源合成134。在实际应用中，服务器130可以根据实际需求进行资源合成，例如，服务器130可以直接基于目标同步关系133，将第一资源和第二资源有机地合成起来，又例如，服务器130可以基于目标同步关系133，将基于第一资源生成的待合成资源与第二资源合成起来，或者将基于第二资源生成的待合成资源与第一资源合成起来，又或者将基于第一资源生成的第一待合成资源与基于第二资源生成的第二待合成资源合成起来。本申请在此不对资源合成的对象做任何限定。
如此，服务器130可以通过上述方式，将参照元素作为中间媒介，基于第一资源中的参照元素与第一资源中子资源的资源标识间的第一映射关系1311，以及第二资源中的参照元素与第二资源中子资源的资源标识间的第二映射关系1321，确定用于对齐第一资源和第二资源中对应于同一内容的子资源的目标同步关系133，进而基于该目标同步关系133实现多模态资源的合成。既可以保证获得较好的资源合成效果，又可以提升资源合成的效率，降低资源合成的成本。
应理解，图1所示的应用场景仅为示例，在实际应用中，本申请实施例提供的资源合成方法还可以应用于其他场景，例如，可以基于终端设备生成第一资源和/或第二资源，又例如，可以利用终端设备执行本申请实施例提供的资源合成方法。在此不对本申请实施例提供的资源合成方法适用的应用场景做任何限定。
下面通过实施例对本申请提供的资源合成方法进行详细介绍。
参见图2，图2为本申请实施例提供的资源合成方法的流程示意图。为了便于描述，下述实施例以服务器作为执行主体为例进行介绍。如图2所示，该方法包括以下步骤：
步骤201：获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源。
当服务器需要根据基于目标过程生成的不同模态的资源实现多模态资源合成时，服务器需要获取资源合成所需的不同模态的资源，即获取第一资源和第二资源。
在实际应用中，服务器可以根据实际情况采取相应的方式获取第一资源和第二资源，例如，服务器可以通过网络从其他设备处获取第一资源和/或第二资源，又例如，服务器可以从自身存储的资源中获取第一资源和/或第二资源，再例如，服务器可以将自身生成的资源作为第一资源和/或第二资源，本申请在此不对服务器获取第一资源和第二资源的方式做任何限定。
需要说明的是，在不同的应用场景下，上述目标过程可以为不同的过程。例如，在为游戏视频添加解说内容的场景下，上述目标过程可以为游戏过程；又例如，在为比赛视频添加解说内容的场景下，上述目标过程可以为比赛过程；再例如，在为视频添加字幕的场景下，上述目标过程可以为录制视频的过程，等等。本申请在此不对上述目标过程做任何限定。
需要说明的是，上述第一资源和第二资源为不同模态下的资源，此处的模态具体既可以理解为资源来源，又可以理解为资源形式。第一资源可以为视频资源、音频资源、文本资源、数据资源等资源中的任意一种，第二资源也可以为视频资源、音频资源、文本资源、数据资源等资源中的任意一种，本申请在此不对第一资源和第二资源的形式做任何限定。
应理解，在实际应用中，第一资源和第二资源可以为资源来源不同、资源形式相同的两种资源，例如，第一资源可以为录制游戏过程得到的游戏视频，第二资源可以为解说该游戏过程的游戏解说视频。第一资源和第二资源也可以为资源来源相同、资源形式不同的两种资源，例如，第一资源可以为录制目标过程得到的视频，第二资源可以为对目标过程进行录音得到的音频。第一资源和第二资源还可以为资源来源不同、资源形式也不同的两种资源，例如，第一资源可以为录制游戏过程得到的游戏视频，第二资源可以为解说该游戏过程的游戏解说音频。本申请在此不对第一资源和第二资源所属于不同模态的情形做任何限定。
需要说明的是，在不同的应用场景下，对应于不同的目标过程，第一资源和第二资源所对应的具体内容也有所不同。例如，在为游戏视频添加解说内容的场景下，第一资源可以为录制游戏过程得到的游戏视频，第二资源可以为游戏过程中的游戏数据序列，此时，服务器可以通过网络从用于录制游戏视频的设备处获取游戏视频，从游戏服务器处获取游戏数据序列。又例如，在为比赛视频添加解说内容的场景下，第一资源可以为录制比赛过程得到的比赛视频，第二资源可以为在比赛过程中采集的动作数据序列，此时，服务器可以从用于录制比赛过程的设备处获取比赛视频，从用于采集动作数据的设备(如传感器等)处获取动作数据序列。再例如，在为视频添加字幕的场景下，第一资源可以为待添加字幕的视频，第二资源可以为该视频对应的字幕数据，此时，服务器可以从用于存储视频的数据库中获取待添加字幕的视频，从用于存储字幕的数据库中获取该视频对应的字幕数据。在此不对本申请实施例提供的方法适用的应用场景做任何限定，也不对上述第一资源和第二资源对应的具体内容做任何限定。
步骤202：确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源。
步骤203：确定所述第二资源中子资源对应的第二参照元素，并确定第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源。
由于步骤202和步骤203的实现过程具有较强的关联性，因此，下面对步骤202和步骤203的实现过程做整体性介绍。
服务器获取到第一资源后，即可确定该第一资源中子资源对应的第一参照元素，并确定该第一参照元素与该第一资源中子资源的资源标识之间的映射关系，作为第一映射关系。相类似地，服务器获取到第二资源后，即可确定第二资源中子资源对应的第二参照元素，并确定该第二参照元素与该第二资源中子资源的资源标识之间的映射关系，作为第二映射关系。
需要说明的是，上述第一参照元素能够表征第一资源中与其对应的子资源，即第一资源中不同的子资源对应不同的第一参照元素；相类似地，上述第二参照元素能够表征第二资源中与其对应的子资源，即第二资源中不同的子资源对应不同的第二参照元素。在实际应用中，可以预先由相关专家人为确定第一资源和第二资源中具有特定关联关系、且符合上述条件的第一参照元素和第二参照元素，也可以预先通过机器学习算法确定第一资源和第二资源中具有特定关联关系、且符合上述条件的第一参照元素和第二参照元素；进而，在对多模态资源进行合成处理的过程中，通过相关设备确定第一资源中各子资源各自对应的第一参照元素，以及确定第二资源中各子资源各自对应的第二参照元素；本申请在此不对第一参照元素和第二参照元素的确定方式做任何限定。
例如，假设第一资源中包括资源标识为1的子资源、资源标识为2的子资源和资源标识为3的子资源，其中，资源标识为1的子资源的第一参照元素为元素a1，资源标识为2的子资源的第一参照元素为元素b1，资源标识为3的子资源的第一参照元素为元素c1；此时，构建得到的第一映射关系如表1所示：
表1
第一参照元素 资源标识
元素a1 1
元素b1 2
元素c1 3
假设第二资源中包括资源标识为x的子资源、资源标识为y的子资源和资源标识为z的子资源，其中，资源标识为x的子资源的第二参照元素为元素a2，资源标识为y的子资源的第二参照元素为元素b2，资源标识为z的子资源的第二参照元素为元素c2；此时，构建得到的第二映射关系如表2所示：
表2
第一参照元素 资源标识
元素a2 x
元素b2 y
元素c2 z
需要说明的是，上述第一参照元素与第二参照元素之间具有特定的匹配关系。在一种可能的实现方式中，该第一参照元素和第二参照元素可以为同一参照元素，例如，假设第一资源中的子资源和第二资源中的子资源包括同一元素，那么可以将该元素作为参照元素，又例如，假设基于第一资源中的子资源和第二资源中的子资源可以确定同一元素，那么可以将该元素作为参照元素。在另一种可能的实现方式中，该第一参照元素和第二参照元素可以具有特定的关联关系，例如，根据第一参照元素可以确定出与其特定关联的第二参照元素，和/或根据第二参照元素可以确定出与其特定关联的第一参照元素。
需要说明的是，为了保证可以准确地确定第一资源中各子资源与第二资源中各子资源之间的对应关系，第一资源中各子资源的第一参照元素具体对应的内容各不相同，第二资源中各子资源的第二参照元素具体对应的内容各不相同。
在实际应用中，大部分的多模态资源合成均是以视频资源为基础的资源合成，例如，在视频中融入解说资源、字幕资源、音频资源、文本资源、图像资源等等。下面对在视频资源中融入其他资源的应用场景中，确定第一映射关系和第二映射关系的具体实现方式进行介绍。
假设第一资源为录制目标过程得到的目标视频，第一参照元素为该目标视频中视频帧显示的目标元素。第二资源可以为待融入第一资源的资源，也可以为用于生成待融入第一资源的资源的基础资源，第二资源中的子资源包括有用于确定目标元素的目标数据，即第二资源中的子资源可能不直接包括目标元素，但是其中包括可以用于确定目标元素的目标数据，因此，可以相应地基于第二资源中的子资源包括的目标数据确定该子资源对应的目标元素，该目标元素即为上文所述的第二参照元素。。
需要说明的是，目标视频中不同视频帧上显示的目标元素不同，一个目标元素可以标识目标视频中的一个视频帧；并且，第二资源中不同的子资源所对应的目标元素也不同，一个目标元素也可以标识第二资源中的一个子资源。
具体确定第一映射关系时，服务器可以识别目标视频中视频帧上显示的目标元素，进而确定该目标元素与显示该目标元素的视频帧的资源标识之间的映射关系，作为第一映射关系。具体确定第二映射关系时，服务器可以确定第二资源中子资源包括的目标数据对应的目标元素，进而确定该目标元素与第二资源中子资源的资源标识之间的映射关系，作为第二映射关系。
例如，假设目标视频中各视频帧上均显示有元素A，且元素A在不同视频帧上的显示状态各不相同，则可以将元素A确定为目标元素。此时，识别目标视频中各视频帧上元素A的显示状态，构建各视频帧上元素A的显示状态与各视频帧的资源标识之间的对应关系，作为第一映射关系。
假设第二资源为渲染目标视频所基于的数据包序列，该数据包序列中每个数据包均包括有用于渲染元素A的目标数据，且基于每个数据包中的目标数据渲染得到的元素A的显示状态不同。此时，确定数据包序列中各数据包中的目标数据各自对应的元素A的显示状态，构建各元素A的显示状态与各数据包的资源标识之间的对应关系，作为第二映射关系。
应理解，在实际应用中，第二资源除了可以为渲染目标视频所基于的数据包序列外，还可以为其他与目标视频相关的资源，本申请在此不对第二资源的形式做任何限定。
需要说明的是，具体识别目标视频中视频帧上显示的目标元素时，可以借助图像识别模型保证识别的准确性。具体的，可以先对目标视频进行解码处理，得到该目标视频中的各视频帧，然后将目标视频中各视频帧逐一输入图像识别模型，基于该图像识别模型识别目标视频中各视频帧上显示的目标元素。
应理解，上述图像识别模型可以为神经网络模型，也可以为其他能够识别图像中具体元素的模型，本申请在此不对该图像识别模型做任何限定。
考虑到在很多应用场景下目标视频中每个视频帧均会显示目标过程对应的进展时间，例如，录制游戏过程得到的游戏视频中会持续显示游戏过程的进展时间，录制比赛过程得到的比赛视频中会持续显示比赛过程的进展时间，等等。并且与目标视频相关的资源(可以理解为上文中的第二资源)中子资源的资源标识通常能够反映其对应的目标过程的进展时间，因此，可以将目标过程的进展时间作为上述目标元素。
将目标过程的进展时间作为上述目标元素时，服务器可以识别目标视频中各视频帧上显示的进展时间，进而构建该各视频帧上显示的进展时间与各视频帧的资源标识之间的对应关系，作为第一映射关系。服务器可以根据第二资源中各子资源的资源标识和预设的子资源时间分布关系，确定第二资源中各子资源对应的进展时间，进而构建第二资源中各子资源各自对应的进展时间与各子资源的资源标识之间的对应关系，作为第二映射关系。
具体识别目标视频中视频帧显示的进展时间时，服务器可以借助图像识别模型，识别目标视频中各视频帧上显示的进展时间。
具体确定第二资源中子资源对应的进展时间时，服务器需要获取该第二资源对应的子资源时间分布关系，进而基于第二资源中各子资源的资源标识和该子资源时间分布关系，确定第二资源中各子资源各自对应的进展时间。例如，假设第二资源对应的子资源时间分布关系为在目标过程中1秒生成15个子资源，并且所生成的子资源的资源标识从1开始依次按序设置，那么对于资源标识为32的子资源，可以确定其对应于在目标过程开始后的第2秒。
应理解，在实际应用中，除了可以将目标视频中显示的目标过程的进展时间作为目标元素外，也可以将目标视频中显示的其他在各视频帧中存在差别的元素作为目标元素，本申请在此不对目标元素做任何限定。
可选的，在实际应用中，本申请实施例提供的方法可以用在为游戏视频添加解说内容的场景中，在该场景中，上述目标过程为游戏过程，上述第一资源为录制该游戏过程得到的游戏视频，第二资源为游戏过程中的游戏数据序列，游戏数据序列中的游戏数据为渲染游戏画面时所基于的数据，基于该游戏数据序列可以实时地生成与游戏视频相对应的游戏解说资源。
需要说明的是，通常情况下，游戏视频中视频帧的资源标识与游戏数据序列中游戏数据的资源标识是基于不同的单位确定的，具体的，通常以时间戳作为游戏视频中各视频帧对应的资源标识，以帧号作为游戏数据序列中各游戏数据的资源标识。
在为游戏视频添加解说内容的场景下，服务器可以识别游戏视频中视频帧显示的目标元素作为第一参照元素，进而确定该目标元素与游戏视频中视频帧的时间戳之间的映射关系，作为第一映射关系。服务器可以确定游戏数据序列中游戏数据对应的目标元素，作为第二参照元素，进而确定目标元素与游戏数据的帧号之间的映射关系作为第二映射关系。
在一种可能的实现方式中，可以将游戏视频中显示的游戏过程的进展时间作为上述目标元素。此时，服务器可以获取录制游戏过程获得的游戏视频，解码该游戏视频得到其中包含的各视频帧，通过图像识别模型识别每个视频帧中显示的进展时间，构建游戏视频中各视频帧显示的进展时间与各视频帧的时间戳之间的映射关系，作为第一映射关系。服务器可以根据游戏数据序列中各帧游戏数据的帧号与预设的游戏数据分布关系，计算各帧游戏数据各自对应的游戏过程的进展时间，构建各帧游戏数据各自对应的进展时间与各帧游戏数据的帧号之间的映射关系，作为第二映射关系。
在另一种可能的实现方式中，可以将游戏视频中显示的某个游戏元素或某几个游戏元素的组合作为目标游戏元素，将目标游戏元素的状态信息作为上述目标元素，应理解，游戏视频中各视频帧上显示的目标游戏元素的状态信息不同。此时，服务器可以获取录制游戏过程获得的游戏视频，解码该游戏视频得到其中包含的各视频帧，通过图像识别模型识别每个视频帧中显示的目标游戏元素的状态信息，构建游戏视频中各视频帧显示的目标游戏元素的状态信息与各视频帧的时间戳之间的映射关系，作为第一映射关系。游戏数据序列中各游戏数据均包括用于渲染目标游戏元素的目标数据，服务器确定各游戏数据包括的目标数据对应的目标游戏元素的状态信息，构建各游戏数据包括的目标数据对应的目标游戏元素的状态信息与各帧游戏数据的帧号之间的映射关系，作为第二映射关系。
可选的，在实际应用中，本申请实施例提供的方法还可以用在为比赛视频添加解说内容的场景中，在该场景中，上述目标过程为比赛过程，上述第一资源为录制该比赛过程得到的比赛视频，第二资源为比赛过程中的动作数据序列，动作数据序列中的动作数据是基于比赛过程中参赛者的动作生成的数据，基于该动作数据序列可以实时地生成与比赛视频相对应的比赛解说资源。
在为比赛视频添加解说内容的场景下，服务器可以识别比赛视频中视频帧显示的目标元素作为第一参照元素，进而确定该目标元素与比赛视频中视频帧的时间戳之间的映射关系，作为第一映射关系。服务器可以确定动作数据序列中动作数据对应的目标元素，作为第二参照元素，进而确定目标元素与动作数据的资源标识之间的映射关系，作为第二映射关系。
应理解，在为比赛视频添加解说内容的场景中，目标元素可以为动作状态，相应地，服务器需要识别比赛视频中视频帧显示的动作状态，以及确定动作数据序列中各动作数据对应的动作状态。
需要说明的是，上述两种场景仅为示例，在实际应用中，本申请实施例提供的方法可以应用于各种需要合成多模态资源的场景，在不同的场景下，可以确定不同的第一参照元素和第二参照元素，本申请在此不对第一参照元素和第二参照元素做任何限定。
步骤204：根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数。
服务器确定出第一映射关系和第二映射关系后，即可基于第一映射关系中的第一参照元素与第二映射关系中的第二参照元素之间的匹配关系，确定用于目标同步关系，该目标同步关系用于表征第i个资源标识与第j个资源标识之间的映射关系，第i个资源标识对应于第一资源中的子资源，第j个资源标识对应于第二资源中的子资源。
为了便于理解，下面基于上文中表1所示的第一映射关系和表2所示的第二映射关系，对确定目标同步关系的实现方式进行举例说明。假设第一参照元素中元素a1与第二参照元素中元素a2相匹配，第一参照元素中元素b1与第二参照元素中元素b2相匹配，第一参照元素中元素c1与第二参照元素中元素c2相匹配，则基于表1所示的第一映射关系和表2所示的第二映射关系可以获得表3所示的目标同步关系。
表3
第一资源中子资源的资源标识 第二资源中子资源的资源标识
1 x
2 y
3 z
其中，第二资源中资源标识为x的子资源与第一资源中资源标识为1的资源对应，第二资源中资源标识为y的子资源与第一资源中资源标识为2的资源对应，第二资源中资源标识为z的子资源与第一资源中资源标识为3的资源对应。
可选的，在将其他资源融入目标视频的场景下，第一映射关系是目标视频中视频帧显示的目标元素与目标视频中视频帧的资源标识之间的映射关系，第二映射关系是第二资源中子资源包括的目标数据对应的目标元素与第二资源中子资源的资源标识之间的映射关系。以目标元素作为中间媒介，基于第一映射关系和第二映射关系确定目标同步关系，该目标同步关系实质上是目标视频中视频帧的资源标识与第二资源中子资源的资源标识之间的映射关系。
可选的，在为游戏视频添加解说内容的场景中，第一映射关系是游戏视频中视频帧显示的目标元素与游戏视频中视频帧的时间戳之间的映射关系，第二映射关系是游戏数据序列中游戏数据对应的目标元素与游戏数据的帧号之间的映射关系。以目标元素作为中间媒介，基于第一映射关系和第二映射关系确定目标同步关系，该目标同步关系实质上是游戏视频中视频帧的时间戳与游戏数据序列中游戏数据的帧号之间的映射关系。
可选的，在为比赛视频添加解说内容的场景中，第一映射关系是比赛视频中视频帧显示的目标元素与比赛视频中视频帧的时间戳之间的映射关系，该第二映射关系是动作数据序列中动作数据对应的目标元素与动作数据的资源标识之间的映射关系。以目标元素为中间媒介，基于第一映射关系和第二映射关系确定目标同步关系，该目标同步关系实质上是比赛视频中视频帧的时间戳与动作数据序列中动作数据的资源标识之间的映射关系。
应理解，在实际应用中，本申请实施例提供的技术方案除了可以用于上述示例性的场景中外，还可以用于其他需要合成多模态资源的场景中，在不同的场景中，所确定的目标同步关系表征的是不同的两种资源中子资源的资源标识之间的映射关系，本申请在此不对目标同步关系表征的映射关系做任何限定。
需要说明的是，在上述几种示例性的场景中，第一参照元素和第二参照元素实质上均对应同一元素(即目标元素)。在实际应用中，第一参照元素和第二参照元素也可以对应不同的元素，但是需要保证第一参照元素与第二参照元素之间具有特定的匹配关系，以为游戏视频添加解说内容这一场景为例，假设第一参照元素为游戏视频中视频帧上显示的游戏过程的进展时间，第二参照元素为游戏数据序列中游戏数据对应的生成时间，游戏数据对应的生成时间与游戏过程的进展时间之间可能存在一定的时间差，此时，确定第一参照元素与第二参照元素是否相匹配时，可以确定满足该时间差的游戏过程的进展时间与游戏数据的生成时间互相匹配。在此不对本申请中确定第一参照元素与第二参照元素是否匹配的方式做任何限定。
步骤205：根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
确定出目标同步关系后，服务器即可根据第一资源、第二资源和目标同步关系进行多模态资源的合成。
在一种可能的实现方式中，服务器实际需要合成的资源即为第一资源和第二资源，此时，服务器可以直接基于目标同步关系对第一资源和第二资源进行合成处理。例如，假设服务器确定的目标同步关系为上文中表3所示的关系，第一资源中资源标识为1的子资源与第二资源中资源标识为x的子资源相对应，第一资源中资源标识为2的子资源与第二资源中资源标识为y的子资源相对应，第一资源中资源标识为3的子资源与第二资源中资源标识为z的子资源相对应；若要将第二资源融入第一资源，则服务器可以将资源标识为x的子资源融入资源标识为1的子资源，将资源标识为y的子资源融入资源标识为2的子资源，将资源标识为z的子资源融入资源标识为3的子资源；反之，若要将第一资源融入第二资源，则服务器可以将资源标识为1的子资源融入资源标识为x的子资源，将资源标识为2的子资源融入资源标识为y的子资源，将资源标识为3的子资源融入资源标识为z的子资源。
应理解，上述实现方式通常可以应用于将字幕融入对应的视频资源、将音频融入对应的视频资源等场景，本申请在此不对该种实现方式所适用的场景做任何限定。
在另一种可能的实现方式中，服务器可以根据第二资源生成待合成资源，进而将该待合成资源与第一资源相合成。具体的，服务器可以先根据第二资源生成基础待合成资源，该基础待合成资源中子资源的资源标识是根据第二资源的资源标识确定的；然后，根据目标同步关系，将该基础待合成资源转换为目标待合成资源，转换得到的目标待合成资源中子资源的资源标识与第一资源的资源标识相匹配；进而，基于目标待合成资源中子资源的资源标识与第一资源中子资源的资源标识之间的匹配关系，对目标待合成资源与第一资源进行合成处理。
例如，假设第二资源包括资源标识为x的子资源、资源标识为y的子资源和资源标识为z的子资源，服务器根据第二资源中各子资源相应地生成包括三个子资源的基础待合成资源，该基础待合成资源中各子资源的资源标识是根据第二资源中各子资源的资源标识确定的，具体的，该基础待合成资源中可以包括资源标识为x的子资源、资源标识为y的子资源和资源标识为z的子资源。假设目标同步关系为上文中表3所示的关系，则可以基于该目标同步关系将基础待合成资源转换为目标待合成资源，具体的，转换得到的目标待合成资源包括资源标识为1的子资源、资源标识为2的子资源和资源标识为3的子资源，进而，服务器可以将待合成资源中资源标识为1的子资源融入第一资源中资源标识为1的子资源，将待合成资源中资源标识为2的子资源融入第一资源中资源标识为2的子资源，将待合成资源中资源标识为3的子资源融入第一资源中资源标识为3的子资源。
应理解，在实际应用中，基础待合成资源中的子资源与第二资源中的子资源可以成一对一的关系，也可以成一对多的关系，即基础待合成资源中的一个子资源可以是基于第二资源中的多个子资源生成的，本申请在此不对基础待合成资源中的子资源与第二资源中的子资源之间的关系做任何限定。
可选的，在为游戏视频添加解说内容的场景中，服务器可以根据游戏数据序列确定基础游戏解说资源，该基础游戏解说资源的资源标识包括起始帧号和终止帧号，该起始帧号是游戏数据序列中起始游戏数据的帧号，终止帧号是游戏数据序列中终止游戏数据的帧号；然后，服务器可以根据所确定的目标同步关系，将基础游戏解说资源转换为目标游戏解说资源，该目标游戏解说资源的资源标识中包括起始时间戳和终止时间戳，该起始时间戳对应于起始帧号，该终止时间戳对应于终止帧号；进而，基于目标游戏解说资源的资源标识与游戏视频中视频帧的时间戳之间的匹配关系，将目标游戏解说资源融入游戏视频。
具体的，服务器可以基于用于存储游戏数据序列与游戏解说内容之间的对应关系的游戏解说算法库，确定游戏数据序列对应的游戏解说内容，该游戏解说内容中具体可以包括解说文本和/或解说语音。然后，基于所生成的游戏解说内容生成基础游戏解说资源，基础游戏解说资源中包括游戏解说内容和该基础游戏解说资源对应的资源标识，该资源标识包括起始帧号和终止帧号，起始帧号是该游戏解说内容对应的游戏数据序列中起始游戏数据的帧号，终止帧号是该游戏解说内容对应的游戏数据序列中终止游戏数据的帧号。
进而，基于目标同步关系中记录游戏数据的帧号与游戏视频中视频帧的时间戳之间的映射关系，对基础游戏解说资源的资源标识进行转换处理，即将该资源标识中的起始帧号转换为对应的起始时间戳，将该资源标识中的终止帧号转换为对应的终止时间戳，从而得到目标游戏解说资源的资源标识，基于基础游戏解说资源中包括的游戏解说内容和目标游戏解说资源的资源标识，生成目标游戏解说资源。最终，基于目标游戏解说资源的资源标识与游戏视频中视频帧的时间戳之间的对应关系，将目标游戏解说资源中的游戏解说内容，嵌入至游戏视频中对应的位置。
需要说明的是，在实际应用中，服务器可以在用户玩游戏的过程中实时地获取该游戏过程中的游戏数据序列以及录制该游戏过程生成的游戏视频，进而，通过上述方式基于所获取的游戏数据序列实时地生成对应的游戏解说资源，并将所生成的游戏解说资源相应地嵌入游戏视频中对应的位置，由此实现游戏解说内容与游戏视频的实时合成，在用户结束游戏时，即可获得合成有游戏解说内容的游戏视频。
可选的，在为比赛视频添加解说内容的场景中，服务器可以根据动作数据序列确定基础比赛解说资源，该基础游戏解说资源的资源标识包括起始标识和终止标识，该起始标识是动作数据序列中起始动作数据的资源标识，终止标识是动作数据序列中终止动作数据的资源标识；然后，服务器可以根据所确定的目标同步关系，将基础比赛解说资源转换为目标比赛解说资源，该目标比赛解说资源的资源标识中包括起始时间戳和终止时间戳，该起始时间戳对应于起始标识，该终止时间戳对应于终止标识；进而，基于目标比赛解说资源的资源标识与比赛视频中视频帧的时间戳之间的匹配关系，将目标比赛解说资源融入比赛视频。
具体的，服务器可以基于动作数据序列确定对应的比赛解说内容，该比赛解说内容具体可以包括解说文本和/或解说语音。然后，基于所生成的比赛解说内容生成基础比赛解说资源，该基础比赛解说资源中包括比赛解说内容和该基础比赛解说资源的资源标识，该资源标识包括起始标识和终止标识，起始标识是该比赛解说内容对应的动作数据序列中起始动作数据的资源标识，终止标识是该比赛解说内容对应的动作数据序列中终止动作数据的资源标识。
进而，基于目标同步关系中记录动作数据的资源标识与比赛视频中视频帧的时间戳之间的映射关系，对基础比赛解说资源的资源标识进行转换处理，即将该资源标识中的起始标识转换为对应的起始时间戳，将该资源标识中的终止标识转换为对应的终止时间戳，从而得到目标比赛解说资源的资源标识，基于基础比赛解说资源中包括的比赛解说内容和目标比赛解说资源的资源标识，生成目标比赛解说资源。最终，基于目标比赛解说资源的资源标识与比赛视频中视频帧的时间戳之间的对应关系，将目标比赛解说资源中的比赛解说内容，嵌入至比赛视频中对应的位置。
需要说明的是，在实际应用中，服务器可以在比赛进行的过程中实时地获取基于参赛者的动作生成的动作数据序列以及录制该比赛过程生成的比赛视频，进而，通过上述方式基于所获取的动作数据序列实时地生成对应的比赛解说资源，并将所生成的比赛解说资源相应地嵌入比赛视频中对应的位置，由此实现比赛解说内容与比赛视频的实时合成，在比赛结束时，即可获得合成有比赛解说内容的比赛视频。
上述资源合成方法将参照元素作为中间媒介，基于第一资源中参照元素与第一资源中子资源的资源标识间的映射关系，以及第二资源中参照元素与第二资源中子资源的资源标识间的映射关系，确定第一资源中子资源的资源标识与第二资源中子资源的资源标识间的映射关系，即确定用于对齐第一资源和第二资源中对应于同一内容的子资源的目标同步关系，进而基于该目标同步关系实现多模态资源的合成。相比现有技术中基于人工操作对齐不同资源中对应于同一内容的子资源的实现方式，基于本申请实施例提供的方法确定不同资源中子资源间的映射关系，既能保证准确地对齐不同资源中对应于同一内容的子资源，同时又能提升资源合成过程的整体效率，降低资源合成所需耗费的成本。
为了便于进一步理解本申请实施例提供的资源合成方法，下面以本申请实施例提供的资源合成方法应用于实时地在游戏视频中合成游戏解说内容的场景为例，对本申请实施例提供的资源合成方法做整体示例性介绍。
实时添加游戏解说内容的具体实现过程如图3所示。在用户玩游戏的过程中，服务器可以实时地获取游戏引擎301生成的游戏数据序列302，以及在用户触发录屏操作后游戏引擎录制的游戏视频303。基于所获取的游戏数据序列302，服务器可以利用游戏解说算法库实时地确定所获取的游戏数据序列对应的游戏解说内容304。进而，对游戏解说内容304与游戏视频303进行多模态合成处理305，即将游戏解说内容304与游戏视频303进行时间同步对齐，将游戏解说内容304相应地融入至游戏视频303中，得到合成有游戏解说内容的游戏视频306。
本申请提供的资源合成方法重点关注上述多模态合成处理305的实现过程，通过图像识别模型识别游戏视频303中各视频帧上显示的游戏过程的进展时间，然后基于该游戏过程的进展时间，对游戏视频303和基于游戏数据序列302生成的游戏解说内容304进行精准地同步和匹配，即实现多模态资源之间的时间同步。
具体的，上述游戏数据序列302和游戏视频303分别是两种具备不同资源标识的数据，游戏数据序列302中的游戏数据以帧号作为资源标识，每帧游戏数据对应不同的帧号，游戏视频303中的视频帧以时间戳作为资源标识，每个视频帧对应不同的时间戳。
在游戏视频303中实时添加游戏解说内容304的实现过程如图4所示。
在用户玩游戏的过程中，服务器获取到实时录制游戏过程得到的游戏视频303后，对游戏视频303进行解码处理，得到其中包括的各视频帧，进而利用图像识别模型401识别各视频帧中显示的游戏过程的进展时间(下文称为observer time)，并获取游戏视频303中各视频帧各自对应的时间戳(下文称为video pts)，针对每个视频帧生成一个二元组[observer time，video pts]402，游戏视频303中各视频帧各自对应的二元组402组成上文中所述的第一映射关系。
在用户玩游戏的过程中，服务器获取到在游戏过程中实时生成的游戏数据序列302后，利用游戏解说算法库生成与游戏数据序列302对应的游戏解说内容403，该游戏解说内容具体可以包括文本解说内容(下文称为text)和语音解说内容(下文称为audio)，进而基于该游戏解说内容以及游戏数据序列302中起始游戏数据的帧号(下文称为begin_frame)和终止游戏数据的帧号(下文称为end_frame)，生成基础游戏解说资源404，该基础游戏解说资源404实质上为四元组[text，audio，begin_frame，end_frame]。
进而，通过多模态合成处理305，将基础游戏解说资源404中的文本解说内容和语音解说内容融入至游戏视频303中，得到合成有游戏解说内容的游戏视频306。
多模态合成处理305的具体实现过程如图5所示。
服务器获取由游戏视频303中各视频帧各自对应的二元组[observer time，videopts]组成的第一映射关系501，以及由游戏数据序列302中各游戏数据各自对应的二元组[observer time，frame]组成的第二映射关系502，其中，第二映射关系502可以由服务器基于游戏数据序列302中各游戏数据各自对应的帧号计算得到。
然后基于上述第一映射关系501和第二映射关系502进行资源标识转换处理503，即以第一映射关系501包括的二元组中的observer time和第二映射关系502包括的二元组中的observer time作为中间媒介，确定第一映射关系501中的video pts与第二映射关系502中的frame之间的映射关系504，即确定目标同步关系504。
进而，服务器可以基于目标同步关系504，对基础游戏解说资源404进行资源标识转换处理505，即将基础游戏解说资源404对应的四元组[text，audio，begin_frame，end_frame]，转换为四元组[text，audio，begin_video pts，end_video pts]，得到目标游戏解说资源506。最终，基于目标游戏解说资源506中的begin_video pts和end_video pts，将目标游戏解说资源506中包括的文本解说内容和语音解说内容，相应地嵌入游戏视频303对应的时间戳范围内。
针对上文描述的资源合成方法，本申请还提供了对应的资源合成装置，以使上述资源合成方法在实际中得以应用和实现。
参见图6，图6是与上文图2所示的资源合成方法对应的一种资源合成装置600的结构示意图，该装置包括：
资源获取模块601，用于获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
第一映射关系确定模块602，用于确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；
第二映射关系确定模块603，用于确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；
同步关系确定模块604，用于根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
资源合成模块605，用于根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
可选的，在图6所示的资源合成装置的基础上，所述第一资源为录制所述目标过程得到的目标视频，所述第一参照元素为所述目标视频中视频帧显示的目标元素；所述第二资源中的子资源包括用于确定所述目标元素的目标数据，所述第二参照元素为所述目标数据对应的所述目标元素；参见图7，图7为本申请实施例提供的另一种资源合成装置的结构示意图。
其中，所述第一映射关系确定模块602包括：
第一目标元素识别子模块701，用于识别所述目标视频中视频帧显示的所述目标元素；
第一映射关系确定子模块702，用于确定所述目标视频中视频帧显示的所述目标元素与所述视频帧的资源标识之间的映射关系，作为所述第一映射关系；
所述第二映射关系确定模块603包括：
第一目标元素确定子模块703，用于确定所述第二资源中子资源包括的目标数据对应的所述目标元素；
第二映射关系确定子模块704，用于确定所述第二资源中子资源包括的目标数据对应的所述目标元素与所述第二资源中子资源的资源标识之间的映射关系，作为所述第二映射关系。
可选的，在图7所示的资源合成装置的基础上，所述目标视频中视频帧显示有所述目标过程的进展时间；所述第二资源中子资源的资源标识能够反映所述目标过程的进展时间；
则所述第一目标元素识别子模块701，具体用于识别所述目标视频中视频帧显示的进展时间，作为所述目标元素；
则所述第一目标元素确定子模块703，具体用于根据所述第二资源中子资源的资源标识与预设的子资源时间分布关系，确定所述第二资源中子资源对应的进展时间，作为所述目标元素。
可选的，在图7所示的资源合成装置的基础上，则所述第一目标元素识别子模块701，具体用于对所述目标视频进行解码，得到所述目标视频中的视频帧；通过图像识别模型识别所述目标视频中的视频帧显示的所述目标元素。
可选的，在图6所示的资源合成装置的基础上，参见图8，图8为本申请实施例提供的另一种资源合成装置的结构示意图，其中，所述资源合成模块605包括：
待合成资源生成子模块801，用于根据所述第二资源生成基础待合成资源；所述基础待合成资源中子资源的资源标识是根据所述第二资源中子资源的资源标识确定的；
待合成资源转换子模块802，用于根据所述目标同步关系，将所述基础待合成资源转换为目标待合成资源；
资源合成子模块803，用于基于所述目标待合成资源中子资源的资源标识与所述第一资源中子资源的资源标识之间的匹配关系，对所述目标待合成资源与所述第一资源进行合成处理。
可选的，在图6所示的资源合成装置的基础上，所述目标过程为游戏过程，所述第一资源为录制所述游戏过程得到的游戏视频，所述第二资源为所述游戏过程中的游戏数据序列；参见图9，图9为本申请实施例提供的另一种资源合成装置的结构示意图。
其中，所述第一映射关系确定模块602包括：
第二目标元素识别子模块901，用于识别所述游戏视频中视频帧显示的目标元素，作为所述第一参照元素；
第一映射关系确定子模块902，用于确定所述视频帧显示的目标元素与所述视频帧的时间戳之间的映射关系，作为所述第一映射关系；
所述第二映射关系确定模块603包括：
第二目标元素确定子模块903，用于确定所述游戏数据序列中游戏数据对应的所述目标元素，作为所述第二参照元素；
第二映射关系确定子模块904，用于确定所述游戏数据对应的所述目标元素与所述游戏数据的帧号之间的映射关系，作为所述第二映射关系。
可选的，在图9所示的资源合成装置的基础上，参见图10，图10为本申请实施例提供的另一种资源合成装置的结构示意图，其中，所述资源合成模块605包括：
待合成游戏资源生成子模块1001，用于根据所述游戏数据序列确定基础游戏解说资源；所述基础游戏解说资源的资源标识包括起始帧号和终止帧号，所述起始帧号是所述游戏数据序列中起始游戏数据的帧号，所述终止帧号是所述游戏数据序列中终止游戏数据的帧号；
待合成游戏资源转换子模块1002，用于根据所述目标同步关系，将所述基础游戏解说资源转换为目标游戏解说资源；所述目标游戏解说资源的资源标识包括起始时间戳和终止时间戳，所述起始时间戳对应所述起始帧号，所述终止时间戳对应所述终止帧号；
游戏资源合成子模块1003，用于基于所述目标游戏解说资源的资源标识与所述游戏视频中视频帧的时间戳之间的匹配关系，将所述目标游戏解说资源融入所述游戏视频。
可选的，在图10所示的资源合成装置的基础上，所述待合成游戏资源生成子模块1001具体用于：
通过游戏解说算法库确定所述游戏数据序列对应的游戏解说内容，基于所述游戏解说内容生成所述基础游戏解说资源；所述游戏解说算法库中存储有游戏数据序列与游戏解说内容之间的对应关系。
可选的，在图9所示的资源合成装置的基础上，所述目标元素包括以下至少一种：所述游戏过程的进展时间、目标游戏元素的状态信息。
可选的，在图6所示的资源合成装置的基础上，所述目标过程为比赛过程，所述第一资源为录制所述比赛过程得到的比赛视频，所述第二资源为所述比赛过程中的动作数据序列；参见图11，图11为本申请实施例提供的另一种资源合成装置的结构示意图。
其中，所述第一映射关系确定模块602包括：
第三目标元素识别子模块1101，用于识别所述比赛视频中视频帧显示的目标元素，作为所述第一参照元素；
第一映射关系确定子模块1102，用于确定所述视频帧显示的目标元素与所述视频帧的时间戳之间的映射关系，作为所述第一映射关系；；
所述第二映射关系确定模块603包括：
第三目标元素确定子模块1103，用于确定所述动作数据序列中动作数据对应的所述目标元素，作为所述第二参照元素；
第二映射关系确定子模块1104，用于确定所述动作数据对应的所述目标元素与所述动作数据的资源标识之间的映射关系，作为所述第二映射关系。
可选的，在图11所示的资源合成装置的基础上，参见图12，图12为本申请实施例提供的另一种资源合成装置的结构示意图，其中，所述资源合成模块605包括：
待合成比赛资源生成子模块1201，用于根据所述动作数据序列确定基础比赛解说资源；所述基础比赛解说资源的资源标识包括起始标识和终止标识，所述起始标识是所述动作数据序列中起始动作数据的资源标识，所述终止标识是所述动作数据序列中终止动作数据的资源标识；
待合成比赛资源转换子模块1202，用于根据所述目标同步关系，将所述基础比赛解说资源转换为目标比赛解说资源；所述目标比赛解说资源的资源标识包括起始时间戳和终止时间戳，所述起始时间戳对应所述起始标识，所述终止时间戳对应所述终止标识；
比赛资源合成子模块1203，用于基于所述目标比赛解说资源的资源标识与所述比赛视频中视频帧的时间戳之间的匹配关系，将所述目标比赛解说资源融入所述比赛视频。
上述资源合成装置将参照元素作为中间媒介，基于第一资源中参照元素与第一资源中子资源的资源标识间的映射关系，以及第二资源中参照元素与第二资源中子资源的资源标识间的映射关系，确定第一资源中子资源的资源标识与第二资源中子资源的资源标识间的映射关系，即确定用于对齐第一资源和第二资源中对应于同一内容的子资源的目标同步关系，进而基于该目标同步关系实现多模态资源的合成。基于本申请实施例提供的装置确定不同资源中子资源间的映射关系，既能保证准确地对齐不同资源中对应于同一内容的子资源，同时又能提升资源合成过程的整体效率，降低资源合成所需耗费的成本。
本申请实施例还提供了一种用于合成资源的设备，该设备具体可以为服务器和终端设备，下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。
参见图13，图13为本申请实施例提供的一种服务器1300的结构示意图。该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1322(例如，一个或一个以上处理器)和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。
服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图13所示的服务器结构。
其中，CPU 1322用于执行如下步骤：
获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；
确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；
根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
可选的，CPU 1322还可以用于执行本申请实施例提供的资源合成方法的任意一种实现方式的步骤。
参见图14，图14为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括计算机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)等任意终端设备，以终端为计算机为例：
图14示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图14，计算机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1480是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。
在本申请实施例中，该终端所包括的处理器1480还具有以下功能：
获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；
确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；
根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成。
可选的，所述处理器1480还用于执行本申请实施例提供的资源合成方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种资源合成方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种资源合成方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种资源合成方法，其特征在于，所述方法包括：
获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；所述第一资源为录制所述目标过程得到的目标视频，所述第一参照元素为所述目标视频中视频帧显示的目标元素；
确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；所述第二资源中的子资源包括用于确定所述目标元素的目标数据，所述第二参照元素为所述目标数据对应的所述目标元素；
根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成；
其中，所述确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系，包括：
识别所述目标视频中视频帧显示的所述目标元素；
确定所述目标视频中视频帧显示的所述目标元素与所述视频帧的资源标识之间的映射关系，作为所述第一映射关系；
其中，所述确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系，包括：
确定所述第二资源中子资源包括的目标数据对应的所述目标元素；
确定所述第二资源中子资源包括的目标数据对应的所述目标元素与所述第二资源中子资源的资源标识之间的映射关系，作为所述第二映射关系。
2.根据权利要求1所述的方法，其特征在于，所述目标视频中视频帧显示有所述目标过程的进展时间；所述第二资源中子资源的资源标识能够反映所述目标过程的进展时间；
则所述识别所述目标视频中视频帧显示的所述目标元素，包括：
识别所述目标视频中视频帧显示的进展时间，作为所述目标元素；
则所述确定所述第二资源中子资源包括的目标数据对应的所述目标元素，包括：
根据所述第二资源中子资源的资源标识与预设的子资源时间分布关系，确定所述第二资源中子资源对应的进展时间，作为所述目标元素。
3.根据权利要求1所述的方法，其特征在于，所述识别所述目标视频中视频帧显示的所述目标元素，包括：
对所述目标视频进行解码，得到所述目标视频中的视频帧；
通过图像识别模型识别所述目标视频中的视频帧显示的所述目标元素。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成，包括：
根据所述第二资源生成基础待合成资源；所述基础待合成资源中子资源的资源标识是根据所述第二资源中子资源的资源标识确定的；
根据所述目标同步关系，将所述基础待合成资源转换为目标待合成资源；
基于所述目标待合成资源中子资源的资源标识与所述第一资源中子资源的资源标识之间的匹配关系，对所述目标待合成资源与所述第一资源进行合成处理。
5.根据权利要求1所述的方法，其特征在于，所述目标过程为游戏过程，所述第一资源为录制所述游戏过程得到的游戏视频，所述第二资源为所述游戏过程中的游戏数据序列；
则所述确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系，包括：
识别所述游戏视频中视频帧显示的目标元素，作为所述第一参照元素；
确定所述视频帧显示的目标元素与所述视频帧的时间戳之间的映射关系，作为所述第一映射关系；
则所述确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系，包括：
确定所述游戏数据序列中游戏数据对应的所述目标元素，作为所述第二参照元素；
确定所述游戏数据对应的所述目标元素与所述游戏数据的帧号之间的映射关系，作为所述第二映射关系。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成，包括：
根据所述游戏数据序列确定基础游戏解说资源；所述基础游戏解说资源的资源标识包括起始帧号和终止帧号，所述起始帧号是所述游戏数据序列中起始游戏数据的帧号，所述终止帧号是所述游戏数据序列中终止游戏数据的帧号；
根据所述目标同步关系，将所述基础游戏解说资源转换为目标游戏解说资源；所述目标游戏解说资源的资源标识包括起始时间戳和终止时间戳，所述起始时间戳对应所述起始帧号，所述终止时间戳对应所述终止帧号；
基于所述目标游戏解说资源的资源标识与所述游戏视频中视频帧的时间戳之间的匹配关系，将所述目标游戏解说资源融入所述游戏视频。
7.根据权利要求6所述的方法，其特征在于，所述根据所述游戏数据序列确定基础游戏解说资源，包括：
通过游戏解说算法库确定所述游戏数据序列对应的游戏解说内容，基于所述游戏解说内容生成所述基础游戏解说资源；所述游戏解说算法库中存储有游戏数据序列与游戏解说内容之间的对应关系。
8.根据权利要求5所述的方法，其特征在于，所述目标元素包括以下至少一种：所述游戏过程的进展时间、目标游戏元素的状态信息。
9.根据权利要求1所述的方法，其特征在于，所述目标过程为比赛过程，所述第一资源为录制所述比赛过程得到的比赛视频，所述第二资源为所述比赛过程中的动作数据序列；
则所述确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系，包括：
识别所述比赛视频中视频帧显示的目标元素，作为所述第一参照元素；
确定所述视频帧显示的目标元素与所述视频帧的时间戳之间的映射关系，作为所述第一映射关系；
则所述确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系，包括：
确定所述动作数据序列中动作数据对应的所述目标元素，作为所述第二参照元素；
确定所述动作数据对应的所述目标元素与所述动作数据的资源标识之间的映射关系，作为所述第二映射关系。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成，包括：
根据所述动作数据序列确定基础比赛解说资源；所述基础比赛解说资源的资源标识包括起始标识和终止标识，所述起始标识是所述动作数据序列中起始动作数据的资源标识，所述终止标识是所述动作数据序列中终止动作数据的资源标识；
根据所述目标同步关系，将所述基础比赛解说资源转换为目标比赛解说资源；所述目标比赛解说资源的资源标识包括起始时间戳和终止时间戳，所述起始时间戳对应所述起始标识，所述终止时间戳对应所述终止标识；
基于所述目标比赛解说资源的资源标识与所述比赛视频中视频帧的时间戳之间的匹配关系，将所述目标比赛解说资源融入所述比赛视频。
11.一种资源合成装置，其特征在于，所述装置包括：
资源获取模块，用于获取第一资源和第二资源；所述第一资源和所述第二资源是基于目标过程生成的模态不同的资源；
第一映射关系确定模块，用于确定所述第一资源中子资源对应的第一参照元素，并确定所述第一参照元素与所述第一资源中子资源的资源标识之间的第一映射关系；所述第一参照元素能够表征其对应的所述第一资源中的子资源；所述第一资源为录制所述目标过程得到的目标视频，所述第一参照元素为所述目标视频中视频帧显示的目标元素；
第二映射关系确定模块，用于确定所述第二资源中子资源对应的第二参照元素，并确定所述第二参照元素与所述第二资源中子资源的资源标识之间的第二映射关系；所述第二参照元素能够表征其对应的所述第二资源中的子资源；所述第二资源中的子资源包括用于确定所述目标元素的目标数据，所述第二参照元素为所述目标数据对应的所述目标元素；
同步关系确定模块，用于根据所述第一映射关系中所述第一参照元素与所述第二映射关系中所述第二参照元素之间的匹配关系，确定目标同步关系；所述目标同步关系包括所述第一资源中第i个资源标识与所述第二资源中第j个资源标识之间的映射关系，所述i为大于或等于1、且小于或等于所述第一资源中子资源数目的整数，所述j为大于或等于1、且小于或等于所述第二资源中子资源数目的整数；
资源合成模块，用于根据所述第一资源、所述第二资源和所述目标同步关系进行资源合成；
其中，所述第一映射关系确定模块，包括：
目标元素识别子模块，用于识别所述目标视频中视频帧显示的所述目标元素；
第一映射关系确定子模块，用于确定所述目标视频中视频帧显示的所述目标元素与所述视频帧的资源标识之间的映射关系，作为所述第一映射关系；
其中，所述第二映射关系确定模块，包括：
目标元素确定子模块，用于确定所述第二资源中子资源包括的目标数据对应的所述目标元素；
第二映射关系确定子模块，用于确定所述第二资源中子资源包括的目标数据对应的所述目标元素与所述第二资源中子资源的资源标识之间的映射关系，作为所述第二映射关系。
12.一种设备，其特征在于，所述设备包括处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至10中任一项所述的资源合成方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至10中任一项所述的资源合成方法。
CN202010019416.3A 2020-01-08 2020-01-08 一种资源合成方法、装置、设备及存储介质 Active CN111212320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010019416.3A CN111212320B (zh) 2020-01-08 2020-01-08 一种资源合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010019416.3A CN111212320B (zh) 2020-01-08 2020-01-08 一种资源合成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111212320A CN111212320A (zh) 2020-05-29
CN111212320B true CN111212320B (zh) 2023-07-14

Family

ID=70789624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010019416.3A Active CN111212320B (zh) 2020-01-08 2020-01-08 一种资源合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111212320B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10449461B1 (en) * 2018-05-07 2019-10-22 Microsoft Technology Licensing, Llc Contextual in-game element recognition, annotation and interaction based on remote user input

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873982B2 (en) * 2006-06-22 2011-01-18 Tivo Inc. Method and apparatus for creating and viewing customized multimedia segments
CN103621101B (zh) * 2011-07-01 2016-11-16 杜比实验室特许公司 用于自适应音频系统的同步化和切换方法及系统
CN105979169A (zh) * 2015-12-15 2016-09-28 乐视网信息技术（北京）股份有限公司 一种视频的字幕添加方法、装置和终端
CN109874043B (zh) * 2017-12-01 2021-07-27 腾讯科技（深圳）有限公司 视频流发送方法、播放方法及装置
CN108401192B (zh) * 2018-04-25 2022-02-22 腾讯科技（深圳）有限公司 视频流处理方法、装置、计算机设备及存储介质
CN108449651B (zh) * 2018-05-24 2021-11-02 腾讯科技（深圳）有限公司 字幕添加方法、装置、设备及存储介质
CN110111614A (zh) * 2019-03-14 2019-08-09 杭州笔声智能科技有限公司 一种音视频教学实现音屏同步的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10449461B1 (en) * 2018-05-07 2019-10-22 Microsoft Technology Licensing, Llc Contextual in-game element recognition, annotation and interaction based on remote user input

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种新的音视频同步解决方案的研究;宋人杰，张鹏宇，林本侠;东北电力大学学报;全文 *

Also Published As

Publication number Publication date
CN111212320A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
US20230012732A1 (en) Video data processing method and apparatus, device, and medium
CN110519636B (zh) 语音信息播放方法、装置、计算机设备及存储介质
KR20210144625A (ko) 영상 데이터 처리 방법, 장치 및 판독 가능 저장 매체
US11670015B2 (en) Method and apparatus for generating video
CN110557678B (zh) 视频处理方法、装置及设备
US20110258211A1 (en) System and method for synchronous matching of media samples with broadcast media streams
WO2017157135A1 (zh) 媒体信息处理方法及媒体信息处理装置、存储介质
CN202998337U (zh) 视频节目识别系统
CN104185088B (zh) 一种视频处理方法及装置
CN109644291A (zh) 将辅助数据同步到包括音频的内容
CN112883209A (zh) 多媒体数据的推荐方法和处理方法、装置、设备及可读介质
CN113301386B (zh) 视频处理方法、装置、服务器以及存储介质
CN111212320B (zh) 一种资源合成方法、装置、设备及存储介质
CN112328834A (zh) 视频关联方法、装置、电子设备及存储介质
WO2023077866A1 (zh) 多媒体数据处理方法、装置、电子设备及存储介质
KR101085718B1 (ko) 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법
CN113905254B (zh) 视频合成方法、装置、系统与可读存储介质
CN113411517B (zh) 视频模板的生成方法、装置、电子设备及存储介质
CN115193039A (zh) 游戏剧情的交互方法、装置及系统
CN114866788A (zh) 视频的处理方法及装置
CN110706169A (zh) 一种明星人像优化方法、装置以及存储装置
CN110275989A (zh) 多媒体数据处理方法、装置、计算机设备和存储介质
CN110351584A (zh) 视频混流方法、视频混流装置及存储介质
CN113992866B (zh) 视频制作方法及装置
CN115278299B (zh) 无监督的训练数据生成方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant