发明内容
本公开实施例提供一种视频生成方法及装置。
第一方面,本公开实施例中提供了一种视频生成方法,用以生成与目标对象相关的视频文件。
具体的,所述视频生成方法,包括:获取目标对象信息和路径构建规则;利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,其中,所述认知路径包括与所述目标对象相关的多个节点,以及相邻节点之间的子路径,不同的节点对应与所述目标对象相关的不同认知内容;获取所述认知路径中每个节点对应的视频素材数据;根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件。
在本公开一种实现方式中,所述路径构建规则包括一个或多个预设节点连接关系。
在本公开一种实现方式中,所述利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,包括:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,根据所述路径构建规则中的预设节点连接关系确定在所述知识图谱中与所述起点节点顺次连接的一个或多个节点,以及所述一个或多个节点中相邻节点之间的子路径,得到所述目标对象的认知路径。
在本公开一种实现方式中,所述路径构建规则为基于节点关联度的路径构建规则。
在本公开一种实现方式中,所述利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,包括:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,将所述知识图谱中与所述起点节点之间的关联度最高的节点作为所述起点节点的下级节点,将所述知识图谱中与所述起点节点的下级节点之间的关联度最高的节点作为所述下级节点的下级节点,直至末级节点,连接各级节点,得到所述目标对象在所述知识图谱中的认知路径。
在本公开一种实现方式中,还包括:从用户交互界面获取用户设置的所述目标对象信息。
在本公开一种实现方式中,还包括:根据目标对象信息提供预设的路径构建规则,根据用户输入调整路径构建规则;和/或从用户交互界面获取用户设置的路径构建规则。
在本公开一种实现方式中,所述获取所述认知路径中每个节点对应的视频素材数据,包括:获取所述认知路径中每个节点对应的认知内容的图片、动图或视频。
在本公开一种实现方式中,所述根据所述行为控制指令执行相应的行为操作,包括:根据所述行为控制指令调用所述虚拟直播人物相应的行为组件来执行所述行为操作,和/或,根据所述行为控制指令控制所述虚拟直播人物执行相应的行为操作。
在本公开一种实现方式中,所述获取所述认知路径中每个节点对应的视频素材数据,还包括:获取所述认知路径中每个节点对应的认知内容,以及相邻节点之间的关联关系描述;基于每个节点对应的认知内容及其与相邻节点之间的关联关系描述,生成每个节点对应的文案。
在本公开一种实现方式中,所述获取所述认知路径中每个节点对应的视频素材数据,还包括:查找与所述知识图谱相关联的视频素材数据库,得到所述认知路径中每个节点对应的视频素材数据。
在本公开一种实现方式中,所述根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件,包括:将每个节点对应的认知内容的图片、动图、视频和/或文案,根据所述认知路径中相邻节点之间的子路径进行视频合成,生成所述目标对象的视频文件。
在本公开一种实现方式中,还包括:从远端设备的用户交互界面获取目标对象信息;和输出视频文件至远端设备以显示在用户交互界面。
第二方面,本公开实施例中提供了一种视频生成装置,用以生成与目标对象相关的视频文件。
具体的,所述视频生成装置,包括:信息获取模块,被配置为获取目标对象信息和路径构建规则;路径构建模块,被配置为利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,其中,所述认知路径包括与所述目标对象相关的多个节点,以及相邻节点之间的子路径,不同的节点对应与所述目标对象相关的不同认知内容;数据获取模块,被配置为获取所述认知路径中每个节点对应的视频素材数据;文件生成模块,被配置为根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件。
在本公开一种实现方式中,所述路径构建规则包括一个或多个预设节点连接关系。
在本公开一种实现方式中,所述路径构建模块还被配置为:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,根据所述路径构建规则中的预设节点连接关系确定在所述知识图谱中与所述起点节点顺次连接的一个或多个节点,以及所述一个或多个节点中相邻节点之间的子路径,得到所述目标对象的认知路径。
在本公开一种实现方式中,所述路径构建规则为基于节点关联度的路径构建规则。
在本公开一种实现方式中,所述路径构建模块还被配置为:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,将所述知识图谱中与所述起点节点之间的关联度最高的节点作为所述起点节点的下级节点,将所述知识图谱中与所述起点节点的下级节点之间的关联度最高的节点作为所述下级节点的下级节点,直至末级节点,连接各级节点,得到所述目标对象在所述知识图谱中的认知路径。
在本公开一种实现方式中,还包括:信息设置模块,被配置为从用户交互界面获取用户设置的所述目标对象信息。
在本公开一种实现方式中,还包括:规则获取模块,被配置为根据目标对象信息提供预设的路径构建规则,根据用户输入调整路径构建规则;和/或从用户交互界面获取用户设置的路径构建规则。
在本公开一种实现方式中,所述数据获取模块还被配置为:获取所述认知路径中每个节点对应的认知内容的图片、动图或视频。
在本公开一种实现方式中,所述数据获取模块还被配置为:获取所述认知路径中每个节点对应的认知内容,以及相邻节点之间的关联关系描述;基于每个节点对应的认知内容及其与相邻节点之间的关联关系描述,生成每个节点对应的文案。
在本公开一种实现方式中,所述数据获取模块还被配置为:查找与所述知识图谱相关联的视频素材数据库,得到所述认知路径中每个节点对应的视频素材数据。
在本公开一种实现方式中,所述文件生成模块还被配置为:将每个节点对应的认知内容的图片、动图、视频和/或文案,根据所述认知路径中相邻节点之间的子路径进行视频合成,生成所述目标对象的视频文件。
在本公开一种实现方式中,还包括:信息显示模块,被配置为从远端设备的用户交互界面获取目标对象信息;和输出视频文件至远端设备以显示在用户交互界面。
第三方面,本公开实施例提供了一种电子设备,包括存储器和至少一个处理器,其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述至少一个处理器执行以实现上述视频生成方法的方法步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,用于存储行为控制装置所用的计算机指令,其包含用于执行上述视频生成方法为视频生成装置所涉及的计算机指令。
第五方面,本公开实施例提供了一种计算机程序产品,包括计算机程序/指令,其中,该计算机程序/指令被处理器执行时实现上述视频生成方法的方法步骤。
本公开实施例提供的技术方案可以包括以下有益效果:
上述技术方案可以在获取到目标对象信息和路径构建规则之后,根据目标对象对应的知识图谱生成视频所需的视频素材数据的内容和逻辑顺序,然后生成与目标对象相关的视频文件。该技术方案能够在不需要人力参与的情况下,自动生成用户感兴趣的目标对象的相关视频,便于用户对该目标对象从全方位进行了解,提高了用户的认知事物的效率,降低了信息推广过程中的人力成本,适用于当前高速发展的网络环境。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供的技术方案可以在获取到目标对象信息和路径构建规则之后,根据目标对象对应的知识图谱生成视频所需的视频素材数据的内容和逻辑顺序,然后生成与目标对象相关的视频文件。该技术方案能够在不需要人力参与的情况下,自动生成用户感兴趣的目标对象的相关视频,便于用户对该目标对象从全方位进行了解,提高了用户的认知事物的效率,降低了信息推广过程中的人力成本,适用于当前高速发展的网络环境。
图1示出根据本公开一实施方式的视频生成方法的流程图,该视频生成方法用以生成与目标对象相关的视频文件。如图1所示,所述视频生成方法包括以下步骤S101-S104:
在步骤101中,获取目标对象信息和路径构建规则。
在步骤102中,利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,其中,所述认知路径包括与所述目标对象相关的多个节点以及相邻节点之间的子路径,不同的节点对应与所述目标对象相关的不同认知内容。
在步骤103中,获取所述认知路径中每个节点对应的视频素材数据。
在步骤104中,根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件。
上文提及,通常用户在购买日常用品时,要么需要提前查取资料了解需要购买物品的功能或用途,要么在线下商店里根据导购的介绍了解需要购买物品的功能或用途。无论采用哪种方式均会导致用户认知过程的用时较长,可能出现由于时间有限而导致用户放弃购买的情况。为了解决上述问题,部分网络购物平台、线下商店或者大型超市可能会提前为每个物品设置推广视频,当用户需要购买该物品时,可以通过预设的界面或者视频播放设备播放该推广视频,以便于用户及时了解物品的性能、成分、使用场景、使用方法等认知内容,进而决定是否需要进行购买。但是,上述推广视频需要人工提前编辑并预先存储,因此生成视频的人力成本较高,效率较低,难以适用于当前高速发展的网络环境。
考虑到上述缺陷,在该实施方式中,提出一种视频生成方法,可以在获取到目标对象信息和路径构建规则之后,根据目标对象对应的知识图谱生成视频所需的视频素材数据的内容和逻辑顺序,然后生成与目标对象相关的视频文件。该技术方案能够在不需要人力参与的情况下,自动生成用户感兴趣的目标对象的相关视频,便于用户对该目标对象从全方位进行了解,提高了用户的认知事物的效率,降低了信息推广过程中的人力成本,适用于当前高速发展的网络环境。
在本公开一实施方式中,所述视频生成方法可适用于可以进行视频制作的计算机、计算设备、电子设备、服务器、服务集群等行为控制方。
在本公开一实施方式中,目标对象可以为物品,用户痛点,用户诉求,或者物品成分等。目标对象信息即为描述该目标对象的信息,或者该目标对象的具体内容。以护肤品为例,该目标对象信息可以物品的名称,例如**面膜、**面霜或**洗面奶;或者,该目标对象信息可以为用户痛点的具体描述,如肤色暗淡、皮肤干纹、眼角细纹等;或者该目标对象信息可以为用户诉求的具体描述,如美白、补水或者抗皱等;或者该目标对象信息可以为物品成分的名称,如甘草酸二钾、玻尿酸或者多肽等。
在本公开一实施方式中,所述路径构建规则可以与目标对象信息相关,也可以直接由用户指定。例如,用户可以在反馈界面上输入符合自身观看习惯的路径构建规则;或者服务器可以根据用户对该目标对象信息指示的目标对象的关注度确定该路径构建规则,或者根据待获取内容与该目标对象信息指示的目标对象的相关性确定该路径构建规则。
在本公开一实施方式中,所述知识图谱是一种由节点和边组成的数据结构。其中,每个节点表示现实世界中存在的实体,每条边为实体与实体之间的关系。通俗地讲,知识图谱是对现实世界中事物及其关系的建模,是把不同种类信息连接在一起的关系网络。例如,该现实世界中存在的实体可以为目标对象,每条边即为不同目标对象之间的关系。
在本公开一实施方式中,所述视频素材数据指的是可生成视频文件、可作为视频文件的素材的数据。所述视频素材数据比如可以为图片、文案、动图、甚至还可以是一段短小的视频。
在上述实施方式中,首先获取用户输入的或者根据用户的习惯信息获取的目标对象信息和路径构建规则,根据该目标对象信息和该路径构建规则确定知识图谱中该目标对象信息指示的目标对象对应的节点,与该目标对象对应的节点相关联的其他多个节点,以及相邻节点之间的子路径,然后获取认知路径中每个节点对应的视频素材数据,进而根据每个节点对应的视频素材数据和认知路径中相邻节点之间的子路径,生成与目标对象相关的视频文件。
在本公开一种实现方式中,该路径构建规则可以包括一个或多个预设节点的连接关系。即该路径构建规则指示不同节点之间的连接关系,例如对于用户痛点节点的下位节点为用户诉求节点,用户诉求节点的下位节点为物品节点,物品节点的下位节点为物品成分节点。
在本公开一种实现方式中,所述步骤102中,利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,可以包括以下步骤:确定目标对象在知识图谱中对应的节点;以目标对象对应的节点为起点节点,根据路径构建规则中的预设节点连接关系确定在知识图谱中与起点节点顺次连接的一个或多个节点,以及该一个或多个节点中相邻节点之间的子路径,得到目标对象的认知路径。
在该实施方式中,以获取到的目标对象信息指示目标对象为用户诉求为例,该用户诉求对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户诉求在该知识图谱中对应的节点为用户诉求节点,根据路径构建规则即可确定以用户诉求节点为起点,那么其依次连接的节点为物品节点和物品成分节点。获取到该三个节点的连接顺序之后,即可根据该依次排列的三个节点以及任意两个相邻节点之间的连接关系生成用户诉求对应的认知路径,此时,该用户诉求的认知路径如图2所示,包括用户诉求节点201、物品节点202、物品成分节点203,以及用户诉求节点201与物品节点202之间的子路径1和物品节点202与物品成分节点203之间的子路径2。
或者,以获取到的目标对象信息指示目标对象为用户痛点为例,该用户痛点对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户痛点在该知识图谱中对应的节点为用户痛点节点,根据路径构建规则即可确定以用户痛点节点为起点,那么其依次连接的节点为用户诉求节点、物品节点和物品成分节点。获取到该四个节点的连接顺序之后,即可根据该依次排列的四个节点以及任意两个相邻节点之间的连接关系生成用户诉求对应的认知路径,此时,该用户痛点的认知路径如图3所示,包括用户痛点节点301、用户诉求节点302、物品节点303、物品成分节点304,以及用户痛点节点301与用户诉求节点302之间的子路径1,用户诉求节点302与物品节点303之间的子路径2和物品节点303与物品成分节点304之间的子路径3。
在本公开一种实现方式中,所述路径构建规则为基于节点关联度的路径构建规则。该路径构建规则可以描述不同节点之间的关联程度,或者根据关联程度排列节点顺序的规则。例如,该路径构建规则可以为将与当前节点关联的多个节点中与其关联度最高的节点作为当前节点的下位节点,或者可以为按照与当前节点的关联度确定与该当前节点相关的其他多个节点的顺序等。
在本公开一种实现方式中,在步骤102中,利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,可以包括一下步骤:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,将所述知识图谱中与所述起点节点之间的关联度最高的节点作为所述起点节点的下级节点,将所述知识图谱中与所述起点节点的下级节点之间的关联度最高的节点作为所述下级节点的下级节点,直至末级节点,连接各级节点,得到所述目标对象在所述知识图谱中的认知路径。
在该实施方式中,以获取到的目标对象信息指示目标对象为用户诉求为例,该用户诉求对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户诉求在该知识图谱中对应的节点为用户诉求节点,并且与该用户诉求节点关联的用户痛点节点、物品节点以及物品成分节点中与该用户诉求节点关联度最高的节点为物品节点,那么将该物品节点确定为该用户诉求节点的下位节点,与该物品节点关联的用户诉求节点和物品成分节点中与该物品节点关联度最高的节点为物品成分节点,那么将该物品成分节点确定为该物品节点的下位节点。综上可知,该用户诉求的认知路径可以参考如图2所示,包括依次排列的用户诉求节点201、物品节点202、物品成分节点203,以及用户诉求节点201与物品节点202之间的子路径1和物品节点202与物品成分节点203之间的子路径2。
或者,以获取到的目标对象信息指示目标对象为用户痛点为例,该用户痛点对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户痛点在该知识图谱中对应的节点为用户痛点节点,并且与该用户痛点节点关联的用户诉求节点、物品节点以及物品成分节点中与该用户痛点节点关联度最高的节点为用户诉求节点,那么可以将该用户诉求节点确定为该用户痛点节点的下位节点。与该用户诉求节点关联的物品节点和物品成分节点中,与该用户诉求节点关联度最该的节点为物品节点,那么可以将该物品节点确定为该用户诉求节点的下位节点,与该物品节点关联的节点仅有物品成分节点,那么该物品成分节点即为该物品节点的下位节点。综上可知,该用户诉求的认知路径可以参考如图3所示,包括用户痛点节点301、用户诉求节点302、物品节点303、物品成分节点304,以及用户痛点节点301与用户诉求节点302之间的子路径1,用户诉求节点302与物品节点303之间的子路径2和物品节点303与物品成分节点304之间的子路径3。
在本公开一种实现方式中,还包括:从用户交互界面获取用户设置的所述目标对象信息。
示例的,可以设置用户交互界面,该用户交互界面设置有目标对象信息的输入框。用户可以在该输入框中输入感兴趣的或者关注的目标对象的信息,即若用户输入的信息为肤色晦暗,那么用户感兴趣的或者关注的目标对象为用户痛点;若用户输入的信息为抗皱,那么用户感兴趣的或者关注的目标对象为用户诉求。
在本公开一种实现方式中,该视频生成方法还包括:根据目标对象信息提供预设的路径构建规则,根据用户输入调整路径构建规则;和/或从用户交互界面获取用户设置的路径构建规则。
示例的,当用户在该用户交互界面上输入感兴趣的或者关注的目标对象的信息之后,即可根据该用户输入的目标对象信息显示预设的路径构建规则,用户可以根据观看习惯对该路径构建规则进行调整。例如,若用户输入用户诉求的具体内容抗皱,根据该目标对象信息显示的预设路径构建规则为根据关联度由高向低排列相关节点的顺序,但是用户想要循序渐进的查阅内容,避免出现认知断层,因此可以将该路径构建规则调整为根据关联度由低向高排列相关节点的顺序。
或者,当用户在该用户交互界面上输入感兴趣的或者关注的目标对象的信息时,还可以输入满足其观看习惯的路径构建规则。例如,在用户输入用户诉求的具体内容抗皱时,还可以设置路径构建规则为根据关联度由低向高排列相关节点的顺序。
可选的,执行该视频生成方法的设备可以为远端设备,此时该远端设备可以与用户终端连接,该用户交互界面显示在该用户终端上,即用户在该用户终端显示的用户交互界面上输入的信息可以通过远端设备与用户终端之间的有线或无线连接传输至远端设备,以便于该远端设备进行下一步的操作。
在本公开一种实现方式中,在步骤103中,所述获取所述认知路径中每个节点对应的视频素材数据,可以包括以下步骤:获取所述认知路径中每个节点对应的认知内容的图片、动图或视频。
示例的,在获取到目标对象的认知路径之后,可以分别从互联网或者预设的数据库中获取该认知路径中的每个节点对应的视频素材数据,该预设数据库可以为对应物品的详情页,或者对应物品的简介信息等。
或者,在获取到目标对象的认知路径之后,还可以查找与知识图谱相关联的视频素材数据库,得到认知路径中每个节点对应的视频素材数据。该视频素材数据库可以包括多个目标对象对应的知识图谱包括的多个节点的相关图片、动图或者短视频等信息。
节点的认知内容指的是有助于对于该节点对应的目标对象及相应的目标对象信息进行认知的具体内容,可包括所述目标对象所有的相关信息,且某一节点的认知内容存在有相应的图片、动图、视频和/或文案与其相对应。以获取到如图3所示的认知路径为例进行说明,在获取到目标对象的认知路径之后,可以使用图文匹配技术,从目标对象的详情页中自动为认知路径包括的每个节点挖掘图片,作为视频文件的图片素材。如果一个节点挖掘到多个视频素材数据,例如获取到多张图片,那么可保存该节点与该多个视频素材数据的匹配关系,以便于在生成视频文件时进行筛选。
在本公开一种实现方式中,在步骤103中,所述获取所述认知路径中每个节点对应的视频素材数据,还可以包括以下步骤:获取所述认知路径中每个节点对应的认知内容,以及相邻节点之间的关联关系描述;基于每个节点对应的认知内容及其与相邻节点之间的关联关系描述,生成每个节点对应的文案。
示例的,在获取认知路径的同时,还可以获取相邻两个节点之间的关联关系描述。同样以图3所示的认知路径为例进行说明,假设该图3中用户痛点节点301对应的具体内容为“肤色晦暗”、用户诉求节点302对应的具体内容为“美白”、物品节点303对应的具体内容为“**面膜”、物品成分节点304对应的具体内容为“甘草酸二钾”。那么用户痛点节点301与用户诉求节点302之间的关联关系描述为“存在问题”,用户诉求节点302与物品节点303之间的关联关系描述为“需要”,物品节点303与物品成分节点304之间的关联关系描述为“成分”。
根据获取到的每个节点的认知内容的具体信息,以及相邻接点之间的关联关系描述即可生成每个节点对应的文案。具体的,可以使用data2text技术,自动为商品认知路径的子路径生成文案,作为视频文件的文案素材。
在本公开一种实现方式中,所述根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件,包括:
将每个节点对应的认知内容的图片、动图、视频和/或文案,根据所述认知路径中相邻节点之间的子路径进行视频合成,生成所述目标对象的视频文件。
示例的,分别获取到目标对象的认知路径包括的每个节点对应的图片、动图、视频和/或文案之后,可以将认知路径中每个节点的视频素材数据进行合成,并根据相邻节点之间的关联关系描述串联每个节点合成的视频素材数据,生成所述目标对象的视频文件。具体的,以认知路径作为引导,使用路径中的每个节点的视频素材数据(图片、动图以及短视频等)和基于子路径生成的文案(相邻节点之间的关联关系),合成目标对象的视频文件。当视频的某一帧需要使用某节点的视频素材数据时,但该节点有多种视频素材数据时,可以随机选择一种视频素材数据用于当前视频帧。
可选的,远端设备生成的视频文件可以通过与用户终端之间的有线或无线连接传输至用户终端的用户交互界面,以便于用户查阅。
上述视频生成方法可用于多种应用场景中,比如,销售场景、教育场景、医疗场景、表演场景、展示场景、旅游场景、社交场景等等。
以该方法应用于教育场景,且路径构建规则为将与当前节点关联的多个节点中与其关联度最高的节点作为当前节点的下位节点为例,该教育场景的知识图谱包括短板科目节点、教辅材料节点、辅助培训节点和提高措施节点。假设用户输入的目标对象信息为“数学59分、语文112分、英语92分”,根据该目标对象信息确定的目标对象为“数学”,即该目标对象在知识图谱上对应的节点为短板科目。由于知识图谱中与该短板科目节点关联的教辅材料节点、辅助培训节点和提高措施节点中与该短板科目节点关联度最高的节点为教辅材料节点,那么可以将该教辅材料节点确定为短板科目节点的下位节点。与该教辅材料节点关联的辅助培训节点和提高措施节点中与该教辅材料节点关联度最高的节点为辅助培训节点,那么可以将该辅助培训节点确定为教辅材料节点的下位节点,并将提高措施节点作为辅助培训节点的下位节点。综上可知,该目标对象“数学”的认知路径可以参考如图4所示,包括依次排列的短板科目节点401、教辅材料节点402、辅助培训节点403和提高措施节点404,以及短板科目节点401与教辅材料节点402之间的子路径1、教辅材料节点402与辅助培训节点403之间的子路径2,以及辅助培训节点403与提高措施节点404之间的子路径3。
获取到该目标对象“数学”的认知路径之后,可以分别从互联网或者与知识图谱相关联的视频素材数据库中获取该认知路径中的每个节点对应的视频素材数据,然后获取每个节点对应的文案。
同样以图4所示的认知路径为例进行说明,假设该图4中短板科目节点401对应的具体内容为“数学”、教辅材料节点402对应的具体内容为“**参考书”、辅助培训节点403对应的具体内容为“**公开课”、提高措施节点404对应的具体内容为“练习三角函数习题”。那么短板科目节点401与教辅材料节点402之间的关联关系描述为“购买书籍指导”,教辅材料节点402与辅助培训节点403之间的关联关系描述为“在线精确指导”,辅助培训节点403与提高措施节点404之间的关联关系描述为“明确练习方向”。根据获取到的每个节点的认知内容的具体信息,以及相邻接点之间的关联关系描述即可生成每个节点对应的文案。
将每个节点对应的认知内容的图片、动图和/或视频,根据认知路径中相邻节点之间的关联关系描述,即子路径的内容进行视频合成,生成所述目标对象的视频文件,即该视频文件通过相邻两个节点之间的关联关系描述串联每个节点的图片、动图和\或视频。。
在另一种应用场景实施例中,以该方法应用于医疗场景,且路径构建规则为将与当前节点关联的多个节点中与其关联度最高的节点作为当前节点的下位节点为例,该医疗场景的知识图谱包括病理表征节点、病因推测节点、检查建议节点和日常预防节点。假设用户输入的目标对象信息为“睡眠时间较短”,根据该目标对象信息确定的目标对象为“失眠”,即该目标对象在知识图谱上对应的节点为病理表征节点。由于知识图谱中与该病理表征节点关联的病因推测节点、检查建议节点和日常预防节点中与该病理表征节点关联度最高的节点为病因推测节点,那么可以将该病因推测节点确定为病理表征节点的下位节点。与该病理表征节点关联的检查建议节点和日常预防节点中与该病理表征节点关联度最高的节点为检查建议节点,那么可以将该检查建议节点确定为病理表征节点的下位节点,并将日常预防节点作为检查建议节点的下位节点。综上可知,该目标对象“失眠”的认知路径可以参考如图5所示,包括依次排列的病理表征节点501、病因推测节点502、检查建议节点503和日常预防节点504,以及病理表征节点501与病因推测节点502之间的子路径1、病因推测节点502与检查建议节点503之间的子路径2,以及检查建议节点503与日常预防节点504之间的子路径3。
获取到该目标对象“失眠”的认知路径之后,可以分别从互联网或者与知识图谱相关联的视频素材数据库中获取该认知路径中的每个节点对应的视频素材数据,然后获取每个节点对应的文案。
同样以图5所示的认知路径为例进行说明,假设该图5中病理表征节点501对应的具体内容为“失眠”、病因推测节点502对应的具体内容为“心悸”、检查建议节点503对应的具体内容为“心电图”、日常预防节点504对应的具体内容为“静卧休息”。那么病理表征节点501与病因推测节点502之间的关联关系描述为“病因分析”,病因推测节点502与检查建议节点503之间的关联关系描述为“明确检查方向”,检查建议节点503与日常预防节点504之间的关联关系描述为“日常养生建议”。根据获取到的每个节点的认知内容的具体信息,以及相邻接点之间的关联关系描述即可生成每个节点对应的文案。
将每个节点对应的认知内容的图片、动图和/或视频,根据认知路径中相邻节点之间的关联关系描述,即子路径的内容进行视频合成,生成所述目标对象的视频文件,即该视频文件通过相邻两个节点之间的关联关系描述串联每个节点的图片、动图和\或视频。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的视频生成装置60的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示,所述视频生成装置60包括:
信息获取模块601,被配置为获取目标对象信息和路径构建规则。
路径构建模块602,被配置为利用路径构建规则和知识图谱,构建目标对象在所述知识图谱中的认知路径,其中,所述认知路径包括与所述目标对象相关的多个节点,以及相邻节点之间的子路径,不同的节点对应与所述目标对象相关的不同认知内容。
数据获取模块603,被配置为获取所述认知路径中每个节点对应的视频素材数据。
文件生成模块604,被配置为根据所述每个节点对应的视频素材数据和所述认知路径中相邻节点之间的子路径,生成与所述目标对象相关的视频文件。
上文提及,通常用户在购买日常用品时,要么需要提前查取资料了解需要购买物品的功能或用途,要么在线下商店里根据导购的介绍了解需要购买物品的功能或用途。无论采用哪种方式均会导致用户认知过程的用时较长,可能出现由于时间有限而导致用户放弃购买的情况。为了解决上述问题,部分网络购物平台、线下商店或者大型超市可能会提前为每个物品设置推广视频,当用户需要购买该物品时,可以通过预设的界面或者视频播放设备播放该推广视频,以便于用户及时了解物品的性能、成分、使用场景、使用方法等认知内容,进而决定是否需要进行购买。但是,上述推广视频需要人工提前编辑并预先存储,因此生成视频的人力成本较高,效率较低,难以适用于当前高速发展的网络环境。
考虑到上述缺陷,在该实施方式中,提出一种视频生成装置,可以在获取到目标对象信息和路径构建规则之后,根据目标对象对应的知识图谱生成视频所需的视频素材数据的内容和逻辑顺序,然后生成与目标对象相关的视频文件。该技术方案能够在不需要人力参与的情况下,自动生成用户感兴趣的目标对象的相关视频,便于用户对该目标对象从全方位进行了解,提高了用户的认知事物的效率,降低了信息推广过程中的人力成本,适用于当前高速发展的网络环境。
在本公开一实施方式中,所述视频生成装置可实现为可以进行视频制作的计算机、计算设备、电子设备、服务器、服务集群等行为控制方。
在本公开一实施方式中,目标对象可以为物品,用户痛点,用户诉求,或者物品成分等。目标对象信息即为描述该目标对象的信息,或者该目标对象的具体内容。以护肤品为例,该目标对象信息可以物品的名称,例如**面膜、**面霜或**洗面奶;或者,该目标对象信息可以为用户痛点的具体描述,如肤色暗淡、皮肤干纹、眼角细纹等;或者该目标对象信息可以为用户诉求的具体描述,如美白、补水或者抗皱等;或者该目标对象信息可以为物品成分的名称,如甘草酸二钾、玻尿酸或者多肽等。
在本公开一实施方式中,所述路径构建规则可以与目标对象信息相关,也可以直接由用户指定。例如,用户可以在反馈界面上输入符合自身观看习惯的路径构建规则;或者服务器可以根据用户对该目标对象信息指示的目标对象的关注度确定该路径构建规则,或者根据待获取内容与该目标对象信息指示的目标对象的相关性确定该路径构建规则。
在本公开一实施方式中,所述知识图谱是一种由节点和边组成的数据结构。其中,每个节点表示现实世界中存在的实体,每条边为实体与实体之间的关系。通俗地讲,知识图谱是对现实世界中事物及其关系的建模,是把不同种类信息连接在一起的关系网络。例如,该现实世界中存在的实体可以为目标对象,每条边即为不同目标对象之间的关系。
在本公开一实施方式中,所述视频素材数据指的是可生成视频文件、可作为视频文件的素材的数据。所述视频素材数据比如可以为图片、文案、动图、甚至还可以是一段短小的视频。
在上述实施方式中,首先信息获取模块601获取用户输入的或者根据用户的习惯信息获取的目标对象信息和路径构建规则,路径构建模块602根据该目标对象信息和该路径构建规则确定知识图谱中该目标对象信息指示的目标对象对应的节点,与该目标对象对应的节点相关联的其他多个节点,以及相邻节点之间的子路径,然后数据获取模块603获取认知路径中每个节点对应的视频素材数据,进而文件生成模块604根据每个节点对应的视频素材数据和认知路径中相邻节点之间的子路径,生成与目标对象相关的视频文件。
在本公开一种实现方式中,所述路径构建规则包括一个或多个预设节点连接关系。即该路径构建规则指示不同节点之间的连接关系,例如对于用户痛点节点的下位节点为用户诉求节点,用户诉求节点的下位节点为物品节点,物品节点的下位节点为物品成分节点。
在本公开一种实现方式中,所述路径构建模块602还被配置为:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,根据所述路径构建规则中的预设节点连接关系确定在所述知识图谱中与所述起点节点顺次连接的一个或多个节点,以及所述一个或多个节点中相邻节点之间的子路径,得到所述目标对象的认知路径。
在该实施方式中,以获取到的目标对象信息指示目标对象为用户诉求为例,该用户诉求对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户诉求在该知识图谱中对应的节点为用户诉求节点,根据路径构建规则即可确定以用户诉求节点为起点,那么其依次连接的节点为物品节点和物品成分节点。获取到该三个节点的连接顺序之后,路径构建模块602即可根据该依次排列的三个节点以及任意两个相邻节点之间的连接关系生成用户诉求对应的认知路径,此时,该用户诉求的认知路径参考图2所示,包括用户诉求节点201、物品节点202、物品成分节点203,以及用户诉求节点201与物品节点202之间的子路径1和物品节点202与物品成分节点203之间的子路径2。
或者,以获取到的目标对象信息指示目标对象为用户痛点为例,该用户痛点对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户痛点在该知识图谱中对应的节点为用户痛点节点,根据路径构建规则即可确定以用户痛点节点为起点,那么其依次连接的节点为用户诉求节点、物品节点和物品成分节点。获取到该四个节点的连接顺序之后,路径构建模块602即可根据该依次排列的四个节点以及任意两个相邻节点之间的连接关系生成用户诉求对应的认知路径,此时,该用户痛点的认知路径参考图3所示,包括用户痛点节点301、用户诉求节点302、物品节点303、物品成分节点304,以及用户痛点节点301与用户诉求节点302之间的子路径1,用户诉求节点302与物品节点303之间的子路径2和物品节点303与物品成分节点304之间的子路径3。
在本公开一种实现方式中,所述路径构建规则为基于节点关联度的路径构建规则。该路径构建规则可以描述不同节点之间的关联程度,或者根据关联程度排列节点顺序的规则。例如,该路径构建规则可以为将与当前节点关联的多个节点中与其关联度最高的节点作为当前节点的下位节点,或者可以为按照与当前节点的关联度确定与该当前节点相关的其他多个节点的顺序等。
在本公开一种实现方式中,所述路径构建模块602还被配置为:确定所述目标对象在所述知识图谱中对应的节点;以所述目标对象对应的节点为起点节点,将所述知识图谱中与所述起点节点之间的关联度最高的节点作为所述起点节点的下级节点,将所述知识图谱中与所述起点节点的下级节点之间的关联度最高的节点作为所述下级节点的下级节点,直至末级节点,连接各级节点,得到所述目标对象在所述知识图谱中的认知路径。
在该实施方式中,以获取到的目标对象信息指示目标对象为用户诉求为例,该用户诉求对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户诉求在该知识图谱中对应的节点为用户诉求节点,并且与该用户诉求节点关联的用户痛点节点、物品节点以及物品成分节点中与该用户诉求节点关联度最高的节点为物品节点,那么将该物品节点确定为该用户诉求节点的下位节点,与该物品节点关联的用户诉求节点和物品成分节点中与该物品节点关联度最高的节点为物品成分节点,那么将该物品成分节点确定为该物品节点的下位节点。综上可知,路径构建模块602获取到的该用户诉求的认知路径可以参考如图2所示,包括依次排列的用户诉求节点201、物品节点202、物品成分节点203,以及用户诉求节点201与物品节点202之间的子路径1和物品节点202与物品成分节点203之间的子路径2。
或者,以获取到的目标对象信息指示目标对象为用户痛点为例,该用户痛点对应的知识图谱包括用户痛点节点、用户诉求节点、物品节点以及物品成分节点。由此可知该用户痛点在该知识图谱中对应的节点为用户痛点节点,并且与该用户痛点节点关联的用户诉求节点、物品节点以及物品成分节点中与该用户痛点节点关联度最高的节点为用户诉求节点,那么可以将该用户诉求节点确定为该用户痛点节点的下位节点。与该用户诉求节点关联的物品节点和物品成分节点中,与该用户诉求节点关联度最该的节点为物品节点,那么可以将该物品节点确定为该用户诉求节点的下位节点,与该物品节点关联的节点仅有物品成分节点,那么该物品成分节点即为该物品节点的下位节点。综上可知,路径构建模块602获取到的该用户诉求的认知路径可以参考如图3所示,包括用户痛点节点301、用户诉求节点302、物品节点303、物品成分节点304,以及用户痛点节点301与用户诉求节点302之间的子路径1,用户诉求节点302与物品节点303之间的子路径2和物品节点303与物品成分节点304之间的子路径3。
在本公开一种实现方式中,所述装置还包括:信息设置模块,被配置为从用户交互界面获取用户设置的所述目标对象信息。
示例的,信息设置模块可以设置用户交互界面,该用户交互界面设置有目标对象信息的输入框。用户可以在该输入框中输入感兴趣的或者关注的目标对象的信息,即若用户输入的信息为肤色晦暗,那么用户感兴趣的或者关注的目标对象为用户痛点;若用户输入的信息为抗皱,那么用户感兴趣的或者关注的目标对象为用户诉求。
在本公开一种实现方式中,所述装置还包括:规则获取模块,被配置为根据目标对象信息提供预设的路径构建规则,根据用户输入调整路径构建规则;和/或从用户交互界面获取用户设置的路径构建规则。
示例的,当用户在该用户交互界面上输入感兴趣的或者关注的目标对象的信息之后,规则获取模块即可根据该用户输入的目标对象信息显示预设的路径构建规则,用户可以根据观看习惯对该路径构建规则进行调整。例如,若用户输入用户诉求的具体内容抗皱,根据该目标对象信息显示的预设路径构建规则为根据关联度由高向低排列相关节点的顺序,但是用户想要循序渐进的查阅内容,避免出现认知断层,因此可以将该路径构建规则调整为根据关联度由低向高排列相关节点的顺序。
或者,当用户在该用户交互界面上输入感兴趣的或者关注的目标对象的信息时,还可以输入满足其观看习惯的路径构建规则。例如,在用户输入用户诉求的具体内容抗皱时,还可以设置路径构建规则为根据关联度由低向高排列相关节点的顺序。
在本公开一种实现方式中,所述数据获取模块603还被配置为:获取所述认知路径中每个节点对应的认知内容的图片、动图或视频。
示例的,在获取到目标对象的认知路径之后,数据获取模块603可以分别从互联网或者预设的数据库中获取该认知路径中的每个节点对应的视频素材数据,该预设数据库可以为对应物品的详情页,或者对应物品的简介信息等。
节点的认知内容指的是有助于对于该节点对应的目标对象及相应的目标对象信息进行认知的具体内容,可包括所述目标对象所有的相关信息,且某一节点的认知内容存在有相应的图片、动图、视频和/或文案与其相对应。以获取到如图3所示的认知路径为例进行说明,在获取到目标对象的认知路径之后,数据获取模块603可以使用图文匹配技术,从目标对象的详情页中自动为认知路径包括的每个节点挖掘图片,作为视频文件的图片素材。如果一个节点挖掘到多个视频素材数据,例如获取到多张图片,那么可保存该节点与该多个视频素材数据的匹配关系,以便于在生成视频文件时进行筛选。
在本公开一种实现方式中,所述数据获取模块603还被配置为:获取所述认知路径中每个节点对应的认知内容,以及相邻节点之间的关联关系描述;基于每个节点对应的认知内容及其与相邻节点之间的关联关系描述,生成每个节点对应的文案。
示例的,在获取认知路径的同时,数据获取模块603还可以获取相邻两个节点之间的关联关系描述。同样以图3所示的认知路径为例进行说明,假设该图3中用户痛点节点301对应的具体内容为“肤色晦暗”、用户诉求节点302对应的具体内容为“美白”、物品节点303对应的具体内容为“**面膜”、物品成分节点304对应的具体内容为“甘草酸二钾”。那么用户痛点节点301与用户诉求节点302之间的关联关系描述为“存在问题”,用户诉求节点302与物品节点303之间的关联关系描述为“需要”,物品节点303与物品成分节点304之间的关联关系描述为“成分”。
数据获取模块603根据获取到的每个节点的认知内容的具体信息,以及相邻接点之间的关联关系描述即可生成每个节点对应的文案。具体的,可以使用data2text技术,自动为商品认知路径的子路径生成文案,作为视频文件的文案素材。
在本公开一种实现方式中,所述数据获取模块603还被配置为:查找与所述知识图谱相关联的视频素材数据库,得到所述认知路径中每个节点对应的视频素材数据。
在获取到目标对象的认知路径之后,数据获取模块603还可以查找与知识图谱相关联的视频素材数据库,得到认知路径中每个节点对应的视频素材数据。该视频素材数据库可以包括多个目标对象对应的知识图谱包括的多个节点的相关图片、动图或者短视频等信息。
在本公开一种实现方式中,所述文件生成模块604还被配置为:将每个节点对应的认知内容的图片、动图、视频和/或文案,根据所述认知路径中相邻节点之间的子路径进行视频合成,生成所述目标对象的视频文件。
文件生成模块604可以将每个节点对应的认知内容的图片、动图、视频和/或文案,根据所述认知路径中相邻节点之间的子路径进行视频合成,生成所述目标对象的视频文件。
示例的,分别获取到目标对象的认知路径包括的每个节点对应的图片、动图、视频和/或文案之后,文件生成模块604可以将认知路径中每个节点的视频素材数据进行合成,并根据相邻节点之间的关联关系描述串联每个节点合成的视频素材数据,生成所述目标对象的视频文件。具体的,以认知路径作为引导,使用路径中的每个节点的视频素材数据(图片、动图以及短视频等)和基于子路径生成的文案(相邻节点之间的关联关系),合成目标对象的视频文件。当视频的某一帧需要使用某节点的视频素材数据时,但该节点有多种视频素材数据时,可以随机选择一种视频素材数据用于当前视频帧。
在本公开一种实现方式中,所述装置还包括:信息显示模块,被配置为从远端设备的用户交互界面获取目标对象信息;和输出视频文件至远端设备以显示在用户交互界面。
可选的,执行该视频生成方法的设备可以为远端设备,此时该远端设备可以与用户终端连接,该用户交互界面显示在该用户终端上,即用户在该用户终端显示的用户交互界面上输入的信息可以通过远端设备与用户终端之间的有线或无线连接传输至远端设备,以便于该远端设备进行下一步的操作。
可选的,远端设备生成的视频文件可以通过与用户终端之间的有线或无线连接传输至用户终端的用户交互界面,以便于用户查阅。
本公开还公开了一种电子设备,图7示出根据本公开一实施方式的电子设备的结构框图,如图7所示,所述电子设备700包括存储器701和处理器702;其中所述存储器701用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器702执行以实现上述方法步骤。
图8是适于用来实现根据本公开一实施方式的视频生成方法的计算机系统的结构示意图。如图8所示,计算机系统800包括处理单元801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施方式中的各种处理。在RAM803中,还存储有系统800操作所需的各种程序和数据。处理单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中,所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。