CN116226411B - 一种基于动画的互动项目的交互信息处理方法和装置 - Google Patents
一种基于动画的互动项目的交互信息处理方法和装置 Download PDFInfo
- Publication number
- CN116226411B CN116226411B CN202310499982.2A CN202310499982A CN116226411B CN 116226411 B CN116226411 B CN 116226411B CN 202310499982 A CN202310499982 A CN 202310499982A CN 116226411 B CN116226411 B CN 116226411B
- Authority
- CN
- China
- Prior art keywords
- node
- user
- scenario
- picture
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种基于动画的互动项目的交互信息处理方法和装置。采用本申请实施例能够提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性,且提高了用户在阅读互动故事时的沉浸感和用户的语言表达能力、逻辑思维能力、想象力;针对基于动画生成的互动故事,通过终端设备和服务器的交互,替代原有的动画截图的呈现形式,对符合故事情节和机器侧输出节点的图片进行筛选,选出合适的图片进行展示,提高了终端设备和服务器针对此类特殊场景的全面性和多样性。
Description
技术领域
本申请属于互联网产业的一般数据处理技术领域,涉及一般图像数据处理和产生,尤其涉及一种基于动画的互动项目的交互信息处理方法和装置。
背景技术
在当前学龄前的儿童教育启蒙阶段,非常多的家长会通过绘本故事等图文并茂的书籍来对儿童进行娱乐或科普,具体是因为绘本中既有简单的故事又有丰富的图案,能够使儿童对植物有更清楚的认知。
但是通过绘本来对儿童进行教育启蒙时,家长需要在旁边解读、说明和引导,这对家长的要求较高,若是没有家长的配合,书籍对于儿童的吸引力不足,很难有较长时间的学习,这导致了若无家长配合,学习效果不佳的情况出现。
针对这种情况,市面上出现了线上绘本,用户通过下载完整的绘本故事给儿童进行播放,但这仅是单方面的向儿童输出,虽然能在一定程度上代替家长带领儿童进行绘本阅读,但是交互形式单一;进一步的,针对基于动画的互动项目,例如互动小说,虽然有动画的截图作为除语音和文字之外的第三种与用户交互的形式,但只是在原有的互动小说的基础上进行简单的画面呈现,交互方式仍然较为局限,且对用户的素质培养效果有限。
发明内容
本申请实施例提供一种基于动画的互动项目的交互信息处理方法和装置,能够提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性,且增加了用户在阅读互动故事时的沉浸感和提高了用户的语言表达能力、逻辑思维能力、想象力;针对基于动画生成的互动故事,通过终端设备和服务器的交互,替代原有的动画截图的呈现形式,对符合故事情节和机器侧输出节点的图片进行筛选,选出合适的图片进行展示,提高了终端设备和服务器针对此类特殊场景的全面性和多样性。
第一方面,本申请实施例提供了一种基于动画的互动项目的交互信息处理方法,所述方法应用于终端设备,所述终端设备与服务器通信连接,所述方法包括:
接收用户输入的针对所述互动项目的选择操作;
向所述服务器发送第一请求信息,以请求所述服务器对所述互动项目进行解析,得到所述互动项目的多个剧情节点;
接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容。
本申请实施例通过与服务器对用户选择的基于动画的互动项目进行解析,进而确定所述互动项目的剧情节点,所述剧情节点即为互动节点,为所述互动项目中与用户进行人机交互的环节;进一步的,在上述的剧情节点中,包括有用户操作节点和机器侧输出节点,一个用户操作节点对应一个机器侧输出节点,而一个机器侧输出节点包括有N个内容,用户在用户操作节点输入了语音或文字信息后,所述服务器确定与所述语音或文字信息对应的N个内容中某一个内容,并将其发送至终端设备,进而展示给用户,实现人机交互流程,在进行上述过程之前,所述终端设备向用户展示所述第一关联图片,在进入剧情节点,且在确定了与用户操作对应的某一个机器侧输出的内容后,并行确定了向用户展示的第二关联图片,增强了终端设备在互动环节的多样性,在原有的简单展示截图的基础上,对图片进行了深入整理,选择更符合故事情节和用户意向的图片进行展示。
在第一方面的又一种可能的实施方式中,所述确定第一剧情节点对应的第一关联图片和N张第二关联图片,包括:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容。
本申请实施例提高了终端设备在交互环节的灵活性。
在第一方面的又一种可能的实施方式中,所述与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,包括:
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片。
在第一方面的又一种可能的实施方式中,在所述获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片之后,所述方法还包括:
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
在第一方面的又一种可能的实施方式中,在执行所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片的步骤之前,所述方法还包括:
获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;
根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图。
在第一方面的又一种可能的实施方式中,在执行所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片的步骤之后,所述方法还包括:
接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片。
在第一方面的又一种可能的实施方式中,所述方法应用于服务器,所述服务器与终端设备通信连接,所述方法包括:
接收所述终端设备发送的第一请求信息;
根据所述第一请求信息,对用户选择的互动项目进行解析,以确定所述互动项目中的多个剧情节点;
根据所述剧情节点向所述终端设备发送第一答复信息;
在接收所述终端设备发送的用户针对所述第一剧情节点中的用户操作节点的用户操作之后,根据所述用户操作,确定所述第一剧情节点中的N个内容中与所述用户操作对应的内容;
向所述终端设备发送所述第一剧情节点中的N个内容中与所述用户操作对应的内容。
第二方面,本申请实施例提供一种基于动画的互动项目的交互信息处理装置,所述装置至少包括第一接收单元、发送单元、第二接收单元、第一确定单元、第一输出单元和第二输出单元。该基于动画的互动项目的交互信息处理装置用于实现第一方面任一项实施方式所描述方法,其中第一接收单元、发送单元、第二接收单元、第一确定单元、第一输出单元和第二输出单元的介绍如下:
第一接收单元,用于接收用户输入的针对所述互动项目的选择操作;
发送单元,用于向服务器发送第一请求信息,以请求服务器对互动项目进行解析,得到所述互动项目的多个剧情节点;
第二接收单元,用于接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
第一确定单元,用于确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
第一输出单元,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
第二输出单元,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容。
本申请实施例通过与服务器对用户选择的基于动画的互动项目进行解析,进而确定所述互动项目的剧情节点,所述剧情节点即为互动节点,为所述互动项目中与用户进行人机交互的环节;进一步的,在上述的剧情节点中,包括有用户操作节点和机器侧输出节点,一个用户操作节点对应一个机器侧输出节点,而一个机器侧输出节点包括有N个内容,用户在用户操作节点输入了语音或文字信息后,所述服务器确定与所述语音或文字信息对应的N个内容中某一个内容,并将其发送至终端设备,进而展示给用户,实现人机交互流程,在进行上述过程之前,所述终端设备向用户展示所述第一关联图片,在进入剧情节点,且在确定了与用户操作对应的某一个机器侧输出的内容后,并行确定了向用户展示的第二关联图片,增强了终端设备在互动环节的多样性,在原有的简单展示截图的基础上,对图片进行了深入整理,选择更符合故事情节和用户意向的图片进行展示。
在第二方面的又一种可能的实施方式中,所述第一确定单元用于:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容。
本申请实施例提高了终端设备在交互环节的灵活性。
在第二方面的又一种可能的实施方式中,在与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容方面,所述第一确定单元具体用于:
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片。
在第二方面的又一种可能的实施方式中,所述第一确定单元还用于:
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
在第二方面的又一种可能的实施方式中,所述装置还包括:
获取单元,用于获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;
第二确定单元,用于根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;
显示单元,用于在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图。
在第二方面的又一种可能的实施方式中,所述装置还包括:
第三接收单元,用于接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
第三确定单元,用于根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;
展示单元,用于在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片。
第三方面,本申请实施例提供一种终端设备,该终端设备包括处理器、存储器和通信接口;存储器中存储有计算机程序;处理器执行计算机程序时,所述通信接口用于发送和/或接收数据,该终端设备可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。
需要说明的是,上述第三方面所描述的终端设备所包含的处理器,可以是专门用于执行这些方法的处理器(便于区别称为专用处理器),也可以是通过调用计算机程序来执行这些方法的处理器,例如通用处理器。可选的,至少一个处理器还可以既包括专用处理器也包括通用处理器。
可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(Read Only Memory,ROM),其可以与处理器集成在同一块器件上,也可以分别设置在不同的器件上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中,上述至少一个存储器位于上述终端设备之外。
在又一种可能的实施方式中,上述至少一个存储器位于上述终端设备之内。
在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于上述终端设备之内,另一部分存储器位于上述终端设备之外。
本申请中,处理器和存储器还可能集成于一个器件中,即处理器和存储器还可以被集成在一起。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储计算机程序,当所述指令在至少一个处理器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。
第五方面,本申请提供了一种计算机程序产品,计算机程序产品包括计算机程序,当所述程序在至少一个处理器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。
可选的,该计算机程序产品可以为一个软件安装包,在需要使用前述方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
本申请第三至第五方面所提供的技术方案,其有益效果可以参考第一方面和第二方面的技术方案的有益效果,此处不再赘述。
附图说明
下面将对实施例描述中所需要使用的附图作简单的介绍。
图1是本申请实施例提供的一种基于动画的互动项目的交互信息处理系统的架构示意图;
图2是本申请实施例提供的一种基于动画的互动项目的交互信息处理方法的流程示意图;
图3是本申请实施例提供的一种剧情节点的示意图;
图4是本申请实施例提供的又一种剧情节点的示意图;
图5是本申请实施例提供的一种第一关联图片的示意图;
图6是本申请实施例提供的一种第二关联图片的示意图;
图7是本申请实施例提供的一种基于动画的互动项目的交互信息处理装置的结构示意图;
图8是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细介绍。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例应用的系统架构进行介绍。需要说明的是,本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案,并不构成对于本申请提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
请参见图1,图1是本申请实施例提供的一种基于动画的互动项目的交互信息处理系统的架构示意图,该系统包括服务器101和终端设备102,服务器101和终端设备102进行通信连接,其中:
服务器101,该服务器101可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
所述服务器101中设有内置的或外接的文字数据库、语音数据库和图片数据库,所述文字数据库中包括大量基础对话等文本信息,可选的,上述的基础对话是基于互动故事情节向用户提问或回答用户问题的;所述语音数据库包括不同口音和声线的与上述文字数据库中的文本对应的语音数据;所述图片数据库中包括有故事插图、绘本故事图案、与互动项目剧情相关的图片、与基于动画改编的互动项目中的角色相关的图片,可选的,所述终端设备102中设置有基本人工智能AI的图片构建模型,例如Magic3D、AIGC,用于生成符合故事剧情或符合需求的图片。
可选的,所述服务器101中预设有用于人机交互的神经网络模型,主要用于在互动项目的剧情节点中的机器侧输出节点的内容选择。
终端设备102,可以是一个物理实体构成,也可以是由两个或多个物理实体构成。例如所述终端设备102可以是手机、电话手表、会议平板、电子平板电脑、工业控制计算机等具有屏幕或显示器的设备,用于实现对互动项目展示和人机交互过程中的内容显示和交互响应。
在本实施例中终端设备102通过与用户的交互,确定用户选择的互动项目,并将所述互动项目发送至服务器101进行解析,进而确定所述互动项目的剧情节点,进一步的,根据所述剧情节点确定第一关联图片和所述剧情节点中机器侧输出节点的内容对应的第二关联图片,并运行所述互动项目的过程中对所述第一关联图片和第二关联图片进行展示。
请参见图2,图2是本申请实施例提供的一种基于动画的互动项目的交互信息处理方法的流程示意图,该基于动画的互动项目的交互信息处理方法可以基于图1所示的系统架构示意图中的终端设备实现,也可以基于其他架构实现,该方法包括但不限于如下步骤:
步骤S201:终端设备接收用户输入的针对所述互动项目的选择操作。
所述互动项目可以是互动故事、互动小说、互动游戏、互动语音交互游戏等具备人机交互功能,且基于动画生产/改编的线上项目,本申请实施例以互动小说作为说明本申请实施例的效果的基础,其他类型的互动项目的互动环节或展示环节在具体实施过程中根据实际情况进行调整,在本申请中不作限制,但可以理解的是,在除互动小说之外的其他互动项目中,应用本申请实施例提供的方法仍然有相同的有益效果。
在本实施例中,所述互动项目包括互动小说。
所述终端设备中预存有多个互动项目,所述互动项目可以是根据儿童动画预先生成或改编的,也可以是根据已有动画、动漫小说或剧本的小说生成的,例如某一小说已改编为动画或动漫,但现在需要改编为互动项目,那么基于该小说改编的动画或动漫则不适用于现有的互动项目。
用户在所述终端设备上通过点击图标或输入语音等方式选择所述互动项目,在选择之后,所述终端设备可接收到用户输入的针对所述互动项目的选择操作。
步骤S202:终端设备向所述服务器发送第一请求信息,以请求所述服务器对所述互动项目进行解析,得到所述互动项目的多个剧情节点。
在确定用户所选择的互动项目之后,向与所述终端设备通信连接的服务器发送第一请求消息,以使所述服务器针对所述用户选择的互动项目进行解析,得到所述互动项目的多个剧情节点,可以理解的是,所述剧情节点为机器侧与用户进行人机交互的环节。
在一种可选的实施方式中,所述服务器可根据预设的用户设置对所述互动项目进行解析,所述用户设置包括用户的年龄,可以理解的是,根据所述用户的年龄对所述互动项目进行解析,以在所述互动项目中与所述用户的年龄匹配的节点设置所述剧情节点,例如,针对学龄前的用户,在可涉及到教育相关的节点(环保、保护动物、不乱扔垃圾),设置一定数量的剧情节点,使所述用户的体验感,培养用户的人生观和价值观,不同于现有技术的互动项目中输出固定内容或在固定环节进行互动的实现。
下面对上述的剧情节点进行举例说明,例如,在基于动画“熊出没”生成的互动项目中所设置的剧情节点如图3所示,图3为本申请实施例提供的一种剧情节点的示意图,具体的,图3为图2的后续部分,在图2中的“光头强拿起手中的斧子,重重的砍向他面前的大树,……,小朋友,你觉得光头强做的对么”为疑问句,象征着剧情节点的起始,与之连接的图3中的用户的回答“不对”是在用户操作节点进行的,代表着正式进入到剧情节点。后续在上述剧情节点的人机交互以图4进行说明,图4为本申请实施例提供的又一种剧情节点的示意图,在图4中旁白一侧所述的“很棒,不能随意砍伐树木,那你猜猜看旁边的熊大和熊二是怎么做的呢”为机器侧针对用户输入的“不对”而进行的答复,则代表着机器侧输出节点输出的内容,是由终端设备转发至服务器,并由所述服务器从多个预设的N个内容中针对用户的输入所选择的。
可以理解的是,在图3所示的剧情节点中,若用户输入“对”,则对应的生成的机器侧输出的内容与针对用户输入“不对”生成的内容是不同的。
步骤S203:服务器接收所述终端设备发送的第一请求消息。
步骤S204:服务器根据所述第一请求信息,对用户选择的互动项目进行解析,以确定所述互动项目中的多个剧情节点。
可选的,服务器在剧情节点中针对用户输入的答复是基于对话式AI技术实现的,一般来说,回答问题的步骤如下:将用户语音转换为文本,理解文本含义,搜索符合上下文的适当应答,最后使用文本转语音工具提供应答。而对话式 AI 流程通常由三个阶段组成:自动语音识别 (ASR)、自然语言处理 (NLP) 或自然语言理解 (NLU)、带有语音合成的文本转语音 (TTS);其中每一步都需要运行多个 AI 模型。
具体的,自动语音识别 (ASR) 会收录人类语音,然后将其转换为可读文本。深度学习在识别音素时具有更高的准确性,已经取代了传统的统计方法,如隐马尔可夫模型和高斯混合模型;自然语言理解 (NLU) 会录入文本,理解上下文和意图,然后生成智能回复。深度学习模型能对众多上下文和语言准确进行泛化处理,因此应用于 NLU。例如,Transformer 深度学习模型,如 BERT(Transformer 双向编码器表征模型),是时间递归神经网络的一个替代方案,它应用了一种注意力技术—通过将注意力集中在前后最相关的词上来解析一个句子;再例如BERT 通过在问答 (QA)、实体识别、意图识别、情感分析等基准上提供与人类基准相媲美的准确性,在本实施例中应用的AI即主要根据BERT 模型来实现人机对话。
对话式 AI 流程的最后一个阶段是将 NLU 阶段生成的文本响应改为自然发音的语音。声清晰度是通过使用深度神经网络实现的,生成类似人类的语调和清晰的单词发音。此步骤是通过两个网络完成的:一个根据文本生成频谱图的合成网络,一个从频谱图生成波形的声码器网络。
可选的,在所述互动儿童故事剧本运行至剧情节点环节时,所述服务器接收来自所述终端设备发送的用户输入的与所述剧情节点相关的内容,并对基于AI技术对所述相关内容进行识别以及针对性的回复,使用户在剧情节点中的人机交互场景中勇于表达自己的想法,进而提高语音表达能力和逻辑思维能力;
一般来说,在剧情节点仅进行单轮或两轮对话,若剧情节点进行至结尾则以服务器输出的封闭式的机器语句作为结尾,例如“讲的不错”、“正确!”。
步骤S205:服务器根据所述剧情节点向所述终端设备发送第一答复信息。
其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同,N为正整数。
步骤S206:终端设备接收所述服务器发送的第一答复信息。
步骤S207:终端设备确定第一剧情节点对应的第一关联图片和N张第二关联图片。
其中,所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;N和i均为正整数。
上述的第一关联图片通过角色的呈现,表征所述互动项目当前的故事情节,上述的第二关联图片则通过更为细节的呈现,来表征与机器侧输出节点输出的内容,增加用户的代入感。
需要说明的是,所述第一剧情节点中的机器侧输出节点对应的N个内容中每一个内容均对应一张或多张第二关联图片。
在一种可选的实施方式中,所述确定第一剧情节点对应的第一关联图片和N张第二关联图片,包括:
首先,将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;具体的,可通过预设在终端设备中的切词工具对所述机器侧输出节点对应的N个内容进行切分。
其次,根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称,例如,上述的机器侧输出节点对应的N个内容中包括图4所示的“很棒,不能随意砍伐树木,那你猜猜看旁边的熊大和熊二是怎么做的呢”,那么可通过切词工具将上述句子拆分为“很棒”、“不能”、“随意”、“砍伐”、“树木”、“那”、“你”、“猜猜”、“看”、“旁边”、“的”、“熊大”、“和”、“熊二”、“是”、“怎么”、“做”、“的”的词集合,而该词集合与关键词数据库进行比对后,“熊大”、“熊二”即为比对成功的词,也就是N个内容中的关键词,在本实施方式中所述关键词为角色名称,可选的,预设的每一个互动项目提前在所述关键词数据库设置了关键词范围,避免其他互动项目的角色名称在本互动项目中出现,导致图片选择发生错误。
本公开实施例可以预先使用BERT(Bidirectional Encoder Representationfrom Transformers,基于转换器的双向编码表征)算法识别并提取剧本文本中所有的角色名称以及各角色名称在剧本文本中的位置。可选的,本公开实施例可以使用TF-IDF(TermFrequency–Inverse DocumentFrequency,词频-逆文本频率指数)算法,识别并提取预处理后的内容文本中的角色名称。
最终,与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,上述的词集合为基于所述第一剧情节点的机器侧输出节点中预设的可能输出的N个内容得到的,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型,所述第一关联图片为与N个内容中的关键词均相关的图片;与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容,所述第二关联图片为与第i个内容的关键词相关的图片;
可选的,所述服务器中设置有图片构建工具,例如Magic3D、AIGC,以此根据所述关键词生成对应的第一关联图片或第二关联图片。
可选的,上述的图片数据库和图片生成模型预设在服务器中,主要是考虑到终端设备主要为儿童手表等运行内存较小的设备,但考虑到不同的应用场景和儿童手表的不同型号,上述的图片数据库和图片生成模型可以是预存在终端设备中的。
在一种可选的实施方式中,除了通过角色的名称确定第二关联图片之外,还可根据上述的第i个内容中的其他元素确定第二关联图片,具体如下:
首先,对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
最终,获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片。
第i个内容以“光头强拿起手中的斧子,重重的砍向他面前的大树”为例对上述的实施方式进行说明,可以理解的是,本实施方式也可通过切词工具对该内容文本进行切分,得到词集合,然后通过词集合与预设的关键词数据库进行比对,得到关键元素,这也代表着,所述关键词数据库中除了角色名称之外,也包括了角色的动作,及动词;那么,经过识别后,与该内容对应的关键元素即为“拿起”“砍”,与该内容对应的关键词为“光头强”,根据所述关键元素和所述关键词,即可确定与该内容对应的第二关联图片为包括光头强,且光头强的动作为拿起或砍的图片;
可选的,若与所述服务器进行交互后,确定所述服务器中的图片数据库中不存在包括光头强,且光头强的动作为拿起或砍的图片,则根据预设的图片生成模型或图片构建工具生成符合需求的第二关联图片;
在一个可选的实施方式中,若所述终端设备与所述服务器进行交互后,确定所述服务器中的图片数据库中既存在包括了该角色,且该角色的动作为第一动作的图片,又存在包括了该角色,且该角色的动作为第二动作的图片,所述第一动作和所述第二动作均为第i个内容中的关键元素,且不相同;重新对所述第i个内容进行识别,确定其他关键元素,例如时间、场景等;根据所述其他关键元素,重新确定第二关联图片。
可选的,在本实施方式中,若未能根据所述其他关键元素确定第二关联图片,则随机从上述的包括了该角色,且该角色的动作为第一动作的图片,以及包括了该角色,且该角色的动作为第二动作的图片中确定第二关联图片。
可选的,在本实施方式中,若未能根据所述其他关键元素确定第二关联图片,则从上述的包括了该角色,且该角色的动作为第一动作的图片,以及包括了该角色,且该角色的动作为第二动作的图片中确定显示次数较少的作为第二关联图片。
可选的,一个内容对应的所述第二关联图片为多张,在显示过程中,可依次进行显示。
在一种可选的实施方式中,若所述第二关联图片为多张,在所述获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片之后,根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片;
在本实施例中,通过确定第二关联图片的优先级,从而确定所述第二关联图片的展示顺序,进一步的,根据用户是否观看过所述动画确定展示的形式,提高了机器侧针对图片展示方面的全面性。
步骤S208:终端设备输出所述第一剧情节点对应的第一关联图片。
以图5对所述第一关联图片进行说明,图5为本申请实施例提供的一种第一关联图片的示意图,基于上述的所述第一关联图片为与剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,通过对角色的呈现,表征所述互动项目当前的故事情节,图5中的第一关联图片以背景图的形式呈现,与所述第一关联图片对应的机器侧输出节点对应的N个内容中的角色为旁边所述的“他们隔着小河看到了对方”中的他们,以“熊出没”为例,图5中的小河上方为熊大和熊二,小河的下方为光头强,“熊大”、“熊二”和“光头强”为马上进入的剧情节点中出现的角色。
在确定所述互动项目的剧情节点之后,确定所述第一关联图片显示时机,在一种可选的实施方式中,在确定所述互动项目的多个剧情节点之后,确定所述多个剧情节点中的第一剧情节点中涉及的角色,根据所述角色在所述第一剧情节点之前的互动项目旁白讲述内容中,确定与所述第一剧情节点相隔时域最短的旁白讲述内容;在所述互动项目进行到所述旁白讲述内容的情况下,以背景图的形式展示所述第一关联图片;下面举例说明,假设所述第一剧情节点中涉及的角色为“熊大”和“熊二”,可以理解的是,对所述第一剧情节点之前,所述旁白所讲述的内容中涉及到“熊大”和“熊二”的内容按小说开头到第一剧情节点的顺序进行排序,选择与所述第一剧情节点最接近的旁白讲述内容作为所述第一关联图片的切入时间;需要说明的是,所述旁白讲述内容与所述剧情节点中的机器侧输出的内容不同。
步骤S209:终端设备接收用户针对第一剧情节点中的用户操作节点的用户操作。
由于在所述用户操作节点之前,所述服务器会基于故事情节进行针对性的提问,所述针对性的提问包括封闭式提问,所述封闭式提问的答案为是或否,有或没有等;基于此,用户在用户操作节点输入的用户操作是可以预设的。
步骤S210:终端设备向所述服务器发送用户针对第一剧情节点中的用户操作节点的用户操作。
步骤S211:服务器接收所述终端设备发送的用户针对第一剧情节点中的用户操作节点的用户操作。
步骤S212:服务器根据所述用户操作,确定所述第一剧情节点中的N个内容中与所述用户操作对应的内容。
所述服务器基于上述的AI的原理,实现在所述第一剧情节点的人机交互,上述的服务器根据所述用户操作,确定所述第一剧情节点中的N个内容中与所述用户操作对应的内容即为人机交互的过程之一。
例如上述的图4中旁白一侧所述的“很棒,不能随意砍伐树木,那你猜猜看旁边的熊大和熊二是怎么做的呢”为机器侧针对用户输入的“不对”而进行的答复,则代表着机器侧输出节点输出的内容,是由终端设备转发至服务器,并由所述服务器从多个预设的N个内容中针对用户的输入所选择的。
步骤S213:服务器向所述终端设备发送所述第一剧情节点中的N个内容中与所述用户操作对应的内容。
步骤S214:终端设备接收所述服务器发送的所述第一剧情节点中的N个内容中与所述用户操作对应的内容。
步骤S215:终端设备输出与所述目标内容对应的第二关联图片。
所述目标内容为所述N个内容中与所述用户操作对应的内容。
可选的,所述目标内容与所述第二关联图片是同步输出的。
可选的,所述终端设备优先向用户输出所述目标内容,所述用户可通过点击终端设备上显示的目标内容来浏览与所述目标内容对应的第二关联图片。
举例对第二关联图片进行说明,与所述用户操作对应的机器侧输出节点的输出内容为五个内容中的第三个内容,则在输出所述第三个内容(目标内容)的同时,输出与所述第三个内容对应的第二关联图片,在本例中,N=5,i=3。
以图6对第二关联图片的显示形式进行说明,图6为本申请实施例提供的一种第二关联图片的示意图,图6中的第二关联图片以缩略图的形式输出给用户。
为了进一步增加用户的代入感,在一种可选的实施方式中,在所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片之前,获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;图片点击记录可根据互动项目的历史使用记录确定,可选的,所述图片点击记录可以是当前互动项目的历史记录,也可以是其他互动项目的历史记录,优选的,所述图片点击记录优先根据当前的互动项目的历史记录确定。
根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;可选的,若所述图片点击记录是基于当前互动项目的历史记录,则可以根据用户点击的图片中出现的角色的次数确定用户对所述动画中的角色的喜爱程度,点击次数越多,则代表喜爱程度越高;可选的,若所述图片点击记录是基于其他互动项目的历史记录确定,则可根据所述其他小说的角色定位确定用户对当前动画中的角色的喜爱程度,所述角色定位包括男性、女性、种类、正派、反派;可以理解的是,若用户在其他互动项目中针对男性正派角色的图片点击次数较多,则可以推断所述用户喜爱此种类型的角色,进而根据当前互动项目中的角色定位确定所述用户可能会喜爱的角色,若用户在其他互动项目中针对男性反派角色的图片点击次数较少,则可以推断所述用户不喜欢此种类型的角色,进而根据当前互动项目中的角色定位确定所述用户可能不喜欢的角色。
在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图,可选的,若所述图片点击记录是基于当前互动项目的历史记录确定的,那么所述第一预设阈值为预设的点击次数,在针对某一角色相关的图片的点击次数低于所述第一预设阈值的情况下,代表用户对该角色所述喜爱程度低于第一预设阈值。
为了进一步增加用户的代入感,在又一种可选的实施方式中,在所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片之后,所述方法还包括:
接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;由于用户的年龄较小,在用户输入节点输入的内容可能除了针对前一问题的回答之外,还有额外的情绪表达语句,例如“光头强真讨厌”,则根据上述的额外的情绪表达语句确定所述用户的对所述动画中的角色(如光头强)的喜爱程度,上述的实现过程可根据预先训练的意图识别模型确定,且所述意图识别模型输出的结果为分数,所述分数越高则代表针对该角色越喜爱,分数越低则代表针对该角色越讨厌;由于人的情绪是不定的,故所述意图识别模型是基于所述情绪表达语句中的字词确定分数,例如,“真讨厌”和“讨厌”,“真讨厌”的分数低于“讨厌”的分数,再比如“真可爱”和“好可爱啊”,“好可爱啊”的分数高于“真可爱”的分数。
在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片,所述第二预设阈值可以为发明人员预先设置的,也可以是基于用户的使用习惯生成的,需要说明的是,所述互动项目的除剧情节点之外的其他环节中可以理解为旁白讲解环节,因此上述过程则是在旁白讲解环节出现喜爱程度超过第二预设阈值的角色时,展示与所述角色相关联的图片。
本申请实施例通过对互动项目的剧情节点的设置,增加了更多符合用户需求的互动环节,提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性,且提高了用户在阅读互动故事时的沉浸感和用户的语言表达能力、逻辑思维能力、想象力;进一步的,针对基于动画生成的互动故事,通过终端设备和服务器的交互,替代原有的动画截图的呈现形式,对符合故事情节和机器侧输出节点的图片进行筛选,选出合适的图片进行展示,提高了终端设备和服务器针对此类特殊场景的全面性和多样性。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图7,图7是本申请实施例提供一种基于动画的互动项目的交互信息处理装置的结构示意图,该基于动画的互动项目的交互信息处理装置70可以为前面提及的终端设备或者终端设备中的器件,该基于动画的互动项目的交互信息处理装置70可以包括第一接收单元701、发送单元702、第二接收单元703、第一确定单元704、第一输出单元705和第二输出单元706,其中,各个单元的详细描述如下。
第一接收单元701,用于接收用户输入的针对所述互动项目的选择操作;
发送单元702,用于向服务器发送第一请求信息,以请求服务器对互动项目进行解析,得到所述互动项目的多个剧情节点;
第二接收单元703,用于接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
第一确定单元704,用于确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
第一输出单元705,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
第二输出单元706,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容。
在又一种可能的实施方式中,所述第一确定单元704用于:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容。
在又一种可能的实施方式中,在与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容方面,所述第一确定单元704具体用于:
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片。
在又一种可能的实施方式中,所述第一确定单元704还用于:
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
在又一种可能的实施方式中,所述基于动画的互动项目的交互信息处理装置70还包括:
获取单元,用于获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;
第二确定单元,用于根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;
显示单元,用于在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图。
在第二方面的又一种可能的实施方式中,所述基于动画的互动项目的交互信息处理装置70还包括:
第三接收单元,用于接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
第三确定单元,用于根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;
展示单元,用于在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片。
请参见图8,图8是本申请实施例提供的一种终端设备的结构示意图,所述终端设备80可以是上述图1的终端设备102,或上述图1的终端设备102的器件;所述终端设备80包括:处理器801、通信接口802及存储器803。其中,处理器801、通信接口802及存储器803可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器801是终端设备80的计算核心以及控制核心,其可以解析终端设备80内的各类指令以及终端设备80的各类数据,例如:该处理器801可为中央处理器(CentralProcessing Unit,CPU),可以在终端设备80内部结构之间传输各类交互数据,等等。通信接口802可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器801的控制可以用于收发数据;通信接口802还可以用于所述终端设备80内部信令或者指令的传输以及交互。存储器803(Memory)是所述终端设备80中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器803既可以包括所述终端设备80的内置存储器,当然也可以包括所述终端设备80所支持的扩展存储器。存储器803提供存储空间,该存储空间存储了所述终端设备80的操作系统,该存储空间还存储了处理器执行相应操作所需的程序代码或指令,可选的,该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
在本申请实施例中,处理器801运行存储器803中的可执行程序代码,用于执行如下操作:
通过通信接口802接收用户输入的针对所述互动项目的选择操作;
通过通信接口802向所述服务器发送第一请求信息,以请求所述服务器对所述互动项目进行解析,得到所述互动项目的多个剧情节点;
通过通信接口802接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容。
在一种可选方案中,在确定第一剧情节点对应的第一关联图片和N张第二关联图片方面,所述处理器801用于:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
通过通信接口802与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
通过通信接口802与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容。
在一种可选方案中,在通过通信接口802与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片,所述第i个内容属于所述N个内容中的任意一个内容方面,所述处理器801具体用于:
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片。
在一种可选方案中,在与所述服务器进行交互,以获取所述词集合中属于第i个内容的关键词相关联的第二关联图片之后,所述处理器801还用于:
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
在一种可选方案中,在所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片之前,所述处理器801还用于:
获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;
根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图。
在一种可选方案中,在所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片之后,所述处理器801还用于:
接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片。
需要说明的是,各个操作的实现还可以对应参照图2中终端设备一侧所示的方法实施例的相应描述。
本申请实施例中涉及的服务器的装置可参照图2中服务器一侧所示的方法执行相应的动作。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述计算机程序当被处理器执行时使所述处理器实现图2所述实施例中终端设备所执行的操作,或者实现图2所述实施例中服务器所执行的操作。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,实现图2所述实施例中终端设备所执行的操作,或者实现图2所述实施例中服务器所执行的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过程序来指令相关的硬件来完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (7)
1.一种基于动画的互动项目的交互信息处理方法,其特征在于,所述方法应用于终端设备,所述终端设备与服务器通信连接,所述方法包括:
接收用户输入的针对所述互动项目的选择操作;
向所述服务器发送第一请求信息,以请求所述服务器对所述互动项目进行解析,得到所述互动项目的多个剧情节点;
接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容;
其中,所述确定第一剧情节点对应的第一关联图片和N张第二关联图片,包括:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作,所述第i个内容属于所述N个内容中的任意一个内容;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片;
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
2.根据权利要求1所述的方法,其特征在于,在执行所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片的步骤之前,所述方法还包括:
获取所述用户的历史的图片点击记录,所述图片点击记录用于表征所述用户在阅读互动项目的过程中所点击的图片的样式和次数;
根据所述图片点击记录确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度低于第一预设阈值的情况下,输出的与所述角色相关的第二关联图片为缩略图。
3.根据权利要求1或2任一项所述的方法,其特征在于,在执行所述在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与所述目标内容对应的第二关联图片的步骤之后,所述方法还包括:
接收用户在所述第一剧情节点中的用户操作节点输入的语音信息和/或文本信息;
根据所述语音信息和/或所述文本信息确定所述用户对所述动画中的角色的喜爱程度;
在确定所述喜爱程度超过第二预设阈值的情况下,在所述互动项目的除剧情节点之外的其他环节中展示与所述角色相关联的图片。
4.一种基于动画的互动项目的信息处理方法,其特征在于,所述方法应用于服务器,所述服务器与终端设备通信连接,所述方法包括:
接收所述终端设备发送的第一请求信息;
根据所述第一请求信息,对用户选择的互动项目进行解析,以确定所述互动项目中的多个剧情节点;
根据所述剧情节点向所述终端设备发送第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同,N为正整数;
接收所述终端设备发送的用户针对第一剧情节点中的用户操作节点的用户操作,所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点;
根据所述用户操作,确定所述第一剧情节点中的N个内容中与所述用户操作对应的内容;
向所述终端设备发送所述第一剧情节点中的N个内容中与所述用户操作对应的内容。
5.一种基于动画的互动项目的交互信息处理装置,其特征在于,所述装置包括:
第一接收单元,用于接收用户输入的针对所述互动项目的选择操作;
发送单元,用于向服务器发送第一请求信息,以请求服务器对互动项目进行解析,得到所述互动项目的多个剧情节点;
第二接收单元,用于接收所述服务器发送的第一答复信息,其中,所述第一答复信息包括所述互动项目的多个剧情节点,所述多个剧情节点中每个剧情节点均包括用户操作节点和机器侧输出节点,所述用户操作节点输入的用户操作是从预先设置的N个用户操作中选择的,所述机器侧输出节点输出的内容属于预先设置的N个内容中的一个,所述机器侧输出节点输出的内容是根据在所述用户操作节点输入的用户操作确定的,根据不同的用户操作确定的机器侧输出节点输出的内容不同;
第一确定单元,用于确定第一剧情节点对应的第一关联图片和N张第二关联图片,其中,所述第一关联图片为与第一剧情节点中的机器侧输出节点对应的N个内容中的角色相关的图片,第i张所述第二关联图片为与第一剧情节点中的机器侧输出节点对应的第i个内容中的角色相关的图片,所述第i个内容属于所述N个内容中的一个内容;所述第一剧情节点为所述多个剧情节点中的任意一个剧情节点,N和i均为正整数;
第一输出单元,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之前,输出所述第一剧情节点对应的第一关联图片;
第二输出单元,用于在接收用户针对所述第一剧情节点中的用户操作节点的用户操作之后,输出与目标内容对应的第二关联图片,所述目标内容为所述N个内容中与所述用户操作对应的内容;
其中,第一确定单元具体用于:
将所述第一剧情节点中的机器侧输出节点对应的N个内容进行切分,以获取与所述N个内容对应的词集合;
根据预设的关键词数据库确定所述词集合中存在的关键词,所述关键词数据库包括有多个角色名称;
与所述服务器进行交互,以获取与所述词集合中存在的全部关键词相关联的第一关联图片,其中,所述服务器中预设有图片数据库和图片生成模型,所述图片数据库包括根据所述动画截取得到的与所述动画中的角色相关的图片,所述图片生成模型为根据多个动画中的截图训练得到的模型;
对所述N个内容中第i个内容进行识别,以获取与所述第i个内容对应的关键元素,其中,所述关键元素至少包括角色的动作;
获取与所述关键元素和所述词集合中属于第i个内容的关键词相关联的第二关联图片;
根据所述第i个内容中的其他元素,对所述第二关联图片进行筛选,确定与所述第二关联图片的优先级,其中,所述其他元素包括地点、背景;
向用户输出针对是否观看过所述动画的选项;
接收所述用户输入的针对是否观看过所述动画的选择操作;
若所述用户观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片的缩略图;
若所述用户未观看过所述动画,则在所述第一剧情节点向所述用户输出所述第i个内容的情况下,根据所述第二关联图片的优先级向所述用户展示所述第二关联图片。
6.一种终端设备,其特征在于,所述终端设备包括至少一个处理器、通信接口和存储器,所述通信接口用于发送和/或接收数据,所述存储器用于存储计算机程序,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以实现如权利要求1-3任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,实现如权利要求1-3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310499982.2A CN116226411B (zh) | 2023-05-06 | 2023-05-06 | 一种基于动画的互动项目的交互信息处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310499982.2A CN116226411B (zh) | 2023-05-06 | 2023-05-06 | 一种基于动画的互动项目的交互信息处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116226411A CN116226411A (zh) | 2023-06-06 |
CN116226411B true CN116226411B (zh) | 2023-07-28 |
Family
ID=86580880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310499982.2A Active CN116226411B (zh) | 2023-05-06 | 2023-05-06 | 一种基于动画的互动项目的交互信息处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116226411B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109637207A (zh) * | 2018-11-27 | 2019-04-16 | 曹臻祎 | 一种学前教育互动教学装置及教学方法 |
CN112882637A (zh) * | 2021-02-23 | 2021-06-01 | 上海哔哩哔哩科技有限公司 | 多图层动画展示的交互方法及浏览器 |
CN113420131A (zh) * | 2021-06-11 | 2021-09-21 | 洪恩完美(北京)教育科技发展有限公司 | 儿童绘本的阅读引导方法、设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080072166A1 (en) * | 2006-09-14 | 2008-03-20 | Reddy Venkateshwara N | Graphical user interface for creating animation |
CN101887418A (zh) * | 2009-05-14 | 2010-11-17 | 上海显界数字科技有限公司 | 基于Web浏览器的3D角色模块发布系统的控制方法 |
CN109240564A (zh) * | 2018-10-12 | 2019-01-18 | 武汉辽疆科技有限公司 | 人工智能实现交互式多剧情动画分支的装置及方法 |
CN109727504A (zh) * | 2018-12-19 | 2019-05-07 | 安徽建筑大学 | 一种基于艺术设计的动画交互系统 |
CN109871450B (zh) * | 2019-01-11 | 2021-10-19 | 北京光年无限科技有限公司 | 基于绘本阅读的多模态交互方法及系统 |
CN111970538A (zh) * | 2020-08-27 | 2020-11-20 | 上海松鼠课堂人工智能科技有限公司 | 教学视频处理方法与系统 |
CN113610680A (zh) * | 2021-08-17 | 2021-11-05 | 山西传世科技有限公司 | 一种基于ai的交互式阅读材料个性化推荐方法及系统 |
CN114102628A (zh) * | 2021-12-04 | 2022-03-01 | 广州美术学院 | 一种绘本的交互方法、装置和机器人 |
CN116009748B (zh) * | 2023-03-28 | 2023-06-06 | 深圳市人马互动科技有限公司 | 儿童互动故事中图片信息交互方法及装置 |
-
2023
- 2023-05-06 CN CN202310499982.2A patent/CN116226411B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109637207A (zh) * | 2018-11-27 | 2019-04-16 | 曹臻祎 | 一种学前教育互动教学装置及教学方法 |
CN112882637A (zh) * | 2021-02-23 | 2021-06-01 | 上海哔哩哔哩科技有限公司 | 多图层动画展示的交互方法及浏览器 |
CN113420131A (zh) * | 2021-06-11 | 2021-09-21 | 洪恩完美(北京)教育科技发展有限公司 | 儿童绘本的阅读引导方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116226411A (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108962217B (zh) | 语音合成方法及相关设备 | |
CN110688911B (zh) | 视频处理方法、装置、系统、终端设备及存储介质 | |
US11475897B2 (en) | Method and apparatus for response using voice matching user category | |
CN109710748B (zh) | 一种面向智能机器人的绘本阅读交互方法和系统 | |
CN116009748B (zh) | 儿童互动故事中图片信息交互方法及装置 | |
CN114495927A (zh) | 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端 | |
CN108986785B (zh) | 一种文本改编方法及装置 | |
KR20220129989A (ko) | 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
CN112463942A (zh) | 文本处理方法、装置、电子设备及计算机可读存储介质 | |
KR20170135598A (ko) | 특정인의 합성된 가상 음성을 이용한 음성 대화 시스템 및 방법 | |
CN116821290A (zh) | 面向多任务对话的大语言模型训练方法和交互方法 | |
CN114283820A (zh) | 多角色语音的交互方法、电子设备和存储介质 | |
CN112634886B (zh) | 一种智能设备的交互方法、服务器、计算设备及存储介质 | |
CN117292022A (zh) | 基于虚拟对象的视频生成方法、装置及电子设备 | |
CN110781327B (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
CN116226411B (zh) | 一种基于动画的互动项目的交互信息处理方法和装置 | |
CN110781329A (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
CN110111793A (zh) | 音频信息的处理方法、装置、存储介质及电子装置 | |
CN112309183A (zh) | 适用于外语教学的交互式听说练习系统 | |
CN116843805B (zh) | 一种包含行为的虚拟形象生成方法、装置、设备及介质 | |
CN117560340B (zh) | 基于模拟角色的信息交互方法、装置和存储介质 | |
Lennartsson et al. | Chat Bots & Voice Control: Applications and limitations of combining Microsoft’s Azure Bot Service and Cognitive Services’ Speech API | |
CN110059231B (zh) | 一种回复内容的生成方法及装置 | |
CN117727303A (zh) | 一种音视频的生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |