CN110764618A - 一种仿生交互系统、方法及相应的生成系统和方法 - Google Patents

一种仿生交互系统、方法及相应的生成系统和方法 Download PDF

Info

Publication number
CN110764618A
CN110764618A CN201911024512.0A CN201911024512A CN110764618A CN 110764618 A CN110764618 A CN 110764618A CN 201911024512 A CN201911024512 A CN 201911024512A CN 110764618 A CN110764618 A CN 110764618A
Authority
CN
China
Prior art keywords
module
interaction
information
interactive
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911024512.0A
Other languages
English (en)
Inventor
郑子龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911024512.0A priority Critical patent/CN110764618A/zh
Publication of CN110764618A publication Critical patent/CN110764618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种仿生交互系统、方法以及相应的生成系统和方法。所述交互系统包括:获取模块、存储模块、信息处理模块、发送模块、人机交互模块。所述获取模块,触发获取模块并采集用户信息。所述人机交互模块,根据所述用户信息触发人机交互,并接收交互信息输入;所述信息处理模块,根据所述人机交互确定预输出的多媒体内容,并输出交互式多媒体内容。所述发送模块,将信息处理模块的互动结果反馈到可携式终端设备上。所述交互系统能够给用户带来较强沉浸感,可实现用户意图,提升用户体验。

Description

一种仿生交互系统、方法及相应的生成系统和方法
技术领域
本发明涉及交互影视技术领域,特别是涉及应用于影视交互技术领域的一种仿生交互系统、方法以及相应的生成系统和方法。
背景技术
随着智能计算机终端的普及、计算机图形图像的能力提升、人机交互技术的深入发展、网络通信传输的高效连接、人工智能技术的更新换代为更多的文化娱乐形式提供了基础,影视、游戏、社交等领域得到了前所未有的发展。电影电视除了在电影院和电视机上观看,也可以在手机、电脑上播放,产业规模也随之扩大,催生了网络大电影、网络剧、短视频等多种形态。现有的媒体通过可携式终端、计算机等多媒体播放设备直接进行播放,用户被动接收,随着可携式终端、计算机等多媒体设备的功能的更新,以及不同用户的兴趣也更加多样化,如今人们不再满足于只能被动观看,不能主动参与的传统影视节目,而是期望具有可以即时交互的可能性。尤其是,目前现有技术只能进行简单交互,例如通过用户评分进行反馈,或者客户端通过用户爱好进行推荐等单方面的简易交互,这些交互不能精准的反应用户的意图,用户体验也差。
发明内容
本发明的目的就是为了克服上述现有技术存在的问题而提供一种能够给用户带来较强沉浸感,可实现用户意图提升用户体验的仿生交互系统、方法及移动设备。
根据本发明的一个方面,本发明提供了一种可携式终端,包括并且不仅限于智能手机、平板电脑、笔记本电脑等具备下述仿生交互系统并可执行下述交互方法的设备。
根据本发明的一个方面,提供了一种仿生交互系统,该系统包括:获取模块、存储模块、信息处理模块、发送模块、人机交互模块。
所述存储模块存储多媒体内容;
所述获取模块,至少包括触屏感应模块、传感器感应模块、无线传输模块、摄像头感应模块之一。
所述获取模块,触发获取模块并采集用户信息。
所述人机交互模块,至少包括多支线情节互动模块、模型互动模块、声波互动模块、语音互动模块、传感器互动模块、蓝牙互动模块、手势互动模块、AR互动模块、人脸识别互动模块。
所述人机交互模块,根据所述用户信息触发人机交互,并接收交互信息输入;
所述信息处理模块,根据所述人机交互确定预输出多媒体内容,并输出交互式多媒体内容。
所述发送模块,将信息处理模块的互动结果反馈到可携式终端设备上。
进一步地,所述系统还包括仿生反馈模块。所述仿生反馈模块基于所述输出的交互式多媒体内容执行操作。
根据本发明的另一个方面,提供了一种仿生交互方法。具体步骤如下:获取模块获取感应模块信息;根据所述感应模块的信息,发出和感应模块相对应的命令;进入人机互动模块,进行人机互动;根据接收的命令,以及统计数据,由人工智能模块模拟人的思维模式,做出响应的指令;根据接收的指令与数据,由信息处理模块反馈相应的互动结果;将所述信息处理模块反馈的互动结果反馈到可携式终端。
所述存储模块,储存受到的各项命令。
所述感应模块,至少包括以下模块之一:
触屏感应模块:获取可携式终端设备屏幕的触屏信息;
传感器感应模块:获取可携式终端设备的陀螺仪、感光元件、重力感应器等传感器的信息;
无线传输模块:获取可携式终端设备的无线传输装置的权限,并根据需要发出无线传输信号;
摄像头感应模块:获取可携式终端设备的摄像头权限,并取得摄像头所捕捉的显示画面信息。
所述人机互动模块,至少包括以下模块之一:
多支线情节互动模块:为可携式终端交互影视节目提供多支线情节互动功能;
模型互动模块:为可携式终端交互影视节目提供模型互动功能;
语音互动模块:为可携式终端交互影视节目提供语音互动功能;
传感器互动模块:为可携式终端交互影视节目提供传感器互动功能;
蓝牙互动模块:为可携式终端交互影视节目提供蓝牙互动功能;
手势互动模块:为可携式终端交互影视节目提供手势互动功能。
根据本发明的另一个方面,提供给了一种仿生交互生成系统,该系统包括:信息获取模块、素材处理模块、存储模块、视频播放模块、多媒体交互编辑模块、编译输出模块、人机互动模块、人工智能模块、权限调用模块、感应模块。
所述信息获取模块和素材处理模块、存储模块互相连接,视频播放模块与多媒体交互编辑模块连接,编译输出模块与多媒体交互编辑模块相连接。
所述仿生交互生成系统还包括开发界面,将上述模块的功能可视化集成在界面上。
所述人机互动模块,至少包括以下模块之一:
多支线情节互动模块:为可携式终端交互影视节目提供多支线情节互动功能;
模型互动模块:为可携式终端交互影视节目提供模型互动功能;
语音互动模块:为可携式终端交互影视节目提供语音互动功能;
传感器互动模块:为可携式终端交互影视节目提供传感器互动功能;
蓝牙互动模块:为可携式终端交互影视节目提供蓝牙互动功能;
手势互动模块:为可携式终端交互影视节目提供手势互动功能;
声波互动模块:为可携式终端交互影视节目提供声波互动功能;
AR互动模块:为可携式终端交互影视节目提供AR互动功能;
人脸识别互动模块:为可携式终端交互影视节目提供人脸识别互动功能。
所述权限调用模块,分别与感应模块、人机交互模块、人工智能模块相连接。
所述感应模块,至少包括以下模块之一:
触屏感应模块:获取可携式终端设备屏幕的触屏信息;
传感器感应模块:获取可携式终端设备的陀螺仪、感光元件、重力感应器等传感器的信息;
无线传输模块:获取可携式终端设备的无线传输装置的权限,并根据需要发出无线传输信号;
摄像头感应模块:获取可携式终端设备的摄像头权限,并取得摄像头所捕捉的显示画面信息。
根据本发明的另一个方面,提供了一种仿生交互生成方法。具体步骤如下:制作素材:在Premiere、Photoshop、Audition、Maya等软件中制作、处理交互影视节目所需要的多媒体内容,包括:影视、音频、图片、模型素材等,并导出相应格式;进入开发界面;导入:在多媒体交互平台中将交互影视节目所需的多媒体内容导入多媒体交互平台,并分配到各互动模块进行处理;权限调用:在权限调用模块中调用可携式终端设备元件的权限;进入感应模块,并根据感应模块的各个模块的具体功能不同进入不同的人机互动模块;进入人工智能模块,设置AI选择回馈机制,统筹归纳互动数据,并匹配相应的结果指令到互动模块;编辑:各人机互动模块中设置好内容与素材后,进入多媒体交互编辑模块串联视频与人机互动模块,设置播放逻辑与顺序;导出:在及多媒体交互平台中编译并根据播放平台输出交互影视节目。
所述播放平台对应的类型包括:IOS端交互影视节目、android端交互影视节目、windows端交互影视节目、鸿蒙端交互影视节目。
根据本发明的另一个方面,提供了一种仿生交互方法。所述方法,包括:S1:播放交互式多媒体资源;S2:启动获取模块,采集场景/环境信息;S3:根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈;S4:启动信息处理模块,根据所述交互信息反馈确定后续预输出多媒体内容,并进行输出。
进一步地,所述步骤S3包括:根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈。具体包括:接收来自场景的虚拟触发信号,或接收来自环境探测装置的触发信号,将触发信号发送至接收装置,接收装置根据上述触发信号做出相应操作(如喷水、喷气、发声、灯光、测距、定位等),以提示用户;采集模块采集用户的即时响应作为交互信息,例如,面部表情变化、瞳孔状态变化等,将采集到的用户即时响应,即交互信息发送给信息处理模块。
所述触发方式包括以下一种或多种:a依据传感器所采集信息进行触发;所述传感器采集信息,包括但不限于摄像头、麦克风、重力感应传感器、GPS、蓝牙、网络信息等;b依据无线采集信号进行触发;c依据用户操作进行触发;所述操作包括但不限于点击触摸屏或所述设备的特殊按键;d根据场景设置传递的虚拟触发信号进行触发。
优选地,当使用摄像头进行采集信息时,可以使用人脸识别进行触发。
进一步地,所述步骤S4:输出的方式包括:a输出包括用户选择的多支线情节的剧情;b输出虚拟动画模型;c输出选择菜单,所述菜单可以包括:执行操作、剧情选择。
进一步地,所述人机交互模块还包括仿生反馈模块,所述步骤S3还包括:仿生反馈模块基于所述输出的交互式多媒体内容执行操作,所述操作包括:基于所述输出多媒体内容,启动数据传送模块,并通过数据传送模块发送和多媒体内容相对应的信息,可携式终端所连接的数据接收设备接收所述信息,并执行相应功能。
优选地,所述数据接收设备为外接设备,例如项圈、头盔或辅助道具等,并具有多种功能,包括但不限于:喷水、喷气、发声、灯光、测距、定位。
进一步地,所述方法还包括:当用户接收到相应信号时,所述采集模块采集用户信息,依据所述用户信息判断所述剧情剧烈程度;若用户信息判断结果为情绪紧张,则选择设定的舒缓的交互多媒体内容。
优选地,所述采集信息是实时采集用户信息以及反馈信息。
优选地,通过摄像头采集用户面部图像,通过面部图像判断所述用户面部表情,若面部表情为紧张,则进行交互多媒体内容切换,切换为舒缓的交互多媒体内容。如果用户面部表情为舒缓,则进行交互多媒体内容切换,切换为紧张的交互多媒体内容。
所述操作还可以是:用户通过麦克风进行吹气;麦克风收集吹气的强度,并将强度转换为相应数值;根据所述数值进行多媒体内容的播放控制。
所述播放控制包括但不限于以下选项:播放开始、结束、快进、快退、剧情选择、交互多媒体内容切换等。
进一步地,所述方法还包括步骤S5:采集用户反馈信息,根据其反馈信息进行判断,并返回步骤S4,继续依据反馈信息确定后续预输出多媒体内容,直至多媒体内容播放结束。
根据本发明的另一个方面,提供了一种仿生交互系统。所述系统包括:播放模块,用于播放交互式多媒体资源;采集模块,用于启动获取模块,采集场景/环境信息;人机互动模块,用于根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈;自适应分支输出模块,用于启动信息处理模块,根据所述交互信息反馈确定后续预输出多媒体内容,并进行输出。
所述人机交互模块具体用于:接收来自场景的虚拟触发信号,或接收来自环境探测装置的触发信号,将触发信号发送至接收装置,接收装置根据上述触发信号做出相应操作(如喷水、喷气、发声、灯光、测距、定位等),以提示用户;指引采集模块采集用户的即时响应作为交互信息,例如,面部表情变化、瞳孔状态变化等,将采集到的用户即时响应,即交互信息发送给信息处理模块。
所述触发方式包括以下一种或多种:a依据传感器所采集信息进行触发;所述传感器采集信息,包括但不限于摄像头、麦克风、重力感应传感器、GPS、蓝牙、网络信息等;b依据无线采集信号进行触发;c依据用户操作进行触发;所述操作包括但不限于点击触摸屏或所述设备的特殊按键;d根据场景设置传递的虚拟触发信号进行触发。
优选地,当使用摄像头进行采集信息时,可以使用人脸识别进行触发。
进一步地,输出的方式包括:a输出包括用户选择的多支线情节的剧情;b输出虚拟动画模型;c输出选择菜单,所述菜单可以包括:执行操作、剧情选择。
进一步地,所述人机交互模块还包括仿生反馈模块,所述仿生反馈模块用于:基于所述输出的交互式多媒体内容执行操作,所述操作包括:基于所述输出多媒体内容,启动数据传送模块,并通过数据传送模块发送和多媒体内容相对应的信息,可携式终端所连接的数据接收设备接收所述信息,并执行相应功能。
优选地,所述数据接收设备为外接设备,例如项圈、头盔或辅助道具等,并具有多种功能,包括但不限于:喷水、喷气、发声、灯光、测距、定位。
进一步地,所述自适应分支输出模块还用于:当用户接收到相应信号时,基于所述采集模块采集的用户信息,判断所述剧情剧烈程度;若用户信息判断结果为情绪紧张,则选择设定的舒缓的交互多媒体内容。
优选地,所述采集信息是实时采集用户信息以及反馈信息。
优选地,通过摄像头采集用户面部图像,通过面部图像判断所述用户面部表情,若面部表情为紧张,则进行交互多媒体内容切换,切换为舒缓的交互多媒体内容。如果用户面部表情为舒缓,则进行交互多媒体内容切换,切换为紧张的交互多媒体内容。
所述操作还可以是:用户通过麦克风进行吹气;麦克风收集吹气的强度,并将强度转换为相应数值;根据所述数值进行多媒体内容的播放控制。
所述播放控制包括但不限于以下选项:播放开始、结束、快进、快退、剧情选择、交互多媒体内容切换等。
进一步地,所述方法还包括追踪判断模块,用于采集用户反馈信息,根据其反馈信息进行判断,自适应分支输出模块继续依据反馈信息确定后续预输出多媒体内容,直至多媒体内容播放结束。
根据本发明的另一个方面,还提供一种移动终端,包括以上所述的系统。
根据本发明的另一个方面,还提供一种计算机可读介质,包括存储单元以及存储在其上的计算机程序,所述计算机程序运行时执行上述的方法。
本发明的有益效果在于:本发明通过多种触发手段精准反应了用户的意图,增强用户观影的体验。通过仿生反馈的操作,使用户与多媒体内容进行深入交互,得到更逼真的参与感和沉浸感,具有极高的趣味性,同时根据用户反馈对后续操作进行调整,以削弱用户的不适感或增进用户的愉悦感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例仿生交互系统结构示意图;
图2a和图2b为本发明实施例方式交互方法流程图
图3为本发明实施例仿生交互生成系统结构示意图
图4a、图4b和图4c为本发明实施例仿生交互生成方法流程图
图5为本发明实施例吹气互动模块效果图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的一种能够给用户带来较强沉浸感,可实现用户意图提升用户体验的仿生交互系统和方法。
图1为本发明实施例仿生交互系统结构示意图,如图1所示:
本发明的目的就是为了克服上述现有技术存在的问题而提供一种能够给用户带来较强沉浸感,可实现用户意图提升用户体验的仿生交互系统、方法及移动设备。
根据本发明的一个方面,本发明提供了一种可携式终端,包括并且不仅限于智能手机、平板电脑、笔记本电脑等具备下述仿生交互系统并可执行下述交互方法的设备。
根据本发明的一个方面,提供了一种仿生交互系统,该系统包括:获取模块、存储模块、信息处理模块、发送模块、人机交互模块。
所述存储模块存储多媒体内容;
所述获取模块,至少包括触屏感应模块、传感器感应模块、无线传输模块、摄像头感应模块之一。
所述获取模块,触发获取模块并采集用户信息。
所述人机交互模块,至少包括多支线情节互动模块、模型互动模块、声波互动模块、语音互动模块、传感器互动模块、蓝牙互动模块、手势互动模块、AR互动模块、人脸识别互动模块。
所述人机交互模块,根据所述用户信息触发人机交互,并接收交互信息输入;
所述信息处理模块,根据所述人机交互确定预输出的多媒体内容,并输出交互式多媒体内容。
所述发送模块,将信息处理模块的互动结果反馈到可携式终端设备上。
进一步地,所述系统还包括仿生反馈模块。所述仿生反馈模块基于所述输出的交互式多媒体内容执行操作。
图2a和图2b为本发明实施例方式交互方法流程图,如图2a和图2b所示:
根据本发明的另一个方面,提供了一种仿生交互方法。具体步骤如下:获取模块获取感应模块信息;根据所述感应模块的信息,发出和感应模块相对应的命令;进入人机互动模块,进行人机互动;根据接收的命令,以及统计数据,由人工智能模块模拟人的思维模式,做出响应的指令;根据接收的指令与数据,由信息处理模块反馈相应的互动结果;将所述信息处理模块反馈的互动结果反馈到可携式终端。
所述存储模块,储存受到的各项命令。
所述感应模块,至少包括以下模块之一:
触屏感应模块:获取可携式终端设备屏幕的触屏信息;
传感器感应模块:获取可携式终端设备的陀螺仪、感光元件、重力感应器等传感器的信息;
无线传输模块:获取可携式终端设备的无线传输装置的权限,并根据需要发出无线传输信号;
摄像头感应模块:获取可携式终端设备的摄像头权限,并取得摄像头所捕捉的显示画面信息。
所述人机互动模块,至少包括以下模块之一:
多支线情节互动模块:为可携式终端交互影视节目提供多支线情节互动功能;
模型互动模块:为可携式终端交互影视节目提供模型互动功能;
语音互动模块:为可携式终端交互影视节目提供语音互动功能;
传感器互动模块:为可携式终端交互影视节目提供传感器互动功能;
蓝牙互动模块:为可携式终端交互影视节目提供蓝牙互动功能;
手势互动模块:为可携式终端交互影视节目提供手势互动功能。
图3为本发明实施例仿生交互生成系统结构示意图。如图3所示:
根据本发明的另一个方面,提供给了一种仿生交互生成系统,该系统包括:信息获取模块、素材处理模块、存储模块、视频播放模块、多媒体交互编辑模块、编译输出模块、人机互动模块、人工智能模块、权限调用模块、感应模块。
所述信息获取模块和素材处理模块、存储模块互相连接,视频播放模块与多媒体交互编辑模块连接,编译输出模块与多媒体交互编辑模块相连接。
所述仿生交互生成系统还包括开发界面,将上述模块的功能可视化集成在界面上。
所述人机互动模块,至少包括以下模块之一:
多支线情节互动模块:为可携式终端交互影视节目提供多支线情节互动功能;
模型互动模块:为可携式终端交互影视节目提供模型互动功能;
语音互动模块:为可携式终端交互影视节目提供语音互动功能;
传感器互动模块:为可携式终端交互影视节目提供传感器互动功能;
蓝牙互动模块:为可携式终端交互影视节目提供蓝牙互动功能;
手势互动模块:为可携式终端交互影视节目提供手势互动功能;
声波互动模块:为可携式终端交互影视节目提供声波互动功能;
AR互动模块:为可携式终端交互影视节目提供AR互动功能;
人脸识别互动模块:为可携式终端交互影视节目提供人脸识别互动功能。
所述权限调用模块,分别与感应模块、人机交互模块、人工智能模块相连接。
所述感应模块,至少包括以下模块之一:
触屏感应模块:获取可携式终端设备屏幕的触屏信息;
传感器感应模块:获取可携式终端设备的陀螺仪、感光元件、重力感应器等传感器的信息;
无线传输模块:获取可携式终端设备的无线传输装置的权限,并根据需要发出无线传输信号;
摄像头感应模块:获取可携式终端设备的摄像头权限,并取得摄像头所捕捉的显示画面信息。
图4a、图4b和图4c为本发明实施例仿生交互生成方法流程图。如图4a、图4b和图4c所示:
根据本发明的另一个方面,提供了一种仿生交互生成方法。具体步骤如下:制作素材:在Premiere、Photoshop、Audition、Maya等软件中制作、处理交互影视节目所需要的多媒体内容,包括:影视、音频、图片、模型素材等,并导出相应格式;进入开发界面;导入:在多媒体交互平台中将交互影视节目所需的多媒体内容导入多媒体交互平台,并分配到各互动模块进行处理;权限调用:在权限调用模块中调用可携式终端设备元件的权限;进入感应模块,并根据感应模块的各个模块的具体功能不同进入不同的人机互动模块;进入人工智能模块,设置AI选择回馈机制,统筹归纳互动数据,并匹配相应的结果指令到互动模块;编辑:各人机互动模块中设置好内容与素材后,进入多媒体交互编辑模块串联视频与人机互动模块,设置播放逻辑与顺序;导出:在及多媒体交互平台中编译并根据播放平台输出交互影视节目。
所述播放平台对应的类型包括:IOS端交互影视节目、android端交互影视节目、windows端交互影视节目、鸿蒙端交互影视节目。
根据本发明的另一个方面,提供了一种仿生交互方法。所述方法,包括:S1:播放交互式多媒体资源;S2:启动获取模块,采集用户信息;S3:根据用户信息触发人机交互模块,并接收人机交互信息输入;S4:启动信息处理模块,根据所述交互信息输入确定后续交互多媒体内容,并进行输出。
进一步地,所述步骤S3包括:根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈。具体包括:接收来自场景的虚拟触发信号,或接收来自环境探测装置的触发信号,将触发信号发送至接收装置,接收装置根据上述触发信号做出相应操作(如喷水、喷气、发声、灯光、测距、定位等),以提示用户;采集模块采集用户的即时响应作为交互信息,例如,面部表情变化、瞳孔状态变化等,将采集到的用户即时响应,即交互信息发送给信息处理模块。
所述触发方式包括以下一种或多种:a依据传感器所采集信息进行触发;所述传感器采集信息,包括但不限于摄像头、麦克风、重力感应传感器、GPS、蓝牙、网络信息等;b依据无线采集信号进行触发;c依据用户操作进行触发;所述操作包括但不限于点击触摸屏或所述设备的特殊按键;d根据场景设置传递的虚拟触发信号进行触发。
优选地,当使用摄像头进行采集信息时,可以使用人脸识别进行触发。
进一步地,所述步骤S4:输出的方式包括:a输出包括用户选择的多支线情节的剧情;b输出虚拟动画模型;c输出选择菜单,所述菜单可以包括:执行操作、剧情选择。
进一步地,所述人机交互模块还包括仿生反馈模块,所述步骤S3还包括:仿生反馈模块基于所述输出的交互多媒体内容执行操作,所述操作包括:基于所述输出多媒体内容,启动蓝牙,并通过蓝牙发送和多媒体内容相对应的信息,可携式终端所连接的蓝牙设备接收所述信息,并执行相应功能。
优选地,所述蓝牙设备为可穿戴设备,例如项圈、头盔或辅助道具等,并具有多种功能,包括但不限于:喷水、喷气、发声、灯光、测距、定位。
进一步地,所述方法还具有步骤S6:当用户接收到功能时,所述采集模块采集用户信息,依据所述用户信息判断所述剧情剧烈程度;若用户信息判断结果为情绪紧张,则选择设定的舒缓的后续交互多媒体内容。
优选地,通过摄像头采集用户面部图像,通过面部图像判断所述用户面部表情,若面部表情为紧张,则进行交互多媒体内容切换,切换为舒缓的后续交互多媒体内容。如果用户面部表情为舒缓,则进行交互多媒体内容切换,切换为紧张的后续交互多媒体内容。
所述操作还可以是:用户通过麦克风进行吹气;麦克风收集吹气的强度,并将强度转换为相应数值;根据所述数值进行多媒体内容的播放控制。
所述播放控制包括但不限于以下选项:播放开始、结束、快进、快退、剧情选择、交互多媒体内容的切换等。如图5所示为本发明实施例吹气互动模块效果图。
进一步地,所述方法还包括步骤S5:采集用户反馈信息,根据其反馈信息进行判断,并返回步骤S4,继续依据反馈信息确定后续预输出多媒体内容,直至多媒体内容播放结束。
优选地,所述采集信息是实时采集用户信息以及反馈信息。
上述的各方法还可以以计算机程序的方式存储于计算机可读介质中。
本发明的有益效果在于:本发明通过多种触发手段精准反应了用户的意图,增强用户观影的体验。通过仿生反馈的操作,使用户与多媒体内容进行深入交互,得到更逼真的参与感和沉浸感,具有极高的趣味性。
虽然已经参考优选实施例对本发明进行了描述,但在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,各个实施例中所提到的各项技术特征均可以任意方式组合起来。以上仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.一种仿生交互系统,其特征在于,该系统包括:获取模块、存储模块、信息处理模块、发送模块、人机交互模块;所述获取模块,触发获取模块并采集用户信息; 所述人机交互模块,根据所述用户信息触发人机交互,并接收交互信息输入;所述信息处理模块,根据所述人机交互确定预输出的多媒体内容,并输出交互式多媒体内容;所述发送模块,将信息处理模块的互动结果反馈到可携式终端设备上。
2.如权利要求1所述的仿生交互系统,其特征在于,所述系统还包括仿生反馈模块,所述仿生反馈模块基于所述输出的交互式多媒体内容执行操作。
3.如权利要求1所述的仿生交互系统,其特征在于,所述获取模块,至少包括触屏感应模块、传感器感应模块、无线传输模块、摄像头感应模块之一;所述人机交互模块,至少包括多支线情节互动模块、模型互动模块、声波互动模块、语音互动模块、传感器互动模块、蓝牙互动模块、手势互动模块、AR互动模块、人脸识别互动模块之一。
4.一种仿生交互方法,其特征在于,所述方法的具体步骤如下:获取模块获取感应模块信息;根据所述感应模块的信息,发出和感应模块相对应的命令;进入人机互动模块,进行人机互动;根据接收的命令,以及统计数据,由人工智能模块模拟人的思维模式,做出响应的指令;根据接收的指令与数据,由信息处理模块反馈相应的互动结果;将所述信息处理模块反馈的互动结果反馈到可携式终端。
5.一种仿生交互生成系统,其特征在于,该系统包括:信息获取模块、素材处理模块、存储模块、视频播放模块、多媒体交互编辑模块、编译输出模块、人机互动模块、人工智能模块、权限调用模块、感应模块;所述信息获取模块和素材处理模块、存储模块互相连接,视频播放模块与多媒体交互编辑模块连接,编译输出模块与多媒体交互编辑模块相连接;所述仿生交互生成系统还包括开发界面,将上述模块的功能可视化集成在界面上。
6.一种仿生交互生成方法,其特征在于,所述方法具体步骤如下:制作素材:在Premiere、Photoshop、Audition、Maya等软件中制作、处理交互影视节目所需要的多媒体内容,包括:影视、音频、图片、模型素材等,并导出相应格式;进入开发界面;导入:在多媒体交互平台中将交互影视节目所需的多媒体内容导入多媒体交互平台,并分配到各互动模块进行处理;权限调用:在权限调用模块中调用可携式终端设备元件的权限;进入感应模块,并根据感应模块的各个模块的具体功能不同进入不同的人机互动模块;进入人工智能模块,设置AI选择回馈机制,统筹归纳互动数据,并匹配相应的结果指令到互动模块;编辑:各人机互动模块中设置好内容与素材后,进入多媒体交互编辑模块串联视频与人机互动模块,设置播放逻辑与顺序;导出:在及多媒体交互平台中编译并根据播放平台输出交互影视节目。
7.一种仿生交互方法,其特征在于,包括:S1:播放交互式多媒体资源;S2:启动获取模块,实时采集场景/环境信息;S3:根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈;S4:启动信息处理模块,根据所述交互信息反馈确定后续预输出多媒体内容,并进行输出;S5:采集用户反馈信息,根据其反馈信息进行判断,并返回步骤S4,依据反馈信息确定后续预输出多媒体内容,直至多媒体内容播放结束。
8.一种仿生交互系统,其特征在于,包括:播放模块,用于播放交互式多媒体资源;采集模块,用于启动获取模块,采集场景/环境信息;人机互动模块,用于根据场景/环境信息触发人机交互模块,并接收人机交互信息反馈;自适应分支输出模块,用于启动信息处理模块,根据所述交互信息反馈确定后续预输出多媒体内容,并进行输出;追踪判断模块,用于采集用户反馈信息,根据其反馈信息进行判断,自适应分支输出模块继续依据反馈信息确定后续预输出多媒体内容,直至多媒体内容播放结束。
9.一种移动终端,其特征在于,包括权利要求1-3、5、8任一所述的系统。
10.一种计算机可读介质,包括存储单元以及存储在其上的计算机程序,所述计算机程序运行时执行权利要求4、6-7任一所述的方法。
CN201911024512.0A 2019-10-25 2019-10-25 一种仿生交互系统、方法及相应的生成系统和方法 Pending CN110764618A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911024512.0A CN110764618A (zh) 2019-10-25 2019-10-25 一种仿生交互系统、方法及相应的生成系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911024512.0A CN110764618A (zh) 2019-10-25 2019-10-25 一种仿生交互系统、方法及相应的生成系统和方法

Publications (1)

Publication Number Publication Date
CN110764618A true CN110764618A (zh) 2020-02-07

Family

ID=69333736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911024512.0A Pending CN110764618A (zh) 2019-10-25 2019-10-25 一种仿生交互系统、方法及相应的生成系统和方法

Country Status (1)

Country Link
CN (1) CN110764618A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472050A (zh) * 2020-12-10 2021-03-12 郑子龙 一种仿生方法、电子设备、计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981738A (zh) * 2012-10-31 2013-03-20 北京百度网讯科技有限公司 通过麦克风与网页进行交互的方法、系统及浏览器
CN104298722A (zh) * 2014-09-24 2015-01-21 张鸿勋 多媒体交互系统及其方法
CN105574478A (zh) * 2015-05-28 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种信息处理的方法和装置
CN105792003A (zh) * 2014-12-19 2016-07-20 张鸿勋 交互式多媒体生产系统和方法
WO2017071402A1 (zh) * 2015-10-30 2017-05-04 中国移动通信集团公司 触发互动应用的方法和设备
CN109240564A (zh) * 2018-10-12 2019-01-18 武汉辽疆科技有限公司 人工智能实现交互式多剧情动画分支的装置及方法
CN109434833A (zh) * 2018-11-19 2019-03-08 深圳市天博智科技有限公司 Ai智能编程仿生机器人的控制系统、方法及存储介质
CN110363079A (zh) * 2019-06-05 2019-10-22 平安科技(深圳)有限公司 表情交互方法、装置、计算机装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981738A (zh) * 2012-10-31 2013-03-20 北京百度网讯科技有限公司 通过麦克风与网页进行交互的方法、系统及浏览器
CN104298722A (zh) * 2014-09-24 2015-01-21 张鸿勋 多媒体交互系统及其方法
CN105792003A (zh) * 2014-12-19 2016-07-20 张鸿勋 交互式多媒体生产系统和方法
CN105574478A (zh) * 2015-05-28 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种信息处理的方法和装置
WO2017071402A1 (zh) * 2015-10-30 2017-05-04 中国移动通信集团公司 触发互动应用的方法和设备
CN109240564A (zh) * 2018-10-12 2019-01-18 武汉辽疆科技有限公司 人工智能实现交互式多剧情动画分支的装置及方法
CN109434833A (zh) * 2018-11-19 2019-03-08 深圳市天博智科技有限公司 Ai智能编程仿生机器人的控制系统、方法及存储介质
CN110363079A (zh) * 2019-06-05 2019-10-22 平安科技(深圳)有限公司 表情交互方法、装置、计算机装置及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472050A (zh) * 2020-12-10 2021-03-12 郑子龙 一种仿生方法、电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11620984B2 (en) Human-computer interaction method, and electronic device and storage medium thereof
CN109819313B (zh) 视频处理方法、装置及存储介质
CN111163274B (zh) 一种视频录制方法及显示设备
CN104935980B (zh) 互动信息处理方法、客户端及服务平台
CN107704169B (zh) 虚拟人的状态管理方法和系统
CN112040263A (zh) 视频处理方法、视频播放方法、装置、存储介质和设备
CN105957530A (zh) 一种语音控制方法、装置和终端设备
CN103634683A (zh) 对智能电视进行截屏的方法及装置
US20230047858A1 (en) Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication
CN107480766B (zh) 多模态虚拟机器人的内容生成的方法和系统
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
WO2022121592A1 (zh) 一种直播互动方法及装置
CN111343473B (zh) 直播应用的数据处理方法、装置、电子设备及存储介质
CN105721904B (zh) 显示装置和控制显示装置的内容输出的方法
US11671657B2 (en) Method and apparatus for shared viewing of media content
CN112165627B (zh) 信息处理方法、装置、存储介质、终端及系统
CN108133708B (zh) 一种语音助手的控制方法、装置及移动终端
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
CN112261481A (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN110062281B (zh) 一种播放进度调节方法及其终端设备
CN110908638A (zh) 一种操作流创建方法及电子设备
CN112752159B (zh) 一种互动方法和相关装置
CN110764618A (zh) 一种仿生交互系统、方法及相应的生成系统和方法
US20230067387A1 (en) Method for music generation, electronic device, storage medium cross reference to related applications
CN112820265B (zh) 一种语音合成模型训练方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination