CN110647780A - 一种数据处理方法、系统 - Google Patents

一种数据处理方法、系统 Download PDF

Info

Publication number
CN110647780A
CN110647780A CN201810580759.XA CN201810580759A CN110647780A CN 110647780 A CN110647780 A CN 110647780A CN 201810580759 A CN201810580759 A CN 201810580759A CN 110647780 A CN110647780 A CN 110647780A
Authority
CN
China
Prior art keywords
characteristic data
sound
data
image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810580759.XA
Other languages
English (en)
Inventor
杨维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastern Union Animation Co Ltd
Original Assignee
Eastern Union Animation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastern Union Animation Co Ltd filed Critical Eastern Union Animation Co Ltd
Priority to CN201810580759.XA priority Critical patent/CN110647780A/zh
Publication of CN110647780A publication Critical patent/CN110647780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例公开了一种数据处理方法、系统,所述方法包括:获取表演者的第一图像特征数据和第一声音特征数据;根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;获取观众的第二图像特征数据和第二声音特征数据;通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。不同于传统的授课方式,教师可以不与学生面对面交互,而是根据教师的表情特征数据或者动作特征数据,处理得到第一虚拟图像,这些虚拟形象可以预先设定好的能够与教师的表情或者动作同步实时呈现给学生,并且学生可以与第一虚拟图像进行实时互动,改变传统的教学方式。

Description

一种数据处理方法、系统
技术领域
本说明书涉及计算机技术领域,尤其涉及一种数据处理方法、系统。
背景技术
目前,针对孩子的授课方式通常是由老师在讲台上为下面众多学生进行面对面授课。
在现有技术中,为了增强学生上课的趣味性,尤其是为了吸引年龄较小(比如,学前儿童)的上课兴趣,通常会播放动画、视频等课件,通过问答形式加强师生互动。这样的上课效果,对年龄较小的学生吸引力不足;而且教师备课需要花费很多的时间。
基于现有技术,需要能够提升师生实时互动的体验效果的方案。
发明内容
本说明书实施例提供的数据处理方法、系统,用于解决以下技术问题:需要能够提升师生实时互动的体验效果的方案。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据处理方法,包括:
获取表演者的第一图像特征数据和第一声音特征数据;
根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
获取观众的第二图像特征数据和第二声音特征数据;
通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
本说明书实施例提供的一种数据处理系统,包括:
第一获取设备,获取表演者的第一图像特征数据和第一声音特征数据;
第一呈现设备,根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
第二获取设备,获取观众的第二图像特征数据和第二声音特征数据;
第二呈现设备,通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
本说明书实施例提供的一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取表演者的第一图像特征数据和第一声音特征数据;
根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
获取观众的第二图像特征数据和第二声音特征数据;
通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
不同于传统的授课方式,在上述技术方案基础上,教师可以不与学生面对面进行交互,而是通过获取教师的表情特征数据或者动作特征数据,经过处理得到第一虚拟图像,这些虚拟形象可以预先设定好的能够与教师的表情或者动作实时同步呈现给学生。第一虚拟图像可以有很多种风格和效果,以及多种呈现方式,并且学生可以与第一虚拟图像进行实时互动,使得学生更有学习兴趣,改变传统的教学方式。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书的方案在实际应用场景下涉及的基于教学场景的数据处理的示意图;
图2为本说明书实施例提供的一种数据处理方法的流程示意图;
图3a、3b、3c为本说明书实施例提供的呈现效果的示意图;
图4为本说明书实施例提供的第一虚拟图像变换的示意图;
图5为本说明书实施例提供的一种数据处理系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
如前所述,现有的教学方式中,教师与学生通常是面对面互动,或者通过视频远程教学。若采用远程教学,互动效果较差。若采用面对面交互,尤其是教师面对学前儿童的教学,往往需要老师教学、舞蹈、唱歌、外语等多才多艺,加强互动频率,通过各种方式提升互动效果,对教师的要求较高,往往需要聘请多名专职的老师来进行对应科目的教学,因此,需要投入更多的人力成本。
为此,本说明书实施例提供了一种数据处理方法,该方法可以针对需要表演者与观众互动等娱乐或者教学等提供新的呈现方式和效果。需要说明的是,在本申请实施例应用中,表演者(比如,教师)的数量可以是一个或者多个,观众(比如,学生)的数量也可以是一个或者多个。容易理解,当表演者有多个人时,所述第一图像特征数据和所述第一声音特征数据也可以是多个,换言之,可以是多个表演者分别对应的多个第一图像特征数据和多个第一声音特征数据。为了便于理解,下面以一个表演者对应多个观众为例进行说明,但并不构成对本发明技术方案的限制。
图1为本说明书的方案在一种实际应用场景下涉及的基于教学场景的数据处理的示意图。本说明书技术方案实际应用场景可以是在教室或者定制的教学空间中,并将该空间分为两个部分,第一空间是观众(比如学生)所在空间,第二空间是表演者(比如,教师)所在空间。在第一空间中,设置第一呈现设备(比如,包括大尺寸显示屏以及扩音器)面向学生,将教师的实时的虚拟图像通过第一呈现设备呈现;设置第一采集设备获取学生的实时图像和声音。在第二空间中,设置第二呈现设备(比如,显示屏和扬声器)面向教师,使得教师可以看到、听到每个学生的反馈信息;设置第二采集设备对教师特征进行采集。
这里所说的第二采集设备能够采集表演者(比如教师)的面部表情、肢体动作中的至少一种。在本说明书实施例中,第二采集设备可以是诸如:摄像机、相机、摄像头、手机、平板电脑等具有图像采集功能的设备;也可以是:可穿戴的动作捕捉传感器,而这里所述的动作捕捉传感器进一步可以是机械式、声学式、电磁式或光学式的传感器,具体可根据实际应用的需要进行确定,在此并不应作为对本申请的限定;在第二空间中还包括用于采集表演者(比如教师)声音的采集设备(比如,话筒)。第一采集设备可以是摄像机、相机、摄像头、手机、平板电脑等具有图像采集功能的设备,同时还可以包括话筒等以便对观众声音进行采集的设备。
本说明书实施例提供一种数据处理方法,如图2为本说明书实施例提供的一种数据处理方法的流程示意图,具体可以包括:
步骤S202:获取表演者的第一图像特征数据和第一声音特征数据。
在实际应用中,为了提升表演者与观众之间的互动效果,通常需要同时采集表演者的表情特征、肢体动作特征等作为第一图像特征数据;观众与表演者之间的交谈互动,则需要采集表演者的第一声音特征数据。这里的第一图像特征数据和第一声音特征数据,都是实时采集得到的数据。
需要说明的是,这里所说的表情特征数据,包括:表演者的眼部动作特征数据、嘴部特征数据等。在获取到对应的表情特征数据之后,可以根据预设的风格类型,得到对应风格的表情形象。动作特征数据可以理解为肢体动作特征数据或者手势动作特征数据,可以是利用图像采集设备(例如,手机或者专用设备)基于肢体动作特征或者手势动作特征得到;将表情特征或者动作特征转换为表情或者动作特征数据,可以利用预设算法实现,如果有必要,还可以借助专业设备采集所需特征。
步骤S204:根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音。
需要说明的是,这里所说的第一图像特征数据可以包括表情特征数据和动作特征数据中的至少一个。
数据处理的指令可以是由用户发出数据处理指令,也可以是由生成设备或呈现设备根据用户指定的表情特征数据和动作特征数据,利用预设的生成方式进行生成。
这里所说的第一虚拟图像,可以是通过视频的形式所呈现出的进行处理后得到的形象,比如,卡通形象、动物形象、明星形象或者虚构出的形象等;需要强调的是,这里的虚拟图像是基于表演者(比如,教师)的面部表情特征或者肢体动作特征获得的,并非完全虚拟的;而且第一虚拟图像与表演者(比如,教师)的表情、动作是实时同步的。这里所说的第一虚拟声音,可以是对表演者所发出的声音(比如,说话或者唱歌)进行处理(比如,改变声调、音色等)。
步骤S206:获取观众的第二图像特征数据和第二声音特征数据。
这里所说的第二图像特征数据,是包含所有观众在内的图像对应特征数据,以便表演者可以看到每个观众的动作、表情等,可以实现面对面互动(比如,教学)的效果,能够提升用户体验。第二声音特征数据是实时采集到的观众所在空间(比如,教室)所发出的声音(比如,学生提问或者回答问题的声音,学生私下交谈的声音);为了能够更全面的获取第二声音特征,可以在每个观众(比如学生)的作为附近安装一个声音采集设备。
步骤S208:通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
这里的第二呈现设备主要是为了用于为表演者(比如,教师)提供现场观众(比如,学生)的表现状态(表情、动作)等信息,不需要对观众的形象、声音进行处理。
需要说明的是,这里所说的实时呈现,可以理解为观众的表情、动作、声音等可以实时、真实(未经特效处理)的通过第二呈现设备呈现。在实际应用中,实时呈现可能存在细微的时间差(比如,由于数据传输速度的影响),但是这个时间差对用户的影响不是很明显。
这里所说的真实图像包括采集到的用户本身具有的所见即所得的形象,不需要对该形象特征做进一步处理。虚拟图像包括基于采集到的原始形象的特征数据,经过图像处理或虚构出的形象,例如,卡通形象等。组合形象可以理解为基于实际形象与虚拟形象相结合,例如,在获得的所见即所得的人物实际面部表情的基础上进行美化处理。
这里所说的虚拟图像可以有很多种风格形象,可以是卡通风格、水墨风格、VR(Virtual Reality,虚拟现实)或者素描风格等等。例如,预设的风格形象中,还包括水墨风格的背景,进一步地将人物的表情和肢体动作转换为水墨风格,与水墨背景共同构成动态形象。
基于上述实施例可以了解到,不同于传统的授课方式,在上述技术方案基础上,教师可以不与学生面对面进行交互,而是通过获取教师的表情特征数据或者动作特征数据,经过处理得到第一虚拟图像,这些虚拟形象可以预先设定好的能够与教师的表情或者动作实时同步呈现给学生。第一虚拟图像可以有很多种风格和效果,以及多种呈现方式,并且学生可以与第一虚拟图像进行实时互动,使得学生更有学习兴趣,改变传统的教学方式。
在本说明书一个或者多个实施例中,所述第一图像特征数据包括表情特征数据和动作特征数据中至少一种。
在实际应用中,基于表演者的表情特征和动作特征获取分别对应的表情特征数据和动作特征数据的过程,可以是分开进行的,也就是,基于表演者的表情特征利用预设的机器学习模型得到所需的表情特征数据,基于表演者的动作特征利用预设的机器学习模型得到所需的动作特征数据,进一步地将表情特征数据和动作特征数据进行合成,得到动态形象。当然,为了简化操作,还可以同时采集表演者的动作特征和表情特征,直接生成同时包含动作特征数据和表情特征数据的动态形象。例如,可以预设一个包括面部和肢体的完整动态形象模型,当采集到表演者的动作特征和表情特征之后,基于训练好的机器学习模型,可以直接基于动作特征和表情特征生成动态形象。
在本说明书一个或者多个实施例中,至少一个所述表演者和至少一个所述观众位于相同或者不同的地理位置。
基于本申请实施例技术方案可以了解到,表演者与观众、教师与学生,不需要面对面进行交互,同样可以体验到面对面交互的效果,并且还能够获得更好、更丰富多样的形象呈现效果。
比如,如图3a和3b所示,众多学生可以分别在自己家里,教师可以在指定场所(能够对教师表情、动作特征进行采集的场所),通过本技术方案实现学生与老师之间的教学互动。当然,为了便于对学生的管理,可以在同一个教室分割为两个空间,分别为前文所述的学生所在空间(第一空间)和教师所在空间(第二空间);为了保证体验效果,第一空间与第二空间是分割开的,隔音效果比较好。
为了获得更好的互动效果,如图3c所示,可以由多个教师在同一个空间(也可以在不同空间)同时与学生进行互动授课,比如,一个教师唱歌,另外一个教师伴舞。更进一步地,可以将实时采集到的两个老师的动作特征数据和表情特征数据进行融合。
在本说明书一个或者多个实施例中,若所述第一图像特征数据为表情特征数据;所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:获取表演者与所述观众互动时的所述表情特征数据和第一声音特征数据。
在有些应用场景中,比如,教师在通过第一呈现设备进行视频或者课件展示时,由于屏幕空间有限,所以只需要展示教师的面部,无需展示教师的肢体动作等。因此,仅需要采集教师的表情特征数据和第一声音特征数据。
在本说明书一个或者多个实施例中,若所述第一图像特征数据为动作特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体可以包括:获取表演者与所述观众互动时的所述动作特征数据和第一声音特征数据。
在某些科目的教学中,比如,舞蹈、武术动作教学中,学生需要重点学习的是教师的肢体动作;因此,可以通过采集设备采集教师的肢体动作特征,以及教师对教学内容进行解释时的第一声音特征数据。
在本说明书一个或者多个实施例中,所述表演者包括第一表演者和第二表演者;所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:获取所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据;获取所述第一表演者或所述第二表演者的第一声音特征数据。
在实际应用中,所述表情特征数据和所述动作特征数据的采集方式:通过第一采集设备采集第一用户的表情特征数据;通过第二采集设备采集第二用户的动作特征数据。
需要说明的是,这里所说的第一采集设备和第二采集设备可以是同一个采集设备,也可以是不同的采集设备。第一用户和第二用户代表不同的两个用户。
例如,第一用户表情表演能力较好,第二用户的动作表演能力较好。第一用户可以通过第一采集设备获取其自身的表情特征数据,第二用户通过第二采集设备采集到的第二用户的动作特征数据,进一步地将所述动作特征数据与第一用户提供的表情特征数据相结合,得到合成后的动态形象,即,具有第一用户表情形象和第二用户动作形象的动态图像或视频。
在本说明书一个或者多个实施例中,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体可以包括:获取所述表演者的所述表情特征数据,以及预存储的动作特征数据;根据所述预设的数据处理方式,实时合成所述表情特征数据和所述预存储的动作特征数据,获得所述第一虚拟图像;根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
在实际应用中,为了满足表演者多样化需求,可以将表情特征数据和/或动作特征数据在使用前后进行存储,一种比较简便的存储方式是存储在本地存储设备,但是如果特征数据占用存储空间过大,也可以存储在服务器端存储设备中,该服务器端存储设备能够为多个用户提供很多的表情特征数据和动作特征数据;同时,用户可以根据自己的需要随意组合,得到不同的动态形象。例如,表情特征数据和动作特征数据的原文件存储在服务器端存储设备中,对应的经过压缩的数据(例如,缩略图)可以存储在本地存储设备中,以便用户选择所需的数据。
需要说明的是,不仅可以实时获取表情特征数据,预存储动作特征数据;还可以实时获取动作特征数据,预存储表情特征数据。
在本说明书一个或者多个实施例中,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体可以包括:根据所述预设的数据处理方式,实时合成所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据,获得所述第一虚拟图像;根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
例如,在一些教学场景中,需要教师唱歌、跳舞同时进行。假设,一名教师(第一表演者)擅长唱歌、另一名教师(第二表演者)擅长跳舞,可以通过采集设备分别采集表情特征数据和动作特征数据,然后对采集到的第一表演者的表情特征数据和第二表演者的动作特征数据进行数据处理(比如,将表情与动作相结合,得到一个虚拟人体图像),得到第一虚拟图像。第一声音特征数据是第一表演者唱歌的声音,可以是其实际声音,也可以进一步美化处理(比如,改变声调、音色等)。在实际应用中,第一声音特征数据从第一表演者或者第二表演者中任何一方采集获得。
在本说明书一个或者多个实施例中,所述通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体可以包括:通过所述第一呈现设备,向所述观众实时、动态变换呈现处理得到的第一虚拟形象和所述第一虚拟声音。
例如,如图4所示,假设教师在与学生进行互动教学时,为了满足多样性和趣味性,基于教师呈现的第一虚拟图像可以根据用户指令或者触发条件进行改变的。具体来说,假设,当前教师呈现给学生的虚拟形象是小熊猫,教师对学生进行提问,其中,a学生回答错误,为了表示对学生的惩罚或者表示教师内心的不满,虚拟形象可以瞬间由小熊猫变换为老虎,并发出老虎的吼声。
基于同样的思路,本说明书实施例还提供一种数据处理系统,如图5所示为本说明书实施例提供的一种数据处理系统的示意图,具体包括:
第一获取设备501,获取表演者的第一图像特征数据和第一声音特征数据;
第一呈现设备502,根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
第二获取设备503,获取观众的第二图像特征数据和第二声音特征数据;
第二呈现设备504,通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
进一步地,所述第一图像特征数据包括表情特征数据和动作特征数据中至少一种。
进一步地,至少一个所述表演者和至少一个所述观众位于相同或者不同的地理位置。
进一步地,若所述第一图像特征数据为表情特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时的所述表情特征数据和第一声音特征数据。
进一步地,若所述第一图像特征数据为动作特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时的所述动作特征数据和第一声音特征数据。
进一步地,所述表演者包括第一表演者和第二表演者;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据;
获取所述第一表演者或所述第二表演者的第一声音特征数据。
进一步地,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
获取所述表演者的所述表情特征数据,以及预存储的动作特征数据;
根据所述预设的数据处理方式,实时合成所述表情特征数据和所述预存储的动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
进一步地,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
根据所述预设的数据处理方式,实时合成所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
进一步地,所述通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
通过所述第一呈现设备,向所述观众实时、动态变换呈现处理得到的第一虚拟形象和所述第一虚拟声音。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的,因此,装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书实施例可提供为方法、系统、或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种数据处理方法,其特征在于,包括:
获取表演者的第一图像特征数据和第一声音特征数据;
根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
获取观众的第二图像特征数据和第二声音特征数据;
通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
2.如权利要求1所述的方法,其特征在于,所述第一图像特征数据包括表情特征数据和动作特征数据中至少一种。
3.如权利要求1所述的方法,其特征在于,至少一个所述表演者和至少一个所述观众位于相同或者不同的地理位置。
4.如权利要求2所述的方法,其特征在于,若所述第一图像特征数据为表情特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时实时的所述表情特征数据和第一声音特征数据。
5.如权利要求2所述的方法,其特征在于,若所述第一图像特征数据为动作特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时实时的所述动作特征数据和第一声音特征数据。
6.如权利要求2所述的方法,其特征在于,所述表演者包括第一表演者和第二表演者;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据;
获取所述第一表演者或所述第二表演者的第一声音特征数据。
7.如权利要求4所述的方法,其特征在于,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
获取所述表演者的所述表情特征数据,以及预存储的动作特征数据;
根据所述预设的数据处理方式,实时合成所述表情特征数据和所述预存储的动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
8.如权利要求6所述的方法,其特征在于,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
根据所述预设的数据处理方式,实时合成所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
9.如权利要求7或8所述的方法,其特征在于,所述通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
通过所述第一呈现设备,向所述观众实时、动态变换呈现处理得到的第一虚拟形象和所述第一虚拟声音。
10.一种数据处理系统,其特征在于,包括:
第一获取设备,获取表演者的第一图像特征数据和第一声音特征数据;
第一呈现设备,根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音;
第二获取设备,获取观众的第二图像特征数据和第二声音特征数据;
第二呈现设备,通过第二呈现设备实时呈现所述观众的第二真实图像和第二真实声音。
11.如权利要求10所述的系统,其特征在于,所述第一图像特征数据包括表情特征数据和动作特征数据中至少一种。
12.如权利要求10所述的系统,其特征在于,至少一个所述表演者和至少一个所述观众位于相同或者不同的地理位置。
13.如权利要求11所述的系统,其特征在于,若所述第一图像特征数据为表情特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时的所述表情特征数据和第一声音特征数据。
14.如权利要求11所述的系统,其特征在于,若所述第一图像特征数据为动作特征数据;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取表演者与所述观众互动时的所述动作特征数据和第一声音特征数据。
15.如权利要求11所述的系统,其特征在于,所述表演者包括第一表演者和第二表演者;
所述获取表演者的第一图像特征数据和第一声音特征数据,具体包括:
获取所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据;
获取所述第一表演者或所述第二表演者的第一声音特征数据。
16.如权利要求13所述的系统,其特征在于,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
获取所述表演者的所述表情特征数据,以及预存储的动作特征数据;
根据所述预设的数据处理方式,实时合成所述表情特征数据和所述预存储的动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
17.如权利要求15所述的系统,其特征在于,所述根据预设的数据处理方式对所述第一图像特征数据和所述第一声音特征数据进行处理,通过第一呈现设备实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
根据所述预设的数据处理方式,实时合成所述第一表演者的所述表情特征数据和所述第二表演者的所述动作特征数据,获得所述第一虚拟图像;
根据所述预设的数据处理方式,处理所述第一声音特征数据,获得所述第一虚拟声音;
通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音。
18.如权利要求16或17所述的系统,其特征在于,所述通过所述第一呈现设备,向所述观众实时呈现处理得到的第一虚拟图像和第一虚拟声音,具体包括:
通过所述第一呈现设备,向所述观众实时、动态变换呈现处理得到的第一虚拟形象和所述第一虚拟声音。
CN201810580759.XA 2018-06-07 2018-06-07 一种数据处理方法、系统 Pending CN110647780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810580759.XA CN110647780A (zh) 2018-06-07 2018-06-07 一种数据处理方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810580759.XA CN110647780A (zh) 2018-06-07 2018-06-07 一种数据处理方法、系统

Publications (1)

Publication Number Publication Date
CN110647780A true CN110647780A (zh) 2020-01-03

Family

ID=69008564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810580759.XA Pending CN110647780A (zh) 2018-06-07 2018-06-07 一种数据处理方法、系统

Country Status (1)

Country Link
CN (1) CN110647780A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111477055A (zh) * 2020-04-30 2020-07-31 众妙之门(深圳)科技有限公司 基于虚拟现实技术的教师培训系统及方法
CN112071138A (zh) * 2020-09-05 2020-12-11 胡振刚 伴学处理方法和装置、电子装置
WO2024023902A1 (ja) * 2022-07-25 2024-02-01 日本電信電話株式会社 情報処理装置、身振転写方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120655B1 (en) * 2004-12-01 2012-02-21 Molyneux Entertainment Company Interactive theatrical performance
CN102596340A (zh) * 2009-05-29 2012-07-18 微软公司 用于将动画或运动应用到角色的系统和方法
CN106205245A (zh) * 2016-07-15 2016-12-07 深圳市豆娱科技有限公司 沉浸式在线教学系统、方法和装置
CN106373142A (zh) * 2016-12-07 2017-02-01 西安蒜泥电子科技有限责任公司 虚拟人现场互动表演系统及方法
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120655B1 (en) * 2004-12-01 2012-02-21 Molyneux Entertainment Company Interactive theatrical performance
CN102596340A (zh) * 2009-05-29 2012-07-18 微软公司 用于将动画或运动应用到角色的系统和方法
CN106205245A (zh) * 2016-07-15 2016-12-07 深圳市豆娱科技有限公司 沉浸式在线教学系统、方法和装置
CN106373142A (zh) * 2016-12-07 2017-02-01 西安蒜泥电子科技有限责任公司 虚拟人现场互动表演系统及方法
CN106781755A (zh) * 2017-01-18 2017-05-31 广州远大信息发展有限公司 一种基于虚拟现实的教学系统及方法
CN107680069A (zh) * 2017-08-30 2018-02-09 歌尔股份有限公司 一种图像处理方法、装置和终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111477055A (zh) * 2020-04-30 2020-07-31 众妙之门(深圳)科技有限公司 基于虚拟现实技术的教师培训系统及方法
CN112071138A (zh) * 2020-09-05 2020-12-11 胡振刚 伴学处理方法和装置、电子装置
WO2024023902A1 (ja) * 2022-07-25 2024-02-01 日本電信電話株式会社 情報処理装置、身振転写方法およびプログラム

Similar Documents

Publication Publication Date Title
Lemke Video epistemology in-and outside the box: Traversing attentional spaces
Cisneros et al. Virtual reality and choreographic practice: The potential for new creative methods
JP2023501832A (ja) レンズ分割の実現方法、装置および関連製品
CN110647780A (zh) 一种数据处理方法、系统
CN112399249A (zh) 多媒体文件生成方法、装置、电子设备及存储介质
Fickers et al. Doing experimental media archaeology. Epistemological and methodological reflections on experiments with historical objects of media technologies
CN105263038A (zh) 动态显示虚拟观众席的方法和装置
Bulut Digital performance: The use of new media technologies in the performing arts
Young et al. Volumetric video as a novel medium for creative storytelling
Sparacino et al. Museum intelligence: using interactive technologies for effective communication and storytelling in the “Puccini Set Designer” exhibit
US20220360827A1 (en) Content distribution system, content distribution method, and content distribution program
Dange Learning and experiences: A step model
Baker Virtual, artificial and mixed reality: New frontiers in performance
CN106357715A (zh) 发音矫正方法、玩具、移动终端和系统
CN107583291B (zh) 玩具互动方法、装置及玩具
Ivanova Using explainer videos to teach web design concepts
Hosea Substitutive bodies and constructed actors: A practice-based investigation of animation as performance
Voronkin Educational Video in the University: Instruments, Technologies, Opportunities and Restrictions.
Smuseva et al. Research and software development using AR technology
Torpus et al. lifeClipper3—An augmented walking experience field evaluation of an experience design approach for immersive outdoor augmented reality
Daubs Immediacy and Aesthetic Remediation in Television and Digital Media: Mass Media’s Challenge to the Democratization of Media Production
Bluff Interactive art, immersive technology and live performance
Jain et al. Virtual world for education and entertainment
Luck Interdisciplinary Practice as a Foundation for Experimental Music Theatre
KR100374329B1 (ko) 영어 연극 동화상 표시방법 및 그 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200103

WD01 Invention patent application deemed withdrawn after publication