CN110139030A - 混合现实处理系统、方法、服务器及其存储介质 - Google Patents

混合现实处理系统、方法、服务器及其存储介质 Download PDF

Info

Publication number
CN110139030A
CN110139030A CN201910337341.0A CN201910337341A CN110139030A CN 110139030 A CN110139030 A CN 110139030A CN 201910337341 A CN201910337341 A CN 201910337341A CN 110139030 A CN110139030 A CN 110139030A
Authority
CN
China
Prior art keywords
real scene
scene image
mobile terminal
generated data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910337341.0A
Other languages
English (en)
Inventor
薄涛
Original Assignee
薄涛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 薄涛 filed Critical 薄涛
Priority to CN201910337341.0A priority Critical patent/CN110139030A/zh
Publication of CN110139030A publication Critical patent/CN110139030A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Abstract

本申请公开了混合现实处理系统、方法、服务器及其存储介质。该系统包括:至少一个包括至少一个摄像头的移动终端,其用于实时地采集至少包含第一目标对象的第一实景图像;服务器,与移动终端通过网络连接,其用于接收第一实景图像,并对第一实景图像进行抠像处理以获得第一目标对象;并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。根据本申请实施例的技术方案,有效地共享线上教育资源与线下教育资源,提升用户使用资源平台的体验度。

Description

混合现实处理系统、方法、服务器及其存储介质
技术领域
本申请一般涉及计算机技术领域,尤其涉及混合现实处理系统、方法、服务器及其存储介质。
背景技术
教育培训从线下向线上发展的趋势日趋明显。早期培训教育采用传统线下培训方式,其具有面对面教授学习的互动优势,但其学习场景不可再现。随着互联网技术的发展,线下教育不可再现的场景可以通过课程录制等方式进行回顾,但是,这种录制视频不能及时有效地域教育者沟通。
线上教育以其空间成本低、时间掌控灵活等优势,逐渐在教育培训领域占据较大市场份额。但是,线上教育通过互联网技术建立的沟通桥梁,受到各项技术局限。例如,点对点视频连线的在线教育,听课者被动地听课,不能很好地享受线下教育的真实互动性。目前,线下教育和线上教育是分别独立的两种教育场景,使得二者的优势不能很好地发挥,以提升用户对教学培训的体验度。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种混合现实处理系统、方法、服务器及其存储介质,来解决线上教育与线下教育的真实互动问题。
第一方面,本申请实施例提供了一种混合现实处理系统,该系统包括:
至少一个包括至少一个摄像头移动终端,其用于实时地采集至少包含第一目标对象的第一实景图像;
服务器,与移动终端通过网络连接,其用于接收第一实景图像,并对第一实景图像进行抠像处理以获得第一目标对象;并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。
第二方面,本申请实施例提供了一种信息处理方法,该方法包括:
接收至少包含第一目标对象的第一实景图像;
对第一实景图像进行抠像处理以获得第一目标对象,并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。
第三方面,本申请实施例提供了一种服务器,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行该程序时实现如本申请实施例描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序用于:
该计算机程序被处理器执行时实现如本申请实施例描述的方法。
本申请实施例提供的混合现实处理系统,该系统包括移动终端和服务器,通过移动终端实时采集第一实景图像,服务器对第一实景图像进行抠像处理,以得到第一目标对象,然后服务器对第一实景图像实时抠像以得到第一目标对象,再将第一目标对象根据课程内容的属性合成到与属性相关的内容,从而有效地解决现有技术中线上教育互动形式单一的问题,有效地将线上教育与线下教育合成在一起,灵活发挥线上教育的优势的同时,也充分保留线下教育的本质。
进一步地,通过合成线上和线下教育的视频图像,从而解决了现有技术线上、线下教育资源的同步共享,提升了用户使用教学平台的体验度。
进一步地,通过课程内容的合成,丰富了用户学习的趣味性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了本申请实施例提供的教学场景应用系统100的示意性框图;
图2为本申请实施例提供的混合现实处理系统应用场景示意图;
图3为本申请又一实施例提供的混合现实处理系统应用场景示意图;
图4为本申请实施例提供的混合现实处理系统的结构示意图;
图5为本申请又一实施例提供的混合现实处理系统的结构示意图;
图6为本申请又一实施例提供的混合现实处理系统的结构示意图;
图7为本申请实施例提供的合成结果示意图;
图8为本申请又一实施例提供的合成结果示意图;
图9为本申请实施例提供的信息处理方法;
图10为本申请又一实施例提供的信息处理方法;
图11为本申请又一实施例提供的信息处理方法;
图12为本申请实施例提供的服务器的计算机系统800的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关公开,而非对该公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与公开相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的教学场景应用系统100的示意性框图。如图1所示,该系统100包括网络102,服务器104,移动终端106,控制终端108,可折叠幕布110,显示设备112以及摄像装置114。其中,网络102例如可以是局域网、广域网、因特网、移动通信网络、无线局域网络或其组合。
移动终端106和控制终端108可以通过网络102与服务器104连接。
移动终端106是可以通过网络102向服务器104请求和接收资源(例如,教室实景数据,教学课程数据等)的电子设备。移动终端106可以以各种形式来实施。例如,本申请实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如台式计算机等等的固定终端。
移动终端106可以包括无线通信单元、音频视频输入单元、显示单元、存储器、处理器等等。
无线通信单元可以至少包括移动通信模块和无线互联网模块等,其中移动通信模块可以将无线电信号发送到基站(例如,接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。无线互联网模块支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到移动终端。该模块所涉及的无线互联网接入技术可以包括Wi-Fi、无线宽带、Wimax(全球微波互联接入),以及蓝牙、射频识别(RFID)、超宽带(UWB)等等。
音频视频输入单元用于接收音频或视频信号。音频视频输入单元可以包括摄像头和麦克风。摄像头根据其在移动终端的布局位置,又可以分为前置摄像头或后置摄像头。摄像头主要在视频捕获模式或图像捕获模式中用于捕捉静态图片或视频的图像数据。然后将图像数据经由图像处理器进行处理后得到图像帧,图像帧可以通过显示单元显示。经移动终端的摄像头捕捉的图像帧可以存储在存储器(或其它存储介质)中或者经由无线通信单元进行发送。本申请实施例中,移动终端可以提供两个或更多摄像头。麦克风可以用于采集用户的声音(音频数据)。
显示单元可以显示在移动终端106中处理的信息。例如,显示与应用程序相关的操作界面、摄像头捕捉的图像数据、接收服务器发送的图像数据等。当显示单元为触摸屏幕时,显示单元也可以用作输入装置。显示单元例如可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维显示器等等中的至少一种。
存储器可以包括至少一种类型的存储介质,存储介质包括闪存、硬盘、多媒体卡、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,移动终端106还可以与通过网络连接执行存储器的存储功能的网络存储装置协作。
处理器用于执行存储器中存储的一个或多个软件代码(即程序)。处理器可以包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)处理器等。
控制终端108作为授课控制端,可以由教学者或者辅助教学者控制。
本申请实施例提供了一种多个终端构成的教学场景。在这种教学场景中,有效地将线上教育与线下教育合成在一起,灵活发挥线上教育的优势的同时,也充分保留线下教育的本质。
在本申请实施例提供的教学场景中可以包括多个移动终端,至少一个教学终端。其中,移动终端与教学终端分别采集不同用户群体的视频内容,再分别将这些视频内容发送到服务器,由服务器将移动终端获取的视频内容中包含的目标用户进行抠像处理,将抠像结果与教学终端所在位置采集的视频内容进行合成,或者将教学终端和移动终端采集的视频内容分别进行抠像对象处理,然后再将抠像结果合成到教学课件中。服务器将合成的教学课件内容返回各个移动终端和教学终端,从而实现线上教育与线下教育一体化,提升线上用户的对教学课件的体验度。
为了便于理解,图2为本申请实施例提供的混合现实处理系统应用场景示意图。图3为本申请又一实施例提供的混合现实处理系统应用场景示意图。
如图2所示,图2中移动终端106与服务器104通过网络连接,移动终端106的课程内容的属性,例如可以是线上一对一教学,或者是线上与线下同步教学。当为线上一对一教学时,服务器可以将第一目标对象与课程内容合成,合成结果示意图如图7所示。当线上与线上同步教学时,服务器可以将第一目标对象与第二实景图像合成,合成结果示意图如图8所示。
如图3所示,图2中移动终端106与服务器104通过网络连接,摄像装置114余服务器104通过网络连接。移动终端106的课程内容的属性,例如可以是线上一对一教学,或者是线上与线下同步教学。当为线上一对一教学时,服务器可以将第一目标对象、第二目标对象与课程内容合成,合成结果示意图如图7所示。当线上与线上同步教学时,服务器可以将第一目标对与第二实景图像合成,合成结果示意图如图8所示。在摄像装置114所处的线下教学场景中,服务器可以将第一目标对象、第二目标对象的和课程内容合成,合成结果示意图如图7所示。
请参考图4,图4为本申请实施例提供的混合现实处理系统的结构示意图。如图4所示,该系统包括:
至少一个移动终端106,其用于实时地采集至少包含第一目标对象的第一实景图像。移动终端106可以包括至少一个摄像头。
本申请实施例提供的移动终端106为家庭用户接入服务器104的设备装置,通过移动终端106向服务器104发送用户信息,由服务器104对用户信息进行安全认证。家庭用户可以理解为线上教学的家庭端。
例如,在移动终端106上预先安装应用程序,该应用程序用于实现线上教学。用户可以通过移动终端106上的输入单元输入用户信息,以提供服务器104对用户信息进行安全认证、级别认证等。
在通过认证后,移动终端106的显示单元可以呈现应用程序的操作界面,例如,进入教学教室等。
在进入教学教室前,应用程序可以在显示单元上提示用户测试摄像头的功能是否正常,例如通过提示界面或者语音提示或者第三方应用程序提示用户调试设备。在完成设备调试之后,移动终端等待图像采集指令。
移动终端106在接收到图像采集指令后,触发摄像头采集包含第一目标对象的第一图像数据。该图像数据包括第一目标对象的音频数据、视频数据或者图片等多媒体数据。第一目标对象可以是接受在线教学内容的学习者,例如幼儿、学生、成人等。
配合摄像头采集实景图像,优选地,在家庭端侧配置可折叠幕布110,可折叠幕布110用于作为第一实景图像的背景内容,采用可折叠幕布110配合摄像头采集第一目标对象的第一实景图像,便于抠像处理。
服务器104,与移动终端通过网络连接,其用于接收第一实景图像,并对第一实景图像进行抠像处理以获得第一目标对象;并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。
本申请实施例提供了一种线上教学场景可以营造出教学互动的新颖方式,给用户带来身临其境的增强感受。例如,使用移动终端进行线上教学时,多个移动终端之间是相互独立的,且现有技术中多个独立的线上客户端的使用者,接收到的教学内容的互动场景,仅局限于对课件内容的点击操作,这些操作使得学习者不能很好地感受到其他用户的互动场景。因此,本申请实施例提供一种将参与线上教学活动的多个移动终端合成到课件内容,以丰富教育活动内容,增强学习的趣味性。
如图5所示,图5为本申请又一实施例提供的混合现实处理系统的结构示意图。该系统在图2所示的应用场景中,可以进一步包括:
至少一个摄像装置114,用于实时地采集包含教学用具和/或第二目标对象的第二实景图像。
本申请实施例,在线下教学场景中预先安装至少一个摄像装置114。线下教学场景可以培训教室或者用于教学活动的活动空间。摄像装置114用于从不同的角度拍摄线下教学环境,并获取包含教学用具、第二目标对象的第二实景图像。教学用具例如可以是辅助教学的平衡装置、滑梯装置、通过增强现实展现的教具等等。用于辅助教学的用具可以统称为教学用具。第二目标对象可以是接受线下教学内容的学习者,例如幼儿、学生、成人等。第二目标对象可以是多个,例如教室里的教学者,多个学习者等。
服务器104,服务器与摄像装置通过网络连接,其用于接收第一实景图像和第二实景图像,并对第一实景图像进行抠像处理以获得第一目标对象,将第一目标对象实时地合成到第二实景图像,以生成第一合成数据;发送第一合成数据至移动终端。
本申请实施例中服务器104可以从第一实景图像中通过抠像处理将第一目标对象合成到第二实景图像中,即将第一目标对象合成到线下教学的场景中,使得第一目标对象可以“身临其境”地感受到线下教学场景。突破性地解决了现有技术中线上教学与线下教学不能同步共享资源的问题。线上学习者可以通过第二合成数据学习到线下学习者在实体教学用具上的动作。
如图6所示,图6为本申请又一实施例提供的混合现实处理系统的结构示意图。该系统在图3所示的应用场景中,还进一步包括:
控制终端108,用于接收用户输入的演示指令。该演示指令用于展示所述课程内容。用户输入演示指令可以通过控制终端的输入单元来实现,输入单元可以是人机交互装置,例如鼠标、键盘、触摸屏等。
本申请实施例提供的控制终端108可以是教学者控制的设备。其主要用于课件内容展示,控制线下教学用户的接入或者控制课件内容的发送,其主要为满足教学场景中线上教学部分的需求。演示指令,例如可以是通过人机交互装置输入的指令,例如通过触摸屏输入的演示指令,其可以是单击或者双击或者滑动等方式来实现,或者通过语音控制演示的指令,例如显示等语音。
服务器104,服务器与控制终端通过网络连接,用于响应于演示指令,将第一目标对象合成到课件内容,形成第二合成数据,并将第二合成数据发送至移动终端;或者,其用于响应于演示指令,对第二实景图像的第二目标用户进行抠像处理以获得第二目标对象,将第一目标对象和第二目标对象与课程内容合成,形成第三合成数据;并将第三合成数据分别发送至移动终端和控制终端。
本申请实施例,在控制终端108输入演示指令后,服务器104响应于演示指令,将第一目标对象与课件内容合成。或者,对第二实景图像进行抠像处理得到第二目标对象,然后,将抠像处理得到的第一目标对象与第二目标对象合成到课件内容中,形成第二合成数据。再将第二合成数据通过网络发送给移动终端和控制终端,使得使用移动终端参与线上学习的用户和在线下学习的用户在相同的课件内容中增强学习感受。
在上述实施例中,在家庭端的线上教学环境或者线下教学空间内还可以进一步包括:至少一种智能教具,用于辅助第一目标对象和/或第二目标对象达到教学目标。智能教具,例如可以是增强现实类型的教具或者提供认知学习用的教具。
为了更好地理解本申请实施例,以早期教育环境为例,在早期教育的线下教学环境(某早教教室)预先安装至少一个摄像装置114用于采集早教教室内的多媒体数据,例如包括多个幼儿,早教教具。早教教具,例如滑梯、平衡木等设施。
家庭端使用预先按照早教学习应用程序的移动终端106,配合折叠幕布106,在进入线上学习环境后,移动终端106的摄像头采集以可折叠幕布106为背景内容的图像数据,并将采集的图像数据上传至服务器,服务器对图像数据进行抠像处理得到使用移动终端106的幼儿的图像对象,服务器可以根据线上教学的课件属性,将幼儿的图像对象合成到课件内容中或者合成到实时采集的线下教学场景中。
例如,当课件属性为线上教学部分,则在课件内容中需要向用户展示课件内容时,将家庭端的幼儿的图像对象合成到课件内容中,例如课件内容是向幼儿介绍海洋动物,课件内容呈现的场景为海洋馆或者海底隧道的实景图像,并将幼儿置身于实景图像中,以使得丰富幼儿的认知。
例如,课件属性为同步教学部分,则将家庭端的幼儿合成到线下教学场景中,以将线上教学和线下教学很好地合成在一起。
在课件属性为同步教学的展示部分时,通过教学者操控控制终端,同步向线上、线下学习者展示合成了线上学习者和线下学习者的课件内容。例如,展示内容是指导幼儿认知世界建筑,课件内容包括实景拍摄的建筑物的动态场景,通过抠像处理后将位于家庭端的幼儿图像与位于线下教学场景内的幼儿图像合成到包含建筑的动态场景中。
如图9所示,图9为本申请实施例提供的信息处理方法,该方法包括:
步骤501,接收至少包含第一目标对象的第一实景图像;
步骤502,对第一实景图像进行抠像处理以获得所述第一目标对象;
步骤503,并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。
本申请实施例中,移动终端中预先安装的教学应用程序,通过用户输入单元完成登录,选课后,教学应用程序通过显示单元呈现教学终端所在位置的实际场景或者教学课件内容的等待界面。
在控制终端上输入授课指令后,移动终端可以接收直播视频内容,该直播视频内容可以是线上教学、线下教学的同步内容也可以是针对线上教学单独开发的课件内容。移动终端的显示单元,或者与之关联的显示设备上呈现直播视频内容。例如,通过移动终端与电视显示器连接,将服务器发送的第一合成数据进行展示。移动终端可以通过摄像头和麦克风采集第一目标对象的第一实景图像,并且向服务器上传该第一实景图像。
然后,服务器对第一实景图像进行实时抠像处理,获取第一目标对象,为了实现实时抠像与视频数据合成,移动终端采集的第一实景图像需配合可折叠幕布作为第一实景图像的背景内容。可折叠幕布的颜色可以是绿色或者蓝色。
如图10所示,图10为本申请又一实施例提供的信息处理方法,该方法包括:
步骤601,接收包含教学用具和/或第二目标对象的第二实景图像;
步骤602,将第一目标对象实时地与第二实景图像合成,以生成第一合成数据;
步骤603,发送第一合成数据至移动终端。
本申请实施例中,服务器将第一目标对象与直播视频内容合成,得到第二合成数据。然后,服务器将第二合成数据通过网络发送给移动终端。
服务器104可以从第一实景图像中通过抠像处理将第一目标对象合成到第二实景图像中,即将第一目标对象合成到线下教学的场景中,使得第一目标对象可以“身临其境”地感受到线下教学场景。突破性地解决了现有技术中线上教学与线下教学不能同步共享资源的问题。线上学习者可以通过第二合成数据学习到线下学习者在实体教学用具上的动作。
步骤604,响应于演示指令,将第一目标对象与课程内容合成,以形成第二合成数据;
步骤605,并将第二合成数据发送至移动终端。
如图11所示,图11为本申请又一实施例提供的信息处理方法,该方法包括:
步骤701,响应于演示指令,对第二实景图像的第二目标用户进行抠像处理以获得所述第二目标对象;
步骤703,将第一目标对象和第二目标对象合成到课件内容,形成第三合成数据;
步骤705,将第三合成数据分别发送至移动终端和控制终端。
本申请实施例中,在控制终端触发教学课件内容展示时,服务器向移动终端和位于控制终端的摄像装置发送控制指令,该控制指令用于指示移动终端和摄像装置采集图像数据进行抠像处理;
移动终端接收控制指令,响应于控制指令采集第一目标对象的图像数据,并将第一目标对象的图像数据发送给服务器,服务器采用抠像算法将第一目标对象从图像数据中抠出;
控制终端侧的摄像装置采集包括多个第二目标对象的图像数据,并将包含多个第二目标对象的图像数据发送给服务器;服务器将第一目标对象和多个第二目标对象合成到教学课件内容中,得到课件合成数据(即第三融合数据)。服务器将课件合成数据分别发送给移动终端和控制终端,通过与移动终端或控制终端连接的显示装置进行显示。显示装置,例如电视显示器。
应当注意,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本申请实施例还提供一种信息处理装置,该装置可以包括
第一接收单元,用于接收至少包含第一目标对象的第一实景图像;
第一抠像单元,用于对第一实景图像进行抠像处理以获得第一目标对象;
第一合成单元,用于并根据第一目标对象参与课程内容的属性,将第一目标对象与属性相关的内容进行合成。
在上述基础上,该装置还可以包括:
第二接收单元,用于接收包含教学用具和/或第二目标对象的第二实景图像;
第二合成单元,用于将第一目标对象实时地合成到第二实景图像,以生成第一合成数据;
第二发送单元,用于发送第二合成数据至移动终端。
第二抠像单元,用于响应于演示指令,对第二实景图像的第二目标用户进行抠像处理以获得第二目标对象,该演示指令是控制终端的输入单元接收的;
第三合成单元,用于将第一目标对象和第二目标对象课程内容合成,形成第三合成数据;
第三发送单元,用于将第三合成数据分别发送至移动终端和控制终端。
或者,第三合成单元用于响应于演示指令,将第一目标对象与课程内容合成,以形成第二合成数据,
第三发送单元,用于并将第二合成数据发送至移动终端。
应当理解,上述装置中记载的诸单元或模块与参考图9-10描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于上述装置及其中包含的单元,在此不再赘述。上述装置可以预先实现在电子设备的浏览器或其他安全应用中,也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。上述装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
在上文详细描述中提及的若干模块或者单元,这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
下面参考图12,图12为本申请实施例的服务器的计算机系统800的结构示意图。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分708加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本公开的实施例,上文参考流程图图9-10描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在机器可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一接收单元、第一抠像单元、第一合成单元以及第一提供单元。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,第一接收单元还可以被描述为“用于接收至少包含第一目标对象的第一实景图像的单元”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序,当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的信息处理方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种混合现实处理系统,其特征在于,该系统包括:
至少一个包括至少一个摄像头的移动终端,其用于实时地采集至少包含第一目标对象的第一实景图像;
服务器,与所述移动终端通过网络连接,其用于接收所述第一实景图像,并对所述第一实景图像进行抠像处理以获得所述第一目标对象;并根据所述第一目标对象参与课程内容的属性,将所述第一目标对象与所述属性相关的内容进行合成。
2.根据权利要求1所述的混合现实处理系统,其特征在于,该系统还包括:
至少一个摄像装置,用于实时地采集包含教学用具和/或第二目标对象的第二实景图像;
所述服务器,与所述摄像装置通过网络连接,其用于接收所述第一实景图像和所述第二实景图像,并对所述第一实景图像进行抠像处理以获得所述第一目标对象,将所述第一目标对象实时地与所述第二实景图像合成,以生成第一合成数据;发送所述第一合成数据至所述移动终端。
3.根据权利要求1或2所述的混合现实处理系统,其特征在于,该系统还包括:
控制终端,用于接收用户输入的演示指令,所述演示指令用于展示所述课程内容;
所述服务器,与所述控制终端通过网络连接,其用于响应于所述演示指令,将所述第一目标对象合成到所述课件内容,形成第二合成数据,并将所述第二合成数据发送至所述移动终端;或者,其用于响应于所述演示指令,对所述第二实景图像的所述第二目标用户进行抠像处理以获得所述第二目标对象,将所述第一目标对象和所述第二目标对象与所述课程内容合成,形成第三合成数据;并将所述第三合成数据分别发送至所述移动终端和所述控制终端。
4.根据权利要求1所述的混合现实处理系统,其特征在于,该系统还包括:
可折叠幕布,用于作为所述第一实景图像的背景内容。
5.根据权利要求1所述的混合现实处理系统,其特征在于,所述教学用具还包括:
至少一种智能教具,用于辅助所述第一目标对象和/或所述第二目标对象达到教学目标。
6.一种信息处理方法,其特征在于,该方法包括:
接收至少包含第一目标对象的第一实景图像;
对所述第一实景图像进行抠像处理以获得所述第一目标对象;
并根据所述第一目标对象参与课程内容的属性,将所述第一目标对象与所述属性相关的内容进行合成。
7.根据权利要求6所述的信息处理方法,其特征在于,该方法还包括:
接收包含教学用具和/或第二目标对象的第二实景图像;
将所述第一目标对象实时地与所述第二实景图像合成,以生成第一合成数据;
发送所述第一合成数据至所述移动终端。
8.根据权利要求6或7所述的信息处理方法,其特征在于,该方法还包括:
响应于演示指令,将所述第一目标对象与所述课程内容合成,以形成第二合成数据,并将所述第二合成数据发送至所述移动终端;或者,
响应于所述演示指令,对所述第二实景图像的所述第二目标用户进行抠像处理以获得所述第二目标对象;
将所述第一目标对象和所述第二目标对象合成到课程内容,形成第三合成数据;
将所述第三合成数据分别发送至所述移动终端和所述控制终端;其中,该演示指令是控制终端的输入单元接收的。
9.一种服务器,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求6-8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求6-8中任一项所述的方法。
CN201910337341.0A 2019-04-24 2019-04-24 混合现实处理系统、方法、服务器及其存储介质 Pending CN110139030A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337341.0A CN110139030A (zh) 2019-04-24 2019-04-24 混合现实处理系统、方法、服务器及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337341.0A CN110139030A (zh) 2019-04-24 2019-04-24 混合现实处理系统、方法、服务器及其存储介质

Publications (1)

Publication Number Publication Date
CN110139030A true CN110139030A (zh) 2019-08-16

Family

ID=67570897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337341.0A Pending CN110139030A (zh) 2019-04-24 2019-04-24 混合现实处理系统、方法、服务器及其存储介质

Country Status (1)

Country Link
CN (1) CN110139030A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923463A (zh) * 2021-09-16 2022-01-11 南京安汇科技发展有限公司 一种直播场景的实时抠像与场景合成系统及实现方法
WO2022068609A1 (zh) * 2020-09-30 2022-04-07 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理系统及其制作方法
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质
CN108831216A (zh) * 2018-06-12 2018-11-16 辽宁向日葵教育科技有限公司 真三维虚拟仿真交互方法及系统
CN108989830A (zh) * 2018-08-30 2018-12-11 广州虎牙信息科技有限公司 一种直播方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制系统及方法
CN107093337A (zh) * 2017-06-07 2017-08-25 珠海思课技术有限公司 实景课堂的管理系统及其制作方法
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质
CN108831216A (zh) * 2018-06-12 2018-11-16 辽宁向日葵教育科技有限公司 真三维虚拟仿真交互方法及系统
CN108989830A (zh) * 2018-08-30 2018-12-11 广州虎牙信息科技有限公司 一种直播方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068609A1 (zh) * 2020-09-30 2022-04-07 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN113923463A (zh) * 2021-09-16 2022-01-11 南京安汇科技发展有限公司 一种直播场景的实时抠像与场景合成系统及实现方法
CN113923463B (zh) * 2021-09-16 2022-07-29 南京安汇科技发展有限公司 一种直播场景的实时抠像与场景合成系统及实现方法

Similar Documents

Publication Publication Date Title
Wang et al. Augmented reality in education and training: pedagogical approaches and illustrative case studies
Martín-Gutiérrez et al. Augmented reality to promote collaborative and autonomous learning in higher education
CN104575142B (zh) 体验式数字化多屏无缝跨媒体互动开放教学实验室
CN109166374B (zh) 基于虚拟现实技术的教学系统
Vasilevski et al. Analysing construction student experiences of mobile mixed reality enhanced learning in virtual and augmented reality environments
Nguyen et al. Web-based virtual reality development in classroom: From learner's perspectives
CN109035931A (zh) 一种艺术设计多媒体教学系统及其方法
Dabney et al. No sensor left behind: enriching computing education with mobile devices
CN109887096A (zh) 利用虚拟现实技术的教育教学信息处理系统及其教学方法
CN110139030A (zh) 混合现实处理系统、方法、服务器及其存储介质
CN110232654A (zh) 图像合成方法、装置、设备及其存储介质
Molnár The role of electronic and virtual learning support systems in the learning process
CN112286354A (zh) 基于虚拟现实的教育教学方法和系统
Lai et al. Adoption of virtual and augmented reality for mathematics education: A scoping review
Marchetti et al. Diachronic Perspective and Interaction: New Directions for Innovation in Historical Museums.
CN107749203A (zh) 一种教学培训接入方法
Hong et al. The application of multimedia and wireless technology in education
Begic et al. Software prototype based on augmented reality for mastering vocabulary
Shareef et al. Fundamentals of Educational Technology
Abdelfatah Cyber learning from reality through virtuality to holoportation: Status-quo and a proposed model for closing the gap in Africa
Kraus et al. Struct-MRT: Immersive Learning and Teaching of Design and Verification in Structural Civil Engineering using Mixed Reality
CN110365959A (zh) 投影方法、装置、系统及投影设备
Mateo-Segura A new Augmented-Reality platform for Electromagnetic Education
Graham EIL in the Primary Classroom: Exploration and Innovation using DVDs for Communication.
Asghar et al. Moe the monkey: a fun way to educate children

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination