CN106293087B - 一种信息交互方法及电子设备 - Google Patents

一种信息交互方法及电子设备 Download PDF

Info

Publication number
CN106293087B
CN106293087B CN201610647500.3A CN201610647500A CN106293087B CN 106293087 B CN106293087 B CN 106293087B CN 201610647500 A CN201610647500 A CN 201610647500A CN 106293087 B CN106293087 B CN 106293087B
Authority
CN
China
Prior art keywords
electronic equipment
information
scene
user
virtual scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610647500.3A
Other languages
English (en)
Other versions
CN106293087A (zh
Inventor
杨大业
宋建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201610647500.3A priority Critical patent/CN106293087B/zh
Publication of CN106293087A publication Critical patent/CN106293087A/zh
Application granted granted Critical
Publication of CN106293087B publication Critical patent/CN106293087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本申请提供了一种信息交互方法及电子设备,通过将第二电子设备所在环境的场景信息发送至第一电子设备,使第一电子设备基于该当前场景信息渲染相应的虚拟场景并呈现出来,使得佩戴第一电子设备的用户A能够得知佩戴第二电子设备的用户B所处的环境,以便针对该环境进行动作,并将获取的该用户A目标部位的运动信息发送至第二电子设备,由第二电子设备将用户A目标部位的虚拟图像呈现在用户B眼前,使用户B清楚看到用户A的动作,方便用户A对用户B的教学。由此可见,本申请提供的这种方式不仅能够实现网络在线教学,不受地域限制,非常方便,而且,能够给教学双方一种身临其境的真实教学感受,提高了双方的教学的兴趣以及质量。

Description

一种信息交互方法及电子设备
技术领域
本申请主要涉及通信技术领域,更具体地说是涉及一种信息交互方法及电子设备。
背景技术
视频会议是指位于两个或多个地点的人们,通过通信设备和网络进行面对面交谈的会议,方便参会者能够直接听到其他会场的声音、看到其他会场现场参会人的形象、动作和表情,还可以发送电子演示内容,从而使与会者有身临其境的感觉。
基于此,在实际应用中,由于工作、学习以及生活等方面的需要,用户通常会采用视频会议的方式进行交流,不仅能够节省电话费,且不受地域约束,非常方便。
然而,这种视频会议的方式无法支持复杂的物理交互,例如无法教授他人如何维修或操作设备等等,这种情况下,学员只能到专业部门现场学习,受地域的限制,非常不方便。
发明内容
有鉴于此,本发明提供了一种信息交互方法和电子设备,实现了网络在线的物理交互,从而使学员与老师同时佩戴电子设备,就能够模拟真实地教学场景,不受地域限制,非常方便。
为了解决上述技术问题,本申请提供了以下技术方案:
一种信息交互方法,应用于第一电子设备,所述方法包括:
接收第二电子设备发送的当前场景信息,所述当前场景信息是所述第二电子设备当前所处环境的场景信息;
基于所述当前场景信息渲染相应的虚拟场景,并呈现所述虚拟场景;
获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的运动信息;
将所述运动信息发送至所述第二电子设备,以使所述第二电子设备呈现所述用户目标部位的虚拟图像。
优选的,所述获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的运动信息,包括:
获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的姿态信息及其对应的时间信息。
优选的,所述方法还包括:
接收第二电子设备发送的通信请求;
响应所述通信请求,与所述第二电子设备建立通信连接。
一种信息交互方法,应用于第二电子设备,所述方法包括:
获取所述第二电子设备所处环境的当前场景信息;
基于所述当前场景信息渲染相应的虚拟场景,并呈现所述虚拟场景;
将所述当前场景信息发送至第一电子设备,以使所述第一电子设备呈现所述当前场景信息相应的虚拟场景;
接收所述第一电子设备获取的用户目标部位针对所述虚拟场景的运动信息;
基于所述运动信息渲染所述用户目标部位的虚拟图像,并将所述虚拟图像叠加到当前呈现的虚拟场景中。
优选的,当所述运动信息包括所述用户目标部位的姿态信息及其对应的时间信息时,所述将所述虚拟图像叠加到当前呈现的虚拟场景中,包括:
基于所述时间信息以及呈现所述虚拟场景的时间信息,将所述虚拟图像叠加到当前呈现的虚拟场景中。
优选的,所述方法还包括:
接收第一电子设备发送的调整信息,所述调整信息用于指示对第二电子设备所处环境中至少一个对象的状态进行调整;
获取调整后的场景信息,并将调整后的场景信息发送至第一电子设备呈现所述调整后的场景信息相应的虚拟场景。
优选的,所述方法还包括:
向所述第一电子设备发送通信请求;
接收到所述第一电子设备反馈的响应信息,建立与所述第一电子设备的通信连接。
一种电子设备,所述电子设备包括:
通信模块,用于接收第二电子设备发送的当前场景信息,所述当前场景信息是所述第二电子设备当前所处环境的场景信息;
处理器,用于基于所述当前场景信息渲染相应的虚拟场景;
显示器,用于呈现所述虚拟场景;
检测器,用于获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的运动信息;
则所述通信模块,还用于将所述运动信息发送至所述第二电子设备,以使所述第二电子设备呈现所述用户目标部位的虚拟图像。
优选的,所述检测器包括:
图像采集器,用于获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的姿态信息;
声音采集器,用于采集佩戴所述第一电子设备的用户针对所述虚拟场景输出的语音信息。
优选的,所述图像采集器包括景深摄像头。
一种电子设备,所述电子设备包括:
检测器,获取所述第二电子设备所处环境的当前场景信息;
处理器,用于基于所述当前场景信息渲染相应的虚拟场景;
显示器,用于呈现所述虚拟场景;
通信模块,用于将所述当前场景信息发送至第一电子设备,以使所述第一电子设备呈现所述当前场景信息相应的虚拟场景,并接收所述第一电子设备获取的用户目标部位针对所述虚拟场景的运动信息;
则所述处理器,还用于基于所述运动信息渲染所述用户目标部位的虚拟图像,并将所述虚拟图像叠加到当前呈现的虚拟场景中。
优选的,所述检测器包括:第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头之间距离第一值设置。
由此可见,与现有技术相比,本申请提供了一种信息交互方法及电子设备,通过将第二电子设备所在环境的场景信息发送至第一电子设备,使第一电子设备基于该当前场景信息渲染相应的虚拟场景并呈现出来,使得佩戴第一电子设备的用户A能够得知佩戴第二电子设备的用户B所处的环境,以便针对该环境进行动作,并将获取的该用户A目标部位的运动信息发送至第二电子设备,由第二电子设备将用户A目标部位的虚拟图像呈现在用户B眼前,使用户B清楚看到用户A的动作,方便用户A对用户B的教学。由此可见,本申请提供的这种方式不仅能够实现网络在线教学,不受地域限制,非常方便,而且,能够给教学双方一种身临其境的真实教学感受,提高了双方的教学的兴趣以及质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种信息交互方法实施例的流程图;
图2为本申请提供的另一种信息交互方法实施例的流程图;
图3为本申请提供的一种信息交互方法实施例的信令流程图;
图4为本申请提供的一种第一电子设备实施例的结构框图;
图5为本申请提供的第一电子设备实施例的具体结构图;
图6为本申请提供的另一种第一电子设备实施例的结构框图;
图7为本申请提供的第二电子设备实施例的结构框图;
图8为本申请提供的第二电子设备实施例的具体结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,现有的视频会议能够支持参会人员之间的视频图像的交互,但其并不能支持复杂的物理交互,如在线教授他人如何维修电子设备等,对于这种情况,就需要学员到教授维修电子设备所在地进行学习,受地域限制,非常不方便。
为了改善这种情况,申请人提出利用虚拟现实设备实现复杂的物理交互,具体的,学员可以佩戴第一电子设备,并由第一电子设备将采集到的所在环境的场景信息发送至第二电子设备,即教授人员佩戴的电子设备,从而使第二电子设备基于接收到的当前场景信息渲染相应的虚拟场景,并呈现出来,给教授人员一种与学员同处于一个环境的感觉,此时,教授人员就能够针对当前所在虚拟场景进行相应教学动作,并由第二电子设备获取其目标部位的运动信息后,发送至第一电子设备,从而使第一电子设备将教授人员及其目标部位的动作呈现在学员眼前,给学员一种到现场学习,且是一对一学习的感受,非常方便,且提高了双方的教学的兴趣以及质量。
为了使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
下面从教授侧进行本申请提供的信息交互方法的实施过程,如图1所示,为本申请提供的一种信息交互方法实施例的流程图,该方法可以应用于第一电子设备,具体可以是各种虚拟现实设备,如眼镜式或头盔式的虚拟现实设备等等,则本实施例提供的信息交互方法可以包括以下步骤:
步骤S11,接收第二电子设备发送的当前场景信息;
在实际应用中,在一个用户希望向另一个用户学习某种比较复杂的技能或特殊领域的知识等,或者是一个用户希望向其他用户展示或讲解自己的某一个方面的操作技艺等情况下,本文为了方便技术方案的描述,可以将讲解或展示自己的知识或技艺的用户称为用户A,即上述教授人员,相应地,可以将听用户A讲解或展示的一方用户统称为用户B。
基于此,在上述描述的情况下,用户A和用户B可以都佩戴上述虚拟现实设备,并建立这两侧虚拟现实设备之间的通信连接,以便进行数据交互。其中,若将用户A佩戴的虚拟现实设备作为第一电子设备,可以将用户B佩戴的虚拟现实设备作为第二电子设备,需要说明的是,上述用户A和用户B表示都是一类用户,并不局限于一个用户,所以,第一电子设备和第二电子设备也并不局限于某一个用户佩戴的一个虚拟现实设备,可根据具体应用场景确定。
在本实施例中,用户B可以通过第二电子设备向用户A的第一电子设备发送通信请求,该通信请求可以携带用户B的意图,即希望学习或获知的内容等,此时,用户A可以根据自身实际情况,决定是否接受用户B的请求,并对第一电子设备进行相应操作,或根据该决定展示不同的姿态等方式,告知第一电子设备用户A的决定。
其中,若用户A决定接受用户B的请求时,第一电子设备可以根据检测到的用户A对第一电子设备的操作,或检测到的用户A的当前姿态,响应第二电子设备发送的通信请求,从而与第二电子设备建立通信连接,以便后续通过建立的通信通道实现数据交互。
之后,为了使用户A能够直观看到用户B希望学习的内容,用户B佩戴的第二电子设备可以采集当前其所处环境的场景信息,具体可以是3D场景信息,通过无线方式将该3D场景信息发送至第一电子设备。
步骤S12,基于该当前场景信息渲染相应的虚拟场景,并呈现该虚拟场景;
由于第一电子设备可以是虚拟现实设备,所以,在其接收到第二电子设备发生的当前场景信息后,可以采用虚拟场景渲染技术,渲染得到与该当前场景信息对应的虚拟场景,并呈现在用户A眼前,给用户A一种置身于该虚拟场景的感觉。
其中,若第一电子设备接收到的当前场景信息中包括用户B的信息,那么,第一电子设备渲染得到的虚拟场景中也可以包括用户B的虚拟人像,此时,由于第一电子设备也可以将用户A的虚拟人像呈现在用户A的视野中,所以,第一电子设备呈现出上述虚拟场景时,用户A将会感受到其与用户B同处于一个环境中。
由此可见,当用户B姿态发生变化或提问时,用户A眼前呈现的虚拟场景中用户B的虚拟人像也会做出相同的动作或提问,好像是用户A与用户B面对面交流的应用场景。基于此,上述第一电子设备接收到的当前场景信息除了包括当前环境的图像外,还可以包括处于当前环境中各对象发出的声音信号。
步骤S13,获取佩戴第一电子设备的用户目标部位针对虚拟场景的运动信息;
继上述描述,由于佩戴第一电子设备的用户A能够看到用户B所在环境的具体情况,也能够得知用户B在该环境中的动作或发出的声音,所以,用户A就能够结合用户B的提问及其所在环境中的对象进行讲解或示范等。
其中,在本实施例实际应用中,用户A在讲解过程中,通常是用户A的肢体做出不同动作,需要时配合用户A的语言讲解来教授或告诉用户B某些内容,从而使用户B能够更加清楚、快速理解用户A需要讲解的内容。
例如,当用户B需要向用户A学习汽车修理内容,用户B佩戴的第二电子设备会将其需要学习的汽车场景信息发送至用户A佩戴的第一电子设备,从而使第一电子设备渲染该汽车虚拟场景,使得用户A感觉好像在该汽车场景现场。此时,用户A可以针对虚拟场景中汽车的具体结构、各部件的维修等内容进行讲解,且在讲解过程中,为了使用户B准确得知当前讲解的对象,用户A通常会用手指向该对象,所以,第一电子设备需要实时抓取用户A手部的手势3D(Three Dimensions,三维)信息,具体可以利用第一电子设备上设置的景深摄像头来获取用户A的手势3D信息,但并不局限于此。
需要说明的是,在本实施例的应用场景并不局限于上述列举的汽车维修的应用,且并不局限于上述对用户A手部的手势3D信息的获取,具体可以根据实际应用需要确定,本申请在此不再一一列举。
步骤S14,将该运动信息发送至第二电子设备,以使第二电子设备呈现用户目标部位的虚拟图像。
如上述描述,第一电子设备获得其用户的目标部位的运动信息后,可以将该运动信息发送至第二电子设备,此时,第二电子设备可以据此渲染佩戴第一电子设备的用户目标部位的虚拟图像,从而使第二电子设备的用户能够在其眼前呈现的虚拟场景中,看到第一电子设备的用户的动作,由其是该用户的目标部位的动作。
由此可见,本申请利用虚拟现实技术来实现用户之间的交流和互动,尤其是能够方便实现物理交互,从而将专业的工业应用快速推进到消费娱乐应用,使其应用场景也从设计室、实验室等相对固定的场所,扩散到日常生活的场所,使得移动的应用场景越来越丰富,例如游戏、教育等等。
也就是说,仍以上述汽车维修为例,当用户希望学习汽车维修的常识或专业技能时,需要到专业场地找专业人员学习,容易受到地域等各方面因素的限制,而本申请提供的这种方式,只需要学员和教授者同时佩戴虚拟现实设备并建立通信连接,学员就可以根据自己的意愿,针对某车型进行一对一或一对多学习,不用亲自到专业场地,非常方便。
进一步地,当学员希望学习或教授者讲解的内容比较复杂,使得两者之间的物理交互复杂,佩戴第二设备的学员可以按照当前示出的佩戴第一电子设备的教授者目标部位的动作相应动作,也就是说,当第一电子设备的教授者对呈现在其眼前的虚拟场景中的对象进行操作后,由于该操作过程会相应呈现在佩戴第一电子设备的学员的眼前,所以,学员可以据此对其面前的实体对象进行相应操作,从而使第二电子设备获得经过该操作后的场景信息并反馈到第一电子设备,进而使第一电子设备能够呈现教授者经过该操作后应该呈现的虚拟场景。
其中,本申请对佩戴第一电子设备的用户如上述教授者对呈现在其眼前的虚拟场景中对象操作或处理方式不作限定,可以包括放大、缩小、移动等等,可根据具体实际需要确定。
可选的,在上述各实施例中,为了保证第一电子设备和第二电子设备中呈现的虚拟场景信息的同步,对于两者交互的信息可以包括产生该信息相应的时间信息,这样,当一个电子设备接收到另一个电子设备发送的信息后,就能够根据本身的时间以及接收到的各信息对应的时间,输出接收到的信息或依次渲染接收到的信息并输出等等。
仍以上述描述汽车维修为例,教授者佩戴第一电子设备对其呈现的虚拟场景进行语言讲解以及配合动作的讲解过程中,第一电子设备获取该教授者的语音信息以及目标部位的运动信息时,可以参照同一时间标准,使得获取的语音信息以及运动信息携带相应的时间信息,并且,控制第二电子设备的时间与第一电子设备的时间同步,这样,当第二电子设备接收到第一电子设备发送的信息后,就可以按照自身时间步调,输出或渲染输出对应时间的信息。
其中,由于电子设备之间传输信息花费的时间非常短,可以忽略不计,所以,对于第一电子设备获得的语音信息和/或运动信息,可以立即发送至第二电子设备对应输出,就好像是佩戴第一电子设备的用户与佩戴第二电子设备用户的面对面交流。
基于上述分析,上述步骤S13具体可以是获取佩戴第一电子设备的用户目标部位针对虚拟场景的姿态信息及其对应的时间信息,需要时还可以获取佩戴第一电子设备的用户的语音信息及其对应的时间信息等等,本申请在此不再一一列举。
下面从学员侧描述本申请提供的信息交互方法的实施过程,如图2所示,为本申请提供的另一种信息交互方法实施例的流程图,该方法可以应用于第二电子设备,如各种虚拟现实设备等,则本实施例提供的信息交互方法可以包括以下步骤:
步骤S21,获取第二电子设备所处环境的当前场景信息;
结合上述实施例的描述可知,当前场景信息可以包括第二电子设备所处环境的环境信息等,具体可以包括环境图像、环境声音、佩戴第二电子设备的用户图像及声音等信息,但并不局限于此。
可见,在本实施例中,学员可以根据自身意愿,请求教授者将要讲解的内容,如提出针对某一车型来讲解其结构以及使用和维修注意事项等,或者提出针对某一实验的某一个或几个步骤进行详细讲解等等,从而使学员能够有针对性地学习,不仅提高学习兴趣,而且提高学习质量和效率。同理,对于用户双方之间相互沟通的应用场景,采用这种方法可以方便对方准确理解用户本身需要表达的意思,提高沟通效率等。
步骤S22,基于该当前场景信息渲染相应的虚拟场景,并呈现该虚拟场景。
与上述第一电子设备类似,第二电子设备获得当前场景信息后,也可以采用虚拟场景渲染技术,渲染得到与该当前场景信息对应的虚拟场景,也就是说,以佩戴第二电子设备的用户面前的真实场景为参照,渲染出相应的虚拟场景并呈现的用户眼前,从而使用户通过佩戴第二电子设备的方式观看到其面前的场景。
步骤S23,将当前场景信息发送至第一电子设备,以使第一电子设备呈现当前场景信息相应的虚拟场景。
在实际应用中,第二电子设备可以通过无线方式与第一电子设备建立通信连接,具体地,第二电子设备可以向第一电子设备发送通信请求,在接收到第一电子设备反馈的对该通信请求的响应信息后,可以与第一电子设备建立通信连接,但并不局限处于。
其中,步骤S23中第一电子设备的具体实现过程可以参照上述实施例步骤S12的描述,本实施例在此不再赘述。
步骤S24,接收第一电子设备获取的用户目标部位针对虚拟场景的运动信息。
其中,用户目标部位可以是佩戴第一电子设备的用户的手部,如上述实施例中对汽车维修的举例说明,当然,也可以是该用户的其他部分,本申请对此不作限定。
可选的,根据上述描述,接收到的用户目标部位的运动信息可以包括该目标部位的姿态信息及其时间信息等等,从而保证第一电子设备与第二电子设备呈现的虚拟场景同步,具体可以是虚拟场景中各对象的状态同步,但并不局限于此。
步骤S25,基于该运动信息渲染该用户目标部位的虚拟图像,并将该虚拟图像叠加到当前呈现的虚拟场景中。
在实际应用中,为了使佩戴第二电子设备的用户能够在其眼前呈现的虚拟场景中看到佩戴第一电子设备的用户的动作,以及该用户发出的声音,第二电子设备接收到第一电子设备发送的运动信息后,可以据此渲染第二电子设备的用户目标部位的虚拟图像,并将其叠加到第一电子设备当前呈现的虚拟场景中,营造出一种在佩戴第一电子设备的用户眼前讲解其希望学习的内容的感觉,无需该用户出门到异地进行学习或沟通,非常方便。
可选的,对于将得到的虚拟图像叠加到虚拟场景中的过程,可以基于该虚拟场景对应的运动信息中的时间信息实现,即按照时间先后顺序依次将得到的虚拟图像叠加到第二电子设备呈现的虚拟场景中,从而保证叠加后呈现的佩戴第一电子设备的用户目标部位的动作与该用户目标部位的实际动作一致。
由此可见,第二电子设备获得的运动信息可以包括第一电子设备的用户目标部位的姿态信息及其对应的时间信息等等,则上述将虚拟图像叠加到当前呈现的虚拟场景的过程具体可以包括:基于该时间信息以及第二电子设备呈现该虚拟场景的时间信息,将该虚拟图像叠加到当前呈现的虚拟场景中,但并不局限于这一种保证信息一致的方法。
作为本申请另一实施例,在上述实施例的基础上,当第二电子设备呈现第一电子设备的用户目标部位的姿态变化过程中,佩戴第二电子设备的用户可以进行相应的动作,从而使第二电子设备呈现的虚拟场景与第一电子设备呈现的虚拟场景一直,必要时可以据此对其所在处环境中真实对象的操作。
仍以上述汽车维修为例,当用户A对第一电子设备呈现的虚拟汽车进行打开车门的动作时,需要对汽车内部进行讲解的情况下,第一电子设备将相关运动信息以及其他信息发送至第二电子设备,从而使第二电子设备的用户据此对真实的汽车进行打开车门的动作,并将第二电子设备的镜头对准汽车内部,之后,将此时获得的场景信息反馈至第一电子设备,从而使第一电子设备据此渲染相应的汽车内部的虚拟场景,同时第二电子设备也将会呈现汽车内部的虚拟场景。
可见,佩戴第一电子设备的用户可以对该第一电子设备呈现的虚拟场景中的对象进行不同操作,如放大、缩小、移动等等,从而使第二电子设备能够根据获得的相应用户目标部位相应的运动信息,并据此调整第二电子设备当前呈现的虚拟场景,从而保证第一电子设备和第二电子设备呈现的虚拟场景一致,以便第二电子设备的用户能够准确理解佩戴第一电子设备的用户讲解的内容,或示范动作代表的含义等。
可选的,对于虚拟场景的变更或调整,可以采用上述方式由第二电子设备用户根据第一电子设备的用户目标部位的运动,主动对其所处环境的真实对象(如上述汽车等)进行操作;当然,也可以在面对这种讲解或示范需求时,第一电子设备的用户通过语音或其他方式来告知佩戴第二电子设备的用户,使佩戴第二电子设备的用户进行相应操作(如移动或拆分真实对象,或者进行远景或近景观看等等),从而使第一电子设备和第二电子设备呈现的虚拟场景都相应改变,以满足实际需要。
基于上述分析,为了更加清楚理解本申请提供的信息交互方法,本申请从整个系统的角度来描述该方法的实施过程,如图3所示的信息交互方法的信令流程图,该流程中的步骤可以参照从学员侧以及教授侧描述的信息交互方法的相应步骤,本实施例提供的流程图可以包括:
步骤S31,第二电子设备获取其所处环境的当前场景信息;
其中,该当前场景信息包括环境图像信息。环境声音信息、佩戴第二电子设备的用户相关信息等等。
步骤S32,第二电子设备基于当前场景信息渲染相应的虚拟场景,并呈现该虚拟场景;
步骤S33,第二电子设备将当前场景信息发送至第一电子设备。
需要说明的是,本申请对步骤S32和步骤S33的先后顺序不作限定。
步骤S34,第一电子设备基于该当前场景信息渲染相应的虚拟场景,并呈现该虚拟场景。
步骤S35,第一电子设备获取佩戴该第一电子设备的用户目标部位针对虚拟场景的姿态信息及其对应的时间信息;
步骤S36,第一电子设备将该用户目标部位针对虚拟场景的姿态信息及其对应的时间信息发送至第二电子设备;
步骤S37,第二电子设备基于该姿态信息渲染用户目标部位的虚拟图像,并根据该姿态信息对应的时间信息,将相应的虚拟图像叠加到当前呈现的虚拟场景中。
综上所述,用户通过佩戴虚拟现实设备(即上述第一电子设备和第二电子设备)实现交流,尤其是对于复杂的物理交互,第二电子设备通过将获得的其所在环境的场景信息发送至第一电子设备,从而使第一电子设备呈现与第二电子设备相同的虚拟场景,使得佩戴第一电子设备的用户在得知佩戴第二电子设备的用户的需求后,能够在该虚拟场景中进行相应操作,主要是其目标部位的动作,此时,第一电子设备会获取其用户目标部位的运动信息,并发送至第二电子设备,使第二电子设备利用场景渲染技术将该用户目标部位的相应虚拟图像叠加到呈现的虚拟场景中,使得佩戴第二电子设备的用户能够直观看到佩戴第一电子设备的用户目标部位的动作,营造一种现场教学的感受,不仅提高了学习兴趣或沟通乐趣,而且提高了教学质量和效率。
如图4所示,为本申请提供的一种电子设备实施例的结构框图,该电子设备是上述第一电子设备,为了方便描述,本申请下文仍然用第一电子设备而替代本实施例该电子设备,其在实际应用中实施信息交互方法的过程可以参照上述从教授侧描述的流程,在实际应用中,该电子设备可以是虚拟现实设备如图5所示的头戴式虚拟现实设备,但并不局限于此,则本实施例提供的电子设备可以包括:
通信模块41,用于接收第二电子设备发送的当前场景信息。
其中,该当前场景信息可以是第二电子设备当前所处环境的场景信息,如环境图像信息、环境声音信息以及佩戴该第二电子设备的用户的相关信息等等。
处理器42,用于基于该当前场景信息渲染相应的虚拟场景;
显示器43,用于呈现该虚拟场景;
在实际应用中,该显示器43可以是手机等设备的显示器,此时可以将这些设备安装在本申请的电子设备上,并使设备的显示屏面朝用户;该显示器43也可以是固定设置在本申请电子设备上的显示器,本申请对此不作限定。
由此可见,结合上述方法实施例对应部分的描述,本申请能够使佩戴本实施例电子设备的用户直观地感受到佩戴第一电子设备的用户所处的场景。
检测器44,用于获取佩戴第一电子设备的用户目标部位针对所述虚拟场景的运动信息;
相应地,通信模块41还可以用于将运动信息发送至第二电子设备,以使第二电子设备呈现用户目标部位的虚拟图像。
可选的,在实际应用中,如图6所示,该检测器44可以包括:
图像采集器441,用于获取佩戴第一电子设备的用户目标部位针对虚拟场景的姿态信息;
在本实施例中,该图像采集器441具体可以包括景深摄像头,如图5所示,用来抓取用户目标部位的姿态,如抓取用户的手势等,但并不局限于此。
声音采集器442,用于采集佩戴第一电子设备的用户针对虚拟场景输出的语音信息。
可见,在实际应用中,佩戴第一电子设备的用户可以针对当前呈现的虚拟场景,采用声音与动作结合的方式进行讲解或示范等等,这样,当该用户的声音和动作传输至第二电子设备,并使该第二电子设备输出该声音以及动作后,能够准确理解并掌握讲解或示范内容。
其中,为了保证第一电子设备和第二电子设备呈现的虚拟场景及其变化步调一致,可以获得上述姿态信息以及语音信息等信息的同时获得产生该信息对应的时间信息。
可见,该第一电子设备还可以包括:
时钟模块,用于输出时间信息。
另外,上述实施例的基础上,通信模块41还可以用于接收第二电子设备发送的通信请求,则处理器42还可以响应该通信请求,并通过该通信模块41与第二电子设备建立通信连接。
综上,在本实施例中,第二电子设备通过将其所在环境的场景信息发送至第一电子设备,从而使第一电子设备基于接收到的当前场景信息渲染相应的虚拟场景,并呈现出来,得到佩戴该第一电子设备的用户A能够得知佩戴第二电子设备的用户B所处的环境,从而针对该环境进行动作,在此期间,将由第一电子设备获取该用户A目标部位的运动信息并发送至第二电子设备,由第一电子设备将用户A目标部位的虚拟图像呈现在用户B眼前,使用户B清楚看到用户A的动作,方便用户A对用户B的教学。由此可见,本申请提供的这种方式不仅能够实现网络在线教学,不受地域限制,非常方便,而且,能够给教学双方一种身临其境的真实教学感受,提高了双方的教学的兴趣以及质量。
如图7所示,为本申请提供的一种电子设备实施例的结构框图,该是上述第二电子设备,为了方便描述,本申请下文仍然用第二电子设备而替代本实施例该电子设备,其在实际应用中实施信息交互方法的过程可以参照上述从学员侧描述的流程,在实际应用中,该电子设备可以是虚拟现实设备如图6所示的头戴式虚拟现实设备,但并不局限于此,则本实施例提供的电子设备可以包括:
检测器71,获取所述第二电子设备所处环境的当前场景信息;
在本实施例实际应用中,如图8所示,该检测器71可以包括第一摄像头771和第二摄像头772,且这两个摄像头可以距离第一值设置,从而获得第二电子设备所处环境的3D场景信息,但并不局限于这一种结构方式。
处理器72,用于基于该当前场景信息渲染相应的虚拟场景。
显示器73,用于呈现虚拟场景;
由此可见,第二电子设备可以根据其所在的真实环境为参照,来渲染相应的虚拟场景信息,从而使用户佩戴第二电子设备后仍然能够看到其面前的真实场景。
通信模块74,用于将当前场景信息发送至第一电子设备,以使第一电子设备呈现当前场景信息相应的虚拟场景,并接收第一电子设备获取的用户目标部位针对虚拟场景的运动信息;
相应地处理器72,还用于基于运动信息渲染用户目标部位的虚拟图像,并将虚拟图像叠加到当前呈现的虚拟场景中,从而使佩戴第二电子设备的用户能够在其眼前呈现的虚拟场景中直观看到佩戴第一电子设备的用户的各种动作,并配合该用户发出的语音信息,准确理解该用户讲解或示范的内容。
在本实施例实际应用中,当佩戴第二电子设备的用户需要某用户学习或讨论任意方面的内容时,可以通过上述通信模块74向第一电子设备发送通信请求,并在接收到第一电子设备反馈的响应信息时,建立与第一设备的通信连接。
可选的,为了保证第一电子设备和第二电子设备呈现的虚拟场景及其变化情况一致,可以将这两个电子设备的时钟模块的时间设置为相同,且无论是第一电子设备发送至第二电子设备的信息,还是第二电子设备发送至第一电子设备的信息都可以携带本电子设备产生该信息对应的时间信息,从而使接收该信息的电子设备能够根据该时间信息以及自身的时钟模块输出的时间信息,输出接收到的信息。
基于此,通信模块74接收到的上述运动信息可以包括用户目标部位的姿态信息及其对应的时间信息等等,相应地,处理器72具体可以用于基于接收到的该时间信息以及呈现该虚拟场景的时间信息,将虚拟图像叠加到当前呈现的虚拟场景中。
作为本申请另一实施例,对于过程比较复杂的物理交互,通常需要佩戴第一电子设备的用户A针对呈现的虚拟场景进行适当调整,此时,第一电子设备会将采集到的调整信息发送至第二电子设备,则上述通信模块74接收到该调整信息后,用户可以据此对面前的真实场景进行相应调整,并使其检测器71获取调整后的场景信息,之后,将调整后的场景信息发送至第一设备,从而使第一电子设备据此调整其之前呈现的虚拟场景,呈现调整后的虚拟场景。其中,当第二电子设备获得调整后的场景信息后,其处理器72也可以据此重新渲染对应的虚拟场景,从而使显示器73呈现的虚拟场景与当前真实场景一致。
需要说明的是,关于对虚拟场景的调整过程并不局限于上述列举的方式,具体可以参照上述方法实施例对应部分的描述,本实施例在此不再赘述。
综上,在本实施例中,用户可以针对自己的学习需求或沟通目标等,通过佩戴的第二电子设备,将需要学习或沟通的对象相关信息发送至第一电子设备(即教授者或另一个沟通者佩戴的电子设备),由第一电子设备将其渲染成相应的虚拟场景,从而给教学或沟通双方一种面对面交流的感觉,克服了现场教学或沟通的各种问题,且增加了学习或沟通乐趣,提高了教学或沟通等效率和质量。
最后,需要说明的是,关于上述各实施例中,诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的电子设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种信息交互方法,其特征在于,应用于第一电子设备,所述方法包括:
接收第二电子设备发送的当前场景信息,所述当前场景信息是所述第二电子设备当前所处环境的场景信息;
基于所述当前场景信息渲染相应的虚拟场景,并呈现所述虚拟场景;
获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的运动信息;
将所述运动信息发送至所述第二电子设备,以使所述第二电子设备呈现所述用户目标部位的虚拟图像;
将调整信息发送至所述第二电子设备,所述调整信息用于指示对第二电子设备所处环境中至少一个对象的状态进行调整;
接收第二电子设备发送的调整后的场景信息,并呈现所述调整后的场景信息相应的虚拟场景,以便第二电子设备的用户能够准确理解佩戴第一电子设备的用户讲解的内容。
2.根据权利要求1所述的方法,其特征在于,所述获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的运动信息,包括:
获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的姿态信息及其对应的时间信息。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收第二电子设备发送的通信请求;
响应所述通信请求,与所述第二电子设备建立通信连接。
4.一种信息交互方法,其特征在于,应用于第二电子设备,所述方法包括:
获取所述第二电子设备所处环境的当前场景信息;
基于所述当前场景信息渲染相应的虚拟场景,并呈现所述虚拟场景;
将所述当前场景信息发送至第一电子设备,以使所述第一电子设备呈现所述当前场景信息相应的虚拟场景;
接收所述第一电子设备获取的用户目标部位针对所述虚拟场景的运动信息;
基于所述运动信息渲染所述用户目标部位的虚拟图像,并将所述虚拟图像叠加到当前呈现的虚拟场景中;
接收第一电子设备发送的调整信息,所述调整信息用于指示对第二电子设备所处环境中至少一个对象的状态进行调整;
获取调整后的场景信息,并将调整后的场景信息发送至第一电子设备呈现所述调整后的场景信息相应的虚拟场景,以便第二电子设备的用户能够准确理解佩戴第一电子设备的用户讲解的内容。
5.根据权利要求4所述的方法,其特征在于,当所述运动信息包括所述用户目标部位的姿态信息及其对应的时间信息时,所述将所述虚拟图像叠加到当前呈现的虚拟场景中,包括:
基于所述时间信息以及呈现所述虚拟场景的时间信息,将所述虚拟图像叠加到当前呈现的虚拟场景中。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
向所述第一电子设备发送通信请求;
接收到所述第一电子设备反馈的响应信息,建立与所述第一电子设备的通信连接。
7.一种电子设备,其特征在于,所述电子设备包括:
通信模块,用于接收第二电子设备发送的当前场景信息,所述当前场景信息是所述第二电子设备当前所处环境的场景信息;
处理器,用于基于所述当前场景信息渲染相应的虚拟场景;
显示器,用于呈现所述虚拟场景;
检测器,用于获取佩戴第一电子设备的用户目标部位针对所述虚拟场景的运动信息;
则所述通信模块,还用于将所述运动信息发送至所述第二电子设备,以使所述第二电子设备呈现所述用户目标部位的虚拟图像;
所述电子设备,还用于将调整信息发送至所述第二电子设备,所述调整信息用于指示对第二电子设备所处环境中至少一个对象的状态进行调整;接收第二电子设备发送的调整后的场景信息,并呈现所述调整后的场景信息相应的虚拟场景,以便第二电子设备的用户能够准确理解佩戴第一电子设备的用户讲解的内容。
8.根据权利要求7所述的电子设备,其特征在于,所述检测器包括:
图像采集器,用于获取佩戴所述第一电子设备的用户目标部位针对所述虚拟场景的姿态信息;
声音采集器,用于采集佩戴所述第一电子设备的用户针对所述虚拟场景输出的语音信息。
9.根据权利要求8所述的电子设备,其特征在于,所述图像采集器包括景深摄像头。
10.一种电子设备,其特征在于,所述电子设备包括:
检测器,获取第二电子设备所处环境的当前场景信息;
处理器,用于基于所述当前场景信息渲染相应的虚拟场景;
显示器,用于呈现所述虚拟场景;
通信模块,用于将所述当前场景信息发送至第一电子设备,以使所述第一电子设备呈现所述当前场景信息相应的虚拟场景,并接收所述第一电子设备获取的用户目标部位针对所述虚拟场景的运动信息;
则所述处理器,还用于基于所述运动信息渲染所述用户目标部位的虚拟图像,并将所述虚拟图像叠加到当前呈现的虚拟场景中;
所述电子设备,还用于接收第一电子设备发送的调整信息,所述调整信息用于指示对第二电子设备所处环境中至少一个对象的状态进行调整;获取调整后的场景信息,并将调整后的场景信息发送至第一电子设备呈现所述调整后的场景信息相应的虚拟场景,以便第二电子设备的用户能够准确理解佩戴第一电子设备的用户讲解的内容。
11.根据权利要求10所述的电子设备,其特征在于,所述检测器包括:第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头之间距离第一值设置。
CN201610647500.3A 2016-08-09 2016-08-09 一种信息交互方法及电子设备 Active CN106293087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610647500.3A CN106293087B (zh) 2016-08-09 2016-08-09 一种信息交互方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610647500.3A CN106293087B (zh) 2016-08-09 2016-08-09 一种信息交互方法及电子设备

Publications (2)

Publication Number Publication Date
CN106293087A CN106293087A (zh) 2017-01-04
CN106293087B true CN106293087B (zh) 2019-07-26

Family

ID=57667341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610647500.3A Active CN106293087B (zh) 2016-08-09 2016-08-09 一种信息交互方法及电子设备

Country Status (1)

Country Link
CN (1) CN106293087B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534069A (zh) * 2016-09-29 2017-03-22 宇龙计算机通信科技(深圳)有限公司 虚拟现实设备控制方法及系统
KR20180099026A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN107773254A (zh) * 2017-12-05 2018-03-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及装置
CN108294739B (zh) * 2017-12-27 2021-02-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及其装置
CN109005443B (zh) * 2018-08-24 2021-05-28 重庆虚拟实境科技有限公司 Vr-ar一体机终端真人远程交互方法以及基于其的系统
CN110544315B (zh) * 2019-09-06 2023-06-20 北京华捷艾米科技有限公司 虚拟对象的控制方法及相关设备
CN113885700A (zh) * 2021-09-03 2022-01-04 广东虚拟现实科技有限公司 远程协助方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523420A (zh) * 2011-11-30 2012-06-27 江苏奇异点网络有限公司 虚拟现实环境的在线远程授课方法
CN102566552A (zh) * 2012-02-06 2012-07-11 重庆市鹏创道路材料有限公司 面向物联网和3d gis的公路隧道智能检修机器人
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
CN103812761A (zh) * 2012-11-13 2014-05-21 三星电子株式会社 用于使用增强现实提供社交网络服务的设备和方法
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议系统
CN104641413A (zh) * 2012-09-18 2015-05-20 高通股份有限公司 利用头戴式显示器来实现人际交互
CN105182535A (zh) * 2015-09-28 2015-12-23 大连楼兰科技股份有限公司 使用智能眼镜进行汽车维保的方法
CN105225551A (zh) * 2015-11-12 2016-01-06 武汉科迪奥电力科技有限公司 基于虚拟现实技术的高压开关柜培训方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101407670B1 (ko) * 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523420A (zh) * 2011-11-30 2012-06-27 江苏奇异点网络有限公司 虚拟现实环境的在线远程授课方法
CN102566552A (zh) * 2012-02-06 2012-07-11 重庆市鹏创道路材料有限公司 面向物联网和3d gis的公路隧道智能检修机器人
CN104641413A (zh) * 2012-09-18 2015-05-20 高通股份有限公司 利用头戴式显示器来实现人际交互
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
CN103812761A (zh) * 2012-11-13 2014-05-21 三星电子株式会社 用于使用增强现实提供社交网络服务的设备和方法
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议系统
CN105182535A (zh) * 2015-09-28 2015-12-23 大连楼兰科技股份有限公司 使用智能眼镜进行汽车维保的方法
CN105225551A (zh) * 2015-11-12 2016-01-06 武汉科迪奥电力科技有限公司 基于虚拟现实技术的高压开关柜培训方法

Also Published As

Publication number Publication date
CN106293087A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106293087B (zh) 一种信息交互方法及电子设备
CN108010394B (zh) 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
CN108831218A (zh) 基于虚拟现实的远程教学系统
CN106875764B (zh) 基于网络的虚拟现实外语学习系统及控制方法
CN109887096A (zh) 利用虚拟现实技术的教育教学信息处理系统及其教学方法
JP2017511615A (ja) 物理的場所間のビデオ対話
CN107945602A (zh) 一种设备操作考核/培训方法、装置及系统
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN105635669A (zh) 基于三维运动捕捉数据与实拍视频的动作对比系统及方法
CN109035939A (zh) 一种基于vr眼镜的教学系统
KR20120113058A (ko) 현실-가상 융합 공간 기반의 교육 장치 및 방법
CN107240317A (zh) 一种利用ar实现远程教育的方法及设备
CN110444061B (zh) 物联网教学一体机
CN105374234A (zh) 物联网教学一体机
CN112667085A (zh) 一种课堂互动方法、装置、计算机设备和存储介质
CN109961520A (zh) 一种基于第三视角技术的vr/mr教室及其构建方法
CN104575138A (zh) 一种情景互动式多媒体系统及其应用
KR20110058270A (ko) 인터넷 강의를 보완한 온라인 교육 관리 시스템
CN109478342A (zh) 图像显示装置及图像显示系统
Noh et al. An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction.
Peña-Ríos et al. Towards the next generation of learning environments: An InterReality learning portal and model
Pope et al. The latest in immersive telepresence to support shared engineering education
CN113110742A (zh) 一种基于slam定位技术的ar多人交互的工业机器人教学系统
CN203951581U (zh) 一种裸眼3d物理实验教学演示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant