CN205430495U - 增强现实设备及系统 - Google Patents
增强现实设备及系统 Download PDFInfo
- Publication number
- CN205430495U CN205430495U CN201620241034.4U CN201620241034U CN205430495U CN 205430495 U CN205430495 U CN 205430495U CN 201620241034 U CN201620241034 U CN 201620241034U CN 205430495 U CN205430495 U CN 205430495U
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- equipment
- image
- user
- reality equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本实用新型公开了一种增强现实设备及系统,属于可穿戴设备领域。所述设备包括:设备主体和通信模块;所述设备主体内侧设置有脸部图像采集组件,所述设备主体被用户佩戴时,所述脸部图像采集组件朝向用户脸部,且与所述用户脸部存在预设距离,所述脸部图像采集组件用于采集所述用户的脸部图像;所述通信模块与所述脸部图像采集组件连接,用于向增强现实服务器发送所述脸部图像。本实用新型提供的增强现实设备能够采集用户的脸部图像,因此丰富了增强现实设备所采集的图像的种类,解决了相关技术中增强现实设备采集的图像较为单一的问题。本实用新型用于增强现实系统。
Description
技术领域
本实用新型涉及可穿戴设备领域,特别涉及一种增强现实设备及系统。
背景技术
增强现实技术(英文:AugmentedReality;简称:AR)是一种基于虚拟现实(英文:VirtualReality;简称:VR)技术的改进技术。其中,VR技术是一种利用计算机图形系统和各种接口设备,在计算机上生成可交互的三维环境(即虚拟场景),并通过该三维环境为用户提供沉浸感的技术,而AR技术则能够将现实场景与虚拟场景进行实时叠加,为用户提供更加逼真的增强现实场景,进一步增强了用户的沉浸感。其中,沉浸感是指当用户把增强现实中的场景当做真实场景来感知时,在空间意义上置身于该增强现实场景中的感觉。
相关技术中,用户可以通过佩戴增强现实设备,体验增强现实场景。该增强现实设备能够通过设置在设备上的摄像头实时获取该用户周围环境的图像,并发送至增强现实服务器中,以便增强现实服务器能够将该用户周围环境的图像与计算机图形系统产生的虚拟场景进行处理和叠加,生成增强现实场景,再通过增强现实设备中的显示装置将该增强现实场景呈现给用户。如果同一个现实场景中存在多个佩戴有增强现实设备的用户,则每个增强现实设备所采集的用户周围的环境图像中,还可以包括其他用户的人像。
但是,相关技术中,增强现实设备只能通过设置在设备外侧的摄像头采集用户周围环境的图像,该增强现实设备所采集的图像较为单一。
实用新型内容
为了解决相关技术中增强现实设备所采集的图像较为单一的问题,本实用新型提供了一种增强现实设备及系统。所述技术方案如下:
第一方面,本实用新型实施例提供了一种增强现实设备,所述设备包括:
设备主体和通信模块;
所述设备主体内侧设置有脸部图像采集组件,所述设备主体被用户佩戴时,所述脸部图像采集组件朝向用户脸部,且与所述用户脸部存在预设距离,所述脸部图像采集组件用于采集所述用户的脸部图像;
所述通信模块与所述脸部图像采集组件连接,用于向增强现实服务器发送所述脸部图像。
可选的,所述设备还包括:
标定装置;
所述标定装置设置在所述设备主体的外侧,所述标定装置用于发出标定信号,所述标定信号用于指示所述增强现实设备。
可选的,所述设备还包括:
环境图像采集组件,所述环境图像采集组件设置在所述设备主体的外侧,所述环境图像采集组件用于采集所述用户周围环境的图像;
所述通信模块与所述环境图像采集组件连接,还用于向所述增强现实服务器发送所述用户周围环境的图像。
可选的,所述环境图像采集组件还用于在采集所述用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的所述标定信号,确定所述其他增强现实设备的标识,并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息;
所述通信模块,还用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其他增强现实设备的标识。
可选的,所述设备还包括:
运动传感器,用于获取所述用户头部的运动状态数据;
所述通信模块与所述运动传感器连接,还用于将所述运动状态数据发送至增强现实服务器。
可选的,所述设备主体上设置有用于指示所述增强现实设备的标记图案。
可选的,所述脸部图像采集组件为广角摄像头。
可选的,所述标定装置为红外发射器。
可选的,所述运动传感器为六轴传感器。
可选的,所述设备主体为眼镜或者头盔。
第二方面,本实用新型实施例提供了一种增强现实系统,所述系统包括:
增强现实服务器和至少两个增强现实设备,所述至少两个增强现实设备包括第一方面任一所述的增强现实设备。
本实用新型实施例提供的技术方案带来的有益效果是:
本实用新型实施例提供了一种增强现实设备及系统,该增强现实设备包括:设备主体和通信模块;该设备主体内侧设置有脸部图像采集组件,该增强现实设备能够通过该脸部图像采集组件采集该用户的脸部图像,因此该第一增强现实所能够采集设备除了可以采集用户周围环境的图像,还可以采集用户的脸部图像,丰富了该增强现实设备所能够采集的图像的类型,增强了该增强现实设备的使用灵活性。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实用新型实施例提供的一种增强现实系统的结构示意图;
图2-1是本实用新型实施例提供的一种增强现实设备内侧的结构框图;
图2-2是本实用新型实施例提供的一种增强现实设备外侧的结构框图
图3是本实用新型实施例提供的一种图像处理方法的流程图;
图4-1是本实用新型实施例提供的另一种图像处理方法的流程图;
图4-2是本实用新型实施例提供的一种第一增强现实设备所采集的第一用户的脸部图像的示意图;
图4-3是本实用新型实施例提供的一种第二增强现实设备所采集的第二用户周围环境的图像的示意图;
图4-4是本实用新型实施例提供的一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图;
图4-5是本实用新型实施例提供的另一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图;
图4-6是本实用新型实施例提供的一种增强现实处理后的第二用户周围环境的图像的示意图;
图5-1是本实用新型实施例提供的一种图像处理装置的结构示意图;
图5-2是本实用新型实施例提供的另一种图像处理装置的结构示意图;
图5-3是本实用新型实施例提供的一种处理模块的结构示意图。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚,下面将结合附图对本实用新型实施方式作进一步地详细描述。
图1是本实用新型实施例提供的一种增强现实系统的结构示意图,参见图1,该系统可以包括:
增强现实服务器10和至少两个增强现实设备,该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30。
该第一增强现实设备20,用于采集第一用户的脸部图像,并向该增强现实服务器10发送该第一用户的脸部图像。
该第二增强现实设备30,用于采集第二用户周围环境的图像,并向该增强现实服务器10发送该第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的图像,根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理,并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30。
综上所述,本实用新型实施例提供了一种增强现实系统,该系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备除了可以采集第一用户周围环境的图像之外,还可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
图2-1是本实用新型实施例提供的一种增强现实设备内侧的结构框图,该增强现实设备可以应用于如图1所示的增强现实系统中,如图2-1所示,该增强现实设备可以包括:
设备主体20和通信模块21;
该设备主体20内侧设置有脸部图像采集组件201,该设备主体被用户佩戴时,该脸部图像采集组件201朝向用户脸部,且与该用户脸部存在预设距离(也即是不直接与用户的脸部接触),该脸部图像采集组件201用于采集该用户的脸部图像。
该通信模块21与该脸部图像采集组件201连接,用于向增强现实服务器发送该脸部图像。
综上所述,本实用新型实施例提供了一种增强现实设备,该增强现实设备的设备主体内侧设置有脸部图像采集组件,该脸部图像采集组件能够采集用户的脸部图像,使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器,因此增加了增强现实设备所能够采集的图像的种类,丰富了增强现实设备的功能,提高了增强现实设备的使用灵活性。
需要说明的是,在本实用新型实施例中,该设备主体20可以为眼镜或者头盔,以便于用户的佩戴;该脸部图像采集组件201可以为广角摄像头,广角摄像头的视角范围较大,当该广角摄像头与用户脸部的距离较近时,也能有效采集用户的脸部图像;该通信模块21可以为蓝牙模块、无线保真(英文:WirelessFidelity;简称:WiFi)模块或者网络接口,该通信模块可以通过该增强现实设备中的处理器与该脸部图像采集组件连接,也可以直接与该脸部图像采集组件电连接,本实用新型实施例对此不做限定。
图2-2是本实用新型实施例提供的一种增强现实设备外侧的结构框图,如图2-2所示,该增强现实设备还可以包括:标定装置202;
该标定装置202设置在该设备主体20的外侧,该标定装置202用于发出标定信号,该标定信号用于指示该增强现实设备。
在本实用新型实施例中,该标定装置202可以为红外发射器,该设备主体20的外侧可以设置有多个标定装置,该多个标定装置可以沿设备主体的外部轮廓排布,以便通过每个标定装置发出的标定信号,向其他增强现实设备指示该增强现实设备以及该增强现实设备的位置。示例的,如图2-2所示,该设备主体20的外侧可以设置有4个红外发射器202,该四个红外发射器202分别设置在设备主体20的四角,该四个红外发射器202可以发出标定信号(即红外信号),该红外信号中可以调制有该增强现实设备的标识,当其他增强现实设备通过环境图像采集组件(例如摄像头)检测到该红外信号后,即可确定该增强现实设备的方位,并能够对该红外信号进行解调,进而确定该增强现实设备的标识。
进一步的,如图2-2所示,该设备还可以包括:
环境图像采集组件203,该环境图像采集组件203设置在该设备主体20的外侧,该环境图像采集组件203用于采集该用户周围环境的图像;该通信模块21与该环境图像采集组件203连接,还用于向该增强现实服务器发送该用户周围环境的图像。示例的,在本实用新型实施例中,该环境图像采集组件203可以为摄像头,该设备主体20的外侧可以对称设置有两个摄像头,且该两个摄像头可以设置在设备主体外侧对应于用户人眼的位置,以便更加真实的模拟人眼视觉。
此外,该环境图像采集组件203还用于在采集该用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的该标定信号,确定该其他增强现实设备的标识,并获取该其他增强现实设备在该用户周围环境的图像中的位置信息;该通信模块21,还用于向该增强现实服务器发送该位置信息以及该位置信息对应的该其他增强现实设备的标识。
在本实用新型实施例中,该其他增强现实设备在该用户周围环境的图像中的位置信息可以为该标定信号发射点在该用户周围环境的图像中的坐标,若某个增强现实设备发出的标定信号包括多个,则该环境图像采集组件可以分别获取每个标定信号发射点在该用户周围环境的图像中的坐标,若该用户周围环境的图像中包括多个其他增强现实设备发出的标定信号,则该环境图像采集组件可以根据每个标定信号所指示的增强现实设备,建立位置信息与增强现实设备的标识的对应关系。
可选的,如图2-2所述,该设备还可以包括:
运动传感器204,用于获取该用户头部的运动状态数据;通信模块21与该运动传感器204连接,还用于将该运动状态数据发送至增强现实服务器。其中,该运动传感器204可以为六轴传感器,该六轴传感器包括三轴加速器和三轴陀螺仪,其中三轴加速器能够检测增强现实设备的水平方向的加速度,三轴陀螺仪能够检测增强现实设备旋转的角度。该六轴传感器可以实时获取用户头部的运动状态数据,该运动状态数据可以包括用户的头部在预设的基准坐标系中的偏转角度,该预设的基准坐标系可以为该运动传感器的基准坐标系。通过通信模块将该运动状态数据发送至增强现实服务器后,该增强现实服务器可以根据该用户的头部在预设的基准坐标系中的偏转角度,对增强现实图像进行处理,提高了该增强现实图像处理的灵活性。
可选的,如图2-2所示,该设备主体20上还可以设置有用于指示该增强现实设备的标记图案205。该标记图案可以是由特定的几何图形按照预设规律所形成的图案,例如二维码或者图形码等。该标记图案能够唯一标识该增强现实设备,当其他增强现实设备采集的用户周围环境的图像中包括该标记图案,并将该用户周围环境的图像发送至增强现实服务器后,增强现实服务器可以根据该标记图案,确定该标记图案所对应的增强现实设备。
综上所述,本实用新型实施例提供了一种增强现实设备,该增强现实设备的设备主体内侧设置有脸部图像采集组件,该脸部图像采集组件能够采集用户的脸部图像,使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器,因此增加了该增强现实设备所能够采集的图像的种类,丰富了增强现实设备的功能,提高了增强现实设备的使用灵活性。
图3是本实用新型实施例提供的一种图像处理方法的流程图,该方法可以应用于图1所示的增强现实服务器中,如图3所示,该方法可以包括:
步骤301、接收第一增强现实设备发送的第一用户的脸部图像。
步骤302、接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
步骤303、根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
步骤304、将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述,本实用新型实施例提供了一种图像处理方法,增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此提高了该增强现实服务器对图像进行增强现实处理时的灵活性。
图4-1是本实用新型实施例提供的另一种图像处理方法的流程图,该方法可以应用于图1所示的增强现实系统中,如图4-1所示,该方法可以包括:
步骤401、第一增强现实设备向增强现实服务器发送第一用户的脸部图像。
在本实用新型实施例中,参考图2-1,该第一增强现实设备的设备主体内侧可以设置有脸部图像采集组件,该设备主体被该第一用户佩戴时,该脸部图像采集组件朝向第一用户脸部,且与该第一用户脸部存在预设距离,该脸部图像采集组件能够采集该第一用户的脸部图像;该第一增强现实设备还包括通信模块,第一增强现实设备可以通过该通信模块将该第一用户的脸部图像发送至该增强现实服务器中。示例的,该第一增强现实设备的设备主体内侧设置的图像采集组件可以为广角摄像头,该第一增强现实设备通过该广角摄像头采集的第一用户的脸部图像400可以如图4-2所示。
步骤402、第二增强现实设备向增强现实服务器发送第二用户周围环境的图像。
第二用户周围环境的图像为第二增强现实设备采集的,且该第一用户和该第二用户位于同一现实场景中。在本实用新型实施例中,该第二增强现实设备的设备主体外侧可以设置有环境图像采集组件(例如摄像头),该环境图像采集组件能够采集该第二用户周围环境的图像;该第二增强现实设备中还可以设置有通信模块,第二增强现实设备可以通过该通信模块将该第二用户周围环境的图像发送至该增强现实服务器中。示例的,如图4-3所示,假设该第二用户(图4-3中未示出)正在会议室中与第一用户41、第三用户43和第四用户44进行虚拟会议,其中每个用户均佩戴有增强现实设备,且该各个增强现实设备均与同一个增强现实服务器建立连接,则该第二用户佩戴的第二增强现实设备所采集的该第二用户周围环境的图像即可如图4-3所示。
步骤403、增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。
增强现实服务器接收到第一用户的脸部图像以及第二用户周围环境的图像后,为了根据该第一用户的脸部图像对该第二用户周围环境的图像进行处理,可以先检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。该检测第一增强现实设备的图像的过程可以通过两种方式实现:
在第一中可实现方式中,如图4-4所示,该增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像的方法可以包括:
步骤4031a、增强现实服务器接收第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识。
该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。该第二增强现实设备通过环境图像采集组件采集该第二用户周围环境的图像时,还可以检测其他增强现实设备(例如第一增强现实设备)发出的标定信号,该标定信号用于指示该其他增强现实设备,例如该标定信号中调可以制有该其他增强现实设备的标识,因此该第二增强现实设备可以根据检测到的该标定信号,获取该其他增强现实设备在该第二用户周围环境的图像中的位置信息,并能够对该标定进行进行解调,进而确定该位置信息对应的该其他增强现实设备的标识。当该第二增强现实设备检测到第一增强现实设备的标定信号时,可以将获取到的该第一增强现实设备在该第二用户周围环境的图像中的位置信息,以及该位置信息对应的第一增强现实设备的标识发送至增强现实服务器。示例的,假设图4-3中的第一用户41佩戴有该第一增强现实设备,且该第一增强现实设备上设置有两个标定装置,第二增强现实设备根据该两个标定装置发出的标定信号,获取到的第一增强现实设备在该第二用户周围环境的图像中位置信息为该两个标定信号发射点的坐标,则该位置信息可以为:(1.5,0.8)和(1.65,0.86),且该第二增强现实设备还可以根据该两个标定信号获取到该第一增强现实设备的标识:001;进一步的,由于该第三用户43所佩戴的第三增强现实设备也可以发出标定信号,则该第二增强设备也可以获取到该第三用户设备在该第二用户周围环境的图像中的位置信息:(1.3,0.85);(1.5,0.92),以及该位置信息对应的第三增强现实设备的标识:003。因此,该第二增强现实设备可以向增强现实服务器发送如表1所示的位置信息与增强现实设备的标识的对应关系。
表1
增强现实设备的标识 | 001 | 003 |
位置信息 | (1.5,0.8);(1.65,0.86) | (1.3,0.85);(1.5,0.92) |
步骤4032a、检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像。
增强现实服务器根据该位置信息确定了该第一增强现实设备在该第二用户周围环境的图像中的位置后,可以检测该位置是否存在增强现实设备的图像。具体的,该增强现实服务器中可以存储有设备图案模板,该增强现实服务器可以获取该位置信息指示的位置处的图像,并将该图像与设备图案模板进行对比,当该位置信息指示的位置处的图像与设备图案模板匹配时,增强现实服务器可以确定该位置信息指示的位置存在增强现实设备的图像。示例的,假设第二用户周围环境的图像如图4-3所示,增强现实服务器获取到的位置信息与增强现实设备的标识的对应关系如表1所示,则对于第一增强现实设备001所对应的位置信息:(1.5,0.8),(1.65,0.86),增强现实服务器可以将该两个坐标点作为矩形对角线的端点,并将该矩形所包围区域内的图像410与设备图案模板进行对比,若该矩形所包围区域内的图像410与设备图案模板,则确定该位置信息指示的位置存在增强现实设备的图像。
步骤4033a、当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。
由于该位置信息所对应的增强现实设备的标识为第一增强现实设备的标识,因此当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,增强现实服务器可以确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。示例的,增强现实服务器可以确定位置信息:(1.5,0.8),(1.65,0.86)指示的位置的增强现实设备的图像410为该第一增强现实设备的图像。
在第二种可实现方式中,该第一增强现实设备的设备主体上可以设置有用于指示该第一增强现实设备的标记图案,该标记图案可以唯一指示该第一增强现实设备,如图4-5所示,该增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像的方法可以包括:
步骤4031b、检测该第二用户周围环境的图像中,是否存在增强现实设备的图像。
增强现实服务器中接收到第二用户周围环境的图像后,还可以对该第二用户周围环境的图像进行检测,判断该图像中是否存在与设备图案模板匹配的增强现实设备的图像。示例的,假设增强现实服务器中接收到的第二用户周围环境的图像如图4-3所示,则增强现实服务器对该图像进行检测后,可以确定该第二用户周围环境的图像中存在两个增强现实设备的图像410和430,其中410为第一用户41所佩戴的第一增强现实设备的图像,430为第三用户43所佩戴的第三增强现实设备的图像。
步骤4032b、当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案。
在本实用新型实施例中,该增强现实服务器中可以存储有增强现实设备的标识与标记图案的对应关系,当该第二用户周围环境的图像中,存在增强现实设备的图像时,增强现实服务器可以根据该增强现实设备与标记图案的对应关系,确定第一增强现实设备对应的标记图案,并检测该增强现实设备的图像中,是否存在该第一增强现实设备对应的标记图案;或者该标记图案中可以编译有增强现实设备的标识,增强现实服务器检测到第二用户周围环境的图像中存在标记图案时,可以对该标记图案进行解码,并获取到该标记图案对应的增强现实设备的标识,进而再判断该标记图案对应的增强现实设备的标识是否为第一增强现实设备的标识。
示例的,假设增强现实服务器中存储的第一增强现实设备的标识001所对应的标记图案为图2-2中的标记图案205,则当该增强现实服务器从第二用户周围环境的图像中检测出增强现实设备的图像410和430后,可以继续检测该两个增强现实设备的图像中,是否存在图2-2中所示的标记图案205;或者,该增强现实服务器还可以直接对该两个增强现实设备的图像410和430进行检测,当在任一增强现实设备的图像中检测到标记图案时,对该标记图案进行解码,获取到该标记图案对应的增强现实设备的标识,从而可以确定该标记图案是否为第一增强现实设备对应的标记图案。
步骤4033b、当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像。
示例的,当增强现实服务器在增强现实设备的图像410中检测出第一增强现实设备所对应的标记图案205时,该增强现实服务器即可确定该增强现实设备的图像410为该第一增强现实设备的图像。
步骤404、当该第二用户周围环境的图像中存在第一增强现实设备的图像时,增强现实服务器用该第一用户的脸部图像替换该第一增强现实设备的图像。
增强现实服务器在对该第二用户周围环境的图像进行增强现实处理的过程中,如果检测到该第二用户周围环境的图像中存在第一增强现实设备的图像,则可以用该第一用户的脸部图像替换该第一增强现实设备的图像,也即是,根据预设的图像叠加算法,将该第一用户的脸部图像叠加在该第一增强现实设备的图像上。其中,根据预设的图像叠加算法进行脸部图像的叠加的具体实现过程可以参考相关技术,本实用新型实施例对此不做赘述。
示例的,当增强现实服务器在图4-3所示的第二用户周围环境的图像中检测到该第一增强现实设备的图像410时,该增强现实服务器可以用如图4-2所示的该第一用户的脸部图像400替换该图4-3中的第一增强现实设备的图像410;同样的,在图4-3中,该第三用户43所佩戴的第三增强现实设备也可以将采集到的第三用户43的脸部图像发送至该增强现实服务器,以便该增强现实服务器可以用该第三用户43的脸部图像,替换该第二用户周围环境的图像中该第三增强现实设备的图像430。增强现实服务器根据接收到的脸部图像对该第二用户周围环境的图像进行处理后的效果图可以如图4-6所示,从4-6中可以看出,处理后的该第二用户周围环境的图像中,第一用户41和第三用户43的脸部图像得以完整显示,而没有被增强现实设备所遮挡,该增强现实图像的处理显示效果较好,提高了用户在增强现实场景中的沉浸感。
步骤405、增强现实服务器将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
在本实用新型实施例中,增强现实服务器根据第一用户的脸部图像对第二用户周围环境的图像处理完成后,还可以将该处理后的第二用户周围环境的图像与图形系统产生的虚拟场景进行处理和叠加,得到增强现实图像,并将该增强现实图像发送至该第二增强现实设备中,该第二增强现实设备的内侧可以设置有显示装置,第二用户可以通过该显示装置观看该增强现实图像。
步骤406、第一增强现实设备向增强现实服务器发送第一用户的头部的第一运动状态数据。
在本实用新型实施例中,该第一增强现实设备中还可以设置有运动传感器,第一增强现实设备可以通过该运动传感器实时采集第一用户的头部的第一运动状态数据,并将采集到的第一运动状态数据实时发送至该增强现实服务器。其中,该第一运动状态数据可以包括该第一用户的头部在预设的基准坐标系中的偏转角度,该预设的基准坐标系可以为该运动传感器的基准坐标系。
步骤407、第二增强现实设备向增强现实服务器发送第二用户的第二头部的运动状态数据。
同样的,该第二增强现实设备中也设置有运动传感器,该第二增强现实设备也可以向增强现实服务器实时发送该第二用户的头部的第二运动状态数据,该第二运动状态数据中可以包括第二用户的头部在预设的基准坐标系中的偏转角度。
需要说明的是,在实际应用中,若多个增强现实设备位于同一个增强现实系统中,则该多个增强现实设备中的运动传感器在采集运动状态数据时,所依据的坐标系可以均为同一个预设的基准坐标系,以便于增强现实服务器对各个增强现实设备所发送的运动状态数据进行处理。
步骤408、增强现实服务器根据该第一运动状态数据和第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
在本实用新型实施例中,该增强现实服务器可以根据第一用户的头部在预设的基准坐标系中的第一偏转角度,以及第二用户的头部在该预设的基准坐标系中的第二偏转角度,确定该第一用户和第二用户之间的相对位置,之后,该增强现实服务器可以根据该相对位置,实时调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。因此当第一用户或者第二用户的头部转动,使得该第二用户周围环境的图像发生变化时,该第一用户的脸部图像也可以根据两个用户之间的相对位置实时变化,使得第二用户所看到的增强现实图像更接近真实环境,提高了用户的沉浸感。其中,根据据第一用户与第二用户的相对位置,调整第一用户的脸部图像在该第二用户周围环境的图像中的设置角度的具体过程可以参考相关技术中的图像叠加算法,本实用新型实施例对此不做赘述。
需要说明的是,本实用新型实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本实用新型的保护范围之内,因此不再赘述。
综上所述,本实用新型实施例提供了一种图像处理方法,增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此该增强现实服务器对图像进行增强现实处理时的灵活性较高,并且处理效果较好,改善了用户体验,提高了用户的沉浸感。
图5-1是本实用新型实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以用于增强现实服务器中,如图5-1所示,该装置包括:
第一接收模块501,用于接收第一增强现实设备发送的第一用户的脸部图像。
第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
处理模块503,用于根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述,本实用新型实施例提供了一种图像处理装置,该图像处理装置位于增强现实服务器中,增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,该图像处理装置对图像进行增强现实处理时的灵活性较高,处理效果较好。
图5-2是本实用新型实施例提供的另一种图像处理装置的结构示意图,该图像处理装置可以用于增强现实服务器中,如图5-2所示,该装置包括:
第一接收模块501,用于接收第一增强现实设备发送的第一用户的脸部图像。
第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
处理模块503,用于根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
第三接收模块505,用于接收该第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识,该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。
第四接收模块506,用于接收该第一增强现实设备发送的该第一用户的头部的第一运动状态数据。
第五接收模块507,用于接收该第二增强现实设备发送的该第二用户的头部的第二运动状态数据。
调整模块508,用于根据该第一运动状态数据和第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
图5-3是本实用新型实施例提供的一种处理模块的结构示意图,如图5-3所示,该处理模块503可以包括:
检测子模块5031,用于检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。
替换子模块5032,用于当该第二用户周围环境的图像中存在第一增强现实设备的图像时,用该第一用户的脸部图像替换该第一增强现实设备的图像。
该检测子模块5031,还用于:
检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像;
当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。
可选的,该第一增强现实设备的设备主体上设置有用于指示该第一增强现实设备的标记图案;该检测子模块5031,还用于:
检测该第二用户周围环境的图像中,是否存在增强现实设备的图像;
当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案;
当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像。
可选的,该运动状态数据包括该第二用户的头部在预设的基准坐标系中的偏转角度;该调整模块507,还用于:
根据该偏转角度,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
综上所述,本实用新型实施例提供了一种图像处理装置,该图像处理装置位于增强现实服务器中,增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,该图像处理装置对图像进行增强现实处理时的灵活性较高,处理效果较好。
本实用新型实施例提供了另一种增强现实系统,如图1所示,该系统可以包括:增强现实服务器10和至少两个增强现实设备,该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30,且该第一增强现实设备20和第二增强现实设备30可以为如图2-1或图2-2所示的增强现实设备。
该第一增强现实设备30,用于采集第一用户的脸部图像,并向该增强现实服务器发送该第一用户的脸部图像,即该第一增强现实设备可以用于实现上述步骤401中所示的功能。
该第二增强现实设备30,用于采集第二用户周围环境的图像,并向该增强现实服务器发送该第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中,即该第二增强现实设备30可以用于实现上述步骤402中所示的功能。
该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的图像,根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理,并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30,即该增强现实服务器10可以用于实现上述步骤403至步骤405中所示的功能。
可选的,参考上述步骤403和步骤404,该增强现实服务器10,具体用于:检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像;当该第二用户周围环境的图像中存在第一增强现实设备的图像时,用该第一用户的脸部图像替换该第一增强现实设备的图像。
可选的,该第一增强现实设备20,还用于发出标定信号,该标定信号用于指示该第一增强现实设备。
参考图2-2可知,该第一增强现实设备的设备主体外侧可以设置有标定装置(例如红外发射器),该第一增强现实设备通过该标定装置发出的标定信号中可以调制有该第一增强现实设备的标识,以便其他增强现实设备可以根据该标定信号,识别出该第一增强现实设备。
该第二增强现实设备30,还用于在检测到该标定信号时,根据该标定信号,获取该第一增强现实设备在该第二用户周围环境的图像中的位置信息,并向该增强现实服务器发送该位置信息以及该位置信息对应的该第一增强现实设备的标识,即该第二强现实设备30具体用于实现上述步骤4031a中所示的功能。
该增强现实服务器10,具体用于:
检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像;当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像,即该增强现实服务器具体用于实现上述步骤4032a和步骤4033a所示的功能。
可选的,如图2-2所示,该第一增强现实设备20的设备主体上还可以设置有用于指示该第一增强现实设备20的标记图案。
该增强现实服务器10,具体用于:检测该第二用户周围环境的图像中,是否存在增强现实设备的图像;当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案;当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像,即该增强现实服务器还可以用于实现上述步骤4031b至步骤4033b中所示的功能。
可选的,该第一增强现实设备20,还用于获取该第一用户头部的第一运动状态数据,并向该增强现实服务器发送该第一运动状态数据,即该第一增强现实设备还可以用于实现上述步骤406中所示的功能。
该第二增强现实设备30,还用于获取该第二用户头部的第二运动状态数据,并向该增强现实服务器发送该第二运动状态数据,即该第二增强现实设备还可以用于实现上述步骤407中所示的功能。
该增强现实服务器10,还用于根据该第一运动状态数据和该第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度,即该增强现实服务器还可以用于实现上述步骤408中所示的功能。
可选的,该第一运动状态数据包括该第一用户头部在预设的基准坐标系中的第一偏转角度,该第二运动状态数据包括该第二用户头部在该预设的基准坐标系中的第二偏转角度;
该增强现实服务器,具体用于:根据该第一偏转角度和该第二偏转角度,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
综上所述,本实用新型实施例提供了一种增强现实系统,该系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备除了可以采集第一用户周围环境的图像之外,还可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。
Claims (11)
1.一种增强现实设备,其特征在于,所述设备包括:
设备主体和通信模块;
所述设备主体内侧设置有脸部图像采集组件,所述设备主体被用户佩戴时,所述脸部图像采集组件朝向用户脸部,且与所述用户脸部存在预设距离,所述脸部图像采集组件用于采集所述用户的脸部图像;
所述通信模块与所述脸部图像采集组件连接,用于向增强现实服务器发送所述脸部图像。
2.根据权利要求1所述的设备,其特征在于,所述设备还包括:
标定装置;
所述标定装置设置在所述设备主体的外侧,所述标定装置用于发出标定信号,所述标定信号用于指示所述增强现实设备。
3.根据权利要求1所述的设备,其特征在于,所述设备还包括:
环境图像采集组件,所述环境图像采集组件设置在所述设备主体的外侧,所述环境图像采集组件用于采集所述用户周围环境的图像;
所述通信模块与所述环境图像采集组件连接,还用于向所述增强现实服务器发送所述用户周围环境的图像。
4.根据权利要求3所述的设备,其特征在于,
所述环境图像采集组件还用于在采集所述用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的所述标定信号,确定所述其他增强现实设备的标识,并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息;
所述通信模块,还用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其他增强现实设备的标识。
5.根据权利要求1所述的设备,其特征在于,所述设备还包括:
运动传感器,用于获取所述用户头部的运动状态数据;
所述通信模块与所述运动传感器连接,还用于将所述运动状态数据发送至增强现实服务器。
6.根据权利要求1至5任一所述的设备,其特征在于,
所述设备主体上设置有用于指示所述增强现实设备的标记图案。
7.根据权利要求1至5任一所述的设备,其特征在于,
所述脸部图像采集组件为广角摄像头。
8.根据权利要求2所述的设备,其特征在于,
所述标定装置为红外发射器。
9.根据权利要求5所述的设备,其特征在于,
所述运动传感器为六轴传感器。
10.根据权利要求1至5任一所述的设备,其特征在于,
所述设备主体为眼镜或者头盔。
11.一种增强现实系统,其特征在于,所述系统包括:
增强现实服务器和至少两个增强现实设备,所述至少两个增强现实设备包括权利要求1至10任一所述的增强现实设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201620241034.4U CN205430495U (zh) | 2016-03-25 | 2016-03-25 | 增强现实设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201620241034.4U CN205430495U (zh) | 2016-03-25 | 2016-03-25 | 增强现实设备及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN205430495U true CN205430495U (zh) | 2016-08-03 |
Family
ID=56548580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201620241034.4U Active CN205430495U (zh) | 2016-03-25 | 2016-03-25 | 增强现实设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN205430495U (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867617A (zh) * | 2016-03-25 | 2016-08-17 | 京东方科技集团股份有限公司 | 增强现实设备、系统、图像处理方法及装置 |
CN106791699A (zh) * | 2017-01-18 | 2017-05-31 | 北京爱情说科技有限公司 | 一种远程头戴交互式视频共享系统 |
CN108377398A (zh) * | 2018-04-23 | 2018-08-07 | 太平洋未来科技(深圳)有限公司 | 基于红外的ar成像方法、系统及电子设备 |
-
2016
- 2016-03-25 CN CN201620241034.4U patent/CN205430495U/zh active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867617A (zh) * | 2016-03-25 | 2016-08-17 | 京东方科技集团股份有限公司 | 增强现实设备、系统、图像处理方法及装置 |
WO2017161660A1 (zh) * | 2016-03-25 | 2017-09-28 | 京东方科技集团股份有限公司 | 增强现实设备、系统、图像处理方法及装置 |
US10665021B2 (en) | 2016-03-25 | 2020-05-26 | Boe Technology Group Co., Ltd. | Augmented reality apparatus and system, as well as image processing method and device |
CN106791699A (zh) * | 2017-01-18 | 2017-05-31 | 北京爱情说科技有限公司 | 一种远程头戴交互式视频共享系统 |
CN108377398A (zh) * | 2018-04-23 | 2018-08-07 | 太平洋未来科技(深圳)有限公司 | 基于红外的ar成像方法、系统及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105867617B (zh) | 增强现实设备、系统、图像处理方法及装置 | |
CN109375764B (zh) | 一种头戴显示器、云端服务器、vr系统及数据处理方法 | |
US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
CN108733206A (zh) | 一种坐标对齐方法、系统和虚拟现实系统 | |
CN104536579A (zh) | 交互式三维实景与数字图像高速融合处理系统及处理方法 | |
CN205430495U (zh) | 增强现实设备及系统 | |
CN106951074A (zh) | 一种实现虚拟触摸校准的方法以及系统 | |
CN106569591A (zh) | 基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统 | |
CN108154533A (zh) | 一种位置姿态确定方法、装置及电子设备 | |
CN110456905A (zh) | 定位跟踪方法、装置、系统及电子设备 | |
WO2020110659A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN104216533B (zh) | 一种基于DirectX9的头戴式虚拟现实显示器 | |
WO2019031005A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11188144B2 (en) | Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
WO2017163648A1 (ja) | 頭部装着装置 | |
WO2018205426A1 (zh) | 桌面型空间立体交互系统 | |
CN109343713B (zh) | 一种基于惯性测量单元的人体动作映射方法 | |
CN107422842A (zh) | 一种信息处理方法及装置 | |
CN106249902A (zh) | 多媒体虚拟展示平台 | |
JP6467039B2 (ja) | 情報処理装置 | |
Lobo et al. | Fusing of image and inertial sensing for camera calibration | |
JP2017111537A (ja) | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |