CN105867617A - 增强现实设备、系统、图像处理方法及装置 - Google Patents

增强现实设备、系统、图像处理方法及装置 Download PDF

Info

Publication number
CN105867617A
CN105867617A CN201610179196.4A CN201610179196A CN105867617A CN 105867617 A CN105867617 A CN 105867617A CN 201610179196 A CN201610179196 A CN 201610179196A CN 105867617 A CN105867617 A CN 105867617A
Authority
CN
China
Prior art keywords
augmented reality
image
user
equipment
reality equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610179196.4A
Other languages
English (en)
Other versions
CN105867617B (zh
Inventor
武乃福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610179196.4A priority Critical patent/CN105867617B/zh
Priority to PCT/CN2016/082754 priority patent/WO2017161660A1/zh
Priority to US15/536,259 priority patent/US10665021B2/en
Publication of CN105867617A publication Critical patent/CN105867617A/zh
Application granted granted Critical
Publication of CN105867617B publication Critical patent/CN105867617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实设备、系统、图像处理方法及装置,属于可穿戴设备领域。该增强现实系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性,解决了相关技术中增强现实设备功能单一,增强现实服务器图像处理灵活性较低的问题。本发明用于增强现实处理。

Description

增强现实设备、系统、图像处理方法及装置
技术领域
本发明涉及可穿戴设备领域,特别涉及一种增强现实设备、系统、图像处理方法及装置。
背景技术
增强现实技术(英文:Augmented Reality;简称:AR)是一种基于虚拟现实(英文:Virtual Reality;简称:VR)技术的改进技术。其中,VR技术是一种利用计算机图形系统和各种接口设备,在计算机上生成可交互的三维环境(即虚拟场景),并通过该三维环境为用户提供沉浸感的技术,而AR技术则能够将现实场景与虚拟场景进行实时叠加,为用户提供更加逼真的增强现实场景,进一步增强了用户的沉浸感。其中,沉浸感是指当用户把增强现实中的场景当做真实场景来感知时,在空间意义上置身于该增强现实场景中的感觉。
相关技术中,用户可以通过佩戴增强现实设备,体验增强现实场景。该增强现实设备能够通过设置在设备上的摄像头实时获取该用户周围环境的图像,并发送至增强现实服务器中,以便增强现实服务器能够将该用户周围环境的图像与计算机图形系统产生的虚拟场景进行处理和叠加,生成增强现实场景,再通过增强现实设备中的显示装置将该增强现实场景呈现给用户。如果同一个现实场景中存在多个佩戴有增强现实设备的用户,则每个增强现实设备所采集的用户周围的环境图像中,还可以包括其他用户的人像。
但是,相关技术中,增强现实设备只能通过设置在设备外侧的摄像头采集用户周围环境的图像,该增强现实设备所采集的图像较为单一,使得增强现实服务器根据该增强现实设备所采集的图像进行图像处理时的灵活性较低。
发明内容
为了解决相关技术中增强现实设备采集图像单一,增强现实服务器图像处理灵活性较低的问题,本发明提供了一种增强现实设备、系统、图像处理方法及装置。所述技术方案如下:
第一方面,提供了一种增强现实系统,所述系统包括:
增强现实服务器和至少两个增强现实设备,所述至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,
所述第一增强现实设备,用于采集第一用户的脸部图像,并向所述增强现实服务器发送所述第一用户的脸部图像;
所述第二增强现实设备,用于采集第二用户周围环境的图像,并向所述增强现实服务器发送所述第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
所述增强现实服务器,用于接收所述第一用户的脸部图像和所述第二用户周围环境的图像,根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理,并将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选的,所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选的,所述第一增强现实设备,还用于发出标定信号,所述标定信号用于指示所述第一增强现实设备;
所述第二增强现实设备,还用于在检测到所述标定信号时,根据所述标定信号,确定所述第一增强现实设备的标识,获取所述第一增强现实设备在所述第二用户周围环境的图像中的位置信息,并向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述第一增强现实设备的标识;
所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,所述位置信息指示的位置是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,所述位置信息指示的位置存在增强现实设备的图像时,根据所述第一增强现实设备的标识,确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选的,所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案,
所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,存在增强现实设备的图像时,检测所述增强现实设备的图像中,是否存在所述标记图案;
当所述增强现实设备的图像中,存在所述标记图案时,确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选的,所述第一增强现实设备,还用于获取所述第一用户头部的第一运动状态数据,并向所述增强现实服务器发送所述第一运动状态数据;
所述第二增强现实设备,还用于获取所述第二用户头部的第二运动状态数据,并向所述增强现实服务器发送所述第二运动状态数据;
所述增强现实服务器,还用于根据所述第一运动状态数据和所述第二运动状态数据,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选的,所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度,所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度;
所述增强现实服务器,具体用于:根据所述第一偏转角度和所述第二偏转角度,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
第二方面,提供了一种增强现实设备,所述设备包括:
设备主体和通信模块;
所述设备主体内侧设置有脸部图像采集组件,所述设备主体被用户佩戴时,所述脸部图像采集组件朝向用户脸部,且与所述用户脸部存在预设距离,所述脸部图像采集组件用于采集所述用户的脸部图像;
所述通信模块与所述脸部图像采集组件连接,用于向增强现实服务器发送所述脸部图像。
可选的,所述设备还包括:标定装置;
所述标定装置设置在所述设备主体的外侧,所述标定装置用于发出标定信号,所述标定信号用于指示所述增强现实设备。
可选的,所述设备还包括:
环境图像采集组件,所述环境图像采集组件设置在所述设备主体的外侧,所述环境图像采集组件用于采集所述用户周围环境的图像;
所述通信模块与所述环境图像采集组件连接,还用于向所述增强现实服务器发送所述用户周围环境的图像。
可选的,所述环境图像采集组件还用于在采集所述用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的所述标定信号,确定所述其他增强现实设备的标识,并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息;
所述通信模块,还用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其他增强现实设备的标识。
可选的,所述设备还包括:
运动传感器,用于获取所述用户头部的运动状态数据;
所述通信模块与所述运动传感器连接,还用于将所述运动状态数据发送至增强现实服务器。
可选的,所述设备主体上设置有用于指示所述增强现实设备的标记图案。
可选的,所述脸部图像采集组件为广角摄像头。
可选的,所述标定装置为红外发射器。
可选的,所述运动传感器为六轴传感器。
可选的,所述设备主体为眼镜或者头盔。
第三方面,提供一种图像处理方法,用于增强现实服务器,所述方法包括:
接收第一增强现实设备发送的第一用户的脸部图像;
接收第二增强现实设备发送的第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理;
将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选的,所述根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理,包括:
检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选的,所述方法还包括:
接收所述第二增强现实设备发送的位置信息以及所述位置信息对应的第一增强现实设备的标识,所述位置信息用于指示所述第一增强现实设备在所述第二用户周围环境的图像中的位置;
所述检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像,包括:
检测所述第二用户周围环境的图像中,所述位置信息指示的位置是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,所述位置信息指示的位置存在增强现实设备的图像时,根据所述第一增强现实设备的标识,确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选的,所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案;
所述检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像,包括:
检测所述第二用户周围环境的图像中,是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,存在增强现实设备的图像时,检测所述增强现实设备的图像中,是否存在所述标记图案;
当所述增强现实设备的图像中,存在所述标记图案时,确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选的,,所述方法还包括:
接收所述第一增强现实设备发送的所述第一用户的头部的第一运动状态数据;
接收所述第二增强现实设备发送的所述第二用户的头部的第二运动状态数据;
根据所述第一运动状态数据和所述第二运动状态数据,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选的,所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度,所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度;
所述根据所述第一运动状态数据和所述第二运动状态数据,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度,包括:
根据所述第一偏转角度和所述第二偏转角度,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
第四方面,提供了一种图像处理装置,用于增强现实服务器,所述装置包括:
第一接收模块,用于接收第一增强现实设备发送的第一用户的脸部图像;
第二接收模块,用于接收第二增强现实设备发送的第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
处理模块,用于根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理;
发送模块,用于将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
可选的,所述处理模块,包括:
检测子模块,用于检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
替换子模块,用于当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
可选的,所述装置还包括:
第三接收模块,用于接收所述第二增强现实设备发送的位置信息以及所述位置信息对应的第一增强现实设备的标识,所述位置信息用于指示所述第一增强现实设备在所述第二用户周围环境的图像中的位置;
所述检测子模块,还用于:
检测所述第二用户周围环境的图像中,所述位置信息指示的位置是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,所述位置信息指示的位置存在增强现实设备的图像时,根据所述第一增强现实设备的标识,确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
可选的,所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案;
所述检测子模块,还用于:
检测所述第二用户周围环境的图像中,是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,存在增强现实设备的图像时,检测所述增强现实设备的图像中,是否存在所述标记图案;
当所述增强现实设备的图像中,存在所述标记图案时,确定所述增强现实设备的图像为所述第一增强现实设备的图像。
可选的,所述装置还包括:
第四接收模块,用于接收所述第一增强现实设备发送的所述第一用户的头部的第一运动状态数据;
第五接收模块,用于接收所述第二增强现实设备发送的所述第二用户的头部的第二运动状态数据;
调整模块,用于根据所述第一运动状态数据和所述第二运动状态数据,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
可选的,所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度,所述第二运动状态数据包括所述第二用户头部在预设的基准坐标系中的第二偏转角度;所述调整模块,还用于:
根据所述第一偏转角度和所述第二偏转角度,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供了一种增强现实设备、系统、图像处理方法及装置,该增强现实系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备除了可以采集第一用户周围环境的图像之外,还可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种增强现实系统的结构示意图;
图2-1是本发明实施例提供的一种增强现实设备内侧的结构框图;
图2-2是本发明实施例提供的一种增强现实设备外侧的结构框图
图3是本发明实施例提供的一种图像处理方法的流程图;
图4-1是本发明实施例提供的另一种图像处理方法的流程图;
图4-2是本发明实施例提供的一种第一增强现实设备所采集的第一用户的脸部图像的示意图;
图4-3是本发明实施例提供的一种第二增强现实设备所采集的第二用户周围环境的图像的示意图;
图4-4是本发明实施例提供的一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图;
图4-5是本发明实施例提供的另一种增强现实服务器检测是否存在第一增强现实设备的图像的方法流程图;
图4-6是本发明实施例提供的一种增强现实处理后的第二用户周围环境的图像的示意图;
图5-1是本发明实施例提供的一种图像处理装置的结构示意图;
图5-2是本发明实施例提供的另一种图像处理装置的结构示意图;
图5-3是本发明实施例提供的一种处理模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种增强现实系统的结构示意图,参见图1,该系统可以包括:
增强现实服务器10和至少两个增强现实设备,该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30。
该第一增强现实设备20,用于采集第一用户的脸部图像,并向该增强现实服务器10发送该第一用户的脸部图像。
该第二增强现实设备30,用于采集第二用户周围环境的图像,并向该增强现实服务器10发送该第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的图像,根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理,并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30。
综上所述,本发明实施例提供了一种增强现实系统,该系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备除了可以采集第一用户周围环境的图像之外,还可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
图2-1是本发明实施例提供的一种增强现实设备内侧的结构框图,,该增强现实设备可以应用于如图1所示的增强现实系统中,如图2-1所示,该增强现实设备可以包括:
设备主体20和通信模块21;
该设备主体20内侧设置有脸部图像采集组件201,该设备主体被用户佩戴时,该脸部图像采集组件201朝向用户脸部,且与该用户脸部存在预设距离(也即是不直接与用户的脸部接触),该脸部图像采集组件201用于采集该用户的脸部图像。
该通信模块21与该脸部图像采集组件201连接,用于向增强现实服务器发送该脸部图像。
综上所述,本发明实施例提供了一种增强现实设备,该增强现实设备的设备主体内侧设置有脸部图像采集组件,该脸部图像采集组件能够采集用户的脸部图像,使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器,因此增加了增强现实设备所能够采集的图像的种类,丰富了增强现实设备的功能,提高了增强现实设备的使用灵活性。
需要说明的是,在本发明实施例中,该设备主体20可以为眼镜或者头盔,以便于用户的佩戴;该脸部图像采集组件201可以为广角摄像头,广角摄像头的视角范围较大,当该广角摄像头与用户脸部的距离较近时,也能有效采集用户的脸部图像;该通信模块21可以为蓝牙模块、无线保真(英文:WirelessFidelity;简称:WiFi)模块或者网络接口,该通信模块可以通过该增强现实设备中的处理器与该脸部图像采集组件连接,也可以直接与该脸部图像采集组件电连接,本发明实施例对此不做限定。
图2-2是本发明实施例提供的一种增强现实设备外侧的结构框图,如图2-2所示,该增强现实设备还可以包括:标定装置202;
该标定装置202设置在该设备主体20的外侧,该标定装置202用于发出标定信号,该标定信号用于指示该增强现实设备。
在本发明实施例中,该标定装置202可以为红外发射器,该设备主体20的外侧可以设置有多个标定装置,该多个标定装置可以沿设备主体的外部轮廓排布,以便通过每个标定装置发出的标定信号,向其他增强现实设备指示该增强现实设备以及该增强现实设备的位置。示例的,如图2-2所示,该设备主体20的外侧可以设置有4个红外发射器202,该四个红外发射器202分别设置在设备主体20的四角,该四个红外发射器202可以发出标定信号(即红外信号),该红外信号中可以调制有该增强现实设备的标识,当其他增强现实设备通过环境图像采集组件(例如摄像头)检测到该红外信号后,即可确定该增强现实设备的方位,并能够对该红外信号进行解调,进而确定该增强现实设备的标识。
进一步的,如图2-2所示,该设备还可以包括:
环境图像采集组件203,该环境图像采集组件203设置在该设备主体20的外侧,该环境图像采集组件203用于采集该用户周围环境的图像;该通信模块21与该环境图像采集组件203连接,还用于向该增强现实服务器发送该用户周围环境的图像。示例的,在本发明实施例中,该环境图像采集组件203可以为摄像头,该设备主体20的外侧可以对称设置有两个摄像头,且该两个摄像头可以设置在设备主体外侧对应于用户人眼的位置,以便更加真实的模拟人眼视觉。
此外,该环境图像采集组件203还用于在采集该用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的该标定信号,确定该其他增强现实设备的标识,并获取该其他增强现实设备在该用户周围环境的图像中的位置信息;该通信模块21,还用于向该增强现实服务器发送该位置信息以及该位置信息对应的该其他增强现实设备的标识。
在本发明实施例中,该其他增强现实设备在该用户周围环境的图像中的位置信息可以为该标定信号发射点在该用户周围环境的图像中的坐标,若某个增强现实设备发出的标定信号包括多个,则该环境图像采集组件可以分别获取每个标定信号发射点在该用户周围环境的图像中的坐标,若该用户周围环境的图像中包括多个其他增强现实设备发出的标定信号,则该环境图像采集组件可以根据每个标定信号所指示的增强现实设备,建立位置信息与增强现实设备的标识的对应关系。
可选的,如图2-2所述,该设备还可以包括:
运动传感器204,用于获取该用户头部的运动状态数据;通信模块21与该运动传感器204连接,还用于将该运动状态数据发送至增强现实服务器。其中,该运动传感器204可以为六轴传感器,该六轴传感器包括三轴加速器和三轴陀螺仪,其中三轴加速器能够检测增强现实设备的水平方向的加速度,三轴陀螺仪能够检测增强现实设备旋转的角度。该六轴传感器可以实时获取用户头部的运动状态数据,该运动状态数据可以包括用户的头部在预设的基准坐标系中的偏转角度,该预设的基准坐标系可以为该运动传感器的基准坐标系。通过通信模块将该运动状态数据发送至增强现实服务器后,该增强现实服务器可以根据该用户的头部在预设的基准坐标系中的偏转角度,对增强现实图像进行处理,提高了该增强现实图像处理的灵活性。
可选的,如图2-2所示,该设备主体20上还可以设置有用于指示该增强现实设备的标记图案205。该标记图案可以是由特定的几何图形按照预设规律所形成的图案,例如二维码或者图形码等。该标记图案能够唯一标识该增强现实设备,当其他增强现实设备采集的用户周围环境的图像中包括该标记图案,并将该用户周围环境的图像发送至增强现实服务器后,增强现实服务器可以根据该标记图案,确定该标记图案所对应的增强现实设备。
综上所述,本发明实施例提供了一种增强现实设备,该增强现实设备的设备主体内侧设置有脸部图像采集组件,该脸部图像采集组件能够采集用户的脸部图像,使得该增强现实设备能够通过通信模块将该脸部图像发送至增强现实服务器,因此增加了该增强现实设备所能够采集的图像的种类,丰富了增强现实设备的功能,提高了增强现实设备的使用灵活性。
图3是本发明实施例提供的一种图像处理方法的流程图,该方法可以应用于图1所示的增强现实服务器中,如图3所示,该方法可以包括:
步骤301、接收第一增强现实设备发送的第一用户的脸部图像。
步骤302、接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
步骤303、根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
步骤304、将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述,本发明实施例提供了一种图像处理方法,增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此提高了该增强现实服务器对图像进行增强现实处理时的灵活性。
图4-1是本发明实施例提供的另一种图像处理方法的流程图,该方法可以应用于图1所示的增强现实系统中,如图4-1所示,该方法可以包括:
步骤401、第一增强现实设备向增强现实服务器发送第一用户的脸部图像。
在本发明实施例中,参考图2-1,该第一增强现实设备的设备主体内侧可以设置有脸部图像采集组件,该设备主体被该第一用户佩戴时,该脸部图像采集组件朝向第一用户脸部,且与该第一用户脸部存在预设距离,该脸部图像采集组件能够采集该第一用户的脸部图像;该第一增强现实设备还包括通信模块,第一增强现实设备可以通过该通信模块将该第一用户的脸部图像发送至该增强现实服务器中。示例的,该第一增强现实设备的设备主体内侧设置的图像采集组件可以为广角摄像头,该第一增强现实设备通过该广角摄像头采集的第一用户的脸部图像400可以如图4-2所示。
步骤402、第二增强现实设备向增强现实服务器发送第二用户周围环境的图像。
第二用户周围环境的图像为第二增强现实设备采集的,且该第一用户和该第二用户位于同一现实场景中。在本发明实施例中,该第二增强现实设备的设备主体外侧可以设置有环境图像采集组件(例如摄像头),该环境图像采集组件能够采集该第二用户周围环境的图像;该第二增强现实设备中还可以设置有通信模块,第二增强现实设备可以通过该通信模块将该第二用户周围环境的图像发送至该增强现实服务器中。示例的,如图4-3所示,假设该第二用户(图4-3中未示出)正在会议室中与第一用户41、第三用户43和第四用户44进行虚拟会议,其中每个用户均佩戴有增强现实设备,且该各个增强现实设备均与同一个增强现实服务器建立连接,则该第二用户佩戴的第二增强现实设备所采集的该第二用户周围环境的图像即可如图4-3所示。
步骤403、增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。
增强现实服务器接收到第一用户的脸部图像以及第二用户周围环境的图像后,为了根据该第一用户的脸部图像对该第二用户周围环境的图像进行处理,可以先检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。该检测第一增强现实设备的图像的过程可以通过两种方式实现:
在第一中可实现方式中,如图4-4所示,该增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像的方法可以包括:
步骤4031a、增强现实服务器接收第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识。
该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。该第二增强现实设备通过环境图像采集组件采集该第二用户周围环境的图像时,还可以检测其他增强现实设备(例如第一增强现实设备)发出的标定信号,该标定信号用于指示该其他增强现实设备,例如该标定信号中可以调制有该其他增强现实设备的标识,因此该第二增强现实设备可以根据检测到的该标定信号,获取该其他增强现实设备在该第二用户周围环境的图像中的位置信息,并能够对该标定进行进行解调,进而确定该位置信息对应的该其他增强现实设备的标识。当该第二增强现实设备检测到第一增强现实设备的标定信号时,可以将获取到的该第一增强现实设备在该第二用户周围环境的图像中的位置信息,以及该位置信息对应的第一增强现实设备的标识发送至增强现实服务器。示例的,假设图4-3中的第一用户41佩戴有该第一增强现实设备,且该第一增强现实设备上设置有两个标定装置,第二增强现实设备根据该两个标定装置发出的标定信号,获取到的第一增强现实设备在该第二用户周围环境的图像中位置信息为该两个标定信号发射点的坐标,则该位置信息可以为:(1.5,0.8)和(1.65,0.86),且该第二增强现实设备还可以根据该两个标定信号获取到该第一增强现实设备的标识:001;进一步的,由于该第三用户43所佩戴的第三增强现实设备也可以发出标定信号,则该第二增强设备也可以获取到该第三用户设备在该第二用户周围环境的图像中的位置信息:(1.3,0.85);(1.5,0.92),以及该位置信息对应的第三增强现实设备的标识:003。因此,该第二增强现实设备可以向增强现实服务器发送如表1所示的位置信息与增强现实设备的标识的对应关系。
表1
增强现实设备的标识 001 003
位置信息 (1.5,0.8);(1.65,0.86) (1.3,0.85);(1.5,0.92)
步骤4032a、检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像。
增强现实服务器根据该位置信息确定了该第一增强现实设备在该第二用户周围环境的图像中的位置后,可以检测该位置是否存在增强现实设备的图像。具体的,该增强现实服务器中可以存储有设备图案模板,该增强现实服务器可以获取该位置信息指示的位置处的图像,并将该图像与设备图案模板进行对比,当该位置信息指示的位置处的图像与设备图案模板匹配时,增强现实服务器可以确定该位置信息指示的位置存在增强现实设备的图像。示例的,假设第二用户周围环境的图像如图4-3所示,增强现实服务器获取到的位置信息与增强现实设备的标识的对应关系如表1所示,则对于第一增强现实设备001所对应的位置信息:(1.5,0.8),(1.65,0.86),增强现实服务器可以将该两个坐标点作为矩形对角线的端点,并将该矩形所包围区域内的图像410与设备图案模板进行对比,若该矩形所包围区域内的图像410与设备图案模板,则确定该位置信息指示的位置存在增强现实设备的图像。
步骤4033a、当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。
由于该位置信息所对应的增强现实设备的标识为第一增强现实设备的标识,因此当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,增强现实服务器可以确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。示例的,增强现实服务器可以确定位置信息:(1.5,0.8),(1.65,0.86)指示的位置的增强现实设备的图像410为该第一增强现实设备的图像。
在第二种可实现方式中,该第一增强现实设备的设备主体上可以设置有用于指示该第一增强现实设备的标记图案,该标记图案可以唯一指示该第一增强现实设备,如图4-5所示,该增强现实服务器检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像的方法可以包括:
步骤4031b、检测该第二用户周围环境的图像中,是否存在增强现实设备的图像。
增强现实服务器中接收到第二用户周围环境的图像后,还可以对该第二用户周围环境的图像进行检测,判断该图像中是否存在与设备图案模板匹配的增强现实设备的图像。示例的,假设增强现实服务器中接收到的第二用户周围环境的图像如图4-3所示,则增强现实服务器对该图像进行检测后,可以确定该第二用户周围环境的图像中存在两个增强现实设备的图像410和430,其中410为第一用户41所佩戴的第一增强现实设备的图像,430为第三用户43所佩戴的第三增强现实设备的图像。
步骤4032b、当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案。
在本发明实施例中,该增强现实服务器中可以存储有增强现实设备的标识与标记图案的对应关系,当该第二用户周围环境的图像中,存在增强现实设备的图像时,增强现实服务器可以根据该增强现实设备与标记图案的对应关系,确定第一增强现实设备对应的标记图案,并检测该增强现实设备的图像中,是否存在该第一增强现实设备对应的标记图案;或者该标记图案中可以编译有增强现实设备的标识,增强现实服务器检测到第二用户周围环境的图像中存在标记图案时,可以对该标记图案进行解码,并获取到该标记图案对应的增强现实设备的标识,进而再判断该标记图案对应的增强现实设备的标识是否为第一增强现实设备的标识。
示例的,假设增强现实服务器中存储的第一增强现实设备的标识001所对应的标记图案为图2-2中的标记图案205,则当该增强现实服务器从第二用户周围环境的图像中检测出增强现实设备的图像410和430后,可以继续检测该两个增强现实设备的图像中,是否存在图2-2中所示的标记图案205;或者,该增强现实服务器还可以直接对该两个增强现实设备的图像410和430进行检测,当在任一增强现实设备的图像中检测到标记图案时,对该标记图案进行解码,获取到该标记图案对应的增强现实设备的标识,从而可以确定该标记图案是否为第一增强现实设备对应的标记图案。
步骤4033b、当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像。
示例的,当增强现实服务器在增强现实设备的图像410中检测出第一增强现实设备所对应的标记图案205时,该增强现实服务器即可确定该增强现实设备的图像410为该第一增强现实设备的图像。
步骤404、当该第二用户周围环境的图像中存在第一增强现实设备的图像时,增强现实服务器用该第一用户的脸部图像替换该第一增强现实设备的图像。
增强现实服务器在对该第二用户周围环境的图像进行增强现实处理的过程中,如果检测到该第二用户周围环境的图像中存在第一增强现实设备的图像,则可以用该第一用户的脸部图像替换该第一增强现实设备的图像,也即是,根据预设的图像叠加算法,将该第一用户的脸部图像叠加在该第一增强现实设备的图像上。其中,根据预设的图像叠加算法进行脸部图像的叠加的具体实现过程可以参考相关技术,本发明实施例对此不做赘述。
示例的,当增强现实服务器在图4-3所示的第二用户周围环境的图像中检测到该第一增强现实设备的图像410时,该增强现实服务器可以用如图4-2所示的该第一用户的脸部图像400替换该图4-3中的第一增强现实设备的图像410;同样的,在图4-3中,该第三用户43所佩戴的第三增强现实设备也可以将采集到的第三用户43的脸部图像发送至该增强现实服务器,以便该增强现实服务器可以用该第三用户43的脸部图像,替换该第二用户周围环境的图像中该第三增强现实设备的图像430。增强现实服务器根据接收到的脸部图像对该第二用户周围环境的图像进行处理后的效果图可以如图4-6所示,从4-6中可以看出,处理后的该第二用户周围环境的图像中,第一用户41和第三用户43的脸部图像得以完整显示,而没有被增强现实设备所遮挡,该增强现实图像的处理显示效果较好,提高了用户在增强现实场景中的沉浸感。
步骤405、增强现实服务器将处理后的第二用户周围环境的图像发送至该第二增强现实设备。
在本发明实施例中,增强现实服务器根据第一用户的脸部图像对第二用户周围环境的图像处理完成后,还可以将该处理后的第二用户周围环境的图像与图形系统产生的虚拟场景进行处理和叠加,得到增强现实图像,并将该增强现实图像发送至该第二增强现实设备中,该第二增强现实设备的内侧可以设置有显示装置,第二用户可以通过该显示装置观看该增强现实图像。
步骤406、第一增强现实设备向增强现实服务器发送第一用户的头部的第一运动状态数据。
在本发明实施例中,该第一增强现实设备中还可以设置有运动传感器,第一增强现实设备可以通过该运动传感器实时采集第一用户的头部的第一运动状态数据,并将采集到的第一运动状态数据实时发送至该增强现实服务器。其中,该第一运动状态数据可以包括该第一用户的头部在预设的基准坐标系中的偏转角度,该预设的基准坐标系可以为该运动传感器的基准坐标系。
步骤407、第二增强现实设备向增强现实服务器发送第二用户的第二头部的运动状态数据。
同样的,该第二增强现实设备中也设置有运动传感器,该第二增强现实设备也可以向增强现实服务器实时发送该第二用户的头部的第二运动状态数据,该第二运动状态数据中可以包括第二用户的头部在预设的基准坐标系中的偏转角度。
需要说明的是,在实际应用中,若多个增强现实设备位于同一个增强现实系统中,则该多个增强现实设备中的运动传感器在采集运动状态数据时,所依据的坐标系可以均为同一个预设的基准坐标系,以便于增强现实服务器对各个增强现实设备所发送的运动状态数据进行处理。
步骤408、增强现实服务器根据该第一运动状态数据和第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
在本发明实施例中,该增强现实服务器可以根据第一用户的头部在预设的基准坐标系中的第一偏转角度,以及第二用户的头部在该预设的基准坐标系中的第二偏转角度,确定该第一用户和第二用户之间的相对位置,之后,该增强现实服务器可以根据该相对位置,实时调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。因此当第一用户或者第二用户的头部转动,使得该第二用户周围环境的图像发生变化时,该第一用户的脸部图像也可以根据两个用户之间的相对位置实时变化,使得第二用户所看到的增强现实图像更接近真实环境,提高了用户的沉浸感。其中,根据据第一用户与第二用户的相对位置,调整第一用户的脸部图像在该第二用户周围环境的图像中的设置角度的具体过程可以参考相关技术中的图像叠加算法,本发明实施例对此不做赘述。
需要说明的是,本发明实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本发明的保护范围之内,因此不再赘述。
综上所述,本发明实施例提供了一种图像处理方法,增强现实服务器能够接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此该增强现实服务器对图像进行增强现实处理时的灵活性较高,并且处理效果较好,改善了用户体验,提高了用户的沉浸感。
图5-1是本发明实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以用于增强现实服务器中,如图5-1所示,该装置包括:
第一接收模块501,用于接收第一增强现实设备发送的第一用户的脸部图像。
第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
处理模块503,用于根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
综上所述,本发明实施例提供了一种图像处理装置,该图像处理装置位于增强现实服务器中,增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,该图像处理装置对图像进行增强现实处理时的灵活性较高,处理效果较好。
图5-2是本发明实施例提供的另一种图像处理装置的结构示意图,该图像处理装置可以用于增强现实服务器中,如图5-2所示,该装置包括:
第一接收模块501,用于接收第一增强现实设备发送的第一用户的脸部图像。
第二接收模块502,用于接收第二增强现实设备发送的第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中。
处理模块503,用于根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理。
发送模块504,用于将处理后的该第二用户周围环境的图像发送至该第二增强现实设备。
第三接收模块505,用于接收该第二增强现实设备发送的位置信息以及该位置信息对应的第一增强现实设备的标识,该位置信息用于指示该第一增强现实设备在该第二用户周围环境的图像中的位置。
第四接收模块506,用于接收该第一增强现实设备发送的该第一用户的头部的第一运动状态数据。
第五接收模块507,用于接收该第二增强现实设备发送的该第二用户的头部的第二运动状态数据。
调整模块508,用于根据该第一运动状态数据和第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
图5-3是本发明实施例提供的一种处理模块的结构示意图,如图5-3所示,该处理模块503可以包括:
检测子模块5031,用于检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像。
替换子模块5032,用于当该第二用户周围环境的图像中存在第一增强现实设备的图像时,用该第一用户的脸部图像替换该第一增强现实设备的图像。
该检测子模块5031,还用于:
检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像;
当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像。
可选的,该第一增强现实设备的设备主体上设置有用于指示该第一增强现实设备的标记图案;该检测子模块5031,还用于:
检测该第二用户周围环境的图像中,是否存在增强现实设备的图像;
当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案;
当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像。
可选的,该运动状态数据包括该第二用户的头部在预设的基准坐标系中的偏转角度;该调整模块507,还用于:
根据该偏转角度,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
综上所述,本发明实施例提供了一种图像处理装置,该图像处理装置位于增强现实服务器中,增强现实服务器能够通过发送模块接收第一增强现实设备发送的第一用户的脸部图像,并根据该第一用户的脸部图像,通过处理模块对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,该图像处理装置对图像进行增强现实处理时的灵活性较高,处理效果较好。
本发明实施例提供了另一种增强现实系统,如图1所示,该系统可以包括:增强现实服务器10和至少两个增强现实设备,该至少两个增强现实设备可以包括第一增强现实设备20和第二增强现实设备30,且该第一增强现实设备20和第二增强现实设备30可以为如图2-1或图2-2所示的增强现实设备。
该第一增强现实设备30,用于采集第一用户的脸部图像,并向该增强现实服务器发送该第一用户的脸部图像,即该第一增强现实设备可以用于实现上述步骤401中所示的功能。
该第二增强现实设备30,用于采集第二用户周围环境的图像,并向该增强现实服务器发送该第二用户周围环境的图像,该第一用户和该第二用户位于同一现实场景中,即该第二增强现实设备30可以用于实现上述步骤402中所示的功能。
该增强现实服务器10,用于接收该第一用户的脸部图像和该第二用户周围环境的图像,根据该第一用户的脸部图像,对该第二用户周围环境的图像进行增强现实处理,并将处理后的该第二用户周围环境的图像发送至该第二增强现实设备30,即该增强现实服务器10可以用于实现上述步骤403至步骤405中所示的功能。
可选的,参考上述步骤403和步骤404,该增强现实服务器10,具体用于:检测该第二用户周围环境的图像中,是否存在第一增强现实设备的图像;当该第二用户周围环境的图像中存在第一增强现实设备的图像时,用该第一用户的脸部图像替换该第一增强现实设备的图像。
可选的,该第一增强现实设备20,还用于发出标定信号,该标定信号用于指示该第一增强现实设备。
参考图2-2可知,该第一增强现实设备的设备主体外侧可以设置有标定装置(例如红外发射器),该第一增强现实设备通过该标定装置发出的标定信号中可以调制有该第一增强现实设备的标识,以便其他增强现实设备可以根据该标定信号,识别出该第一增强现实设备。
该第二增强现实设备30,还用于在检测到该标定信号时,根据该标定信号,获取该第一增强现实设备在该第二用户周围环境的图像中的位置信息,并向该增强现实服务器发送该位置信息以及该位置信息对应的该第一增强现实设备的标识,即该第二强现实设备30具体用于实现上述步骤4031a中所示的功能。
该增强现实服务器10,具体用于:
检测该第二用户周围环境的图像中,该位置信息指示的位置是否存在增强现实设备的图像;当该第二用户周围环境的图像中,该位置信息指示的位置存在增强现实设备的图像时,根据该第一增强现实设备的标识,确定该位置信息指示的位置的增强现实设备的图像为该第一增强现实设备的图像,即该增强现实服务器具体用于实现上述步骤4032a和步骤4033a所示的功能。
可选的,如图2-2所示,该第一增强现实设备20的设备主体上还可以设置有用于指示该第一增强现实设备20的标记图案。
该增强现实服务器10,具体用于:检测该第二用户周围环境的图像中,是否存在增强现实设备的图像;当该第二用户周围环境的图像中,存在增强现实设备的图像时,检测该增强现实设备的图像中,是否存在该标记图案;当该增强现实设备的图像中,存在该标记图案时,确定该增强现实设备的图像为该第一增强现实设备的图像,即该增强现实服务器还可以用于实现上述步骤4031b至步骤4033b中所示的功能。
可选的,该第一增强现实设备20,还用于获取该第一用户头部的第一运动状态数据,并向该增强现实服务器发送该第一运动状态数据,即该第一增强现实设备还可以用于实现上述步骤406中所示的功能。
该第二增强现实设备30,还用于获取该第二用户头部的第二运动状态数据,并向该增强现实服务器发送该第二运动状态数据,即该第二增强现实设备还可以用于实现上述步骤407中所示的功能。
该增强现实服务器10,还用于根据该第一运动状态数据和该第二运动状态数据,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度,即该增强现实服务器还可以用于实现上述步骤408中所示的功能。
可选的,该第一运动状态数据包括该第一用户头部在预设的基准坐标系中的第一偏转角度,该第二运动状态数据包括该第二用户头部在该预设的基准坐标系中的第二偏转角度;
该增强现实服务器,具体用于:根据该第一偏转角度和该第二偏转角度,调整该第一用户的脸部图像在该第二用户周围环境的图像中的设置角度。
综上所述,本发明实施例提供了一种增强现实系统,该系统包括:增强现实服务器和至少两个增强现实设备,该至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,其中,该第一增强现实设备除了可以采集第一用户周围环境的图像之外,还可以采集第一用户的脸部图像,该增强现实服务器能够接收该第一用户的脸部图像,并根据该第一用户的脸部图像,对第二增强现实设备所发送的第二用户周围环境的图像进行增强现实处理,因此丰富了该第一增强现实设备的功能,并提高了增强现实服务器对图像进行增强现实处理时的处理灵活性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种增强现实系统,其特征在于,所述系统包括:
增强现实服务器和至少两个增强现实设备,所述至少两个增强现实设备包括第一增强现实设备和第二增强现实设备,
所述第一增强现实设备,用于采集第一用户的脸部图像,并向所述增强现实服务器发送所述第一用户的脸部图像;
所述第二增强现实设备,用于采集第二用户周围环境的图像,并向所述增强现实服务器发送所述第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
所述增强现实服务器,用于接收所述第一用户的脸部图像和所述第二用户周围环境的图像,根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理,并将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
2.根据权利要求1所述的系统,其特征在于,所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
3.根据权利要求2所述的系统,其特征在于,
所述第一增强现实设备,还用于发出标定信号,所述标定信号用于指示所述第一增强现实设备;
所述第二增强现实设备,还用于在检测到所述标定信号时,根据所述标定信号,确定所述第一增强现实设备的标识,获取所述第一增强现实设备在所述第二用户周围环境的图像中的位置信息,并向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述第一增强现实设备的标识;
所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,所述位置信息指示的位置是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,所述位置信息指示的位置存在增强现实设备的图像时,根据所述第一增强现实设备的标识,确定所述位置信息指示的位置的增强现实设备的图像为所述第一增强现实设备的图像。
4.根据权利要求2所述的系统,其特征在于,所述第一增强现实设备的设备主体上设置有用于指示所述第一增强现实设备的标记图案,
所述增强现实服务器,具体用于:
检测所述第二用户周围环境的图像中,是否存在增强现实设备的图像;
当所述第二用户周围环境的图像中,存在增强现实设备的图像时,检测所述增强现实设备的图像中,是否存在所述标记图案;
当所述增强现实设备的图像中,存在所述标记图案时,确定所述增强现实设备的图像为所述第一增强现实设备的图像。
5.根据权利要求2至4任一所述的系统,其特征在于,
所述第一增强现实设备,还用于获取所述第一用户头部的第一运动状态数据,并向所述增强现实服务器发送所述第一运动状态数据;
所述第二增强现实设备,还用于获取所述第二用户头部的第二运动状态数据,并向所述增强现实服务器发送所述第二运动状态数据;
所述增强现实服务器,还用于根据所述第一运动状态数据和所述第二运动状态数据,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
6.根据权利要求5所述的系统,其特征在于,
所述第一运动状态数据包括所述第一用户头部在预设的基准坐标系中的第一偏转角度,所述第二运动状态数据包括所述第二用户头部在所述预设的基准坐标系中的第二偏转角度;
所述增强现实服务器,具体用于:根据所述第一偏转角度和所述第二偏转角度,调整所述第一用户的脸部图像在所述第二用户周围环境的图像中的设置角度。
7.一种增强现实设备,其特征在于,所述设备包括:
设备主体和通信模块;
所述设备主体内侧设置有脸部图像采集组件,所述设备主体被用户佩戴时,所述脸部图像采集组件朝向用户脸部,且与所述用户脸部存在预设距离,所述脸部图像采集组件用于采集所述用户的脸部图像;
所述通信模块与所述脸部图像采集组件连接,用于向增强现实服务器发送所述脸部图像。
8.根据权利要求7所述的设备,其特征在于,所述设备还包括:
标定装置;
所述标定装置设置在所述设备主体的外侧,所述标定装置用于发出标定信号,所述标定信号用于指示所述增强现实设备。
9.根据权利要求7所述的设备,其特征在于,所述设备还包括:
环境图像采集组件,所述环境图像采集组件设置在所述设备主体的外侧,所述环境图像采集组件用于采集所述用户周围环境的图像;
所述通信模块与所述环境图像采集组件连接,还用于向所述增强现实服务器发送所述用户周围环境的图像。
10.根据权利要求9所述的设备,其特征在于,
所述环境图像采集组件还用于在采集所述用户周围环境的图像时,检测其他增强现实设备发出的标定信号,并根据检测到的所述标定信号,确定所述其他增强现实设备的标识,并获取所述其他增强现实设备在所述用户周围环境的图像中的位置信息;
所述通信模块,还用于向所述增强现实服务器发送所述位置信息以及所述位置信息对应的所述其他增强现实设备的标识。
11.根据权利要求7所述的设备,其特征在于,所述设备还包括:
运动传感器,用于获取所述用户头部的运动状态数据;
所述通信模块与所述运动传感器连接,还用于将所述运动状态数据发送至增强现实服务器。
12.根据权利要求7至11任一所述的设备,其特征在于,
所述设备主体上设置有用于指示所述增强现实设备的标记图案。
13.一种图像处理方法,其特征在于,用于增强现实服务器,所述方法包括:
接收第一增强现实设备发送的第一用户的脸部图像;
接收第二增强现实设备发送的第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理;
将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
14.根据权利要求13所述的方法,其特征在于,
所述根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理,包括:
检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
15.一种图像处理装置,其特征在于,用于增强现实服务器,所述装置包括:
第一接收模块,用于接收第一增强现实设备发送的第一用户的脸部图像;
第二接收模块,用于接收第二增强现实设备发送的第二用户周围环境的图像,所述第一用户和所述第二用户位于同一现实场景中;
处理模块,用于根据所述第一用户的脸部图像,对所述第二用户周围环境的图像进行增强现实处理;
发送模块,用于将处理后的所述第二用户周围环境的图像发送至所述第二增强现实设备。
16.根据权利要求15所述的装置,其特征在于,
所述处理模块,包括:
检测子模块,用于检测所述第二用户周围环境的图像中,是否存在第一增强现实设备的图像;
替换子模块,用于当所述第二用户周围环境的图像中存在第一增强现实设备的图像时,用所述第一用户的脸部图像替换所述第一增强现实设备的图像。
CN201610179196.4A 2016-03-25 2016-03-25 增强现实设备、系统、图像处理方法及装置 Active CN105867617B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610179196.4A CN105867617B (zh) 2016-03-25 2016-03-25 增强现实设备、系统、图像处理方法及装置
PCT/CN2016/082754 WO2017161660A1 (zh) 2016-03-25 2016-05-20 增强现实设备、系统、图像处理方法及装置
US15/536,259 US10665021B2 (en) 2016-03-25 2016-05-20 Augmented reality apparatus and system, as well as image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610179196.4A CN105867617B (zh) 2016-03-25 2016-03-25 增强现实设备、系统、图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN105867617A true CN105867617A (zh) 2016-08-17
CN105867617B CN105867617B (zh) 2018-12-25

Family

ID=56624962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610179196.4A Active CN105867617B (zh) 2016-03-25 2016-03-25 增强现实设备、系统、图像处理方法及装置

Country Status (3)

Country Link
US (1) US10665021B2 (zh)
CN (1) CN105867617B (zh)
WO (1) WO2017161660A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
CN108551420A (zh) * 2018-04-08 2018-09-18 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
WO2018196394A1 (zh) * 2017-04-28 2018-11-01 京东方科技集团股份有限公司 显示系统和图像显示方法
CN109597484A (zh) * 2018-12-03 2019-04-09 山东浪潮商用系统有限公司 一种基于vr虚拟现实的自助办税系统及方法
CN109978945A (zh) * 2019-02-26 2019-07-05 浙江舜宇光学有限公司 一种增强现实的信息处理方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US20180077092A1 (en) * 2016-09-09 2018-03-15 Tariq JALIL Method and system for facilitating user collaboration
US11218431B2 (en) 2016-09-09 2022-01-04 Tariq JALIL Method and system for facilitating user collaboration
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
WO2019178276A1 (en) 2018-03-13 2019-09-19 Ronald Winston Virtual reality system and method
US11016630B2 (en) * 2019-01-31 2021-05-25 International Business Machines Corporation Virtual view-window
CN111698481B (zh) * 2020-06-23 2021-07-23 湖北视纪印象科技股份有限公司 基于云计算的智能交互机器人监测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100164990A1 (en) * 2005-08-15 2010-07-01 Koninklijke Philips Electronics, N.V. System, apparatus, and method for augmented reality glasses for end-user programming
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术(北京)有限公司 一种实现增强现实或虚拟现实的方法及装置
CN104966318A (zh) * 2015-06-18 2015-10-07 清华大学 具有图像叠加和图像特效功能的增强现实方法
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN205430495U (zh) * 2016-03-25 2016-08-03 京东方科技集团股份有限公司 增强现实设备及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
US8913005B2 (en) * 2011-04-08 2014-12-16 Fotonation Limited Methods and systems for ergonomic feedback using an image analysis module
CN103257703B (zh) * 2012-02-20 2016-03-30 联想(北京)有限公司 一种增强现实装置及方法
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
JP6600310B2 (ja) * 2013-09-04 2019-10-30 エシロール エンテルナショナル シースルー頭部装着型装置に基づいたナビゲーション方法
CN104935866B (zh) * 2014-03-19 2018-07-20 华为技术有限公司 实现视频会议的方法、合成设备和系统
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9719871B2 (en) * 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
CN205430995U (zh) 2016-03-01 2016-08-10 陈东彩 简易烟苗移植定距滚轮

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100164990A1 (en) * 2005-08-15 2010-07-01 Koninklijke Philips Electronics, N.V. System, apparatus, and method for augmented reality glasses for end-user programming
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术(北京)有限公司 一种实现增强现实或虚拟现实的方法及装置
CN104966318A (zh) * 2015-06-18 2015-10-07 清华大学 具有图像叠加和图像特效功能的增强现实方法
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界(北京)科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
CN205430495U (zh) * 2016-03-25 2016-08-03 京东方科技集团股份有限公司 增强现实设备及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107168619B (zh) * 2017-03-29 2023-09-19 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
WO2018196394A1 (zh) * 2017-04-28 2018-11-01 京东方科技集团股份有限公司 显示系统和图像显示方法
US10690924B2 (en) 2017-04-28 2020-06-23 Boe Technology Group Co., Ltd. Display system and image display method
CN108551420A (zh) * 2018-04-08 2018-09-18 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN108551420B (zh) * 2018-04-08 2021-12-14 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
CN109597484A (zh) * 2018-12-03 2019-04-09 山东浪潮商用系统有限公司 一种基于vr虚拟现实的自助办税系统及方法
CN109978945A (zh) * 2019-02-26 2019-07-05 浙江舜宇光学有限公司 一种增强现实的信息处理方法和装置

Also Published As

Publication number Publication date
US20180061133A1 (en) 2018-03-01
WO2017161660A1 (zh) 2017-09-28
US10665021B2 (en) 2020-05-26
CN105867617B (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN105867617A (zh) 增强现实设备、系统、图像处理方法及装置
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
CN106255939B (zh) 世界锁定显示质量反馈
JP5843340B2 (ja) 3次元環境共有システム及び3次元環境共有方法
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
CN108351690A (zh) 信息处理装置、信息处理系统和信息处理方法
CN206961066U (zh) 一种虚拟现实交互设备
CN107111370A (zh) 现实世界对象的虚拟表示
KR20160122702A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN108733206A (zh) 一种坐标对齐方法、系统和虚拟现实系统
CN103649874A (zh) 使用眼睛跟踪隐形镜片的接口
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
CN106951074A (zh) 一种实现虚拟触摸校准的方法以及系统
CN108885487B (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN110456905A (zh) 定位跟踪方法、装置、系统及电子设备
CN109358754A (zh) 一种混合现实头戴显示系统
CN108154533A (zh) 一种位置姿态确定方法、装置及电子设备
CN205430495U (zh) 增强现实设备及系统
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
WO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104216533B (zh) 一种基于DirectX9的头戴式虚拟现实显示器
US20190339768A1 (en) Virtual reality interaction system and method
CN104023634B (zh) 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN107422842A (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant