CN112616048A - Ar眼镜及其显示方法和系统、图像处理方法及设备 - Google Patents

Ar眼镜及其显示方法和系统、图像处理方法及设备 Download PDF

Info

Publication number
CN112616048A
CN112616048A CN202011475969.6A CN202011475969A CN112616048A CN 112616048 A CN112616048 A CN 112616048A CN 202011475969 A CN202011475969 A CN 202011475969A CN 112616048 A CN112616048 A CN 112616048A
Authority
CN
China
Prior art keywords
image
display
real
glasses
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011475969.6A
Other languages
English (en)
Other versions
CN112616048B (zh
Inventor
王雪丰
赵砚秋
范清文
苗京花
陈丽莉
张�浩
李茜
王龙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011475969.6A priority Critical patent/CN112616048B/zh
Publication of CN112616048A publication Critical patent/CN112616048A/zh
Priority to US17/519,312 priority patent/US11573629B2/en
Application granted granted Critical
Publication of CN112616048B publication Critical patent/CN112616048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例提供了一种AR眼镜及其显示方法和系统、图像处理方法及设备。该AR眼镜的显示方法,包括:获取AR眼镜的当前视野范围的实时图像;将实时图像向图像处理设备发送,使得图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域;接收图像处理设备发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域显示。本申请实施例的显示图像可以根据AR眼镜的当前视野范围的实时图像的变化,被实时的调整,显示图像显示清晰,提升用户体验。

Description

AR眼镜及其显示方法和系统、图像处理方法及设备
技术领域
本申请涉及显示技术领域,具体而言,本申请涉及一种AR眼镜及其显示方法和系统、图像处理方法及设备。
背景技术
AR(AugmentedReality,增强现实)是一种实时地计算摄影机影像的位置及角度,并加上相应图像、视频、3D(三维)模型的技术。AR头显设备是一种实现AR技术且可佩戴在人体头部进行展示的穿戴式设备,它通过计算机技术可将虚拟的信息叠加到真实世界,使真实的环境和虚拟的物体能够实时地叠加到同一个画面中,实现两种信息的相互补充,并通过头盔、眼镜等设备在用户的眼前进行画面展示,增强用户的现实感。
但是,现有的AR眼镜经常出现显示图像显示不清楚的问题。
发明内容
本申请针对现有方式的缺点,提出一种AR眼镜及其显示方法和系统、图像处理方法及设备,用以解决现有技术存在显示图像显示不清楚的技术问题。
第一方面,本申请实施例提供一种AR眼镜的显示方法,包括:
获取AR眼镜的当前视野范围的实时图像;
将实时图像向图像处理设备发送,使得图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域;
接收图像处理设备发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域显示。
在一个可能的实现方式中,获取AR眼镜的当前视野范围的实时图像之前,包括:
接收到显示模式选择指令时,根据显示模式选择指令确定显示模式;显示模式包括以下至少一项:投影模式、空间模式,显示模式的显示方向随着当前视野范围对应改变;空间模式的显示方向为设计方向;
将显示模式向图像处理设备发送。
在一个可能的实现方式中,获取AR眼镜的当前视野范围的实时图像之前,包括:
扫描设计范围内的环境场景,形成环境场景图像;
向图像处理设备发送环境场景图像。
在一个可能的实现方式中,AR眼镜的显示方法还包括:
检测环境场景的光线变化;
根据光线变化,调整AR眼镜的镜片的透过率。
第二方面,本申请实施例提供一种图像处理方法,包括:
接收AR眼镜发送的当前视野范围的实时图像;
基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像;
根据实时图像和预存的环境场景图像,确定显示方向和成像距离;
将显示图像、显示方向及成像距离向AR眼镜发送。
在一个可能的实现方式中,基于实时图像调整待显示图像,包括:
对实时图像进行颜色分析,得到实时图像的颜色;
判断待显示图像中文字的颜色与实时图像的颜色的显示差异是否小于预定值;
若待显示图像中文字的颜色与实时图像的颜色的显示差异是否小于预定值,则调整待显示图像中文字的颜色,使得待显示图像中文字的颜色与实时图像的颜色的显示差异不小于预定值。
在一个可能的实现方式中,基于实时图像调整待显示图像,包括:
检测实时图像是否存在人员图像;
若存在人员图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与人员图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量。
在一个可能的实现方式中,基于实时图像调整待显示图像,包括:
检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;
若存在固定遮挡物图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与固定遮挡物图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量;和/或,
根据实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;
若存在固定遮挡物图像,则调整待显示图像中文字的待修改成像距离,将调整后的待修改成像距离作为成像距离,使得待显示图像中的文字与固定遮挡物图像相分离。
在一个可能的实现方式中,接收AR眼镜发送的当前视野范围的实时图像之前,还包括:
接收AR眼镜发送的显示模式;
以及,根据实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
若确定显示模式为显示模式,则根据实时图像和预存的环境场景图像确定AR眼镜的当前视野的方向范围,将当前视野的方向范围中的预定方向作为显示方向;
若确定显示模式为空间模式,则将预存的环境场景图像对应的设计方向,作为显示方向。
第三方面,本申请实施例提供一种AR眼镜的显示装置,包括:
采集模块,用于获取AR眼镜的当前视野范围的实时图像;
第一发送模块,用于将实时图像向图像处理设备发送,使得图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域;
显示模块,用于接收图像处理设备发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域显示。
第四方面,本申请实施例提供一种图像处理装置,包括:
接收模块,用于接收AR眼镜发送的当前视野范围的实时图像;
第一处理模块,用于基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像;
第二处理模块,用于根据实时图像和预存的环境场景图像,确定显示方向和成像距离;
第二发送模块,用于将显示图像、显示方向及成像距离向AR眼镜发送。
第五方面,本申请实施例提供一种AR眼镜,包括:
摄像单元,用于获取AR眼镜的当前视野范围的实时图像,并将实时图像向图像处理设备发送,使得图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域;
显示单元,用于接收图像处理设备发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域显示。
在一个可能的实现方式中,AR眼镜还包括:
感光器件,与显示单元通信连接,用于检测环境场景的光线变化,并将光线变化向显示单元发送;
显示单元,还用于基于光线变化,调整AR眼镜的镜片透过率。
第六方面,本申请实施例提供一种图像处理设备,包括:
处理器,
存储器,与处理器电连接;至少一个程序,被存储在存储器中并被配置为由处理器执行,至少一个程序被配置用于:实现如第二方面的图像处理方法。
第七方面,本申请实施例提供一种AR眼镜的显示系统,包括通信连接的AR眼镜和图像处理设备;
AR眼镜,用于获取AR眼镜的当前视野范围的实时图像,并将实时图像向图像处理设备发送,接收图像处理设备发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域显示;
图像处理设备,用于基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域。
第八方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机指令,当计算机指令在计算机上运行时,实现第一方面的AR眼镜的显示方法或第二方面的图像处理方法。
本申请实施例提供的技术方案带来的有益技术效果包括:
本申请实施例的AR眼镜可以将当前视野范围的实时图像向图像处理设备发送,图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,使得显示图像将会根据AR眼镜的当前视野范围的实时图像的变化,被实时的调整,与环境场景的实时图像有机融合,使得显示图像显示清晰,从而保证使用者可以一直获得沉浸式的使用体验,提升用户体验。
同时,本申请实施例的图像处理设备可以根据实时图像和预存的环境场景图像,确定显示方向和成像距离,也使得显示图像能够根据AR眼镜的当前视野范围的实时图像的变化,实时调整待显示图像的显示方向和成像距离,AR眼镜根据显示方向和成像距离将显示图像向虚拟显示区域显示,实现显示图像的显示,从而人员佩戴AR眼镜后看见显示图像的内容。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的一种AR眼镜的显示系统的结构示意图;
图2为本申请实施例提供的一种AR眼镜向虚拟显示区域进行显示的原理示意图;
图3为本申请实施例提供的一种AR眼镜的结构示意图;
图4为本申请实施例提供的一种AR眼镜的显示方法的流程示意图;
图5为本申请实施例提供的一种图像处理方法的流程示意图;
图6为本申请实施例提供的另一种图像处理方法的流程示意图;
图7为本申请实施例提供的一种AR眼镜的显示装置的结构示意图;
图8为本申请实施例提供的一种图像处理装置的结构示意图;
图9为本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面详细描述本申请,本申请的实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外,如果已知技术的详细描述对于示出的本申请的特征是不必要的,则将其省略。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。
本申请实施例提供一种AR眼镜100的显示系统10,参见图1所示,包括:通信连接的AR眼镜100和图像处理设备200;
AR眼镜100,用于获取AR眼镜100的当前视野范围的实时图像,并将实时图像向图像处理设备200发送,接收图像处理设备200发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域300显示。
图像处理设备200,用于基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域300。
可选地,预存的环境场景图像为预先扫描的AR眼镜100所在环境场景的图像,便于确定显示方向及成像距离,从而确定虚拟显示区域300,AR眼镜100根据显示方向和成像距离,可以将显示图像向虚拟显示区域300显示。
可选地,显示图像包括文字。
可选地,参见图1所示,AR眼镜100和图像处理设备200采用无线通信连接。
本申请实施例的AR眼镜100可以将当前视野范围的实时图像向图像处理设备发送,图像处理设备基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,使得显示图像将会根据环境场景的变化,被实时的修改,以实时适应所属AR眼镜100所在的环境场景,与环境场景的实时图像有机融合,从而保证使用者可以一直获得沉浸式的使用体验,提高使用体验。
可选地,AR眼镜100可以被当作一种提词器,便于给佩戴AR眼镜100的人员显示提示信息,例如:文字,显示图像显示在虚拟显示区域300上,显示图像包括文字,佩戴AR眼镜100的人员视野范围可以看见虚拟显示区域300,便可以看见显示图像。
可选地,图像处理设备200可以是手机、移动盒子或服务器等能够实现本申请实施例的图形处理方法的设备。
可选地,虚拟显示区域300可以是变动的,也可以是不变的,除了佩戴AR眼镜100的使用者外,其他人员看不到虚拟显示区域300,因此虚拟显示区域300对于其余人员来说并不是真实存在的。
可选地,参见图2所示,示出了AR眼镜100将显示图像向虚拟显示区域300显示的原理示图,图中X表示显示图像中显示的文字,虚线表示根据显示方向和成像距离进行显示的显示边界,虚拟显示区域300此时位于AR眼镜100的前方,位于佩戴AR眼镜100使用者的视野范围内,使用者可以看见虚拟显示区域300上的文字。
基于同一发明构思,本申请实施例提供一种AR眼镜100,参见图3所示,该AR眼镜100包括:摄像单元110和显示单元120。
摄像单元110用于获取AR眼镜100的当前视野范围的实时图像,并将实时图像向图像处理设备200发送,使得图像处理设备200基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域300。具体地,摄像单元110可以实时拍摄当前使用者所处的环境。
显示单元120用于接收图像处理设备200发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域300显示。
可选地,摄像单元110和显示单元120可以通信连接,也可以不通信连接。摄像单元110和显示单元120均与图像处理设备200通信连接。
可选地,摄像单元110用于扫描设计范围内的环境场景,形成环境场景图像;向图像处理设备发送环境场景图像。设计范围内的环境场景需要包括用于显示显示图像的虚拟显示区域300。
可选地,扫描设计范围内的环境场景可以是扫描整个环境场景,环境场景可以为三维空间图像。
在一些实施例中,参见图3所示,AR眼镜100还包括:感光器件130,感光器件130与显示单元120通信连接。
感光器件130用于检测环境场景的光线变化,并将光线变化向显示单元120发送。
显示单元120还用于基于光线变化,调整AR眼镜100的镜片透过率。
可选地,当光线变强时,显示单元120将AR眼镜100的镜片透过率降低,当光线变弱时,显示单元120将AR眼镜100的镜片透过率提升。本申请实施例AR眼镜100通过调整镜片透过率,使得佩戴AR眼镜100的人员更更清楚看清楚显示图像。
可选地,AR眼镜100还包括用于选择显示模式的选择按钮,选择按钮的选项包括投影模式和空间模式。人员可以根据环境场景的情况,自主选择使用投影模式或空间模式。具体地,影模式的显示方向随着当前视野范围对应改变;空间模式的显示方向为设计方向。
例如,AR眼镜100使用投影模式时,包括提示文字的显示图像会一直出现在AR眼镜100的视野范围内,在使用者眼前显示,跟随使用者头部姿态的变化进行移动。
例如,AR眼镜100使用空间模式时,AR眼镜100预先对设计范围内的环境场景进行扫描,然后将题词内容作为虚拟物体固定在空间中的某个特定位置,某个特定位置即根据设计的显示方向和成像距离对应确定的虚拟显示区域300的位置,当头部姿态发生改变时,人的视线可能会离开显示图像的题词内容。
本申请实施例的AR眼镜100可以根据使用场景的不同,选择不同的显示模式,两种模式可以轻松切换,从而在不同的应用场景中都给使用者带来更好的体验。
相比与传统的提词器,本申请实施例的采用AR眼镜100的提词器,将包括提词的显示图像显示直接呈现在使用者眼前,使用者可自由移动,显示图像可以一直在使用者眼前,为使用者提词;或者显示图像固定在特定方位,当使用者需要观看题词时,将头部转向特定方位就可以看到题词,使用方便。
同时,本申请实施例采用AR眼镜100的提词器采用分体式设计,将AR眼镜100和图像处理设备200分离,即将处理和显示两部分硬件分离,图像处理和显示图像的形成均由图像处理设备200完成,并传输回AR眼镜100进行显示,减轻头戴眼镜的重量,便于使用者佩戴。
本申请实施例可以根据环境场景的不同,可以选择不同的显示模式。
例如,在展厅讲解中进行使用,提示的文字最好一直跟随演讲者进行移动,可以使用AR眼镜100的投影模式,保证画面一直出现在人眼前方。由于AR眼镜100的当前视野范围一直处于变化中,AR眼镜100的显示图像也可以根据使用者的视野范围对应一直调整虚拟显示区域的位置。
例如,在报告厅中进行演讲,因为周围的环境场景是固定的,可以使用AR眼镜100的空间模式。将AR眼镜100的题词内容作为空间中的一部分,类似黑板或者海报一样,固定在空间中的某一个特定位置的虚拟显示区域,当虚拟显示区域的周围的环境发生改变的时候,AR眼镜100的显示图像的显示样式才会发生改变。
基于同一发明构思,本申请实施例提供一种AR眼镜100的显示方法,由AR眼镜100执行,参见图4所示,该AR眼镜100的显示方法,包括步骤S401至步骤S403。
S401、获取AR眼镜100的当前视野范围的实时图像。
可选地,AR眼镜100获取AR眼镜100的当前视野范围的实时图像
在一些实施例中,获取AR眼镜100的当前视野范围的实时图像之前,包括:
接收到显示模式选择指令时,根据显示模式选择指令确定显示模式;显示模式包括以下至少一项:投影模式、空间模式,投影模式的显示方向随着当前视野范围对应改变;空间模式的显示方向为设计方向。
将显示模式向图像处理设备200发送。
可选地,AR眼镜100包括用于选择显示模式的选择按钮,显示模式选择指令通过人工选择显示模式的选择按钮而发送。
在一些实施例中,获取AR眼镜100的当前视野范围的实时图像之前,包括:
扫描设计范围内的环境场景,形成环境场景图像。
向图像处理设备200发送环境场景图像。
S402、将实时图像向图像处理设备200发送,使得图像处理设备200基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域300。
可选地,AR眼镜100将实时图像向图像处理设备200发送,使得图像处理设备200基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域300。
S403、接收图像处理设备200发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域300显示。
可选地,AR眼镜100接收图像处理设备200发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域300显示。
在一些实施例中,AR眼镜100的显示方法还包括:
检测环境场景的光线变化;
根据光线变化,调整AR眼镜100的镜片的透过率。
可选地,AR眼镜100包括感光器件130,感光器件130用于检测环境场景的光线变化;根据光线变化,调整AR眼镜100的镜片的透过率。
基于同一发明构思,本申请实施例提供一种图像处理方法,由图像处理设备200执行,参见图5所示,该图像处理方法包括步骤S501至步骤S504。
S501、接收AR眼镜100发送的当前视野范围的实时图像。
可选地,图像处理设备200接收AR眼镜100发送的当前视野范围的实时图像。
S502、基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像。
可选地,图像处理设备200基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像。
在一些实施例中,基于实时图像调整待显示图像,包括:
对实时图像进行颜色分析,得到实时图像的颜色;
判断待显示图像中文字的颜色与实时图像的颜色的显示差异是否小于预定值;
若待显示图像中文字的颜色与实时图像的颜色的显示差异小于预定值,则调整待显示图像中文字的颜色,使得待显示图像中文字的颜色与实时图像的颜色的显示差异不小于预定值。
可选地,待显示图像中文字的颜色与实时图像的颜色的显示差异大于预设值,保证显示图像中文字的颜色与AR眼镜100的当前视野范围的实时图像对应的区域的颜色不相同或不相近,便于使用者看清显示图像显示的内容。
在一些实施例中,基于实时图像调整待显示图像,包括:
检测实时图像是否存在人员图像;
若存在人员图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与人员图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量。
在一些实施例中,基于实时图像调整待显示图像,包括:
检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;
若存在固定遮挡物图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与固定遮挡物图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量;和/或,
根据实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;
若存在固定遮挡物图像,则调整待显示图像中文字的待修改成像距离,将调整后的待修改成像距离作为成像距离,使得待显示图像中的文字与固定遮挡物图像相分离。
S503、根据实时图像和预存的环境场景图像,确定显示方向和成像距离。
可选地,图像处理设备200根据实时图像和预存的环境场景图像,确定显示方向和成像距离。
在一些实施例中,步骤S401中,接收AR眼镜100发送的当前视野范围的实时图像之前,还包括:
接收AR眼镜100发送的显示模式;
以及,根据实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
若确定显示模式为投影模式,则根据实时图像和预存的环境场景图像确定AR眼镜100的当前视野的方向范围,将当前视野的方向范围中的预定方向作为显示方向。
若确定显示模式为空间模式,则将预存的环境场景图像对应的设计方向,作为显示方向。
可选地,步骤S401中,接收AR眼镜100发送的当前视野范围的实时图像之前,还包括:
根据预存的环境场景图像,对环境场景对应的显示模式进行识别,以确定显示模式,显示模式包括以下至少一项:投影模式、空间模式。即图像处理设备200可以根据环境场景选择显示模式,不需要人员通过AR眼镜100对显示模式进行设置。
本申请实施例的投影模式可以根据AR眼镜100的当前视野的变化对应调整显示方向,从而可以根据佩戴AR眼镜的人员头部姿态调整显示图像的位置,便于佩戴AR眼镜可以在转动头部的时候,也可以看到显示图像。
S504、将显示图像、显示方向及成像距离向AR眼镜100发送。
可选地,图像处理设备200将显示图像、显示方向及成像距离向AR眼镜100发送。
基于上述技术方案,本申请实施例提供一种图像处理方法,应用于图像处理设备200,参见图6所示,该图像处理方法包括如下步骤:
S601、接收AR眼镜100发送的当前视野范围的实时图像,之后执行步骤S602、S604、S606和S609。
S602、判断待显示图像中文字的颜色与实时图像的颜色的显示差异是否小于预定值;若是,则执行步骤S603,若否,则结束。
可选地,步骤S602之前,对实时图像进行颜色分析,得到实时图像的颜色。
可选地,待显示图像中文字的颜色与实时图像的颜色的显示差异大于预设值,保证显示图像中文字的颜色与AR眼镜100的当前视野范围的实时图像对应的区域的颜色不相同或不相近,便于使用者看清显示图像显示的内容。
S603、调整待显示图像中文字的颜色,使得待显示图像中文字的颜色与实时图像的颜色的显示差异不小于预定值,之后执行步骤S608。
S604、判断实时图像是否存在人员图像,若是,执行步骤S605,若否,结束。
S605、调整待显示图像中文字的显示样式,使得待显示图像中的文字与人员图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量,之后执行步骤S608。
可选地,人员图像包括人员的至少部分身体,例如头部或四肢。本申请的发明人考虑到,实时图像存在人员图像时,人员图像至少部分与显示图像中的文字重合,影响显示图像中的文字的显示效果,因此需要调整待显示图像中文字的显示样式,使得待显示图像中的文字与人员图像相分离,从而实时使得虚拟显示区域300的显示图像中的文字与环境场景中的人员相分离。本申请的发明人考虑到,人员一般是移动的,而且占据体积较小,可以通过选择调整显示样式的方式,使得待显示图像中的文字与人员图像相分离,以提高显示效果。
可选地,若存在人员图像,则调整待显示图像中文字的成像距离,使得虚拟显示区域300的位置变动,实现AR眼镜100显示在虚拟显示区域300的显示图像中的文字与环境场景中的人员相分离。
S606、判断实时图像是否存在固定遮挡物图像,若是,执行步骤S607,若否,结束。
S607、调整待显示图像中文字的显示样式,使得待显示图像中的文字与固定遮挡物图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量。
可选地,待修改成像距离为上一时刻的成像距离,调整后的待修改成像距离作为成像距离,是调整后的待显示图像对应的成像距离。
可选地,固定遮挡物包括墙壁或柱子等固定遮挡物,本申请的发明人考虑到,实时图像存在固定遮挡物图像时,固定遮挡物图像至少部分与显示图像中的文字重合,影响显示图像中的文字的显示效果,因此需要调整待显示图像中文字的显示样式,使得待显示图像中的文字与固定遮挡物相分离,从而使得AR眼镜100显示在虚拟显示区域300的显示图像中的文字与环境场景中的固定遮挡物相分离。
可选地,检测实时图像是否存在固定遮挡物图像的步骤,主要使用于投影模式,因为空间模式的虚拟显示区域300是预先确定的,会考虑避开固定遮挡物。因此,在显示模式为空间模式时,主要是检测实时图像是否存在人员图像。
可选地,图像处理设备200预存有环境场景图像,可以在环境场景图像中模拟在与虚拟显示区域300对应的区域显示待显示图像,根据实时图像中的人员图像或固定遮挡物图像,调整待显示图像中文字的显示样式和/或成像距离,使得AR眼镜100显示在虚拟显示区域300的显示图像中的文字与环境场景中的人员或固定遮挡物相分离。
可以想到的是,显示图像也可以包括图形等提示信息,调整待显示图像中的图形的原理与调整待显示图像中的文字的原理相同。
S608、将调整后的待显示图像作为显示图像。
S609、根据实时图像和预存的环境场景图像,确定显示方向和成像距离,转到步骤S610。
可选地,步骤S609,根据实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
若确定显示模式为投影模式,则根据实时图像和预存的环境场景图像确定AR眼镜100的当前视野的方向范围,将当前视野的方向范围中的预定方向作为显示方向。
若确定显示模式为空间模式,则将预存的环境场景图像对应的设计方向,作为显示方向。
可选地,当前视野的方向范围中的预定方向为当前视野的正前方。
可选地,将预存的环境场景图像对应的设计方向,作为显示方向,包括:
在图像处理设备200的显示界面上,显示环境场景图像;
接收确认选择框指令,根据确认选择框指令确定的选择框框选的区域,确定环境场景图像中与虚拟显示区域300对应的区域;
根据环境场景图像中与虚拟显示区域300对应的区域,确定环境场景图像对应的设计方向并存储,作为显示方向。
可选地,人员在图像处理设备200的显示界面通过与虚拟显示区域300相对应的选择框,自主选择合适的位置,作为环境场景中的虚拟显示区域300。
可选地,设计方向可以是佩戴眼镜的人员面向观众席的正前方,也就是展厅或报告厅的讲台的正前方,也可以根据经验数据选定合适位置,类似黑板或者海报一样,固定在环境场景的空间中的某一个位置。
可选地,预存的环境场景图像对应的设计方向可以为至少一个,即可以选择一个、两个或多个设计方向,那么相当于可以实现有多个虚拟显示区域300可以显示显示图像,便于使用者可以就近选择观看显示图像。具体地,显示模式为空间模式时,根据预存的环境场景图像选择合适的设计方向和成像距离,从而选择了合适的虚拟显示区域300。
S610、判断实时图像是否存在固定遮挡物图像,若是,执行步骤S611,若否,结束。
S611、调整待显示图像中文字的待修改成像距离,将调整后的待修改成像距离作为成像距离,使得待显示图像中的文字与固定遮挡物图像相分离,之后转到步骤S609。
S612、将显示图像、显示方向及成像距离向AR眼镜100发送。显示图像、显示方向及成像距离分别由步骤S608、步骤S609中得到。
基于同一发明构思,本申请实施例提供一种AR眼镜100的显示装置,参见图7所示,该AR眼镜100的显示装置700包括:采集模块710、第一发送模块720和显示模块730。
采集模块710用于获取AR眼镜100的当前视野范围的实时图像。
第一发送模块720用于将实时图像向图像处理设备200发送,使得图像处理设备200基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像,根据实时图像和预存的环境场景图像,确定显示方向和成像距离;环境场景图像包括与用于显示显示图像的虚拟显示区域对应的区域300。
显示模块730用于接收图像处理设备200发送的显示图像、显示方向及成像距离,根据显示方向和成像距离将显示图像向虚拟显示区域300显示。
可选地,采集模块710还用于扫描设计范围内的环境场景,形成环境场景图像,向图像处理设备200发送环境场景图像。
可选地,显示模块730用于接收到显示模式选择指令时,根据显示模式选择指令确定显示模式;显示模式包括以下至少一项:投影模式、空间模式,投影模式的显示方向随着当前视野范围对应改变;空间模式的显示方向为设计方向。
可选地,第一发送模块720用于将显示模式向图像处理设备200发送。
可选地,参见图7所示,该AR眼镜100的显示装置700还包括:感光模块740。
感光模块740用于检测环境场景的光线变化。
显示模块730用于根据光线变化,调整AR眼镜100的镜片的透过率。
基于同一发明构思,本申请实施例提供一种图像处理装置800,参见图8所示,该图像处理装置800包括:接收模块810、第一处理模块820、第二处理模块830和第二发送模块840。
接收模块810用于接收AR眼镜100发送的当前视野范围的实时图像;
第一处理模块820用于基于实时图像调整待显示图像,将调整后的待显示图像作为显示图像;
第二处理模块830用于根据实时图像和预存的环境场景图像,确定显示方向和成像距离;
第二发送模块840用于将显示图像、显示方向及成像距离向AR眼镜100发送。
可选地,第一处理模块820用于对实时图像进行颜色分析,得到实时图像的颜色;判断待显示图像中文字的颜色与实时图像的颜色的显示差异是否小于预定值;若待显示图像中文字的颜色与实时图像的颜色的显示差异小于预定值,则调整待显示图像中文字的颜色,使得待显示图像中文字的颜色与实时图像的颜色的显示差异不小于预定值。
可选地,第一处理模块820用于检测实时图像是否存在人员图像;若存在人员图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与人员图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量。
可选地,第一处理模块820用于检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;若存在固定遮挡物图像,则调整待显示图像中文字的显示样式,使得待显示图像中的文字与固定遮挡物图像相分离;显示样式包括以下至少一项:显示区域、显示大小、显示数量
可选地,第二处理模块830用于检测实时图像是否存在固定遮挡物图像;固定遮挡物图像对应环境场景中的固定遮挡物;若存在固定遮挡物图像,则调整待显示图像中文字的待修改成像距离,将调整后的待修改成像距离作为成像距离,使得待显示图像中的文字与固定遮挡物图像相分离。
可选地,接收模块810用于接收AR眼镜100发送的显示模式
可选地,第二处理模块830用于若确定显示模式为投影模式,则根据实时图像和预存的环境场景图像确定AR眼镜100的当前视野的方向范围,将当前视野的方向范围中的预定方向作为显示方向;若确定显示模式为空间模式,则将预存的环境场景图像对应的设计方向,作为显示方向。
基于同一发明构思,本申请实施例提供一种图像处理设备200,包括:
处理器,
存储器,与处理器电连接;至少一个程序,被存储在存储器中并被配置为由处理器执行,至少一个程序被配置用于:实现如基于本申请任一实施例的图像处理方法。
本技术领域技术人员可以理解,本申请实施例提供的图像处理设备200可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请在一个可选实施例中提供了一种电子设备,如图9所示,图9所示的图像处理设备200包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相通信连接,如通过总线2002相连。
处理器2001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM(Read-Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
可选地,图像处理设备200还可以包括收发器2004。收发器2004可用于信号的接收和发送。收发器2004可以允许图像处理设备200与其他设备进行无线或有线通信以交换数据。需要说明的是,实际应用中收发器2004不限于一个。
可选地,图像处理设备200还可以包括输入单元2005。输入单元2005可用于接收输入的数字、字符、图像和/或声音信息,或者产生与图像处理设备200的用户设置以及功能控制有关的键信号输入。输入单元2005可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、拍摄装置、拾音器等中的一种或多种。
可选地,图像处理设备200还可以包括输出单元2006。输出单元2006可用于输出或展示经过处理器2001处理的信息。输出单元2006可以包括但不限于显示装置、扬声器、振动装置等中的一种或多种。
虽然图9示出了具有各种装置的图像处理设备200,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
可选的,存储器2003用于存储执行本申请方案的应用程序代码,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码,以实现本申请实施例提供的任一种图像处理方法。
基于同一发明构思,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机指令,当计算机指令在计算机上运行时,实现本申请任一实施例的AR眼镜100的显示方法或本申请任一实施例的图像处理方法。
该计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例,至少能够实现如下有益效果:
(1)本申请实施例可以实现显示图像能够根据环境场景的变化,被实时的修改,以实时适应所属AR眼镜所在的环境场景,与环境场景的实时图像有机融合,从而保证使用者可以一直获得沉浸式的使用体验,从而提高用户使用体验。
(2)本申请实施例的AR眼镜100可以根据使用场景的不同,选择不同的显示模式,两种模式可以轻松切换,从而在不同的应用场景中都给使用者带来更好的体验。
(3)本申请实施例的AR眼镜100可以作为提词器,将包括提词的显示图像显示直接呈现在使用者眼前,使用者可自由移动,显示图像可以一直在使用者眼前,为使用者提词;或者显示图像固定在特定方位,当使用者需要观看题词时,将头部转向特定方位就可以看到题词,使用方便。
(4)本申请实施例采用AR眼镜100的显示系统分体式设计,将AR眼镜100和图像处理设备200分离,即将处理和显示两部分硬件分离,图像处理和显示图像的形成均由图像处理设备200完成,并传输回AR眼镜100进行显示,减轻头戴眼镜的重量,便于使用者佩戴。
(5)本申请实施例可以根据实时图像,调整待显示图像的文字的显示区域、显示大小或显示数量,同时也可以调整待显示图像的成像距离,使得待显示图像中的文字与人员图像和/或固定遮挡物相分离,从而实时使得虚拟显示区域300的显示图像中的文字与环境场景中的人员和/或固定遮挡物相分离效果,保证显示图像的清晰显示。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (16)

1.一种AR眼镜的显示方法,其特征在于,包括:
获取AR眼镜的当前视野范围的实时图像;
将所述实时图像向图像处理设备发送,使得所述图像处理设备基于所述实时图像调整待显示图像,将调整后的所述待显示图像作为显示图像,根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;所述环境场景图像包括与用于显示所述显示图像的虚拟显示区域对应的区域;
接收所述图像处理设备发送的所述显示图像、所述显示方向及所述成像距离,根据所述显示方向和所述成像距离将所述显示图像向所述虚拟显示区域显示。
2.根据权利要求1所述的AR眼镜的显示方法,其特征在于,所述获取AR眼镜的当前视野范围的实时图像之前,包括:
接收到显示模式选择指令时,根据所述显示模式选择指令确定显示模式;所述显示模式包括以下至少一项:投影模式、空间模式,所述显示模式的显示方向随着所述当前视野范围对应改变;所述空间模式的显示方向为设计方向;
将所述显示模式向所述图像处理设备发送。
3.根据权利要求1所述的AR眼镜的显示方法,其特征在于,所述获取AR眼镜的当前视野范围的实时图像之前,包括:
扫描设计范围内的环境场景,形成所述环境场景图像;
向所述图像处理设备发送所述环境场景图像。
4.根据权利要求1所述的AR眼镜的显示方法,其特征在于,还包括:
检测环境场景的光线变化;
根据所述光线变化,调整所述AR眼镜的镜片的透过率。
5.一种图像处理方法,其特征在于,包括:
接收AR眼镜发送的当前视野范围的实时图像;
基于所述实时图像调整待显示图像,将调整后的待显示图像作为显示图像;
根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;
将所述显示图像、所述显示方向及所述成像距离向所述AR眼镜发送。
6.根据权利要求5所述图像处理方法,其特征在于,所述基于所述实时图像调整待显示图像,包括:
对所述实时图像进行颜色分析,得到所述实时图像的颜色;
判断所述待显示图像中文字的颜色与所述实时图像的颜色的显示差异是否小于预定值;
若所述待显示图像中文字的颜色与所述实时图像的颜色的显示差异小于预定值,则调整待显示图像中文字的颜色,使得所述待显示图像中文字的颜色与所述实时图像的颜色的显示差异不小于预定值。
7.根据权利要求5所述图像处理方法,其特征在于,所述基于所述实时图像调整待显示图像,包括:
检测所述实时图像是否存在人员图像;
若存在所述人员图像,则调整待显示图像中文字的显示样式,使得所述待显示图像中的文字与所述人员图像相分离;所述显示样式包括以下至少一项:显示区域、显示大小、显示数量。
8.根据权利要求5所述图像处理方法,其特征在于,所述基于所述实时图像调整待显示图像,包括:
检测所述实时图像是否存在固定遮挡物图像;所述固定遮挡物图像对应环境场景中的固定遮挡物;
若存在所述固定遮挡物图像,则调整待显示图像中文字的显示样式,使得所述待显示图像中的文字与所述固定遮挡物图像相分离;所述显示样式包括以下至少一项:显示区域、显示大小、显示数量;和/或,
根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
检测所述实时图像是否存在固定遮挡物图像;所述固定遮挡物图像对应环境场景中的固定遮挡物;
若存在所述固定遮挡物图像,则调整待显示图像中文字的待修改成像距离,将调整后的所述待修改成像距离作为所述成像距离,使得所述待显示图像中的文字与所述固定遮挡物图像相分离。
9.根据权利要求5所述图像处理方法,其特征在于,所述接收AR眼镜发送的当前视野范围的实时图像之前,还包括:
接收所述AR眼镜发送的显示模式;
以及,所述根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离,包括:
若确定显示模式为显示模式,则根据所述实时图像和预存的环境场景图像确定所述AR眼镜的当前视野的方向范围,将所述当前视野的方向范围中的预定方向作为显示方向;
若确定显示模式为空间模式,则将预存的环境场景图像对应的设计方向,作为显示方向。
10.一种AR眼镜的显示装置,其特征在于,包括:
采集模块,用于获取AR眼镜的当前视野范围的实时图像;
第一发送模块,用于将所述实时图像向图像处理设备发送,使得所述图像处理设备基于所述实时图像调整待显示图像,将调整后的所述待显示图像作为显示图像,根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;所述环境场景图像包括与用于显示所述显示图像的虚拟显示区域对应的区域对应的区域;
显示模块,用于接收所述图像处理设备发送的所述显示图像、所述显示方向及所述成像距离,根据所述显示方向和所述成像距离将所述显示图像向所述虚拟显示区域显示。
11.一种图像处理装置,其特征在于,包括:
接收模块,用于接收AR眼镜发送的当前视野范围的实时图像;
第一处理模块,用于基于所述实时图像调整待显示图像,将调整后的待显示图像作为显示图像;
第二处理模块,用于根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;
第二发送模块,用于将所述显示图像、所述显示方向及所述成像距离向所述AR眼镜发送。
12.一种AR眼镜,其特征在于,包括:
摄像单元,用于获取AR眼镜的当前视野范围的实时图像,并将所述实时图像向图像处理设备发送,使得所述图像处理设备基于所述实时图像调整待显示图像,将调整后的所述待显示图像作为显示图像,根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;所述环境场景图像包括与用于显示所述显示图像的虚拟显示区域对应的区域;
显示单元,用于接收所述图像处理设备发送的所述显示图像、所述显示方向及所述成像距离,根据所述显示方向和所述成像距离将所述显示图像向所述虚拟显示区域显示。
13.根据权利要求12所述的AR眼镜,其特征在于,所述AR眼镜还包括:
感光器件,与显示单元通信连接,用于检测环境场景的光线变化,并将光线变化向显示单元发送;
显示单元,还用于基于光线变化,调整AR眼镜的镜片透过率。
14.一种图像处理设备,其特征在于,包括:
处理器,
存储器,与所述处理器电连接;至少一个程序,被存储在所述存储器中并被配置为由所述处理器执行,所述至少一个程序被配置用于:实现如权利要求5-9中任一项所述的图像处理方法。
15.一种AR眼镜的显示系统,包括:通信连接的AR眼镜和图像处理设备;
所述AR眼镜,用于获取AR眼镜的当前视野范围的实时图像,并将所述实时图像向所述图像处理设备发送,接收所述图像处理设备发送的显示图像、显示方向及成像距离,根据所述显示方向和所述成像距离将所述显示图像向虚拟显示区域显示;
所述图像处理设备,用于基于所述实时图像调整待显示图像,将调整后的所述待显示图像作为显示图像,根据所述实时图像和预存的环境场景图像,确定显示方向和成像距离;所述环境场景图像包括与用于显示所述显示图像的虚拟显示区域对应的区域。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机指令,当所述计算机指令在计算机上运行时,实现如权利要求1-4中任一项所述的AR眼镜的显示方法或如权利要求5-9中任一项所述的图像处理方法。
CN202011475969.6A 2020-12-14 2020-12-14 Ar眼镜及其显示方法和系统、图像处理方法及设备 Active CN112616048B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011475969.6A CN112616048B (zh) 2020-12-14 2020-12-14 Ar眼镜及其显示方法和系统、图像处理方法及设备
US17/519,312 US11573629B2 (en) 2020-12-14 2021-11-04 Image processing and display method, augmented reality device, image processing device, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011475969.6A CN112616048B (zh) 2020-12-14 2020-12-14 Ar眼镜及其显示方法和系统、图像处理方法及设备

Publications (2)

Publication Number Publication Date
CN112616048A true CN112616048A (zh) 2021-04-06
CN112616048B CN112616048B (zh) 2023-05-09

Family

ID=75234173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011475969.6A Active CN112616048B (zh) 2020-12-14 2020-12-14 Ar眼镜及其显示方法和系统、图像处理方法及设备

Country Status (2)

Country Link
US (1) US11573629B2 (zh)
CN (1) CN112616048B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923423A (zh) * 2021-10-22 2022-01-11 北京乐驾科技有限公司 调整ar眼镜视图色彩的方法和电子设备、存储介质
CN114815260A (zh) * 2022-05-10 2022-07-29 福州京东方光电科技有限公司 近眼显示装置及设备
CN115248501A (zh) * 2021-04-27 2022-10-28 广州视享科技有限公司 增强现实设备的显示方法、装置和增强现实设备
CN115346432A (zh) * 2022-07-27 2022-11-15 徐州神艺数字科技有限公司 广告设计展示机构

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
US20160210736A1 (en) * 2015-01-20 2016-07-21 Seiko Epson Corporation Head-mounted display, method of controlling head-mounted display, and computer program
US20170139474A1 (en) * 2015-11-17 2017-05-18 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
CN110084891A (zh) * 2019-04-16 2019-08-02 淮南师范学院 一种ar眼镜的颜色调整方法及ar眼镜
KR101983249B1 (ko) * 2017-12-27 2019-08-28 주식회사 버넥트 대상물과의 거리에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117290B1 (en) * 2014-03-10 2022-03-09 BAE Systems PLC Interactive information display
CN107908278B (zh) * 2017-10-20 2020-04-28 华为技术有限公司 一种虚拟现实vr界面生成的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
US20160210736A1 (en) * 2015-01-20 2016-07-21 Seiko Epson Corporation Head-mounted display, method of controlling head-mounted display, and computer program
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
US20170139474A1 (en) * 2015-11-17 2017-05-18 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
KR101983249B1 (ko) * 2017-12-27 2019-08-28 주식회사 버넥트 대상물과의 거리에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템
CN110084891A (zh) * 2019-04-16 2019-08-02 淮南师范学院 一种ar眼镜的颜色调整方法及ar眼镜

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248501A (zh) * 2021-04-27 2022-10-28 广州视享科技有限公司 增强现实设备的显示方法、装置和增强现实设备
CN115248501B (zh) * 2021-04-27 2023-11-21 广州视享科技有限公司 增强现实设备的显示方法、装置和增强现实设备
CN113923423A (zh) * 2021-10-22 2022-01-11 北京乐驾科技有限公司 调整ar眼镜视图色彩的方法和电子设备、存储介质
CN114815260A (zh) * 2022-05-10 2022-07-29 福州京东方光电科技有限公司 近眼显示装置及设备
CN115346432A (zh) * 2022-07-27 2022-11-15 徐州神艺数字科技有限公司 广告设计展示机构
CN115346432B (zh) * 2022-07-27 2023-12-08 徐州神艺数字科技有限公司 广告设计展示机构

Also Published As

Publication number Publication date
US11573629B2 (en) 2023-02-07
CN112616048B (zh) 2023-05-09
US20220187903A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US20240096039A1 (en) Display control apparatus, display control method, and program
CN112616048B (zh) Ar眼镜及其显示方法和系统、图像处理方法及设备
EP2590396B1 (en) Information processing system and information processing method
US10908421B2 (en) Systems and methods for personal viewing devices
JP2016062486A (ja) 画像生成装置および画像生成方法
CN106797460A (zh) 三维视频的重建
JP2017097122A (ja) 情報処理装置および画像生成方法
CN114365197A (zh) 在具有多个物理参与者的环境中放置虚拟内容
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
WO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
KR20180021885A (ko) 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
CN114730094A (zh) 具有人工现实内容的变焦显示的人工现实系统
JP6126271B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
TW202025719A (zh) 圖像處理方法及裝置、電子設備及儲存介質
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US20210063746A1 (en) Information processing apparatus, information processing method, and program
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017208808A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
EP4233310A1 (en) Dynamic resolution of depth conflicts in telepresence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant