CN108064447A - 图像显示方法、智能眼镜及存储介质 - Google Patents

图像显示方法、智能眼镜及存储介质 Download PDF

Info

Publication number
CN108064447A
CN108064447A CN201780002476.0A CN201780002476A CN108064447A CN 108064447 A CN108064447 A CN 108064447A CN 201780002476 A CN201780002476 A CN 201780002476A CN 108064447 A CN108064447 A CN 108064447A
Authority
CN
China
Prior art keywords
image
intelligent glasses
display screen
depth
eye display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780002476.0A
Other languages
English (en)
Inventor
崔华坤
廉士国
王恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Inc
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Publication of CN108064447A publication Critical patent/CN108064447A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Abstract

本公开是关于一种图像显示方法、智能眼镜及存储介质,用于提升智能眼镜呈现的图像的真实感和立体感。所述方法包括:确定所述智能眼镜的工作模式;在所述智能眼镜的工作模式为夜间模式时,获取所述智能眼镜采集的深度图像;根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。

Description

图像显示方法、智能眼镜及存储介质
技术领域
本公开涉及电子技术领域,具体涉及一种图像显示方法、智能眼镜及存储介质。
背景技术
盲和视力损伤是世界范围内的严重公共卫生、社会和经济问题,据统计,在我国,每年会出现新盲人大约45万,低视力135万,即约每分钟就会出现1个盲人,3个低视力患者。全世界每年有700万人成为盲人,2100万人成为低视力。目前,低视力患者可以通过配戴低视力视觉增强眼镜等设备对视觉进行辅助。
低视力视觉增强眼镜可以对环境的图像进行拍摄,然后将拍摄的图像复制到左右眼显示屏上,进而辅助低视力患者观看环境中的物体。然而在实际生活中,人的左右眼存在视差,这样的显示方式可能使得大脑立体视觉混乱、产生重影,甚至人眼会产生不适感。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像显示方法、智能眼镜及存储介质,用于提升智能眼镜呈现的图像的真实感和立体感。
根据本公开实施例的第一方面,提供一种图像显示方法,应用于智能眼镜,包括:
确定所述智能眼镜的工作模式;
在所述智能眼镜的工作模式为夜间模式时,获取所述智能眼镜采集的深度图像;
根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;
分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。
根据本公开实施例的第二方面,提供一种智能眼镜,包括:
左眼显示屏;
右眼显示屏;
深度摄像头,用于采集深度图像;
处理器,与所述左眼显示屏、所述右眼显示屏及所述深度摄像头均相连,用于确定所述智能眼镜的工作模式;在所述智能眼镜的工作模式为夜间模式时,获取所述深度摄像头采集的深度图像;根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;分别在所述左眼显示屏及所述右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。
根据本公开实施例的第三方面,提供一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述第一方面中所述的方法的代码部分。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,智能眼镜在夜间工作模式下,可以采集深度图像,然后根据深度信息在三维空间中建立三维模型,再针对建立的三维模型,确定分别适应与左眼视角和右眼视角的左眼视角图像和右眼视角图像,最后分别显示到智能眼镜左眼显示屏和右眼显示屏上。这样,最终呈现的图像是适应于左右眼视点分别观看同一三维模型时的图像,用户观看到的物体与真实的物体是重合的,提升了观看体验,且不会导致立体视觉混乱以及重影现象,智能眼镜呈现的图像的真实感和立体感较好。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的深度图像显示的示意图;
图2是根据一示例性实施例示出的一种图像显示方法的流程图;
图3是根据一示例性实施例示出的一种智能眼镜的示意图;
图4是根据一示例性实施例示出的一种智能眼镜的另一示意图;
图5是根据一示例性实施例示出的一种遮光镜片的示意图;
图6是根据一示例性实施例示出的一种关闭智能眼镜的示意图;
图7是根据一示例性实施例示出的一种智能眼镜的结构示意图;
图8是根据一示例性实施例示出的一种智能眼镜的另一结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
首先请参见图1,图1是根据一示例性实施例示出的深度图像显示的示意图。分别通过人眼的左眼视点与通过右眼视点观看同一物体时,得到的图像会有所不同,假设深度摄像头的位置和朝向与左眼接近,那么将深度摄像头采集的深度图(图1所示的图像1)直接送给左眼对应的显示屏,通过左眼看到的图像与真实场景的物体便可基本对应上。但是,如果将同样的深度图(图1所示的图像2)送到右眼对应的显示屏上显示,那么就可能出现图像与真实物体对应不上的情况,左右眼的两张深度图上所有物体的视差量是相同的,这样做会导致以下问题:
一、前后位置的深度不匹配问题。因为在实际生活中,人的左右眼看远近不同物体时是存在不同的双目视差的,而上述处理中左右眼看到的深度图相同,即深度图上的所有物体的视差量均相等,这样会导致深度图上的所有物体在大脑中合成后都处在一个固定平面上,从而导致双眼看到的深度图上的物体深度与真实场景中的物体深度不符合,三维纵深感不同,进而导致大脑立体视觉混乱。
二、左右位置的重影问题。因为在实际生活中,左右眼看到的远近物体的遮挡程度不同。若左右眼看到的是同样一张深度图,则难免会导致左眼或者右眼看到的深度图中的物体边缘与实际物体边缘不重合,从而产生重影,造成视觉混乱。
考虑到上述问题,本公开提出一种图像显示方法,请参考图2,图2是根据一示例性实施例示出的一种应用于智能眼镜的图像显示方法的流程图。如图2所示,该方法包括以下步骤。
步骤S11:确定智能眼镜的工作模式。
步骤S12:在智能眼镜的工作模式为夜间模式时,获取智能眼镜采集的深度图像。
步骤S13:根据深度图像中每个像素点的深度信息,在三维空间中建立三维模型。
步骤S14:分别在智能眼镜的左眼显示屏及右眼显示屏显示针对三维模型的左眼视角图像及右眼视角图像。
智能眼镜的工作模式可以由用户自行选择,包括夜间模式和日间模式,用户可以通过设置在智能眼镜上的按钮(旋钮)或者语音等方式来选择工作模式,本公开实施例对此不作限定。
在智能眼镜的工作模式为夜间模式时,可以通过深度摄像头采集深度图像,对于深度摄像头设置在智能眼镜的哪个位置,本公开实施例不作限定,比如可以设置在左眼显示屏上方,或者设置在右眼显示屏上方,等等。
深度图中每个像素点都有深度信息(比如通过像素点的灰度值来表征),深度信息可以用来表示空间中的点到摄像头的距离。那么可以根据每个像素点的深度信息,在真实的三维空间中构建对应的三维模型。然后再通过建立的三维模型找到从智能眼镜左眼的视点及右眼的视点分别观看三维模型时的左眼视角图像及右眼视角图像,最后分别显示到左眼显示屏和右眼显示屏中。
请继续参见图1,比如深度摄像头的位置和朝向与左眼接近,基于深度信息建立三维模型后,得到的左眼视角图像为图像1,右眼视角图像为图像3,再通过左右显示屏分别进行显示。此时用户看到的图像便可以避免前后位置深度不匹配及重影的问题。
可选的,根据深度图像中每个像素点的深度信息,在三维空间中建立三维模型,可以是根据深度图像中每个像素点的深度信息,将深度图像映射到三维空间中,以得到三维模型。
也就是说在建立三维模型时,可以是将深度图像按照各像素点的深度信息投影到三维空间中,那么得到的左眼视角图像和右眼视角图像均为灰度图,这样,可以为配戴智能眼镜的用户直接呈现灰度图,辅助用户观看物体。
可选的,还可以在获取深度图像的同时,获取智能眼镜采集的目标图像,目标图像为红外图像或可见光图像,那么可以根据深度图像中的像素点与目标图像中的像素点之间的对应关系,给目标图像中每个像素点添加深度信息,然后将携带有深度信息的目标图像映射到三维空间中,以得到三维模型。
如图3所示,智能眼镜还可以配置有红外摄像头和/或可见光摄像头,图3以配置有红外摄像头为例。为例使得红外摄像头和/或可见光摄像头能够在夜间光线不足的情况下拍摄到更为清晰的图像,智能眼镜还可以配置有照度传感器,比如设置在图3所示的位置上,用于给红外摄像头和/或可见光摄像头补光。
在采集到目标图像后,以目标图像是红外摄像头采集的红外图像为例,首先要找出红外图像中的点对应于深度图像中的点(即在空间中针对的是同一位置的点),然后便可以给红外图像中每个像素点赋予深度信息,进而可以根据深度信息将红外图像映射到三维空间中。这样最终的到的左眼视角图像和右眼视角图像均为红外图像。同理,当目标图像为通过可见光摄像头采集的可见光图像时,最终的到的左眼视角图像和右眼视角图像均为彩色图像。通过这样的方式,可以为用户呈现适应于人眼的红外图像或彩色图像,辅助用户在夜间观看物体,为用户出行提供便利。
可选的,在将携带有深度信息的目标图像映射到三维空间中之前,还可以根据目标图像中每个像素点携带的深度信息,对目标图像中像素点的亮度进行调整,以使得目标图像中各像素点的亮度随深度的增加而减小。
由于对于低视力人群而言,会更为关注近处的物体,对于远近的区分不是很明显,因此可以通过亮度来提示物体的远近。因此,可以对目标图像的亮度进行调整,比如按着深度,将近处物体亮度增强,远处物体亮度减弱,然后再将经过亮度调整的目标图像根据各像素点的深度信息映射到三维空间中。
可选的,可以根据DIBR(Depth image-based Rendering,基于深度图像呈现)算法,确定左眼视角图像和右眼视角图像。
DIBR解决的主要技术是根据当前视点的数据,得到周围任意点的视点数据。其核心是深度信息的利用,通过深度信息构建当前视点的三维信息,进而通过映射变换,得到其他视点的三维信息。可以通过DIBR得到的三维图像映射方程来计算左眼视角图像和右眼视角图像。
可选的,在确定智能眼镜的工作模式之后,还可以在智能眼镜的工作模式为日间模式时,获取设置在智能眼镜上的长焦摄像头采集的彩色图像;按照预设比例对彩色图像进行放大;获取放大后的彩色图像和放大后的彩色图像的副本;将放大后的彩色图像和副本按照预设的位置分别显示在左眼显示屏及右眼显示屏上,以使得左眼显示屏及右眼显示屏显示的图像的视差为零。
请参见图4,智能眼镜上可以设置有长焦摄像头,在日间模式下可以使用长焦摄像头采集彩色图像。由于长焦摄像头视角较小,可以得到更加清晰的远处的物体的图像,对远处物体的彩色图像进行放大后也能得到较为清晰的图像。将放大后的图像进行复制便可以得到两个彩色图像,然后可以分别显示在左眼显示屏和右眼显示屏上,这样用户便可以看到远处的较为清晰的图像。同时可以控制左右图像的水平是差量为零(即通过水平平移调整图像在两个显示屏上的位置),进而使得显示的图像更为适应于人眼,观看起来更加舒适。
本公开实施例中,长焦摄像头在采集了彩色图像后,智能眼镜还可以对采集的图像进行处理,比如改变白平衡,调整对比度等,进而提高彩色图像的图像质量。
可选的,在智能眼镜的工作模式为日间模式时,根据环境光照度对左眼显示屏及右眼显示屏的透光率进行调整,以使得左眼显示屏及右眼显示屏的透光率随环境光照度的增强而减小。
智能眼镜的左眼显示屏及右眼显示屏可以是LED(Light Emitting Diode,发光二极管)显示屏、LCD(Liquid Crystal Display,液晶显示器)显示屏,等等。在智能眼镜的左眼显示屏及右眼显示屏为可调节透光率的透明玻璃材质的显示屏,那么在检测到环境光照度较强的时候(比如超过200lux,等等),可以减小显示屏的透光率,从而相对提升显示屏上显示的图像的亮度,有利于用户更加清晰地观看。
本公开实施例中,请参见图5,还可以在左眼显示屏和右眼显示屏的前方增加专门用来遮挡光线的镜片,在日间模式下,或者在检测到环境光照度较强的情况下,可以控制遮光镜片旋转到显示屏前方来遮挡环境光,以提高图像的亮度。或者用户也可以在感受到环境光较强时,自行旋转遮光镜片来遮挡环境光。
可选的,还可以对采集的彩色图像进行识别,以获取交通状况信息,然后根据交通状况信息,输出第一提示信息,以提示配戴智能眼镜的用户当前的交通状况。
交通状况信息例如可以包括红绿灯信息、公交车路线信息、当前道路名称信息,等等。识别之后,可以通过语音或图像的方式输出提示信息(即第一提示信息),进而帮助用户更好地了解当前的交通状况。
可选的,还可以通过设置在智能眼镜上的障碍物检测传感器,对智能眼镜周围的障碍物进行检测,在检测到障碍物时输出第二提示信息,以向配戴智能眼镜的用户指示障碍物的位置。
智能眼镜上还可以配置有障碍物检测传感器,比如超声波传感器、雷达等等。在检测到附近有障碍物时可以通过语音或图像的方式输出提示信息(即第二提示信息),进而帮助配戴智能眼镜的低视力患者更加安全的出行。
在用户不使用智能眼镜时,可以关闭智能眼镜,如图6所示,关闭智能眼镜后,显示屏可以向上翻转至不影响视线的角度。
本公开实施例中,上述的图像显示方法可以由如图3或图4所示的智能眼镜的处理单元来执行,或者也可以由与智能眼镜连接的云端来执行,或者智能眼镜的处理器执行一部分云端执行一部分,等等,本公开实施例对此不作限定。
请参见图7,基于同一发明构思,本公开实施例提供一种智能眼镜700,该智能眼镜700可以包括:
左眼显示屏701;
右眼显示屏702;
深度摄像头703,用于采集深度图像;
处理器704,与所述左眼显示屏、所述右眼显示屏及所述深度摄像头均相连,用于确定所述智能眼镜的工作模式;在所述智能眼镜的工作模式为夜间模式时,获取所述深度摄像头采集的深度图像;根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;分别在所述左眼显示屏701及所述右眼显示屏702显示针对所述三维模型的左眼视角图像及右眼视角图像。
可选的,请参见图8,所述智能眼镜700还包括以下摄像头中的至少一者:
红外摄像头801,用于采集红外图像;
可见光摄像头802,用于采集可见光图像;
所述处理器704还用于:
在获取所述深度图像的同时,获取所述智能眼镜采集的目标图像,所述目标图像为所述红外摄像头采集的红外图像或所述可见光摄像头采集的可见光图像;
根据所述深度图像中的像素点与所述目标图像中的像素点之间的对应关系,给所述目标图像中每个像素点添加深度信息;
将携带有深度信息的目标图像映射到所述三维空间中,以得到所述三维模型。
可选的,所述处理器704还用于:
在将携带有深度信息的目标图像映射到所述三维空间中之前,根据所述目标图像中每个像素点携带的深度信息,对所述目标图像中像素点的亮度进行调整,以使得所述目标图像中各像素点的亮度随深度的增加而减小。
可选的,所述处理器704用于:
根据所述深度图像中每个像素点的深度信息,将所述深度图像映射到所述三维空间中,以得到所述三维模型。
可选的,所述处理器704还用于:
在分别在所述智能眼镜的左眼显示屏701及右眼显示屏702显示针对所述三维模型的左眼视角图像及右眼视角图像之前,根据DIBR算法,确定所述左眼视角图像和所述右眼视角图像。
可选的,请继续参见图8所述智能眼镜700还包括:
长焦摄像头803,用于采集彩色图像;
所述处理器704还用于:
在确定所述智能眼镜700的工作模式之后,在所述智能眼镜700的工作模式为日间模式时,获取所述长焦摄像头803采集的彩色图像;
按照预设比例对所述彩色图像进行放大;
获取放大后的彩色图像和所述放大后的彩色图像的副本;
将所述放大后的彩色图像和所述副本按照预设的位置分别显示在所述左眼显示屏701及所述右眼显示屏702上,以使得所述所述左眼显示屏701及所述右眼显示屏702显示的图像的视差为零。
可选的,所述处理器704还用于:
在所述智能眼镜700的工作模式为日间模式时,根据环境光照度对所述左眼显示屏701及所述右眼显示屏702的透光率进行调整,以使得所述左眼显示屏701及所述右眼显示屏702的透光率随环境光照度的增强而减小。
可选的,所述处理器704还用于:
对所述彩色图像进行识别,以获取交通状况信息;
根据所述交通状况信息,输出第一提示信息,以提示配戴所述智能眼镜700的用户当前的交通状况。
可选的,请继续参见图8其特征在于,所述智能眼镜700还包括:
障碍物检测传感器804,用于对所述智能眼镜周围的障碍物进行检测;
所述处理器704还用于:
在所述障碍物检测传感器804检测到障碍物时输出第二提示信息,以向配戴所述智能眼镜700的用户指示障碍物的位置。
在另一示例性实施例中,还提供了一种计算机程序产品,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行上述的图像显示方法的代码部分。
在另一示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行上述的图像显示方法。
在本公开所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以对本公开的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想,不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。

Claims (20)

1.一种图像显示方法,应用于智能眼镜,其特征在于,包括:
确定所述智能眼镜的工作模式;
在所述智能眼镜的工作模式为夜间模式时,获取所述智能眼镜采集的深度图像;
根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;
分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取所述深度图像的同时,获取所述智能眼镜采集的目标图像,所述目标图像为红外图像或可见光图像;
根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型,包括:
根据所述深度图像中的像素点与所述目标图像中的像素点之间的对应关系,给所述目标图像中每个像素点添加深度信息;
将携带有深度信息的目标图像映射到所述三维空间中,以得到所述三维模型。
3.根据权利要求2所述的方法,其特征在于,在将携带有深度信息的目标图像映射到所述三维空间中之前,还包括:
根据所述目标图像中每个像素点携带的深度信息,对所述目标图像中像素点的亮度进行调整,以使得所述目标图像中各像素点的亮度随深度的增加而减小。
4.根据权利要求1所述的方法,其特征在于,根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型,包括;
根据所述深度图像中每个像素点的深度信息,将所述深度图像映射到所述三维空间中,以得到所述三维模型。
5.根据权利要求1所述的方法,其特征在于,在分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像之前,还包括:
根据DIBR算法,确定所述左眼视角图像和所述右眼视角图像。
6.根据权利要求1所述的方法,其特征在于,在确定所述智能眼镜的工作模式之后,还包括:
在所述智能眼镜的工作模式为日间模式时,获取设置在所述智能眼镜上的长焦摄像头采集的彩色图像;
按照预设比例对所述彩色图像进行放大;
获取放大后的彩色图像和所述放大后的彩色图像的副本;
将所述放大后的彩色图像和所述副本按照预设的位置分别显示在所述左眼显示屏及所述右眼显示屏上,以使得所述所述左眼显示屏及所述右眼显示屏显示的图像的视差为零。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述智能眼镜的工作模式为日间模式时,根据环境光照度对所述左眼显示屏及所述右眼显示屏的透光率进行调整,以使得所述左眼显示屏及所述右眼显示屏的透光率随环境光照度的增强而减小。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述彩色图像进行识别,以获取交通状况信息;
根据所述交通状况信息,输出第一提示信息,以提示配戴所述智能眼镜的用户当前的交通状况。
9.根据权利要求1-8任一所述的方法,其特征在于,所述方法还包括:
通过设置在所述智能眼镜上的障碍物检测传感器,对所述智能眼镜周围的障碍物进行检测;
在检测到障碍物时输出第二提示信息,以向配戴所述智能眼镜的用户指示障碍物的位置。
10.一种智能眼镜,其特征在于,包括:
左眼显示屏;
右眼显示屏;
深度摄像头,用于采集深度图像;
处理器,与所述左眼显示屏、所述右眼显示屏及所述深度摄像头均相连,用于确定所述智能眼镜的工作模式;在所述智能眼镜的工作模式为夜间模式时,获取所述深度摄像头采集的深度图像;根据所述深度图像中每个像素点的深度信息,在三维空间中建立三维模型;分别在所述左眼显示屏及所述右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。
11.根据权利要求10所述的智能眼镜,其特征在于,所述智能眼镜还包括以下摄像头中的至少一者:
红外摄像头,用于采集红外图像;
可见光摄像头,用于采集可见光图像;
所述处理器还用于:
在获取所述深度图像的同时,获取所述智能眼镜采集的目标图像,所述目标图像为所述红外摄像头采集的红外图像或所述可见光摄像头采集的可见光图像;
根据所述深度图像中的像素点与所述目标图像中的像素点之间的对应关系,给所述目标图像中每个像素点添加深度信息;
将携带有深度信息的目标图像映射到所述三维空间中,以得到所述三维模型。
12.根据权利要求11所述的智能眼镜,其特征在于,所述处理器还用于:
在将携带有深度信息的目标图像映射到所述三维空间中之前,根据所述目标图像中每个像素点携带的深度信息,对所述目标图像中像素点的亮度进行调整,以使得所述目标图像中各像素点的亮度随深度的增加而减小。
13.根据权利要求10所述的智能眼镜,其特征在于,所述处理器用于:
根据所述深度图像中每个像素点的深度信息,将所述深度图像映射到所述三维空间中,以得到所述三维模型。
14.根据权利要求10所述的智能眼镜,其特征在于,所述处理器还用于:
在分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像之前,根据DIBR算法,确定所述左眼视角图像和所述右眼视角图像。
15.根据权利要求10所述的智能眼镜,其特征在于,所述智能眼镜还包括:
长焦摄像头,用于采集彩色图像;
所述处理器还用于:
在确定所述智能眼镜的工作模式之后,在所述智能眼镜的工作模式为日间模式时,获取所述长焦摄像头采集的彩色图像;
按照预设比例对所述彩色图像进行放大;
获取放大后的彩色图像和所述放大后的彩色图像的副本;
将所述放大后的彩色图像和所述副本按照预设的位置分别显示在所述左眼显示屏及所述右眼显示屏上,以使得所述所述左眼显示屏及所述右眼显示屏显示的图像的视差为零。
16.根据权利要求15所述的智能眼镜,其特征在于,所述处理器还用于:
在所述智能眼镜的工作模式为日间模式时,根据环境光照度对所述左眼显示屏及所述右眼显示屏的透光率进行调整,以使得所述左眼显示屏及所述右眼显示屏的透光率随环境光照度的增强而减小。
17.根据权利要求15所述的智能眼镜,其特征在于,所述处理器还用于:
对所述彩色图像进行识别,以获取交通状况信息;
根据所述交通状况信息,输出第一提示信息,以提示配戴所述智能眼镜的用户当前的交通状况。
18.根据权利要求10-17任一所述的智能眼镜,其特征在于,所述智能眼镜还包括:
障碍物检测传感器,用于对所述智能眼镜周围的障碍物进行检测;
所述处理器还用于:
在所述障碍物检测传感器检测到障碍物时输出第二提示信息,以向配戴所述智能眼镜的用户指示障碍物的位置。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包含能够由可编程的装置执行的计算机程序,所述计算机程序具有当由所述可编程的装置执行时用于执行权利要求1至9中任一项所述的方法的代码部分。
20.一种非临时性计算机可读存储介质,其特征在于,所述非临时性计算机可读存储介质中包括一个或多个程序,所述一个或多个程序用于执行权利要求1至9中任一项所述的方法。
CN201780002476.0A 2017-11-29 2017-11-29 图像显示方法、智能眼镜及存储介质 Pending CN108064447A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113638 WO2019104548A1 (zh) 2017-11-29 2017-11-29 图像显示方法、智能眼镜及存储介质

Publications (1)

Publication Number Publication Date
CN108064447A true CN108064447A (zh) 2018-05-22

Family

ID=62142061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002476.0A Pending CN108064447A (zh) 2017-11-29 2017-11-29 图像显示方法、智能眼镜及存储介质

Country Status (2)

Country Link
CN (1) CN108064447A (zh)
WO (1) WO2019104548A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803877A (zh) * 2018-06-11 2018-11-13 联想(北京)有限公司 切换方法、装置以及电子设备
CN109255314A (zh) * 2018-08-30 2019-01-22 Oppo广东移动通信有限公司 信息提示方法、装置、智能眼镜及存储介质
CN109451294A (zh) * 2018-09-26 2019-03-08 深圳达闼科技控股有限公司 3d显示方法、系统、装置、电子设备及存储介质
CN111754558A (zh) * 2019-03-26 2020-10-09 舜宇光学(浙江)研究院有限公司 用于rgb-d摄像系统与双目显像系统的匹配方法及其系统和计算系统
CN113467267A (zh) * 2021-07-28 2021-10-01 珠海格力电器股份有限公司 一种智能家居系统的控制方法及智能家居系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567385A (zh) * 2003-06-19 2005-01-19 邓兴峰 平面图像全景重建立体图像的方法
CN101477701A (zh) * 2009-02-06 2009-07-08 南京师范大学 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法
US20110074784A1 (en) * 2009-09-30 2011-03-31 Disney Enterprises, Inc Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images
CN102905145A (zh) * 2011-07-29 2013-01-30 纬创资通股份有限公司 立体影像系统、影像产生方法、影像调整装置及其方法
US20130050451A1 (en) * 2010-03-09 2013-02-28 Peter Rae Shintani 3d tv glasses with tv mode control
CN105247861A (zh) * 2013-03-22 2016-01-13 精工爱普生株式会社 红外视频显示眼镜
CN105511602A (zh) * 2015-11-23 2016-04-20 合肥金诺数码科技股份有限公司 3d虚拟漫游系统
CN107065183A (zh) * 2017-03-21 2017-08-18 广东光阵光电科技有限公司 一种夜间行车增强可视度方法及便携眼镜式装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9971153B2 (en) * 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567385A (zh) * 2003-06-19 2005-01-19 邓兴峰 平面图像全景重建立体图像的方法
CN101477701A (zh) * 2009-02-06 2009-07-08 南京师范大学 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法
US20110074784A1 (en) * 2009-09-30 2011-03-31 Disney Enterprises, Inc Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images
US20130050451A1 (en) * 2010-03-09 2013-02-28 Peter Rae Shintani 3d tv glasses with tv mode control
CN102905145A (zh) * 2011-07-29 2013-01-30 纬创资通股份有限公司 立体影像系统、影像产生方法、影像调整装置及其方法
CN105247861A (zh) * 2013-03-22 2016-01-13 精工爱普生株式会社 红外视频显示眼镜
CN105511602A (zh) * 2015-11-23 2016-04-20 合肥金诺数码科技股份有限公司 3d虚拟漫游系统
CN107065183A (zh) * 2017-03-21 2017-08-18 广东光阵光电科技有限公司 一种夜间行车增强可视度方法及便携眼镜式装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803877A (zh) * 2018-06-11 2018-11-13 联想(北京)有限公司 切换方法、装置以及电子设备
US10757247B2 (en) 2018-06-11 2020-08-25 Lenovo (Beijing) Co., Ltd. Switching method, apparatus and electronic device thereof
CN109255314A (zh) * 2018-08-30 2019-01-22 Oppo广东移动通信有限公司 信息提示方法、装置、智能眼镜及存储介质
CN109451294A (zh) * 2018-09-26 2019-03-08 深圳达闼科技控股有限公司 3d显示方法、系统、装置、电子设备及存储介质
CN111754558A (zh) * 2019-03-26 2020-10-09 舜宇光学(浙江)研究院有限公司 用于rgb-d摄像系统与双目显像系统的匹配方法及其系统和计算系统
CN111754558B (zh) * 2019-03-26 2023-09-26 舜宇光学(浙江)研究院有限公司 用于rgb-d摄像系统与双目显像系统的匹配方法及其相关系统
CN113467267A (zh) * 2021-07-28 2021-10-01 珠海格力电器股份有限公司 一种智能家居系统的控制方法及智能家居系统

Also Published As

Publication number Publication date
WO2019104548A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN108064447A (zh) 图像显示方法、智能眼镜及存储介质
CN106484116B (zh) 媒体文件的处理方法和装置
CA2781064C (en) Image magnification on a head mounted display
US11455032B2 (en) Immersive displays
EP3695888B1 (en) Privacy-sensitive consumer cameras coupled to augmented reality systems
CN104306102B (zh) 针对视觉障碍患者的头戴式视觉辅助系统
CN103873840B (zh) 显示方法及显示设备
AU2010305323B2 (en) Vision enhancement for a vision impaired user
CN105992965A (zh) 响应于焦点移位的立体显示
CN104808340B (zh) 头戴式显示装置及其控制方法
CN105432078B (zh) 双目注视成像方法和设备
CN106131536A (zh) 一种裸眼3d增强现实互动展示系统及其展示方法
EP3195192A1 (en) Method and system for detecting obstacles for a visual prosthesis
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
EP1158338A3 (en) Method for simulating an ocular optical system and apparatus therefor
JP2020513704A (ja) ビデオデータ処理方法、装置および機器
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
CN108710206A (zh) 一种应用于vr显示器的防眩晕和视疲劳的方法和装置
CN108140362B (zh) 显示方法、装置、电子设备和计算机程序产品
TWI589150B (zh) 3d自動對焦顯示方法及其系統
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN104767972A (zh) 一种视觉缺陷帮助系统及方法
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
WO2021260368A1 (en) Visual assistance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522