CN115811606A - 一种增强现实ar眼镜及其显示方法、装置及存储介质 - Google Patents
一种增强现实ar眼镜及其显示方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115811606A CN115811606A CN202111084052.8A CN202111084052A CN115811606A CN 115811606 A CN115811606 A CN 115811606A CN 202111084052 A CN202111084052 A CN 202111084052A CN 115811606 A CN115811606 A CN 115811606A
- Authority
- CN
- China
- Prior art keywords
- image
- optical waveguide
- waveguide structure
- dimensional
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请提出一种增强现实AR眼镜及其显示方法、装置及存储介质，方法包括：利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。本申请提出的AR眼镜可以在拍摄场景下实现所见即所得。
Description
技术领域
本申请涉及AR眼镜显示技术领域，尤其涉及一种增强现实AR眼镜及其显示方法、装置及存储介质。
背景技术
AR眼镜是虚拟世界与现实世界的链接设备，通过该AR眼镜能够看到真实世界和虚拟内容。
相关技术中，AR眼镜上通常设置有用于采集外界场景的摄像头，以及，摄像头采集到外界场景后，会利用AR眼镜的光学投影组件将摄像头采集到的外界场景投影至AR眼镜的镜片上，以呈现至用户观看。
但是相关技术中，摄像头一般设置于镜片的侧端，也即是，摄像头与镜片之间存在一定角度偏差，由此致使摄像头所拍摄到的场景与用户通过AR眼镜想要看到的场景之间存在一定角度偏差，此时，若将摄像头所拍摄到的场景直接投影至AR眼镜的镜片上，则会导致镜片上场景的呈现角度与用户的观看角度不符，影响用户体验。
发明内容
本申请提供一种增强现实AR眼镜及其显示方法、装置及存储介质，以至少解决相关技术中的由于摄像结果产生误差，导致反馈的场景画面真实度降低的技术问题。
本申请第一方面实施例提出一种增强现实AR眼镜显示方法，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述方法包括：
利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；
利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；
利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
本申请第二方面实施例提出一种AR眼镜显示装置，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述装置包括：
摄像头，用于采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；
图像处理单元，用于对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；
光波导结构，用于对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
本申请第三方面实施例提出一种AR眼镜，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述AR眼镜被配置为运行存储在计算机可读存储介质中的计算机指令；所述AR眼镜可执行指令被处理器执行后，能够实现如上第一方面所述的方法。
本申请第四方面实施例提出的计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机指令；所述计算机指令被处理器执行后，能够实现如上第一方面所述的方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
综上所述，本申请提出的增强现实AR眼镜及其显示方法、装置及存储介质中，首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。其中，通过对所述真实场景图像进行三维重建得到三维图像并将重建后的所述三维图像进行重投影稳像显示至镜片上，可以弥补由于摄像头与AR眼镜的镜片之间的偏差角度所引起的用户观看不适感，提高了反馈的场景画面的真实度，且提高了用户体验，具有很好的应用价值。
本申请附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面以及优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例提供的AR眼镜显示方法的流程图；
图2为根据本申请一个实施例提供的AR眼镜显示方法的流程图；
图3为根据本申请一个实施例提供的AR眼镜显示装置的结构图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请提出的增强现实AR眼镜及其显示方法中，首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。其中，通过对所述真实场景图像进行三维重建得到三维图像并将重建后的所述三维图像进行重投影稳像显示至镜片上，可以弥补由于摄像头与AR眼镜的镜片之间的偏差角度所引起的用户观看不适感，，提高了反馈的场景画面的真实度，且提高了用户体验，具有很好的应用价值。
下面参考附图描述本申请实施例的增强现实AR眼镜显示方法及AR眼镜显示装置。
实施例一
图1为本申请实施例提供的一种AR(Augmented Reality，增强现实)眼镜显示方法的流程图，如图1所示，所述方法可以包括：
步骤101、利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元。
其中，在本公开实施例，摄像头例如可以采用摄像或拍照的方式来采集外界的真实场景图像。
步骤102、利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构。
示例的，在本公开实施例中，本步骤中的利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像的方法可以包括：
将真实场景图像的图像信息输入三维重建模型，以得到对应的三维网格数据，其中，三维重建模型是基于神经网络算法预先训练所得。之后，利用三维网格数据进行三维重建得到三维图像。
其中，在本公开的实施例之中，在执行步骤102之前，还可以包括如下步骤：对三维重建模型进行训练。
其中，对三维重建模型进行训练的方法主要可以包括：先确定测试样本，该测试样本例如可以为摄像头历史采集到的不同角度的真实场景图像，之后，基于该测试样本对三维重建模型进行多次训练，并计算三维重建模型的收敛系数，当收敛系数小满足预设条件时，确认训练完成。
以及，需要说明的是，上述训练步骤可以在计算机设备中实现，得到训练后的三维重建模型后，由计算机设备将该训练后的三维重建模型发送至AR眼镜，此时，AR眼镜需要将其摄像头采集到的图像发送至计算机设备以使得计算机设备对三维重建模型进行训练。或者，上述训练步骤也可以在AR眼镜中实现。
步骤103、利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
其中，需要说明的是，在本实施例之中，该光波导结构可以用于：对射入的含有虚拟图像信息的光束进行光学投影成像，以使虚拟图像信息展现在AR眼镜的显示镜片上。并且，在本实施例中，光波导结构在进行光学投影成像时，可以是采用重投影稳像显示的方式进行投影成像的，则可以确保最终的显示效果。
进一步地，在本申请的实施例中，所述摄像头和所述光波导结构均设置在所述显示镜片的侧边；其中，所述摄像头和所述光波导结构设置在所述显示镜片的同一侧；或者，所述摄像头和所述光波导结构分别设置在所述显示镜片的两侧。
综上所述，本申请提出的增强现实AR眼镜及其显示方法中，首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。其中，通过对所述真实场景图像进行三维重建得到三维图像并将重建后的所述三维图像进行重投影稳像显示至镜片上，可以弥补由于摄像头与AR眼镜的镜片之间的偏差角度所引起的用户观看不适感，提高了反馈的场景画面的真实度，且提高了用户体验，具有很好的应用价值。
实施例二
图2为本申请实施例提供的一种AR眼镜显示方法的流程图，如图2所示，所述方法可以包括：
步骤201、利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元。
步骤202、利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构。
步骤203、利用所述图像处理单元计算最佳投影角度，并将所述最佳投影角度发送至所述光波导结构。
示例的，所述计算所述最佳投影角度的方法可以包括：
步骤203a、确定所述摄像头与所述显示镜片之间的第一偏差角度，确定所述光波导结构与所述显示镜片的第二偏差角度。
其中，所述第一偏差角度为垂直于显示镜片所在平面的直线与摄像头的中心点轴线之间的角度；
所述第二偏差角度为垂直于显示镜片所在平面的直线与垂直于光波导结构的中心点轴线之间的角度。
步骤203b、基于所述第一偏差角度和所述第二偏差角度计算出弥补角度。
其中，在本公开实施例中，该弥补角度可以用于弥补所述第一偏差角度和所述第二偏差角度所引起的视觉偏差，以此来后续投影时由于第一偏差角度和第二偏差角度所引起的用户观看不适感，提高了反馈的场景画面的真实度，且提高了用户体验。
步骤203c、基于所述弥补角度调整所述光波导结构的投影角度以确定出所述最佳投影角度。
步骤204、利用所述光波导结构基于所述最佳投影角度对所述三维图像进行重投影稳像显示。
综上所述，本申请提出的增强现实AR眼镜及其显示方法中，首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。其中，通过对所述真实场景图像进行三维重建得到三维图像并将重建后的所述三维图像进行重投影稳像显示至镜片上，可以弥补由于摄像头与AR眼镜的镜片之间的偏差角度所引起的用户观看不适感，提高了反馈的场景画面的真实度，且提高了用户体验，具有很好的应用价值。
实施例三：
图3为本申请实施例提供的一种AR眼镜显示装置300的结构图，如图3所示，所述装置可以包括：
摄像头301，用于采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；
图像处理单元302，用于对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；
光波导结构303，用于对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
在本申请的实施例中，所述图像处理单元302，还用于计算最佳投影角度，并将所述最佳投影角度发送至所述光波导结构；
所述光波导结构303，还用于基于所述最佳投影角度对所述三维图像进行重投影稳像显示。
进一步的，所述图像处理单元302，还用于：
确定所述摄像头与所述显示镜片之间的第一偏差角度，确定所述光波导结构与所述显示镜片的第二偏差角度；
基于所述第一偏差角度和所述第二偏差角度计算出弥补角度，所述弥补角度用于弥补所述第一偏差角度和所述第二偏差角度所引起的视觉偏差；
基于所述弥补角度调整所述光波导结构的投影角度以确定出所述最佳投影角度。
在本申请的实施例中，所述图像处理单元302，还用于：
将所述真实场景图像的图像信息输入三维重建模型，以得到对应的三维网格数据，其中，所述三维重建模型是基于神经网络算法预先训练所得；
利用所述三维网格数据进行三维重建得到三维图像。
在本申请的实施例中，所述摄像头301和所述光波导结构303均设置在所述显示镜片的侧边；
其中，所述摄像头301和所述光波导结构303设置在所述显示镜片的同一侧；或者，所述摄像头和所述光波导结构分别设置在所述显示镜片的两侧。
综上所述，本申请提出的增强现实AR眼镜中，首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。其中，通过对所述真实场景图像进行三维重建得到三维图像和利用所述光波导结构对所述三维图像进行重投影稳像显示，提高了反馈的场景画面的真实度，且提高了用户体验，具有很好的应用价值。
为了实现上述实施例，本公开还提出一种AR眼镜。
本公开实施例提供的AR眼镜，包括摄像头、图像处理设备以及光波导结构，所述AR眼镜被配置为运行存储在计算机可读存储介质中的计算机指令后，能够实现实施例1所述的方法。
为了实现上述实施例，本公开还提出一种计算机可读存储介质。
本公开实施例提供的计算机可存储介质，存储有计算机指令，所述计算机指令被处理器执行时，能够实现实施例1所述的方法。
以下，结合上述内容对本申请的具体方法进行举例说明：
当用户在使用AR眼镜中，需要进行图像观察时，此时AR眼镜首先利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；然后利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；最后利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种增强现实AR眼镜显示方法，其特征在于，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述方法包括：
利用摄像头采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；
利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；
利用所述光波导结构对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述图像处理单元计算最佳投影角度，并将所述最佳投影角度发送至所述光波导结构；
利用所述光波导结构基于所述最佳投影角度对所述三维图像进行重投影稳像显示。
3.如权利要求2所述的方法，其特征在于，所述计算所述最佳投影角度，包括：
确定所述摄像头与所述显示镜片之间的第一偏差角度，确定所述光波导结构与所述显示镜片的第二偏差角度；
基于所述第一偏差角度和所述第二偏差角度计算出弥补角度，所述弥补角度用于弥补所述第一偏差角度和所述第二偏差角度所引起的视觉偏差；
基于所述弥补角度调整所述光波导结构的投影角度以确定出所述最佳投影角度。
4.如权利要求1所述的方法，其特征在于，所述利用所述图像处理单元对所述真实场景图像进行三维重建得到三维图像，包括：
将所述真实场景图像的图像信息输入三维重建模型，以得到对应的三维网格数据，其中，所述络算三维重建模型是基于神经网法预先训练所得；
利用所述三维网格数据进行三维重建得到三维图像。
5.如权利要求1所述的方法，其特征在于，所述摄像头和所述光波导结构均设置在所述显示镜片的侧边；
其中，所述摄像头和所述光波导结构设置在所述显示镜片的同一侧；或者，所述摄像头和所述光波导结构分别设置在所述显示镜片的两侧。
6.一种AR眼镜显示装置，其特征在于，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述装置包括：
摄像头，用于采集外界的真实场景图像，并将所采集的真实场景图像发送至图像处理单元；
图像处理单元，用于对所述真实场景图像进行三维重建得到三维图像，并将所述三维图像发送至光波导结构；
光波导结构，用于对所述三维图像进行重投影稳像显示，以在所述AR眼镜的显示镜片上显示所述三维图像。
7.如权利要求6所述的装置，其特征在于，
所述图像处理单元，还用于计算最佳投影角度，并将所述最佳投影角度发送至所述光波导结构；
所述光波导结构，还用于基于所述最佳投影角度对所述三维图像进行重投影稳像显示。
8.如权利要求7所述的装置，其特征在于，所述图像处理单元，还用于：
确定所述摄像头与所述显示镜片之间的第一偏差角度，确定所述光波导结构与所述显示镜片的第二偏差角度；
基于所述第一偏差角度和所述第二偏差角度计算出弥补角度，所述弥补角度用于弥补所述第一偏差角度和所述第二偏差角度所引起的视觉偏差；
基于所述弥补角度调整所述光波导结构的投影角度以确定出所述最佳投影角度。
9.如权利要求6所述的装置，其特征在于，所述图像处理单元，还用于：
将所述真实场景图像的图像信息输入三维重建模型，以得到对应的三维网格数据，其中，所述三维重建模型是基于神经网络算法预先训练所得；
利用所述三维网格数据进行三维重建得到三维图像。
10.如权利要求6所述的装置，其特征在于，所述摄像头和所述光波导结构均设置在所述显示镜片的侧边；
其中，所述摄像头和所述光波导结构设置在所述显示镜片的同一侧；或者，所述摄像头和所述光波导结构分别设置在所述显示镜片的两侧。
11.一种AR眼镜，其特征在于，所述AR眼镜包括摄像头、图像处理设备以及光波导结构，所述AR眼镜被配置为运行存储在计算机可读存储介质中的计算机指令以执行权利要求1-5中的任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084052.8A CN115811606A (zh) | 2021-09-14 | 2021-09-14 | 一种增强现实ar眼镜及其显示方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084052.8A CN115811606A (zh) | 2021-09-14 | 2021-09-14 | 一种增强现实ar眼镜及其显示方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115811606A true CN115811606A (zh) | 2023-03-17 |
Family
ID=85482025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111084052.8A Pending CN115811606A (zh) | 2021-09-14 | 2021-09-14 | 一种增强现实ar眼镜及其显示方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115811606A (zh) |
-
2021
- 2021-09-14 CN CN202111084052.8A patent/CN115811606A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11694353B2 (en) | Single depth tracked accommodation-vergence solutions | |
| US10855909B2 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP6023801B2 (ja) | シミュレーション装置 | |
| WO2017173735A1 (zh) | 一种基于视频透视的智能眼镜系统及其透视方法 | |
| WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
| JP7426118B2 (ja) | デジタル収差補正を有する複合現実光学システム | |
| CN110310373B (zh) | 一种增强现实设备的图像处理方法和增强现实设备 | |
| CN105324984A (zh) | 用于生成多投影图像的方法和系统 | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| JP6384940B2 (ja) | ３ｄ画像の表示方法及びヘッドマウント機器 | |
| WO2021227969A1 (zh) | 一种数据处理方法及其设备 | |
| EP3779892A1 (en) | Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method and image display method | |
| CN110782507A (zh) | 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 | |
| JP4436080B2 (ja) | 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム | |
| CN108282650B (zh) | 一种裸眼立体显示方法、装置、系统及存储介质 | |
| CN112468796A (zh) | 注视点生成方法、系统及设备 | |
| CN107065190B (zh) | 一种在vr设备上显示信息的方法、装置及vr设备 | |
| US20170359562A1 (en) | Methods and systems for producing a magnified 3d image | |
| JP2012513604A (ja) | 光学レンズの光学効果をシミュレーションするための方法及び装置 | |
| JP2024504012A (ja) | 拡張現実デバイス及び仮想現実デバイスのための逆パスススルー眼鏡 | |
| JP6166985B2 (ja) | 画像生成装置および画像生成プログラム | |
| CN115811606A (zh) | 一种增强现实ar眼镜及其显示方法、装置及存储介质 | |
| US9829721B2 (en) | Method for determining a visual effect of an ophthalmic lens | |
| CN108287609B (zh) | 用于ar眼镜的图像绘制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |