CN117934783B - 增强现实投影方法、装置、ar眼镜及存储介质 - Google Patents

Abstract

本申请涉及增强现实技术领域，公开了一种增强现实投影方法、装置、AR眼镜及存储介质，用于包括投影模组和拍摄模组的AR眼镜，其中，投影模组与拍摄模组之间的外参实时标定，投影模组用于将虚拟画面投影至三维场景中，拍摄模组用于对三维场景进行拍摄，该方法包括：每隔预定时长获取拍摄模组拍摄的第一图像，其中第一图像中包含有虚拟画面；确定虚拟画面在第一图像中的实际投影坐标；若实际投影坐标与虚拟画面在第一图像中的目标投影坐标不一致，则基于投影模组与拍摄模组之间的外参，调整投影模组使其将虚拟画面投影至目标投影坐标在三维场景中所对应的目标投影区域。通过上述方式，本申请不依赖投影板即可实现增强现实，且提高用户体验。

Description

增强现实投影方法、装置、AR眼镜及存储介质

技术领域

本申请实施例涉及增强现实技术领域，具体涉及一种增强现实投影方法、装置、AR眼镜及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将文字、图像、三维模型、音乐、视频等虚拟画面融合到真实世界中的技术，使虚拟画面和真实世界信息互为补充，从而实现对真实世界的“增强”。

目前，用户通过佩戴AR眼镜可在不影响观察真实世界的情况下看到虚拟画面。传统方案中利用AR眼镜实现增强现实时，通常将虚拟画面发送至AR眼镜自带的显示器进行显示，或将虚拟画面投影至AR眼镜自带的投影板上，并通过投影板将虚拟画面投射至用户的视网膜，进而使用户看到显示器或投影板上的虚拟画面与真实世界融合的场景。但是这种方案对显示器或投影板的依赖性较强，并且通常显示器或投影板位于眼镜镜片的前方，会对用户的视觉效果造成影响。

发明内容

鉴于上述问题，本申请实施例提供了一种增强现实投影方法、装置、AR眼镜及存储介质，能够使AR眼镜在光照强度合适且具备合适的投影面的三维场景中，在真实物体表面进行虚拟画面的投影显示，AR眼镜无需配置投影板，以解决现有技术中存在的对投影板依赖性较高，且用户体验较差的问题。

根据本申请实施例的一个方面，提供了一种增强现实投影方法，应用于包括投影模组和拍摄模组的AR眼镜，其中，所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄，所述方法包括：每隔预定时长，获取所述拍摄模组拍摄的第一图像，其中，所述第一图像中包含有所述虚拟画面；确定所述虚拟画面在所述第一图像中的实际投影坐标；判断所述实际投影坐标与所述虚拟画面在所述第一图像中的目标投影坐标是否一致；若所述实际投影坐标与所述目标投影坐标不一致，则基于所述投影模组与所述拍摄模组之间的外参，调整所述投影模组使其将虚拟画面投影至所述第一图像中的所述目标投影坐标在三维场景中所对应的目标投影区域。

在一种可选的方式中，所述方法还包括：若所述实际投影坐标与所述目标投影坐标一致，则对所述第一图像中的虚拟画面进行特征提取；根据提取的特征判断投影至三维场景中的虚拟画面是否发生畸变；若投影至三维场景中的虚拟画面发生畸变，调整所述投影模组使其将矫正后的虚拟画面投影至所述目标投影区域。

在一种可选的方式中，在所述每隔预定时长，获取所述拍摄模组拍摄的第一图像之前，所述方法还包括：获取所述拍摄模组拍摄的第二图像，其中，所述第二图像中包含有互动手势及其对应的目标投影背景；提取所述第二图像中所述互动手势对应的目标投影背景在所述第二图像中的第一坐标；基于所述投影模组与所述拍摄模组之间的外参，控制所述投影模组将虚拟画面投影至所述第一坐标在所述三维场景中对应的目标投影区域。

在一种可选的方式中，所述对所述第一图像中的虚拟画面进行特征提取，包括：提取所述虚拟画面在所述第一图像中的边缘信息；所述根据提取的特征判断投影至三维场景中的虚拟画面是否发生畸变，包括：根据提取的边缘信息与预设边缘信息是否一致判断投影至三维场景中的虚拟画面是否发生畸变。

在一种可选的方式中，在相邻两次获取所述拍摄模组拍摄的第一图像的中间，所述方法还包括：将历史第一图像中虚拟画面的实际投影坐标输入至预测模型中；通过所述预测模型预测虚拟画面在第一图像中的坐标变化情况；基于所述投影模组与所述拍摄模组之间的外参，根据预测的所述坐标变化情况，调整所述投影模组使其将虚拟画面投影至预测的目标投影区域。

在一种可选的方式中，在相邻两次标定所述投影模组与所述拍摄模组之间的外参的中间，所述方法还包括：将每次标定的所述投影模组与所述拍摄模组之间的外参及对应的时刻输入至预设的运动模型中；通过所述运动模型预测所述虚拟画面之后的畸变情况；根据预测的畸变情况，通过预设的运动补偿参数调整所述投影模组使其将矫正后的虚拟画面投影至所述目标投影区域。

在一种可选的方式中，所述目标投影区域为三维场景中目标真实物体上的区域，所述第一图像还包含有所述目标真实物体；在第n次执行所述每隔预定时长，获取所述拍摄模组拍摄的第一图像的步骤之后，所述方法还包括：提取第n-1次获取的第一图像中的所述目标真实物体在该第一图像中的第二坐标，其中，n为正整数，且n＞1；提取第n次获取的第一图像中的所述目标真实物体在该第一图像中的第三坐标；若所述第三坐标与所述第二坐标的差值大于预设差值，则将所述目标投影坐标更新为所述第三坐标。

根据本申请实施例的另一方面，提供了一种增强现实投影装置，应用于包括投影模组和拍摄模组的AR眼镜，其中，所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄，所述装置包括：获取模块，用于每隔预定时长，获取所述拍摄模组拍摄的第一图像，其中，所述第一图像中包含有所述虚拟画面；确定模块，用于确定所述虚拟画面在所述第一图像中的实际投影坐标；判断模块，用于判断所述实际投影坐标与所述虚拟画面在所述第一图像中的目标投影坐标是否一致；调整模块，用于若所述实际投影坐标与所述目标投影坐标不一致，则基于所述投影模组与所述拍摄模组之间的外参，调整所述投影模组使其将虚拟画面投影至所述第一图像中的所述目标投影坐标在三维场景中所对应的目标投影区域。

根据本申请实施例的另一方面，提供了一种AR眼镜，包括：投影模组、拍摄模组、处理器和存储器；所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄；所述存储器用于存储可执行指令，所述可执行指令使所述处理器执行如上所述的增强现实投影方法的操作。

根据本申请实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有可执行指令，所述可执行指令在运行时执行如上述的增强现实投影方法的操作。

附图说明

附图仅用于示出实施方式，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例提供的增强现实投影方法的流程示意图；

图2示出了本申请另一实施例提供的增强现实投影方法的流程示意图；

图3示出了本申请实施例提供的增强现实投影装置的结构示意图；

图4示出了本申请实施例提供的AR眼镜的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。

本申请的发明人在研究中发现，为了让用户能通过AR眼镜实现增强现实，通常可以在AR眼镜上设置投影模组、和投影板，其中投影板位于眼镜镜片的前方。其实现原理为，通过投影模组将虚拟画面投影至投影板后由投影板将其反射至人眼，同时真实世界中的真实物体表面反射的光线会透过投影板以及AR眼镜的镜片进入人眼，从而用户也就可以看到虚实结合的画面。

但是，上述的增强现实的方式需要依赖投影板才能实现。并且，由于投影板位于眼镜镜片的前方，则用户通过眼镜镜片观察真实世界时，投影板会对视觉效果产生一定影响，从而降低用户体验。

本申请的发明人发现，若将虚拟画面直接投影至三维场景中的目标投影区域中，这样既可实现增强现实，又无需投影板。但是，用户在佩戴AR眼镜时，难免会出现用户身体发生移动的情况，那么AR眼镜中的投影模组的位姿也会相应发生变化，从而出现投影模组投影的虚拟画面偏离目标投影区域的情况。

因此，基于以上考虑，为了能在实现增强现实时，降低对显示器的依赖性、提高用户体验，且确保投影模组投影的虚拟画面在目标投影区域内，本申请提出了一种增强现实投影方法。其中，该增强现实投影方法应用于包括投影模组和拍摄模组的AR眼镜，投影模组用于将虚拟画面投影至三维场景中，拍摄模组用于对三维场景进行拍摄。该增强现实投影方法通过利用投影模组将虚拟画面投影至三维场景中，使虚拟画面在三维场景中的真实物体的表面显示，从而实现增强现实。并且，该方法还通过根据拍摄模组拍摄得到的图像中的虚拟画面在图像中的坐标，判断投影模组投影的虚拟画面是否在目标投影区域内。若不在目标投影区域内，则调整投影模组，使投影模组投影的虚拟画面在目标投影区域内。

需要说明的是，应用本申请实施例提供的增强现实投影方法的AR眼镜适用于在光照条件满足投影要求，且三维场景中具有合适的用于投影的真实物体的表面，以使AR眼镜能将虚拟画面投影至三维场景中的真实物体的表面。例如，在光照条件满足投影要求的室内或室外，也即光强度相对较低的环境下，用户可以使AR眼镜将虚拟画面投影至适合投影的白色墙壁、桌面、地面、方正物体的表面等，或者也可以投影至用户的手掌、手背、腿部等其他可投影的部位上，从而实现虚拟画面与真实物体的融合。

图1示出了本申请实施例提供的增强现实投影方法的流程示意图，该方法应用于包括投影模组和拍摄模组的AR眼镜。其中，该投影模组与该拍摄模组之间的外参实时标定，该投影模组用于将虚拟画面投影至三维场景中，该拍摄模组用于对三维场景进行拍摄。该AR眼镜可以是包括一个或多个处理器的AR眼镜，该处理器可能是中央处理器CPU，或者是特定集成电路（Application Specific Integrated Circuit，ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路，在此不做限定。AR眼镜包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC，在此不做限定。如图1所示，该方法包括以下步骤：

步骤110：每隔预定时长，获取拍摄模组拍摄的第一图像，其中，第一图像中包含有虚拟画面。

其中，预定时长可以根据需要设置，例如，将预定时长设置为0.1s、0.3s或0.5s等。正如前文介绍，若用户发生移动，导致投影模组的位姿发生变化，会出现投影模组投影的虚拟画面偏离目标投影区域的情况。因此，本步骤中，通过获取第一图像以进一步判断投影模组投影的虚拟画面是否位于目标投影区域中。

如果预定时长过长，则可能出现用户在较短的一段时长内移动结束后，还需要等待一段时间，达到预定时长后AR眼镜才获取第一图像并调整投影模组，那么在用户移动期间以及等待期间，投影至三维场景中的虚拟画面都是偏离目标投影区域的情况。

因此，为了避免出现上述情况，在设置预定时长时，优选地将预定时长设置为较短的时长，以至于在用户发生移动时，也能及时获取第一图像并调整投影模组，以使投影模组投影至三维场景中的虚拟画面尽可能始终位于目标投影区域中，从而提高用户的使用体验。

在一些实施例中，为了避免资源浪费，即拍摄模组拍摄多张图像后仅获取其中一张进行处理，可以将拍摄模组对三维场景进行拍摄的间隔时间设置为上述预定时长。需要说明的是，每隔预定时长获取的第一图像为拍摄模组最新一次拍摄三维场景得到的图像。

投影模组将虚拟画面投影至三维场景中的某一真实物体后，利用拍摄模组对三维场景进行拍摄，该真实物体在拍摄范围内，则获取拍摄模组拍摄得到的第一图像中，虚拟画面以二维的像素点形式呈现在第一图像中，即第一图像中包含有虚拟画面。

步骤120：确定虚拟画面在第一图像中的实际投影坐标。

实际投影坐标为虚拟画面在第一图像中的像素坐标。确定实际投影坐标后，即可进一步利用实际投影坐标判断投影模组将虚拟画面投影至三维场景中的位置是否正确。

其中，第一图像中的虚拟画面在第一图像中对应有多个像素点。若想要提高判断的准确度，可以获取第一图像中的虚拟画面对应的所有像素点在第一图像中的实际投影坐标。若想要提高判断的效率，则可以获取第一图像中的虚拟画面对应的部分像素点在第一图像中的实际投影坐标，或设定虚拟画面的参考点后，获取第一图像中的参考点对应的像素点在第一图像中的实际投影坐标。

步骤130：判断实际投影坐标与虚拟画面在第一图像中的目标投影坐标是否一致。若否，则转至步骤140；若是，则结束本流程。

其中，需要说明的是，真实三维场景中想要将虚拟画面投射到区域的世界坐标，其在第一图像中所对应的像素坐标即为该目标投影坐标。第一图像中的目标投影坐标可以是预先设置的或经过分析处理得到的，在此不做限定。对于对三维场景拍摄到的一张图像，三维场景中的不同位置对应图像中的不同像素点，而不同像素点在图像中的坐标是不同的。因此，通过判断实际投影坐标与目标投影坐标是否一致，即可判断投影模组将虚拟画面投影至三维场景中的实际投影区域是否为目标投影区域。目标投影区域为目标投影坐标在三维场景中所对应的区域。

步骤140：基于投影模组与拍摄模组之间的外参，调整投影模组使其将虚拟画面投影至第一图像中的目标投影坐标在三维场景中所对应的目标投影区域。

其中，投影模组与拍摄模组之间的外参是指，用于表示投影模组坐标系与拍摄模组坐标系之间的空间关系的参数。投影模组坐标系是指以投影模组中的某一个点为坐标原点构建的坐标系。拍摄模组坐标系是指以拍摄模组中的某一个点为坐标原点构建的坐标系。通过投影模组与拍摄模组之间的外参，即可对投影模组坐标系和拍摄模组坐标系进行转换。

投影模组与拍摄模组之间的外参实时标定是指，只要投影模组与拍摄模组之间的空间关系发生变化，例如投影模组的位姿发生变化后，就及时标定并更新投影模组与拍摄模组之间的外参。本步骤及以下所有基于投影模组与拍摄模组之间的外参调整投影模组和拍摄模组的步骤中，均是基于最近一次更新后的投影模组与拍摄模组之间的外参来进行调整的。

已知虚拟画面在第一图像中的实际投影坐标，以及投影模组与拍摄模组之间的外参，想要将虚拟画面投影至第一图像中目标投影坐标在三维场景中所对应的区域，需要确定第一图像中从实际投影坐标变化到目标投影坐标这一过程，对应到投影模组的运动是怎样的，而由于投影模组与拍摄模组之间的外参是已知的，因此只需要基于投影模组与拍摄模组之间的外参，计算第一图像中从实际投影坐标变化到目标投影坐标的变化量，然后将该变化量转化为投影模组坐标系中的变化量，以得到的投影模组坐标系中的变化量对投影模组进行位姿调整，即可使投影模组将虚拟画面投影至三维场景中的目标投影区域。

本申请实施例中，通过利用AR眼镜中的投影模组将虚拟画面投影至三维场景中的真实物体上，使真实物体融合有虚拟画面，从而无需利用显示器或投影板即可实现增强现实。并且，由于本申请实施例中的AR眼镜中没有显示器或投影板，从而用户利用AR眼镜观察真实世界时，也就不会出现显示器或投影板对用户的观察视野造成遮挡或影响的情况，提升用户使用体验。

可以理解的是，目标投影区域为三维场景中目标真实物体上的区域。在实现增强现实时，需要将虚拟画面与目标真实物体进行融合才具有实际意义，而不是将虚拟画面与任一真实物体进行融合。因此，本申请实施例中，通过判断实际投影坐标与目标投影坐标是否一致，并根据判断结果及时调整投影模组的位姿，以使投影模组投影的画面尽可能始终在目标投影区域内，从而基本不会出现因用户佩戴AR眼镜时头部发生移动导致投影模组位姿发生变化，造成投影模组投影的虚拟画面偏离目标投影区域的情况。

在一些实施例中，若目标投影区域在三维场景中的坐标为Pt，投影模组与拍摄模组之间的外参为Tproj_cam，即拍摄模组坐标系转换到投影模组坐标系的参数为Tproj_cam，投影模组将虚拟画面投影至三维场景中的实际坐标为Pp，则可利用如下（1）式计算实际坐标Pp：

（1）。

在一些实施例中，为了实现投影模组与拍摄模组之间的外参实时标定，可以实时加入标定的帧，可以实时地检测投影模组标定的三维几何信息。采集频率可以设置为60hz，由于人眼只关注25hz的视频，因此可以在更高频率里面叠加一帧进行实时的投影模组和拍摄模组平面检测的帧，从而不会影响用户体验。

为了提高投影至目标投影区域的虚拟画面的显示效果，在图1提供的实施例的基础上，图2示出了本申请另一实施例提供的增强现实投影方法的流程示意图。如图2所示，该方法包括以下步骤：

步骤110：每隔预定时长，获取拍摄模组拍摄的第一图像，其中，第一图像中包含有虚拟画面。

步骤120：确定虚拟画面在第一图像中的实际投影坐标。

步骤130：判断实际投影坐标与虚拟画面在第一图像中的目标投影坐标是否一致。若否，则转至步骤140；若是，则转至步骤150。

步骤140：基于投影模组与拍摄模组之间的外参，调整投影模组使其将虚拟画面投影至第一图像中的目标投影坐标在三维场景中所对应的目标投影区域。

其中，步骤110~步骤140的原理和具体实现方式可参考图1提供的实施例，在此不再赘述。

步骤150：对第一图像中的虚拟画面进行特征提取。

其中，可以提取第一图像中的虚拟画面中的某些字符。

步骤160：根据提取的特征判断投影至三维场景中的虚拟画面是否发生畸变。若是，则转至步骤170；若否，则结束本流程。

其中，若投影至三维场景中的虚拟画面发生畸变，则虚拟画面中的字符也会相应发生畸变。因此，通过判断提取的字符是否发生畸变，即可判断投影至三维场景中的虚拟画面是否发生畸变。

步骤170：调整投影模组使其将矫正后的虚拟画面投影至目标投影区域。

其中，若虚拟画面发生畸变，则表现为虚拟画面投影至三维场景中的实际坐标与目标坐标不符。因此，通过调整投影模组的位姿，使其将矫正后的虚拟画面投影至目标坐标，即可使投影至三维场景中的虚拟画面是未发生畸变的。

为了确保投影模组能将矫正后的虚拟画面投影至目标投影区域，此处给出了确定矫正后的虚拟画面的坐标方式。其中，畸变包括径向畸变和切向畸变。针对径向畸变，可以利用下述（2）式计算矫正后的虚拟画面的横坐标，利用下述（3）式计算矫正后的虚拟画面的纵坐标：

（2）；

（3）；

其中，和/>和分别为矫正后的虚拟画面的横坐标和纵坐标，/>和/>分别为观察到的虚拟画面的实际横坐标和实际纵坐标，/>，/>、/>和/>为径向畸变参数，可以根据需要设置。

针对切向畸变，可以利用下述（4）式计算矫正后的虚拟画面的横坐标，利用下述（5）式计算矫正后的虚拟画面的纵坐标：

（4）；

（5）；

其中，和/>和分别为矫正后的虚拟画面的横坐标和纵坐标，/>和/>分别为观察到的虚拟画面的实际横坐标和实际纵坐标，/>和/>为切向畸变参数，可以根据需要设置。

若投影至三维场景中的虚拟画面发生畸变，则会出现用户无法有效获取虚拟画面内容的情况，降低增强现实的实现效果。因此，本申请实施例中，通过判断投影至三维场景中的虚拟画面是否发生畸变，并根据判断结果及时调整投影模组，以使投影模组将矫正后的虚拟画面投影至三维场景中，从而提升了增强现实的实现效果。

在一些实施例中，可以根据目标投影区域在三维场景中的坐标Pt和投影模组将虚拟画面投影至三维场景中的实际坐标Pp，计算虚拟画面的畸变情况，例如，虚拟画面的形状、位置等变化。

在一些实施例中，若矫正后的虚拟画面的坐标为Pp_corrected，则可通过如下述（6）式计算Pp_corrected：

（6）。

为了提高用户体验，将虚拟画面投影至用户指定的目标投影区域，在图1提供的实施例的基础上，本申请实施例中，在步骤110之前，该方法还包括如下步骤：

步骤a1：获取拍摄模组拍摄的第二图像，其中，第二图像中包含有互动手势及其对应的目标投影背景。

其中，本申请实施例中，为了确定目标投影区域，且提高AR眼镜与用户的互动效果，将用户通过互动手势指向的三维场景中的区域确定为目标投影区域。用户通过互动手势指向目标投影区域后，通过拍摄模组对用户的互动手势以及目标区域进行拍摄得到的第二图像中，互动手势和目标投影区域以二维的像素点的形式呈现在第二图像中。即第二图像中包含有互动手势及其对应的目标投影背景是指，第二图像中的互动手势和目标投影区域对应的像素点。

步骤a2：提取第二图像中互动手势对应的目标投影背景在第二图像中的第一坐标。

其中，本步骤与步骤120类似，因此，本步骤的具体实现方式可参考步骤120，在此不再赘述。

步骤a3：基于投影模组与拍摄模组之间的外参，控制投影模组将虚拟画面投影至第一坐标在三维场景中对应的目标投影区域。

其中，本步骤与步骤140类似，因此，本步骤的具体实现方式可参考步骤140，在此不再赘述。

本申请实施例中，通过将互动手势对应的区域确定为目标投影区域，从而可以根据用户需要将虚拟画面投影至其指定的区域，满足用户的个性化需求。并且，用户通过与AR眼镜进行互动即可指定目标投影区域，操作简易，相较于需要用户在AR眼镜中输入目标投影区域的方式，可减少操作时间，从而提高了确定目标投影区域的效率。

为了能提高判断投影的虚拟画面是否发生畸变的效率，在图2提供的实施例的基础上，步骤150包括：提取虚拟画面在第一图像中的边缘信息。

其中，虚拟画面在第一图像中的边缘信息是指，第一图像中的虚拟画面在第一图像中的外形轮廓。可以理解的是，利用投影模组对三维场景进行拍摄时，其拍摄的范围广于AR眼镜观察到的范围，因此，第一图像中并非只包含有虚拟画面。基于此，也就可以从第一图像中提取虚拟画面在第一图像中的外形轮廓。

步骤160包括：根据提取的边缘信息与预设边缘信息是否一致判断投影至三维场景中的虚拟画面是否发生畸变。

其中，投影至三维场景中的虚拟画面发生畸变后，其外形轮廓通常会发生变化。例如，若未发生畸变的虚拟画面的外形轮廓是矩形形状的，发生畸变后，其外形轮廓可能变成梯形形状的。其中，预设边缘信息可以根据需要设置。例如，若未发生畸变的虚拟画面的外形轮廓是矩形形状的，则将预设边缘信息设置为矩形图形。因此，若提取的边缘信息与预设边缘信息不一致，则可确定投影至三维场景中的虚拟画面发生畸变。

本申请实施例中，通过根据投影在三维场景中的虚拟画面的边缘信息与预设边缘信息比较，以判断虚拟画面是否发生畸变的方式，其判断方式简单，耗时短，从而提高了判断虚拟画面是否发生畸变的效率。

为了进一步提高用户体验，在图1提供的实施例的基础上，本申请实施例中，在相邻两次获取拍摄模组拍摄的第一图像的中间，该方法还包括如下步骤：

步骤b1：将历史第一图像中虚拟画面的实际投影坐标输入至预测模型中。

其中，可以将最近一段时间内获取的多张第一图像中的每张第一图像中虚拟画面的实际投影坐标输入至预测模型中，进而通过预测模型预测下一时刻目标真实物体与AR眼镜间的相对位置的变化情况。

步骤b2：通过预测模型预测虚拟画面在第一图像中的坐标变化情况。

其中，预测模型通过根据输入的历史时段内获取的第一图像中虚拟画面的实际投影坐标，也就可以预测下一时刻目标真实物体与AR眼镜间的相对位置变化的情况，即预测虚拟画面在第一图像中的坐标变化情况。

例如，若目标真实物体处于静止的情况下，用户持续向右移动，使目标真实物体和AR眼镜间的相对位置发生变化，则预测模型即可根据历史时段内获取的第一图像中的虚拟画面在第一图像中的坐标情况，预测下一时刻用户会向右移动，即下一时刻用户的位置，从而也就预测出下一时刻虚拟画面在第一图像中的坐标变化情况。

步骤b3：基于投影模组与拍摄模组之间的外参，根据预测的坐标变化情况，调整投影模组使其将虚拟画面投影至预测的目标投影区域。

其中，通过步骤b2中确定的坐标变化情况，即可确定预测的目标投影区域，即下一时刻的目标投影区域。

若AR眼镜与目标真实物体之间的相对位置发生变化，则虚拟画面在第一图像中的坐标也会发生变化，若不及时调整投影模组的位姿，会导致投影模组投影的虚拟画面偏离目标真实物体。

因此，本申请实施例中，目标真实物体与AR眼镜间的相对位置发生变化时，通过预测下一时刻目标真实物体与AR眼镜间的相对位置的变化情况，并及时调整投影模组的位姿，以使投影模组投影的虚拟画面始终在目标真实物体上。通过实时跟踪目标真实物体和AR眼镜之间的位置变化情况，动态调整目标投影区域，从而可以适应目标真实物体和AR眼镜中至少一者发生移动，导致这两者间的相对位置发生的变化，或者三维场景发生的变化。

并且，通过提前调整投影模组的位姿，以使下一时刻目标真实物体与AR眼镜之间的相对位置发生变化时，用户通过AR眼镜看到的虚拟画面是已经投影在目标真实物体上的。相较于通过等待目标真实物体与AR眼镜之间的相对位置发生变化后，再耗费一定的时间来根据变化情况调整投影模组的位姿的方式，减少了用户的等待时间。

在一些实施例中，可以利用自适应目标投影区域调整算法，根据目标真实物体的大小、位置和移动速度等因素来调整目标投影区域，确保投影模组投影的虚拟画面始终位于目标真实物体上。

为了提高虚拟画面的显示效果，在图1提供的实施例的基础上，本申请实施例中，在相邻两次标定投影模组与拍摄模组之间的外参的中间，该方法还包括如下步骤：

步骤c1：将每次标定的投影模组与拍摄模组之间的外参及对应的时刻输入至预设的运动模型中。

步骤c2：通过运动模型预测虚拟画面之后的畸变情况。

其中，由于投影至三维场景中的虚拟画面发生畸变后，会调整投影模组的位姿，以使其将矫正后的虚拟画面投影至三维场景中。而投影模组的位姿发生变化时，会及时标定投影模组与拍摄模组之间的外参。因此，步骤c1~步骤c2中，通过将每次标定的外参及对应的时刻输入至预设的运动模型中，以使预设的运动模型利用历史时段内虚拟画面发生的畸变情况，预测下一时刻虚拟画面的畸变情况，从而可以提前进行矫正处理。

步骤c3：根据预测的畸变情况，通过预设的运动补偿参数调整投影模组使其将矫正后的虚拟画面投影至目标投影区域。

若AR眼镜与目标真实物体之间的相对位置发生变化时，可能会出现投影至三维场景中的虚拟画面发生畸变。因此，本申请实施例中，通过运动模型根据历史时刻虚拟画面的畸变情况，估计下一时刻虚拟画面的畸变情况，进而在矫正过程中进行补偿，提前进矫正处理。

在一些实施例中，假设在t时刻，拍摄模组和投影模组之间的外参为Tproj_cam（t），目标真实物体在相机坐标系下的坐标为Pt（t），虚拟画面的坐标为Pp（t），则运动模型处理的过程可以表示为：

Tproj_cam（t）=f（Tproj_cam（t-1），Δt）；

其中，f是运动模型函数，Δt是时间间隔。

在畸变矫正过程中，利用运动补偿参数C（t）来补偿AR眼镜运动过程中，导致投影至三维场景的虚拟画面产生的畸变。假设矫正后的虚拟画面坐标为Pp_corrected（t），则畸变矫正过程可以表示为：

Pp_corrected（t）=Pp（t）+C（t）；

其中，C（t）为运动补充参数，用来补偿投影模组和拍摄模组在时间间隔Δt内的运动引起的投影至三维场景中的虚拟画面产生的畸变。

在一些实施例中，若投影模组和拍摄模组在运动时造成投影的虚拟画面发生畸变，则在利用矫正参数对发生畸变的虚拟画面进行矫正时，根据投影模组和拍摄模组的运动状态，动态调整矫正参数，从而确保投影至三维场景中的虚拟画面是未发生畸变的。

在一些实施例中，通过使用视觉里程计等技术实时估计下一时刻投影模组和拍摄模组之间的外参，进而根据估计的外参调整投影模组，从而当三维场景发生变化时，可以适应三维场景所发生的变化。

在一些实施例中，通过引入运动补偿算法，从而抵消拍摄模组和投影模组在运动过程中导致投影至三维场景中的虚拟画面发生的畸变。

为了使虚拟画面始终投影在目标真实物体上，其中，目标投影区域为三维场景中目标真实物体上的区域。在图1提供的实施例的基础上，本申请实施例中，第一图像还包含有目标真实物体。在第n次执行步骤110之后，该方法还包括如下步骤：

步骤c1：提取第n-1次获取的第一图像中的目标真实物体在该第一图像中的第二坐标，其中，n为正整数，且n＞1。

其中，利用拍摄模组对三维场景中的目标真实物体进行拍摄的第一图像中，目标真实物体以二维的像素点形式呈现在第一图像中，即第一图像中包含有目标真实物体。

步骤c2：提取第n次获取的第一图像中的目标真实物体在该第一图像中的第三坐标。

其中，第n次获取的第一图像是指，最新获取的第一图像。第n-1次获取第一图像的时刻早于第n次获取第一图像的时刻。

步骤c1和步骤c2均与步骤120类似，因此，步骤c1和步骤c2的具体实现方式可参考步骤120的实现方式，在此不再赘述。

步骤c3：若第三坐标与第二坐标的差值大于预设差值，则将目标投影坐标更新为第三坐标。

其中，若三维场景中的目标真实物体未发生移动，则第二坐标与第三坐标一致。若目标真实物体发生移动，则第二坐标与第三坐标不一致。第三坐标与第二坐标的差异大小与目标真实物体移动距离有关。目标真实物体移动的距离越大，则第三坐标与第二坐标的差异越大。预设差值可以根据需要设置。

正如前文介绍，在实现增强现实时，需要将虚拟画面与目标真实物体进行融合才具有实际意义。若目标真实物体发生移动，而虚拟画面未随着目标真实物体发生相应地移动，则会出现投影模组投影的虚拟画面偏离目标真实物体，无法达到增强现实的需求。

因此，本申请实施例中，若第三坐标与第二坐标的差值大于预设差值，则可确定目标真实物体发生一定程度的移动，进而将目标投影坐标更新为第三坐标。后续执行步骤120~步骤130时，判断第n次获取的第一图像中的实际投影坐标与第三坐标是否一致，若不一致则调整投影模组的位姿，以使投影模组将虚拟画面投影至第三坐标在三维场景中所对应的目标投影区域。通过上述方式，实现了目标真实物体发生移动时，投影至三维场景中的虚拟画面也发生相应地移动，从而确保虚拟画面始终被投影在目标真实物体上。

图3示出了本申请实施例提供的增强现实投影装置的结构示意图。该增强现实投影装置应用于包括投影模组和拍摄模组的AR眼镜，其中，投影模组与拍摄模组之间的外参实时标定，投影模组用于将虚拟画面投影至三维场景中，拍摄模组用于对三维场景进行拍摄。如图3所示，该装置200包括：获取模块201、确定模块202、判断模块203和调整模块204。其中，获取模块201用于每隔预定时长，获取拍摄模组拍摄的第一图像，其中，第一图像中包括虚拟画面。确定模块202用于确定虚拟画面在第一图像中的实际投影坐标。判断模块203用于判断实际投影坐标与虚拟画面在第一图像中的目标投影坐标是否一致。调整模块204用于若实际投影坐标与目标投影坐标不一致，则基于投影模组与拍摄模组之间的外参，调整投影模组使其将虚拟画面投影至第一图像中的目标投影坐标在三维场景中所对应的目标投影区域。

本实施例提供的增强现实投影装置，用于执行前述方法实施例中的增强现实投影方法的技术方案，其实现原理和技术效果类似，在此不再赘述。

值得说明的是，本实施例提供的增强现实投影装置，还包括其他用于执行上述增强现实投影方法实施例的各步骤的各个模块，此处不再一一赘述。

图4示出了本申请实施例提供的AR眼镜的结构示意图，本申请具体实施例并不对AR眼镜的具体实现做限定。

如图4所示，该AR眼镜可以包括：拍摄模组302、投影模组304、处理器(processor)306和存储器(memory)308。

其中：拍摄模组302与投影模组304之间的外参实时标定，投影模组304用于将虚拟画面投影至三维场景中，拍摄模组302用于对三维场景进行拍摄。

处理器306，用于执行程序310，具体可以执行上述用于增强现实投影方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机可执行指令。

处理器306可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。AR眼镜包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器308，用于存储程序310。存储器308可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

将拍摄模组302和投影模组304内置在AR眼镜中，内置的投影模组302直接集成在AR眼镜结构内部，从而使AR眼镜具有便携性，方便用户佩戴并获得增强现实体验。投影模组304无需将虚拟画面投影在AR眼镜中的镜片上，而是直接投影至三维场景中的物体表面上，以使用户可以更加广泛和沉浸式的AR体验。并且，拍摄模组302采用先进的实时三维识别技术，能够捕获周围环境的三维信息，并识别物体。将识别出的物体信息与虚拟画面进行叠加显示，使用户可以在实时中获取相关信息或与识别出的物体互动。

在一些实施例中，投影模组304用于向目标真实物体的表面投影特定编码的光栅或格文图案。拍摄模组302能够捕捉这些图案在目标真实物体表面上的畸变，并基于畸变信息推断出目标真实物体的表面的三维结构。

在另一些实施例中，AR眼镜包括多个拍摄模组，多个拍摄模组用于同时捕捉投影在目标真实物体表面上的虚拟画面，利用多个投影模组捕捉到的图像间的视差信息推断目标真实物体表面的三维结构。投影模组投影的虚拟画面可以用于提高特征点的检测或匹配。

在另一些实施例中，可以利用具有深度感知能力的传感器和投影模组一起工作，以获取目标真实物体表面的深度信息。其中，具有深度感知能力的传感器可以为：飞行的时间（Time-of-Flight，ToF）摄像头、结构光（Structured Light）相机或激光雷达等。投影模组用于投射针对深度传感的特定光学图案，拍摄模组捕获这些图案并推断出目标真实物体的表面的三维形状。

本申请实施例提供了一种计算机可读存储介质，该存储介质存储有可执行指令，该可执行指令在AR眼镜上运行时，使得AR眼镜执行上述任意方法实施例中的增强现实投影方法。

本申请实施例提供了一种计算机程序，所述计算机程序可被处理器调用使AR眼镜执行上述任意方法实施例中的增强现实投影方法。

本申请实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的增强现实投影方法。

Claims (8)

1.一种增强现实投影方法，其特征在于，应用于包括投影模组和拍摄模组的AR眼镜，其中，所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄，所述方法包括：

每隔预定时长，获取所述拍摄模组拍摄的第一图像，其中，所述第一图像中包含有所述虚拟画面；

确定所述虚拟画面在所述第一图像中的实际投影坐标；

判断所述实际投影坐标与所述虚拟画面在所述第一图像中的目标投影坐标是否一致；

若所述实际投影坐标与所述目标投影坐标不一致，则基于所述投影模组与所述拍摄模组之间的外参，调整所述投影模组使其将虚拟画面投影至所述第一图像中的所述目标投影坐标在三维场景中所对应的目标投影区域；

其中，在相邻两次获取所述拍摄模组拍摄的第一图像的中间，所述方法还包括：

将历史第一图像中虚拟画面的实际投影坐标输入至预测模型中；

通过所述预测模型预测虚拟画面在第一图像中的坐标变化情况；

基于所述投影模组与所述拍摄模组之间的外参，根据预测的所述坐标变化情况，调整所述投影模组使其将虚拟画面投影至预测的目标投影区域；

在相邻两次标定所述投影模组与所述拍摄模组之间的外参的中间，所述方法还包括：

将每次标定的所述投影模组与所述拍摄模组之间的外参及对应的时刻输入至预设的运动模型中；

通过所述运动模型预测所述虚拟画面之后的畸变情况；

根据预测的畸变情况，通过预设的运动补偿参数调整所述投影模组使其将矫正后的虚拟画面投影至所述目标投影区域。

2.根据权利要求1所述的增强现实投影方法，其特征在于，所述方法还包括：

若所述实际投影坐标与所述目标投影坐标一致，则对所述第一图像中的虚拟画面进行特征提取；

根据提取的特征判断投影至三维场景中的虚拟画面是否发生畸变；

若投影至三维场景中的虚拟画面发生畸变，调整所述投影模组使其将矫正后的虚拟画面投影至所述目标投影区域。

3.根据权利要求1所述的增强现实投影方法，其特征在于，在所述每隔预定时长，获取所述拍摄模组拍摄的第一图像之前，所述方法还包括：

获取所述拍摄模组拍摄的第二图像，其中，所述第二图像中包含有互动手势及其对应的目标投影背景；

提取所述第二图像中所述互动手势对应的目标投影背景在所述第二图像中的第一坐标；

基于所述投影模组与所述拍摄模组之间的外参，控制所述投影模组将虚拟画面投影至所述第一坐标在所述三维场景中对应的目标投影区域。

4.根据权利要求2所述的增强现实投影方法，其特征在于，所述对所述第一图像中的虚拟画面进行特征提取，包括：

提取所述虚拟画面在所述第一图像中的边缘信息；

所述根据提取的特征判断投影至三维场景中的虚拟画面是否发生畸变，包括：

根据提取的边缘信息与预设边缘信息是否一致判断投影至三维场景中的虚拟画面是否发生畸变。

5.根据权利要求1所述的方法，其特征在于，所述目标投影区域为三维场景中目标真实物体上的区域，所述第一图像还包含有所述目标真实物体；

在第n次执行所述每隔预定时长，获取所述拍摄模组拍摄的第一图像的步骤之后，所述方法还包括：

提取第n-1次获取的第一图像中的所述目标真实物体在该第一图像中的第二坐标，其中，n为正整数，且n＞1；

提取第n次获取的第一图像中的所述目标真实物体在该第一图像中的第三坐标；

若所述第三坐标与所述第二坐标的差值大于预设差值，则将所述目标投影坐标更新为所述第三坐标。

6.一种增强现实投影装置，其特征在于，应用于包括投影模组和拍摄模组的AR眼镜，其中，所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄，所述装置用于执行如权利要求1-5中任一项所述的增强现实投影方法。

7.一种AR眼镜，其特征在于，包括：投影模组、拍摄模组、处理器和存储器；

所述投影模组与所述拍摄模组之间的外参实时标定，所述投影模组用于将虚拟画面投影至三维场景中，所述拍摄模组用于对所述三维场景进行拍摄；

所述存储器用于存储可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的增强现实投影方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有可执行指令，所述可执行指令在运行时执行如权利要求1-5中任一项所述的增强现实投影方法。