CN112672139A - 投影显示方法、装置及计算机可读存储介质 - Google Patents
投影显示方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112672139A CN112672139A CN202110280123.5A CN202110280123A CN112672139A CN 112672139 A CN112672139 A CN 112672139A CN 202110280123 A CN202110280123 A CN 202110280123A CN 112672139 A CN112672139 A CN 112672139A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- projection
- time
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本公开实施例涉及一种投影显示方法、装置及计算机可读存储介质；该方法获取目标对象的实时人眼坐标信息，根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据实时位置信息对三维虚拟场景中的三维物体的动态位置信息进行透视投影，得到以实时位置信息为视点、投影面所对应的虚拟投影面为视平面的实时二维图像，这样实时二维图像会随着人眼的实时位置信息的变化而发生变化，再对实时二维图像进行处理以得到待显示投影图像，使得所确定的待显示投影图像随着人眼的实时位置信息的变化而变化，最后将待显示投影图像投影显示在投影面上；由于待显示投影图像随着人眼的实时位置信息的变化而变化，可实现逼真的立体显示效果。
Description
技术领域
本公开涉及投影显示技术领域，尤其涉及一种投影显示方法、装置及计算机可读存储介质。
背景技术
当利用投影技术实现立体显示效果时，若在投影显示的过程中，观看投影出的画面的视角未发生变化，则能产生较好的立体显示效果，如在观看投影出的画面时，人眼位置未发生变化，则立体显示的效果较为逼真。然而在观看投影的画面时，人眼位置总是不经意间会发出变化，例如调整坐姿、离开当前座位到另一个位置、动感观影时随着动感座椅的移动而移动等；当人眼位置发生变化时，则立体显示效果出现失真。
因此，需要提供一种方案当人眼位置发生变化时，仍能实现较好的立体显示效果。
发明内容
本公开实施例提供一种投影显示方法、装置及计算机可读存储介质，能在人眼位置发生变化时，实现逼真的立体显示效果。
本公开实施例提供了一种投影显示方法，应用于电子设备，包括：
实时获取摄像头采集的目标对象的图像；
确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息；
根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；
根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；
处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
将所述待显示投影图像投影显示在所述投影面上。
可选地，所述获取目标对象的实时人眼坐标信息的步骤，包括：
实时获取摄像头采集的目标对象的图像；
确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息；
所述根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：根据所述摄像头和光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息。
可选地，所述根据所述摄像头和光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：
根据所述实时人眼坐标信息确定人眼在所述摄像头所在的三维坐标系中的坐标信息；
根据所述摄像头和光机的相对位置关系，将人眼的所述坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
可选地，所述确定目标对象的人眼在所述图像中的二维坐标信息和深度信息的步骤，包括：
对所述图像进行人眼检测，以识别所述图像中的目标对象的人眼，得到人眼图像；
根据所述人眼图像在所述图像中的位置关系，确定所述人眼图像中的人眼在所述图像中的二维坐标信息；
利用第一神经网络模型对所述人眼图像进行深度识别，以得到所述人眼在所述图像中的深度信息。
可选地，所述投影显示方法，还包括：
当在所述图像中未识别出人眼时，获取在所述图像之前采集的至少一张图像和所述至少一张图像中的人眼的二维坐标信息和深度信息；
利用所述至少一张图像、所述至少一张图像中的人眼的二维坐标信息和深度信息对所述图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；
将预测的二维坐标信息和深度信息作为人眼在所述图像中的二维坐标信息和深度信息。
可选地，所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：
确定所述光机与投影面的位置关系，所述位置关系通过所述投影面在所在光机所在的三维坐标系下对应的平面方程来表示；
根据所述位置关系确定所述光机投影在投影面上的投影区域；
根据所述投影区域对所述实时二维图像进行裁剪，以得到包括所述实时二维图像有效展示内容的待显示投影图像。
可选地，在所述得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤之后，所述投影显示方法，还包括：
将所述待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；
将所述第一灰度图像和所述第二灰度图像进行相似度计算，以得到相似度值；
若所述相似度值小于预设相似度值，则根据所述上一待显示投影图像和所述待显示投影图像确定最终的待显示投影图像。
可选地，在所述得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤之后，所述投影显示方法，还包括：
检测是否开启了环境光检测功能；
若是，检测环境光信息；
根据所述环境光信息调整所述待显示投影图像的亮度，以得到调整后的待显示投影图像。
可选地，在所述得到实时二维图像的步骤之后，还包括：识别所述实时二维图像中的主体区域和背景区域，判断所述实时二维图像是否满足预设的沉浸式投影条件；在所述实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；
所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域；
或者在所述实时二维图像满足预设的沉浸式投影条件时，提高所述主体区域的对比度，降低所述背景区域的对比度。
本公开实施例还提供了一种投影显示装置，应用于电子设备，包括：
获取模块，用于实时获取摄像头采集的目标对象的图像；并确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息；
确定模块，用于根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；
透视模块，用于根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；
处理模块，用于处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
投影模块，用于将所述待显示投影图像投影显示在所述投影面上。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项投影显示方法。
本公开实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的投影显示方法中的步骤。
本公开提供的投影显示方法、装置及计算机可读存储介质，通过实时获取摄像头采集的目标对象的图像，确定目标对象的人眼在图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息，如此，通过摄像头采集的目标对象的图像来实时确定人眼在摄像头视角下的真实的三维坐标信息，并根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据人眼在光机对应的三维虚拟场景中的实时位置信息，三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影，得到以投影面为视平面的实时二维图像，这样实时二维图像是根据人眼的实时位置信息确定的，当实时人眼坐标信息发生变化时，人眼在光机对应的三维虚拟场景中的实时位置信息也会发生变化，得到的实时二维图像也会随着人眼的实时位置信息的变化而发生变化，再处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，使得待显示投影图根据人眼的实时位置信息确定，即所确定的待显示投影图像随着人眼的实时位置信息的变化而变化，最后将待显示投影图像投影显示在投影面上；由于待显示投影图像随着人眼的实时位置信息的变化而变化，可实现逼真的立体显示效果。
附图说明
下面结合附图，通过对本公开实施例的具体实施方式详细描述，将使本公开实施例的技术方案及其它有益效果显而易见。
图1为本公开实施例提供的投影显示系统的示意图。
图2为本公开实施例提供的投影显示方法的流程示例图。
图3为本公开实施例提供的透视投影计算的示意图。
图4为本公开实施例提供的投影显示方法的另一流程示意图。
图5为本公开实施例提供的投影显示装置的结构示意图。
图6为本公开实施例提供的投影显示装置的另一结构示意图。
图7为本公开实施例提供的电子设备的结构示意图。
附图标记说明：
10-投影仪；11-光机；12-摄像头；20-投影面；
400-电子设备；401-处理器；402-存储器；
A-视点；p-视平面；N1-三维物体上的点；N2-三维物体上的点；
AN1-直线；AN2-直线；n1-直线AN1与视平面p的交点；n2-直线AN2与视平面p的交点。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开实施例的一部分实施例，而不是全部的实施例。基于本公开实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
本公开实施例提供一种投影显示方法、装置、计算机可读存储介质及电子设备。本公开实施例提供的任一种投影显示装置，可以集成在电子设备中，该电子设备可以包括各种投影仪、或者是带有投影功能的移动终端、PC端、机器人等。本公开实施例中以电子设备为投影仪为例进行说明。
图1是本公开实施例提供的投影显示系统的示意图，请参阅图1，投影显示系统包括投影仪10和投影面20。其中：
投影仪10包括光机11和摄像头12，其中，光机11集成了显示核心、光源、镜头光路、散热等功能，摄像头12用于拍摄图像。
投影面20包括各种可用于显示投影图像且大小非固定的面，例如，墙面、柜面等；本公开实施例中以墙面为例进行说明。
投影仪10中的摄像头12面对着观看投影图像的观看者（目标对象），投影仪10中的光机11对着投影面20，以在投影面20上进行投影，以使观看者可以看到投影图像。
其中，光机11和摄像头12的相对位置保持不变，但光机11和摄像头12具体的位置关系不做具体限定。
在本公开实施例中，投影仪可以是短焦投影仪，距离投影面较近。
其中，图1所示的实施例中，光机11和摄像头12都设置在投影仪10中，且光机11和摄像头12的相对位置保持不变。在其他实施例中，光机和摄像头可分开设置，例如，光机设置在投影仪中，摄像头则采用另一个独立的摄像头，该独立的摄像头可与投影仪进行通信；摄像头可放置于任意一个可拍摄观看者（目标对象）正常观看投影图像的位置，投影仪中的光机对着投影面。在其他实施例中，光机和摄像头的相对位置可以变化；如摄像头的位置不变，而光机的位置会随着观看者（目标对象）的位置变化而变化等。
下面将结合图1来介绍本公开实施例中的投影显示方法、装置、计算机可读存储介质及电子设备。
图2是本公开实施例提供的投影显示方法的流程示意图，其应用于电子设备中，请参阅图2，该投影显示方法包括以下步骤。
101，获取目标对象的实时人眼坐标信息。
其中，目标对象指的是观看投影图像的观看者。若观看者有多个，则将多个中的其中一个作为目标对象；若观看者仅一个，则将该观看者作为目标对象。实时人眼坐标信息包括目标对象的人眼的二维坐标信息和深度信息。
其中，获取目标对象的实时人眼坐标信息，包括：实时获取摄像头采集的目标对象的图像，确定目标对象的人眼在图像中的二维坐标信息和深度信息，将该二维坐标信息和深度信息确定为实时人眼坐标信息。其中，深度信息是从采集的目标对象的图像中获取/识别出的，人眼在摄像头视角下的实际深度信息；或者也可以理解为从采集的目标对象的图像中获取/识别出的，人眼在摄像头视角下的景深。实时获取摄像头采集的目标对象的图像，确定实时人眼坐标信息，以实时捕捉人眼的实时位置信息的变化。
确定人眼在图像中的二维坐标，以及人眼在摄像头视角下的实际深度信息/景深而得到的实时人眼坐标信息，即为人眼在摄像头视角下的真实的三维坐标信息。
在一实施例中，采集目标对象的图像的摄像头可采用普通的摄像头，即2D摄像头，如此，获取的目标对象的图像不直接含有深度信息。获取目标对象的图像后，再通过其他方式来确定人眼在图像中二维坐标信息（人眼识别/人眼检测等方法）和深度信息（深度识别方法）。例如，通过人眼识别/人眼检测等方法来识别图像中的人眼，并确定人眼在图像中的二维坐标信息，利用神经网络模型来确定人眼在图像中的深度信息，如此，得到目标对象的实时人眼坐标信息。其中，神经网络模型可以是残差网络（Residual Network）和深度卷积神经网络（Deep Convolutional Neural Networks，DCNN）等。例如，直接通过神经网络模型来确定人眼在图像中的二维坐标信息和深度信息等。如此，采集目标对象的摄像头采用普通的2D摄像头，降低了成本；且利用神经网络模型对人眼图像进行深度识别，提高确定人眼在目标对象的图像中的深度信息的准确性。
在一实施例中，采集目标对象的图像的摄像头可为深度摄像头，即3D摄像头，3D摄像头采集的图像具有深度信息。获取目标对象的图像后，通过人眼识别/人眼检测等方法来识别图像中的人眼，并确定人眼在图像中的二维坐标信息；再直接获取图像中的人眼的二维坐标信息所对应的深度信息。使用深度摄像头来确定人眼在目标对象的图像中的深度信息，提高了深度信息获取的准确性和效率。
在一实施例中，采集目标对象的图像的摄像头可为红外摄像头，该红外摄像头既可以是2D摄像头，也可以是3D摄像头。其中，在2D摄像头或者3D摄像头采集的目标对象的图像中，确定人眼在目标对象的图像中的二维坐标信息和深度信息的方法可参看上文中的描述，达到的有益效果也请参看上文中的描述，在此不再赘述。采用红外摄像头方便在环境光较弱的情况下（如夜晚、光线较暗且未开灯的情况下等）实时获取目标对象的实时人眼坐标信息。
上文中的获取目标对象的实时人眼坐标信息可通过摄像头采集目标对象的图像，再确定目标对象的人眼在图像中的实时人眼坐标信息来实现，可以理解地，还可以通过其他可行的方式来实现。
102，根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息。
当实时人眼坐标信息通过摄像头采集的目标对象的图像来确定时，对应地，所述根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：根据摄像头与光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息。
无论光机是否运动，摄像头与光机都有一个相对位置关系。由于目标对象的图像是由摄像头拍摄的，当确定了实时人眼坐标信息后，可确定实时人眼坐标信息在以摄像头为原点的三维坐标系下对应的坐标信息，再根据摄像头与光机的相对位置关系，来确定实时人眼坐标信息在光机对应的三维虚拟场景中的实时位置信息。
具体地，根据摄像头与光机的相对位置关系，来确定实时人眼坐标信息在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：获取摄像头参数、光机参数；根据摄像头与光机的相对位置关系、摄像头参数（内部参数）和光机参数（内部参数），确定从摄像头所在的三维坐标系到光机所对应的三维坐标系的旋转矩阵和平移矩阵；根据实时人眼坐标信息在摄像头所在的三维坐标下的坐标信息、旋转矩阵和平移矩阵，来确定实时人眼坐标信息在光机所对应的三维坐标系下的坐标信息，并将该坐标信息映射到光机对应的三维虚拟场景中，以得到实时位置信息。
将真实世界中的摄像头、人眼、光机、摄像头与人眼的关系，摄像头与光机的关系，都反映在三维虚拟场景中，如此，通过三维虚拟场景来模拟真实世界中的场景。在三维虚拟场景中，摄像头、光机分别对应虚拟摄像头、虚拟光机。其中，分别以不同的点来表示虚拟摄像头的实时位置信息、人眼（指的是虚拟人眼）的实时位置信息、虚拟光机的实时位置信息等。以三维虚拟场景中的虚拟摄像头为原点构成一个三维虚拟空间，以虚拟光机为原点的三维虚拟场景构成一个三维虚拟空间，人眼（指的是虚拟人眼）位于以虚拟摄像头为原点的三维虚拟空间中，通过矩阵变换可将实时人眼坐标信息转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
其中，光机对应的三维虚拟场景，指的是光机对应的虚拟光机所在的三维虚拟场景。实时位置信息是虚拟三维场景中的虚拟位置信息。
103，根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像。
其中，投影面指的是最终显示投影图像的面，目标对象关注的投影面指的是目标对象确定的最终显示投影图像的面，本公开实施例以投影面为墙面为例进行说明。需要说明的是，投影面指的是现实生活中的真实的墙面。
在一实施例中，所述根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像的步骤，包括：在三维虚拟场景中生成与目标对象关注的投影面相同的虚拟投影面，且该虚拟投影面与三维虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变；将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面；根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
其中，三维物体也指的是三维虚拟物体。动态位置信息可以理解为三维物体的坐标信息在动态变化，只要是在投影的过程中存在任意两帧中三维物体的至少一个点的位置坐标发生变化，即理解为位置信息在动态变化。需要注意的是，在投影显示的过程中，也会存在三维物体的坐标信息长时间保持不变的情况，但只要在整个投影显示的过程中存在任意两帧中的三维物体的至少一个点的位置坐标发生变化，该种情况也在本申请的保护范围之内。三维物体根据三维虚拟场景需展示的信息的不同而不同。如在天气预报的三维虚拟场景中，三维虚拟物体可包括天气所对应的白云、晚霞、雪、雨等物体；如在游戏的三维场景中，三维虚拟物体可包括游戏场景中的树木、房屋、人物、道具等。
其中，所述在三维虚拟场景中生成与投影面相同的虚拟投影面的步骤，包括：获取人眼距离投影面的距离信息和投影面的尺寸信息；根据该距离信息和尺寸信息在三维虚拟场景中生成与投影面相同的虚拟投影面。其中，可根据人眼在目标图像中的深度信息、摄像头与光机的相对位置关系、光机与投影面之间的距离确定人眼距离投影面的距离信息。
在一些情况下，在三维虚拟场景中生成的虚拟投影面是无穷大的，但仍需要该虚拟投影面与虚拟场景中的人眼、虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变。
在三维虚拟场景中生成虚拟投影面之后，将虚拟投影面作为视平面，并根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。其中，实时二维图像是在视平面上的图像，是三维虚拟场景中得到的虚拟的实时二维图像。
如图3所示，为三维虚拟场景中进行透视投影计算的示意图。其中，将人眼在三维虚拟场景中的实时位置信息作为视点A（x，y，z），将虚拟投影面作为视平面p，将点N1（a，b，c）、N2（d，e，f）作为三维物体（三维虚拟球体）上的点，直线AN1与视平面p的交点为n1，则交点n1的坐标为（x_n1，y_n1），直线AN2与视平面p的交点为n2，则交点n2的坐标为（x_n2，y_n2）。三维物体上的其他点按照同样的方式计算出与视平面p的交点，最后得到视平面上的实时二维图像。
若三维物体上的点与视平面p的同一交点存在多个，则只保留三维物体上距离视平面p的距离最近的点，与视平面p的交点，这由透视投影的原理确定。
其中，需要注意的是，三维虚拟场景中至少存在一个三维物体，进行实时透视投影运算后，才可以实现立体显示；如果三维虚拟场景中没有三维物体或者全部是二维物体的话，也实现不了立体显示的效果。
104，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
其中，当三维物体很大时，所生成的实时二维图像也很大，而光机可以投影的投影区域却有限。因此，需要根据光机的投影区域来确定实时二维图像有效展示内容，以得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，所述处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据光机投影在投影面上的投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，上述根据光机投影在投影面上的投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：确定光机与投影面的位置关系；根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域；根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，光机/投影仪中存在距离检测器，可通过距离检测器来检测光机与投影面的距离，根据检测得到的距离确定光机与投影面的位置关系。若光机保持不动，则光机与投影面的距离保持不变；若光机运动，则光机与投影面的距离也在变化。
其中，位置关系可通过投影面在光机所在的三维坐标系下对应的平面方程来表示，在其他实施例中，还可以通过其他方式来表示。具体地，如使用深度摄像头对对应的平面方程进行估计。利用该深度摄像头能测量的多个光点对投影面进行距离检测，根据该深度摄像头的摄像头参数（内部参数），得出该多个光点的三维坐标。根据旋转矩阵和平移矩阵，将该多个光点的三维坐标转换到光机所在的三维坐标系中，然后对该多个光点进行最小二乘法计算以得到该多个光点所对应的拟合平面，如此，以得到投影面相当于光机的平面方程，将该平面方程确定为光机与投影面的位置关系。
或者可采用双目摄像头来确定光机与投影面的位置关系，具体地，在投影面上打出棋盘格，利用双目视觉计算每个光点的三维坐标，根据旋转矩阵和平移矩阵，将该多个光点的三维坐标转换到光机所在的三维坐标系中，然后对该多个光点进行最小二乘法计算以得到该多个光点所对应的拟合平面，如此，以得到投影面相当于光机的平面方程，将该平面方程确定为光机与投影面的位置关系。
确定了光机与投影面的位置关系之后，根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域。
在一实施例中，所述根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域的步骤，包括：根据距离确定光机投影在投影面上的投影尺寸；根据投影参数确定光机投影在投影面上的具体投影位置；将光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。其中，光机投影在投影面上的投影区域一般为长方形形状的区域，还可以为其他的形状的区域。
其中，投影参数包括光机的仰角等位置参数、投射比、投影长宽比等。以仰角为例，仰角越大，具体投影位置则处于投影面的越往上的地方，仰角越小，具体投影位置则处于投影面的较下的地方。
其中，所述根据距离确定光机投影在投影面上的投影尺寸的步骤，包括：获取光机的投影尺寸与距离的对应关系，根据对应关系和距离确定光机投影在投影面上的投影尺寸。
确定了投影尺寸和具体投影位置，将所确定的光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。
在一实施例中，所述根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据投影区域生成三维虚拟场景中的虚拟投影区域，其中，虚拟投影区域与投影区域保持一致；根据虚拟投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，将位于虚拟投影区域中的二维图像保留，保留下的二维图像即为实时二维图像有效展示内容，将位于虚拟投影区域之外的二维图像进行裁剪，最终得到包括实时二维图像有效展示内容的待显示投影图像。
由于人眼的实时位置信息会发生变化，从而使得计算出来的实时二维图像也会发生变化，对实时二维图像进行裁剪得到的待显示投影图像也会发生变化，如此，使得待显示投影图像根据人眼的实时位置信息的变化而变化，即使待显示投影图像根据人眼的视角的变化而变化，以实现逼真的立体显示效果。
若将投影面换成显示屏，那么在确定实时二维图像时，按照显示屏的大小进行透视投影，且直接将透视投影后的实时二维图像进行显示即可；无需对透视投影后得到的实时二维图像进行裁剪；同时，光机的投影区域是根据光机的投影参数（如仰角等位置参数；若光机的位置变化，位置参数也会发生变化）来确定的，因此，光机的投影区域可以变动，对应地，三维虚拟场景中的虚拟投影区域也可以变动，而显示屏所对应的显示区域无法变动。即通过显示屏来实现与本公开实施例中的通过投影仪来实现的实现原理并不相同。
105，将待显示投影图像投影显示在投影面上。
将待显示投影图像投影显示在投影面上，具体地，显示在投影面对应的投影区域上。至此，待显示投影图像才真正显示出来，观看者可以在投影面的投影区域上看到该待显示投影图像。其中，待显示投影图像根据人眼的视角的变化而变化，实现逼真的立体显示效果。
上述方法实施例获取目标对象的实时人眼坐标信息；根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据人眼在光机对应的三维虚拟场景中的实时位置信息，三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维虚拟场景中的三维物体进行透视投影，得到以投影面为视平面的实时二维图像，如此，得到的实时二维图像是根据人眼的实时位置信息确定的，当实时人眼坐标信息发生变化时，人眼在光机对应的三维虚拟场景中的实时位置信息也会发生变化，得到的实时二维图像也会随着人眼的实时位置信息（视角）的变化而发生变化；再处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，使得待显示投影图根据人眼的实时位置信息确定，即所确定的待显示投影图像随着人眼的视角变化而变化；最后将待显示投影图像投影显示在投影面上时，由于待显示投影图像随着人眼的视角变化而变化，因此，可实现逼真的立体显示效果。
图4为本公开实施例提供的另一投影显示方法的流程示意图，其应用于电子设备中，如图4所示，该投影显示方法包括以下步骤。
201，实时获取摄像头采集的目标对象的图像。
在该实施例中，以采集目标对象的图像的摄像头为普通的2D摄像头为例进行说明。
202，确定目标对象的人眼在图像中的实时人眼坐标信息。
人眼在图像中的实时人眼坐标信息包括人眼在图像中的二维坐标信息和深度信息。
在一实施例中，确定人眼在图像中的二维坐标信息和深度信息的步骤，包括：对图像进行人眼检测，以识别图像中的目标对象的人眼，得到人眼图像；根据人眼图像在图像中的位置关系，确定人眼图像中的人眼在图像中的二维坐标信息；利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在图像中的深度信息。
其中，对图像进行人眼检测，可通过神经网络模型、人眼检测、人眼识别等方法。实现人眼检测后，将人眼所在位置的图像作为人眼图像。
得到人眼图像后，根据人眼图像在目标对象的图像中的位置关系，确定人眼图像中的人眼在目标对象的图像中的二维坐标信息。其中，人眼图像可以是目标对象的图像中的一个矩形区域，对应有一个左上角坐标和右下角坐标，根据左上角坐标和右下角坐标来确定人眼在目标对象的图像中的二维坐标信息。例如，根据左上角坐标和右下角坐标确定人眼图像的中心坐标，将中心坐标作为人眼在目标对象的图像中的二维坐标信息。还可以将人眼图像对应的矩阵区域内的其他任意一个坐标作为人眼在目标对象的图像中的二维坐标信息。
得到人眼图像后，利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在目标对象的图像中的深度信息。其中，第一神经网络模型可以是上文中提到的残差网络模型和深度卷积神经网络模型等，如全卷积残差网络（Fully Convolutional ResidualNetworks，FCRN）、深度卷积神经网络VGG-16等。
如此，得到人眼在图像中的二维坐标信息和深度信息。其中，该实施例中的摄像头采用普通的2D摄像头，降低了成本；且利用神经网络模型对人眼图像进行深度识别，提高确定人眼在目标对象的图像中的深度信息的准确性。
在一实施例中，当摄像头采集到的图像中检测不到人眼时，对应的，投影显示方法还包括：当在图像中未识别出人眼时，获取在图像之前采集的至少一张图像和至少一张图像中的人眼的二维坐标信息和深度信息；利用至少一张图像、至少一张图像中的人眼的二维坐标信息和深度信息对图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；将预测的二维坐标信息和深度信息作为人眼在图像中的实时人眼坐标信息。其中，对图像中的人眼的二维坐标信息和深度信息进行预测的方法可采用第二神经网络模型的方法，还可以采用其他的对实时位置信息进行预测的方法。
该方案可以解决在人眼识别/人眼检测失败或者目标对象扭头等情况下的投影显示，降低投影显示出现错误的概率。
在一实施例中，当摄像头采集到的图像中检测不到人眼时，对应的，投影显示方法还包括：将摄像头采集的图像（当前帧图像）的上一图像（上一帧图像）中确定出的实时人眼坐标信息作为图像（当前帧图像）所对应的实时人眼坐标信息。该方案中当摄像头采集到的图像中检测不到人眼时，直接将上一帧图像中确定的实时人眼坐标信息作为当前帧图像的实时人眼坐标信息，减少了计算量，实现简单方便，提高投影显示的效率。
203，根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的实时坐标信息。
在真实场景中，以摄像头为原点构建一个三维坐标系，该三维坐标系的x轴和y轴构成的平面与投影面平行，z轴垂直于投影面。由于目标对象的图像是摄像头拍摄得到的，因此，可根据人眼在图像中的二维坐标信息和深度信息来确定人眼在摄像头所在的三维坐标系中的坐标信息。如将人眼在图像中的二维坐标信息转换为以摄像头为原点的二维坐标信息，将人眼在图像中的深度信息作为对应的深度信息。如此，根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的实时坐标信息。
204，根据摄像头和光机的相对位置关系，将实时坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
在三维虚拟场景中，以虚拟摄像头为原点，构建一个三维虚拟空间；根据所确定的人眼在摄像头所在的三维坐标系中的坐标信息来确定人眼（指的是虚拟人眼）在三维虚拟空间中的坐标信息（虚拟坐标信息）；根据摄像头与光机的相对位置关系，确定三维虚拟场景中对应的虚拟摄像头与虚拟光机的相对位置关系，并构建一个以虚拟光机为原点的三维虚拟场景；通过矩阵变换将人眼（指的是虚拟人眼）在三维虚拟空间中的坐标信息（虚拟坐标信息）转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
即在三维虚拟场景中，以虚拟摄像头为原点构成一个三维虚拟空间，以虚拟光机为原点的三维虚拟场景构成一个三维虚拟空间，人眼位于以虚拟摄像头为原点的三维虚拟空间中，通过矩阵变换可将实时人眼坐标信息转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
205，在三维虚拟场景中生成与投影面相同的虚拟投影面。
该虚拟投影面与三维虚拟场景中的人眼、虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变。
206，将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面，并根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
207，根据光机投影在投影面上的投影区域，生成三维虚拟场景中的虚拟投影区域。
其中，虚拟投影区域与投影区域保持一致。
208，根据虚拟投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
209，将待显示投影图像投影显示在投影面上对应的投影区域上。
其中，该实施例中未详细描述的部分请参看上文实施例中对应的步骤描述，在此不再赘述。
该实施例中通过摄像头采集目标对象的图像，并确定目标对象的人眼在图像中的实时人眼坐标信息，根据摄像头与光机的相对位置关系，将实时人眼坐标信息转换为光机对应的三维虚拟场景中的实时位置信息，如此，提高确定人眼在光机对应的三维虚拟场景中的实时位置信息的效率。另外，将真实场景中的人眼、摄像头、光机、投影面等映射到三维虚拟场景中，以对三维虚拟场景中的三维物体进行实时透视投影运算，并根据虚拟投影区域，处理实时二维图像，使得到包括实时二维图像有效展示内容的待显示投影图像可投影到投影面的投影区域上，无需进行其他的转换运算，提高投影显示的效率。
由于计算误差、采集的图像质量等问题导致计算出来的人眼的实时位置信息也会有所抖动，从而导致前后两帧投影显示的待显示投影图像的差别较大，给观看者一种画面发生跳跃的感觉，降低立体显示的效果，降低了用户体验。
为了解决上述计算存在误差而导致的降低立体显示效果的技术问题，在一实施例中，在获取目标图像的实时人眼坐标信息之后（或者在根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤之前），所述投影显示方法，还包括：确定当前帧图像所对应的实时人眼坐标信息和上一帧图像所对应的实时人眼坐标信息所对应的距离差值；若距离差值大于预设距离差值，将上一帧图像所对应的实时人眼坐标信息作为当前帧图像所对应的实时人眼坐标信息；或者若距离差值大于预设距离差值，根据当前帧图像的至少前两帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息；若距离差值不大于预设距离差值，则保持当前帧图像所对应的实时人眼坐标信息不变。
其中，假设当前帧图像所对应的实时人眼坐标信息为m1（x1，y1，z1），上一帧图像所对应的实时人眼坐标信息为m2（x2，y2，z2），则距离差值m1m2的计算如公式（1）所示。
其中，还可以采用其他的距离计算方式来计算距离差值，如曼哈顿距离等。其中，预设距离差值可根据经验值进行设定，如设置为5等。
在计算出来的距离差值大于预设距离差值时，在一种方案中，可将上一帧图像所对应的实时人眼坐标信息，即m2，作为当前帧图像所对应的实时人眼坐标信息。如此，提高确定当前帧图像的实时人眼坐标信息的准确性，进而提高立体显示效果。可理解为当观看者在观看投影图像时，前后两帧图像中人眼视角几乎没有变化。
在计算出来的距离差值大于预设距离差值时，在另一种方案中，可根据当前帧图像的至少前两帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息。例如可计算当前帧图像的至少前两帧图像所对应的实时人眼坐标信息的平均距离差值，根据该平均距离差值和上一帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息。具体地，将上一帧图像所对应的实时人眼坐标信息加上平均距离差值以得到当前帧图像所对应的实时人眼坐标信息。如此，可根据历史实时人眼坐标信息来确定当前帧图像所对应的实时人眼坐标信息，提高实时人眼坐标信息的准确性，进而提高立体显示效果。该种方案可理解为前后连续多帧中人眼视角变化的规律相同。例如可计算当前帧图像的至少前两帧图像所对应的实时人眼坐标信息的平均值，将该平均值作为当前帧图像所对应的实时人眼坐标信息，该种方案适用于实际人处于静止状态，而计算出来的人眼的实时位置信息存在抖动的情况（该种方案可进一步配合距离传感器等来进一步确定是否人处于静止状态）。
为了解决上述计算存在误差而导致的降低立体显示效果的技术问题，在一实施例中，在得到待显示投影图像之后，所述投影显示方法，还包括：将待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；将第一灰度图像和第二灰度图像进行相似度计算，以得到相似度值；若相似度值小于预设相似度值，则根据上一待显示投影图像和待显示投影图像确定最终的待显示投影图像。其中，预设相似度值根据具体相似度计算方式的不同确定为不同的值。
其中，将待显示投影图像和上一待显示投影图像分别进行灰度处理的原因是，降低色差对计算的相似度值的影响，同时只需要计算对应的灰度图像（一个通道的数据）进行相似度计算的相似度值，而无需计算对应图像RGB三个通道的数据进行相似度计算的相似度值，提高计算效率。将待显示投影图像和上一待显示投影图像分别进行灰度处理后，得到第一灰度图像和第二灰度图像。
接着将第一灰度图像和第二灰度图像进行相似度计算，其中，进行相似度计算的计算方式有多种。例如，直接计算第一灰度图像和第二灰度图像的像素灰度值的灰度差值，将该灰度差值作为相似度值；或者是采用基于特征点的相似度计算的方式来计算相似度值；还可以采用其他的方式来计算第一灰度图像和第二灰度图像的相似度值。
当相似度值不小于预设相似度值时，使用当前帧对应的待显示投影图像进行投影显示；当相似度值小于预设相似度值时，根据上一帧对应的待显示投影图像和当前帧对应的待显示投影图像确定最后的待显示投影图像，并投影显示。
其中，根据上一帧对应的待显示投影图像和当前帧对应的待显示投影图像确定最后的待显示投影图像的步骤，包括：根据上一帧的待显示投影图像对应的实时人眼坐标信息和当前帧的待显示投影图像对应的实时人眼坐标信息，确定当前帧的目标人眼实时位置信息；根据目标实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的目标实时位置信息；根据目标实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像；处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，将该待显示投影图像作为当前帧最后的待显示投影图像。
该实施例将待显示投影图像和上一待显示投影图像分别进行灰度处理，再计算灰度处理得到的第一灰度图像和第二灰度图像的相似度值，根据相似度值来确定是否需要重新确定待显示投影图像。当相似度值小于预设相似度值，重新确定待显示投影图像，提高所确定的待显示投影图像的准确性，进而提高立体显示效果。
在一实施例中，在得到待显示投影图像之后，可调节待显示投影图像的显示效果，以提高用户体验。对应的，所述投影显示方法，还包括：检测是否开启了环境光检测功能；若是，检测环境光信息；根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
其中，可在投影仪中设置按钮，以开启/关闭环境光检测的功能。可在投影仪中安装光感应器，利用光感应器来检测环境光信息。检测环境光信息之后，根据环境光信息调整待显示投影图像的亮度；例如，当环境光较弱时，将待显示投影图像的亮度调低；当环境光较强时，将待显示投影图像的亮度调高，如此，得到调整后的待显示投影图像。如此，以提高投影显示的效果，提升用户体验。
在一实施例中，可通过移动终端将环境光信息发送至投影仪，以使得投影仪根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
在一实施例中，在得到待显示投影图像之后，还可对待显示投影图像进行重影检测、去重影等，以提高立体显示效果。在此不一一进行详细说明。
在一实施例中，可实现无边框观影。对应地，在根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像的步骤之后，还包括：识别实时二维图像中的主体区域和背景区域，判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域。
其中，识别实时二维图像中的主体区域，可采用前景检测的方法，也可以采用其他的方法来实现。可将主体区域之外的区域作为背景区域。
其中，通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据光机投影在投影面上的投影区域，通过降低亮度后的投影光源处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
投影仪在获取到需要进行投影的实时二维图像之后，进一步识别该实时二维图像是否满足预设的沉浸式投影条件。应当说明的是，此处对该沉浸式投影条件的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。
示例性地，可以根据实时二维图像的用途进行沉浸式投影条件的配置。
比如，可以配置沉浸式投影条件包括：实时二维图像包括天气可视化图像和/或装饰图像，且实时二维图像的背景区域为黑色背景等。
如上，在完成对实时二维图像是否满足沉浸式投影条件的识别之后，根据识别结果确定是否进行沉浸式投影，其中，若实时二维图像满足沉浸式投影条件，则对实时二维图像进行沉浸式投影，否则按照上述实施例的投影方式进行投影。
投影光源包括红色光源、绿色光源、第一蓝色光源以及第二蓝色光源。
在一实施例中，所述降低投影光源的亮度的步骤，包括：降低提供给所述红色光源、所述绿色光源、所述第一蓝色光源以及所述第二蓝色光源的驱动电流，以降低所述投影光源的亮度。
在一实施例中，所述降低投影光源的亮度的步骤，包括：降低所述绿色光源在单位时间内的使能时长，并对应增加所述红色光源、所述第一蓝色光源和所述第二蓝色光源中至少一者的使能时长，以降低所述投影光源的亮度。
在一实施例中，所述降低投影光源的亮度的步骤，包括：根据所述环境亮度以及预设的环境亮度和沉浸式投影条件下投影光源亮度的对应关系，将所述投影光源的亮度降低至对应所述环境亮度的投影光源亮度。
在一实施例中，所述投影设备还包括电致变色组件，所述方法还包括：确定所述电致变色组件中用于遮挡对应所述背景区域的投影光线的目标区域；将所述目标区域切换为着色状态，使得所述目标区域遮挡对应所述背景区域的投影光线。
在一实施例中，对应地，在根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像的步骤之后，还包括：识别实时二维图像中的主体区域和背景区域，判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，提高主体区域的对比度，降低主体区域的对比度，以实现隐藏所述主体区域之外的背景区域。其中，对比度的修改可通过修改主体区域或背景区域的RGB值来实现，或者通过其他方式来实现。
根据上述实施例所描述的方法，本实施例将从投影显示装置的角度进一步进行描述，该投影显示装置具体可以作为独立的实体来实现，也可以集成在电子设备中，该电子设备可以包括各种投影仪、或者是带有投影功能的移动终端、PC端、机器人等。
请参阅图5，图5具体描述了本公开实施例提供的投影显示装置，应用于电子设备中，该投影显示装置可以包括：获取模块301、确定模块302、透视模块303、处理模块304以及投影模块305。其中：
获取模块301用于获取目标对象的实时人眼坐标信息。
其中，获取模块301具体用于实时获取摄像头采集的目标对象的图像，并确定目标对象的人眼在图像中的二维坐标信息和深度信息，将该二维坐标信息和深度信息确定为实时人眼坐标信息。
其中，获取模块301在执行确定目标对象的人眼在所述图像中的二维坐标信息和深度信息的步骤时，具体执行：对图像进行人眼检测，以识别图像中的目标对象的人眼，得到人眼图像；根据人眼图像在图像中的位置关系，确定人眼图像中的人眼在图像中的二维坐标信息；利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在图像中的深度信息。
其中，获取模块301还用于当在图像中未识别出人眼时，获取在图像之前采集的至少一张图像和所述至少一张图像中的人眼的二维坐标信息和深度信息；利用至少一张图像、至少一张图像中的人眼的二维坐标信息和深度信息对图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；将预测的二维坐标信息和深度信息作为人眼在图像中的二维坐标信息和深度信息。
其中，获取模块301还用于将摄像头采集的图像（当前帧图像）的上一图像（上一帧图像）中确定出的实时人眼坐标信息作为图像（当前帧图像）所对应的实时人眼坐标信息。
确定模块302用于根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息。
其中，确定模块302具体用于根据摄像头与光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息。其中，确定模块302在执行根据摄像头与光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的位置信的步骤时，具体执行：根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的坐标信息；根据摄像头和光机的相对位置关系，将人眼的坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
透视模块303用于根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维虚拟场景中的三维物体进行实时透视投影运算，以得到实时二维图像。
其中，透视模块303具体用于在三维虚拟场景中生成与投影面相同的虚拟投影面，且该虚拟投影面与虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变；将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面；根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
其中，透视模块303在执行在三维虚拟场景中生成与投影面相同的虚拟投影面的步骤时，具体执行：获取人眼距离投影面的距离信息和投影面的尺寸信息；根据该距离信息和尺寸信息在三维虚拟场景中生成与投影面相同的虚拟投影面。
处理模块304用于处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304具体用于根据光机投影在投影面上的投影区域，处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304在执行根据光机投影在投影面上的投影区域，处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤时，具体用于确定光机与投影面的位置关系；根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域；根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304在执行根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域的步骤，包括：根据位置关系确定光机投影在投影面上的投影尺寸；根据投影参数确定光机投影在投影面上的具体投影位置；将光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。
其中，处理模块304在执行根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤时，具体执行：根据投影区域生成三维虚拟场景中的虚拟投影区域，其中，虚拟投影区域与投影区域保持一致；根据虚拟投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
投影模块305用于将待显示投影图像投影显示在投影面上对应的投影区域上。
在一实施例中，如图6所示，所述投影显示装置还包括：灰度处理模块306。其中，灰度处理模块306用于在得到待显示投影图像的步骤之后，将待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；将第一灰度图像和所述第二灰度图像进行相似度计算，以得到相似度值；若相似度值小于预设相似度值，则根据上一待显示投影图像和待显示投影图像确定最终的待显示投影图像。
在一实施例中，如图6所示，所述投影显示装置还包括：检测模块307。其中，检测模块307用于检测是否开启了环境光检测功能；若是，检测环境光信息；根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
在一实施例中，所述投影显示装置还包括：调整模块，其中，调整模块，用于识别实时二维图像中的主体区域和背景区域，并判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度。所述处理模块304还用于通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域。进一步地，所述处理模块304，具体用于根据光机投影在投影面上的投影区域，通过降低亮度后的投影光源处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，所述调整模块，还用于识别实时二维图像中的主体区域和背景区域，并判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，提高主体区域的对比度，降低背景区域的对比度。
具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。
另外，本公开实施例还提供一种电子设备，该电子设备包括各种投影仪、或者是带有投影功能的移动终端、PC端、机器人等。如图7所示，电子设备400包括处理器401、存储器402、光机11和摄像头12。其中，处理器401与存储器402电性连接，光机11分别与处理器401、存储器402连接，摄像头12分别与处理器401、存储器402连接，摄像头12采集的数据保存在存储器402中，光机11与摄像头12连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。摄像头12用于采集图像。光机11集成显示核心、光源、镜头光路、散热等功能。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
获取目标对象的实时人眼坐标信息；根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；将所述待显示投影图像投影显示在所述投影面上。
在一些实施例中，电子设备400还可以包括输入模块、显示模块、至少一种传感器（深度传感器、光传感器等）、音频电路、传输模块、电源等中的至少一个部件；电子设备400还可以包括本公开实施例中未提到的更多的部件。
该电子设备可以实现本公开实施例所提供的投影显示方法任一实施例中的步骤，因此，可以实现本公开实施例所提供的任一投影显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本公开实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本公开实施例所提供的投影显示方法中任一实施例的步骤。
其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本公开实施例所提供的投影显示方法任一实施例中的步骤，因此，可以实现本公开实施例所提供的任投影显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本公开实施例所提供的一种投影显示方法、装置、计算机可读存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本公开实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开实施例的方法及其核心思想；同时，对于本领域的技术人员，依据本公开实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开实施例的限制。
Claims (11)
1.一种投影显示方法，其特征在于，包括：
实时获取摄像头采集的目标对象的图像；
确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息；
根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；
根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，得到实时二维图像；
处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
将所述待显示投影图像投影显示在所述投影面上。
2.根据权利要求1所述的投影显示方法，其特征在于，所述根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：根据所述摄像头和光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息。
3.根据权利要求2所述的投影显示方法，其特征在于，所述根据所述摄像头和光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤，包括：
根据所述实时人眼坐标信息确定人眼在所述摄像头所在的三维坐标系中的坐标信息；
根据所述摄像头和光机的相对位置关系，将人眼的所述坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
4.根据权利要求2所述的投影显示方法，其特征在于，所述确定目标对象的人眼在所述图像中的二维坐标信息和深度信息的步骤，包括：
对所述图像进行人眼检测，以识别所述图像中的目标对象的人眼，得到人眼图像；
根据所述人眼图像在所述图像中的位置关系，确定所述人眼图像中的人眼在所述图像中的二维坐标信息；
利用第一神经网络模型对所述人眼图像进行深度识别，以得到所述人眼在所述图像中的深度信息。
5.根据权利要求4所述的投影显示方法，其特征在于，还包括：
当在所述图像中未识别出人眼时，获取在所述图像之前采集的至少一张图像和所述至少一张图像中的人眼的二维坐标信息和深度信息；
利用所述至少一张图像、所述至少一张图像中的人眼的二维坐标信息和深度信息对所述图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；
将预测的二维坐标信息和深度信息作为人眼在所述图像中的二维坐标信息和深度信息。
6.根据权利要求1所述的投影显示方法，其特征在于，所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：
确定所述光机与投影面的位置关系，所述位置关系通过所述投影面在所在光机所在的三维坐标系下对应的平面方程来表示；
根据所述位置关系确定所述光机投影在投影面上的投影区域；
根据所述投影区域对所述实时二维图像进行裁剪，以得到包括所述实时二维图像有效展示内容的待显示投影图像。
7.根据权利要求1所述的投影显示方法，其特征在于，在所述得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤之后，所述投影显示方法还包括：
将所述待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；
将所述第一灰度图像和所述第二灰度图像进行相似度计算，以得到相似度值；
若所述相似度值小于预设相似度值，则根据所述上一待显示投影图像和所述待显示投影图像确定最终的待显示投影图像。
8.根据权利要求1所述的投影显示方法，其特征在于，在所述得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤之后，所述投影显示方法还包括：
检测是否开启了环境光检测功能；
若是，检测环境光信息；
根据所述环境光信息调整所述待显示投影图像的亮度，以得到调整后的待显示投影图像。
9.根据权利要求1所述的投影显示方法，在所述得到实时二维图像的步骤之后，还包括：
识别所述实时二维图像中的主体区域和背景区域，并判断所述实时二维图像是否满足预设的沉浸式投影条件；
在所述实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；
所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域；
或者在所述实时二维图像满足预设的沉浸式投影条件时，提高所述主体区域的对比度，降低所述背景区域的对比度。
10.一种投影显示装置，其特征在于，包括：
获取模块，用于实时获取摄像头采集的目标对象的图像，并确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，将所述二维坐标信息和深度信息确定为实时人眼坐标信息；
确定模块，用于根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；
透视模块，用于根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；
处理模块，用于处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
投影模块，用于将所述待显示投影图像投影显示在所述投影面上。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至9任一项所述的投影显示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280123.5A CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
| CN202111552430.0A CN114339194B (zh) | 2021-03-16 | 2021-12-17 | 投影显示方法、装置、投影设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280123.5A CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112672139A true CN112672139A (zh) | 2021-04-16 |
Family
ID=75399496
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280123.5A Pending CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
| CN202111552430.0A Active CN114339194B (zh) | 2021-03-16 | 2021-12-17 | 投影显示方法、装置、投影设备及计算机可读存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111552430.0A Active CN114339194B (zh) | 2021-03-16 | 2021-12-17 | 投影显示方法、装置、投影设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112672139A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612978A (zh) * | 2021-07-01 | 2021-11-05 | 江西科骏实业有限公司 | 几何失真校正方法、装置、系统与计算机可读存储介质 |
| CN114327346A (zh) * | 2021-12-27 | 2022-04-12 | 北京百度网讯科技有限公司 | 显示方法、显示装置、电子设备以及存储介质 |
| CN115934020A (zh) * | 2023-01-05 | 2023-04-07 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
| WO2023056840A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字节跳动网络技术有限公司 | 三维物体的显示方法、装置、设备及介质 |
| CN116433476A (zh) * | 2023-06-09 | 2023-07-14 | 有方（合肥）医疗科技有限公司 | Ct图像处理方法及装置 |
| WO2023151271A1 (zh) * | 2022-02-10 | 2023-08-17 | 上海商汤智能科技有限公司 | 模型展示方法、装置、电子设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782901B (zh) * | 2022-06-21 | 2022-09-09 | 深圳市禾讯数字创意有限公司 | 基于视觉变动分析的沙盘投影方法、装置、设备及介质 |
| CN116723303B (zh) * | 2023-08-11 | 2023-12-05 | 腾讯科技（深圳）有限公司 | 画面投影方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
| WO2017108703A1 (en) * | 2015-12-24 | 2017-06-29 | Unilever Plc | Augmented mirror |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005275789A (ja) * | 2004-03-24 | 2005-10-06 | Japan Science & Technology Agency | 三次元構造抽出方法 |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| WO2013111119A1 (en) * | 2012-01-27 | 2013-08-01 | Saar Wilf | Simulating interaction with a three-dimensional environment |
| CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
| CA2873479A1 (en) * | 2014-12-04 | 2016-06-04 | John Paul Duffy | Simulated 3d projection apparatus |
| JP6398938B2 (ja) * | 2015-09-30 | 2018-10-03 | ブラザー工業株式会社 | 投影制御装置、及びプログラム |
| US10474227B2 (en) * | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
| GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
| CN109615703B (zh) * | 2018-09-28 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 增强现实的图像展示方法、装置及设备 |
| CN109688392B (zh) * | 2018-12-26 | 2021-11-02 | 联创汽车电子有限公司 | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 |
| CN110062216B (zh) * | 2019-04-18 | 2021-05-25 | 北京森焱精创科技有限公司 | 实景交互方法、系统、计算机设备和存储介质 |
| TWI712001B (zh) * | 2019-06-25 | 2020-12-01 | 國立臺灣師範大學 | 用以將選定的二維影像投影成裸視三維影像之系統 |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
-
2021
- 2021-03-16 CN CN202110280123.5A patent/CN112672139A/zh active Pending
- 2021-12-17 CN CN202111552430.0A patent/CN114339194B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017108703A1 (en) * | 2015-12-24 | 2017-06-29 | Unilever Plc | Augmented mirror |
| CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612978A (zh) * | 2021-07-01 | 2021-11-05 | 江西科骏实业有限公司 | 几何失真校正方法、装置、系统与计算机可读存储介质 |
| WO2023056840A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字节跳动网络技术有限公司 | 三维物体的显示方法、装置、设备及介质 |
| CN114327346A (zh) * | 2021-12-27 | 2022-04-12 | 北京百度网讯科技有限公司 | 显示方法、显示装置、电子设备以及存储介质 |
| CN114327346B (zh) * | 2021-12-27 | 2023-09-29 | 北京百度网讯科技有限公司 | 显示方法、显示装置、电子设备以及存储介质 |
| WO2023151271A1 (zh) * | 2022-02-10 | 2023-08-17 | 上海商汤智能科技有限公司 | 模型展示方法、装置、电子设备及存储介质 |
| CN115934020A (zh) * | 2023-01-05 | 2023-04-07 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
| CN116433476A (zh) * | 2023-06-09 | 2023-07-14 | 有方（合肥）医疗科技有限公司 | Ct图像处理方法及装置 |
| CN116433476B (zh) * | 2023-06-09 | 2023-09-08 | 有方（合肥）医疗科技有限公司 | Ct图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339194B (zh) | 2023-12-08 |
| CN114339194A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112672139A (zh) | 投影显示方法、装置及计算机可读存储介质 | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US11756223B2 (en) | Depth-aware photo editing | |
| US20190236404A1 (en) | Image processing apparatus image processing method and storage medium for lighting processing on image using model data | |
| US9746319B2 (en) | Generation of depth data based on spatial light pattern | |
| US11050994B2 (en) | Virtual reality parallax correction | |
| WO2020063100A1 (zh) | 增强现实的图像展示方法、装置及设备 | |
| US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
| CN110166680B (zh) | 设备成像方法、装置、存储介质及电子设备 | |
| WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
| US11275248B2 (en) | Head mounted display apparatus, virtual reality display system and driving method thereof | |
| CN111095348A (zh) | 基于摄像头的透明显示器 | |
| CN110870304A (zh) | 向用户提供信息以观察多视图内容的方法和装置 | |
| CN116524022B (zh) | 偏移数据计算方法、图像融合方法、装置及电子设备 | |
| CN110312075B (zh) | 设备成像方法、装置、存储介质及电子设备 | |
| WO2021145913A1 (en) | Estimating depth based on iris size | |
| EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
| WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
| CN114928728A (zh) | 投影设备及异物检测方法 | |
| US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
| US11688046B2 (en) | Selective image signal processing | |
| CN112541553B (zh) | 目标对象的状态检测方法、装置、介质以及电子设备 | |
| US20240054619A1 (en) | Differently correcting images for different eyes | |
| CN114760422A (zh) | 一种逆光检测方法及系统、电子设备及存储介质 | |
| CN113552942A (zh) | 一种基于光照强度显示虚拟对象的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |