CN114339194A - 投影显示方法、装置、投影设备及计算机可读存储介质 - Google Patents
投影显示方法、装置、投影设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114339194A CN114339194A CN202111552430.0A CN202111552430A CN114339194A CN 114339194 A CN114339194 A CN 114339194A CN 202111552430 A CN202111552430 A CN 202111552430A CN 114339194 A CN114339194 A CN 114339194A
- Authority
- CN
- China
- Prior art keywords
- projection
- image
- real
- dimensional
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000003287 optical effect Effects 0.000 claims abstract description 195
- 239000011159 matrix material Substances 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 44
- 238000013519 translation Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 25
- 210000000746 body region Anatomy 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 21
- 238000001514 detection method Methods 0.000 description 18
- 238000003062 neural network model Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本公开实施例涉及一种投影显示方法、装置、投影设备及计算机可读存储介质。该方法包括：获取目标对象的实时人眼坐标信息，根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据实时位置信息对三维虚拟场景中的三维物体的动态位置信息进行透视投影，得到以虚拟投影面为视平面的实时二维图像，这样实时二维图像会随着人眼的实时位置信息的变化而发生变化，再对实时二维图像进行裁剪以得到待显示投影图像，使得所确定的待显示投影图像随着人眼的实时位置信息的变化而变化，最后将待显示投影图像投影显示在投影面上。由于待显示投影图像随着人眼的实时位置信息的变化而变化，可实现逼真的立体显示效果。
Description
本公开要求申请日为2021年3月16日，申请号为202110280123.5，申请名称为“投影显示方法、装置及计算机可读存储介质”的发明专利申请的全部优先权，该在先申请的内容通过引用并入本公开。
技术领域
本公开涉及投影显示技术领域，尤其涉及一种投影显示方法、装置、投影设备及计算机可读存储介质。
背景技术
当利用投影技术实现立体显示效果时，若在投影显示的过程中，观看投影出的画面的视角未发生变化，则能产生较好的立体显示效果，如在观看投影出的画面时，人眼位置未发生变化，则立体显示的效果较为逼真。然而在观看投影的画面时，人眼位置总是不经意间会发出变化，例如调整坐姿、离开当前座位到另一个位置、动感观影时随着动感座椅的移动而移动等；当人眼位置发生变化时，则立体显示效果出现失真。
因此，需要提供一种方案当人眼位置发生变化时，仍能实现较好的立体显示效果。
发明内容
本公开实施例提供一种投影显示方法、装置、投影设备及计算机可读存储介质，能在人眼位置发生变化时，实现逼真的立体显示效果。
本公开首先提供一种投影显示方法，应用于投影设备，投影设备包括摄像头及光机，投影显示方法包括：
通过摄像头实时获取目标对象的图像；
确定目标对象的人眼在图像中的二维坐标信息和深度信息，根据二维坐标信息和深度信息确定实时人眼坐标信息；
根据摄像头与光机的相对位置关系，确定从摄像头所对应的第一三维坐标系到光机所对应的第二三维坐标系的旋转矩阵和平移矩阵；
根据实时人眼坐标信息在第一三维坐标系下的第一坐标信息、旋转矩阵和平移矩阵，来确定实时人眼坐标信息在第二三维坐标系下的第二坐标信息，并将第二坐标信息映射到光机对应的三维虚拟场景中，以得到实时位置信息；
根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，得到实时二维图像；
处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像；
将待显示投影图像投影显示在投影面上。
可选地，根据摄像头与光机的相对位置关系、摄像头参数和光机参数，确定从摄像头所对应的第一三维坐标系到光机所对应的第二三维坐标系的旋转矩阵和平移矩阵的步骤，包括：
通过摄像头拍摄标定板获得标定板图像，标定板所在的平面与投影面平行；
根据摄像头参数和光机参数，分别确定摄像头所对应的第一三维坐标系和光机所对应的第二三维坐标系；
根据标定板和摄像头的位置关系，以及标定板和光机的位置关系，确定从第一三维坐标系到第二三维坐标系的平移矩阵；
根据标定板图像上特征点在第一三维坐标系下的坐标信息，确定从第一三维坐标系到第二三维坐标系的旋转矩阵。
可选地，根据摄像头与光机的相对位置关系、摄像头参数和光机参数，确定从摄像头所对应的第一三维坐标系到光机所对应的第二三维坐标系的旋转矩阵和平移矩阵步骤之后，还包括：
获取投影面上经过梯形校正后的投影图像顶点的二维坐标信息；
根据投影图像顶点的二维坐标信息，及光机与投影面的距离，获得投影面在光机对应的三维坐标系下的位置信息。
可选地，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：
确定光机与投影面的位置关系；
根据位置关系和光机的投影参数，确定光机投影在投影面上的投影区域；
根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
可选地，根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，得到实时二维图像的步骤，包括：
在三维虚拟场景中生成与目标对象关注的投影面相同的虚拟投影面，虚拟投影面与三维虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变；
将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面；
根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
可选地，在三维虚拟场景中生成与目标对象关注的投影面相同的虚拟投影面的步骤，包括：
获取人眼距离投影面的距离信息和投影面的尺寸信息；
根据距离信息和尺寸信息在三维虚拟场景中生成与投影面相同的虚拟投影面。
可选地，还包括：
当在图像中未识别出人眼时，获取在图像之前采集的至少一张图像和至少一张图像中的人眼的二维坐标信息和深度信息；
根据至少一张图像、至少一张图像中的人眼的二维坐标信息和深度信息对图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；
将预测的二维坐标信息和深度信息作为人眼在图像中的二维坐标信息和深度信息。
可选地，在得到包括实时二维图像有效展示内容的待显示投影图像的步骤之后，投影显示方法还包括：
将待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；
将第一灰度图像和第二灰度图像进行相似度计算，以得到相似度值；
若相似度值小于预设相似度值，则根据上一待显示投影图像和待显示投影图像确定最终的待显示投影图像。
可选地，在得到实时二维图像的步骤之后，还包括：
识别实时二维图像中的主体区域和背景区域，并判断实时二维图像是否满足预设的沉浸式投影条件；
在实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；
处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理实时二维图像，以得到无边框的包括实时二维图像有效展示内容的待显示投影图像，以实现隐藏主体区域之外的背景区域；
或者在实时二维图像满足预设的沉浸式投影条件时，提高主体区域的对比度，降低背景区域的对比度。
本公开同时提供一种投影显示装置，应用于投影设备，投影设备包括摄像头及光机，投影显示装置包括：
获取模块，用于实时获取摄像头采集的目标对象的图像，并确定目标对象的人眼在图像中的二维坐标信息和深度信息，根据二维坐标信息和深度信息确定实时人眼坐标信息；
确定模块，用于根据摄像头与光机的相对位置关系，确定从摄像头所对应的第一三维坐标系到光机所对应的第二三维坐标系的旋转矩阵和平移矩阵；并根据实时人眼坐标信息在第一三维坐标下对应的第一坐标信息、旋转矩阵和平移矩阵，来确定实时人眼坐标信息在第二三维坐标系下对应的第二坐标信息，并将第二坐标信息映射到光机对应的三维虚拟场景中，以得到实时位置信息；
透视模块，用于根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像；
处理模块，用于处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像；
投影模块，用于将待显示投影图像投影显示在投影面上。
本公开还提供一种投影设备，包括处理器、存储器、光机和摄像头，处理器与存储器电性连接，光机分别与处理器、存储器连接，摄像头分别与处理器和存储器连接，摄像头采集的数据保存在存储器中，光机与摄像头连接，存储器上存储有应用程序，处理器运行应用程序以上述任一项的投影显示方法。
本公开还提供一种计算机可读存储介质，计算机可读存储介质中存储有多条指令，指令适于由处理器加载以执行上述任一项投影显示方法。
与现有技术相比，本公开的有益效果包括：本公开提供的投影显示方法、装置、投影设备及计算机可读存储介质，通过获取目标对象的实时人眼坐标信息，根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据人眼在光机对应的三维虚拟场景中的实时位置信息，三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影，得到以投影面为视平面的实时二维图像，这样实时二维图像是根据人眼的实时位置信息确定的，当实时人眼坐标信息发生变化时，人眼在光机对应的三维虚拟场景中的实时位置信息也会发生变化，得到的实时二维图像也会随着人眼的实时位置信息的变化而发生变化，再处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，使得待显示投影图根据人眼的实时位置信息确定，即所确定的待显示投影图像随着人眼的实时位置信息的变化而变化，最后将待显示投影图像投影显示在投影面上；由于待显示投影图像随着人眼的实时位置信息的变化而变化，可实现逼真的立体显示效果。
附图说明
下面结合附图，通过对本公开实施例的具体实施方式详细描述，将使本公开实施例的技术方案及其它有益效果显而易见。
图1为本公开实施例提供的投影显示系统的示意图。
图2为本公开实施例提供的投影显示方法的步骤流程图一。
图3为本公开实施例提供的投影显示方法的步骤流程图二。
图4为本公开实施例提供的标定板的正视图；
图5为本公开实施例提供的标定板位置示意图；
图6为本公开实施例提供的投影显示方法的步骤流程图三。
图7为本公开实施例提供的透视投影计算的示意图。
图8为本公开实施例提供的投影显示方法的另一流程示意图。
图9为本公开实施例提供的投影显示装置的结构示意图。
图10为本公开实施例提供的投影显示装置的另一结构示意图。
图11为本公开实施例提供的投影设备的结构示意图。
附图标记说明：
10-投影设备；11-光机；12-摄像头；20-投影面；
401-处理器；402-存储器；
A-视点；p-视平面；N1-三维物体上的点；N2-三维物体上的点；AN1-直线；AN2-直线；n1-直线AN1与视平面p的交点；n2-直线AN2与视平面p的交点。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开实施例的一部分实施例，而不是全部的实施例。基于本公开实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。
本公开实施例提供一种投影显示方法、装置、计算机可读存储介质及投影设备。本公开实施例提供的任一种投影显示装置，可以集成在投影设备中，该投影设备可以包括投影仪、激光电视、或者是带有投影功能的移动终端、PC端、机器人等。
图1是本公开实施例提供的投影显示系统的示意图，请参阅图1，投影显示系统包括投影设备10和投影面20。其中：
投影设备10包括光机11和摄像头12，其中，光机11集成了显示核心、光源、镜头光路、散热等功能，摄像头12用于拍摄图像。
投影面20包括各种可用于显示投影图像且大小非固定的面，例如，墙面、柜面等；本公开实施例中以墙面为例进行说明。
投影设备10中的摄像头12面对着观看投影图像的观看者(目标对象)，投影设备10中的光机11对着投影面20，以在投影面20上进行投影，以使观看者可以看到投影图像。
其中，光机11和摄像头12的相对位置保持不变，但光机11和摄像头12具体的位置关系不做具体限定。
在本公开实施例中，投影设备可以是短焦投影设备，距离投影面较近。
其中，图1所示的实施例中，光机11和摄像头12都设置在投影设备10中，且光机11和摄像头12的相对位置保持不变。在其他实施例中，光机和摄像头可分开设置，例如，光机设置在投影设备中，摄像头则采用另一个独立的摄像头，该独立的摄像头可与投影设备进行通信；摄像头可放置于任意一个可拍摄观看者(目标对象)正常观看投影图像的位置，投影设备中的光机对着投影面。在其他实施例中，光机和摄像头的相对位置可以变化；如摄像头的位置不变，而光机的位置会随着观看者(目标对象)的位置变化而变化等。
下面将结合图1来介绍本公开实施例中的投影显示方法、装置、计算机可读存储介质及投影设备。
图2是本公开实施例提供的投影显示方法的流程示意图，其应用于投影设备中，请参阅图2，该投影显示方法包括以下步骤。
步骤110，通过摄像头实时获取目标对象的图像。
其中，目标对象指的是观看投影图像的观看者。若观看者有多个，则将多个中的其中一个作为目标对象；若观看者仅一个，则将该观看者作为目标对象。实时人眼坐标信息包括目标对象的人眼的二维坐标信息和深度信息。
步骤120，确定目标对象的人眼在图像中的二维坐标信息和深度信息，根据该二维坐标信息和深度信息确定实时人眼坐标信息。实时获取摄像头采集的目标对象的图像，确定实时人眼坐标信息，以实时捕捉人眼的实时位置信息的变化。
在一实施例中，采集目标对象的图像的摄像头可采用普通的摄像头，即2D摄像头，如此，获取的目标对象的图像不含深度信息。获取目标对象的图像后，再通过其他方式来确定人眼在图像中二维坐标信息(人眼识别/人眼检测等方法)和深度信息(深度识别方法)。例如，通过人眼识别/人眼检测等方法来识别图像中的人眼，并确定人眼在图像中的二维坐标信息，利用神经网络模型来确定人眼在图像中的深度信息，如此，得到目标对象的实时人眼坐标信息。其中，神经网络模型可以是残差网络(Residual Network)和深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)等。如此，采集目标对象的摄像头采用普通的2D摄像头，降低了成本；且利用神经网络模型对人眼图像进行深度识别，提高确定人眼在目标对象的图像中的深度信息的准确性。
在一实施例中，采集目标对象的图像的摄像头可为深度摄像头，即3D摄像头，3D摄像头采集的图像具有深度信息。获取目标对象的图像后，通过人眼识别/人眼检测等方法来识别图像中的人眼，并确定人眼在图像中的二维坐标信息；再直接获取图像中的人眼的二维坐标信息所对应的深度信息。使用深度摄像头来确定人眼在目标对象的图像中的深度信息，提高了深度信息获取的准确性和效率。
在一实施例中，采集目标对象的图像的摄像头可为红外摄像头，该红外摄像头既可以是2D摄像头，也可以是3D摄像头。其中，在2D摄像头或者3D摄像头采集的目标对象的图像中，确定人眼在目标对象的图像中的二维坐标信息和深度信息的方法可参看上文中的描述，达到的有益效果也请参看上文中的描述，在此不再赘述。采用红外摄像头方便在环境光较弱的情况下(如夜晚、光线较暗且未开灯的情况下等)实时获取目标对象的实时人眼坐标信息。
上文中的获取目标对象的实时人眼坐标信息可通过摄像头采集目标对象的图像，再确定目标对象的人眼在图像中的实时人眼坐标信息来实现，可以理解地，还可以通过其他可行的方式来实现。
如图3所示，基于前文描述，确定目标对象的人眼在图像中的二维坐标信息和深度信息的步骤可以具体包括以下步骤：
步骤121，对图像进行人眼检测，以识别图像中的目标对象的人眼，得到人眼图像。例如，可以通过人眼识别/人眼检测等方法来识别图像中的人眼。
步骤122，根据人眼图像在图像中的位置关系，确定人眼图像中的人眼在图像中的二维坐标信息。具体地，根据人眼图像在目标对象的图像中所在的具体位置，确定人眼图像中的人眼在目标对象的图像中的二维坐标信息。
步骤123，通过第一神经网络模型对人眼图像进行深度识别，以得到人眼在图像中的深度信息。其中，第一神经网络模型可以是残差网络(Residual Network)和深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)等。
一种实施方式中，也可以通过深度摄像头来获取人眼在图像中的深度信息。
步骤130，根据摄像头与光机的相对位置关系、摄像头参数和光机参数，确定从摄像头所对应的第一三维坐标系到光机所对应的第二三维坐标系的旋转矩阵和平移矩阵。其中，摄像头参数为摄像头的内部参数，光机参数为光机的内部参数。
其中，步骤130可以具体包括以下步骤：
首先，通过摄像头拍摄标定板获得标定板图像，标定板所在的平面与投影面平行。其中，如图4所示，标定板可以为标准棋盘格标定板，标准棋盘格标定板的形状、尺寸都是已知确定的。
其次，根据摄像头参数和光机参数，分别确定摄像头所对应的第一三维坐标系和光机所对应的第二三维坐标系。
然后，根据标定板和摄像头的位置关系，以及标定板和光机的位置关系，确定从第一三维坐标系到第二三维坐标系的平移矩阵。
具体地，根据标定板图像在第一三维坐标系中的坐标信息，确定从标定板所对应的第三三维坐标系到第一三维坐标系的第一平移矩阵。根据标定板与投影面的位置关系，确定从第三三维坐标系到第二三维坐标系的第二平移矩阵。根据第一平移矩阵和第二平移矩阵，确定从第一三维坐标系到第二三维坐标系的平移矩阵。
最后，根据标定板图像上特征点在第一三维坐标系下的坐标信息，确定从第一三维坐标系到第二三维坐标系的旋转矩阵。其中，标定板图像的特征点可以为棋盘格的中心点、顶点或某个位置信息已知的棋盘格角点。
具体地，根据标定板上特征点在第三三维坐标系下的坐标信息，以及标定板图像上特征点在第一三维坐标系下的坐标信息，确定从第三三维坐标系到第一三维坐标系的第一旋转矩阵。根据标定板与投影面的位置关系，确定从第三三维坐标系到第二三维坐标系的第二旋转矩阵。根据第一旋转矩阵和第二旋转矩阵，确定从第一三维坐标系到第二三维坐标系的旋转矩阵。
下面举例对上述步骤进行说明：
如图5所示，选取一块标定板放置于墙面(此时墙面作为投影面)前，标定板与墙面平行，且两者的间距s为1米，其中间距s也可以取值1.2米、1.5米、2米或其他已知的距离，投影设备摆在墙面前，并向墙面投射出80寸(也可以是50寸、60寸或其他已知尺寸)的正投画面。在投影设备背面摆放一个相机，该相机的摄像头参数已经标定完成，相机拍摄画面一张，根据该相机的摄像头参数可以求出此时标定板相对于摄像头的角度。
由于标定板的形状尺寸大小是已知的，因此可以通过拍摄得到的图像的大小来判断标定板距离相机摄像头的远近，从而得到了标定板在第一三维坐标系下的状态，也就得到了第三三维坐标系到第一三维坐标系的第一平移矩阵。如标定板的中心点O在第一三维坐标系下的坐标为(x1,y1,z1)，中心点O在第三三维坐标系中的坐标为(0,0,0)，则第一矩平移矩阵为[x1y1z1]。标定板与墙面(或投影面)是平行的，且两者的距离是已知的，也就可以得到第三三维坐标系到第二三维坐标系的第二平移矩阵，如标定板的中心点O在第二三维坐标系下的坐标为(x2,y2,z2)，则第二平移矩阵为[x2 y2 z2]。那么，从第一三维坐标系到第二三维坐标系的旋转矩阵为第二平移矩阵与第一平移矩阵的差值，即为[x2-x1 y2-y1z2-z1]。
同时，根据棋盘格标定板的特征点构成的连线，可以得出基于第三三维坐标系的三个基向量。而这三个基向量对应于第一三维坐标系下的基向量，也就可以得到第三三维坐标系到第一三维坐标系的第一旋转矩阵。由于标定板是平行于墙面的，而且光机此时投射投影图像的是正矩形，没有因旋转而产生形变，因此第三三维坐标系到第二三维坐标系只有平移矩阵，没有产生旋转向量(即旋转向量为0)，那么第二旋转矩阵即为[0 0 0]。第一三维坐标系到第二三维坐标系的旋转矩阵为第二旋转矩阵与第一旋转矩阵的差值。
一种实施例中，在步骤130之后，还包括：
首先，获取投影面上经过梯形校正后的投影图像顶点的二维坐标信息。
然后，根据投影图像顶点的二维坐标信息，及光机与投影面的距离，获得投影面在光机对应的三维坐标系下的位置信息。
具体地，使光机投射出80寸(也可以是50寸、60寸或其他已知尺寸)的投影图像之后，采集投影设备对墙面(即投影面)的tof数据(飞行时间数据，也就是投影设备与墙面的距离，通过投影设备的tof传感器来测量获得)。当投影图像为80寸时，根据投射比可以计算出光机离墙面的距离d，此时tof数据为D，令k＝D/d。当k值处于设定的范围内时，表明tof传感器的测量精度是合格的。
根据tof传感器的多点测算可以得知机器对应墙面的角度，利用梯形校正的计算方法，计算得到投影画面的四个顶点，也可以得到光机执行完梯形矫正后投影画面的顶点坐标。此时的投影画面的顶点坐标是用tof传感器重新测量计算得到的，是空间中的三维坐标。
使用tof传感器或者其他传感器进行墙面距离的计算，具体来讲，可以使用具有能测量多个点的tof传感器对墙面进行距离检测，然后根据tof传感器的内部参数，得出每个光点(即投影画面的顶点)的三维坐标。然后通过旋转矩阵和平移矩阵，将这些三维光点的坐标转换到光机的基础坐标系中，然后对这些三维光点进行最小二乘法拟合平面，如此便得到了该墙面相对于光机的平面方程。或者使用双目摄像头，在墙面打出棋盘格，利用双目视觉计算每个光点的三维坐标，然后在进行最小二乘法平面拟合，进而得出平面方程。
因此本实施例的方法可以支持梯形矫正之后的图像的裸眼3D显示。本实施例中，通过上述方法可以得出此时投影面的平面方程和所在的三维坐标系，将三维模型放入投影面所在的三维坐标系需要进行缩放和平移，以达到预期的效果。
步骤140，根据实时人眼坐标信息在第一三维坐标下对应的第一坐标信息、旋转矩阵和平移矩阵，来确定实时人眼坐标信息在第二三维坐标系下对应的第二坐标信息，并将第二坐标信息映射到光机对应的三维虚拟场景中，以得到实时位置信息。
上述步骤中，无论光机是否运动，摄像头与光机都有一个相对位置关系。由于目标对象的图像是由摄像头拍摄的，当确定了实时人眼坐标信息后，可确定实时人眼坐标信息在以摄像头为原点的三维坐标系下对应的坐标信息，再根据摄像头与光机的相对位置关系，来确定实时人眼坐标信息在光机对应的三维虚拟场景中的实时位置信息。
将真实世界中的摄像头、人眼、光机、摄像头与人眼的关系，摄像头与光机的关系，都反映在三维虚拟场景中，如此，通过三维虚拟场景来模拟真实世界中的场景。在三维虚拟场景中，摄像头、光机分别对应虚拟摄像头、虚拟光机。其中，分别以不同的点来表示虚拟摄像头的实时位置信息、人眼(指的是虚拟人眼)的实时位置信息、虚拟光机的实时位置信息等。以三维虚拟场景中的虚拟摄像头为原点构成一个三维虚拟空间，以虚拟光机为原点的三维虚拟场景构成一个三维虚拟空间，人眼(指的是虚拟人眼)位于以虚拟摄像头为原点的三维虚拟空间中，通过矩阵变换可将实时人眼坐标信息转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
其中，光机对应的三维虚拟场景，指的是光机对应的虚拟光机所在的三维虚拟场景。实时位置信息是虚拟三维场景中的虚拟位置信息。其中，光机对应的三维虚拟场景，指的是光机对应的虚拟光机所在的三维虚拟场景。
步骤150，根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像。
其中，投影面指的是最终显示投影图像的面，目标对象关注的投影面指的是目标对象确定的最终显示投影图像的面，本公开实施例以投影面为墙面为例进行说明。需要说明的是，投影面指的是现实生活中的真实的墙面。
在一实施例中，如图6所示，步骤150可以具体包括以下步骤：
步骤151，在三维虚拟场景中生成与目标对象关注的投影面相同的虚拟投影面，虚拟投影面与三维虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变。
其中，在三维虚拟场景中生成与投影面相同的虚拟投影面的步骤具体包括：
首先获取人眼距离投影面的距离信息和投影面的尺寸信息，再根据该距离信息和尺寸信息在三维虚拟场景中生成与投影面相同的虚拟投影面。其中，可根据人眼在目标图像中的深度信息、摄像头与光机的相对位置关系、光机与投影面之间的距离确定人眼距离投影面的距离信息。
在一些情况下，在三维虚拟场景中生成的虚拟投影面是无穷大的，但仍需要该虚拟投影面与虚拟场景中的人眼、虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变。
步骤152，将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面。
步骤153，根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
其中，三维物体也指的是三维虚拟物体。动态位置信息可以理解为三维物体的坐标信息在动态变化，只要是在投影的过程中存在任意两帧中三维物体的至少一个点的位置坐标发生变化，即理解为位置信息在动态变化。需要注意的是，在投影显示的过程中，也会存在三维物体的坐标信息长时间保持不变的情况，但只要在整个投影显示的过程中存在任意两帧中的三维物体的至少一个点的位置坐标发生变化，该种情况也在本申请的保护范围之内。三维物体根据三维虚拟场景需展示的信息的不同而不同。如在天气预报的三维虚拟场景中，三维虚拟物体可包括天气所对应的白云、晚霞、雪、雨等物体；如在游戏的三维场景中，三维虚拟物体可包括游戏场景中的树木、房屋、人物、道具等。
在三维虚拟场景中生成虚拟投影面之后，将虚拟投影面作为视平面，并根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。其中，实时二维图像是在视平面上的图像，是三维虚拟场景中得到的虚拟的实时二维图像。
如图7所示，为三维虚拟场景中进行透视投影计算的示意图。其中，将人眼在三维虚拟场景中的实时位置信息作为视点A(x，y，z)，将虚拟投影面作为视平面p，将点N1(a，b，c)、N2(d，e，f)作为三维物体(三维虚拟球体)上的点，直线AN1与视平面p的交点为n1，则交点n1的坐标为(x_n1，y_n1)，直线AN2与视平面p的交点为n2，则交点n2的坐标为(x_n2，y_n2)。三维物体上的其他点按照同样的方式计算出与视平面p的交点，最后得到视平面上的实时二维图像。
若三维物体上的点与视平面p的同一交点存在多个，则只保留三维物体上距离视平面p的距离最近的点，与视平面p的交点，这由透视投影的原理确定。
其中，需要注意的是，三维虚拟场景中至少存在一个三维物体，进行实时透视投影运算后，才可以实现立体显示；如果三维虚拟场景中没有三维物体或者全部是二维物体的话，也实现不了立体显示的效果。
步骤160，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
其中，当三维物体很大时，所生成的实时二维图像也很大，而光机可以投影的投影区域却有限。因此，需要根据光机的投影区域来确定实时二维图像有效展示内容，以得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，所述处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据光机投影在投影面上的投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，上述根据光机投影在投影面上的投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括以下步骤：
首先确定光机与投影面的位置关系。
然后根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域。
最后根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，光机/投影设备中存在距离检测器，可通过距离检测器来检测光机与投影面的距离，根据检测得到的距离确定光机与投影面的位置关系。若光机保持不动，则光机与投影面的距离保持不变；若光机运动，则光机与投影面的距离也在变化。
其中，位置关系可通过投影面在光机所在的三维坐标系下对应的平面方程来表示，在其他实施例中，还可以通过其他方式来表示。具体地，如使用深度摄像头对对应的平面方程进行估计。利用该深度摄像头能测量的多个光点对投影面进行距离检测，根据该深度摄像头的摄像头参数(内部参数)，得出该多个光点的三维坐标。根据旋转矩阵和平移矩阵，将该多个光点的三维坐标转换到光机所在的三维坐标系中，然后对该多个光点进行最小二乘法计算以得到该多个光点所对应的拟合平面，如此，以得到投影面相当于光机的平面方程，将该平面方程确定为光机与投影面的位置关系。
或者可采用双目摄像头来确定光机与投影面的位置关系，具体地，在投影面上打出棋盘格，利用双目视觉计算每个光点的三维坐标，根据旋转矩阵和平移矩阵，将该多个光点的三维坐标转换到光机所在的三维坐标系中，然后对该多个光点进行最小二乘法计算以得到该多个光点所对应的拟合平面，如此，以得到投影面相当于光机的平面方程，将该平面方程确定为光机与投影面的位置关系。
确定了光机与投影面的位置关系之后，根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域。
在一实施例中，所述根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域的步骤，包括：根据距离确定光机投影在投影面上的投影尺寸；根据投影参数确定光机投影在投影面上的具体投影位置；将光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。其中，光机投影在投影面上的投影区域一般为长方形形状的区域，还可以为其他的形状的区域。
其中，投影参数包括光机的仰角等位置参数、投射比、投影长宽比等。以仰角为例，仰角越大，具体投影位置则处于投影面的越往上的地方，仰角越小，具体投影位置则处于投影面的较下的地方。
其中，所述根据距离确定光机投影在投影面上的投影尺寸的步骤，包括：获取光机的投影尺寸与距离的对应关系，根据对应关系和距离确定光机投影在投影面上的投影尺寸。
确定了投影尺寸和具体投影位置，将所确定的光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。
在一实施例中，所述根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据投影区域生成三维虚拟场景中的虚拟投影区域，其中，虚拟投影区域与投影区域保持一致；根据虚拟投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，将位于虚拟投影区域中的二维图像保留，保留下的二维图像即为实时二维图像有效展示内容，将位于虚拟投影区域之外的二维图像进行裁剪，最终得到包括实时二维图像有效展示内容的待显示投影图像。
由于人眼的实时位置信息会发生变化，从而使得计算出来的实时二维图像也会发生变化，对实时二维图像进行裁剪得到的待显示投影图像也会发生变化，如此，使得待显示投影图像根据人眼的实时位置信息的变化而变化，即使待显示投影图像根据人眼的视角的变化而变化，以实现逼真的立体显示效果。
若将投影面换成显示屏，那么在确定实时二维图像时，按照显示屏的大小进行透视投影，且直接将透视投影后的实时二维图像进行显示即可；无需对透视投影后得到的实时二维图像进行裁剪；同时，光机的投影区域是根据光机的投影参数(如仰角等位置参数；若光机的位置变化，位置参数也会发生变化)来确定的，因此，光机的投影区域可以变动，对应地，三维虚拟场景中的虚拟投影区域也可以变动，而显示屏所对应的显示区域无法变动。即通过显示屏来实现与本公开实施例中的通过投影设备来实现的实现原理并不相同。
步骤170，将待显示投影图像投影显示在投影面上。
将待显示投影图像投影显示在投影面上，具体地，显示在投影面对应的投影区域上。至此，待显示投影图像才真正显示出来，观看者可以在投影面的投影区域上看到该待显示投影图像。其中，待显示投影图像根据人眼的视角的变化而变化，实现逼真的立体显示效果。
上述方法实施例获取目标对象的实时人眼坐标信息；根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息，根据人眼在光机对应的三维虚拟场景中的实时位置信息，三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维虚拟场景中的三维物体进行透视投影，得到以投影面为视平面的实时二维图像，如此，得到的实时二维图像是根据人眼的实时位置信息确定的，当实时人眼坐标信息发生变化时，人眼在光机对应的三维虚拟场景中的实时位置信息也会发生变化，得到的实时二维图像也会随着人眼的实时位置信息(视角)的变化而发生变化；再处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，使得待显示投影图根据人眼的实时位置信息确定，即所确定的待显示投影图像随着人眼的视角变化而变化；最后将待显示投影图像投影显示在投影面上时，由于待显示投影图像随着人眼的视角变化而变化，因此，可实现逼真的立体显示效果。
图8为本公开实施例提供的另一投影显示方法的流程示意图，其应用于投影设备中，如图6所示，该投影显示方法包括以下步骤。
步骤201，实时获取摄像头采集的目标对象的图像。
在该实施例中，以采集目标对象的图像的摄像头为普通的2D摄像头为例进行说明。
步骤202，确定目标对象的人眼在图像中的实时人眼坐标信息。
人眼在图像中的实时人眼坐标信息包括人眼在图像中的二维坐标信息和深度信息。
在一实施例中，确定人眼在图像中的二维坐标信息和深度信息的步骤，包括：对图像进行人眼检测，以识别图像中的目标对象的人眼，得到人眼图像；根据人眼图像在图像中的位置关系，确定人眼图像中的人眼在图像中的二维坐标信息；利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在图像中的深度信息。
其中，对图像进行人眼检测，可通过神经网络模型、人眼检测、人眼识别等方法。实现人眼检测后，将人眼所在位置的图像作为人眼图像。
得到人眼图像后，根据人眼图像在目标对象的图像中的位置关系，确定人眼图像中的人眼在目标对象的图像中的二维坐标信息。其中，人眼图像可以是目标对象的图像中的一个矩形区域，对应有一个左上角坐标和右下角坐标，根据左上角坐标和右下角坐标来确定人眼在目标对象的图像中的二维坐标信息。例如，根据左上角坐标和右下角坐标确定人眼图像的中心坐标，将中心坐标作为人眼在目标对象的图像中的二维坐标信息。还可以将人眼图像对应的矩阵区域内的其他任意一个坐标作为人眼在目标对象的图像中的二维坐标信息。
得到人眼图像后，利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在目标对象的图像中的深度信息。其中，第一神经网络模型可以是上文中提到的残差网络模型和深度卷积神经网络模型等，如全卷积残差网络(Fully ConvolutionalResidualNetworks，FCRN)、深度卷积神经网络VGG-16等。
如此，得到人眼在图像中的二维坐标信息和深度信息。其中，该实施例中的摄像头采用普通的2D摄像头，降低了成本；且利用神经网络模型对人眼图像进行深度识别，提高确定人眼在目标对象的图像中的深度信息的准确性。
在一实施例中，当摄像头采集到的图像中检测不到人眼时，对应的，投影显示方法还包括：当在图像中未识别出人眼时，获取在图像之前采集的至少一张图像和至少一张图像中的人眼的二维坐标信息和深度信息；利用至少一张图像、至少一张图像中的人眼的二维坐标信息和深度信息对图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；将预测的二维坐标信息和深度信息作为人眼在图像中的实时人眼坐标信息。其中，对图像中的人眼的二维坐标信息和深度信息进行预测的方法可采用第二神经网络模型的方法，还可以采用其他的对实时位置信息进行预测的方法。
该方案可以解决在人眼识别/人眼检测失败或者目标对象扭头等情况下的投影显示，降低投影显示出现错误的概率。
在一实施例中，当摄像头采集到的图像中检测不到人眼时，对应的，投影显示方法还包括：将摄像头采集的图像(当前帧图像)的上一图像(上一帧图像)中确定出的实时人眼坐标信息作为图像(当前帧图像)所对应的实时人眼坐标信息。该方案中当摄像头采集到的图像中检测不到人眼时，直接将上一帧图像中确定的实时人眼坐标信息作为当前帧图像的实时人眼坐标信息，减少了计算量，实现简单方便，提高投影显示的效率。
步骤203，根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的实时坐标信息。
在真实场景中，以摄像头为原点构建一个三维坐标系，该三维坐标系的x轴和y轴构成的平面与投影面平行，z轴垂直于投影面。由于目标对象的图像是摄像头拍摄得到的，因此，可根据人眼在图像中的二维坐标信息和深度信息来确定人眼在摄像头所在的三维坐标系中的坐标信息。如将人眼在图像中的二维坐标信息转换为以摄像头为原点的二维坐标信息，将人眼在图像中的深度信息作为对应的深度信息。如此，根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的实时坐标信息。
步骤204，根据摄像头和光机的相对位置关系，将实时坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
在三维虚拟场景中，以虚拟摄像头为原点，构建一个三维虚拟空间；根据所确定的人眼在摄像头所在的三维坐标系中的坐标信息来确定人眼(指的是虚拟人眼)在三维虚拟空间中的坐标信息(虚拟坐标信息)；根据摄像头与光机的相对位置关系，确定三维虚拟场景中对应的虚拟摄像头与虚拟光机的相对位置关系，并构建一个以虚拟光机为原点的三维虚拟场景；通过矩阵变换将人眼(指的是虚拟人眼)在三维虚拟空间中的坐标信息(虚拟坐标信息)转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
即在三维虚拟场景中，以虚拟摄像头为原点构成一个三维虚拟空间，以虚拟光机为原点的三维虚拟场景构成一个三维虚拟空间，人眼位于以虚拟摄像头为原点的三维虚拟空间中，通过矩阵变换可将实时人眼坐标信息转换为以虚拟光机为原点的三维虚拟场景中的实时位置信息。
步骤205，在三维虚拟场景中生成与投影面相同的虚拟投影面。
该虚拟投影面与三维虚拟场景中的人眼、虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变。
步骤206，将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面，并根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
步骤207，根据光机投影在投影面上的投影区域，生成三维虚拟场景中的虚拟投影区域。
其中，虚拟投影区域与投影区域保持一致。
步骤208，根据虚拟投影区域，处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像。
步骤209，将待显示投影图像投影显示在投影面上对应的投影区域上。
其中，该实施例中未详细描述的部分请参看上文实施例中对应的步骤描述，在此不再赘述。
该实施例中通过摄像头采集目标对象的图像，并确定目标对象的人眼在图像中的实时人眼坐标信息，根据摄像头与光机的相对位置关系，将实时人眼坐标信息转换为光机对应的三维虚拟场景中的实时位置信息，如此，提高确定人眼在光机对应的三维虚拟场景中的实时位置信息的效率。另外，将真实场景中的人眼、摄像头、光机、投影面等映射到三维虚拟场景中，以对三维虚拟场景中的三维物体进行实时透视投影运算，并根据虚拟投影区域，处理实时二维图像，使得到包括实时二维图像有效展示内容的待显示投影图像可投影到投影面的投影区域上，无需进行其他的转换运算，提高投影显示的效率。
由于计算误差、采集的图像质量等问题导致计算出来的人眼的实时位置信息也会有所抖动，从而导致前后两帧投影显示的待显示投影图像的差别较大，给观看者一种画面发生跳跃的感觉，降低立体显示的效果，降低了用户体验。
为了解决上述计算存在误差而导致的降低立体显示效果的技术问题，在一实施例中，在获取目标图像的实时人眼坐标信息之后(或者在根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息的步骤之前)，所述投影显示方法，还包括：确定当前帧图像所对应的实时人眼坐标信息和上一帧图像所对应的实时人眼坐标信息所对应的距离差值；若距离差值大于预设距离差值，将上一帧图像所对应的实时人眼坐标信息作为当前帧图像所对应的实时人眼坐标信息；或者若距离差值大于预设距离差值，根据当前帧图像的至少前两帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息；若距离差值不大于预设距离差值，则保持当前帧图像所对应的实时人眼坐标信息不变。
其中，假设当前帧图像所对应的实时人眼坐标信息为m1(x1，y1，z1)，上一帧图像所对应的实时人眼坐标信息为m2(x2，y2，z2)，则距离差值m1m2的计算如公式(1)所示。
其中，还可以采用其他的距离计算方式来计算距离差值，如曼哈顿距离等。其中，预设距离差值可根据经验值进行设定，如设置为5等。
在计算出来的距离差值大于预设距离差值时，在一种方案中，可将上一帧图像所对应的实时人眼坐标信息，即m2，作为当前帧图像所对应的实时人眼坐标信息。如此，提高确定当前帧图像的实时人眼坐标信息的准确性，进而提高立体显示效果。可理解为当观看者在观看投影图像时，前后两帧图像中人眼视角几乎没有变化。
在计算出来的距离差值大于预设距离差值时，在另一种方案中，可根据当前帧图像的至少前两帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息。例如可计算当前帧图像的至少前两帧图像所对应的实时人眼坐标信息的平均距离差值，根据该平均距离差值和上一帧图像所对应的实时人眼坐标信息确定当前帧图像所对应的实时人眼坐标信息。具体地，将上一帧图像所对应的实时人眼坐标信息加上平均距离差值以得到当前帧图像所对应的实时人眼坐标信息。如此，可根据历史实时人眼坐标信息来确定当前帧图像所对应的实时人眼坐标信息，提高实时人眼坐标信息的准确性，进而提高立体显示效果。该种方案可理解为前后连续多帧中人眼视角变化的规律相同。例如可计算当前帧图像的至少前两帧图像所对应的实时人眼坐标信息的平均值，将该平均值作为当前帧图像所对应的实时人眼坐标信息，该种方案适用于实际人处于静止状态，而计算出来的人眼的实时位置信息存在抖动的情况(该种方案可进一步配合距离传感器等来进一步确定是否人处于静止状态)。
为了解决上述计算存在误差而导致的降低立体显示效果的技术问题，在一实施例中，在得到待显示投影图像之后，所述投影显示方法，还包括：将待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；将第一灰度图像和第二灰度图像进行相似度计算，以得到相似度值；若相似度值小于预设相似度值，则根据上一待显示投影图像和待显示投影图像确定最终的待显示投影图像。其中，预设相似度值根据具体相似度计算方式的不同确定为不同的值。
其中，将待显示投影图像和上一待显示投影图像分别进行灰度处理的原因是，降低色差对计算的相似度值的影响，同时只需要计算对应的灰度图像(一个通道的数据)进行相似度计算的相似度值，而无需计算对应图像RGB三个通道的数据进行相似度计算的相似度值，提高计算效率。将待显示投影图像和上一待显示投影图像分别进行灰度处理后，得到第一灰度图像和第二灰度图像。
接着将第一灰度图像和第二灰度图像进行相似度计算，其中，进行相似度计算的计算方式有多种。例如，直接计算第一灰度图像和第二灰度图像的像素灰度值的灰度差值，将该灰度差值作为相似度值；或者是采用基于特征点的相似度计算的方式来计算相似度值；还可以采用其他的方式来计算第一灰度图像和第二灰度图像的相似度值。
当相似度值不小于预设相似度值时，使用当前帧对应的待显示投影图像进行投影显示；当相似度值小于预设相似度值时，根据上一帧对应的待显示投影图像和当前帧对应的待显示投影图像确定最后的待显示投影图像，并投影显示。
其中，根据上一帧对应的待显示投影图像和当前帧对应的待显示投影图像确定最后的待显示投影图像的步骤，包括：根据上一帧的待显示投影图像对应的实时人眼坐标信息和当前帧的待显示投影图像对应的实时人眼坐标信息，确定当前帧的目标人眼实时位置信息；根据目标实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的目标实时位置信息；根据目标实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像；处理实时二维图像，得到包括实时二维图像有效展示内容的待显示投影图像，将该待显示投影图像作为当前帧最后的待显示投影图像。
该实施例将待显示投影图像和上一待显示投影图像分别进行灰度处理，再计算灰度处理得到的第一灰度图像和第二灰度图像的相似度值，根据相似度值来确定是否需要重新确定待显示投影图像。当相似度值小于预设相似度值，重新确定待显示投影图像，提高所确定的待显示投影图像的准确性，进而提高立体显示效果。
在一实施例中，在得到待显示投影图像之后，可调节待显示投影图像的显示效果，以提高用户体验。对应的，所述投影显示方法，还包括：检测是否开启了环境光检测功能；若是，检测环境光信息；根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
其中，可在投影设备中设置按钮，以开启/关闭环境光检测的功能。可在投影设备中安装光感应器，利用光感应器来检测环境光信息。检测环境光信息之后，根据环境光信息调整待显示投影图像的亮度；例如，当环境光较弱时，将待显示投影图像的亮度调低；当环境光较强时，将待显示投影图像的亮度调高，如此，得到调整后的待显示投影图像。如此，以提高投影显示的效果，提升用户体验。
在一实施例中，可通过移动终端将环境光信息发送至投影设备，以使得投影设备根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
在一实施例中，在得到待显示投影图像之后，还可对待显示投影图像进行重影检测、去重影等，以提高立体显示效果。在此不一一进行详细说明。
在一实施例中，可实现无边框观影。对应地，在根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像的步骤之后，还包括：识别实时二维图像中的主体区域和背景区域，判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域。
其中，识别实时二维图像中的主体区域，可采用前景检测的方法，也可以采用其他的方法来实现。可将主体区域之外的区域作为背景区域。
其中，通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：根据光机投影在投影面上的投影区域，通过降低亮度后的投影光源处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
投影设备在获取到需要进行投影的实时二维图像之后，进一步识别该实时二维图像是否满足预设的沉浸式投影条件。应当说明的是，此处对该沉浸式投影条件的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。
示例性地，可以根据实时二维图像的用途进行沉浸式投影条件的配置。
比如，可以配置沉浸式投影条件包括：实时二维图像包括天气可视化图像和/或装饰图像，且实时二维图像的背景区域为黑色背景等。
如上，在完成对实时二维图像是否满足沉浸式投影条件的识别之后，根据识别结果确定是否进行沉浸式投影，其中，若实时二维图像满足沉浸式投影条件，则对实时二维图像进行沉浸式投影，否则按照上述实施例的投影方式进行投影。
投影光源包括红色光源、绿色光源、第一蓝色光源以及第二蓝色光源。
在一实施例中，所述降低投影光源的亮度的步骤，包括：降低提供给所述红色光源、所述绿色光源、所述第一蓝色光源以及所述第二蓝色光源的驱动电流，以降低所述投影光源的亮度。
在一实施例中，所述降低投影光源的亮度的步骤，包括：降低所述绿色光源在单位时间内的使能时长，并对应增加所述红色光源、所述第一蓝色光源和所述第二蓝色光源中至少一者的使能时长，以降低所述投影光源的亮度。
在一实施例中，所述降低投影光源的亮度的步骤，包括：根据所述环境亮度以及预设的环境亮度和沉浸式投影条件下投影光源亮度的对应关系，将所述投影光源的亮度降低至对应所述环境亮度的投影光源亮度。
在一实施例中，所述投影设备还包括电致变色组件，所述方法还包括：确定所述电致变色组件中用于遮挡对应所述背景区域的投影光线的目标区域；将所述目标区域切换为着色状态，使得所述目标区域遮挡对应所述背景区域的投影光线。
在一实施例中，对应地，在根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维物体进行实时透视投影运算，以得到实时二维图像的步骤之后，还包括：识别实时二维图像中的主体区域和背景区域，判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，提高主体区域的对比度，降低主体区域的对比度，以实现隐藏所述主体区域之外的背景区域。其中，对比度的修改可通过修改主体区域或背景区域的RGB值来实现，或者通过其他方式来实现。
根据上述实施例所描述的方法，本实施例将从投影显示装置的角度进一步进行描述，该投影显示装置具体可以作为独立的实体来实现，也可以集成在投影设备中，该投影设备可以包括各种投影仪、激光电视、或者是带有投影功能的移动终端、PC端、机器人等。
请参阅图9，图9具体描述了本公开实施例提供的投影显示装置，应用于投影设备中，该投影显示装置可以包括：获取模块301、确定模块302、透视模块303、处理模块304以及投影模块305。其中：
获取模块301用于获取目标对象的实时人眼坐标信息。
其中，获取模块301具体用于实时获取摄像头采集的目标对象的图像，并确定目标对象的人眼在图像中的二维坐标信息和深度信息，将该二维坐标信息和深度信息确定为实时人眼坐标信息。
其中，获取模块301在执行确定目标对象的人眼在所述图像中的二维坐标信息和深度信息的步骤时，具体执行：对图像进行人眼检测，以识别图像中的目标对象的人眼，得到人眼图像；根据人眼图像在图像中的位置关系，确定人眼图像中的人眼在图像中的二维坐标信息；利用第一神经网络模型对人眼图像进行深度识别，以得到人眼在图像中的深度信息。
其中，获取模块301还用于当在图像中未识别出人眼时，获取在图像之前采集的至少一张图像和所述至少一张图像中的人眼的二维坐标信息和深度信息；利用至少一张图像、至少一张图像中的人眼的二维坐标信息和深度信息对图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；将预测的二维坐标信息和深度信息作为人眼在图像中的二维坐标信息和深度信息。
其中，获取模块301还用于将摄像头采集的图像(当前帧图像)的上一图像(上一帧图像)中确定出的实时人眼坐标信息作为图像(当前帧图像)所对应的实时人眼坐标信息。
确定模块302用于根据实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息。
其中，确定模块302具体用于根据摄像头与光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的实时位置信息。其中，确定模块302在执行根据摄像头与光机的相对位置关系以及实时人眼坐标信息，确定人眼在光机对应的三维虚拟场景中的位置信的步骤时，具体执行：根据实时人眼坐标信息确定人眼在摄像头所在的三维坐标系中的坐标信息；根据摄像头和光机的相对位置关系，将人眼的坐标信息转换为光机对应的三维虚拟场景中的实时位置信息。
透视模块303用于根据实时位置信息、三维虚拟场景中的三维物体的动态位置信息和目标对象关注的投影面，对三维虚拟场景中的三维物体进行实时透视投影运算，以得到实时二维图像。
其中，透视模块303具体用于在三维虚拟场景中生成与投影面相同的虚拟投影面，且该虚拟投影面与虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与人眼、摄像头、光机的相对位置关系保持不变；将人眼在三维虚拟场景中的实时位置信息作为视点，将虚拟投影面作为视平面；根据视点和视平面对三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
其中，透视模块303在执行在三维虚拟场景中生成与投影面相同的虚拟投影面的步骤时，具体执行：获取人眼距离投影面的距离信息和投影面的尺寸信息；根据该距离信息和尺寸信息在三维虚拟场景中生成与投影面相同的虚拟投影面。
处理模块304用于处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304具体用于根据光机投影在投影面上的投影区域，处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304在执行根据光机投影在投影面上的投影区域，处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤时，具体用于确定光机与投影面的位置关系；根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域；根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
其中，处理模块304在执行根据位置关系和光机的投影参数确定光机投影在投影面上的投影区域的步骤，包括：根据位置关系确定光机投影在投影面上的投影尺寸；根据投影参数确定光机投影在投影面上的具体投影位置；将光机投影在具体投影位置上的与投影尺寸相同的区域作为光机投影在投影面上的投影区域。
其中，处理模块304在执行根据投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像的步骤时，具体执行：根据投影区域生成三维虚拟场景中的虚拟投影区域，其中，虚拟投影区域与投影区域保持一致；根据虚拟投影区域对实时二维图像进行裁剪，以得到包括实时二维图像有效展示内容的待显示投影图像。
投影模块305用于将待显示投影图像投影显示在投影面上对应的投影区域上。
在一实施例中，如图10所示，所述投影显示装置还包括：灰度处理模块306。其中，灰度处理模块306用于在得到待显示投影图像的步骤之后，将待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；将第一灰度图像和所述第二灰度图像进行相似度计算，以得到相似度值；若相似度值小于预设相似度值，则根据上一待显示投影图像和待显示投影图像确定最终的待显示投影图像。
在一实施例中，如图10所示，所述投影显示装置还包括：检测模块307。其中，检测模块307用于检测是否开启了环境光检测功能；若是，检测环境光信息；根据环境光信息调整待显示投影图像的亮度，以得到调整后的待显示投影图像。
在一实施例中，所述投影显示装置还包括：调整模块，其中，调整模块，用于识别实时二维图像中的主体区域和背景区域，并判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度。所述处理模块304还用于通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域。进一步地，所述处理模块304，具体用于根据光机投影在投影面上的投影区域，通过降低亮度后的投影光源处理实时二维图像，以得到包括实时二维图像有效展示内容的待显示投影图像。
在一实施例中，所述调整模块，还用于识别实时二维图像中的主体区域和背景区域，并判断实时二维图像是否满足预设的沉浸式投影条件；在实时二维图像满足预设的沉浸式投影条件时，提高主体区域的对比度，降低背景区域的对比度。
具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。
另外，本公开实施例还提供一种投影设备，该投影设备可以是投影仪、激光电视、或者是带有投影功能的移动终端、PC端、机器人等。如图11所示，投影设备10包括处理器401、存储器402、光机11和摄像头12。其中，处理器401与存储器402电性连接，光机11分别与处理器401、存储器402连接，摄像头12分别与处理器401、存储器402连接，摄像头12采集的数据保存在存储器402中，光机11与摄像头12连接。
处理器401是投影设备10的控制中心，利用各种接口和线路连接整个投影设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行投影设备的各种功能和处理数据，从而对投影设备进行整体监控。摄像头12用于采集图像。光机11集成显示核心、光源、镜头光路、散热等功能。
在本实施例中，投影设备10中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现上述实施例提供的投影显示方法的任一步骤和功能，包括：
获取目标对象的实时人眼坐标信息；根据所述实时人眼坐标信息确定人眼在光机对应的三维虚拟场景中的实时位置信息；根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；将所述待显示投影图像投影显示在所述投影面上。
在一些实施例中，投影设备10还可以包括输入模块、显示模块、至少一种传感器(深度传感器、光传感器等)、音频电路、传输模块、电源等中的至少一个部件；投影设备10还可以包括本公开实施例中未提到的更多的部件。
该投影设备可以实现本公开实施例所提供的投影显示方法任一实施例中的步骤，因此，可以实现本公开实施例所提供的任一投影显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本公开实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本公开实施例所提供的投影显示方法中任一实施例的步骤。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本公开实施例所提供的投影显示方法任一实施例中的步骤，因此，可以实现本公开实施例所提供的任投影显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本公开实施例所提供的一种投影显示方法、装置、计算机可读存储介质和投影设备进行了详细介绍，本文中应用了具体个例对本公开实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开实施例的方法及其核心思想；同时，对于本领域的技术人员，依据本公开实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开实施例的限制。
Claims (12)
1.一种投影显示方法，其特征在于，应用于投影设备，所述投影设备包括摄像头及光机，所述投影显示方法包括：
通过摄像头实时获取目标对象的图像；
确定所述目标对象的人眼在所述图像中的二维坐标信息和深度信息，根据所述二维坐标信息和所述深度信息确定实时人眼坐标信息；
根据所述摄像头与所述光机的相对位置关系，确定从所述摄像头所对应的第一三维坐标系到所述光机所对应的第二三维坐标系的旋转矩阵和平移矩阵；
根据实时人眼坐标信息在所述第一三维坐标系下的第一坐标信息、所述旋转矩阵和所述平移矩阵，来确定实时人眼坐标信息在所述第二三维坐标系下的第二坐标信息，并将所述第二坐标信息映射到所述光机对应的三维虚拟场景中，以得到实时位置信息；
根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，得到实时二维图像；
处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
将所述待显示投影图像投影显示在所述投影面上。
2.根据权利要求1所述的投影显示方法，其特征在于，所述根据所述摄像头与所述光机的相对位置关系、摄像头参数和光机参数，确定从所述摄像头所对应的第一三维坐标系到所述光机所对应的第二三维坐标系的旋转矩阵和平移矩阵的步骤，包括：
通过所述摄像头拍摄标定板获得标定板图像，所述标定板所在的平面与投影面平行；
根据所述摄像头参数和所述光机参数，分别确定所述摄像头所对应的第一三维坐标系和所述光机所对应的第二三维坐标系；
根据所述标定板和所述摄像头的位置关系，以及所述标定板和所述光机的位置关系，确定从所述第一三维坐标系到所述第二三维坐标系的平移矩阵；
根据所述标定板图像上特征点在所述第一三维坐标系下的坐标信息，确定从所述第一三维坐标系到所述第二三维坐标系的旋转矩阵。
3.根据权利要求1所述的投影显示方法，其特征在于，所述根据所述摄像头与所述光机的相对位置关系、摄像头参数和光机参数，确定从所述摄像头所对应的第一三维坐标系到所述光机所对应的第二三维坐标系的旋转矩阵和平移矩阵步骤之后，还包括：
获取所述投影面上经过梯形校正后的投影图像顶点的二维坐标信息；
根据所述投影图像顶点的二维坐标信息，及所述光机与所述投影面的距离，获得所述投影面在所述光机对应的三维坐标系下的位置信息。
4.根据权利要求1所述的投影显示方法，其特征在于，所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：
确定所述光机与所述投影面的位置关系；
根据所述位置关系和所述光机的投影参数，确定光机投影在投影面上的投影区域；
根据所述投影区域对所述实时二维图像进行裁剪，以得到包括所述实时二维图像有效展示内容的待显示投影图像。
5.根据权利要求1所述的投影显示方法，其特征在于，所述根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，得到实时二维图像的步骤，包括：
在所述三维虚拟场景中生成与所述目标对象关注的投影面相同的虚拟投影面，所述虚拟投影面与所述三维虚拟场景中的虚拟摄像头、虚拟光机的相对位置关系与真实场景中投影面与所述人眼、所述摄像头、所述光机的相对位置关系保持不变；
将所述人眼在所述三维虚拟场景中的实时位置信息作为视点，将所述虚拟投影面作为视平面；
根据所述视点和所述视平面对所述三维虚拟场景中的三维物体的动态位置信息进行实时透视投影运算，以得到实时二维图像。
6.根据权利要求5所述的投影显示方法，其特征在于，所述在所述三维虚拟场景中生成与所述目标对象关注的投影面相同的虚拟投影面的步骤，包括：
获取人眼距离所述投影面的距离信息和所述投影面的尺寸信息；
根据所述距离信息和所述尺寸信息在所述三维虚拟场景中生成与所述投影面相同的虚拟投影面。
7.根据权利要求1至6任一项所述的投影显示方法，其特征在于，还包括：
当在所述图像中未识别出人眼时，获取在所述图像之前采集的至少一张图像和所述至少一张图像中的人眼的二维坐标信息和深度信息；
根据所述至少一张图像、所述至少一张图像中的人眼的二维坐标信息和深度信息对所述图像中的人眼的二维坐标信息和深度信息进行预测，以得到预测的二维坐标信息和深度信息；
将预测的二维坐标信息和深度信息作为人眼在所述图像中的二维坐标信息和深度信息。
8.根据权利要求1所述的投影显示方法，其特征在于，在所述得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤之后，所述投影显示方法还包括：
将所述待显示投影图像和上一待显示投影图像分别进行灰度处理，以得到第一灰度图像和第二灰度图像；
将所述第一灰度图像和所述第二灰度图像进行相似度计算，以得到相似度值；
若所述相似度值小于预设相似度值，则根据所述上一待显示投影图像和所述待显示投影图像确定最终的待显示投影图像。
9.根据权利要求1所述的投影显示方法，其特征在于，在所述得到实时二维图像的步骤之后，还包括：
识别所述实时二维图像中的主体区域和背景区域，并判断所述实时二维图像是否满足预设的沉浸式投影条件；
在所述实时二维图像满足预设的沉浸式投影条件时，降低投影光源的亮度；
所述处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像的步骤，包括：通过降低亮度后的投影光源处理所述实时二维图像，以得到无边框的包括所述实时二维图像有效展示内容的待显示投影图像，以实现隐藏所述主体区域之外的背景区域；
或者在所述实时二维图像满足预设的沉浸式投影条件时，提高所述主体区域的对比度，降低所述背景区域的对比度。
10.一种投影显示装置，其特征在于，应用于投影设备，所述投影设备包括摄像头及光机，所述投影显示装置包括：
获取模块，用于实时获取摄像头采集的目标对象的图像，并确定目标对象的人眼在所述图像中的二维坐标信息和深度信息，根据所述二维坐标信息和深度信息确定实时人眼坐标信息；
确定模块，用于根据所述摄像头与所述光机的相对位置关系，确定从所述摄像头所对应的第一三维坐标系到所述光机所对应的第二三维坐标系的旋转矩阵和平移矩阵；并根据实时人眼坐标信息在所述第一三维坐标下对应的第一坐标信息、所述旋转矩阵和所述平移矩阵，来确定实时人眼坐标信息在所述第二三维坐标系下对应的第二坐标信息，并将所述第二坐标信息映射到所述光机对应的三维虚拟场景中，以得到实时位置信息；
透视模块，用于根据所述实时位置信息、所述三维虚拟场景中的三维物体的动态位置信息和所述目标对象关注的投影面，对所述三维物体进行实时透视投影运算，以得到实时二维图像；
处理模块，用于处理所述实时二维图像，得到包括所述实时二维图像有效展示内容的待显示投影图像；
投影模块，用于将所述待显示投影图像投影显示在所述投影面上。
11.一种投影设备，其特征在于，包括处理器、存储器、光机和摄像头，所述处理器与所述存储器电性连接，所述光机分别与所述处理器、所述存储器连接，所述摄像头分别与所述处理器和所述存储器连接，所述摄像头采集的数据保存在所述存储器中，所述光机与所述摄像头连接，所述存储器上存储有应用程序，所述处理器运行所述应用程序以实现权利要求1至9任一项所述的投影显示方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至9任一项所述的投影显示方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280123.5A CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
| CN2021102801235 | 2021-03-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339194A true CN114339194A (zh) | 2022-04-12 |
| CN114339194B CN114339194B (zh) | 2023-12-08 |
Family
ID=75399496
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280123.5A Pending CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
| CN202111552430.0A Active CN114339194B (zh) | 2021-03-16 | 2021-12-17 | 投影显示方法、装置、投影设备及计算机可读存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280123.5A Pending CN112672139A (zh) | 2021-03-16 | 2021-03-16 | 投影显示方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112672139A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782901A (zh) * | 2022-06-21 | 2022-07-22 | 深圳市禾讯数字创意有限公司 | 基于视觉变动分析的沙盘投影方法、装置、设备及介质 |
| CN115934020A (zh) * | 2023-01-05 | 2023-04-07 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
| CN116723303A (zh) * | 2023-08-11 | 2023-09-08 | 腾讯科技（深圳）有限公司 | 画面投影方法、装置、设备及存储介质 |
| CN117934783A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市其域创新科技有限公司 | 增强现实投影方法、装置、ar眼镜及存储介质 |
| CN118158371A (zh) * | 2024-04-16 | 2024-06-07 | 深圳市星易美科技有限公司 | 一种基于ai的投影方法、系统、设备及存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612978B (zh) * | 2021-07-01 | 2024-06-25 | 江西科骏实业有限公司 | 几何失真校正方法、装置、系统与计算机可读存储介质 |
| CN115965672A (zh) * | 2021-10-09 | 2023-04-14 | 北京字节跳动网络技术有限公司 | 三维物体的显示方法、装置、设备及介质 |
| CN114327346B (zh) * | 2021-12-27 | 2023-09-29 | 北京百度网讯科技有限公司 | 显示方法、显示装置、电子设备以及存储介质 |
| CN114463167A (zh) * | 2022-02-10 | 2022-05-10 | 北京市商汤科技开发有限公司 | 模型展示方法、装置、电子设备及存储介质 |
| CN116433476B (zh) * | 2023-06-09 | 2023-09-08 | 有方（合肥）医疗科技有限公司 | Ct图像处理方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005275789A (ja) * | 2004-03-24 | 2005-10-06 | Japan Science & Technology Agency | 三次元構造抽出方法 |
| US20090309878A1 (en) * | 2008-06-11 | 2009-12-17 | Sony Corporation | Image processing apparatus and image processing method |
| WO2013111119A1 (en) * | 2012-01-27 | 2013-08-01 | Saar Wilf | Simulating interaction with a three-dimensional environment |
| CA2873479A1 (en) * | 2014-12-04 | 2016-06-04 | John Paul Duffy | Simulated 3d projection apparatus |
| EP3067866A1 (en) * | 2013-11-05 | 2016-09-14 | Shenzhen Cloud Cube Informationtech Co., Ltd. | Method and device for converting virtual view into stereoscopic view |
| JP2017068697A (ja) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | 投影制御装置、及びプログラム |
| CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
| US20180329485A1 (en) * | 2017-05-09 | 2018-11-15 | Lytro, Inc. | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
| CN109615703A (zh) * | 2018-09-28 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 增强现实的图像展示方法、装置及设备 |
| CN109688392A (zh) * | 2018-12-26 | 2019-04-26 | 联创汽车电子有限公司 | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 |
| CN110062216A (zh) * | 2019-04-18 | 2019-07-26 | 北京森焱精创科技有限公司 | 实景交互方法、系统、计算机设备和存储介质 |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
| US20200368616A1 (en) * | 2017-06-09 | 2020-11-26 | Dean Lindsay DELAMONT | Mixed reality gaming system |
| US20200413029A1 (en) * | 2019-06-25 | 2020-12-31 | National Taiwan Normal University | System for projecting naked-eye 3d image from selected 2d image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017108703A1 (en) * | 2015-12-24 | 2017-06-29 | Unilever Plc | Augmented mirror |
| CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技（深圳）有限公司 | 一种智能投影方法、系统及智能终端 |
| CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
-
2021
- 2021-03-16 CN CN202110280123.5A patent/CN112672139A/zh active Pending
- 2021-12-17 CN CN202111552430.0A patent/CN114339194B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005275789A (ja) * | 2004-03-24 | 2005-10-06 | Japan Science & Technology Agency | 三次元構造抽出方法 |
| US20090309878A1 (en) * | 2008-06-11 | 2009-12-17 | Sony Corporation | Image processing apparatus and image processing method |
| WO2013111119A1 (en) * | 2012-01-27 | 2013-08-01 | Saar Wilf | Simulating interaction with a three-dimensional environment |
| EP3067866A1 (en) * | 2013-11-05 | 2016-09-14 | Shenzhen Cloud Cube Informationtech Co., Ltd. | Method and device for converting virtual view into stereoscopic view |
| CA2873479A1 (en) * | 2014-12-04 | 2016-06-04 | John Paul Duffy | Simulated 3d projection apparatus |
| JP2017068697A (ja) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | 投影制御装置、及びプログラム |
| CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
| US20180329485A1 (en) * | 2017-05-09 | 2018-11-15 | Lytro, Inc. | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
| US20200368616A1 (en) * | 2017-06-09 | 2020-11-26 | Dean Lindsay DELAMONT | Mixed reality gaming system |
| CN109615703A (zh) * | 2018-09-28 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 增强现实的图像展示方法、装置及设备 |
| CN109688392A (zh) * | 2018-12-26 | 2019-04-26 | 联创汽车电子有限公司 | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 |
| CN110062216A (zh) * | 2019-04-18 | 2019-07-26 | 北京森焱精创科技有限公司 | 实景交互方法、系统、计算机设备和存储介质 |
| US20200413029A1 (en) * | 2019-06-25 | 2020-12-31 | National Taiwan Normal University | System for projecting naked-eye 3d image from selected 2d image |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 尹苓琳;陈益强;黄美玉;纪雯;: "虚拟视角自适应的视线矫正方法", 计算机辅助设计与图形学学报, no. 12 * |
| 王彧: ""三维模型感兴趣点提取方法研究"", 《硕士电子期刊出版》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782901A (zh) * | 2022-06-21 | 2022-07-22 | 深圳市禾讯数字创意有限公司 | 基于视觉变动分析的沙盘投影方法、装置、设备及介质 |
| CN115934020A (zh) * | 2023-01-05 | 2023-04-07 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
| CN116723303A (zh) * | 2023-08-11 | 2023-09-08 | 腾讯科技（深圳）有限公司 | 画面投影方法、装置、设备及存储介质 |
| CN116723303B (zh) * | 2023-08-11 | 2023-12-05 | 腾讯科技（深圳）有限公司 | 画面投影方法、装置、设备及存储介质 |
| CN117934783A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市其域创新科技有限公司 | 增强现实投影方法、装置、ar眼镜及存储介质 |
| CN117934783B (zh) * | 2024-03-22 | 2024-05-28 | 深圳市其域创新科技有限公司 | 增强现实投影方法、装置、ar眼镜及存储介质 |
| CN118158371A (zh) * | 2024-04-16 | 2024-06-07 | 深圳市星易美科技有限公司 | 一种基于ai的投影方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112672139A (zh) | 2021-04-16 |
| CN114339194B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114339194B (zh) | 投影显示方法、装置、投影设备及计算机可读存储介质 | |
| US10474227B2 (en) | Generation of virtual reality with 6 degrees of freedom from limited viewer data | |
| CN110111262B (zh) | 一种投影仪投影畸变校正方法、装置和投影仪 | |
| US11050994B2 (en) | Virtual reality parallax correction | |
| JP7007348B2 (ja) | 画像処理装置 | |
| US9746319B2 (en) | Generation of depth data based on spatial light pattern | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| EP3163535A1 (en) | Wide-area image acquisition method and device | |
| EP1638345A1 (en) | Method for calculating display characteristic correction data, program for calculating display characteristic correction data, and device for calculating display characteristic correction data | |
| US20090244267A1 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
| US20200177868A1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
| US11380063B2 (en) | Three-dimensional distortion display method, terminal device, and storage medium | |
| US20230316810A1 (en) | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems | |
| CN106919246A (zh) | 一种应用界面的显示方法和装置 | |
| WO2020014126A1 (en) | Autostereoscopic display with viewer tracking | |
| EP3616399B1 (en) | Apparatus and method for processing a depth map | |
| US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
| KR101690256B1 (ko) | 영상 처리 방법 및 장치 | |
| CN114296676A (zh) | 一种显示控制方法、装置及电子设备 | |
| KR102675906B1 (ko) | Hud 고스트 이미지 측정 방법 및 장치 | |
| CN118250451A (zh) | 一种支持多视点观测的连续视场角立体视觉显示方法 | |
| JP2015125494A (ja) | 画像生成方法、画像生成装置及び画像生成プログラム | |
| US20160292841A1 (en) | Image processing device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |