CN112929651A - 一种显示方法、装置、电子设备及存储介质 - Google Patents

一种显示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112929651A
CN112929651A CN202110097367.XA CN202110097367A CN112929651A CN 112929651 A CN112929651 A CN 112929651A CN 202110097367 A CN202110097367 A CN 202110097367A CN 112929651 A CN112929651 A CN 112929651A
Authority
CN
China
Prior art keywords
target
determining
position information
perspective projection
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110097367.XA
Other languages
English (en)
Inventor
沈冰夏
徐云岫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110097367.XA priority Critical patent/CN112929651A/zh
Publication of CN112929651A publication Critical patent/CN112929651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请提供的一种显示方法、装置、电子设备及存储介质,包括:获取人体的目标部位的第一位置信息;基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。

Description

一种显示方法、装置、电子设备及存储介质
技术领域
本申请涉及图像显示技术领域,特别地涉及一种显示方法、装置、电子设备及存储介质。
背景技术
目前有几种方法可以生成立体视觉图像,一类主要的方法是使用头戴式显示器靠近眼睛来产生图像,这类设备可以产生更逼真的显示效果,并且具有良好的图像分辨率,但该设备体积庞大,限制用户的活动,带来很大的不便,同时这类设备会完全遮挡视线,人眼无法接收现实世界的光线;另一种方法是通过透明的光学表面来显示图像,这样可以产生很好的悬浮投影效果,例如“全息”风扇,以及使用投影膜等透光度较高的介质来显示半透明图像,3D电影院中使用的立体视觉技术也利用了这样一个原理。然而,它们的图像仍然于一个不会随观测位置变化的平面,显示的画面本质与普通显示器并无区别,既不能展示其他观测方向的画面也没有双目视觉立体效果。
发明内容
针对上述问题,本申请提供一种显示方法、装置、设备及存储介质。
本申请提供了一种显示方法,包括:
获取人体的目标部位的第一位置信息;
基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;
基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;
根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;
输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
在一些实施例中,所述基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像,包括:
基于所述观测位置信息和所述三维立体对象的中心点的第二位置信息,确定视角角度值;
确定所述观测位置信息和近裁剪面之间的第一距离信息;
确定所述观测位置信息和远裁剪面之间的第二距离信息;
基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像。
在一些实施例中,所述基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像,包括:
所述基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定透视投影矩阵的第一目标值;
基于所述第一目标值确定所述三维立体对象进行透视投影的第三位置信息;
基于所述第三位置信息确定所述透视投影图像。
在一些实施例中,所述基于所述第一距离信息、第二距离信息、所述显示比例和所述视角角度值确定透视投影矩阵的第一目标值,包括:
获取预先建立的透视投影矩阵;
将所述所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,确定所述透视投影矩阵的第一目标值。
在一些实施例中,所述根据所述显示比例对所述透视投影图像进行透视变换得到目标图像,包括:
基于所述显示比例确定透视变换的变换范围信息;
基于所述变换范围信息确定透视变换矩阵的第二目标值;
基于所述第二目标值确定所述透视投影图像进行透视变换的第四位置信息;
基于所述第四位置信息确定所述目标图像。
在一些实施例中,所述目标部位包括:左眼和右眼,目标图像包括:所述左眼对应的目标图像、所述右眼对应的目标图像,当所述目标对象包括三维立体眼镜时,所述输出所述目标图像至目标对象,包括:
将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;
将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼。
在一些实施例中,当所述目标对象包括显示设备时,所述输出所述目标图像至目标对象,包括:
将所述左眼对应的目标图像和所述右眼对应的目标图像输出至所述显示设备上,以在所述显示设备上显示所述左眼对应的目标图像和所述右眼对应的目标图像。
本申请实施例提供一种显示装置,包括:
获取模块,用于获取人体的目标部位的第一位置信息;
第一确定模块,用于基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;
透视投影模块,用于基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;
透视变换模块,用于根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;
输出模块,用于输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,执行上述任意一项所述的显示方法。
本申请实施例提供一种存储介质,该存储介质存储的计算机程序,可被一个或多个处理器执行,可用来实现上述任一项所述的显示方法。
本申请提供的一种显示方法、装置、电子设备及存储介质,通过获取人体的目标部位(如人脸)的第一位置信息,基于第一位置信息来确定三维立体场景中的三维立体对象的透视投影图像,基于透视投影图像进行显示,使得当人体的位置发生改变时,显示的画面也能够发生改变,实现一种“视错觉”的立体效果,能够获得较为良好的视觉体验。
附图说明
在下文中将基于实施例并参考附图来对本申请进行更详细的描述。
图1为本申请实施例提供的一种显示方法的实现流程示意图;
图2为本申请实施例提供的一种确定透视投影图的实现流程示意图;
图3为本申请实施例提供的一种透视原理示意图;
图4为本申请实施例提供的一种确定目标图像的流程示意图;
图5为本申请实施例提供的一种显示装置的结构示意图;
图6为本申请实施例提供的电子设备的组成结构示意图。
在附图中,相同的部件使用相同的附图标记,附图并未按照实际的比例绘制。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例提供一种显示方法,所述方法应用于电子设备。本申请实施例提供的显示方法所实现的功能可以通过电子设备的处理器调用程序代码来实现,其中,程序代码可以保存在计算机存储介质中。本申请实施例提供一种显示方法,图1为本申请实施例提供的一种显示方法的实现流程示意图,如图1所示,包括:
步骤S101,获取人体的目标部位的第一位置信息。
本申请实施例中,电子设备可以连接位置检测设备,通过位置检测设备检测人体的目标部位的第一位置信息,从而使得电子设备获取到第一位置信息,所述目标部位可以人体的头部、左眼、右眼、鼻子、脸部等,当目标部位为左眼、右眼中的一个或多个时时,可以通过双目视觉相机检测第一位置信息,当所述目标部位是头部、左眼、右眼、鼻子、脸部中的一个或多个时,可以通过头部跟踪设备进行第一位置信息的检测。本申请实施例中,可以将距离较近的多个目标部位作为一个检测对象。所述第一位置信息可以用空间位置坐标表示。
本申请实施例中,目标部位可以包括一个或多个,每个目标部位对应的第一位置可以不同。
步骤S102,基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息。
本申请实施例中,三维立体场景是预先建立的,该三维立体场景包括三维立体对象,三维立体场景可以基于3D引擎来进行构建,该三维立体场景可以是用于医学、设计、机械等教育教学的场景,零售购物商品展示场景,建筑地形沙盘设计展示场景,和虚拟文化旅游展示场景。本申请实施例中,可以将第一位置信息转换为三维立体场景中的观测位置信息,该观测位置信息对应的位置作为进行透视投影的观测视点。可以将第一位置信息对应的空间位置坐标转换为3D引擎中的空间位置坐标。
步骤S103,基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像。
本申请实施例中,预设的显示比例可以是根据要输出的目标对象确定的。例如,预设的显示比例可以是16:9、4:3等。本申请实施例中,通过对三维立体空间中的三维立体对象进行透视投影,得到透视投影图像,该透视投影图像为二维图像。
本申请实施例中,基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像可以通过以下方式实现:基于所述观测位置信息和所述三维立体对象的中心点的第二位置信息,确定视角角度值;确定所述观测位置信息和近裁剪面之间的第一距离信息;确定所述观测位置信息和远裁剪面之间的第二距离信息;基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像。基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定透视投影矩阵的第一目标值;基于所述第一目标值确定所述三维立体对象进行透视投影的第三位置信息;基于所述第三位置信息确定所述透视投影图像。
本申请实施例中,所述基于所述第一距离信息、第二距离信息、所述显示比例和所述视角角度值确定透视投影矩阵的第一目标值,包括:获取预先建立的透视投影矩阵;将所述所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,确定所述透视投影矩阵的第一目标值。
本申请实施例中,当目标部位为多个时,且每个目标部位对应的第一位置不同时,得到透视投影图像可以不相同,即每个目标部位对应的透视投影图像可以不同。
步骤S104,根据所述显示比例对所述透视投影图像进行透视变换得到目标图像。
本申请实施例中,通过透视变换可以将透视投影图像进行空间转换,以得到目标图像,该目标图像可以较好地匹配目标对象。
本申请实施例中,所述根据所述显示比例对所述透视投影图像进行透视变换得到目标图像可以通过以下步骤实现:基于所述显示比例确定透视变换的变换范围信息;基于所述变换范围信息确定透视变换矩阵的第二目标值;基于所述第二目标值确定所述透视投影图像进行透视变换的第四位置信息;基于所述第四位置信息确定所述目标图像。
步骤S105,输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
本申请实施例中,所述目标对象可以包括墙面、桌面等投影平面,也可以包括显示设备、三维立体眼镜等。
本申请实施例中,当所述目标对象包括墙面、桌面等投影平面时,所述输出所述目标图像至目标对象可以是电子设备将目标图像投影在墙面、桌面等投影平面上。当目标对象为显示设备或三维立体眼镜时,可以将目标图像输出给显示设备、三维立体眼镜。
本申请实施例中,所述目标部位包括:左眼和右眼,目标图像包括:所述左眼对应的目标图像、所述右眼对应的目标图像,当所述目标对象包括三维立体眼镜时,所述输出所述目标图像至目标对象,包括:将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼,可以通过三维立体眼镜实现双目视觉效果。
本申请实施例中,当所述目标对象包括显示设备时,所述输出所述目标图像至目标对象,包括:将所述左眼对应的目标图像和所述右眼对应的目标图像输出至所述显示设备上,以在所述显示设备上显示所述左眼对应的目标图像和所述右眼对应的目标图像。此时显示设备将左眼对应的目标图像和所述右眼对应的目标图像进行叠加,例如使用偏振光和双镜头投影仪显示叠加图像,此时用户可以使用被动式偏振光3D眼镜来将叠加的两个画面进行分离,实现双目视觉效果。或使用高频频闪平面显示器和主动快门式3D眼镜获取双目视觉图像,主动快门式3D眼镜通过与显示器的闪烁频率进行同步,来实现高频频闪的左右眼图像的分离效果,实现双目立体视觉效果的生成。
本申请提供的一种显示方法通过获取人体的目标部位的第一位置信息,基于第一位置信息来确定三维立体场景中的三维立体对象的透视投影图像,基于透视投影图像进行显示,使得当人体的位置发生改变时,显示的画面也能够发生改变,实现一种“视错觉”的立体效果,能够获得较为良好的视觉体验。
在一些实施例中,步骤S103“所述基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像”,可以通过以下步骤实现,图2为本申请实施例提供的一种确定透视投影图的实现流程示意图,如图2所示,包括:
步骤S1,基于所述观测位置信息和所述三维立体对象的中心点的第二位置信息,确定视角角度值。
本申请实施例中,可以基于观测位置信息对应的空间位置坐标和三维立体对象中心点对应空间位置坐标来确定视角角度值,视角角度值用cotθ表示。
步骤S2,确定所述观测位置信息和近裁剪面之间的第一距离信息;
本申请实施例中,在进行透视投影时可以预先设定近裁剪面和远裁剪面,第一距离信息用n表示。
步骤S3,确定所述观测位置信息和远裁剪面之间的第二距离信息。
本申请实施例中,所述第二距离用f表示。
步骤S4,基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像。
本申请实施例中,步骤S4可以通过以下步骤实现:
步骤S41,获取预先建立的透视投影矩阵。
本申请还是来中,可以基于透视投影原理预先建立透视投影矩阵,示例性地,透视投影矩阵公式参见公式(1):
Figure BDA0002914813810000081
步骤S42,将所述所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,确定所述透视投影矩阵的第一目标值。
本申请实施例中,显示比例用Aspect表示,将所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,即可以求得第一目标值,该第一目标值即为M的值。
步骤S43,基于所述第一目标值确定所述三维立体对象进行透视投影的第三位置信息;
本申请实施例中,可以将三维立体场景中的三维立体对象的坐标乘以该第一目标值,然后确定透视投影的第三位置信息对应的空间坐标。
步骤S44,基于所述第三位置信息确定所述透视投影图像。
本申请实施例中,电子设备可以基于第三位置信息对三维立体对象的各个部分进行透视投影,进而得到透视投影图像,该透视投影图像投影在三维立体场景中的投影面上。
本申请实施例之前,还需要建立透视投影矩阵,建立透视投影矩阵的可以通过以下步骤实现,图3为本申请实施例提供的一种透视原理示意图,如图3所示,O点可以认为是观测视点,近裁剪面与O点的距离为n,远裁剪面与O点的距离为f。三维立体对象变换前的坐标为P(x,y,z),而经过透视投影缩放变换后的坐标为p″(x″,y″,z″)。假设所求的透视投影矩阵为M,那么本方法可以定义PM=P”,即参见公式(2):
Figure BDA0002914813810000091
同时,本方法将透视投影的变换的各类参数的设定继续参见图3所示,P为待求坐标,P’为变换后的坐标。
由图3可知,OP’Q和OPQ为相似三角形。所以可以推导出以下等式参见公式(3):
Figure BDA0002914813810000092
Figure BDA0002914813810000093
Figure BDA0002914813810000094
同理可以得到:
Figure BDA0002914813810000095
这样就得到了P’的坐标,参见公式(4):
Figure BDA0002914813810000096
紧接着,要将P’进行缩放,假设所要被投射的平面的高度为H,假设平面的原高度为i,由此可得:
Figure BDA0002914813810000097
因为
Figure BDA0002914813810000098
所以
Figure BDA0002914813810000099
本方法设投影平面的纵横比(即显示比例)为Aspect,由此可以得到公式(5):
Figure BDA00029148138100000910
经过透视投影所输出的最终图像为二维图像。但仅有x,y的坐标转化并不可以满足全部需求。因为z轴并不能完全抛弃,需要知道距离最近的z轴坐标并保留它,因为这是从观测点出发,向深度方向所观测得到的第一个点。这个点必须应当保留。但在本算法的矩阵运算中,z轴的值的范围必须在[0,1]的区间之内,所以要将z轴的坐标进行映射。设定:
Figure BDA0002914813810000101
其中a和b为临时变量。在映射之前,z的范围范围为[n,f]。n和f分别为转换前和转换后两个平面的z轴坐标范围。即n为O点到近裁剪面距离,f为点到远裁剪面的距离,而在映射的操作之后,本方法设定z轴的范围为[0,1]的区间以内,可以设定:
Figure BDA0002914813810000102
求解得到:
Figure BDA0002914813810000103
整理可得参见公式(6):
Figure BDA0002914813810000104
这样就得到了P”的具体坐标。将此坐标带入回最开始的矩阵乘法中,并将他们与Pz进行乘法运算。这样可以消去Pz。最终得到下式参见公式(7):
Figure BDA0002914813810000105
而Px,Py,Pz等同于x,y,z。从而得到公式(1)。
在一些实施例中,步骤S104“所述根据所述显示比例对所述透视投影图像进行透视变换得到目标图像”可以通过以下步骤实现,图4为本申请实施例提供的一种确定目标图像的流程示意图,如图4所示,包括:
步骤S1041,基于所述显示比例确定透视变换的变换范围信息。
本申请实施例中,可以基于显示比例,来确定4个坐标值,该4个坐标值为二维坐标值,通过该4个坐标值来确定变换范围信息。
步骤S1042,基于所述变换范围信息确定透视变换矩阵的第二目标值。
本申请实施例中,可以件变换范围信息输入至透视变换矩阵中进而求得第二目标值。变换矩阵如公式(8)所示,
Figure BDA0002914813810000111
通过该公式可以求得a12至a32的值,该值即为第二目标值。
步骤S1043,基于所述第二目标值确定所述透视投影图像进行透视变换的第四位置信息。
本申请实施例中,可以将第二目标值乘以透视投影图像的坐标值,进而求得第四位置信息对应的坐标值,参见公式(9):
Figure BDA0002914813810000112
步骤S1044,基于所述第四位置信息确定所述目标图像。
在一些实施例中,在步骤S1042之前,所述方法还包括预先建立透视变换矩阵,建立透视变换矩阵可以通过以下方法实现:
透视变换同样需要定义一个变换矩阵将原坐标变换为目标坐标。其中[x,y,1]为原坐标,[X,Y,Z]为变换后的坐标,建立变换矩阵公式继续参见公式(9)。由于图像在二维平面,深度方向的Z坐标设定为1即可,将[X,Y,Z]坐标除Z可得公式(10):
Figure BDA0002914813810000113
a33可以约去,令a33=1,展开上面的所有公式,可以得到公式(11):
Figure BDA0002914813810000114
在透视变换的算法应用前,本要输入四个坐标定义透视变换的范围,四个二维坐标值可以提供一共8个点。这样本方法可以得到一共8个方程。变换式为公式(12):
Figure BDA0002914813810000121
对这个方程进行求解,求解出所有的变换矩阵的值,通过该公式可以求得a12至a32的值即可得到整个变换矩阵。
在一些实施例中,所述目标部位包括:左眼和右眼,目标图像包括:所述左眼对应的目标图像、所述右眼对应的目标图像,当所述目标对象包括三维立体眼镜时,步骤S105“所述输出所述目标图像至目标对象”,包括:
步骤S21,将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;
步骤S22,将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼。
本申请实施例提供的方法,通过将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼,可以产生不同的双目画面,进而产生双目立体视觉效果。
在一些实施例中,当所述目标对象包括显示设备时,所述输出所述目标图像至目标对象,包括:
将所述左眼对应的目标图像和所述右眼对应的目标图像输出至所述显示设备上,以在所述显示设备上显示所述右眼对应的目标图像和所述右眼对应的目标图像。此时显示设备将左眼对应的目标图像和所述右眼对应的目标图像进行叠加,例如使用偏振光和双镜头投影仪显示叠加图像,此时用户可以使用被动式偏振光3D眼镜来将叠加的两个画面进行分离,实现双目视觉效果。或使用高频频闪平面显示器和主动快门式3D眼镜获取双目视觉图像,主动快门式3D眼镜通过与显示器的闪烁频率进行同步,来实现高频频闪的左右眼图像的分离效果,实现双目立体视觉效果的生成。
本申请实施例提供的方法,用计算机视觉、计算机图形学、人眼视觉原理、VR和AR等学科,使用透视变换、透视投影和双目立体视觉等方法,使用价格较为低廉的平面显示设备在平面上生成具有3D视觉效果的画面,模拟人眼对真实物体的视觉感知,同时配合3D引擎和手势识别等实现画面的动态效果、物理效果和各类交互操作效果。能够具体的用于3D物体的可视化并与现实世界进行结合。由于它成本低廉,相比于VR不需要使用笨重的头戴设备,设备硬件结构较为简单,并且可以将虚拟画面和现实世界的物体相结合和交互,适合用于医学、设计、机械等教育教学,零售购物商品展示,建筑地形沙盘设计展示,和虚拟文化旅游等领域。由于该方法可以同时观察现实和虚拟场景,同时可以有多样化的交互方式,该方法不局限于内容展示,也可以用于具有高自由度的交互领域,例如增强现实和桌面虚拟游戏等场合。
本申请实施例提供的方法,使用透视投影对3D引擎(同上述实施例中的三维立体场景)中的画面进行处理,使用人脸检测方法获取人脸观测位置,并根据此位置产生对应的透视投影图像。同时,基于输出的显示范围的长宽比例,在3D引擎中设置一个长宽比例相同的平面,将透视投影的图像进行空间变换,此平面即为目标平面。该方法可以用于各类平面,例如桌面、墙面和手机、平板电脑等。同时也可以用于多平面混合的场景,例如使用多个投影机在墙角头影或使用多个投影机在垂直90度的桌面和墙面同时投影。本发明通过动态跟踪并获取观测者的头部运动获得令人信服的3D错觉。
本申请实施例中,可以基于3D眼镜和3D平面显示设备的实时双目立体视觉图像的获取;在3D引擎中获取左眼和右眼的透视投影画面,使用计算机视觉配合深度摄像机或头部跟踪设备等实时获取人脸的位置,同时使用透视变换的方法利用人眼的动态视差在平面上产生立体视错觉的图像,同时使用三维立体眼镜例如偏振光3D眼镜或快门式3D眼镜将左眼和右眼的画面分配给左眼和右眼,实现基于双目视觉的立体效果。
基于前述的实施例,本申请实施例提供一种显示装置,该装置包括的各模块、以及各模块包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU,Central Processing Unit)、微处理器(MPU,Microprocessor Unit)、数字信号处理器(DSP,Digital SignalProcessing)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等。
本申请实施例提供一种显示装置,图5为本申请实施例提供的一种显示装置的结构示意图,如图5所示,显示装置500包括:
获取模块501,用于获取人体的目标部位的第一位置信息;
第一确定模块502,用于基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;
透视投影模块503,用于基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;
透视变换模块504,用于根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;
输出模块505,用于输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
在一些实施例中,透视投影模块503,包括:
第一确定单元,用于基于所述观测位置信息和所述三维立体对象的中心点的第二位置信息,确定视角角度值;
第二确定单元,用于确定所述观测位置信息和近裁剪面之间的第一距离信息;
第三确定单元,用于确定所述观测位置信息和远裁剪面之间的第二距离信息;
第四确定单元,用于基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像。
在一些实施例中,第四确定单元,包括:
第一确定子单元,用于所述基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定透视投影矩阵的第一目标值;
第二确定子单元,用于基于所述第一目标值确定所述三维立体对象进行透视投影的第三位置信息;
第三确定子单元,用于基于所述第三位置信息确定所述透视投影图像。
第一确定子单元,用于获取预先建立的透视投影矩阵,将所述所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,确定所述透视投影矩阵的第一目标值。
在一些实施例中,透视变换模块504,包括:
第五确定单元,用于基于所述显示比例确定透视变换的变换范围信息;
第六确定单元,用于基于所述变换范围信息确定透视变换矩阵的第二目标值;
第七确定单元,用于基于所述第二目标值确定所述透视投影图像进行透视变换的第四位置信息;
第八确定单元,用于基于所述第四位置信息确定所述目标图像。
在一些实施例中,所述目标部位包括:左眼和右眼,目标图像包括:所述左眼对应的目标图像、所述右眼对应的目标图像,当所述目标对象包括三维立体眼镜时,输出模块505包括:
第一输出单元,用于将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;
第二输出单元,用于将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼。
在一些实施例中,当所述目标对象包括显示设备时输出模块505,包括:
第三输出单元,用于将所述左眼对应的目标图像和所述右眼对应的目标图像输出至所述显示设备上,以在所述显示设备上显示所述右眼对应的目标图像和所述右眼对应的目标图像。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的显示方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例提供一种存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述实施例中提供的显示方法中的步骤。
本申请实施例提供一种电子设备;图6为本申请实施例提供的电子设备的组成结构示意图,如图6所示,所述电子设备600包括:一个处理器601、至少一个通信总线602、用户接口603、至少一个外部通信接口604、存储器605。其中,通信总线602配置为实现这些组件之间的连接通信。其中,用户接口603可以包括显示屏,外部通信接口604可以包括标准的有线接口和无线接口。所述处理器601配置为执行存储器中存储的显示方法的程序,以实现以上述实施例提供的显示方法中的步骤。
以上显示设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种显示方法,其特征在于,包括:
获取人体的目标部位的第一位置信息;
基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;
基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;
根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;
输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像,包括:
基于所述观测位置信息和所述三维立体对象的中心点的第二位置信息,确定视角角度值;
确定所述观测位置信息和近裁剪面之间的第一距离信息;
确定所述观测位置信息和远裁剪面之间的第二距离信息;
基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定所述述三维立体场景中的三维立体对象的透视投影图像,包括:
基于所述第一距离信息、所述第二距离信息、所述显示比例和所述视角角度确定透视投影矩阵的第一目标值;
基于所述第一目标值确定所述三维立体对象进行透视投影的第三位置信息;
基于所述第三位置信息确定所述透视投影图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一距离信息、第二距离信息、所述显示比例和所述视角角度值确定透视投影矩阵的第一目标值,包括:
获取预先建立的透视投影矩阵;
将所述所述第一距离信息、第二距离信息、所述预设的显示比例和所述视角角度值输入至所述透视投影矩阵中,确定所述透视投影矩阵的第一目标值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述显示比例对所述透视投影图像进行透视变换得到目标图像,包括:
基于所述显示比例确定透视变换的变换范围信息;
基于所述变换范围信息确定透视变换矩阵的第二目标值;
基于所述第二目标值确定所述透视投影图像进行透视变换的第四位置信息;
基于所述第四位置信息确定所述目标图像。
6.根据权利要求1所述的方法,其特征在于,所述目标部位包括:左眼和右眼,目标图像包括:所述左眼对应的目标图像、所述右眼对应的目标图像,当所述目标对象包括三维立体眼镜时,所述输出所述目标图像至目标对象,包括:
将所述左眼对应的目标图像输出至所述三维立体眼镜的左眼;
将所述右眼对应的目标图像输出至所述三维立体眼镜的右眼。
7.根据权利要求6所述的方法,其特征在于,当所述目标对象包括显示设备时,所述输出所述目标图像至目标对象,包括:
将所述左眼对应的目标图像和所述右眼对应的目标图像输出至所述显示设备上,以在所述显示设备上显示所述左眼对应的目标图像和所述右眼对应的目标图像。
8.一种显示装置,其特征在于,包括:
获取模块,用于获取人体的目标部位的第一位置信息;
第一确定模块,用于基于所述第一位置信息确定在三维立体场景中观测视点的观测位置信息;
透视投影模块,用于基于所述观测位置信息和预设的显示比例确定所述三维立体场景中的三维立体对象的透视投影图像;
透视变换模块,用于根据所述显示比例对所述透视投影图像进行透视变换得到目标图像;
输出模块,用于输出所述目标图像至目标对象,以使所述目标对象显示所述目标图像。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有计算机程序,该计算机程序被所述处理器执行时,执行如权利要求1至7任意一项所述的显示方法。
10.一种存储介质,其特征在于,该存储介质存储的计算机程序,能够被一个或多个处理器执行,能够用来实现如权利要求1至7中任一项所述的显示方法。
CN202110097367.XA 2021-01-25 2021-01-25 一种显示方法、装置、电子设备及存储介质 Pending CN112929651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110097367.XA CN112929651A (zh) 2021-01-25 2021-01-25 一种显示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110097367.XA CN112929651A (zh) 2021-01-25 2021-01-25 一种显示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112929651A true CN112929651A (zh) 2021-06-08

Family

ID=76167086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097367.XA Pending CN112929651A (zh) 2021-01-25 2021-01-25 一种显示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112929651A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538578A (zh) * 2021-06-22 2021-10-22 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
CN113568700A (zh) * 2021-09-22 2021-10-29 卡莱特云科技股份有限公司 显示画面调整方法、装置、计算机设备和存储介质
CN114327346A (zh) * 2021-12-27 2022-04-12 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质
CN114782901A (zh) * 2022-06-21 2022-07-22 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538578A (zh) * 2021-06-22 2021-10-22 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
CN113538578B (zh) * 2021-06-22 2023-07-25 恒睿(重庆)人工智能技术研究院有限公司 目标定位方法、装置、计算机设备和存储介质
CN113568700A (zh) * 2021-09-22 2021-10-29 卡莱特云科技股份有限公司 显示画面调整方法、装置、计算机设备和存储介质
CN114327346A (zh) * 2021-12-27 2022-04-12 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质
CN114327346B (zh) * 2021-12-27 2023-09-29 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质
CN114782901A (zh) * 2022-06-21 2022-07-22 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质
CN114782901B (zh) * 2022-06-21 2022-09-09 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112929651A (zh) 一种显示方法、装置、电子设备及存储介质
US10506223B2 (en) Method, apparatus, and device for realizing virtual stereoscopic scene
US7796134B2 (en) Multi-plane horizontal perspective display
US11010958B2 (en) Method and system for generating an image of a subject in a scene
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US9292962B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
JP6352426B2 (ja) ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
US7907167B2 (en) Three dimensional horizontal perspective workstation
US20120162384A1 (en) Three-Dimensional Collaboration
US20060126927A1 (en) Horizontal perspective representation
CN110554770A (zh) 静态遮挡物
US20060221071A1 (en) Horizontal perspective display
US20060250390A1 (en) Horizontal perspective display
KR20140121529A (ko) 광 필드 영상을 생성하는 방법 및 장치
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN109949396A (zh) 一种渲染方法、装置、设备和介质
GB2574487A (en) Method and system for providing at least a portion of content having six degrees of freedom motion
Mori et al. An overview of augmented visualization: observing the real world as desired
JP2001222723A (ja) 立体視画像の生成方法及び同装置
Radkowski et al. Enhanced natural visual perception for augmented reality-workstations by simulation of perspective
Kasahara Headlight: egocentric visual augmentation by wearable wide projector
Yu et al. Projective Bisector Mirror (PBM): Concept and Rationale
Grubert et al. mpCubee: Towards a mobile perspective cubic display using mobile phones
JP2019197368A (ja) 立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラム
US10964056B1 (en) Dense-based object tracking using multiple reference images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination