CN104023221B - 立体图像视差调节方法和装置 - Google Patents

立体图像视差调节方法和装置 Download PDF

Info

Publication number
CN104023221B
CN104023221B CN201410284749.3A CN201410284749A CN104023221B CN 104023221 B CN104023221 B CN 104023221B CN 201410284749 A CN201410284749 A CN 201410284749A CN 104023221 B CN104023221 B CN 104023221B
Authority
CN
China
Prior art keywords
parallax
depth value
value
camera
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410284749.3A
Other languages
English (en)
Other versions
CN104023221A (zh
Inventor
李高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Original Assignee
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Perfect Optics Ltd filed Critical Shenzhen Super Perfect Optics Ltd
Priority to CN201410284749.3A priority Critical patent/CN104023221B/zh
Publication of CN104023221A publication Critical patent/CN104023221A/zh
Priority to US14/747,293 priority patent/US9875547B2/en
Application granted granted Critical
Publication of CN104023221B publication Critical patent/CN104023221B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种立体图像视差调节方法和立体图像视差调节装置,立体图像视差调节方法包括:真实观看空间与取景空间在深度范围上建立映射关系,其中,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时为立体拍摄相机的实拍场景空间。通过该技术方案,可以使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。

Description

立体图像视差调节方法和装置
技术领域
本发明涉及图像显示技术领域,具体而言,涉及到一种立体图像视差调节方法和立体图像视差调节装置。
背景技术
立体显示设备通过播放取景后的具有视差的左右图像为观众呈现立体视觉效果。人眼接收到左、右图像后,大脑对场景中某点在左图和右图成像的视差值的大小是敏感的,并要求其取值应在一定范围内。简单地说,左、右图像整体上视差较小或接近于零时将使观看者看到的立体图像在纵向上过于压缩或看不到立体;当左、右图像在较大区域上视差较大时会造成图像过于凸出或凹进,并且在纵向上有严重的拉伸,令观看者不适,甚至于不能形成立体视觉效果。
因此,如何使得视差值限制在一个合理的范围内,从而得到良好的视觉效果,成为目前亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的一个目的在于提出了一种立体图像视差调节方法。
本发明的另一个目的在于提出了一种立体图像视差调节装置。
为实现上述目的,根据本发明的第一方面的实施例,提出了一种立体图像视差调节方法,包括:真实观看空间与取景空间在深度范围上建立映射关系,其中,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时为立体拍摄相机的实拍场景空间。
在该技术方案中,真实观看空间是指观看者通过立体播放设备观看立体图像时人和立体播放设备所处的真实的三维空间,并特别的指定立体播放窗口中心位置为真实空间坐标原点。
在上述技术方案中,优选地,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设,具体包括:第一计算步骤,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;第二计算步骤,保持所述比值或所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染。
在该技术方案中,当相机在一空间场景移动时场景中物体与相机之间的位置关系将发生变化,如果零视差平面设置在近投影平面以外时,则某一物体逐渐靠近相机投影平面时正视差将会显著增大,从而造成用户观看不适,为解决此问题,本发明预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
在该技术方案中,左相机、右相机由原始相机分别向两侧水平移动形成。左相机的相机位置由原始相机的位置沿原始相机侧向量负方向平移sep/2个单位求得,右相机的相机位置由原始相机的位置沿原始相机侧向量正方向平移sep/2个单位求得。左右相机的其它参数与原始相机的参数相同。其中,与相机相关的参数包括:相机位置、相机的观察方向V、相机的向上向量UP、相机的侧向量N等。
在上述技术方案中,优选地,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述立体图像的预期的最大凸出距离和最大凹进距离。
在上述技术方案中,优选地,所述第一计算步骤具体包括:根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,在所述第一预设公式计算中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;根据所述立体播放窗口上的正视差值和所述负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,在所述第二预设公式计算中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
其中,第一预设公式为:其中,D为所述观看者与立体图像对应的立体播放窗口的距离,e为所述观看者的双眼间距,CS为所述预期的最大凸出距离,BS为预期的最大凹进距离,w1为所述立体播放窗口上的正视差值,w2为所述立体播放窗口上的负视差值,第二预设公式为:其中,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,Tw为所述立体播放窗口的宽度,其中,Vw1,Vw2对应于CS和BS。
在该技术方案中,具体地,根据预设的观看环境参数计算出视平面上的正视差值和负视差值,及另根据预设的正视差面深度值和预设的负视差面深度值,这样,使得三维空间中正负视差面之间的物体被渲染后能够满足观看效果上对最大凸出和最大凹进的要求。换言之,最大正视差面和最大负视差面制定了场景中的一个深度范围,通过算法,在这个深度范围内的物体渲染后的凸出和凹进的效果将被约束在初始的最大凸出和最大凹进的限定范围内。
在上述技术方案中,优选地,所述第一计算步骤还包括:根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述零视差平面深度值与所述分离值的比值所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:其中,ratio为所述分离值与所述零视差平面深度值的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的坐标原点的距离;根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为:其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;根据所述比值和所述分离值以第五预设公式计算出所述零视差平面深度值,其中,所述第五预设公式为:其中,ratio为所述比值,sep为所述分离值,con为所述零视差平面深度值。
在上述技术方案中,优选地,所述第二计算步骤还包括:根据物体分类对当前场景中的所有物体进行过滤;将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
当物体过于靠近近投影平面时,会产生过大的视差,采用固定比例算法调整正视差面深度后将导致零视差平面深度值con趋近于near,使得景物凸出效果仅在一个很小量级内的物体才有正视差,在该技术方案中,设置了实际近取景平面,并将实际近取景平面和相机的近投影平面之间的物体剔除。这样避免了自适应调整后con过于靠近near。此步骤处理只是针对欲保证对虚拟场景中物体取景在距相机一个不过于小的距离上能够产生凸出屏幕效果的一个约束手段。
在上述技术方案中,优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算步骤还包括:将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据所述第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值其中,所述第四预设公式为:
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z
其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;所述第五预设公式为:其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
在该技术方案中,若原始相机为虚拟相机,当有物体靠近相机时,可以保持分离值和零视差平面深度值之间的比值不变,从而根据距离相机最近的物体的深度值,重新计算出分离值和零视差平面深度值,此时,使用重新计算出的分离值和零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景,这样,保持比值不变,立体图像在纵横比就不会有变化,从而立体效果就不会改变,提升用户的观看使用体验。
在上述技术方案中,优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算步骤还包括:将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式,计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用分离值和零视差平面深度值进行场景渲染。
在该技术方案中,若原始相机为虚拟相机,则还可以采用另一种方法重新计算分离值和零视差平面深度值,即保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。其中,当离相机最近物体的深度值大于预设的正视差面深度值时,为了保证良好的立体效果,直接使用初始计算出的分离值和零视差平面深度值得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。
在上述技术方案中,优选地,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算步骤还包括:根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机。
其中,第七预设公式为:ψ=0.5*ratio,其中,ψ为所述转角,ratio为所述比值。
在该技术方案中,若原始相机为双目相机,保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到新的比值,利用该比值,可以计算得到左相机、右相机与原始相机Z轴之间的转角,从而根据该转角确定相机的放置方式,从而生成舒适、合理的立体图像。
在上述技术方案中,优选地,在所述第二计算步骤之前还包括:将所述比值和预设的比值限值进行比较,在所述比值小于所述预设的比值限值时,允许进入所述第二计算步骤,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
在该技术方案中,如果通过预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数计算出的左相机和右相机之间的分离值和零视差平面深度值的比值比预设的比值限值大,此时,说明预设的值不符合要求,提示用户重新设置。
根据本发明的另一方面,还提供了一种立体图像视差调节装置,包括:
关系建立单元,建立真实观看空间与取景空间在深度范围上的映射关系,其中,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时即为立体拍摄相机的实拍场景空间。
在该技术方案中,真实观看空间是指观看者通过立体播放设备观看立体图像时人和立体播放设备所处的真实的三维空间,并特别的指定立体播放窗口中心位置为真实空间坐标原点。
在上述技术方案中,优选地,还包括:第一计算单元,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;第二计算单元,保持所述比值或所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染。
在该技术方案中,当相机在一空间场景移动时场景中物体与相机之间的位置关系将发生变化,如果零视差平面设置在近投影平面以外时,则某一物体逐渐靠近相机投影平面时正视差将会显著增大,从而造成用户观看不适,为解决此问题,本发明预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
在该技术方案中,左相机、右相机由原始相机分别向两侧水平移动形成。左相机的相机位置由原始相机的位置沿原始相机侧向量负方向平移sep/2个单位求得,右相机的相机位置由原始相机的位置沿原始相机侧向量正方向平移sep/2个单位求得。左右相机的其它参数与原始相机的参数相同。其中,与相机相关的参数包括:相机位置、相机的观察方向V、相机的向上向量UP、相机的侧向量N等。
在上述技术方案中,优选地,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述立体图像的预期的最大凸出距离和最大凹进距离。
在上述技术方案中,优选地,所述第一计算单元包括:第一视差值计算单元,根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,在所述第一预设公式计算中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;第二视差值计算单元,根据所述立体播放窗口上的正视差值和所述负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,在所述第二预设公式计算中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
其中,第一预设公式为:D为所述观看者与立体图像对应的立体播放窗口的距离,e为所述观看者的双眼间距,CS为所述预期的最大凸出距离,BS为所预期的最大凹进距离,w1为所述立体播放窗口上的正视差值,w2为所述立体播放窗口上的负视差值;第二预设公式为:其中,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,Tw为所述立体播放窗口的宽度。Vw1正比于CS,Vw2正比于BS。
在该技术方案中,具体地,根据预设的观看环境参数计算出视平面上的正视差值和负视差值,及另根据预设的正视差面深度值和预设的负视差面深度值,这样,使得三维空间中正负视差面之间的物体被渲染后能够满足观看效果上对最大凸出和最大凹进的要求。换言之,最大正视差面和最大负视差面制定了场景中的一个深度范围,通过算法,在这个深度范围内的物体渲染后的凸出和凹进的效果将被约束在初始的最大凸出和最大凹进的限定范围内。
在上述技术方案中,优选地,所述第一计算单元还包括:比值计算单元,根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:其中,ratio为所述分离值与所述零视差平面深度值的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的坐标原点的距离;深度值计算单元,根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为:其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;深度值计算单元,根据所述比值和所述分离值以第五预设公式计算出所述零视差平面深度值,其中,所述第五预设公式为:其中,ratio为所述比值,sep为所述分离值,con为所述零视差平面深度值。
在上述技术方案中,优选地,所述第二计算单元还包括:分类单元,根据物体分类对当前场景中的所有物体进行过滤;物体剔除单元,将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;物体深度值计算单元,确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
当物体过于靠近近投影平面时,会产生过大的视差,采用固定比例算法调整正视差面深度后将导致零视差平面深度值con趋近于near,使得景物凸出效果仅在一个很小量级内的物体才有正视差,在该技术方案中,设置了实际近取景平面,并将实际近取景平面和相机的近投影平面之间的物体剔除。这样避免了自适应调整后con过于靠近near。此步骤处理只是针对欲保证对虚拟场景中物体取景在距相机一个不过于小的距离上能够产生凸出屏幕效果的一个约束手段。
在上述技术方案中,优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元还包括:比较单元,将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据所述第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的零视差平面深度值和新的分离值。
在该技术方案中,若原始相机为虚拟相机,当有物体靠近相机时,可以保持分离值和零视差平面深度值之间的比值不变,从而根据距离相机最近的物体的深度值,重新计算出零视差平面深度值和分离值,此时,使用重新计算出的零视差平面深度值和分离值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景,这样,保持比值不变,立体图像在纵横比就不会有变化,从而立体效果就不会改变,提升用户的观看使用体验。
在上述技术方案中,优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元还包括:比较单元,将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式,计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用所述分离值和所述零视差平面深度值进行场景渲染。
其中,第六预设公式为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)。
在该技术方案中,若原始相机为虚拟相机,则还可以采用另一种方法重新计算分离值和零视差平面深度值,即保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。其中,当离相机最近物体的深度值大于预设的正视差面深度值时,为了保证良好的立体效果,直接使用初始计算出的分离值和零视差平面深度值得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。
在上述技术方案中,优选地,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算单元还包括:转角计算单元,根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机。
其中,第七预设公式为:ψ=0.5*ratio,其中,ψ为所述转角,ratio为所述比值。
在该技术方案中,若原始相机为双目相机,保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到新的比值,利用该比值,可以计算得到左相机、右相机与原始相机Z轴之间的转角,从而根据该转角确定相机的放置方式,从而生成舒适、合理的立体图像。
在上述技术方案中,优选地,还包括:提示单元,将所述比值和预设的比值限值进行比较,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
在该技术方案中,如果通过预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数计算出的左相机和右相机之间的分离值和零视差平面深度值的比值比预设的比值限值大,此时,说明预设的值不符合要求,提示用户重新设置。
通过以上技术方案,预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1A和图1B示出了根据本发明的实施例的立体图像视差调节方法的示意流程图;
图2示出了根据本发明的实施例的立体图像视差调节装置的示意框图;
图3A至图3H示出了根据本发明的实施例的立体图像视差调节方法的原理示意图;
图4示出了根据本发明的一个实施例的立体图像视差调节装置的结构示意图;
图5示出了根据本发明的一个实施例的预设初值模块对应的流程示意图用于实现立体交互方法的功能模块的结构示意图;
图6示出了根据本发明的实施例的计算模块对应的流程示意图;
图7示出了根据本发明的实施例的物体剔除的原理示意图;
图8示出了根据本发明的实施例的固定比率计算模块对应的流程示意图;
图9示出了根据本发明的实施例的调整sep计算模块对应的流程示意图;
图10示出了根据本发明的另一个实施例的立体图像视差调节装置的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。
图1A和图1B示出了根据本发明的实施例的立体图像视差调节方法的示意流程图。
如图1A所示,根据本发明的一个实施例的立体图像视差调节方法,包括:步骤10,真实观看空间与取景空间在深度范围上建立映射关系,其中,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时为立体拍摄相机的实拍场景空间。本发明实施例使得视差值限制在一个合理的范围内,从而得到良好的视觉效果
在该技术方案中,真实观看空间是指观看者通过立体播放设备观看立体图像时人和立体播放设备所处的真实的三维空间,并特别的指定立体播放窗口中心位置为真实空间坐标原点。
如图1B所示,在上述技术方案中,优选地,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设,具体包括:步骤102,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;步骤104,保持所述比值或所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染。
在该技术方案中,当相机在一空间场景移动时场景中物体与相机之间的位置关系将发生变化,如果零视差平面设置在近投影平面以外时,则某一物体逐渐靠近相机投影平面时正视差将会显著增大,从而造成用户观看不适,为解决此问题,本发明预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
在该技术方案中,左相机、右相机由原始相机分别向两侧水平移动形成。左相机的相机位置由原始相机的位置沿原始相机侧向量负方向平移sep/2个单位求得,右相机的相机位置由原始相机的位置沿原始相机侧向量正方向平移sep/2个单位求得。左右相机的其它参数与原始相机的参数相同。其中,与相机相关的参数包括:相机位置、相机的观察方向V、相机的向上向量UP、相机的侧向量N等。
其中,上述出现的视差,分离值及零视差平面深度值的具体定义如下:
视差:场景中某点被左右放置的两个相机取景后,在左右图像上的位置差为视差。我们仅考虑水平视差的情况,场景中点P在左右图上的像分别为Lx、Rx,令视差值=Lx-Rx。视差值大于零叫正视差,小于零叫负视差,等于零为零视差。
分离值:定义为真实或虚拟场景中取景时左右相机的侧向距离,取值为一维,记为sep。
零视差平面深度值(又称汇聚平面距离):是指场景中在左右相机上投影后视差值为零的切面距相机的距离,记为con。
在上述技术方案中,优选地,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述预期的立体图像的最大凸出距离和最大凹进距离。
在上述技术方案中,优选地,所述步骤102具体包括:根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;根据所述立体播放窗口上的正视差值和所述负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
其中,第一预设公式为:其中,D为所述观看者与立体图像对应的立体播放窗口的距离,e为所述观看者的双眼间距,CS为所述预期的最大凸出距离,BS为预期的最大凹进距离,w1为所述立体播放窗口上的正视差值,w2为所述立体播放窗口上的负视差值,第二预设公式为:其中,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,Tw为所述立体播放窗口的宽度。
在该技术方案中,具体地,根据预设的观看环境参数计算出视平面上的真实空间位置的最大凸出对应的正视差值和真实空间位置的最大凹进对应的负视差值,及另根据预设的正视差面深度值和预设的负视差面深度值,这样,使得三维空间中正负视差面之间的物体被渲染后能够满足观看效果上对最大凸出和最大凹进的要求。换言之,最大正视差面和最大负视差面制定了场景中的一个深度范围,通过算法,在这个深度范围内的物体渲染后的凸出和凹进的效果将被约束在初始的最大凸出和最大凹进的限定范围内。
在上述技术方案中,优选地,所述步骤102还包括:根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:其中,ratio为所述分离值与所述零视差平面深度值的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的坐标原点的距离;根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为: c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z , 其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;根据所述比值和所述分离值以第五预设公式计算出所述零视差平面深度值,其中,所述第五预设公式为:其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
在上述技术方案中,优选地,步骤104还包括:根据物体分类对当前场景中的所有物体进行过滤;将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
当物体过于靠近近投影平面时,会产生过大的视差,采用固定比例算法调整正视差面深度后将导致零视差平面深度值con趋近于near,使得景物凸出效果仅在一个很小量级内的物体才有正视差,在该技术方案中,设置了实际近取景平面,并将实际近取景平面和相机的近投影平面之间的物体剔除。这样避免了自适应调整后con过于靠近near。此步骤处理只是针对欲保证对虚拟场景中物体取景在距相机一个不过于小的距离上能够产生凸出屏幕效果的一个约束手段。
在上述技术方案中,优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,步骤104还包括:将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据所述第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值。
在该技术方案中,若原始相机为虚拟相机,当有物体靠近相机时,可以保持零视差平面深度值和分离值之间的比值不变,从而根据距离相机最近的物体的深度值,重新计算出分离值和零视差平面深度值,此时,使用重新计算出的分离值和零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景,这样,保持比值不变,立体图像在纵横比上就不会有变化,从而立体效果就不会改变,提升用户的观看使用体验。
优选地,所述相机类型包括虚拟相机,步骤104还包括:将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式:Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z),计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用分离值和零视差平面深度值进行场景渲染。
在该技术方案中,若原始相机为虚拟相机,则还可以采用另一种方法重新计算分离值和零视差平面深度值,即保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。其中,当离相机最近物体的深度值大于预设的正视差面深度值时,为了保证良好的立体效果,直接使用之前计算出的分离值和零视差平面深度值得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。
在上述技术方案中,优选地,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算步骤还包括:根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及将所述目标物体的深度值与预设的正视差面深度值进行比较;在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机。
其中,第七预设公式为:ψ=0.5*ratio,其中,ψ为所述转角,ratio为所述比值。
在该技术方案中,若原始相机为双目相机,保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到新的比值,利用该比值,可以计算得到左相机、右相机与原始相机Z轴之间的转角,从而根据该转角确定相机的放置方式,从而生成舒适、合理的立体图像。
在上述技术方案中,优选地,在步骤104之前还包括:将所述比值和预设的比值限值进行比较,在所述比值小于所述预设的比值限值时,允许进入步骤104,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
在该技术方案中,如果通过预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数计算出的左相机和右相机之间的分离值和零视差平面深度值的比值比预设的比值限值大,此时,说明预设的值不符合要求,提示用户重新设置。
图2示出了根据本发明的实施例的立体图像视差调节装置的示意框图。
如图2所示,根据本发明的实施例的立体图像视差调节装置200,包括:关系建立单元201,真实观看空间与取景空间在深度范围上建立映射关系,其中,所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时即为立体拍摄相机的实拍场景空间。
在该技术方案中,真实观看空间是指观看者通过立体播放设备观看立体图像时人和立体播放设备所处的真实的三维空间,并特别的指定立体播放窗口中心位置为真实空间坐标原点。
在上述技术方案中,优选地,还包括:第一计算单元202,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;第二计算单元204,保持所述比值或所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染。
在该技术方案中,当相机在一空间场景移动时场景中物体与相机之间的位置关系将发生变化,如果零视差平面设置在近投影平面以外时,则某一物体逐渐靠近相机投影平面时正视差将会显著增大,从而造成用户观看不适,为解决此问题,本发明预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
在该技术方案中,左相机、右相机由原始相机分别向两侧水平移动形成。左相机的相机位置由原始相机的位置沿原始相机侧向量负方向平移sep/2个单位求得,右相机的相机位置由原始相机的位置沿原始相机侧向量正方向平移sep/2个单位求得。左右相机的其它参数与原始相机的参数相同。其中,与相机相关的参数包括:相机位置、相机的观察方向V、相机的向上向量UP、相机的侧向量N等。
在上述技术方案中,优选地,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述立体图像的预期的最大凸出距离和最大凹进距离。
在上述技术方案中,优选地,所述第一计算单元202包括:第一视差值计算单元2022,根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;第二视差值计算单元2024,根据所述立体播放窗口上的正视差值和所述负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
其中,第一预设公式为:D为所述观看者与立体图像对应的立体播放窗口的距离,e为所述观看者的双眼间距,CS为所述最大凹进距离,BS为最大凸出距离,w1为所述立体播放窗口上的正视差值,w2为所述立体播放窗口上的负视差值;第二预设公式为:其中,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,Tw为所述立体播放窗口的宽度。
在该技术方案中,具体地,根据预设的观看环境参数计算出视平面上的正视差值和负视差值,及另根据预设的正视差面深度值和预设的负视差面深度值,这样,使得三维空间中正负视差面之间的物体被渲染后能够满足观看效果上对最大凸出和最大凹进的要求。换言之,最大正视差面和最大负视差面制定了场景中的一个深度范围,通过算法,在这个深度范围内的物体渲染后的凸出和凹进的效果将被约束在初始的最大凸出和最大凹进的限定范围内。
在上述技术方案中,优选地,所述第一计算单元202还包括:比值计算单元2026,根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述零视差平面深度值与所述分离值的比值所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:其中,ratio为所述分离值与所述零视差平面深度值的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的坐标原点的距离;分离值计算单元2028,根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为:其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间的空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;深度值计算单元20210,根据所述比值和所述分离值以第五预设公式计算出所述零视差平面深度值,其中,所述第五预设公式为:其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
在上述技术方案中,优选地,所述第二计算单元204还包括:分类单元2042,根据物体分类对当前场景中的所有物体进行过滤;物体剔除单元,将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;物体深度值计算单元,确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
当物体过于靠近近投影平面时,会产生过大的视差,采用固定比例算法调整正视差面深度后将导致零视差平面深度值con趋近于near,使得景物凸出效果仅在一个很小量级内的物体才有正视差,在该技术方案中,设置了实际近取景平面,并将实际近取景平面和相机的近投影平面之间的物体剔除。这样避免了自适应调整后con过于靠近near。此步骤处理只是针对欲保证对虚拟场景中物体取景在距相机一个不过于小的距离上能够产生凸出屏幕效果的一个约束手段。
优选地,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元204还包括:比较单元2044,将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元2046,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据所述第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值。
在该技术方案中,若原始相机为虚拟相机,当有物体靠近相机时,可以保持分离值和零视差平面深度值之间的比值不变,从而根据距离相机最近的物体的深度值,重新计算出分离值和零视差平面深度值,此时,使用重新计算出的分离值和零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景,这样,保持比值不变,立体图像在纵向上就不会有变化,从而立体效果就不会改变,提升用户的观看使用体验。
在一个较佳的变形实施例中,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元204还包括:比较单元2044,将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元2046,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式,计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用所述分离值和所述零视差平面深度值进行场景渲染。
在该技术方案中,若原始相机为虚拟相机,则还可以采用另一种方法重新计算分离值和零视差平面深度值,即保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。其中,当离相机最近物体的深度值大于预设的正视差面深度值时,为了保证良好的立体效果,直接使用初始计算出的分离值和零视差平面深度值得到左相机和右相机的投影矩阵,进而使用左相机和右相机渲染场景。
优选地,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算单元204还包括:转角计算单元2048,根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及将所述目标物体的深度值与预设的正视差面深度值进行比较;二次计算单元2046,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机。
第七预设公式为:ψ=0.5*ratio,其中,ψ为所述转角,ratio为所述比值。
在该技术方案中,若原始相机为双目相机,保持左相机和右相机的分离值不变,重新计算出零视差平面深度值,此时,使用分离值和重新计算出的零视差平面深度值可以得到新的比值,利用该比值,可以计算得到左相机、右相机与原始相机Z轴之间的转角,从而根据该转角确定相机的放置方式,从而生成舒适、合理的立体图像。
优选地,还包括:提示单元206,将所述比值和预设的比值限值进行比较,在所述比值小于所述预设的比值限值时,允许进入所述第二计算步骤,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
在该技术方案中,如果通过预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数计算出的左相机和右相机之间的分离值和零视差平面深度值的比值比预设的比值限值大,此时,说明预设的值不符合要求,提示用户重新设置。
下面结合图3A至3H详细说明本发明的技术方案。
首先,分析一下使用左右相机两次渲染生成左右视差图后经排图算法处理通过立体显示设备呈现给观众的情形。目前立体播放技术主要有滤波技术、视障光栅技术、柱面透镜技术;滤波技术需要使用者配戴红蓝或红绿滤波眼镜,后两种属于裸眼立体技术。不论使用何种技术为呈现出适合观看的立体效果对左右图的原始视差的控制是最关键的。这样问题的解决就主要是在虚拟相机的相关设置上。下面以使用柱面光栅播放渲染的立体场景为例来找到影响立体观看效果的因素,并给出立体图像视差调节的方法。
如图3A和图3B所示,令观看者距屏幕距离为D,虚拟场景中点P在左右图上的像为Lx和Rx,w=Lx-Rx为视差值,其中,图3A为正视差情形,图3B为负视差情形。正视差情况下图像表现为凸出屏幕,负视差情况下表现为凹进。其中,CS应指定为正值,BS指定为负值,又已知观看者双眼之间的距离为e,则得到下列公式:
正视差: w 1 = C S * e D - C S - - - ( 1 )
负视差: w 2 = B S * e D + B S - - - ( 2 )
实际测试表明人们能够接受的凸出和凹进距离与D的比值小于25%较好。凹进所引起的不适感较突出为低。这里给的阈值针对的是一般情况。特殊的也可有较大比值。上述分析的结论是:可以通过给定CS和BS的值反推w的取值进而和虚拟场景中相关参数建立联系。
如图3C所示,是场景空间一点P的渲染过程。仅考虑位置信息的处理。令Vp为点P在相机空间中的坐标值,Vp’为投影到近平面的值。
Vp’=Vp×投影矩阵(3)
图3C示出了近投影平面会规范化为宽度为负1到正1,高度为负1到正1的视平面V上。
图3D中给出了视平面V与立体播放窗口的映射关系。令一点在立体播放窗口上的视差值为w,在视平面上的视差值为Vw,立体播放窗口的物理宽度为Tw。由于通常采用视平面宽度数值为2,则推出关系式:
V w = 2 * w T w - - - ( 4 )
为生成具有视差的左右图可以使用汇聚面中心聚焦投影的方法来实现。这种方法避免了垂直视差的产生,并且最大程度避免了相机在取景时的取景范围的差异,是目前最理想的左右图生成办法。其中,图3E和图3F给出其几何原理:原始相机为用户的输入控制目标相机,左右相机通过原始相机生成。为保证左右相机有相同的汇聚面左右相机的张角θ会做相应调整。
以左相机L为例推导各参数间关系式,原始相机位置记为O,左相机位置记为L;原始相机近投影平面左边界记为ONl,右边界记为ONr;左相机近投影平面左边界记为LNl,右边界记为LNr’,延长部分记为d,右边界调整之前记为LNr。
参照下面给出的投影变换矩阵我们可以对图3F给出的关系求解,推出左相机对应的投影矩阵(对于右相机投影矩阵的计算同理)。
OPr o j = 2 n e a r ON r - ON l 0 0 0 0 2 * n e a r t o p - b o t t o m 0 0 ON r + ON l ON l - ON r t o p + b o t t o m b o t t o m - t o p f a r f a r - n e a r 1 0 0 n e a r * f a r n e a r - f a r 0
L Pr o j = 2 n e a r L N r - L N l 0 0 0 0 2 * n e a r t o p - b o t t o m 0 0 L N r + L N l L N l - L N r t o p + b o t t o m b o t t o m - t o p f a r f a r - n e a r 1 0 0 n e a r * f a r n e a r - f a r 0
推出下列表达式:
d=sep*near/con(5)
LNl=ONl(6)
LNr=ONr+d(7)
RNI=ONI-d(8)
RNr=ONr(9)
sep>0;
con>0;
接下来推导空间一点p在左右相机投影后的视差值:从图3C中可以看出渲染处理最终会把近投影平面映射为一个取值在[x|-1≤x≤+1;y|-1≤y≤+1]上的矩形面,称之为视平面V。水平视差对应于视平面的X轴上的取值。场景中一点在左相机视平面上x轴取值记为LVx,对应的右相机视平面上记为RVx,视差值记为Vw。
视差计算公式如下:
原始相机坐标系中P=(x,y,z,1),在左相机中LVp=(x+sep/2,y,z,1),在右相机中RVp=(x-sep/2,y,z,1)。由于投影矩阵分量[2][0]取值为0,并仅考察变换后的X轴分量取值,故简化为:Lp=(x+sep/2,0,z,1),Rp=(x-sep/2,0,z,1)。更进一步,可以把x值去掉得到Lp=(sep/2,0,z,1),Rp=(-sep/2,0,z,1)。
因此,
Lp’=Lp*LProj;
Rp’=Rp*RProj;
L V x = ( s e p * n e a r O N r - O N l + d + z * d O N l - O N R - d ) * 1 / z - - - ( 10 )
R V x = ( - s e p * n e a r O N r - O N l + d + - z * d O N l - O N R - d ) * 1 / z - - - ( 11 )
(10)、(11)两式中最后除以z的目的是把值规范到-1到+1之间。可以看出计算某点的视差值只与该点在相机空间中的z值有关,与x,y分量的取值无关。
把(5),(6),(7),(8),(9)式带入(10)、(11)式,注意到LNr-LNl等于RNr-RNl,并令U=ONr-ONl;其中,ONr和ONl是原始相机近投影平面的右边界和左边界在X轴的取值。U值可通过给定的原始相机水平张角θ和近投影平面距离near求得:
U=2*tanθ*near(12)
推得p点视差值:
V w = 2 * n e a r * s e p - 2 * d * z ( U + d ) * z - - - ( 13 )
这里计算视差使用的符号是LVx-RVx与图3A、图3B中是不同的。LVx-RVx与Lx-Rx之间通过预设公式(4)联系起来的。图3D给出了它们之间的关系,可以看到左右相机视平面的图像最后会输出到立体屏幕的某个物理区域,或者对应整个屏幕或者对应某个局部范围。
计算图3G中q点在左右相机对应的视平面上的取值,也可把q点带入关系式(13)计算,显然分子为零,得到结果为零视差。
通过图3G和图3H能得到:当空间一点p在汇聚面与远平面之间包括远平面时,其视差值Vw<0为负视差,观看时表现为凹进;当空间一点p在汇聚面与近平面之间时,其视差Vw>0为正视差,观看时表现为凸出;几何上的分析只是给出了形象的表达,上边的结论都可以通过关系式(13)得到。
视差约束关系式的建立:
使用汇聚面中心聚焦投影的方法,当给定的相机取景水平视角过大时,取景后的图像在水平方向上会有明显的畸变,这会给人以不真实的物体空间尺度感。水平张角应控制在45度以内设置会比较好的避免或显著降低水平方向上的畸变。
另外,由图3F和前述等式(4)可知左右相机近投影平面宽度相对于原始相机近投影平面宽度U有增量d,增量d与U的比值超过一定范围便会造成物体宽高比失调,会使物体看起来宽高比例失真;同时d与U的比值过大也会造成物体在深度方向被过于拉伸。因此应限制d在一定范围内取值,原始相机水平张角给定时near与U是等比关系,所以只考虑对ratio=sep/con的值作限制就可以,在正负视差限值之外有了第三个限值记ratio,其取值上限为R。
由于每个人对立体图像的适应性是不同的,通过实际测试可知一般地把ratio的值限制在0.1以内能够形成比较好的立体效果。
同时我们发现不论sep与con的值如何变化,只要其比值不变则左右相机的张角也不变。
利用代换sep=ratio*con建立可求解的等式。
把ratio*con代入(13)式,则关系式(13)可以改写成如下表达式:
V w = 2 * n e a r * c o n * r a t i o - 2 * n e a r * z * r a t i o U * z + n e a r * z * r a t i o - - - ( 14 )
通过之前的分析已知道凭借对实际观看时最大凸出和最大凹进可以得到一组理想的正视差和负视差,利用关系式Vw=2*w/Tw,可以得到Vw,记正视差为Vw1,负视差为Vw2,另外指定在点P1=(x1,y1,z1)有最大正视差Vw1,点P2=(x2,y2,z2)有最大负视差Vw2,其中z2大于z1,分别带入(14)作差:
首先带入Vw1,Z1,得:
Vw1*z1*(U+near*ratio)
=2*near*con*ratio-2*near*ratio*z1(15)
带入Vw2,Z2,得:
Vw2*z2*(U+near*ratio)
=2*near*con*ratio-2*near*ratio*z2(16)
令(15)式减(16)式得:
r a t i o = U n e a r * ( 2 * ( Z 2 - Z 1 ) V W 1 * Z 1 - V W 2 * Z 2 - 1 ) - - - ( 17 )
(17)式中near是相机近投影面据观察空间坐标原点的距离,U是原始相机近投影面在观察空间中的宽度。
利用(14)式推出计算con的表达式(18)。
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z - - - ( 18 )
因此,使用(17)式能够计算出ratio的值,再把ratio带回(18)能够得到con的取值。这样就建立了从实际观看效果的凸出、凹进值到合理的con、sep之间的映射关系。
考察(17)式,其中U/near等于2*Tanθ,因此ratio的值与相机张角有关,同样考察(18)式,可发现con的取值也是与相机张角有关,最后总结出在相机张角一定的情况下con、sep的取值仅依赖于正视差限值Vw1、负视差限值Vw2、场景最大凸出位置z1、场景最大凹进位置z2。
进一步的,(17)、(18)式对于双目摄录像机同样具备可操作性,给定Vw1,Vw2,z1,z2及相机取景张角θ就可以得到适用于双目摄录相机的sep、con的取值。控制相机汇聚到汇聚平面时需要给定左右相机相对于原始相机z轴的转角ψ。
总之不论是虚拟相机还是双目摄录像机,使用(17)、(18)式计算的出的sep和con来设置相机,则相机取景在z1和z2深度域内的物体时将生成舒适、合理的立体图像。
图4示出了根据本发明的一个实施例的立体图像视差调节装置的结构示意图。
如图4所示,当原始相机为虚拟相机时,立体图像视差调节装置400,包括:预设初值模块402、计算模块404,固定比率计算模块406,调整sep算法模块408和数据接口模块410。
预设初值模块402在渲染立体虚拟场景的应用中根据需要预设初值,其中,可以指定一次,也可以多次指定。
计算模块404在每次自适应处理中执行计算。
固定比率计算模块406和调整sep计算模块408根据对自适应算法的指定每次自适应处理执行其中一个算法。
数据接口模块410给出自适应算法涉及到的关键数据,这些关键数据包括:D、e、Tw、R、CS、BS、z1、z2、Con、Sep。
下面详细说明各个模块的工作过程。
如图5所示,预设初值模块402包括:
第一预设子模块4022,根据接收到的设置命令,预设最大比率R,R值是sep与con的比值,描述了左右相机水平张角的增量,是增角的tan值。预设实际近取景屏面深度值TN。TN将根据当前投影体内物体不均尺度来设置。一般地为了得到良好的立体控制,TN应设置为大于当前投影体内物体的平均长度。
第二预设子模块4024,根据接收到的预设命令,预设观看环境,观看者屏幕距离为D,屏幕播放立体内容区域的宽度为Tw,左右眼距离为e,最大凸出距离为CS,最大凹进距离为BS,相机原始取景张角为θ。利用上述公式(1)、(2)、(4)计算视平面上的视差限值Vw1、Vw2。D、Tw、e、CS将指定为正值,BS将被指为负值。计算后Vw1是正值描述正视差,Vw2为负值描述负视差。
第三预设子模块4026,根据接收到的预设命令,预设满足正负视差值的正负视差面在相机空间的深度值Z1、Z2。
计算子模块4028,应用公式(17)、(18)计算con和sep的值,以及sep与con的比值Ratio。每次计算后更新数据接口模块410中变量值。将正视差面在相机空间的深度值Z1设置为当前的深度值,将sep保存为初始sep(即oldSep)。
判断子模块40210,判断sep与con的比率Ratio是否小于预设的限值R。如果大于R生成的左右图将会造成物体宽高比失调,需要重新设定CS,BS或者重新设定Z1、Z2。另外,预设初值模块402也支持使用限值R,即当Ratio的值大于R时把R作为步骤508计算的比率结果。再利用公式(17)推导出Vw2的计算等式,用比率R值计算Vw2。进一步由Vw2反推至BS,得到比率R对应的初值。再由(18)式计算出con的值。
如图6所示,计算模块404包括:
分类子模块4042,根据场景中物体分类过滤物体,会以物体的尺寸物体在场景中的持续时间即生命期及物体立体渲染重要级别为分类标准。物体重要级别由开发设计人员指定。在虚拟场景中对物体分类把算法应用在关注的物体上这样将有效的提升算法处理速度。
排序子模块4044,排序投影体范围内的物体,位于近投影平面和实际近取景平面之间的物体将直接被剔除。传统的3D渲染没有实际近取景平面的概念。而在本技术方案中,如图7所示,通过公式(14)可知物体过于靠近近投影平面时会产生过大的视差,当近到通过调整z1重新获得Sep和con时,con将趋向于near。并且景物凸出效果仅在一个很小的量级如在几厘米内或更小的量级内的场景物体上才有正视差。这一点是否可行和场景物体尺寸大小的分布有关,如果在场景中的物体都大于厘米量级,那么生成的con距离near仅有几个厘米就是不合理的。合理的设置是con距离near应大于当前投影体内场景中物体尺寸的平均值。因此对于出现更近的物体时采用有条件的自适应。典型的,图7中物体m将被剔除。
第一计算单元4046,计算离相机最近物体的视差值tempVw。
第二计算单元4048,计算离相机最近的物体的深度值tempZ。其中,第一计算单元4046和第二计算单元4048的计算结果用来考察该物体视差是否超过初始视差限值。
如图8所示,固定比率计算模块406包括:
判断子模块4062,判断最近物体视差值是否小于预设的正视差,如果小于则触发第一设置子模块4064,如果大于,则触发第二设置子模块4066。
第一设置子模块4064,对如图7中物体m,之前设的con,sep将导致其视差大于最大凸出和最大凹进的限值。对这种情况,把物体深度tempZ设置给currentZ1,作为当前的最大正视差面深度值。之所以把物体深度值设置给当前最大正视差面深度currentZ1而没有设置给初始最大正视差面深度Z1是因为在整个视差自适应算法运行期间由于场景中物体与相机距离上的变化导致的视差调整在没有物体与相机的距离小于Z1时,需要回到初值,因此初始值Z1需要记录保留。而这样的一个过程也正体现了以视差为考量标准的自适应调整。
第二设置子模块4066,当最近物体深度tempZ1大于初始设定的最大视差面深度值时把Z1赋值给当前最大正视差面深度currentZ1。
计算子模块4068,利用新设置的currentZ1计算新的con,sep。在这步计算中因为使用预设初值模块402中计算出的比率Ratio所以直接使用公式(18)计算con的值。
矩阵生成子模块40610,使用计算子模块4068计算出的con和原始相机参数生成左右相机投影矩阵。
场景渲染子模块40612,使用左右相机渲染场景。
如图9所示,调整sep计算模块408包括:
判断子模块4082,判断最近物体视差值是否小于预设的正视差。如果小于则计算子模块4084,如果大于执行触发初始子模块4086。
计算子模块4084,利用公式(20)计算sep。这时公式右边的con带入预设初值模块402中计算的结果,z带入tempZ,Vw带入预设初值模块402中计算出的正视差值Vw1。其中公式(20)为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)(20)
上述公式可以由公式(13)推得。
初始子模块4086,没有物体比初始正视差面离相机更近时恢复初始计算的sep值。
矩阵生成子模块4088,使用con、currentSep和原始相机参数生成左右相机投影矩阵。
场景渲染子模块40810,使用左右相机渲染场景。
数据接口模块410给出了立体图像视差调节方法需要的参数。
Algorithm:该参数指出采用和种自适应算法。
State:该参数指出算法当前的运行状态,是预设初值模块402对应的阶段还是计算模块404,固定比率计算模块406或计算模块404,调整sep算法模块408对应的阶段。
R:该参数指出自适应方法所容许的最大比率。
TN:该参数指出实际近取景屏面距离。
D、e、Tw:该组参数分别指出观看距离、双眼间距、实际播放立体窗口的宽度。
CS:该参数指定了方法所容许的立体播放效果的最大突出距离。对应于正视差。
BS:该参数指定了方法所容许的立体播放效果的最大凹进距离。对应于负视差。
Z1:该参数指定了最大正视差面的距离。
Z2:该参数指定了最小负视差面的距离。
Ratio:该参数保存了当前应用的比率。在固定比率算法使用该参数。
currentZ1:该参数保存了当前的最大正视差面的距离。在固定比率算法使用该参数。
oldSep:该参数保存了初始的左右相机分离值。在改变sep算法使用该参数。
currentSep:该参数保存了当前起作用的左右相机分离值。在改变sep算法使用该参数。
上面以原始相机为虚拟相机为例,详细说明了本发明的技术方案,而原始相机除了可以是虚拟相机,还可以是双目相机。
如图10所示,当原始相机为双目相机时,立体图像视差调节装置1000,包括:
预设初值模块1002,用于预设观看环境参数,如D,e,Tw,CS,BS的取值,以及预设z1,z2,R和相机张角θ。
计算模块1004,用于生成左右相机分离值sep和汇聚平面距离con以及Ratio,以及计算左右相机当前应作的转角增量。用本次的ψnew减去上一次计算得到的ψold,Δψ=ψnew-ψold
决策模块1006,用于判断ratio的值是否合理,不合理提示用户重新指定预设参数。
左右相机联动控制模块1008,用于(1)使用sep控制左右相机间距;(2)使用左右相机各自对应的Δψ偏转相机。(3)左右相机到达指定状态,准备拍摄。
通过以上技术方案,给定一组D,e,Tw,CS,BS可以使用公式(1),(2),(4),(13)得到Vw1,Vw2。这是作为限值的正负视差。把预期的适合观看的最大凸出距离和最大凹进距离转化为视平面上的视差值Vw1和Vw2,同时Vw1和Vw2也表达了取景范围在观看时的预期的纵深效果。另外再指定满足正负视差值的正负视差面深度值z1、z2和相机张角θ。这样只要给出Vw1、Vw2、R这三个限值,就能够得到场景视差的合理的设置办法,即得到合理的相机控制参数con和sep。
以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,预设了一个合适的视差范围,在相机移动时,计算离相机最近物体的视差值,并根据该物体的视差值,实时的调整零视差平面深度和左右相机的分离值,从而使得物体的视差保持在预设的视差范围内,以生成舒适、合理的立体图像,得到良好的立体视觉效果。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种立体图像视差调节方法,其特征在于,包括:
真实观看空间与取景空间在深度范围上建立映射关系,其中,
所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设;
当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时为立体拍摄相机的实拍场景空间,其中,
所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设,具体包括:
第一计算步骤,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;
第二计算步骤,保持所述比值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染;或者保持所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,直接使用所述分离值和所述零视差平面深度值进行场景渲染,或计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染;其中,所述左相机和所述右相机由所述原始相机分别向两侧水平移动形成。
2.根据权利要求1所述的立体图像视差调节方法,其特征在于,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述立体图像的预设的最大凸出距离和预设的最大凹进距离。
3.根据权利要求2所述的立体图像视差调节方法,其特征在于,所述第一计算步骤包括:
根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,在所述第一预设公式计算中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;
根据所述立体播放窗口上的正视差值和负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,在所述第二预设公式计算中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
4.根据权利要求3所述的立体图像视差调节方法,其特征在于,所述第一计算步骤还包括:
根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:
r a t i o = U n e a r * ( 2 * ( z 2 - z 1 ) V w 1 * z 1 - V w 2 * z 2 - 1 )
其中,tatio为所述分离值与所述零视差平面深度值的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离;
根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为:
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z
其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;
根据所述比值和所述零视差平面深度值以第五预设公式计算出所述分离值,其中,所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
5.根据权利要求1所述的立体图像视差调节方法,其特征在于,所述第二计算步骤还包括:
根据物体分类对当前场景中的所有物体进行过滤;
将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;
确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
6.根据权利要求5所述的立体图像视差调节方法,其特征在于,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算步骤还包括:
将所述目标物体的深度值与预设的正视差面深度值进行比较;
在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第四预设公式和第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及所述第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,其中,所述第四预设公式为:
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z
其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;
所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
7.根据权利要求5所述的立体图像视差调节方法,其特征在于,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算步骤还包括:
将所述目标物体的深度值与预设的正视差面深度值进行比较;
在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式,计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用所述分离值和所述零视差平面深度值进行场景渲染;
所述第六预设公式为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)
其中,sep为所述分离值,con为所述零视差平面深度值,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离。
8.根据权利要求5所述的立体图像视差调节方法,其特征在于,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算步骤还包括:
根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及
将所述目标物体的深度值与预设的正视差面深度值进行比较;
在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机;
所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值;
所述第六预设公式为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)
其中,seo为所述分离值,con为所述零视差平面深度值,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离。
9.根据权利要求1至8中任一项所述的立体图像视差调节方法,其特征在于,在所述第二计算步骤之前还包括:
将所述比值和预设的比值限值进行比较,在所述比值小于所述预设的比值限值时,允许进入所述第二计算步骤,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
10.一种立体图像视差调节装置,其特征在于,包括:
关系建立单元,建立真实观看空间与取景空间在深度范围上的映射关系,其中,
所述真实观看空间的深度范围用最大凸出距离和最大凹进距离进行预设,所述取景空间的深度范围用正视差面深度值和负视差面深度值进行预设,以及
当所述取景空间应用于虚拟场景渲染时为虚拟场景空间,当所述取景空间应用于立体实景拍摄时即为立体拍摄相机的实拍场景空间,其中,
第一计算单元,根据预设的观看环境参数、预设的正视差面深度值和预设的负视差面深度值以及原始相机的当前参数,计算出与所述原始相机相对应的左相机和右相机之间的分离值和零视差平面深度值,以及所述分离值与所述零视差平面深度值的比值;
第二计算单元,保持所述比值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,并使用所述新的分离值和所述新的零视差平面深度值进行场景渲染;或者保持所述分离值不变,根据当前场景中离所述原始相机最近的目标物体的深度值,直接使用所述分离值和所述零视差平面深度值进行场景渲染,或计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染;其中,所述左相机和所述右相机由所述原始相机分别向两侧水平移动形成。
11.根据权利要求10所述的立体图像视差调节装置,其特征在于,所述预设的观看环境参数包括:观看者与立体图像对应的立体播放窗口的距离,所述观看者的双眼间距、所述立体播放窗口的宽度、所述立体图像的预设的最大凸出距离和最大凹进距离。
12.根据权利要求11所述的立体图像视差调节装置,其特征在于,所述第一计算单元包括:
第一视差值计算单元,根据所述预设的观看环境参数以第一预设公式计算出所述立体播放窗口上的正视差值和负视差值,其中,在所述第一预设公式计算中,所述立体播放窗口上的正视差值与所述预设的最大凸出距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凸出距离之差成反相关,所述立体播放窗口上的反视差值与所述预设的最大凹进距离和/或所述观看者的双眼间距成正相关,与所述观看者与立体图像对应的立体播放窗口的距离和所述预设的最大凹进距离之和成反相关;
第二视差值计算单元,根据所述立体播放窗口上的正视差值和负视差值以第二预设公式计算出视平面上的正视差值和负视差值,其中,在所述第二预设公式计算中,所述视平面上的正视差值与所述立体播放窗口上的正视差值成正相关,与所述立体播放窗口的宽度成反相关,所述视平面上的负视差值与所述立体播放窗口上的负视差值成正相关,与所述立体播放窗口的宽度成反相关。
13.根据权利要求12所述的立体图像视差调节装置,其特征在于,所述第一计算单元还包括:
比值计算单元,根据所述原始相机的当前参数、预设的正视差面深度值和预设的负视差面深度值以第三预设公式计算出所述分离值与所述零视差平面深度值的比值,其中所述第三预设公式为:
r a t i o = U n e a r * ( 2 * ( z 2 - z 1 ) V w 1 * z 1 - V w 2 * z 2 - 1 )
其中,ratio为所述分离值Sep与所述零视差平面深度值con的比值,z1为所述预设的正视差面深度值,z2为所述预设的负视差面深度值,Vw1为所述视平面上的正视差值,Vw2为所述视平面上的负视差值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离;
深度值计算单元,根据所述比值以第四预设公式计算所述零视差平面深度值,其中,所述第四预设公式为:
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z
其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间中的坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;
深度值计算单元,根据所述比值和所述分离值以第五预设公式计算出所述分离值,其中,所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
14.根据权利要求10所述的立体图像视差调节装置,其特征在于,所述第二计算单元还包括:
分类单元,根据物体分类对当前场景中的所有物体进行过滤;
物体剔除单元,将所述原始相机对应的投影体范围内的物体,按照与所述原始相机的距离进行排序,并将位于所述原始相机的近投影平面和预设的实际近取景平面之间的物体剔除;
物体深度值计算单元,确定与所述原始相机距离最近的目标物体,并计算所述目标物体的深度值。
15.根据权利要求14所述的立体图像视差调节装置,其特征在于,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元还包括:
比较单元,将所述目标物体的深度值与预设的正视差面深度值进行比较;
二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述比值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第四预设公式和第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,在所述目标物体的深度值大于所述预设的正视差面深度值时,保持所述比值不变,根据所述预设的正视差面深度值以及第四预设公式和所述第五预设公式,计算出所述左相机和所述右相机之间的新的分离值和新的零视差平面深度值,其中,所述第四预设公式为:
c o n = 0.5 * V w * U * z n e a r * r a t i o + 0.5 * V w * z + z
其中,所述con为所述零视差平面深度值,ratio为所述分离值与所述零视差平面深度值的比值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值;
所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值。
16.根据权利要求14所述的立体图像视差调节装置,其特征在于,所述相机类型包括虚拟相机,则在所述原始相机所属的相机类型为虚拟相机时,所述第二计算单元还包括:
比较单元,将所述目标物体的深度值与预设的正视差面深度值进行比较;
二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式,计算出新的零视差平面深度值,并使用所述分离值和所述新的零视差平面深度值进行场景渲染,在所述目标物体的深度值大于所述预设的正视差面深度值时,直接使用所述分离值和所述零视差平面深度值进行场景渲染;
所述第六预设公式为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)
其中,sep为所述分离值,con为所述零视差平面深度值,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离。
17.根据权利要求14所述的立体图像视差调节装置,其特征在于,所述相机类型还包括双目相机,则在所述原始相机所属的相机类型为所述双目相机时,所述第二计算单元还包括:
转角计算单元,根据所述比值以第七预设公式计算出左相机和右相机与所述原始相机Z轴的转角,其中,所述转角与所述比值成正相关;以及将所述目标物体的深度值与预设的正视差面深度值进行比较;
二次计算单元,在所述目标物体的深度值小于所述预设的正视差面深度值时,保持所述分离值不变,将所述目标物体的深度值作为所述预设的正视差面深度值,根据第六预设公式和第五预设公式,计算出新的零视差平面深度值和新的比值,根据所述第七预设公式计算出新的转角,按照所述新的转角调整所述左相机和所述右相机;
所述第五预设公式为:
r a t i o = s e p c o n
其中,ratio为所述比值,con为所述零视差平面深度值,sep为所述分离值;
所述第六预设公式为:
Sep=con*U*Vw*z/(-2*near*con+2*near*z+Vw*near*z)
其中,sep为所述分离值,con为所述零视差平面深度值,Vw为所述视平面上的正视差值或负视差值,z为所述预设的正视差面深度值或所述预设的负视差面深度值,U为所述原始相机的近投影面在观察空间中的宽度,near为所述原始相机的近投影面距离所述观察空间坐标原点的距离。
18.根据权利要求10至17中任一项所述的立体图像视差调节装置,其特征在于,还包括:
提示单元,将所述比值和预设的比值限值进行比较,在所述比值大于所述预设的比值限值时,提示需要重新设置所述预设的观看环境参数、所述预设的正视差面深度值和/或所述预设的负视差面深度值。
CN201410284749.3A 2014-06-23 2014-06-23 立体图像视差调节方法和装置 Expired - Fee Related CN104023221B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410284749.3A CN104023221B (zh) 2014-06-23 2014-06-23 立体图像视差调节方法和装置
US14/747,293 US9875547B2 (en) 2014-06-23 2015-06-23 Method and apparatus for adjusting stereoscopic image parallax

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410284749.3A CN104023221B (zh) 2014-06-23 2014-06-23 立体图像视差调节方法和装置

Publications (2)

Publication Number Publication Date
CN104023221A CN104023221A (zh) 2014-09-03
CN104023221B true CN104023221B (zh) 2016-04-13

Family

ID=51439763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410284749.3A Expired - Fee Related CN104023221B (zh) 2014-06-23 2014-06-23 立体图像视差调节方法和装置

Country Status (2)

Country Link
US (1) US9875547B2 (zh)
CN (1) CN104023221B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534921B (en) 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
CN104820293B (zh) * 2015-05-20 2017-12-22 深圳超多维光电子有限公司 立体显示装置及立体显示方法
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实调整视差的方法及装置
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106228530B (zh) * 2016-06-12 2017-10-10 深圳超多维光电子有限公司 一种立体摄影方法、装置及立体摄影设备
CN106251403B (zh) * 2016-06-12 2018-02-16 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统
CN106231283B (zh) * 2016-06-12 2018-05-11 深圳超多维光电子有限公司 一种虚拟立体场景的构建方法、装置及立体显示设备
CN106228613B (zh) * 2016-06-12 2017-11-24 深圳超多维光电子有限公司 一种虚拟立体场景的构建方法、装置及立体显示设备
CN106254847B (zh) * 2016-06-12 2017-08-25 深圳超多维光电子有限公司 一种确定立体显示屏幕的显示极限的方法、装置和系统
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Jvcケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
CN106441415B (zh) * 2016-09-22 2019-07-09 江铃汽车股份有限公司 一种车辆仪表视差的校核方法
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
CN108181993A (zh) * 2018-01-26 2018-06-19 成都科木信息技术有限公司 用于增强现实设备的场景绘制方法
EP3750151A4 (en) * 2018-02-08 2021-12-29 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
EP3651119A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Disparity estimation from a wide angle image
CN112714303B (zh) * 2020-12-28 2023-05-12 烟台艾睿光电科技有限公司 一种红外立体成像方法、系统及设备
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、系统
US20240054667A1 (en) * 2022-08-12 2024-02-15 Varjo Technologies Oy High dynamic range viewpoint synthesis
CN118314289B (zh) * 2024-06-07 2024-09-24 浙江大学 基于双目红外图像的高炉料面三维重建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533340A (zh) * 2013-10-25 2014-01-22 深圳市汉普电子技术开发有限公司 移动终端的裸眼3d播放方法和移动终端
US20140036036A1 (en) * 2012-08-01 2014-02-06 Dreamworks Animation Llc Scripted stereo curves for stereoscopic computer animation
CN103568990A (zh) * 2012-07-23 2014-02-12 北京新岸线移动多媒体技术有限公司 一种实现车辆安全预警的方法和系统
WO2014035559A1 (en) * 2012-08-29 2014-03-06 3M Innovative Properties Company Method and apparatus of aiding viewing position adjustment with autostereoscopic displays

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
EP0817125B1 (en) * 1996-06-26 2004-09-08 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics moving image generating apparatus
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2011223482A (ja) * 2010-04-14 2011-11-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
JP5770018B2 (ja) * 2011-06-03 2015-08-26 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法及び表示制御システム
JPWO2013031575A1 (ja) * 2011-08-31 2015-03-23 ソニー株式会社 画像処理装置および画像処理方法
WO2014107434A1 (en) * 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
WO2014130584A1 (en) * 2013-02-19 2014-08-28 Reald Inc. Binocular fixation imaging method and apparatus
JP6201379B2 (ja) * 2013-04-02 2017-09-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
US9679369B2 (en) * 2013-09-12 2017-06-13 Ventana 3D Llc Depth key compositing for video and holographic projection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103568990A (zh) * 2012-07-23 2014-02-12 北京新岸线移动多媒体技术有限公司 一种实现车辆安全预警的方法和系统
US20140036036A1 (en) * 2012-08-01 2014-02-06 Dreamworks Animation Llc Scripted stereo curves for stereoscopic computer animation
WO2014035559A1 (en) * 2012-08-29 2014-03-06 3M Innovative Properties Company Method and apparatus of aiding viewing position adjustment with autostereoscopic displays
CN103533340A (zh) * 2013-10-25 2014-01-22 深圳市汉普电子技术开发有限公司 移动终端的裸眼3d播放方法和移动终端

Also Published As

Publication number Publication date
US9875547B2 (en) 2018-01-23
US20150373318A1 (en) 2015-12-24
CN104023221A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN104023221B (zh) 立体图像视差调节方法和装置
JP5299214B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US6175379B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
US10778955B2 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
CN102722080B (zh) 一种基于多镜头拍摄的多用途立体摄像方法
JP2014212519A (ja) 立体パノラマ
US20160337640A1 (en) Method and system for determining parameters of an off-axis virtual camera
CN104093013B (zh) 一种立体视觉三维可视化系统中自动调节图像视差的方法
TW201223247A (en) 2D to 3D user interface content data conversion
US20140022246A1 (en) Three-dimensional image output apparatus and three-dimensional image output method
JPH08331607A (ja) 三次元表示画像生成方法
JP2011211450A (ja) 立体映像表示装置、立体映像撮像装置および立体映像表示方法
CN102340678B (zh) 一种景深可调的立体显示装置及其景深调整方法
US9838669B2 (en) Apparatus and method for depth-based image scaling of 3D visual content
CN103167311A (zh) 视频处理装置、视频处理方法和记录介质
CN104168469A (zh) 立体影像预览装置以及立体影像预览方法
Kakeya et al. Autostereoscopic display with real-image virtual screen and light filters
KR20110082907A (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
US20140293019A1 (en) Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space
TW201916682A (zh) 即時二維轉三維的影像處理方法
CN101854559A (zh) 多模式立体三维摄像头系统
KR102145017B1 (ko) 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
JP2013098944A (ja) 立体画像処理装置および立体画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180712

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: SUPERD Co.,Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: SHENZHEN SUPER PERFECT OPTICS Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413

CF01 Termination of patent right due to non-payment of annual fee