CN108965853A - 一种集成成像三维显示方法、装置、设备及存储介质 - Google Patents

一种集成成像三维显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108965853A
CN108965853A CN201810929517.7A CN201810929517A CN108965853A CN 108965853 A CN108965853 A CN 108965853A CN 201810929517 A CN201810929517 A CN 201810929517A CN 108965853 A CN108965853 A CN 108965853A
Authority
CN
China
Prior art keywords
micro
pattern matrix
plane
input terminal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810929517.7A
Other languages
English (en)
Other versions
CN108965853B (zh
Inventor
杨翼
薛翰聪
王晓雷
李礼操
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Kangdexin Optronics Material Co Ltd
Original Assignee
Zhangjiagang Kangdexin Optronics Material Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangjiagang Kangdexin Optronics Material Co Ltd filed Critical Zhangjiagang Kangdexin Optronics Material Co Ltd
Priority to CN201810929517.7A priority Critical patent/CN108965853B/zh
Publication of CN108965853A publication Critical patent/CN108965853A/zh
Priority to PCT/CN2018/121747 priority patent/WO2020034515A1/zh
Application granted granted Critical
Publication of CN108965853B publication Critical patent/CN108965853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例公开了一种集成成像三维显示方法、装置、设备及存储介质,其中,该方法包括:基于第一微透镜阵列采集目标物体的输入端的微图像阵列;利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示。本发明实施例的技术方案克服了利用现有参考平面得到的映射结果不准确的问题,提高了输入端微图像阵列映射到显示端微图像阵列时的准确性。

Description

一种集成成像三维显示方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种集成成像三维显示方法、装置、设备及存储介质。
背景技术
采用微透镜阵列的集成成像可以实现全视差裸眼三维视图显示。现有技术中,在三维视图显示过程中,如果直接利用基于集成成像方法采集得到的微图像阵列进行物体的三维显示,会出现深度反转的问题。基于此,提出了智能伪视到正视转换(SPOC,smartpseudoscopic-to-orthoscopic conversion)算法。SPOC算法首先将采集得到的微图像阵列即输入端微图像阵列映射为显示端微图像阵列,再利用由微透镜阵列和显示面板组成的系统,将显示端微图像阵列显示在显示面板上,实现没有深度反转的三维视图显示。
现有的SPOC算法通常需要确定一个参考平面,但是采用现有确定参考平面的方法所确定的参考平面,只有离3D物体比较近时,其对应的映射结果比较准确,一旦离3D物体比较远,其对应的映射结果就很可能发生错误。此外,也有利用多参考平面进行映射的方法,虽然引入多个参考平面可以在一定程度上增加映射结果的准确度,但是同样也存在参考平面离3D物体比较远时,其对应的映射结果可能发生错误的情况。
发明内容
本发明实施例提供一种集成成像三维显示方法、装置、设备及存储介质,在解决深度反转问题的同时,提高了输入端微图像阵列映射到显示端微图像阵列时的准确性。
第一方面,本发明实施例提供了一种集成成像三维显示方法,所述方法包括:
基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
利用所述目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
利用所述参考面和所述智能伪视到正视转换算法,将所述输入端的微图像阵列转换为显示端的微图像阵列,并利用所述显示端的微图像阵列进行所述目标物体的三维显示。
第二方面,本发明实施例还提供了一种集成成像三维显示装置,所述装置包括:
输入端微图像阵列采集模块,用于基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
参考面获取模块,用于利用所述目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
三维显示模块,用于利用所述参考面和所述智能伪视到正视转换算法,将所述输入端的微图像阵列转换为显示端的微图像阵列,并利用所述显示端的微图像阵列进行所述目标物体的三维显示。
第三方面,本发明实施例还提供了一种集成成像三维显示设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的集成成像三维显示方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例任一所述的集成成像三维显示方法。
本发明实施例提供的集成成像三维显示方法、装置、设备和存储介质,通过基于第一微透镜阵列采集目标物体的输入端的微图像阵列,利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面,利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示,克服了利用现有参考平面得到的映射结果不准确的问题,在解决了三维显示过程中存在深度反转问题的同时,还提高了输入端微图像阵列映射到显示端微图像阵列时的准确性。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1a为本发明实施例一所提供的一种集成成像三维显示方法的流程图;
图1b为本发明实施例一所提供的一种基于现有方法得到的参考平面的智能伪视到正视转换算法结构示意图;
图1c为本发明实施例一所提供的一种基于本发明实施例提供的参考面的智能伪视到正视转换算法的结构示意图;
图2为本发明实施例二所提供的一种集成成像三维显示装置的结构示意图;
图3为本发明实施例三所提供的一种集成成像三维显示设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一所提供的一种集成成像三维显示方法流程示意图,本发明实施例适用于摄取并显示目标物体的三维视图的情况,该方法可以由集成成像三维显示装置来执行,该装置可以通过软件和/或硬件的形式实现。如图1a所述,本实施例的方法包括:
S110、基于第一微透镜阵列采集目标物体的输入端的微图像阵列。
其中,第一微透镜阵列可以是由多个相同的微透镜组成的二维阵列,其与显示面板相配合,共同用于对三维目标物体或场景进行成像。其中,微透镜可以是通光孔径及浮雕深度为微米级的透镜,显示面板可以是CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。由于每个微透镜相对三维目标物体或场景的位置不同,其对三维物体或场景的成像角度也不同,因此,在显示面板上可以得到从不同角度获取到的三维目标物体或场景的微图像阵列。其中,显示面板上的微图像阵列即为目标物体或场景的输入端的微图像阵列,每个微透镜对应一个微图像,且每个微图像之间互不重叠。
可选的,采用的第一微透镜阵列可以包含M×N个微透镜,且每个微透镜的尺寸和规格相同。可选的,每个微透镜可以规则排列,也可以不规则排列。优选的,第一微透镜阵列可以规则排列,其中,各个微透镜的光轴互相平行且各个微透镜平行等间距(包括间距为0的情况)排列,即水平方向上相邻两个微透镜之间的间距相等,垂直方向上相邻两个微透镜之间的间距也相等。需要说明的是,水平方向的间距与垂直方向的间距可以相等也可以不等,用户可以根据实际需求进行设置。
示例性的,当采用第一微透镜阵列对三维目标物体或场景进行拍摄时,第一微透镜阵列中的M×N个微透镜可以分别对三维目标物体或场景进行成像,因此,在显示面板上可以得到M×N幅微图像。其中,显示面板上的M×N幅微图像即为目标物体或场景的输入端的微图像阵列。由于第一微透镜阵列中的每个微透镜所放置的位置不同,其成像角度也就不同,因此,通过第一微透镜阵列采集得到的M×N幅微图像之间均存在一定的视差。
S120、利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面。
传统的集成成像方法是将利用微透镜阵列采集得到的微图像阵列直接进行显示,最终得到的三维显示具有深度反转的问题。为了解决上述集成成像过程中存在的深度反转问题,优选可以采用智能伪视到正视转换算法对输入端的微图像阵列进行处理。其中,智能伪视到正视转换算法的原理为:将利用微透镜阵列采集得到的输入端的微图像阵列进行转换,得到显示端的微图像阵列,然后对显示端的微图像阵列进行显示,最终得到的三维显示不存在深度反转问题,即采用智能伪视到正视转换算法得到的三维显示,其深度关系是正确的。
在利用智能伪视到正视转换算法将输入端的微图像阵列映射为显示端的微图像阵列时,需要借助预设参考面来辅助输入端的微图像阵列的映射。参考面的选取规则可以遵循如下要求:当参考平面的位置接近目标物体或场景时,利用该参考平面映射出的显示端的微图像阵列相对于输入端的微图像阵列是准确的;而当参考平面的位置远离目标物体或场景时,利用该参考平面映射出的显示端的微图像阵列相对于输入端的微图像阵列有可能发生错误。因此,参考面选取地准确与否直接决定了显示端的微图像阵列相对于输入端的微图像阵列是否准确,直接影响了最终三维显示的准确性。
不同于传统参考面选取的方法,本实施例中,优选可以借助目标物体或场景的深度信息,将由目标物体或场景的深度信息确定的面作为智能伪视到正视转换算法中的参考面。利用目标物体或场景的深度信息可以确定目标物体的外部形状及轮廓,因此,由目标物体或场景的深度信息确定的面更加接近于真实的目标物体或场景。利用由目标物体或场景的深度信息确定的面作为参考面,能够使得映射出的显示端的微图像阵列相对于输入端的微图像阵列更加准确。
S130、利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示。
在确定参考面之后,即可利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列。其中,利用该算法得到的显示端的微图像阵列中的微图像的数目既可以比输入端的微图像阵列中的微图像的数目多,也可以与输入端的微图像阵列中的微图像的数目相等,还可以比输入端的微图像阵列中的微图像的数目少。示例性的,若输入端的微图像阵列为20×20,微图像的像素数目为25×25,经过上述算法处理后可以得到更多的微图像阵列,优选的,可以提前对显示端的微图像阵列以及微图像元的像素进行设置,例如,可以将显示端的微图像阵列设置为80×80,可以将显示端的微图像的像素数目设置为与输入端的微图像的像素数目相同,例如,将显示端的微图像的像素数目设置为25×25。
在得到显示端的微图像阵列后,即可利用显示端的微图像阵列进行目标物体或场景的三维显示。具体的,可以利用光路可逆原理,对显示端的微图像阵列进行再成像,即可实现对目标物体或场景的三维显示。
本实施例提供的集成成像三维显示方法,通过基于第一微透镜阵列采集目标物体的输入端的微图像阵列,利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面,利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示,克服了利用现有参考平面得到的映射结果不准确的问题,在解决了三维显示过程中存在深度反转问题的同时,还提高了输入端微图像阵列映射到显示端微图像阵列时的准确性。
在上述各实施例的基础上,进一步的,利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面,包括:
利用预设方法获取目标物体的深度信息;
根据深度信息确定目标物体的表面,根据表面确定参考面。
其中,可以利用现有的获取深度信息的方法获取目标物体的深度信息,优选的,由于输入端的微图像阵列中各个微图像之间均存在视差,因此,可以通过立体匹配算法匹配出输入端的微图像阵列中任意两个微图像中对应的像素点,根据三角原理计算出视差信息,并将视差信息转换为表征目标物体或场景的深度信息;还可以通过输入端的微图像阵列来获得目标物体或场景的深度图像,根据深度图像获取目标物体或场景的深度信息等。
由于目标物体或场景的深度信息可以反映出目标物体或场景的表面各点之间的相对位置,因此,在确定目标物体或场景的深度信息后,优选可以利用深度信息确定出目标物体或场景的表面。根据目标物体或场景的表面来确定智能伪视到正视转换算法对应的参考面。
优选的,根据目标物体或场景的表面确定参考面,可以包括:
将表面确定为参考面;或者,
若表面包含至少一个自由曲面时,则利用拟合算法,计算与至少一个自由曲面相对应的至少一个平面,并将拟合后的表面形成的曲折面作为参考面。
具体的,由于参考平面的位置越接近目标物体或场景,利用该参考平面映射出的显示端的微图像阵列相对于输入端的微图像阵列越准确。基于此,为了提高显示端微图像阵列映射的准确性,可以将目标物体或场景的表面作为参考平面,使得参考平面的位置与目标物体或场景无限接近。此外,如果目标物体或场景的表面包含至少一个自由曲面,且该自由曲面对应的曲率低于预设阈值(即近似于平面),则为了减少映射过程中的计算量,可以利用拟合算法将目标物体或场景的表面包含的至少一个自由曲面拟合成为至少一个平面,拟合后的表面不再包含自由曲面,而是由拟合后的至少一个平面和原始表面中的原始各平面形成的曲折面,最终将拟合后得到的曲折面作为参考面。优选的,拟合算法可以是最小二乘法,利用最小二乘法将与至少一个自由曲面的偏差最小的平面作为拟合后的至少一个平面。
图1b为本实施例一所提供的一种基于现有方法确定的参考平面的智能伪视到正视转换算法结构示意图;图1c为本发明实施例一所提供的一种基于本实施例一提供的参考面的智能伪视到正视转换算法的结构示意图。示例性的,可以结合图1b和图1c,分别对利用现有方法确定的参考平面得到的显示端的微图像阵列的准确性和利用本实施例中的目标物体或场景的表面确定的参考面得到的显示端的微图像阵列的准确性进行详细说明。
如图1b所示,左侧为输入端的第一微透镜阵列11和第一显示面板12,右侧为显示端的第二微透镜阵列21和第二显示面板22。具体的,对于显示端的第3个(由上往下数)微透镜对应的微图像中的第5个像素,其对应采集端的第1个(由上往下数)微透镜。当选择的参考平面为参考平面31时,显示端的第3个微透镜对应的微图像中的第5个像素对应输入端的第1个微透镜对应的微图像中的第5个像素。但是,实际上,输入端的第1个微透镜对应的微图像中的第5个像素对应目标物体13上的C点,而显示端的第3个微透镜对应的微图像中的第5个像素对应目标物体13上的A点。因此,由显示端的第1个微透镜对应的微图像中的第5个像素映射到显示端的第3个微透镜对应的微图像中的第5个像素是不准确的。当选择的参考平面为参考平面32时,显示端的第3个微透镜对应的微图像中的第5个像素对应输入端的第1个微透镜对应的微图像中的第4个像素,此时,输入端的第1个微透镜对应的微图像中的第4个像素对应目标物体13上的B点。虽然,B点相对于C点而言距离A点比较近,但是,利用这种参考平面得到的显示端的微图像阵列是不准确的。
如图1c所示,左侧为输入端的第一微透镜阵列11和第一显示面板12,右侧为显示端的第二微透镜阵列21和第二显示面板22。具体的,对于显示端的第3个(由上往下数)微透镜对应的微图像中的第5个像素,其对应采集端的第1个(由上往下数)微透镜。当选择的参考平面为参考平面13时,显示端的第3个微透镜对应的微图像中的第5个像素对应输入端的第1个微透镜对应的微图像中的第3个像素和第4个像素之间的点。实际上,输入端的第1个微透镜对应的微图像中的第3个像素和第4个像素之间的点对应目标物体13上的A点,而显示端的第3个微透镜对应的微图像中的第5个像素也对应目标物体13上的A点。此时,利用这种参考平面得到的显示端的微图像阵列是准确的。
在上述各实施例的基础上,进一步的,利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,包括:
利用智能伪视到正视转换算法,确定与显示端的微图像阵列中微图像的像素对应的输入端的微图像阵列的图像序号。
具体的,可以采用如下公式,确定与显示端的微图像阵列中第j个微图像的第m个像素相对应的输入端的微图像阵列的图像序号ij,m
其中,ps为显示端各微透镜之间的间距,pD为输入端各微透镜之间的间距,D为输入端微透镜所在平面到显示端微透镜所在平面之间的直线距离,ns为显示端每个微图像所包含的像素数量,gs为显示端微图像所在平面到显示端微透镜所在平面之间的直线距离。
利用参考面和智能伪视到正视转换算法,确定输入端的微图像阵列中与图像序号对应的微图像中,与显示端的微图像阵列中微图像的像素对应的像素序号。
具体的,可以采用如下公式,确定输入端的微图像阵列中与图像序号ij,m对应的微图像中,与显示端的微图像阵列中第j个微图像的第m个像素对应的像素序号lj,m
其中,nD为输入端每个微图像所包含的像素数量,gD为输入端微图像所在平面到输入端微透镜所在平面之间的直线距离,ds为显示端微透镜阵列到参考面之间的距离,dD为输入端微透镜阵列到参考面之间的距离。
示例性的,显示端的微图像阵列中第j个微图像的第m个像素对应目标物体表面上的M点,输入端的微图像阵列中第ij,m个微图像的第lj,m个像素也对应目标物体表面上的M点,则过M点做与输入端或显示端的微透镜阵列所在的平面平行,且与输入端的微透镜阵列所在平面和显示端的微透镜阵列所在平面之间的水平连线垂直的直线。此时,ds为显示端的微图像阵列中第j个微图像对应的微透镜的中心点到上述直线之间的水平距离,dD为输入端的微图像阵列中第ij,m个微图像对应的微透镜的中心点到上述直线之间的水平距离。
如图1c所示,ds为显示端的微图像阵列中第3个微图像对应的微透镜的中心点到过目标物体表面上的A点的垂线(图中过A点的虚线)之间的水平距离;dD为输入端的微图像阵列中第1个微图像对应的微透镜的中心点到过目标物体表面上的A点的垂线(图中过A点的虚线)之间的水平距离。
根据确定的图像序号以及像素序号,将像素序号对应的像素值赋予显示端的微图像阵列中微图像的像素,得到显示端的微图像阵列。
示例性的,确定了输入端的第1个微透镜对应的微图像中的第3个像素对应显示端的第3个微透镜对应的微图像中的第5个像素,则可以将输入端的第1个微透镜对应的微图像中的第3个像素的像素值赋予显示端的第3个微透镜对应的微图像中的第5个像素,基于此规则,将像素序号对应的像素值赋予显示端的微图像阵列中微图像的像素,得到显示端的微图像阵列。
优选的,当像素序号lj,m对应的公式中的像素序号取值不是整数时,将像素序号对应的像素值赋予显示端的微图像阵列中微图像的像素,包括:
利用插值算法对图像序号为ij,m的输入端的微图像中的各像素值进行插值处理,得到像素序号取值对应的像素值,并将像素序号取值对应的像素值赋予显示端的微图像阵列中第j个微图像的第m个像素。
为了使映射得到的显示端的微图像阵列更加准确,当像素序号lj,m对应的公式中的像素序号取值不是整数时,此时,不再对像素序号进行取整处理,而是基于现有不是整数的像素序号,利用插值算法对输入端的微图像中的各像素值进行插值处理,得到现有不是整数的像素序号对应的像素值,并将插值后得到的像素值赋予显示端的微图像阵列中相对应的像素点。
实施例二
图2是本发明实施例二中的一种集成成像三维显示装置的结构示意图。如图2所示,集成成像三维显示装置包括:
输入端微图像阵列采集模块210,用于基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
参考面获取模块220,用于利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
三维显示模块230,用于利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示。
本实施例提供的集成成像三维显示装置,通过输入端微图像阵列采集模块基于第一微透镜阵列采集目标物体的输入端的微图像阵列,基于参考面获取模块,利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面,并通过三维显示模块利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示,克服了利用现有参考平面得到的映射结果不准确的问题,在解决了三维显示过程中存在深度反转问题的同时,还提高了输入端微图像阵列映射到显示端微图像阵列时的准确性。
在上述各实施例的基础上,进一步的,参考面获取模块220具体可以包括:
深度信息获取单元,用于利用预设方法获取目标物体的深度信息;
参考面确定单元,用于根据深度信息确定目标物体的表面,根据表面确定参考面,其中,表面包括至少一个自由曲面。
进一步的,参考面确定单元具体可以用于:
将表面确定为参考面;或者,
利用拟合算法,计算与至少一个自由曲面相对应的各平面,并将各平面组成的曲折面作为参考面。
进一步的,三维显示模块230具体可以包括:
图像序号确定单元,用于利用智能伪视到正视转换算法,确定与显示端的微图像阵列中微图像的像素对应的输入端的微图像阵列的图像序号;
像素序号确定单元,用于利用参考面和智能伪视到正视转换算法,确定输入端的微图像阵列中与图像序号对应的微图像中,与显示端的微图像阵列中微图像的像素对应的像素序号;
显示端微图像阵列获取单元,用于根据确定的图像序号以及像素序号,将像素序号对应的像素值赋予显示端的微图像阵列中微图像的像素,得到显示端的微图像阵列。
具体的,可以采用如下公式,确定与显示端的微图像阵列中第j个微图像的第m个像素相对应的输入端的微图像阵列的图像序号ij,m
其中,ps为显示端各微透镜之间的间距,pD为输入端各微透镜之间的间距,D为输入端微透镜所在平面到显示端微透镜所在平面之间的直线距离,ns为显示端每个微图像所包含的像素数量,gs为显示端微图像所在平面到显示端微透镜所在平面之间的直线距离。
具体的,可以采用如下公式,确定输入端的微图像阵列中与图像序号ij,m对应的微图像中,与显示端的微图像阵列中第j个微图像的第m个像素对应的像素序号lj,m
其中,nD为输入端每个微图像所包含的像素数量,gD为输入端微图像所在平面到输入端微透镜所在平面之间的直线距离,ds为显示端微透镜阵列到参考面之间的距离,dD为输入端微透镜阵列到参考面之间的距离。
进一步的,显示端微图像阵列获取单元,具体可以用于:
当像素序号lj,m对应的公式中的像素序号取值不是整数时,利用插值算法对图像序号为ij,m的输入端的微图像中的各像素值进行插值处理,得到像素序号取值对应的像素值,并将像素序号取值对应的像素值赋予显示端的微图像阵列中第j个微图像的第m个像素。
本发明实施例所提供的集成成像三维显示装置可执行本发明任意实施例所提供的集成成像三维显示方法,具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的集成成像三维显示设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性集成成像三维显示设备312的框图。图3显示的集成成像三维显示设备312仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,集成成像三维显示设备312以通用计算设备的形式表现。集成成像三维显示设备312的组件可以包括但不限于:一个或者多个处理器316,存储器328,连接不同系统组件(包括存储器328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
集成成像三维显示设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被集成成像三维显示设备312访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器328可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)330和/或高速缓存存储器332。集成成像三维显示设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储装置334可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储器328可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块342的程序/实用工具340,可以存储在例如存储器328中,这样的程序模块342包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块342通常执行本发明所描述的实施例中的功能和/或方法。
集成成像三维显示设备312也可以与一个或多个外部设备314(例如键盘、指向设备、显示器324等,其中,显示器324可根据实际需要决定是否配置)通信,还可与一个或者多个使得用户能与该集成成像三维显示设备312交互的设备通信,和/或与使得该集成成像三维显示设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且,集成成像三维显示设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器320通过总线318与集成成像三维显示设备312的其它模块通信。应当明白,尽管图3中未示出,可以结合集成成像三维显示设备312使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器316通过运行存储在存储器328中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的集成成像三维显示方法。
实施例四
本发明实施例四提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的集成成像三维显示方法,包括:
基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
利用目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
利用参考面和智能伪视到正视转换算法,将输入端的微图像阵列转换为显示端的微图像阵列,并利用显示端的微图像阵列进行目标物体的三维显示。
当然,本发明实施例所提供的计算机可读存储介质,其上存储的计算机程序不限于执行如上所述的方法操作,还可以执行本发明任意实施例所提供的基于集成成像三维显示设备的集成成像三维显示方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种集成成像三维显示方法,其特征在于,包括:
基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
利用所述目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
利用所述参考面和所述智能伪视到正视转换算法,将所述输入端的微图像阵列转换为显示端的微图像阵列,并利用所述显示端的微图像阵列进行所述目标物体的三维显示。
2.根据权利要求1所述的方法,其特征在于,所述利用所述目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面,包括:
利用预设方法获取所述目标物体的深度信息;
根据所述深度信息确定目标物体的表面,根据所述表面确定所述参考面。
3.根据权利要求2所述的方法,其特征在于,根据所述表面确定所述参考面,包括:
将所述表面确定为所述参考面;或者,
若所述表面包括至少一个自由曲面,则利用拟合算法,计算与所述至少一个自由曲面相对应的至少一个平面,并将拟合后的所述表面形成的曲折面作为所述参考面。
4.根据权利要求1所述的方法,其特征在于,所述利用所述参考面和所述智能伪视到正视转换算法,将所述输入端的微图像阵列转换为显示端的微图像阵列,包括:
利用所述智能伪视到正视转换算法,确定与所述显示端的微图像阵列中微图像的像素对应的所述输入端的微图像阵列的图像序号;
利用所述参考面和所述智能伪视到正视转换算法,确定所述输入端的微图像阵列中与所述图像序号对应的微图像中,与所述显示端的微图像阵列中微图像的像素对应的像素序号;
根据确定的图像序号以及像素序号,将所述像素序号对应的像素值赋予所述显示端的微图像阵列中微图像的像素,得到所述显示端的微图像阵列。
5.根据权利要求4所述的方法,其特征在于,采用如下公式,确定与所述显示端的微图像阵列中第j个微图像的第m个像素相对应的所述输入端的微图像阵列的图像序号ij,m
其中,ps为显示端各微透镜之间的间距,pD为输入端各微透镜之间的间距,D为输入端微透镜所在平面到显示端微透镜所在平面之间的直线距离,ns为显示端每个微图像所包含的像素数量,gs为显示端微图像所在平面到显示端微透镜所在平面之间的直线距离。
6.根据权利要求5所述的方法,其特征在于,采用如下公式,确定所述输入端的微图像阵列中与所述图像序号ij,m对应的微图像中,与所述显示端的微图像阵列中第j个微图像的第m个像素对应的像素序号lj,m
其中,nD为输入端每个微图像所包含的像素数量,gD为输入端微图像所在平面到输入端微透镜所在平面之间的直线距离,ds为显示端微透镜阵列到参考面之间的距离,dD为输入端微透镜阵列到参考面之间的距离。
7.根据权利要求6所述的方法,其特征在于,当所述像素序号lj,m对应的公式中的像素序号取值不是整数时,所述将所述像素序号对应的像素值赋予所述显示端的微图像阵列中微图像的像素,包括:
利用插值算法对所述图像序号为ij,m的输入端的微图像中的各像素值进行插值处理,得到所述像素序号取值对应的像素值,并将所述像素序号取值对应的像素值赋予所述显示端的微图像阵列中第j个微图像的第m个像素。
8.一种集成成像三维显示装置,其特征在于,包括:
输入端微图像阵列采集模块,用于基于第一微透镜阵列采集目标物体的输入端的微图像阵列;
参考面获取模块,用于利用所述目标物体的深度信息,确定与智能伪视到正视转换算法对应的参考面;
三维显示模块,用于利用所述参考面和所述智能伪视到正视转换算法,将所述输入端的微图像阵列转换为显示端的微图像阵列,并利用所述显示端的微图像阵列进行所述目标物体的三维显示。
9.一种集成成像三维显示设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的集成成像三维显示方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的集成成像三维显示方法。
CN201810929517.7A 2018-08-15 2018-08-15 一种集成成像三维显示方法、装置、设备及存储介质 Active CN108965853B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810929517.7A CN108965853B (zh) 2018-08-15 2018-08-15 一种集成成像三维显示方法、装置、设备及存储介质
PCT/CN2018/121747 WO2020034515A1 (zh) 2018-08-15 2018-12-18 集成成像三维显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810929517.7A CN108965853B (zh) 2018-08-15 2018-08-15 一种集成成像三维显示方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108965853A true CN108965853A (zh) 2018-12-07
CN108965853B CN108965853B (zh) 2021-02-19

Family

ID=64469099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810929517.7A Active CN108965853B (zh) 2018-08-15 2018-08-15 一种集成成像三维显示方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN108965853B (zh)
WO (1) WO2020034515A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225329A (zh) * 2019-07-16 2019-09-10 中国人民解放军陆军装甲兵学院 一种无赝像单元图像合成方法及系统
CN110418125A (zh) * 2019-08-05 2019-11-05 长春理工大学 一种集成成像系统的元素图像阵列快速生成方法
WO2020034515A1 (zh) * 2018-08-15 2020-02-20 张家港康得新光电材料有限公司 集成成像三维显示方法、装置、设备及存储介质
CN113031262A (zh) * 2021-03-26 2021-06-25 中国人民解放军陆军装甲兵学院 一种集成成像系统显示端像素值计算方法及系统
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300113A (zh) * 2011-09-03 2011-12-28 四川大学 基于稀疏摄像机阵列的集成成像微图像阵列生成方法
CN104519341A (zh) * 2015-01-08 2015-04-15 四川大学 一种任意倾斜角度的集成成像微图像阵列的生成方法
KR20150091838A (ko) * 2014-02-04 2015-08-12 동서대학교산학협력단 초다시점형 3차원 디스플레이 시스템
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
US20170171460A1 (en) * 2014-09-11 2017-06-15 Fujifilm Corporation Imaging device, imaging device body, and lens barrel
CN107991856A (zh) * 2016-10-26 2018-05-04 上海盟云移软网络科技股份有限公司 一种多平面6d全息光场成像方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9197877B2 (en) * 2011-11-22 2015-11-24 Universitat De Valéncia Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display
CN104954779B (zh) * 2015-06-23 2017-01-11 四川大学 一种集成成像三维显示中心深度平面的调节方法
CN105578170B (zh) * 2016-01-04 2017-07-25 四川大学 一种基于深度数据的集成成像微图像阵列方向性映射方法
CN108965853B (zh) * 2018-08-15 2021-02-19 张家港康得新光电材料有限公司 一种集成成像三维显示方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300113A (zh) * 2011-09-03 2011-12-28 四川大学 基于稀疏摄像机阵列的集成成像微图像阵列生成方法
KR20150091838A (ko) * 2014-02-04 2015-08-12 동서대학교산학협력단 초다시점형 3차원 디스플레이 시스템
US20170171460A1 (en) * 2014-09-11 2017-06-15 Fujifilm Corporation Imaging device, imaging device body, and lens barrel
CN104519341A (zh) * 2015-01-08 2015-04-15 四川大学 一种任意倾斜角度的集成成像微图像阵列的生成方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其系统
CN107991856A (zh) * 2016-10-26 2018-05-04 上海盟云移软网络科技股份有限公司 一种多平面6d全息光场成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
仲昭龙: "《基于感知结构的改进集成成像重建技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
徐茵: "《集成成像三维显示光场转换与重构方法研究》", 《中国博士学位论文全文数据库 信息科技辑》 *
陈琦,等: "《基于光场相机的深度面光场计算重构》", 《光学精密工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034515A1 (zh) * 2018-08-15 2020-02-20 张家港康得新光电材料有限公司 集成成像三维显示方法、装置、设备及存储介质
CN110225329A (zh) * 2019-07-16 2019-09-10 中国人民解放军陆军装甲兵学院 一种无赝像单元图像合成方法及系统
CN110418125A (zh) * 2019-08-05 2019-11-05 长春理工大学 一种集成成像系统的元素图像阵列快速生成方法
CN110418125B (zh) * 2019-08-05 2021-06-15 长春理工大学 一种集成成像系统的元素图像阵列快速生成方法
CN113031262A (zh) * 2021-03-26 2021-06-25 中国人民解放军陆军装甲兵学院 一种集成成像系统显示端像素值计算方法及系统
CN113031262B (zh) * 2021-03-26 2022-06-07 中国人民解放军陆军装甲兵学院 一种集成成像系统显示端像素值计算方法及系统
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质

Also Published As

Publication number Publication date
WO2020034515A1 (zh) 2020-02-20
CN108965853B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN108965853A (zh) 一种集成成像三维显示方法、装置、设备及存储介质
Sturm et al. Camera models and fundamental concepts used in geometric computer vision
EP3099056B1 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
Chang et al. Multi-view 3D reconstruction for scenes under the refractive plane with known vertical direction
CN108288292A (zh) 一种三维重建方法、装置及设备
CN108353188B (zh) 用于编码光场内容的方法
CN112894832A (zh) 三维建模方法、装置、电子设备和存储介质
JP6657214B2 (ja) 画像ベースの深さ検知システムの精度測定
CN108292431B (zh) 光场数据表示
CN106920279A (zh) 三维地图构建方法和装置
CN109040736A (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
CN102903101B (zh) 使用多台相机进行水面数据采集与重建的方法
EP3398161B1 (en) A method and an apparatus for generating data representative of a pixel beam
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
KR20120018915A (ko) 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
KR102530278B1 (ko) 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
CN110232707A (zh) 一种测距方法及装置
CN106228613B (zh) 一种虚拟立体场景的构建方法、装置及立体显示设备
US20180260968A1 (en) An apparatus and a method for generating data representing a pixel beam
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
Bakstein et al. Non-central cameras: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant