CN103260046A - 一种三维显示方法及系统 - Google Patents

一种三维显示方法及系统 Download PDF

Info

Publication number
CN103260046A
CN103260046A CN2012100349846A CN201210034984A CN103260046A CN 103260046 A CN103260046 A CN 103260046A CN 2012100349846 A CN2012100349846 A CN 2012100349846A CN 201210034984 A CN201210034984 A CN 201210034984A CN 103260046 A CN103260046 A CN 103260046A
Authority
CN
China
Prior art keywords
image
arrowband
frame
left eye
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100349846A
Other languages
English (en)
Inventor
贺菲菲
李敬源
潘志斌
李达
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2012100349846A priority Critical patent/CN103260046A/zh
Priority to PCT/CN2012/073411 priority patent/WO2013120308A1/zh
Publication of CN103260046A publication Critical patent/CN103260046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor

Abstract

本发明公开一种三维显示方法,包括:绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列和右眼环景观察窄带图像序列;对左眼环景观察窄带图像序列和右眼环景观察窄带图像序列进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;对得到的左眼和右眼的立体全景图像对进行输出显示;本发明还提供一种三维显示系统。根据本发明的技术方案,能够高效的实现单目相机的三维立体显示。

Description

一种三维显示方法及系统
技术领域
本发明涉及单目相机的显示技术,尤其涉及一种三维显示方法及系统。
背景技术
随着社会的发展,目前通常的二维平面显示已不能满足用户的需求,用户希望显示器能真实的还原显示出空间的三维信息。三维(3D,Three Dimensions)立体显示技术的基础是双目视差原理,如图1所示,所谓双目视差是指观看者的两眼间有一定的瞳距,在观看物体时左眼和右眼所接收到的视觉图像略有差异,所以能够感知到图像的空间深度信息。基于双目视差原理的三维立体显示为观看者的左右眼分别提供同一场景的立体图像对,采用光学等手段让观看者的左眼和右眼分别只看到相对应的图像,从而让观察者感知到图像的立体信息。
基于双目视差原理的三维立体显示技术通常应用不同的图像处理方法获得模拟人眼观察的空间景物左眼图像和右眼图像,并通过特定的显示方法将两个图像分别输出给左眼和右眼,观看者即可在大脑中感知到景物立体信息。
现阶段能够获取到三维图像的产品有很多,通常为单镜头三维拍摄产品,如索尼爱立信LT18i是根据位移式三维成像原理,相机以高速连拍方式获取一系列的图像,相机内的影像处理器(BIONZ)会根据相邻图片之间的视差信息对拍摄的图像进行提取,从而获得符合左右眼观察的两组图像序列,最后影像处理器(BIONZ)会将这两组图片序列各自拼接成左眼和右眼全景图像,通过不同的三维显示设备进行显示。这种三维全景显示技术,需要实时筛选帧内具有视差效果的图片对,之后整张进行拼接,在整个过程中,不能保证对每部分景物提取的视差信息均匀一致,没有全程模拟人眼观察的效果。
耶路撒冷的希伯来大学计算机科学技术实验室的三维全景显示小组,曾提出获取三维立体图像对的图像捕获方法:环景心投影法。这种方法能够全面的模拟人眼观察的模式,其立体信息获取的效果可以同双目相机媲美。然而在全景拼接的过程中,该实验室选用的基于区域的拼接方式,计算量大且过程复杂,系统拼接时间长效率低。
发明内容
有鉴于此,本发明的主要目的在于提供一种三维显示方法及系统,能够高效的实现单目相机的三维立体显示。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供一种三维显示方法,包括:
步骤A、绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;
步骤B、根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
步骤C、对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;
步骤D、对得到的左眼和右眼的立体全景图像对进行输出显示。
上述方法中,所述绕固定轴心旋转拍摄视频为:应用单目相机,在目标景物区域绕固定轴心由左至右或由右至左的旋转拍摄视频。
上述方法中,所述步骤B为:
对于拍摄的视频中图像序列中的每一帧,根据环景心投影原理,沿中心轴线左右两侧对称的部分,分割两条窄带图像,得到左眼窄带图像和右眼窄带图像,将左眼窄带图像作为右眼环形观察图像,将右眼窄带图像作为左眼环形观察图形,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
上述方法中,所述步骤C为:
步骤C1、对S2和S3进行冗余帧筛除处理;
步骤C2、对筛除冗余帧的S2和S3进行SIFT特征提取处理;
步骤C3、对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
步骤C4、对经过特征点匹配处理的S2和S3进行立体全景图像拼接。
上述方法中,所述步骤C1为:
对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行冗余帧筛除处理,从当前帧的下一帧起,对比当前图像帧的SIFT特征点与之后每一帧图像的SIFT特征点匹配数量,选取SIFT特征点匹配数量最少但不为零的图像帧作为立体全景拼接的下一部分。
上述方法中,所述步骤C2为:
对筛除冗余帧的左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3中的每个图像帧进行尺度空间极值的提取、特征点定位、方向分配和特征点描述子生成处理;以SIFT特征点为中心取16×16块,创立描述子生成窗口,对其中每4×4的小块窗口,计算高斯图像梯度在8个方向上的投影累加值,得到128维的矢量,对所述128维的矢量进行归一化处理,得到SIFT特征算子。
上述方法中,所述步骤C3为:
在对S2和S3进行SIFT特征提取处理后,在S2和S3中,从第一帧开始,采用部分距离搜索算法对当前图像帧与后一图像帧的SIFT特征点进行加速匹配,当前SIFT特征点x与当前SIFT特征点x最接近的SIFT特征点yp二者之间距离为dmin=d(x,yp),对于下一SIFT特征点yi,有
Figure BDA0000136166370000031
如果特征点yi与x的距离d(x,yi)>dmin,则SIFT特征点yi不匹配;反之,SIFT特征点yi匹配。
上述方法中,所述步骤C4为:
根据环景心投影原理对经过特征点匹配处理的S2和S3进行立体全景图像拼接,根据当前图像帧内所取狭缝像素带的邻域带的图像,对拼接的缝合区域进行估计,取出当前图像帧的狭缝像素带以及狭缝像素带的邻域带,同时与下一个图像帧进行比对,沿匹配的SIFT特征点形成曲线对两幅图像进行拼接,并在拼接缝区域进行均匀过渡,得到左眼和右眼的立体全景图像对。
本发明还提供一种三维显示系统,包括:图像采集子系统、图像分割子系统、图像拼接子系统、图像输出子系统;其中,
图像采集子系统,用于绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;
图像分割子系统,用于根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
图像拼接子系统,用于对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;
图像输出子系统,用于对得到的左眼和右眼的立体全景图像对进行输出显示。
上述系统中,所述图像拼接子系统进一步包括:
冗余帧筛除模块,用于对S2和S3进行冗余帧筛除处理;
特征提取模块,用于对筛除冗余帧的S2和S3进行SIFT特征提取处理;
加速匹配模块,用于对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
图像拼接模块,用于对经过特征点匹配处理的S2和S3进行立体全景图像拼接。
本发明提供的三维显示方法及系统,绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列和右眼环景观察窄带图像序列;对左眼环景观察窄带图像序列和右眼环景观察窄带图像序列进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;对得到的左眼和右眼的立体全景图像对进行输出显示,能够高效的实现单目相机的三维立体显示,满足用户的需求,具有更好的立体视觉效果。
附图说明
图1是现有技术中三维立体显示技术的原理示意图;
图2是本发明实现三维显示方法的流程示意图;
图3是本发明环景心投影的方法示意图;
图4是本发明中利用单目相机模拟的狭缝相机的位置示意图;
图5是本发明中利用单目相机模拟狭缝相机的示意图;
图6是本发明实现步骤203的具体方法的流程示意图;
图7是本发明实现三维显示系统的结构示意图。
具体实施方式
本发明的基本思想是:绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列和右眼环景观察窄带图像序列;对左眼环景观察窄带图像序列和右眼环景观察窄带图像序列进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;对得到的左眼和右眼的立体全景图像对进行输出显示。
下面通过附图及具体实施例对本发明再做进一步的详细说明。
本发明提供一种三维显示方法,图2是本发明实现三维显示方法的流程示意图,如图2所示,该方法包括以下步骤:
步骤201,绕固定轴心旋转拍摄视频,该视频作为三维显示的视频素材;
具体的,应用单目相机,在目标景物区域绕固定轴心由左至右或由右至左的旋转拍摄一段视频,该视频作为三维显示的视频素材。
步骤202,根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
具体的,对于拍摄的视频中图像序列中的每一帧,根据环景心投影原理,沿中心轴线左右两侧对称的部分,分割两条窄带图像,得到左眼窄带图像和右眼窄带图像;将左眼窄带图像作为右眼环形观察图像,将右眼窄带图像作为左眼环形观察图形,同时由于对拍摄的视频中图像序列中的每一帧都进行窄带分割处理,因此可以得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
如图3所示,所述环景心投影相当于将一对模拟人眼放置的相机平行放置,并以两相机连线的中点为轴进行旋转,对全景视场进行拍摄;环景心投影不会在两相机连线方向进行重叠拍摄,因而没有三维显示的盲区;通常,环景心投影的图像可以通过狭缝相机进行拍摄,狭缝相机的底片除了一个狭窄细缝外均被遮盖,相机只沿光圈与狭缝的连线方向取像,如图4所示,当狭缝相机如图4(c)所示的位置设置时,狭缝固定在相机底片偏左或偏右的位置,当狭缝相机绕中心轴旋转时,对场景拍摄的效果如图3(a)所示,图3(a)所示的为环景心投影的其中一部分;如果狭缝相机的底片左右对称位置各有一狭缝,则通过旋转这样的狭缝相机,得到环景观察窄带图像序列,进而可以拼接环景心模式的左右眼立体全景图像;
如图5所示,本发明中是使用常见的单目相机,通过在偏离图像中心距离为v的左右两部分,各取一个宽度相同的窄带图像,即可模拟狭缝相机的成像效果。
步骤203,对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对。
步骤204,对得到的左眼和右眼的立体全景图像对进行输出显示。
图6是本发明实现步骤203的具体方法的流程示意图,如图6所示,该方法包括以下步骤:
步骤601,对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行冗余帧筛除处理;
具体的,对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行冗余帧筛除处理,由于视频中相邻图像帧间差异大小不一,通常情况下相邻图像帧只发生很小的移位,当逐帧进行全景扩充时,每个图像帧能添加进的景物信息很少;此外,事实上拼接全景所需的像素带个数远小于视频中图像帧的个数,所以很多图像帧内的图像带不需要参与全景拼接的处理过程;从当前帧的下一帧起,对比当前图像帧的尺度不变特征变换(SIFT,Scale-invariantFeature Transform)特征点与之后每一帧图像的SIFT特征点匹配数量,显然,匹配点数将逐帧减少至零个,选取SIFT特征点匹配数量最少但不为零的图像帧作为立体全景拼接的下一部分,该图像帧既能保证与当前图像帧有重合部分,使得拼接立体全景完整无损失,又能最多的引入新的场景信息,能够节省运算时间;例如,按照椭圆分布的黑点即为当前图像帧的SIFT特征点,可以看出第五个图像帧中包含的匹配的SIFT特征点数目最少且不为零,所以直接选取第五个图像帧与当前图像帧进行拼接,就可以向第一帧中引入最多的场景信息,第二个图像帧、第三个图像帧、第四个图像帧可不参与运算。
步骤602,对筛除冗余帧的S2和S3进行SIFT特征提取处理;
具体的,对筛除冗余帧的左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行全景拼接,首先对每个图像帧进行SIFT特征提取处理;具体的提取过程主要包括:尺度空间极值的提取、特征点定位、方向分配和特征点描述子生成;经过上述提取过程,SIFT特征点的位置、尺度、方向信息都可以得到,之后以SIFT特征点为中心取16×16块,创立描述子生成窗口,该描述子生成窗口的坐标轴梯度方向与SIFT特征点一致,对其中每4×4的小块窗口,计算高斯图像梯度在8个方向上的投影累加值,得到128维的矢量,对该生成的128维的矢量进行归一化处理,即得到具有缩放、旋转、仿射变换尺度不变形的SIFT特征算子。
步骤603,对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
具体的,在对S2和S3进行SIFT特征提取处理后,在S2和S3中,从第一帧开始,对当前图像帧与后一图像帧的SIFT特征点进行加速匹配;
对于每个狭缝图像,都能提取出数百个SIFT特征点,每个SIFT特征点为包含128维的矢量,在拼接的重要环节即特征点匹配的处理过程中,匹配的快慢和精度决定了立体全景图像拼接的速度和质量,对图像帧中每个128维的矢量的SIFT特征点,在匹配的狭缝图像的数百个SIFT特征点中进行全搜索,这一过程需要很大的计算量,花费很多的时间,实际应用中通常采用部分距离搜索算法,能够加快SIFT特征点的匹配处理速度;
其中,部分距离搜索算法是指在矢量匹配的搜索过程中,通过引入一个提前退出条件,较早地终止输入矢量与待匹配矢量间的距离计算,部分距离搜索算法应用于特征点匹配的处理过程中,即在已知当前SIFT特征点x与当前SIFT特征点x最接近的SIFT特征点yp二者之间距离为dmin=d(x,yp),计算下一个SIFT特征点的yi与x距离时,始终判断已经参与累加的j维距离是否已超出当前的最小距离dmin,如果超出当前的最小距离dmin,则终止该SIFT特征点yi与x距离的计算。
基于部分距离搜索算法判断特征点是否匹配的方法为:设当前SIFT特征点为x,与当前SIFT特征点x最接近的SIFT特征点yp二者之间距离为dmin=d(x,yp),如果对于下一SIFT特征点yi,有
Figure BDA0000136166370000081
如果特征点yi与x的距离d(x,yi)>dmin,则SIFT特征点yi可以判为不匹配;反之,SIFT特征点yi可以判为匹配;
通过对应特征点的位置移动信息估算相邻的图像帧间的移位,从而对相邻的图像帧进行拼接,依次处理所有图像帧,得到对应序列的立体全景图像。
步骤604,对经过特征点匹配处理的S2和S3进行立体全景图像拼接;
具体的,根据环景心投影原理对经过特征点匹配处理的S2和S3进行立体全景图像拼接,可以巧妙的从一系列图像帧中拼接出左眼和右眼的立体全景图像对,但每帧图像仅使用两个狭缝像素带,其余信息没有得到有效的利用,而实际上,由于拍摄的景物是一致的,因此当前狭缝像素带中拼入的下一帧的狭缝像素带的信息,与当前图像已有的狭缝像素带的邻域带的信息有很大的相关性;由于场景是固定的,当前狭缝像素带的拼接图像和下一部分的狭缝像素带的拼接图像,都是后一部分场景在不同角度拍摄的结果;
根据当前图像帧内所取狭缝像素带的邻域带的图像,对拼接的缝合区域进行估计,通过对冗余帧的筛除,当前图像帧与拼接图像帧的匹配的SIFT特征点的数量较少,如果仅仅根据匹配的SIFT特征点的移位信息,对两帧图像直接拼接,连接缝隙处的不衔接点较多;如果取出当前图像帧的狭缝像素带以及狭缝像素带的邻域带,同时与下一个图像帧进行比对,沿匹配的SIFT特征点形成曲线对两幅图像进行拼接,并在拼接缝区域进行均匀过渡,即可得到更理想的图像效果。
为实现上述方法,本发明还提供一种三维显示系统,图7是本发明实现三维显示系统的结构示意图,如图7所示,该系统包括:图像采集子系统71、图像分割子系统72、图像拼接子系统73、图像输出子系统74;其中,
图像采集子系统71,用于绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;
图像分割子系统72,用于根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
图像拼接子系统73,用于对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;
图像输出子系统74,用于对得到的左眼和右眼的立体全景图像对进行输出显示。
所述图像拼接子系统73进一步包括:
冗余帧筛除模块731,用于对S2和S3进行冗余帧筛除处理;
特征提取模块732,用于对筛除冗余帧的S2和S3进行SIFT特征提取处理;
加速匹配模块733,用于对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
图像拼接模块734,用于对经过特征点匹配处理的S2和S3进行立体全景图像拼接。
其中,图像分割子系统72根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3为:对于拍摄的视频中图像序列中的每一帧,根据环景心投影原理,沿中心轴线左右两侧对称的部分,分割两条窄带图像,得到左眼窄带图像和右眼窄带图像,将左眼窄带图像作为右眼环形观察图像,将右眼窄带图像作为左眼环形观察图形,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
所述冗余帧筛除模块731对S2和S3进行冗余帧筛除处理为:对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行冗余帧筛除处理,从当前帧的下一帧起,对比当前图像帧的SIFT特征点与之后每一帧图像的SIFT特征点匹配数量,选取SIFT特征点匹配数量最少但不为零的图像帧作为立体全景拼接的下一部分。
所述特征提取模块732对筛除冗余帧的S2和S3进行SIFT特征提取处理为:对筛除冗余帧的左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3中的每个图像帧进行尺度空间极值的提取、特征点定位、方向分配和特征点描述子生成处理;以SIFT特征点为中心取16×16块,创立描述子生成窗口,对其中每4×4的小块窗口,计算高斯图像梯度在8个方向上的投影累加值,得到128维的矢量,对所述128维的矢量进行归一化处理,得到SIFT特征算子。
所述加速匹配模块733对经过SIFT特征提取处理的S2和S3进行特征点匹配处理为:在对S2和S3进行SIFT特征提取处理后,在S2和S3中,从第一帧开始,采用部分距离搜索算法对当前图像帧与后一图像帧的SIFT特征点进行加速匹配,当前SIFT特征点x与当前SIFT特征点x最接近的SIFT特征点yp二者之间距离为dmin=d(x,yp),对于下一SIFT特征点yi,有如果特征点yi与x的距离d(x,yi)>dmin,则SIFT特征点yi不匹配;反之,SIFT特征点yi匹配。
所述图像拼接模块734对经过特征点匹配处理的S2和S3进行立体全景图像拼接为:根据环景心投影原理对经过特征点匹配处理的S2和S3进行立体全景图像拼接,根据当前图像帧内所取狭缝像素带的邻域带的图像,对拼接的缝合区域进行估计,取出当前图像帧的狭缝像素带以及狭缝像素带的邻域带,同时与下一个图像帧进行比对,沿匹配的SIFT特征点形成曲线对两幅图像进行拼接,并在拼接缝区域进行均匀过渡,得到左眼和右眼的立体全景图像对。
基于上述技术方案,本发明具有以下有益效果:
通过结合相关的投影方式和图像拼接方法,并对其进行改进和优化,本发明的三维显示方法和系统能够得到很好的显示效果;通过进一步的优化和提速,将本发明的技术方案应用于终端后基本可以满足用户的需求。用户在使用过程中,开始拍摄视频后,根据提示方向绕固定轴心旋转拍摄场景视频,拍摄过程中相机不要在垂直方向上放生剧烈的位移,尽量保持水平移动,相机不能移动过快,从而保证拼接画面的完整性。
基于单目相机的三维显示方法和系统系统,可以广泛应用于当前数码相机和移动终端等产品中去,不需要增配双目摄像头,仅通过内部软件的处理就能够得到具有三维效果的立体全景图像。使用者仅需要绕固定旋转中心对场景进行拍摄,就能够自动合成场景的立体图像并输出显示,从而满足人们拍摄立体图像的需求。
本发明的技术方案结合了先进的环景心投影和有效的图像匹配算法,全景图像每一部分都很好的模拟了人眼观察的模式,具有更好的立体视觉效果;此外,与富士公司的双目立体拍摄产品相比,通过加载本发明的三维显示系统,相机或手机等终端无需升级和配备昂贵的硬件设备,就能获得新颖的立体全景拍摄功能,增强产品竞争力,吸引更多的消费者。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维显示方法,其特征在于,该方法包括:
步骤A、绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;
步骤B、根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
步骤C、对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;
步骤D、对得到的左眼和右眼的立体全景图像对进行输出显示。
2.根据权利要求1所述的方法,其特征在于,所述绕固定轴心旋转拍摄视频为:应用单目相机,在目标景物区域绕固定轴心由左至右或由右至左的旋转拍摄视频。
3.根据权利要求1所述的方法,其特征在于,所述步骤B为:
对于拍摄的视频中图像序列中的每一帧,根据环景心投影原理,沿中心轴线左右两侧对称的部分,分割两条窄带图像,得到左眼窄带图像和右眼窄带图像,将左眼窄带图像作为右眼环形观察图像,将右眼窄带图像作为左眼环形观察图形,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
4.根据权利要求1所述的方法,其特征在于,所述步骤C为:
步骤C1、对S2和S3进行冗余帧筛除处理;
步骤C2、对筛除冗余帧的S2和S3进行SIFT特征提取处理;
步骤C3、对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
步骤C4、对经过特征点匹配处理的S2和S3进行立体全景图像拼接。
5.根据权利要求4所述的方法,其特征在于,所述步骤C1为:
对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行冗余帧筛除处理,从当前帧的下一帧起,对比当前图像帧的SIFT特征点与之后每一帧图像的SIFT特征点匹配数量,选取SIFT特征点匹配数量最少但不为零的图像帧作为立体全景拼接的下一部分。
6.根据权利要求4所述的方法,其特征在于,所述步骤C2为:
对筛除冗余帧的左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3中的每个图像帧进行尺度空间极值的提取、特征点定位、方向分配和特征点描述子生成处理;以SIFT特征点为中心取16×16块,创立描述子生成窗口,对其中每4×4的小块窗口,计算高斯图像梯度在8个方向上的投影累加值,得到128维的矢量,对所述128维的矢量进行归一化处理,得到SIFT特征算子。
7.根据权利要求4所述的方法,其特征在于,所述步骤C3为:
在对S2和S3进行SIFT特征提取处理后,在S2和S3中,从第一帧开始,采用部分距离搜索算法对当前图像帧与后一图像帧的SIFT特征点进行加速匹配,当前SIFT特征点x与当前SIFT特征点x最接近的SIFT特征点yp二者之间距离为dmin=d(x,yp),对于下一SIFT特征点yi,有如果特征点yi与x的距离d(x,yi)>dmin,则SIFT特征点yi不匹配;反之,SIFT特征点yi匹配。
8.根据权利要求4所述的方法,其特征在于,所述步骤C4为:
根据环景心投影原理对经过特征点匹配处理的S2和S3进行立体全景图像拼接,根据当前图像帧内所取狭缝像素带的邻域带的图像,对拼接的缝合区域进行估计,取出当前图像帧的狭缝像素带以及狭缝像素带的邻域带,同时与下一个图像帧进行比对,沿匹配的SIFT特征点形成曲线对两幅图像进行拼接,并在拼接缝区域进行均匀过渡,得到左眼和右眼的立体全景图像对。
9.一种三维显示系统,其特征在于,该系统包括:图像采集子系统、图像分割子系统、图像拼接子系统、图像输出子系统;其中,
图像采集子系统,用于绕固定轴心旋转拍摄视频,所述视频作为三维显示的视频素材;
图像分割子系统,用于根据环景心投影原理,对拍摄的视频中的每一帧进行窄带分割处理,得到左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3
图像拼接子系统,用于对左眼环景观察窄带图像序列S2和右眼环景观察窄带图像序列S3进行立体全景图像拼接,得到左眼和右眼的立体全景图像对;
图像输出子系统,用于对得到的左眼和右眼的立体全景图像对进行输出显示。
10.根据权利要求9所述的系统,其特征在于,所述图像拼接子系统进一步包括:
冗余帧筛除模块,用于对S2和S3进行冗余帧筛除处理;
特征提取模块,用于对筛除冗余帧的S2和S3进行SIFT特征提取处理;
加速匹配模块,用于对经过SIFT特征提取处理的S2和S3进行特征点匹配处理;
图像拼接模块,用于对经过特征点匹配处理的S2和S3进行立体全景图像拼接。
CN2012100349846A 2012-02-16 2012-02-16 一种三维显示方法及系统 Pending CN103260046A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2012100349846A CN103260046A (zh) 2012-02-16 2012-02-16 一种三维显示方法及系统
PCT/CN2012/073411 WO2013120308A1 (zh) 2012-02-16 2012-03-31 一种三维显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100349846A CN103260046A (zh) 2012-02-16 2012-02-16 一种三维显示方法及系统

Publications (1)

Publication Number Publication Date
CN103260046A true CN103260046A (zh) 2013-08-21

Family

ID=48963705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100349846A Pending CN103260046A (zh) 2012-02-16 2012-02-16 一种三维显示方法及系统

Country Status (2)

Country Link
CN (1) CN103260046A (zh)
WO (1) WO2013120308A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106412558A (zh) * 2016-09-08 2017-02-15 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
CN106797460A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的重建
CN108364333A (zh) * 2018-02-11 2018-08-03 成都康烨科技有限公司 基于多方向摄影拟合俯视图的方法及装置
CN110995997A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种单镜头内窥镜图像处理转换方法
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394573A (zh) * 2008-10-30 2009-03-25 清华大学 一种基于特征匹配的全景图生成方法及系统
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082918A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5390707B2 (ja) * 2010-06-24 2014-01-15 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
CN101394573A (zh) * 2008-10-30 2009-03-25 清华大学 一种基于特征匹配的全景图生成方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHMUEL PELEG, MOSHE BEN-EZRA: "《Stereo Panorama with a Single Camera》", 《 COMPUTER VISION AND PATTERN RECOGNITION,1999.IEEE COMPUTER SOCIETY CONFERENCE ON》, vol. 1, 25 June 1999 (1999-06-25), pages 395 - 401 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306921A (zh) * 2014-06-18 2016-02-03 中兴通讯股份有限公司 一种基于移动终端的三维照片拍摄方法及移动终端
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN106797460A (zh) * 2014-09-22 2017-05-31 三星电子株式会社 三维视频的重建
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN106797460B (zh) * 2014-09-22 2018-12-21 三星电子株式会社 三维视频的重建
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN106375748A (zh) * 2016-09-07 2017-02-01 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106385576A (zh) * 2016-09-07 2017-02-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106375748B (zh) * 2016-09-07 2018-05-22 深圳超多维科技有限公司 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106412558A (zh) * 2016-09-08 2017-02-15 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN108364333A (zh) * 2018-02-11 2018-08-03 成都康烨科技有限公司 基于多方向摄影拟合俯视图的方法及装置
CN110995997A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种单镜头内窥镜图像处理转换方法
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法

Also Published As

Publication number Publication date
WO2013120308A1 (zh) 2013-08-22

Similar Documents

Publication Publication Date Title
CN103260046A (zh) 一种三维显示方法及系统
EP3099056B1 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN102722080B (zh) 一种基于多镜头拍摄的多用途立体摄像方法
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
EP3398016A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
JP2014504462A (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
US10271038B2 (en) Camera with plenoptic lens
EP3340619A1 (en) Geometric warping of a stereograph by positional constraints
CN103488040A (zh) 立体全景影像合成方法及其相关的立体摄影机
CN106254854A (zh) 三维图像的获得方法、装置及系统
CN111325693A (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN105701762B (zh) 一种图片处理方法和电子设备
EP3664433A1 (en) Information processing device, information processing method, and program, and interchangeable lens
CN101754042A (zh) 图像重构方法和图像重构系统
CN106296789B (zh) 一种虚拟植入物体在实景中穿梭的方法及终端
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
KR101121979B1 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
KR20170073937A (ko) 영상 데이터 전송 방법 및 장치, 및 3차원 영상 생성 방법 및 장치
CN114007056A (zh) 一种立体全景图像的生成方法和装置
CN115002345A (zh) 一种图像校正方法、装置、电子设备及存储介质
CN109493376A (zh) 图像处理方法和装置、存储介质及电子装置
Gurrieri et al. Depth consistency and vertical disparities in stereoscopic panoramas
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
CN111193920B (zh) 一种基于深度学习网络的视频画面立体拼接方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130821