CN104735436A - 单摄像头立体成像方法及电子设备 - Google Patents
单摄像头立体成像方法及电子设备 Download PDFInfo
- Publication number
- CN104735436A CN104735436A CN201410836611.XA CN201410836611A CN104735436A CN 104735436 A CN104735436 A CN 104735436A CN 201410836611 A CN201410836611 A CN 201410836611A CN 104735436 A CN104735436 A CN 104735436A
- Authority
- CN
- China
- Prior art keywords
- view
- row
- cutting
- pixel
- crops
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供了一种单摄像头立体成像方法及电子设备,其中单摄像头立体成像方法包括:存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直视差;根据所述第一视图和所述第三视图、生成立体图像。通过本发明实施例提供的单摄像头立体成像方法,能够实现用户通过单摄像头拍摄的图像满足生成立体图像的条件,生成正确的立体视图。
Description
技术领域
本发明涉及立体显示领域,具体涉及一种单摄像头立体成像方法及电子设备。
背景技术
随着立体显示技术发展,通过智能手机或者平板电脑观看立体影像成为用户的重要娱乐方式。在该过程中,部分用户希望能够通过携带的电子设备拍摄立体图像。为实现该目的,现有技术存在两种方案,一种时通过在智能手机或者平板电脑上配置具有一定间隔的两个摄像头,同时对两个场景进行拍摄,以获取两幅具有视差的视图;另一种方案是采用一个摄像头,由用户进行控制,在拍摄完一副视图后,移动微小距离,对同一场景拍摄另一视图,以获得具有视差的两幅视图。
第一种方案,由于需要配置两个摄像头,增加了配置成本;第二种方案中,由于用户手动控制两次拍摄的位置,因此,由于抖动或者手动控制不精确,导致拍摄的视图无法生成立体图像,例如两幅视图在垂直水平方向上不能满足约束等问题,都能够导致两幅视图不能生成立体图像。
发明内容
本发明的目的是提供一种单摄像头立体成像方法,以实现在用户手动控制单摄像头拍摄的情况下,能够生成立体图像。
为实现上述目的,本发明第一方面提供了一种单摄像头立体成像方法,该方法包括:
存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
根据所述第一视图和所述第三视图、生成立体图像。
第二方面,本发明实施例提供了一种电子设备,所述电子设备包括:
视图存储模块,用于存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
视图处理模块,用于对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
立体图像生成模块,用于根据所述第一视图和所述第三视图、生成立体图像。
第三方面,本发明实施例提供了一种电子设备,该种电子设备包括显示屏、处理器、存储器以及至少一个摄像头,所述存储器、显示屏与所述处理器电连接,所述存储器中存储有可执行代码,所述处理器调用所述存储器中的可执行代码,执行如下动作:
通过所述存储器存储用户通过一个所述摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
所述处理器对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
所述处理器根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。
本发明提供了一种单摄像头立体图像生成方法,该方法通过对用户手动控制通过一个摄像头拍摄的两幅视图,进行垂直视差约束之后,生成与参考视图具有最小垂直视差的新视图,之后根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。通过该方法,能够实现用户通过单摄像头拍摄的图像满足生成立体图像的条件,生成正确的立体视图。
附图说明
图1使用本发明实施例提供的单摄像头立体成像方法的电子设备的结构图;
图2A为本发明实施例提供的单摄像头拍摄的第一视图;
图2B为本发明实施例提供的单摄像头拍摄的第二视图;
图3为本发明实施例提供的单摄像头立体成像方法的一种实施例的流程图;
图4为通过仿射变换后生成的第三视图;
图5为本发明实施例中仿射变换矩阵建立的流程图;
图6为本发明实施例提供的单摄像头立体成像方法的另一种实施例的流程图;
图7为本发明实施例中裁剪视图的一种实施例的流程图;
图8为本发明实施例中裁剪视图的另一种实施例的流程图;
图9为经过裁剪后的两视图;
图10为本发明实施例中经过景深调整后的双视图;
图11为本发明提供的电子设备的一种实施例的结构图;
图12为本发明提供的电子设备的另一种实施例的结构图;
图13为本发明提供的手持终端的另一种实施例的结构图。
具体实施方式
以下通过附图和实施例,对本发明的技术方案做进一步的详细描述。需要注意的是,在本申请中采用的部分术语,例如“第一”、“第二”等术语,仅是为了对具有类似名称的参数进行区分,以便于所属领域的技术人员理解本申请的技术方案,并非用于限制本申请,根据不同的需求,可以对该些术语进行更换或者替换。
图1是一种电子设备的结构图,该电子设备可以是手机或者平板电脑等手持终端,由图可见,该种电子设备具有外壳11,外壳11的正面具有显示屏,外壳11的正面和背面可以分别具有一个摄像头,两个摄像头面向不同的方向,外壳内部具有存储器、处理器、电池、无线通信器件等常规器件,该些器件并非本发明实施例的重点讨论所在,因此不多赘述。
在本申请的实施例中显示屏,具有显示面板和显示面板上附着的分光器件,其中显示面板可以是LCD、LED等显示面板,分光器件可以是光栅、柱状透镜等,能够实现向用户左、右眼分别投放不同视图。在采用跟踪实现3D观看的方案中,外壳11正面的摄像头通常用于采集用户面部图像,以实现对用户追踪,确定用户眼球位置的目的。外壳11背面的摄像头14则通常由用户操作以拍摄景物或人物视图。摄像头14可以由用户操作对同一场景拍摄两幅具有视差的视图,用于形成立体图像,为便于区分,称之为第一视图和第二视图,通常第一视图在拍摄时拍摄的场景偏左,也可以被称之为左图,相应的,第二视图在拍摄时拍摄的场景偏右,也可以被称之为右图。仅作为举例,也可以将第一、第二进行调换,不作为限制。
作为举例之用,图2A和图2B分别是用户通过摄像头14对同一场景拍摄的两幅视图,由于外部原因、用户操作失误、抖动等原因,导致图2A和图2B在水平方向存在视差不一致的问题,同一场景中的同一物点在两幅视图中不处于同一水平线,不能满足生成立体图像的水平约束,导致不能生成立体图像的问题。
本申请实施例提供一种可以应用于上述电子设备的单摄像头立体图像生成方法,该方法可以通过软件和硬件结合后,作为一种应用,被应用于类似智能手机或者平板电脑等类似的电子设备中,如图3所示,该实施例可以包括:
301,存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
在该步骤中,电子设备10将用户通过单摄像头拍摄得到的两幅视图,例如图2A和图2B,为便于区分,将图2A所示视图称为第一视图,将图2B所示的视图,称为第二视图,两幅视图具有视差,水平方向存在视差不一致的问题,同一场景中的同一物点在两幅视图中不处于同一水平线,不能满足生成立体图像的水平约束,导致不能生成立体图像的问题。
302,对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
为了使得电子设备能够根据两幅视图生成立体图像,供用户观看,在该步骤中,电子设备对第二视图进行垂直视差调整,之后,将调整后的与第一视图的视差在水平方向一致的视图作为新的视图,称为第三视图,如图4所示。
需要注意的是,由于第一、第二仅仅是为了区分之用,因此,在该步骤中,调整的可以是左图、也可以是右图。
303,根据所述第一视图和所述第三视图、生成立体图像。
在步骤302中,电子设备获取到的与所述第一视图的视差在水平方向一致的第三视图与第一视图进行结合,生成立体图像,用户可以通过显示屏观看立体图像。
与所述第一视图的视差在水平方向一致的第三视图与所述第一视图具有最小垂直方向视差,理想情况下第三视图与第一视图垂直视差为0.
在一种优选的实施例中,在步骤302中电子设备对所述第二视图进行垂直视差调整时,电子设备可以通过仿射变换生成与所述第一视图的垂直视差最小的第三视图。
更具体地说,电子设备可以通过仿射变换矩阵,将第二视图进行变换,得到第三视图,该仿射变换矩阵例如可以是3x3的仿射变换矩阵M33。
其中,仿射变换矩阵M33可以通过各种方式获得,例如根据经验值、统计值进行配置,或者每次生成新的立体图像时,通过两幅视图的特征点匹配方式,建立仿射变换矩阵,从而提高仿射变换矩阵的精确度。
例如,电子设备可以根据同一物点在所述第一视图和所述第二视图中的匹配数据,拟合仿射变换矩阵;之后,根据所述仿射变换矩阵,对所述第二视图进行仿射变换,以获取所述第三视图。
如图5所示,在一种优选的实施方式中,电子设备通过如下方式拟合仿射变换矩阵,图5是建立仿射变换矩阵的一种实施例的流程图,如图5可见,所述方法包括:
S501,对所述第一视图和所述第二视图进行特征点提取,以获取所述第一视图和所述第二视图中的特征点;
具体而言,两幅视图的特征点可以也可以被称为感兴趣点、显著点、关键点等在图像局部具有一定模式的点,例如图像中不同物体的交叉点、不同颜色区域的交汇点、物体边界突变点等。
在该步骤中,显示设备可以通过Harrs角点检测算法或者SUSAN角点检测算法等方式,对两视图提取特征点。
S502,分别提取两幅视图中的特征点的特征参数;
在该步骤中,电子设备对两幅视图中的特征点进行特征参数提取,特征参数例如可以是SURF特征、SIFT特征、BRISK特征、BRIEF特征等。
S503,根据两幅图中的特征点的特征参数,进行特征参数匹配,以获取两幅视图中的相似特征点;
在步骤S502中提取出两幅视图的特征参数之后,电子设备对提取出的两幅图中的特征点根据特征参数进行匹配,确定两幅视图中的相似特征点,例如可以通过K临近算法,进行特征参数匹配。
S504,根据所述两幅图的所述相似特征点的匹配数据,拟合仿射变换矩阵。
在该步骤中,电子设备可以根据所述两幅视图的所述相似特征点的在各自所属视图中的位置,和所述相似特征点时间的对应关系,通过最小二乘法拟合所述仿射变换矩阵。
通过图5所示的方式,可以建立两幅视图之间的仿射变换矩阵,之后对其中一幅视图进行仿射变换,生成新的视图,从而消除了视差方向不在同一水平位置对立体图像的影像,保证了左图和右图能够生成立体图像。
需要注意的是,由于在前述的实施例的步骤302中,对两幅图中的一幅进行了垂直视差约束调整,因此可能导致仿射变换后的新的视图具有空像素,也就是视图中存在一些像素值为0,不包含任何信息量的部分,因此影响生产的立体视图的质量,为了解决这个问题,图6所示的实施例中,在步骤602之后,所述对所述第二视图进行垂直视差调整,生成第三视图;之后,还包括:
S603,对所述第三视图进行裁剪,以去除所述第二视图变换至所述第三视图时,产生的空像素。
在603之后,再执行步骤S604中生成立体图像的步骤,该步骤后生成的立体图像的质量将显著提高。
需要注意的是,在对第三视图进行裁剪时,需要适应适应所有放射变化结果,并且由于图像中重要信息经常出现在图像中心附近,因此裁剪后的结果需要保留更多重要信息。
因此,该实施例通过对两幅视图之一进行仿射变换之后得到新的视图进行转圈裁剪算法,保留裁剪后的区域,之后选择未变换的视图和裁剪后留下的区域中对应的区域组成立体图像,完成裁剪。
在一种实施例中,显示设备先裁剪掉所述第三视图中,像素值全为0的行像素和列像素。
例如,电子设备首先判断第三视图中的一行或者一列的像素值全部为0,裁掉相应的行或列,迭代1,并且循环执行,这样可以裁减掉不包含任何图像数据的行或者列。
之后,在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列。
具体而言,由外向内裁剪掉所述视图边缘包含0值像素的行和列。可以通过图7或者图8两种方式。例如在图7所示的方式中,包括:
步骤701,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
步骤702,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
步骤703,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
步骤704,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
之后,重复所述步骤701-704,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
类似的,在图8所示的方式中,电子设备也可以通过先裁剪列,再裁剪行的方式进行处理,如图8所示,该方法包括:
步骤801,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
步骤802,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
步骤803,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
步骤804,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
之后,重复所述步骤801-804,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
以图2A和2B所示的视图为例,通过图7和图8两种实施方式裁剪后得到的两视图可参考图9,由图可见,两视图中都不包含空像素,并且图像中中心部分重要的物体都被保留,因此能够提高形成的立体图像的显示质量。
此外,在另一种实施例中,由于单摄像头生成的立体图像景深不稳定,为了调节生成立体图像的景深,在左图和右图之间视差在水平方向保持基本一致的情况下,电子设备在通过第三视图和第一视图生成立体图像之前,调整所述第一视图和所述第三视图的水平方向视差,以使得所述立体图像具有稳定深度。
例如,电子设备在调整两幅视图视差在水平方向的大小时,可以通过两种方法进行调整,一种是零视差面的调整,一种是插图的方法进行景深的调整。
在通过零视差面的调整的实施方式中,对用户而言,最直观的感受就是整个场景整体出镜或入境。在另一种通过插图的方法进行景深调整,可以首先计算两视图之间的视差,调整视差,生成新的图像。通过两视图之间视差生成新的立体图像的方法。
图10是由景深调整后两视图拼接起来的图像,可以看出,同一物体的两个成像在水平方向的距离增大了,最左侧的影子已经接近图像边界,而同一个影子在右侧的成像则距离原右图的边界还有一定距离。因此,通过景深调整之后,可以将景深控制在安全、舒适的范围内。
相应的,如图11所示,本发明实施例还提供了一种电子设备,该电子设备可以是具备裸眼显示功能的智能手机或者平板电脑,由图1可见,在该实施例中,所述电子设备可以包括:
视图存储模块1101,用于存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
视图处理模块1102,用于对所述第二视图进行垂直视差调整,生成第三视图,与所述第一视图的视差在水平方向一致的第三视图;
立体图像生成模块1103,用于根据所述第一视图和所述第三视图、生成立体图像。
在一种优选的实施例中,所述视图处理模块1102具体用于:对所述第二视图进行垂直视差调整,通过仿射变换生成第三视图,与所述第一视图的视差在水平方向一致的第三视图。
进一步地,在一种优选的实施例中,所述视图处理模块1102进一步包括:
矩阵拟合子模块,用于根据同一物点在所述第一视图和所述第二视图中的匹配数据,拟合仿射变换矩阵;
仿射变换子模块,用于根据所述仿射变换矩阵,对所述第二视图进行仿射变换,以获取所述第三视图。
再进一步的,结合前述实施例,所述矩阵拟合子模块可以进一步包括:
特征点提取单元,用于对所述第一视图和所述第二视图进行特征点提取,以获取所述第一视图和所述第二视图中的特征点;
特征参数提取单元,用于分别提取两幅视图中的特征点的特征参数;
参数匹配单元,用于根据两幅图中的特征点的特征参数,进行特征参数匹配,以获取两幅视图中的相似特征点;
矩阵拟合单元,用于根据所述两幅图的所述相似特征点的匹配数据,拟合仿射变换矩阵。
优选的,所述矩阵拟合单元可以根据所述两幅视图的所述相似特征点的在各自所属视图中的位置,和所述相似特征点时间的对应关系,通过最小二乘法拟合所述仿射变换矩阵。
所述参数匹配单元可以通过K临近算法对所述两幅图中的特征点的特征参数进行特征参数匹配,以获取两幅视图中的相似特征点。
请参考图12,在另一种优选的实施例中,所述电子设备还可以包括视图裁剪模块1104该视图裁剪模块用于对所述第三视图进行裁剪,以去除所述第二视图变换至所述第三视图时,产生的空像素。
进一步的,所述视图裁剪模块1104可以进一步包括:
第一裁剪单元,用于裁剪掉所述第三视图中,像素值全为0的行像素和列像素。
更进一步地,所述视图裁剪模块还可以包括:
第二裁剪单元,用于在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列。
再进一步的,在一种优选的实施例中,第二裁剪单元可以进一步包括:
第一裁剪子单元,用于在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
第二裁剪子单元,用于在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
第三裁剪子单元,用于在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
第四裁剪子单元,用于在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
控制子单元,用于控制所述第一、第二、第三、第四裁剪子单元依序重复执行,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
再进一步的,在另一种优选的实施例中,所述第二裁剪单元,进一步包括:
第一裁剪子单元,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
第二裁剪子单元,,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
第三裁剪子单元,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
第四裁剪子单元,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
控制子单元,用于控制所述第一、第二、第三、第四裁剪子单元依序重复执行,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
优选的,在另一种优选的实施方式中,所述电子设备还可以包括:
深度处理模块,用于调整所述第一视图和所述第三视图的水平方向视差,以使得所述立体图像具有稳定深度。
需要注意的是,上述实施例是针对前述方法实施例的装置实施例,因此可参考前述方法实施例部分的阐述,以增强理解,上述实施例之间可以根据配置和需求进行组合,以实现更佳的立体图像展示效果。
通过上述实施例提供的电子设备,通过上述实施例提供的电子设备可以通过对用户手动控制通过一个摄像头拍摄的两幅视图,进行垂直视差约束之后,生成与参考视图具有最小垂直视差的新视图,之后根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。通过该方法,能够实现用户通过单摄像头拍摄的图像满足生成立体图像的条件,生成正确的立体视图。
请参考图13,其为本发明实施例提供的一种电子设备的另一种实施例的结构图,该电子设备可以是智能手机、平板电脑等具备裸眼3D显示功能的电子设备,如图13所示,该实施例中的电子设备可以包括处理器、存储器、显示器以及将所述追踪设备、所述存储器、所述显示器耦合到所述处理器的系统总线,在该实施例中电子设备还包括至少一个摄像头。
在特点的实施例中,根据立体显示采用的方案不同,可能具有不同的辅助设备,例如在采用裸眼立体显示的方案中,还可以包括红外传感器或者图像采集设备等用于对用户进行追踪定位。
图13中的系统存储器和大容量存储设备构成本实施例中的存储器。其中系统存储器进一步包括只读存储器ROM和随机存储器RAM,基本输入/输出系统可以存储在只读存储器ROM中;大容量存储设备用于存储操作系统、软件、数据,以及各种程序模块,例如与应用程序关联的那些程序模块。
大容量存储设备可以通过连接到系统总线的大容量存储控制器(未示出)连接到处理器。大容量存储设备以及其关联的计算机可读介质可以为计算机提供非易失性存储。
虽然对这里包含的计算机可读介质的描述涉及诸如硬盘或CD-ROM驱动器之类的大容量存储设备,但是本领域的技术人员应该明白,计算机可读介质可以是可由计算机访问的任何可用计算机存储介质。
作为示例而非限制,计算机可读介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息或其他数据的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如,计算机可读介质包括但不限于,RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术,CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光、或其他光学存储,磁带盒、磁带、磁盘存储或其他磁存储设备,或可以用来存储所需信息并可由计算机5访问的任何其他介质。
如上文简要地提及的,多个程序模块和数据文件可以存储在大容量存储设备和RAM中,包括适于控制电子设备正常运行的操作系统。大容量存储设备、ROM,以及RAM还可以存储一个或多个程序模块。具体地,大容量存储设备、ROM,以及RAM可以存储由处理器执行的应用程序。
在特点的实施例中,根据立体显示采用的方案不同,可能具有不同的辅助设备,例如在采用裸眼立体显示的方案中,还可以包括红外传感器或者图像采集设备等用于对用户进行追踪定位。
其中,所述存储器中存储一组程序代码,且所述处理器用于调用所述存储器中存储的程序代码,用于执行以下操作:
通过所述存储器存储用户通过一个所述摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
所述处理器对所述第二视图进行垂直视差调整,生成第三视图,与所述第一视图的视差在水平方向一致的第三视图;
所述处理器根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。
需要注意的是,上述实施例是针对前述方法实施例的装置实施例,因此可参考前述方法实施例部分的阐述,以增强理解,上述实施例之间可以根据配置和需求进行组合,以实现更佳的立体图像展示效果。
通过上述实施例提供的电子设备可以通过对用户手动控制通过一个摄像头拍摄的两幅视图,进行垂直视差约束之后,生成与参考视图的具有最小垂直视差的新视图,之后根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。通过该方法,能够实现用户通过单摄像头拍摄的图像满足生成立体图像的条件,生成正确的立体视图。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (25)
1.一种单摄像头立体成像方法,其特征在于,所述方法包括:
存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
根据所述第一视图和所述第三视图、生成立体图像。
2.如权利要求1所述的方法,其特征在于,所述对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;具体包括:
对所述第二视图进行垂直视差调整,通过仿射变换生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差。
3.如权利要求2所述的方法,其特征在于,所述对所述第二视图进行垂直视差调整,通过仿射变换生成第三视图,进一步包括:
根据同一物点在所述第一视图和所述第二视图中的匹配数据,拟合仿射变换矩阵;
根据所述仿射变换矩阵,对所述第二视图进行仿射变换,以获取所述第三视图。
4.如权利要求3所述的方法,其特征在于,所述根据同一物点在所述第一视图和所述第二视图中的匹配数据,拟合仿射变换矩阵;进一步包括:
对所述第一视图和所述第二视图进行特征点提取,以获取所述第一视图和所述第二视图中的特征点;
分别提取两幅视图中的特征点的特征参数;
根据两幅图中的特征点的特征参数,进行特征参数匹配,以获取两幅视图中的相似特征点;
根据所述两幅图的所述相似特征点的匹配数据,拟合仿射变换矩阵。
5.如权利要求4所述的方法,其特征在于,所述根据所述两幅图的所述相似特征点的匹配数据,拟合仿射变换矩阵;具体包括:
根据所述两幅视图的所述相似特征点的在各自所属视图中的位置,和所述相似特征点时间的对应关系,通过最小二乘法拟合所述仿射变换矩阵。
6.如权利要求4所述的方法,其特征在于,所述根据两幅图中的特征点的特征参数,进行特征参数匹配,以获取两幅视图中的相似特征点;具体包括:
通过K临近算法对所述两幅图中的特征点的特征参数进行特征参数匹配,以获取两幅视图中的相似特征点。
7.如权利要求1-6任一项所述的方法,其特征在于,所述对所述第二视图进行垂直视差调整,生成第三视图;之后,还包括:
对所述第三视图进行裁剪,以去除所述第二视图变换至所述第三视图时,产生的空像素。
8.如权利要求7所述的方法,其特征在于,所述对所述第三视图进行裁剪,以去除所述第二视图变换至所述第三视图时,产生的空像素;进一步包括:
裁剪掉所述第三视图中,像素值全为0的行像素和列像素。
9.如权利要求8所述的方法,其特征在于,所述裁剪掉所述第三视图中,像素值全为0的行像素和列像素;之后,还包括:
在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列。
10.如权利要求9所述的方法,其特征在于,所述在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列,进一步包括:
步骤1,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
步骤2,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
步骤3,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
步骤4,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
步骤5,重复所述步骤1-5,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
11.如权利要求9所述的方法,其特征在于,所述在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列,进一步包括:步骤1,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
步骤2,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
步骤3,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
步骤4,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
步骤5,重复所述步骤1-5,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
12.如权利要求1-11任一项所述的方法,其特征在于,所述对所述第二视图进行垂直视差调整,生成第三视图;之后,还包括:
调整所述第一视图和所述第三视图的水平方向视差,以使得所述立体图像具有稳定深度。
13.一种电子设备,其特征在于,所述电子设备包括:
视图存储模块,用于存储用户通过一个摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
视图处理模块,用于对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
立体图像生成模块,用于根据所述第一视图和所述第三视图、生成立体图像。
14.如权利要求13所述的电子设备,其特征在于,所述视图处理模块具体用于:对所述第二视图进行垂直视差调整,通过仿射变换生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差。
15.如权利要求14所述的电子设备,其特征在于,所述视图处理模块,进一步包括:
矩阵拟合子模块,用于根据同一物点在所述第一视图和所述第二视图中的匹配数据,拟合仿射变换矩阵;
仿射变换子模块,用于根据所述仿射变换矩阵,对所述第二视图进行仿射变换,以获取所述第三视图。
16.如权利要求15所述的电子设备,其特征在于,所述矩阵拟合子模块进一步包括:
特征点提取单元,用于对所述第一视图和所述第二视图进行特征点提取,以获取所述第一视图和所述第二视图中的特征点;
特征参数提取单元,用于分别提取两幅视图中的特征点的特征参数;
参数匹配单元,用于根据两幅图中的特征点的特征参数,进行特征参数匹配,以获取两幅视图中的相似特征点;
矩阵拟合单元,用于根据所述两幅图的所述相似特征点的匹配数据,拟合仿射变换矩阵。
17.如权利要求16所述的电子设备,其特征在于,所述矩阵拟合单元具体用于:
根据所述两幅视图的所述相似特征点的在各自所属视图中的位置,和所述相似特征点时间的对应关系,通过最小二乘法拟合所述仿射变换矩阵。
18.如权利要求16所述的电子设备,其特征在于,所述参数匹配单元具体用于:
通过K临近算法对所述两幅图中的特征点的特征参数进行特征参数匹配,以获取两幅视图中的相似特征点。
19.如权利要求13-18任一项所述的电子设备,其特征在于,所述电子设备还包括视图裁剪模块,该视图裁剪模块用于对所述第三视图进行裁剪,以去除所述第二视图变换至所述第三视图时,产生的空像素。
20.如权利要求19所述的电子设备,其特征在于,所述视图裁剪模块进一步包括:
第一裁剪单元,用于裁剪掉所述第三视图中,像素值全为0的行像素和列像素。
21.如权利要求20所述的电子设备,其特征在于,所述视图裁剪模块进还包括:
第二裁剪单元,用于在裁剪后的视图中,由外向内裁剪掉所述视图边缘包含0值像素的行和列。
22.如权利要求21所述的电子设备,其特征在于,所述第二裁剪单元,进一步包括:
第一裁剪子单元,用于在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
第二裁剪子单元,用于在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
第三裁剪子单元,用于在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
第四裁剪子单元,用于在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
控制子单元,用于控制所述第一、第二、第三、第四裁剪子单元依序重复执行,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
23.如权利要求21所述的电子设备,其特征在于,所述第二裁剪单元,进一步包括:
第一裁剪子单元,在裁剪后的视图中第一列中包含0值像素点时,裁剪掉该第一列;
第二裁剪子单元,,在裁剪后的视图中最后一列中包含0值像素点时,裁剪掉该最后一列;
第三裁剪子单元,在裁剪后的视图中第一行中包含0值像素点时,裁剪掉该第一行;
第四裁剪子单元,在裁剪后的视图中最后一行中包含0值像素点时,裁剪掉该最后一行;
控制子单元,用于控制所述第一、第二、第三、第四裁剪子单元依序重复执行,直至裁剪后的第一行、第一列、最后一行、最后一列中都没有0值像素点。
24.如权利要求13-23任一项所述的电子设备,其特征在于,所述电子设备还包括:
深度处理模块,用于调整所述第一视图和所述第三视图的水平方向视差,以使得所述立体图像具有稳定深度。
25.一种电子设备,其特征在于,包括显示屏、处理器、存储器以及至少一个摄像头,所述存储器、显示屏与所述处理器电连接,所述存储器中存储有可执行代码,所述处理器调用所述存储器中的可执行代码,执行如下动作:
通过所述存储器存储用户通过一个所述摄像头拍摄的第一视图和第二视图,所述第一视图和第二视图具有视差;
所述处理器对所述第二视图进行垂直视差调整,生成第三视图,所述第三视图与所述第一视图具有最小垂直方向视差;
所述处理器根据所述第一视图和所述第三视图、生成立体图像,在所述显示屏上显示所述新立体图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410836611.XA CN104735436A (zh) | 2014-12-29 | 2014-12-29 | 单摄像头立体成像方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410836611.XA CN104735436A (zh) | 2014-12-29 | 2014-12-29 | 单摄像头立体成像方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104735436A true CN104735436A (zh) | 2015-06-24 |
Family
ID=53458808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410836611.XA Pending CN104735436A (zh) | 2014-12-29 | 2014-12-29 | 单摄像头立体成像方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104735436A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106713893A (zh) * | 2016-12-30 | 2017-05-24 | 宁波易维视显示技术有限公司 | 手机3d立体拍照方法 |
CN106791782A (zh) * | 2016-12-19 | 2017-05-31 | 北京星辰美豆文化传播有限公司 | 基于单摄像头的立体图像的拍摄方法、装置和电子设备 |
CN107046638A (zh) * | 2016-12-30 | 2017-08-15 | 无锡易维视显示技术有限公司 | 单摄像头的3d影像拍摄方法 |
CN108293110A (zh) * | 2015-11-23 | 2018-07-17 | 韩国电子通信研究院 | 多视点视频编码/解码方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127322A (ja) * | 2003-12-24 | 2004-04-22 | Asahi Koyo Kk | ステレオ画像形成方法及び装置 |
JP2006033294A (ja) * | 2004-07-14 | 2006-02-02 | Starlabo Corp | 画像処理装置 |
CN101236653A (zh) * | 2008-03-03 | 2008-08-06 | 华为技术有限公司 | 图像校正方法及系统 |
CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
CN102905147A (zh) * | 2012-09-03 | 2013-01-30 | 上海立体数码科技发展有限公司 | 立体图像校正方法及装置 |
CN103414910A (zh) * | 2013-08-20 | 2013-11-27 | 浙江大学 | 一种低失真的立体图像外极线校正方法 |
CN103945207A (zh) * | 2014-04-24 | 2014-07-23 | 浙江大学 | 一种基于视点合成的立体图像垂直视差消除方法 |
-
2014
- 2014-12-29 CN CN201410836611.XA patent/CN104735436A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127322A (ja) * | 2003-12-24 | 2004-04-22 | Asahi Koyo Kk | ステレオ画像形成方法及び装置 |
JP2006033294A (ja) * | 2004-07-14 | 2006-02-02 | Starlabo Corp | 画像処理装置 |
CN101236653A (zh) * | 2008-03-03 | 2008-08-06 | 华为技术有限公司 | 图像校正方法及系统 |
CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
CN102905147A (zh) * | 2012-09-03 | 2013-01-30 | 上海立体数码科技发展有限公司 | 立体图像校正方法及装置 |
CN103414910A (zh) * | 2013-08-20 | 2013-11-27 | 浙江大学 | 一种低失真的立体图像外极线校正方法 |
CN103945207A (zh) * | 2014-04-24 | 2014-07-23 | 浙江大学 | 一种基于视点合成的立体图像垂直视差消除方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108293110A (zh) * | 2015-11-23 | 2018-07-17 | 韩国电子通信研究院 | 多视点视频编码/解码方法 |
CN108293110B (zh) * | 2015-11-23 | 2022-07-05 | 韩国电子通信研究院 | 多视点视频编码/解码方法 |
CN106791782A (zh) * | 2016-12-19 | 2017-05-31 | 北京星辰美豆文化传播有限公司 | 基于单摄像头的立体图像的拍摄方法、装置和电子设备 |
CN106713893A (zh) * | 2016-12-30 | 2017-05-24 | 宁波易维视显示技术有限公司 | 手机3d立体拍照方法 |
CN107046638A (zh) * | 2016-12-30 | 2017-08-15 | 无锡易维视显示技术有限公司 | 单摄像头的3d影像拍摄方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10460459B2 (en) | Stitching frames into a panoramic frame | |
US10511746B2 (en) | Image pickup device and electronic system including the same | |
CN101884222B (zh) | 用于支持立体呈现的图像处理 | |
CN101964918B (zh) | 图像再现设备和图像再现方法 | |
US8687041B2 (en) | Stereoscopic panorama image creating apparatus, stereoscopic panorama image creating method, stereoscopic panorama image reproducing apparatus, stereoscopic panorama image reproducing method, and recording medium | |
US20170308266A1 (en) | Image display apparatus and image display method | |
US10171791B2 (en) | Methods and apparatus for conditional display of a stereoscopic image pair | |
US10165249B2 (en) | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras | |
TWI547901B (zh) | 模擬立體圖像顯示方法及顯示設備 | |
US8965105B2 (en) | Image processing device and method | |
CN102318331A (zh) | 立体图像拾取装置 | |
CN106228530B (zh) | 一种立体摄影方法、装置及立体摄影设备 | |
JP2014526823A (ja) | 立体画像ペアの改善された切り取りのための方法および装置 | |
CN102918861A (zh) | 立体视觉强度调整装置、立体视觉强度调整方法、程序、集成电路、记录介质 | |
CN104735436A (zh) | 单摄像头立体成像方法及电子设备 | |
CN104320647A (zh) | 立体图像生成方法及显示装置 | |
JPWO2014148031A1 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
CN109257540B (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
US20130208097A1 (en) | Three-dimensional imaging system and image reproducing method thereof | |
JP2017028510A (ja) | 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム | |
WO2015136323A1 (en) | Exposure control using depth information | |
JP2011081630A (ja) | 画像生成装置、画像生成方法、および、プログラム | |
US20140293019A1 (en) | Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space | |
JP2016042662A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150624 |
|
RJ01 | Rejection of invention patent application after publication |