CN105611273B - 面向互联网应用3d视频/图像生成方法 - Google Patents

面向互联网应用3d视频/图像生成方法 Download PDF

Info

Publication number
CN105611273B
CN105611273B CN201511028125.6A CN201511028125A CN105611273B CN 105611273 B CN105611273 B CN 105611273B CN 201511028125 A CN201511028125 A CN 201511028125A CN 105611273 B CN105611273 B CN 105611273B
Authority
CN
China
Prior art keywords
super
video
pixel
image
internet application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511028125.6A
Other languages
English (en)
Other versions
CN105611273A (zh
Inventor
杨铀
朱光喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hongruida Information Technology Co Ltd
Original Assignee
Wuhan Hongruida Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hongruida Information Technology Co Ltd filed Critical Wuhan Hongruida Information Technology Co Ltd
Priority to CN201511028125.6A priority Critical patent/CN105611273B/zh
Publication of CN105611273A publication Critical patent/CN105611273A/zh
Application granted granted Critical
Publication of CN105611273B publication Critical patent/CN105611273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向互联网应用3D视频/图像生成方法，包括：对2D视频/图像进行色彩的转换，计算YUV或YCRCB图像的Y分量，对Y分量图像进行超像素分割；计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并；统计合并后超像素的个数N，将[0,255]均分为N等份，得到N个取值区间；合并后超像素均值大小排序得到序号N’，根据序号的大小找到对应区间，取区间内一数值作为深度值，得到深度图；进行另一视点视频或者图像的绘制，与原始所输入的视频联合输出成3D视频或图像。本发明通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，提高速度，节省了制作成本与时间。

Description

面向互联网应用3D视频/图像生成方法
技术领域
本发明涉及电子成像技术领域，尤其涉及一种面向互联网应用3D视频/图像生成方法。
背景技术
当前3D视频或图像的成像主要依赖于双目摄像机的同步拍摄，一般具有较高的制作成本，并在后期使用过程中需要较为专业的对齐、校正过程，给广大普通使用者带来不便，也因此限制了3D视频或图像成像产品的应用。
现有2D转3D办法分为两大类，一类是不做场景内容的分析，直接通过图像的几何变形，生成3D所需要的2个视点图像。这类方法速度快，但是其3D质量差。第二类方法是做场景分析，换算出场景深度信息，然后通过虚拟视点绘制的办法生成所需要的2个视点图像。这类方法会对图像中的每一个像素计算深度信息，其质量高，但是速度慢。
发明内容
针对上述问题中存在的不足之处，本发明提供一种面向互联网应用3D视频/图像生成方法。
为实现上述目的，本发明提供了一种面向互联网应用3D视频/图像生成方法，包括：
步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
步骤二、计算图像的Y分量，对Y分量图像进行超像素分割；
步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并；所述相邻超像素合并的原则为：相邻超像素的Y’的差值的绝对值不大于阈值；
步骤四、统计合并后超像素的个数N，将[0,255]均分为N等份，得到N个取值区间；
步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；
步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。
作为本发明的进一步改进，所述步骤二中，每个超像素所包含像素的个数不超过20个。
作为本发明的进一步改进，所述阈值为2。
作为本发明的进一步改进，所述步骤四中，将[0,255]均分为N等份，不满足等分要求的向下取整。
作为本发明的进一步改进，所述步骤五中，取区间内的中值或均值作为该超像素的深度值。
作为本发明的进一步改进，所述另一视点视频或者图像的绘制为：基于深度的图像绘制或基于视差的图像绘制。
作为本发明的进一步改进，所述空洞用均值、中值或者inpainting方法进行填补。
与现有技术相比，本发明的有益效果为：
本发明提供了面向互联网应用3D视频/图像生成方法，对互联网的2D视频或图像进行基于图像内容的计算与处理，通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，从而避免通过双目摄像机进行拍摄的3D内容生成方式，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
附图说明
图1为本发明一种实施例公开的面向互联网应用3D视频/图像生成方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种面向互联网应用3D视频/图像生成方法，包括：
步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
步骤二、计算图像的Y分量，对Y分量图像进行超像素分割；
步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并；所述相邻超像素合并的原则为：相邻超像素的Y’的差值的绝对值不大于阈值；
步骤四、统计合并后超像素的个数N，将[0,255]均分为N等份，得到N个取值区间；
步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；
步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。
本发明通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种面向互联网应用3D视频/图像生成方法，其具体包括：
S101、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
YUV是模拟信号的处理方式，YCRCB是数字信号的处理方式。虽然有不同，但是对于Y分量的计算是一样的。
S102、计算图像的Y分量，对Y分量图像进行超像素分割；每个超像素所包含像素的个数不超过20个。
像素三个分量的视觉属性是一致的，人类视觉生理系统对Y分量的敏感程度比其他两个分量高；所以选择对Y分量图像进行超像素分割。超像素分割是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素有一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
S103、对超像素进行基于邻域的聚类，计算每一个超像素区域内的Y分量均值Y’；对于相邻的超像素，根据Y’值的差异性进行合并；其合并的公式是|Y1’-Y2’|≤阈值，满足要求则进行合并；其中：Y1’、Y2’表示两个相邻的超像素；阈值的大小决定了合并后新的超像素所涵盖的面积大小，同样也决定了后续计算的复杂度和最终所形成的图像质量，绝对值越大的阈值将导致超像素面积越大，后续计算复杂度越低，但图像质量越差；反之，则超像素面积越小，计算复杂度越高，图像质量越高；一般可取阈值为2。
S104、统计合并后的超像素的个数为N，将[0,255]均分为N等份，不满足等分条件的，按下取整方法，比如1.4则为1；1.9也为1；得到N个取值区间。
S105、计算合并后超像素区域内Y分量均值Y”，Y”从大到小得到序号N’(也可以从小到大排序)，根据序号的大小找到S104中的对应区间，取区间内某一个值作为该超像素的深度值(取值方法可为中值、均值等任意一种)；从而得到深度图；
S106、根据基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制；具体绘制方法可为基于深度的图像绘制方法(即DIBR)，也可以是基于视差的图像绘制方法；在完成空洞填补后，即可与原始所输入的视频联合输出成3D视频或图像。空洞是指在绘制过程中出现的一种图像空洞，这是由于整数计算所带来的问题，也是常见的问题。通常可用均值、中值或者用inpainting方法进行填补。本发明提供了面向互联网应用3D视频/图像生成方法，通过算法在步骤三～五的整合以及步骤五中的深度图生成办；，对互联网的2D视频或图像进行基于图像内容的计算与处理，通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，从而避免通过双目摄像机进行拍摄的3D内容生成方式，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向互联网应用3D视频/图像生成方法，其特征在于，包括：
步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
步骤二、计算图像的Y分量，对Y分量图像进行超像素分割；
步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并；所述相邻超像素合并的原则为：相邻超像素的Y’的差值的绝对值不大于阈值；
步骤四、统计合并后超像素的个数N，将[0,255]均分为N等份，得到N个取值区间；
步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；
步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。
2.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤二中，每个超像素所包含像素的个数不超过20个。
3.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述阈值为2。
4.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤四中，将[0,255]均分为N等份，不满足等分要求的向下取整。
5.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤五中，取区间内的中值或均值作为该超像素的深度值。
6.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述另一视点视频或者图像的绘制为：基于深度的图像绘制或基于视差的图像绘制。
7.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述空洞用均值、中值或者inpainting方法进行填补。
CN201511028125.6A 2015-12-31 2015-12-31 面向互联网应用3d视频/图像生成方法 Active CN105611273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511028125.6A CN105611273B (zh) 2015-12-31 2015-12-31 面向互联网应用3d视频/图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511028125.6A CN105611273B (zh) 2015-12-31 2015-12-31 面向互联网应用3d视频/图像生成方法

Publications (2)

Publication Number Publication Date
CN105611273A CN105611273A (zh) 2016-05-25
CN105611273B true CN105611273B (zh) 2017-08-18

Family

ID=55990775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511028125.6A Active CN105611273B (zh) 2015-12-31 2015-12-31 面向互联网应用3d视频/图像生成方法

Country Status (1)

Country Link
CN (1) CN105611273B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN102098528A (zh) * 2011-01-28 2011-06-15 清华大学 一种平面图像的立体转换方法及装置
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
CN102404594A (zh) * 2011-10-31 2012-04-04 庞志勇 基于图像边缘信息的2d转3d的方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法
CN102609950A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种二维视频深度图的生成方法
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置
CN103248909A (zh) * 2013-05-21 2013-08-14 清华大学 平面视频转化为立体视频的方法及系统
CN103955886A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于图论和灭点检测的2d-3d图像转换方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN102098528A (zh) * 2011-01-28 2011-06-15 清华大学 一种平面图像的立体转换方法及装置
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
CN102404594A (zh) * 2011-10-31 2012-04-04 庞志勇 基于图像边缘信息的2d转3d的方法
CN102496138A (zh) * 2011-11-15 2012-06-13 华东师范大学 一种二维图像转换为三维图像的方法
CN102609950A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种二维视频深度图的生成方法
CN102708570A (zh) * 2012-05-17 2012-10-03 北京数码视讯科技股份有限公司 获取深度图的方法及装置
CN103248909A (zh) * 2013-05-21 2013-08-14 清华大学 平面视频转化为立体视频的方法及系统
CN103955886A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于图论和灭点检测的2d-3d图像转换方法

Also Published As

Publication number Publication date
CN105611273A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
CN111066065B (zh) 用于混合深度正则化的系统和方法
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
CN102972038B (zh) 图像处理装置、图像处理方法、程序、集成电路
CN102592275B (zh) 虚拟视点绘制方法
Cheng et al. A novel 2Dd-to-3D conversion system using edge information
Basha et al. Stereo seam carving a geometrically consistent approach
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN103905813B (zh) 基于背景提取与分区修复的dibr空洞填补方法
KR20110113924A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US20140340486A1 (en) Image processing system, image processing method, and image processing program
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
CN103561258A (zh) 一种Kinect深度视频时空联合修复方法
US20150195510A1 (en) Method of integrating binocular stereo video scenes with maintaining time consistency
CN113223070A (zh) 一种深度图像增强处理方法及装置
CN104639933A (zh) 一种立体视图的深度图实时获取方法及系统
CN102368826A (zh) 双视点视频到多视点视频的实时自适应生成方法
CN106875371A (zh) 基于Bayer格式的图像融合方法及图像融合装置
CN111447428A (zh) 平面至立体图像的转换方法、装置、计算机可读存储介质及设备
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
CN106683072B (zh) 一种基于pup图的3d图像舒适度质量评价方法及系统
CN105611273B (zh) 面向互联网应用3d视频/图像生成方法
Jorissen et al. Multi-camera epipolar plane image feature detection for robust view synthesis
CN102708570A (zh) 获取深度图的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant