CN106162137A - 虚拟视点合成方法及装置 - Google Patents
虚拟视点合成方法及装置 Download PDFInfo
- Publication number
- CN106162137A CN106162137A CN201610515321.4A CN201610515321A CN106162137A CN 106162137 A CN106162137 A CN 106162137A CN 201610515321 A CN201610515321 A CN 201610515321A CN 106162137 A CN106162137 A CN 106162137A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- image information
- acquisition equipment
- masking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种虚拟视点合成方法及装置，涉及电子信息技术领域，旨在解决虚拟视点合成中的物体遮挡关系不明确和影像重叠、出现虚假边缘等问题。所述方法包括：分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
Description
技术领域
本发明涉及电子信息技术领域，尤其涉及一种虚拟视点合成方法及装置。
背景技术
随着互联网技术的飞速提升和电子通讯行业的迅速发展，数字图像技术对于视频内容的生成、传播与表达是一个很有力的工具，尤其是立体显示技术可以更加真实的表达场景的深度层次感。自由视点立体电视(FTV“Free-viewpoint TV”)是其中之一。自由视点立体电视的特点在于，观察者在电视的不同方位可观看电视图像中的场景不同视角的图像，因此可以提供比传统媒体更多的信息，使用户可以实时动态看到任意视角的场景。例如，图1展示了足球场及不同位置的视频图像采集设备，图2表示自由视点电视可根据观众喜好观看不同视角视频。
三维电视系统中虚拟视点图像合成是其中的关键技术。如图3所示，通过在场景中安置多个视频图像采集设备在不同角度进行拍摄，然后根据已拍摄的参考图像来绘制场景中新的图像，此过程称为虚拟视点合成。该技术能够让观众在显示器端看到不同位置的图像和视频，进而能够感受到真实场景的空间感，也减少了视频所需的数据量。
在众多虚拟视点合成技术中，基于深度图像的虚拟视点绘制技术(DIBR，DepthImage Based Rendering)占有重要位置。然而，虽然DIBR技术可以快速的对任意位置的虚拟视点图像进行绘制，但是只通过基于深度图像的虚拟视点绘制会存在物体遮挡关系不明确和影像重叠、出现虚假边缘或图像空洞等问题，导致生成的虚拟视点图像质量并不理想。
发明内容
本发明的主要目的在于提出一种虚拟视点合成方法及装置，旨在解决虚拟视点合成中的物体遮挡关系不明确和影像重叠、出现虚假边缘等问题。
为实现上述目的，本发明提供的一种虚拟视点合成方法，包括：图像获取步骤，分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；图像分离步骤，根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；变换合成步骤，对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
可选的，所述图像分离步骤包括：蒙版生成子步骤，根据所述图像信息中的深度图像信息，生成蒙版图像；边界修复子步骤，利用有引导滤波对生成的蒙版图像进行边界修复；分离子步骤，利用修复后的所述蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
所述蒙版生成子步骤包括：检测子步骤，根据所述图像信息中的深度图像信息，对每台所述视频图像采集设备采集的每幅图像进行边界检测；生成子步骤，根据边界检测结果生成相应的蒙版图像。
可选的，所述检测子步骤包括：对每台所述视频图像采集设备采集的每幅图像的深度图像信息进行最大/最小值滤波，以检测出深度图像中的边界信息。
进一步的，所述图像分离步骤之前，所述方法还包括：对所述图像信息中的深度图像信息进行预处理，以补充所述深度图像信息中的图像空点。
进一步的，所述预处理步骤包括：对所述图像信息中的深度图像信息进行双边滤波，以补充所述深度图像信息中的图像空点。
可选的，所述变换合成步骤包括：变换子步骤，对所述背景图像、所述前景图像向目标视点方向分别进行三维变换；填充子步骤，根据图像信息采集角度的不同，对经过三维变换后的图像进行信息互补填充，以消除三维变换形成的图像空洞；合成子步骤，将信息互补填充后的图像进行合成。
另一方面，本发明还提供一种虚拟视点合成装置，包括：获取单元，用于分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；分离单元，用于根据所述获取单元获取的图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；变换合成单元，用于对所述分离单元分离出的所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
可选的，所述分离单元包括：蒙版生成模块，用于根据所述图像信息中的深度图像信息，生成蒙版图像；边界修复模块，用于利用有引导滤波对生成的蒙版图像进行边界修复；分离模块，用于利用所述边界修复模块后蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
本发明提供的虚拟视点合成方法及装置，能够获取至少两台不同拍摄角度的视频图像采集设备采集的图像信息，然后根据图像信息中的深度图像信息分离出前景图像、背景图像，经过相应的三维变换和图像合成后，形成相应的虚拟视点图像。由于三维变换和图像合成能够通过背景图像与前景图像区分出新合成的虚拟视点图像中不同物体的远近前后位置关系，从而有效避免了重影和虚假边缘的问题，大大提升了虚拟视点合成图像质量和用户体验。
附图说明
图1为足球场及不同位置的视频图像采集设示意图。
图2为自由视点电视可根据观众喜好观看不同视角视频的示意图。
图3为虚拟视点合成过程示意图。
图4为本发明实施例提供的虚拟视点合成方法的一种流程图。
图5为本发明实施例提供的虚拟视点合成方法中的图像分离过程示意图。
图6为本发明实施例提供的虚拟视点合成方法中利用三维变换进行视点变换的效果示意图。
图7为本发明实施例中图像分离方法与现有技术中的经典方法的虚拟视点合成的对比图。
图8为本发明实施例中进行预处理前后的深度图像对比图。
图9为本发明实施例提供的虚拟视点合成方法的另一种流程图。
图10为本发明实施例提供的虚拟视点合成方法的又一种流程图。
图11为采用图10中的虚拟视点合成方法进行虚拟视点合成的一种效果示意图。
图12为本发明实施例提供的虚拟视点合成装置的一种结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图4所示，本发明的实施例提供一种虚拟视点合成方法，包括：S11，图像获取步骤，分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；S12，图像分离步骤，根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；S13，变换合成步骤，对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
本发明的实施例提供的虚拟视点合成方法，能够获取至少两台不同拍摄角度的视频图像采集设备采集的图像信息，然后根据图像信息中的深度图像信息分离出前景图像、背景图像，经过相应的三维变换和图像合成后，形成相应的虚拟视点图像。由于三维变换和图像合成能够通过背景图像与前景图像，区分出新合成的虚拟视点图像中不同物体的远近前后位置关系，从而有效避免了重影和虚假边缘的问题，大大提升了虚拟视点合成图像质量和用户体验。
具体而言，虚拟视点图像合成是一种以已拍摄的图像为参考来绘制其他视角下观察到的图像的技术，为了使虚拟视点图像绘制的更为逼真，已拍的参考图像需要提供尽可能多的图像信息。为了达到对任意视点下的图像进行有效合成，在步骤S11中，至少需要两台不同拍摄角度的视频图像采集设备采集的图像信息，多则不限。理论上，视频图像采集设备的数量越多，提供的有效信息量越大，合成的虚拟视点图像也就越逼真。为了描述方便，以下主要以两台视频图像采集设备提供的参考图像信息为例进行说明，对于更多数量的视频图像采集设备原理类似。其中，视频图像采集设备可以是摄像机、录影机、照相机等各种具有视频或图像采集功能的设备。相应的，本发明实施例所涉及的图像信息既包括视频信息也包括各种格式的图片信息。由于视频是由一帧帧的图像组成，为了描述的方便，以下以单帧图像为例进行说明。
在视频图像采集设备采集的图像信息中，可以包括深度图像和彩色图像两种图像信息。其中，深度图像是黑白图像，只有黑白灰颜色，颜色越亮表示像素点距离摄像头越近，颜色越暗则表示像素点离摄像头越远，因此深度图像可以用于获取图像遮挡关系。而彩色图像则可用于还原图像内容。
获取了不同拍摄角度的参考图像后，在步骤S12中，图像分离步骤可具体包括：蒙版生成子步骤，根据所述图像信息中的深度图像信息，生成蒙版图像；边界修复子步骤，利用有引导滤波对生成的蒙版图像进行边界修复；分离子步骤，利用修复后的所述蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
其中，蒙版生成子步骤又可具体包括：检测子步骤，根据所述图像信息中的深度图像信息，对每台所述视频图像采集设备采集的每幅图像进行边界检测；生成子步骤，根据边界检测结果生成相应的蒙版图像。
可选的，可以采用各种边界检测方法对深度图像进行边界检测，只要能够发现图像中不同的远近的物体相交界的边界即可，本发明的实施例对此不限。例如，在本发明的一个实施例中，可以对每台所述视频图像采集设备采集的每幅图像的深度图像信息进行最大/最小值滤波，以检测出深度图像中的边界信息，然后根据边界检测结果生成相应的蒙版图像。
进一步的，由于在深度图像中检测到的只是稀疏的边界，边界可能会存在一些瑕疵，因此，可以根据有引导滤波(Guided Filter)对蒙版图像的边界进行细节处理，以便对蒙版图像进行边界修复。
经过修复的边界信息更加完整，因此可以根据边界修复后的蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。可选的，蒙版图像可以为各种反应前景图像和背景图像之间的遮挡关系的图像，例如在本实施例中，蒙版图像可以为alpha蒙版图像。
具体的，图5展示了利用深度图像进行前景与背景分离的流程。如图5所示，深度图像经过边界检测后获得了图像的边界信息，然后边界图像与彩色图像一起，经过区域填充、羽化、引导滤波后形成蒙版图像，再对蒙版图像利用滤波权重矩阵进行变换，从而将预先拍摄的参考图像分为前景图像和背景图像，实现图像分离。
得到不同拍摄角度下分离的背景图像、前景图像后，在步骤S13中，即可对背景图像、前景图像向目标视点方向进行三维变换和图像合成，从而形成与所述目标视点方向相对应的虚拟视点图像。
可选的，对背景图像、前景图像向目标视点方向进行三维变换和图像合成具体可包括如下步骤：变换子步骤，对所述背景图像、所述前景图像向目标视点方向分别进行三维变换；填充子步骤，根据图像信息采集角度的不同，对经过三维变换后的图像进行信息互补填充，以消除三维变换形成的图像空洞；合成子步骤，将信息互补填充后的图像进行合成。
其中，上述的图像三维变换可以通过三维变换方程(3D Image Warping)实现。三维变换方程利用参考图像对任意虚拟视点相应坐标进行映射，进而合成虚拟视点图像。三维变换过程就是根据真实视点位置所拍摄图像各点的坐标系转换到虚拟视点坐标系图像上，进而得到虚拟视点位置的图像效果，其原理示意图可如图6所示。
需要说明的是，在三维变换前后，由于遮挡关系的改变，原本被挡住的部分显露了出来，由于信息不完整，左右两视点在向中间三维变换时会产生不同的空洞现象。但由于参考图像有左右两幅，因此可以通过两个方向的信息相互填补来填充大面积空洞，从而使合成图像更逼真。
通过将前景图像、背景图像进行分离的虚拟视点合成方法，可以得到更加逼真的合成图像，其与现有技术中的虚拟视点合成方法的对比效果可如图7所示。
需要说明的是，在前述实施例中，进行图像采集时，由于设备原因或图像深度不连续等原因，深度图像信息可能存在一些图像空点，形成噪声。而噪声会造成图像不光滑进而影响生成图像的效果。为了解决控图像空点问题，进一步的，在图像分离步骤之前，还可以对所述图像信息中的深度图像信息进行预处理，以补充所述深度图像信息中的图像空点。预处理前后图像效果可如图8所示。从图8可以看出，上方的两幅图中的黑点(即图像空点)在下方经过预处理后的图中已经消失。
举例说明，如图9所示，在本发明的一个实施例中，虚拟视点合成方法可包括：S21，分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；S22，对所述图像信息中的深度图像信息进行预处理，以补充所述深度图像信息中的图像空点；S23，根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；S24，对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
可选的，步骤S22中，可以对所述图像信息中的深度图像信息进行双边滤波，以补充所述深度图像信息中的图像空点。
进一步的，在对背景图像、前景图像向目标视点方向进行三维变换和图像合成之后，在变换之后的新位置，图像有些位置像素点会相互重叠到一起，形成图像重影，为了解决重影问题，可以根据各像素点的深度关系，确定所述虚拟视点图像中的重叠像素点之间的遮挡关系，以便消除重影。
本发明实施例提供的虚拟视点合成方法，能够根据各像素点的深度关系判断虚拟平面重叠像素点的遮挡关系来解决重叠问题，利用深度图像制作Alpha蒙版图区分图像的前景与背景。合成的Alpha图将前景与背景分离后再进行三维变换可解决虚假边缘问题，使用双边滤波对深度图像进行滤波处理可减少细小的空洞产生，随后通过左右真实视点的信息相互填补可解决大面积空洞现象。从而有效避免了重影和虚假边缘的问题，大大提升了虚拟视点合成图像质量和用户体验。
下面通过具体实施例来对本发明提供的虚拟视点合成方法进行详细说明。
如图10所示，本实施例中，虚拟视点合成方法包括如下步骤：
S31，获取左、右两个视点的彩色图像IL和IR及对应的深度图像DL和DR。
S32，对上述图像的进行边界识别，从左、右图像中分离出了左、右背景图像IBL、IBR和前景图像IFL、IFR。
S33，对这些前景图，背景图根据所需的虚拟视点位置分别进行三维变换和图像合成。
可选的，基于Alpha图的前背景分离方法包括三个步骤:边界检测、边界修复及前背景分离。本实施例中，将输入图像进行分离成有边界图像和非边界图像。再利用Alpha抠图技术对边界图像分离成前景、背景图。如图11所示，左上是左原图，右上是左原图向右变换的虚拟试点图像，左下是右原图，右下是从右原图像左变换原右上同一位置的虚拟试点图像，最后的虚拟视点图像通过右上和右下合成。
相应的，如图12所示，本发明的实施例还提供一种虚拟视点合成装置，包括：获取单元41，用于分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；分离单元42，用于根据获取单元41获取的图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；变换合成单元43，用于对分离单元42分离出的所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
本发明的实施例提供的虚拟视点合成装置，获取单元41能够获取至少两台不同拍摄角度的视频图像采集设备采集的图像信息，分离单元42根据图像信息中的深度图像信息分离出前景图像、背景图像，变换合成单元43能够对分离后的图像进行相应的三维变换和图像合成后，形成相应的虚拟视点图像。由于三维变换和图像合成能够通过背景图像与前景图像区分出新合成的虚拟视点图像中不同物体的远近前后位置关系，从而有效避免了重影和虚假边缘的问题，大大提升了虚拟视点合成图像质量和用户体验。
具体而言，虚拟视点图像合成是一种以已拍摄的图像为参考来绘制其他视角下观察到的图像的技术，为了使虚拟视点图像绘制的更为逼真，已拍的参考图像需要提供尽可能多的图像信息。为了达到对任意视点下的图像进行有效合成，至少需要两台不同拍摄角度的视频图像采集设备采集的图像信息，多则不限。理论上，视频图像采集设备的数量越多，提供的有效信息量越大，合成的虚拟视点图像也就越逼真。
在视频图像采集设备采集的图像信息中，可以包括深度图像和彩色图像两种图像信息。其中，深度图像是黑白图像，只有黑白灰颜色，颜色越亮表示像素点距离摄像头越近，颜色越暗则表示像素点离摄像头越远，因此深度图像可以用于获取图像遮挡关系。而彩色图像则可用于还原图像内容。
可选的，分离单元42可包括：蒙版生成模块，用于根据所述图像信息中的深度图像信息，生成蒙版图像；边界修复模块，用于利用有引导滤波对生成的蒙版图像进行边界修复；分离模块，用于利用所述边界修复模块后蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
可选的，所述蒙版生成模块可包括：检测子模块，根据所述图像信息中的深度图像信息，对每台所述视频图像采集设备采集的每幅图像进行边界检测；生成子模块，根据边界检测结果生成相应的蒙版图像。
可选的，检测子模块，可具体用于对每台所述视频图像采集设备采集的每幅图像的深度图像信息进行最大/最小值滤波，以检测出深度图像中的边界信息。
进一步的，本发明的实施例提供的虚拟视点合成装置还可包括预处理单元，用于在根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像之前，对所述图像信息中的深度图像信息进行预处理，以补充所述深度图像信息中的图像空点，例如可以对所述图像信息中的深度图像信息进行双边滤波，以补充所述深度图像信息中的图像空点。
可选的，变换合成单元43具体可用于：对所述背景图像、所述前景图像向目标视点方向分别进行三维变换；根据图像信息采集角度的不同，对经过三维变换后的图像进行信息互补填充，以消除三维变换形成的图像空洞；将信息互补填充后的图像进行合成。
进一步的，本发明的实施例提供的虚拟视点合成装置还可用于，在所述对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成之后，根据各像素点的深度关系，确定所述虚拟视点图像中的重叠像素点之间的遮挡关系。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种虚拟视点合成方法，其特征在于，包括：
图像获取步骤，分别获取至少两台视频图像采集设备采集的图像信息，所述至少两台视频图像采集设备的拍摄角度不同；
图像分离步骤，根据所述图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；
变换合成步骤，对所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
2.根据权利要求1所述的方法，其特征在于，所述图像分离步骤包括：
蒙版生成子步骤，根据所述图像信息中的深度图像信息，生成蒙版图像；
边界修复子步骤，利用有引导滤波对生成的蒙版图像进行边界修复；
分离子步骤，利用修复后的所述蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
3.根据权利要求2所述的方法，其特征在于，所述蒙版生成子步骤包括：
检测子步骤，根据所述图像信息中的深度图像信息，对每台所述视频图像采集设备采集的每幅图像进行边界检测；
生成子步骤，根据边界检测结果生成相应的蒙版图像。
4.根据权利要求3所述的方法，其特征在于，所述检测子步骤包括：
对每台所述视频图像采集设备采集的每幅图像的深度图像信息进行最大/最小值滤波，以检测出深度图像中的边界信息。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述图像分离步骤之前，所述方法还包括：
预处理步骤，对所述图像信息中的深度图像信息进行预处理，以补充所述深度图像信息中的图像空点。
6.根据权利要求5所述的方法，其特征在于，所述预处理步骤包括：
对所述图像信息中的深度图像信息进行双边滤波，以补充所述深度图像信息中的图像空点。
7.根据权利要求1至4中任一项所述的方法，其特征在于，所述变换合成步骤包括：
变换子步骤，对所述背景图像、所述前景图像向目标视点方向分别进行三维变换；
填充子步骤，根据图像信息采集角度的不同，对经过三维变换后的图像进行信息互补填充，以消除三维变换形成的图像空洞；
合成子步骤，将信息互补填充后的图像进行合成。
8.一种虚拟视点合成装置，其特征在于，包括：
获取单元，用于分别获取至少两台视频图像采集设备采集的图像信息；所述至少两台视频图像采集设备的拍摄角度不同；
分离单元，用于根据所述获取单元获取的图像信息中的深度图像信息，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像；
变换合成单元，用于对所述分离单元分离出的所述背景图像、所述前景图像向目标视点方向进行三维变换和图像合成，以形成与所述目标视点方向相对应的虚拟视点图像。
9.根据权利要求8所述的装置，其特征在于，所述分离单元包括：
蒙版生成模块，用于根据所述图像信息中的深度图像信息，生成蒙版图像；
边界修复模块，用于利用有引导滤波对生成的蒙版图像进行边界修复；
分离模块，用于利用所述边界修复模块后蒙版图像，从每台所述视频图像采集设备采集的每幅图像中分离出背景图像、前景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515321.4A CN106162137B (zh) | 2016-06-30 | 2016-06-30 | 虚拟视点合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515321.4A CN106162137B (zh) | 2016-06-30 | 2016-06-30 | 虚拟视点合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106162137A true CN106162137A (zh) | 2016-11-23 |
| CN106162137B CN106162137B (zh) | 2018-10-12 |
Family
ID=57349769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610515321.4A Active CN106162137B (zh) | 2016-06-30 | 2016-06-30 | 虚拟视点合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106162137B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133982A (zh) * | 2017-04-28 | 2017-09-05 | 广东欧珀移动通信有限公司 | 深度图构建方法、装置及拍摄设备、终端设备 |
| CN109361850A (zh) * | 2018-09-28 | 2019-02-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN109614983A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 训练数据的生成方法、装置及系统 |
| CN110111238A (zh) * | 2019-04-24 | 2019-08-09 | 薄涛 | 图像处理方法、装置、设备及其存储介质 |
| CN111145343A (zh) * | 2019-12-30 | 2020-05-12 | 广东省实验动物监测所 | 一种离体心脏灌流三维显示方法及系统 |
| CN111931830A (zh) * | 2020-07-27 | 2020-11-13 | 泰瑞数创科技(北京)有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| WO2021143310A1 (zh) * | 2020-01-15 | 2021-07-22 | 北京字节跳动网络技术有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN113382276A (zh) * | 2021-06-09 | 2021-09-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种图片处理方法及系统 |
| CN113538317A (zh) * | 2021-08-24 | 2021-10-22 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113538318A (zh) * | 2021-08-24 | 2021-10-22 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113837979A (zh) * | 2021-09-28 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 直播图像合成方法、装置、终端设备以及可读存储介质 |
| CN113837978A (zh) * | 2021-09-28 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像合成方法、装置、终端设备以及可读存储介质 |
| CN113973173A (zh) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | 图像合成方法和电子设备 |
| CN114097248A (zh) * | 2019-12-30 | 2022-02-25 | 华为技术有限公司 | 一种视频流处理方法、装置、设备及介质 |
| CN115134579A (zh) * | 2022-06-16 | 2022-09-30 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102368826A (zh) * | 2011-11-07 | 2012-03-07 | 天津大学 | 双视点视频到多视点视频的实时自适应生成方法 |
| CN103747229A (zh) * | 2014-01-27 | 2014-04-23 | 电子科技大学 | 三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法 |
| CN104822059A (zh) * | 2015-04-23 | 2015-08-05 | 东南大学 | 一种基于gpu加速的虚拟视点合成方法 |
| US20160150208A1 (en) * | 2013-07-29 | 2016-05-26 | Peking University Shenzhen Graduate School | Virtual viewpoint synthesis method and system |
-
2016
- 2016-06-30 CN CN201610515321.4A patent/CN106162137B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102368826A (zh) * | 2011-11-07 | 2012-03-07 | 天津大学 | 双视点视频到多视点视频的实时自适应生成方法 |
| US20160150208A1 (en) * | 2013-07-29 | 2016-05-26 | Peking University Shenzhen Graduate School | Virtual viewpoint synthesis method and system |
| CN103747229A (zh) * | 2014-01-27 | 2014-04-23 | 电子科技大学 | 三维视频虚拟视点合成中彩色混叠及阴影部分的处理方法 |
| CN104822059A (zh) * | 2015-04-23 | 2015-08-05 | 东南大学 | 一种基于gpu加速的虚拟视点合成方法 |
Non-Patent Citations (1)
| Title |
|---|
| DU-HSIU LI等: "Virtual view synthesis using backward depth warping algorithm", 《PICTURE CODING SYMPOSIUM (PCS), 2013》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133982B (zh) * | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 深度图构建方法、装置及拍摄设备、终端设备 |
| CN107133982A (zh) * | 2017-04-28 | 2017-09-05 | 广东欧珀移动通信有限公司 | 深度图构建方法、装置及拍摄设备、终端设备 |
| CN109361850B (zh) * | 2018-09-28 | 2021-06-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN109361850A (zh) * | 2018-09-28 | 2019-02-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN109614983A (zh) * | 2018-10-26 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 训练数据的生成方法、装置及系统 |
| CN110111238A (zh) * | 2019-04-24 | 2019-08-09 | 薄涛 | 图像处理方法、装置、设备及其存储介质 |
| CN111145343A (zh) * | 2019-12-30 | 2020-05-12 | 广东省实验动物监测所 | 一种离体心脏灌流三维显示方法及系统 |
| CN111145343B (zh) * | 2019-12-30 | 2020-11-17 | 广东省实验动物监测所 | 一种离体心脏灌流三维显示方法及系统 |
| CN114097248A (zh) * | 2019-12-30 | 2022-02-25 | 华为技术有限公司 | 一种视频流处理方法、装置、设备及介质 |
| WO2021143310A1 (zh) * | 2020-01-15 | 2021-07-22 | 北京字节跳动网络技术有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| US11972517B2 (en) | 2020-01-15 | 2024-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Animation generation method and apparatus, electronic device, and computer-readable storage medium |
| CN113973173B (zh) * | 2020-07-24 | 2023-04-21 | 华为技术有限公司 | 图像合成方法和电子设备 |
| CN113973173A (zh) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | 图像合成方法和电子设备 |
| WO2022017261A1 (zh) * | 2020-07-24 | 2022-01-27 | 华为技术有限公司 | 图像合成方法和电子设备 |
| CN111931830A (zh) * | 2020-07-27 | 2020-11-13 | 泰瑞数创科技(北京)有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| CN111931830B (zh) * | 2020-07-27 | 2023-12-29 | 泰瑞数创科技(北京)股份有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| CN113382276A (zh) * | 2021-06-09 | 2021-09-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种图片处理方法及系统 |
| CN113538318A (zh) * | 2021-08-24 | 2021-10-22 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113538318B (zh) * | 2021-08-24 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113538317B (zh) * | 2021-08-24 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113538317A (zh) * | 2021-08-24 | 2021-10-22 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
| CN113837978A (zh) * | 2021-09-28 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像合成方法、装置、终端设备以及可读存储介质 |
| CN113837979A (zh) * | 2021-09-28 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 直播图像合成方法、装置、终端设备以及可读存储介质 |
| CN113837979B (zh) * | 2021-09-28 | 2024-03-29 | 北京奇艺世纪科技有限公司 | 直播图像合成方法、装置、终端设备以及可读存储介质 |
| CN113837978B (zh) * | 2021-09-28 | 2024-04-05 | 北京奇艺世纪科技有限公司 | 图像合成方法、装置、终端设备以及可读存储介质 |
| CN115134579A (zh) * | 2022-06-16 | 2022-09-30 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106162137B (zh) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106162137B (zh) | 虚拟视点合成方法及装置 | |
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| Feng et al. | Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications | |
| CN111325693B (zh) | 一种基于单视点rgb-d图像的大尺度全景视点合成方法 | |
| CN105704479B (zh) | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| US20090195643A1 (en) | Medial axis decomposition of 2d objects to synthesize binocular depth | |
| CN103426163B (zh) | 用于渲染受影响的像素的系统和方法 | |
| US20120176481A1 (en) | Processing image data from multiple cameras for motion pictures | |
| US10095953B2 (en) | Depth modification for display applications | |
| US20110216160A1 (en) | System and method for creating pseudo holographic displays on viewer position aware devices | |
| US20130069942A1 (en) | Method and device for converting three-dimensional image using depth map information | |
| Lee et al. | Discontinuity-adaptive depth map filtering for 3D view generation | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| WO2013034101A1 (zh) | 多视点视频中虚拟视点合成方法及装置 | |
| Schmeing et al. | Depth image based rendering: A faithful approach for the disocclusion problem | |
| US10127714B1 (en) | Spherical three-dimensional video rendering for virtual reality | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| CN104853175B (zh) | 一种新的合成虚拟视点客观质量评价方法 | |
| KR102091860B1 (ko) | 영상 부호화 방법 및 장치 | |
| Sisi et al. | The overview of 2D to 3D conversion system | |
| KR101121979B1 (ko) | 입체 영상 변환 방법 및 입체 영상 변환 장치 | |
| KR101754976B1 (ko) | 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 | |
| Pourazad et al. | Random forests-based 2D-to-3D video conversion | |
| De Sorbier et al. | Augmented reality for 3D TV using depth camera input |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |