CN101729791A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN101729791A
CN101729791A CN200910177614A CN200910177614A CN101729791A CN 101729791 A CN101729791 A CN 101729791A CN 200910177614 A CN200910177614 A CN 200910177614A CN 200910177614 A CN200910177614 A CN 200910177614A CN 101729791 A CN101729791 A CN 101729791A
Authority
CN
China
Prior art keywords
frame
shaded areas
removal
colouring information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910177614A
Other languages
English (en)
Other versions
CN101729791B (zh
Inventor
郑英珠
郭永信
韩荣兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101729791A publication Critical patent/CN101729791A/zh
Application granted granted Critical
Publication of CN101729791B publication Critical patent/CN101729791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

公开了一种图像处理设备和方法。计算单元可确定视频的第一帧的去除遮蔽区域。处理单元可使用与视频的第二帧相关的颜色信息来产生第一帧的去除遮蔽区域的颜色信息。

Description

图像处理设备和方法
技术领域
示例性实施例涉及一种虚拟三维(3D)显示，更具体地，涉及基于多视图显示中的视点的对去除遮蔽区域的颜色信息的进行存储的设备和方法。
背景技术
虚拟三维(3D)显示对人的左眼和右眼提供不同的图像，从而可提供3D效果。这里，不同图像可表示来自不同视点的图像。在立体方法中，虚拟3D显示可提供两个不同图像，即，用于左眼的一个图像和用于右眼的一个图像。在3D多视图中，可基于视角向显示器提供彼此不同的多个图像。
此外，可使用特定帧的输入的颜色信息和深度信息以渲染3D多视图图像。在本示例中，将克服去除遮蔽(disocclusion)现象。深度信息可包括具有相对显著视差的关于对象的信息和具有相对不显著视差的关于背景的信息。当以多视点对3D多视图执行渲染时，可在具有大视角的区域中产生不具有颜色信息的去除遮蔽区域。
由于多视图显示的发展，需要克服去除遮蔽区域的技术。
发明内容
示例性实施例可提供一种有效预测去除遮蔽区域并产生颜色信息的图形处理设备和方法。
示例性实施例还可提供一种从视频的至少一帧的颜色信息有效地获得去除遮蔽区域的颜色信息的图像处理设备和方法。
根据示例性实施例，可提供一种图像处理设备，所述设备包括：计算单元，确定视频的第一帧的去除遮蔽区域；以及处理单元，使用与视频的第二帧相关的颜色信息来产生所述第一帧的去除遮蔽区域的颜色信息。
所述计算单元可基于第一帧的背景区域的视差和第一帧的对象区域的视差之间的差来确定视频的第一帧的去除遮蔽区域。在本示例中，可使用与第一帧相关的深度信息来计算所述视差。
所述计算单元可确定第一帧的对象区域和背景区域之间的边界，以及将在所述边界周围具有第一宽度的带确定为第一帧的去除遮蔽区域。在本示例中，所述第一宽度可以与第一帧的背景区域的视差和第一帧的对象区域的视差之间的差成比例。
在与将基于第一帧被渲染的多视图图像相关的多个视点中，可在具有最大视角的视点和具有最小视角的视点之间计算所述第一帧的背景区域的视差和所述第一帧的对象区域的视差中的至少一个。
所述处理单元可确定在第一帧的去除遮蔽区域周围的第一块；在视频的至少一帧中确定与第一块相应的区域的第一特征值；以及基于所述第一特征值确定所述第二帧。
所述处理单元可将在视频的至少一帧中第一特征值小于第一阈值的帧确定为所述第二帧的候选帧；对所述第二帧的候选帧产生在第一块周围的去除遮蔽区域的颜色信息；以及将在第一块周围的去除遮蔽区域产生最大数量的颜色信息的帧确定为第二帧。所述处理单元可比较所述第二帧的每个候选帧的第一特征值来确定所述第二帧。
所述处理单元可：在第二帧的候选帧中与第一块相应的区域周围的像素中，获得与第一帧的背景区域的像素具有深度值差的像素的颜色信息；确定所述第一块周围的去除遮蔽区域的颜色信息；以及将在第一块周围的去除遮蔽区域产生最大数量的颜色信息的帧确定为第二帧。在本示例中，所述深度值差可小于第二阈值。
所述处理单元可复制第二帧中与第一块相应的区域周围的区域的颜色信息以产生第一帧的去除遮蔽区域的颜色信息。在本示例中，所述处理单元可：复制所述第二帧中与第一块相应的区域周围的区域的颜色信息；改变第一帧中的第一块的位置；以及复制第二帧中与改变的第一块相应的区域周围的区域的颜色信息以产生第一帧的去除遮蔽区域的颜色信息。
所述图像处理设备还可包括：渲染单元，基于与第一帧相关的颜色信息、与第一帧相关的深度信息、第一帧的去除遮蔽区域的颜色信息来渲染多视图图像。
根据示例性实施例，可提供一种图像处理设备，包括：计算单元，确定视频的第一帧的去除遮蔽区域；以及处理单元，使用与视频的第二帧相关的颜色信息和与视频的第一帧相关的颜色信息中的任意一个来产生所述第一帧的去除遮蔽区域的颜色信息。
根据示例性实施例，可提供一种图像处理方法，所述方法包括：确定视频的第一帧的去除遮蔽区域；以及使用与视频的第二帧相关的颜色信息来产生所述第一帧的去除遮蔽区域的颜色信息。
所述产生步骤可：确定第一帧的去除遮蔽区域周围的第一块；在视频的至少一帧中确定与第一块相应的区域的第一特征值；以及基于所述第一特征值确定所述第二帧。
示例性实施例的另外方面、特征和/或优点将在下面的描述中部分地阐明，并且从描述中部分变得清楚，或通过本公开的实施可被理解。
附图说明
通过下面结合附图进行的描述，示例性实施例的上述和/或其他方面和优点将会变得清楚和更容易理解，其中：
图1示出根据示例性实施例的图像处理设备的概念性示图；
图2示出根据示例性实施例的第一帧的颜色信息和深度信息；
图3示出根据示例性实施例的由图像处理设备复原的去除遮蔽区域；
图4示出根据示例性实施例的图像处理设备；
图5示出获得第一帧(例如，图1的第一帧)的视差的方法；
图6示出第一帧(例如，图2的第一帧)的去除遮蔽区域；
图7示出产生去除遮蔽区域(例如，图6的去除遮蔽区域)的颜色信息的第一块；
图8示出在处理单元(例如，图4的处理单元)中产生第一帧的去除遮蔽区域的颜色信息的方法；
图9示出根据示例性实施例的第一帧的去除遮蔽区域的颜色信息；
图10示出根据示例性实施例的图像处理设备提供的多视图图像。
具体实施方式
现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述示例性实施例以解释本公开。
图1示出根据示例性实施例的图像处理设备100。
帧110是用于三维(3D)渲染的视频的第i帧。这里，i可以是自然数，通过视频可提供多个帧。图像处理设备100可产生帧110的去除遮蔽区域的颜色信息。以下，将帧110称作第一帧110。
颜色信息111可指示与第一帧110相关的颜色值(诸如红、绿和蓝(RGB)值)。深度信息112可包括与第一帧110相关的深度值。渲染单元120可将深度信息112和颜色信息111进行匹配。
多视图屏幕(或显示面板)130可通过折射来自渲染单元120的多视图图像来向多个视点提供不同的图像。多视图屏幕130可包括透镜镜头。
在第一视点可观察图像141。第一个视点中，最左边的第一视点可具有最大的视角。
在多个视点中，可在具有多视图屏幕130的最小视角的视点观察图像142。因此，图像142可处于多视图屏幕130的垂直方向。
可在第k个视点观察图像143。在最右边的多个视点中，第k个视点可具有最大的视角。k可以与多视图屏幕130的规格相关，并且可以是是多个视点的总数量。例如，当多视图屏幕130具有9个视图特征，则k可以是9。
然而，图像141中可示出被渲染为黑色的第一去除遮蔽区域。由于在作为对象的骰子的左边不存在一部分背景的颜色信息，所以会产生第一去除遮蔽区域。
可在图像143中示出被渲染为黑色的第二去除遮蔽区域。由于在对象的右边不存在一部分背景的颜色信息，所以会产生第二去除遮蔽区域。图像142中未示出去除遮蔽区域。
当提供k个多视图图像并且对观众的两眼提供两个彼此相邻的图像时，可提供k-1个3D图像。在本示例中，所述k-1个3D图像可彼此不同。此外，可将两个图像的左图像提供给左眼，并且将两个图像的右图像提供给右眼。因此，观众可将对象识别为3D对象，并且感受到好像观众围绕该对象看所获得的一样的效果。
根据示例性实施例，可向图像处理设备100提供第一帧110的颜色信息111和深度信息112，以及除第一帧110之外的帧的颜色信息，从而可产生第一帧110的去除遮蔽区域的颜色信息，并且将该颜色信息提供给渲染单元120。
根据示例性实施例，图像处理设备100可基于第二帧的颜色信息来产生第一帧110的去除遮蔽区域的颜色信息，所述第二帧在除第一帧110之外的帧中。然而，图像处理设备100不限于上述实施例，也可基于第一帧110的颜色信息111来产生第一帧110的去除遮蔽区域的一部分颜色信息。
渲染单元120可使用第一帧110的颜色信息111和深度信息112、以及第一帧110的去除遮蔽区域的颜色信息来产生k个(多视图)图像。
可将由图像处理设备100产生的图像151提供给第一视点。图像151可以与图像141相应，并且具有图像141的第一去除遮蔽区域的颜色信息。
可将由图像处理设备100产生的图像153提供给第k视点。图像153可以与图像143相应，并且具有与图像143的第二去除遮蔽区域相应的颜色信息。
将参照图2到图10详细描述图像处理设备100及其方法。
图2示出根据示例性实施例的第一帧的颜色信息和深度信息。
颜色信息210可以与图1的颜色信息111相应。区域211可以与图像141的去除遮蔽区域相应。区域211在图2的视点可被对象遮蔽。此外，区域212可以与图像143的去除遮蔽区域相应。虽然区域212在图2的视点可被对象遮蔽，但是根据执行渲染的视点可示出区域212。因此，区域212需要颜色信息。
深度信息220可指示距多视图屏幕130的距离。对象区域221可具有大的深度值，从而对象区域221很亮。背景区域222可具有小的深度值，从而背景区域222很暗。深度值被包括在深度信息220中。虽然为了描述方便简单地示出深度信息220，但是深度信息220通常可包括许多级(或梯度)。
图3示出根据示例性实施例的由图像处理设备复原的去除遮蔽区域。
图像310可以与图1的图像141相应。如上所述，当与其他图像320、330、340、350和360比较时，图像310可包含在对象的左边具有最大尺寸的去除遮蔽区域311。图像320可以与在第二视点提供的图像相应，其中，所述第二视点可以是图1所示的多个视点中的一个。第二视点可在对象的第二左边具有大视角。图像320可具有比图像310的去除遮蔽区域小的去除遮蔽区域321。相似地，图像330可以与第四视点相应，其中，所述第四视点可以是图1中的多个视点之一，并且具有比去除遮蔽区域321小的去除遮蔽区域331。
此外，当视图的总数k是9，并且视角最小时，图像340可以与图1的图像142相应，并且在图像340中不产生去除遮蔽区域。
当视点移动到对象的左边，可观察图像350和随后另一图像360。图像350中对象的右边存在去除遮蔽区域351，另一图像360中对象的右边存在具有最大尺寸的去除遮蔽区域361。
图像处理设备100可确定去除遮蔽区域311和去除遮蔽区域361，并产生颜色信息。
图4示出根据示例性实施例的图像处理设备400。
计算单元410可计算第一帧的多个视点中对象区域的视差和的背景区域的视差之间的差，从而可确定第一帧的去除遮蔽区域。
根据示例性实施例，计算单元410可接收第一帧的深度信息。此外，计算单元410可基于每个区域的深度值和/或视差来确定对象区域和背景区域之间的边界。可在深度信息中包括深度值，并且可计算任意视点的视差。此外，计算单元410可确定第一帧的边界周围的去除遮蔽区域，将参照图5对此进行详细描述。
处理单元420可从计算单元410接收关于第一帧的去除遮蔽区域的信息，并确定去除遮蔽区域周围的第一块。第一块可用于查找参考帧，所述参考帧用于产生去除遮蔽区域(例如，图6的去除遮蔽区域610)的颜色信息。
处理单元420可接收与多个帧相关的颜色信息。此外，处理单元420可在多个帧的每一个中查找与第一块相应的区域。由于相似的颜色值，可将所述区域与第一块进行匹配。
根据示例性实施例，处理单元420可计算第一特征值。第一特征值可以是差的平方和(SSD：Sum of Squared Difference)，并且可基于预定块的颜色值来计算。因为两帧的预定区域之间的SSD降低，所以预定区域可接近相同的颜色值。
此外，处理单元420可将多个帧中的每一个的第一特征值与第一阈值进行比较，并且将第一特征值小于第一阈值的帧确定为第二帧的候选帧。第二帧可以是参考帧，可存在第二帧的多个候选帧。
根据示例性实施例，处理单元420可将第二帧的候选帧中可在与第一块相应的区域的右边区域中提供最大数量的颜色信息的帧确定为第二帧。在本示例中，当其他条件相同时，可将具有较小的SSD的帧确定为第二帧。在本示例中，SSD可以是第一帧和第二帧的预定区域之间的SSD。
根据示例性实施例，当根据纹理的特征在第一帧的背景区域的颜色信息中示出有规律的重复时，处理单元420可产生第一帧中至少一部分去除遮蔽区域的颜色信息。
根据示例性实施例，图像处理设备400还可包括渲染单元430。渲染单元430可提供与第一帧相关的颜色信息和深度信息，以及第一帧的去除遮蔽区域的颜色信息，并从而可通过多视图屏幕130提供多视图颜色图像。
图5示出获得第一帧(例如，图1的第一帧)的视差的方法。
在下面的等式1中表示为d的视差521可指示当左眼531和右眼532观看点511时点511投影到屏幕520的位置的差。由于左眼531和右眼532之间的距离(E，533)是有限的，随着屏幕520和包含点511的线510之间的距离D大于屏幕520和包含左眼531和右眼532的点位置的线530之间的距离V，视差521可增加。也就是说，随着对象远离左眼531和右眼532，视差521可减少。此外，随着对象靠近左眼531和右眼532，视差521可增加。
等式1：
d = D × E D + V
根据示例性实施例，计算单元410(图4)可计算在第一视点和第五视点(在图1中示出的多个视点中的两个，作为示例选择)背景区域的视差和对象区域的视差之间的差，从而可确定在对象左边的去除遮蔽区域。在本示例中，第一视点可具有最大的视角，第五视点可以是当k是9时的视点。此外，对象区域的视差可相对显著，背景区域的视差可相对不显著。
此外，计算单元410(图4)可计算在第五视点和第九视点(在图1中示出的多个视点中的两个，作为示例选择)背景区域的视差和对象区域的视差之间的差，从而确定对象右边的去除遮蔽区域。在本示例中，第五视点和第九视点可以是当k是9时的视点。
根据示例性实施例，再参照图1、2和4，计算单元410可接收第一帧110的深度信息112。此外，计算单元410可基于深度值和/或视差来确定对象区域221和背景区域222之间的边界。在本示例中，可在深度信息112中包括深度值，可在任意视点计算视差。此外，计算单元410可确定第一帧110的边界周围的去除遮蔽区域211和212。在本示例中，可存在多个边界。
根据示例性实施例，计算单元410可从边界提取垂直边界。当提取的垂直边界的数量多于1时，计算单元410可选择第一帧110的左半平面中的垂直边界。随后，计算单元410可确定向选择的垂直边界的右边的带。所述带可具有第一宽度，包括该带的区域可被确定为左去除遮蔽区域211。此外，计算单元410可选择右半平面中的垂直边界，并确定向选择的垂直边界的左边的带。所述带可具有第一宽度，包括该带的区域可被确定为右去除遮蔽区域212。
例如，可通过下面是出的等式2计算第一宽度。
等式2：
Figure G2009101776146D0000081
这里，右边的第一项可以是由等式1计算的对象区域的视差，右边的第二项可以是由等式1计算的背景区域的视差。等式2中，E可表示k个视点中彼此相邻的视点之间的距离。在本示例中，k可表示多视图视点的数量。可用2除视点的数量k以获得具有最大视角的视点和具有最小视角的视点的视差之间的差。
根据示例性实施例，虽然可将具有第一宽度的带确定为第一帧110的选择的边界周围的去除遮蔽区域，但是图像处理设备和方法不限于描述的示例性实施例。虽然可增加计算复杂性，但是可在每个区域适应地确定去除遮蔽区域。
图6示出第一帧(例如，图2的第一帧)的去除遮蔽区域。
计算单元410(图4)可确定第一帧600中的左去除遮蔽区域610和右去除遮蔽区域620。
根据示例性实施例，可由处理单元420(图4)分别或同时产生左去除遮蔽区域610和右去除遮蔽区域620的颜色信息。具体地，当存在n个去除遮蔽区域时，处理单元420(图4)可分别地产生左去除遮蔽区域610和右去除遮蔽区域620中的每个去除遮蔽区域的颜色信息，或同时产生部分或全部去除遮蔽区域的颜色信息。
图7示出产生去除遮蔽区域(例如，图6的去除遮蔽区域610)的颜色信息的第一块。
根据示例性实施例，处理单元420(图4)可接收关于图6的去除遮蔽区域610的信息。此外，处理单元420(图4)可确定去除遮蔽区域610(图6)周围的第一块710。可将第一块710用于查找参考帧以产生去除遮蔽区域610的颜色信息。
处理单元420(图4)可接收与多个帧(诸如第i-n帧、第i-(n+1)帧、...、第i-1帧、第i帧、第i+1帧、...、第i+n帧)相关的颜色信息。此外，处理单元420(图4)可查找在多个帧中的每一帧中与第一块710相应的区域。在本示例中，由于相似的颜色值，可将所述区域与第一块710进行匹配。
根据示例性实施例，处理单元420(图4)可计算第一特征值。第一特征值可以是SSD，并且基于预定块的颜色值来被计算。随着两帧的预定区域之间的SSD降低，所述两个区域可接近相同的颜色值。
此外，处理单元420(图4)可将多个帧中的每一帧的第一特征值与第一阈值进行比较，并将第一特征值小于第一阈值的帧确定为第二帧的候选帧。第二帧可以是参考帧，可存在第二帧的多个候选帧。
根据示例性实施例，处理单元420(图4)可基于与第二帧的候选帧中的第一块相应的区域的右边区域的颜色值产生去除遮蔽区域的颜色信息。然而，可通过参考多个帧中的每一帧的深度信息来从与背景区域相应的区域的颜色信息产生去除遮蔽区域的颜色信息。在本示例中，可将多个帧中的每一帧的深度信息提供给处理单元420(图4)，处理单元420可使用深度信息。此外，可比较第一帧的深度值和第二帧的候选帧中的每一个的深度值，并且可仅将深度值等于或小于第二阈值的区域的颜色信息用于产生去除遮蔽区域的颜色信息。
因此，当对象的位置可根据帧而改变时，可完全示出去除遮蔽区域，从而可将具有去除遮蔽区域的颜色信息的帧确定为第二帧。也就是说，处理单元420(图4)可将第二帧的候选帧中的可在与第一块相应的区域的右边区域中提供最大数量的颜色信息的帧确定为第二帧。在本示例中，当其他条件相同时，可将具有较小SSD的帧确定为第二帧。在本示例中，SSD可以是第一帧和第二帧的预定区域之间的SSD。
根据示例性实施例，当根据纹理的特征在第一帧700的背景区域的颜色信息中示出有规律的重复时，处理单元420(图4)可产生第一帧的去除遮蔽区域的颜色信息。
虽然作为示例在图7中示出第一块710，但是实施例可不限于描述的示例性实施例。也就是说，本领域技术人员应该理解，可对这些示例性实施例进行改变。例如，可根据帧、所需质量、视频特征等来调整邻近第一帧700中的去除遮蔽区域的第一块710的大小和位置。
图8示出在处理单元(例如，图4的处理单元420)中产生第一帧的去除遮蔽区域的颜色信息的方法。
可由图4的处理单元420实现产生第一帧的去除遮蔽区域的颜色信息的方法。
操作S810中，处理单元420(图4)基于关于去除遮蔽区域的信息可确定去除遮蔽区域周围的第一块。在本示例中，第一块可以是图7的第一块710，去除遮蔽区域可以是图6的去除遮蔽区域610。此外，处理单元420可计算第一特征值。例如，第一特征值可以是第一帧和第j帧之间的SSD。在本示例中，j可以是自然数。随着第一帧和第j帧的预定区域之间的SSD降低，第一帧和第j帧可具有相同的颜色值。
操作S820中，处理单元420(图4)可将预定第一阈值Th与多个帧中的每一帧的第一特征值进行比较。当第一特征值大于第一阈值时，处理单元420(图4)可忽略第j帧，并对于后面的帧返回到操作S810。
如果第一特征值小于第一阈值，则该方法进行到操作S830，处理单元420(图4)将第j帧确定为第二帧的候选帧。在本示例中，可存在多个候选帧。
操作S840中，处理单元420(图4)可确定第j帧是否是检查的最后帧。当第j帧不是最后帧时，处理单元420(图4)返回操作S810，并可再次在操作S810中执行确定、在操作S820中执行比较以及在操作S830中执行确定。
如果第j帧是最后帧，则该方法进行到操作S850，处理单元420(图4)可从第二帧的候选帧选择第二帧。操作S860中，处理单元420(图4)可产生第一帧的去除遮蔽区域的颜色信息。已经参照图7在上面描述了操作S850中的选择和S860中的产生。
根据示例性实施例，可将第一帧的去除遮蔽区域划分为多个去除遮蔽区域，可在操作S810到操作S860中产生多个去除遮蔽区域的任意一个的颜色信息。当对所有去除遮蔽区域执行该方法时，可产生整个去除遮蔽区域的颜色信息。
根据示例性实施例，当在操作S810到操作S860中未产生第一帧的整个去除遮蔽区域的颜色信息时，可通过外推法(extrapolation)来完全产生颜色信息。
图9示出根据示例性实施例的第一帧900的去除遮蔽区域910和920的颜色信息。
第一帧900的去除遮蔽区域910的颜色信息可以与图6的左去除遮蔽区域610的颜色信息相应。此外，去除遮蔽区域920的颜色信息可以是右去除遮蔽区域620的颜色信息。
图10示出根据示例性实施例的图像处理设备提供的多视图图像。
参照图1、4、9和10，可将由处理单元420产生的颜色信息910和920以及颜色信息111和深度信息112提供给渲染单元120。在本示例中，颜色信息111和深度信息112可以与图1的第一帧110相关。此外，作为示例，当k是9时，渲染单元120可通过多视图屏幕130在9个视点提供图像1010、1020、1030、1040、1050和1060。
图像1010、1020、1030、1040、1050和1060可分别与图3中的图像310、320、330、340、350和360相应。当将图像1010、1020、1030、1040、1050和1060中每个图像与图像310、320、330、340、350和360中每个图像进行比较时，可确定改善了去除遮蔽区域311、321、331、341、351和361。
可将根据上述示例性实施例的图像处理方法记录在计算机可读介质中，所述计算机可读介质包括实现由计算机实施的不同操作的程序指令。所述介质还可单独或与所述程序指令结合包括数据文件、数据结构等。计算机可读介质的示例包括磁性介质(诸如，硬盘、软盘和磁带)；光学介质(如CD-ROM盘或DVD)；磁光介质(诸如光盘)；和专门构造以存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括如由编译器产生的机器代码和包含可由计算机使用解释器执行的高级代码的文件。所述硬件装置可以被构造为担当一个或多个软件模块以执行上述实施例的操作，反之亦然。
虽然显示和描述了几个示例性实施例，但是本领域技术人员应该理解，在不脱离范围由权利要求及其等同物限定的本发明的原理和精神的情况下，可对这些示例性实施例进行改变。

Claims (18)

1.一种图像处理设备，包括：
计算单元，确定视频的第一帧的去除遮蔽区域；以及
处理单元，使用与视频的第二帧相关的颜色信息来产生所述第一帧的去除遮蔽区域的颜色信息。
2.如权利要求1所述的图像处理设备，其中，所述计算单元基于第一帧的背景区域的视差和第一帧的对象区域的视差之间的差来确定第一帧的去除遮蔽区域，其中，使用与第一帧相关的深度信息来计算所述视差。
3.如权利要求2所述的图像处理设备，其中，所述计算单元确定第一帧的对象区域和背景区域之间的边界，以及将在所述边界周围具有第一宽度的带确定为第一帧的去除遮蔽区域，所述第一宽度与第一帧的背景区域的视差和第一帧的对象区域的视差之间的差成比例。
4.如权利要求2所述的图像处理设备，其中，从与将基于第一帧被渲染的多视图图像相关的多个视点中，在具有最大视角的视点和具有最小视角的视点之间计算所述第一帧的背景区域的视差和所述第一帧的对象区域的视差中的至少一个。
5.如权利要求1所述的图像处理设备，其中，所述处理单元确定在第一帧的去除遮蔽区域周围的第一块；视频的至少一帧中确定与第一块相应的区域的第一特征值；以及基于所述第一特征值确定所述第二帧。
6.如权利要求5所述的图像处理设备，其中，所述处理单元将视频的至少一帧中第一特征值小于第一阈值的帧确定为所述第二帧的候选帧；对所述第二帧的候选帧产生所述第一块周围的去除遮蔽区域的颜色信息；以及将对第一块周围的去除遮蔽区域产生最大数量的颜色信息的帧确定为第二帧。
7.如权利要求6所述的图像处理设备，其中，所述处理单元比较所述第二帧的每个候选帧的第一特征值以确定所述第二帧。
8.如权利要求6所述的图像处理设备，其中，在与第二帧的候选帧中的第一块相应的区域周围的像素中，所述处理单元获得与第一帧的背景区域的像素具有深度值差的像素相关的颜色信息；确定所述第一块周围的去除遮蔽区域的颜色信息；以及将对第一块周围的去除遮蔽区域产生最大数量的颜色信息的帧确定为第二帧，所述深度值差小于第二阈值。
9.如权利要求5所述的图像处理设备，其中，所述处理单元复制第二帧中与第一块相应的区域周围的区域的颜色信息以产生第一帧的去除遮蔽区域的颜色信息。
10.如权利要求9所述的图像处理设备，其中，所述处理单元复制所述第二帧中与第一块相应的区域周围的区域的颜色信息；改变第一帧中的第一块的位置；以及复制第二帧中与改变位置的第一块相应的区域周围的区域的颜色信息以产生第一帧的去除遮蔽区域的颜色信息。
11.如权利要求1所述的图像处理设备，还包括：
渲染单元，基于与第一帧相关的颜色信息、与第一帧相关的深度信息和第一帧的去除遮蔽区域的颜色信息来渲染多视图图像。
12.一种图像处理设备，包括：
计算单元，确定视频的第一帧的去除遮蔽区域；以及
处理单元，使用与视频的第二帧相关的颜色信息和与视频的第一帧相关的颜色信息中的任意一个来产生所述第一帧的去除遮蔽区域的颜色信息。
13.如权利要求12所述的图像处理设备，其中，所述计算单元基于第一帧的背景区域的视差和第一帧的对象区域的视差之间的差来确定第一帧的去除遮蔽区域，其中，使用与第一帧相关的深度信息来计算所述视差。
14.如权利要求12所述的图像处理设备，其中，所述处理单元确定第一帧的去除遮蔽区域周围的第一块；在视频的至少一帧中确定与第一块相应的区域的第一特征值；以及基于所述第一特征值确定所述第二帧。
15.如权利要求12所述的图像处理设备，其中，所述处理单元在第一帧中确定具有与第一块相似的颜色信息的第二块；以及，当基于第一特征值和已经复原的第一帧的去除遮蔽区域的数量确定第一帧中的第二块比第二帧中与第一块相应的区域更合适时，所述处理单元使用所述第二块和与所述第一块相关的颜色信息来复原第一帧的去除遮蔽区域。
16.一种图像处理方法，包括：
确定视频的第一帧的去除遮蔽区域；以及
使用与视频的第二帧相关的颜色信息来产生所述第一帧的去除遮蔽区域的颜色信息。
17.如权利要求16所述的图像处理方法，其中，所述确定步骤基于第一帧的背景区域的视差和第一帧的对象区域的视差之间的差来确定第一帧的去除遮蔽区域，使用与第一帧相关的深度信息来计算所述视差。
18.如权利要求16所述的图像处理方法，其中，所述产生步骤确定在第一帧的去除遮蔽区域周围的第一块；在视频的至少一帧中确定与第一块相应的区域的第一特征值；以及基于所述第一特征值确定所述第二帧。
CN200910177614.6A 2008-10-10 2009-09-24 图像处理设备和方法 Active CN101729791B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080099799A KR101502362B1 (ko) 2008-10-10 2008-10-10 영상처리 장치 및 방법
KR10-2008-0099799 2008-10-10

Publications (2)

Publication Number Publication Date
CN101729791A true CN101729791A (zh) 2010-06-09
CN101729791B CN101729791B (zh) 2014-01-29

Family

ID=41395943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910177614.6A Active CN101729791B (zh) 2008-10-10 2009-09-24 图像处理设备和方法

Country Status (4)

Country Link
US (2) US8823771B2 (zh)
EP (1) EP2175663B1 (zh)
KR (1) KR101502362B1 (zh)
CN (1) CN101729791B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置
CN107038720A (zh) * 2015-12-23 2017-08-11 汤姆逊许可公司 具有可调视差方向的三维渲染
CN107431801A (zh) * 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
EP2642758A4 (en) * 2010-11-15 2015-07-29 Lg Electronics Inc METHOD FOR CONVERTING A FRAME FORMAT AND APPARATUS USING THE SAME
WO2013022401A2 (en) * 2011-08-10 2013-02-14 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
JP5711634B2 (ja) * 2011-09-22 2015-05-07 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
CN102427547B (zh) * 2011-11-15 2013-11-06 清华大学 多视角立体渲染装置
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060066612A1 (en) * 2004-09-23 2006-03-30 Herb Yang Method and system for real time image rendering
WO2007042251A2 (en) * 2005-10-10 2007-04-19 Nordic Bioscience A/S A method of segmenting an image
CN101091203A (zh) * 2004-05-14 2007-12-19 辉达公司 图形处理系统和方法
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US20050231505A1 (en) 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
WO2001006462A1 (en) 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Method and apparatus for computing a computer graphics image of a textured surface
US6593925B1 (en) * 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US7633511B2 (en) * 2004-04-01 2009-12-15 Microsoft Corporation Pop-up light field
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
CA2636858C (en) * 2006-01-27 2015-11-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
TW200834471A (en) * 2007-02-15 2008-08-16 Ind Tech Res Inst Image filling methods, and machine readable medium thereof
US7889947B2 (en) * 2007-06-27 2011-02-15 Microsoft Corporation Image completion
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101091203A (zh) * 2004-05-14 2007-12-19 辉达公司 图形处理系统和方法
US20060066612A1 (en) * 2004-09-23 2006-03-30 Herb Yang Method and system for real time image rendering
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
WO2007042251A2 (en) * 2005-10-10 2007-04-19 Nordic Bioscience A/S A method of segmenting an image

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置
CN104488264B (zh) * 2012-07-10 2017-09-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置
US9798919B2 (en) 2012-07-10 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
CN107431801A (zh) * 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 支持内容生成、发送和/或重放的方法和设备
US10397538B2 (en) 2015-03-01 2019-08-27 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
US10574962B2 (en) 2015-03-01 2020-02-25 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
US10701331B2 (en) 2015-03-01 2020-06-30 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
US10742948B2 (en) 2015-03-01 2020-08-11 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
US11870967B2 (en) 2015-03-01 2024-01-09 Nevermind Capital Llc Methods and apparatus for supporting content generation, transmission and/or playback
CN107038720A (zh) * 2015-12-23 2017-08-11 汤姆逊许可公司 具有可调视差方向的三维渲染

Also Published As

Publication number Publication date
US20140368612A1 (en) 2014-12-18
EP2175663B1 (en) 2018-11-21
CN101729791B (zh) 2014-01-29
US8823771B2 (en) 2014-09-02
US20100091092A1 (en) 2010-04-15
EP2175663A1 (en) 2010-04-14
KR20100040593A (ko) 2010-04-20
KR101502362B1 (ko) 2015-03-13

Similar Documents

Publication Publication Date Title
CN101729791B (zh) 图像处理设备和方法
US9237330B2 (en) Forming a stereoscopic video
Guttmann et al. Semi-automatic stereo extraction from video footage
US9041819B2 (en) Method for stabilizing a digital video
US20130127988A1 (en) Modifying the viewpoint of a digital image
CN103283241B (zh) 二维图像的再投影的多样本解析
US8611642B2 (en) Forming a steroscopic image using range map
US20130129192A1 (en) Range map determination for a video frame
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN102972038A (zh) 图像处理装置、图像处理方法、程序、集成电路
US8866887B2 (en) Computer graphics video synthesizing device and method, and display device
CN106488215A (zh) 图像处理方法和设备
CN110113593A (zh) 基于卷积神经网络的宽基线多视点视频合成方法
Xu et al. Depth-aided exemplar-based hole filling for DIBR view synthesis
CN102985949A (zh) 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
KR101089344B1 (ko) 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
CN106412718A (zh) 一种字幕在3d空间中的渲染方法及其装置
CN110012284A (zh) 一种基于头戴设备的视频播放方法及装置
EP2745520B1 (en) Auxiliary information map upsampling
CN103250185A (zh) 使用能量值的图像处理装置及其图像处理方法和显示方法
Nam et al. Hole‐Filling Methods Using Depth and Color Information for Generating Multiview Images
Liao et al. Stereo matching and viewpoint synthesis FPGA implementation
Tran et al. On consistent inter-view synthesis for autostereoscopic displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant